Nhầm lẫn giữa Ablated và Mô hình Cục bộ
Các mô hình Ablated chạy trên máy chủ từ xa, không phải trên máy tính xách tay của bạn. Khi bạn yêu cầu một phản hồi, mã của bạn sẽ gửi dữ liệu đến một điểm cuối được lưu trữ. Các mô hình cục bộ như những mô hình trong Ollama chạy hoàn toàn trên phần cứng của bạn. Bạn phải điều chỉnh cấu hình SDK của mình để trỏ đến URL cơ sở chính xác.
Độ trễ mạng ảnh hưởng đến thời gian phản hồi. Tốc độ mô hình cục bộ của bạn phụ thuộc vào GPU của bạn. Các cuộc gọi API từ xa thêm vài mili giây cho các chuyến đi khứ hồi. Đây là điều bình thường đối với các dịch vụ đám mây.
Các mô hình cục bộ cho phép quyền riêng tư dữ liệu hoàn toàn. Các API từ xa yêu cầu tin tưởng nhà cung cấp. Ablated AI không sử dụng prompt để huấn luyện. Dữ liệu của bạn vẫn thuộc về bạn. Bạn vẫn cần quản lý khóa API một cách bảo mật.
Hiểu lầm về cửa sổ ngữ cảnh
Cửa sổ ngữ cảnh bao gồm cả token đầu vào và đầu ra. Bạn có 100,000 token tổng cộng cho mỗi yêu cầu. Tổng này tính cả prompt và kết quả cộng lại.
- Token đầu vào tính vào giới hạn.
- Token đầu ra tính vào giới hạn.
- Đầu ra tối đa là 16.000 token cho mỗi yêu cầu.
Nếu bạn không đặt max_tokens, mô hình sẽ mặc định là 2,048 token. Điều này ngăn chặn chi phí tăng đột biến. Bạn phải tính toán không gian có sẵn của mình một cách cẩn thận. Các cuộc hội thoại dài sẽ nhanh chóng chiếm hết cửa sổ ngữ cảnh.
Giả sử không bao giờ từ chối
Không kiểm duyệt không có nghĩa là vô hạn. Mô hình từ chối nội dung người lớn hợp pháp một cách tự do. Nó không từ chối việc viết sáng tạo. Có một giới hạn cứng luôn được áp dụng.
Nội dung khiêu dâm liên quan đến trẻ vị thành niên bị từ chối. Đây là điều không thể thương lượng. Các chủ đề gây tranh cãi khác vẫn được xử lý. Đầu ra nghiên cứu bảo mật xuất hiện ở dạng thô. Bạn nhận được câu trả lời đầy đủ.
Lỗi từ chối miễn phí. Bạn không trả tiền cho các token bị từ chối. Điều này tiết kiệm tiền cho các prompt kém chất lượng. Mô hình được tinh chỉnh cho các trường hợp sử dụng người lớn.
Sự nhầm lẫn về đếm Token
Giá dựa trên mức sử dụng token thực tế. Bạn trả $0.15 cho mỗi 1M token đầu vào. Bạn trả $0.50 cho mỗi 1M token đầu ra. Lỗi không tốn phí. Từ chối không tốn phí.
- Token đầu vào được tính phí ở tỷ lệ thấp hơn.
- Token đầu ra được tính với tỷ lệ cao hơn.
- Tín dụng trả trước bao gồm tất cả việc sử dụng.
Tín dụng không bao giờ hết hạn. Bạn có thể nạp khi cần. Không áp dụng phí hàng tháng. Bạn chỉ trả tiền cho những gì mình tiêu thụ. Mô hình này phù hợp tốt với các khối lượng công việc tăng giảm đột biến.
Dữ liệu Streaming so với Không Streaming
Phản hồi dạng stream trả về dữ liệu theo chunk. Sự kiện gửi qua máy chủ (SSE) cung cấp token khi chúng được tạo. Bạn thấy đầu ra theo thời gian thực. Điều này cải thiện đáng kể trải nghiệm người dùng.
Không streaming đợi phản hồi đầy đủ. Bạn nhận được tất cả các token cùng một lúc. Điều này đơn giản hơn để triển khai. Streaming yêu cầu xử lý dữ liệu từng phần.
Chunk cuối cùng chứa thống kê sử dụng token. Bạn có thể theo dõi chi phí chính xác. Cả hai chế độ đều hỗ trợ cùng các tính năng mô hình. Hãy chọn dựa trên nhu cầu giao diện người dùng của bạn.
Hạn chế của Function Calling
Gọi hàm hoạt động qua các công cụ. Bạn xác định các lược đồ trong yêu cầu của mình. Mô hình trả về JSON có cấu trúc. Điều này cho phép các quy trình làm việc phức tạp.
- Sử dụng tool_choice để buộc gọi hàm.
- Hỗ trợ chế độ JSON cho đầu ra nghiêm ngặt.
- Các tham số như nhiệt độ ảnh hưởng đến độ tin cậy.
Không phải tất cả các tính năng đều có sẵn. Không có embeddings. Không có tạo hình ảnh. Không có tinh chỉnh. Tập trung vào các tác vụ hoàn thành văn bản. Mô hình xử lý công cụ tốt.
Đặc thù Thanh toán Crypto
Thanh toán chỉ yêu cầu tiền điện tử. Bạn có thể dùng USDT trên TRC20. Bạn có thể dùng USDC trên Base. Lỗi sẽ được xử lý qua bộ phận hỗ trợ. Không cần số điện thoại để đăng ký. Đăng nhập bằng Google hoặc email đều được.
Chi tiết triển khai kỹ thuật
Sử dụng các SDK tương thích OpenAI. Trỏ đến HTTPS://api.ablated.cc/v1. Đặt khóa API của bạn trong tiêu đề. ID mô hình là "uncensored". Đây là một mô hình trọng lượng mở.
Các tham số như nhiệt độ và top_p hoạt động như mong đợi. Bạn có thể đặt seed để tái lập. Hình phạt hiện diện và hình phạt tần suất điều chỉnh sự lặp lại. Các tính năng này cho phép bạn kiểm soát.
- Giới hạn tốc độ là 300 yêu cầu mỗi phút.
- Giới hạn yêu cầu đồng thời là 8 mỗi khóa.
- Thân yêu cầu tối đa là 8 MB.
