将消融模型与本地模型混淆
Ablated AI 模型运行在远程服务器上，而非您的笔记本电脑。当您请求响应时，您的代码会将数据发送到托管端点。Ollama 中的本地模型完全在您的硬件上运行。您必须调整 SDK 配置以指向正确的 base URL。
网络延迟会影响响应时间。您的本地模型速度取决于您的 GPU。远程 API 调用会增加往返的毫秒数。这对于云服务来说是正常的。
本地模型提供完整的数据隐私。远程 API 需要信任提供商。Ablated AI 不使用提示进行训练。您的数据仍归您所有。您仍需安全地管理 API 密钥。
上下文窗口误解
上下文窗口包括输入和输出 token。每个请求总共拥有 100,000 token。此总和计算提示词和补全的总和。
- 输入令牌计入限制。
- 输出 token 计入限制。
- 最大输出为每次请求 16,000 Token。
如果您未设置 max_tokens，模型默认使用 2,048 个 token。这可防止成本失控。您必须仔细计算可用空间。长对话会迅速消耗上下文窗口。
假设永远零拒绝
无审查并不意味着无限。模型自由拒绝合法的成人内容。它不拒绝创意写作。有一个始终适用的硬性限制。
涉及未成年人的色情内容会被拒绝。这是不可协商的。其他争议性话题则能顺利通过。安全研究输出保持原始状态。你将获得完整的答案。
拒绝免费。您不为被拒绝的标记付费。这节省了糟糕提示的成本。该模型针对成人用例进行了调整。
Token 数量混淆
定价基于实际令牌用量。您为每 1M 输入令牌支付 0.15 美元。您为每 1M 输出令牌支付 0.50 美元。错误不收费。拒绝不收费。
- 输入 token 按较低费率收费。
- 输出 token 按较高费率计费。
- 预充值余额涵盖所有使用量。
余额永不过期。您可以在需要时充值。没有月度费用。您只为消耗的部分付费。这种模式非常适合突发型负载。
流式与非流式数据
流式以数据块形式返回数据。服务器发送事件 (SSE) 在生成时交付令牌。你可以实时查看输出。这显著改善了用户体验。
非流式传输等待完整响应。你一次性获得所有 token。这实现更简单。流式传输需要处理部分数据。
最后一个 chunk 包含 token 使用统计信息。您可以准确跟踪成本。两种模式都支持相同的模型功能。根据您的 UI 需求进行选择。
函数调用限制
函数调用通过工具实现。您在请求中定义模式。模型返回结构化 JSON。这支持复杂的工作流。
- 使用 tool_choice 强制函数调用。
- 支持 JSON 模式，用于严格输出。
- 诸如 temperature 之类的参数影响可靠性。
并非所有功能都可用。没有嵌入功能。没有图像生成功能。没有微调功能。专注于文本补全任务。该模型能很好地处理工具。
加密货币支付注意事项
仅支持加密货币支付。您可以使用 TRC20 链上的 USDT，或 Base 链上的 USDC。错误可通过客服修复。注册无需手机号，支持 Google 或邮箱登录。
技术实现细节
使用 OpenAI 兼容 SDK。指向 HTTPS://api.ablated.cc/v1。在 header 中设置你的 API 密钥。模型 id 为 "uncensored"。这是一个开放权重模型。
诸如 temperature 和 top_p 之类的参数按预期工作。您可以设置种子以实现可重复性。存在惩罚和频率惩罚调整重复。这些功能使您拥有控制权。
- 限流为每分钟 300 次请求。
- 并发请求限制为每个密钥 8 个。
- 最大请求体为 8 MB。
