Плутанина між абліерованими та локальними моделями
Моделі Ablated працюють на віддалених серверах, а не на вашому ноутбуці. Коли ви запитуєте відповідь, ваш код надсилає дані на розміщений кінцевий пункт. Локальні моделі, такі як ті, що в Ollama, працюють повністю на вашому апаратному забезпеченні. Вам потрібно налаштувати конфігурацію SDK, щоб вказати правильну базову URL-адресу.
Мережева затримка впливає на час відповіді. Швидкість вашої локальної моделі залежить від вашого GPU. Віддалені API-виклики додають мілісекунди для зворотних зв'язків. Це нормально для хмарних служб.
Локальні моделі забезпечують повну конфіденційність даних. Віддалені API вимагають довіри до постачальника. Ablated AI не використовує промпти для навчання. Ваші дані залишаються вашими. Вам все ще потрібно надійно зберігати ключі API.
Хибні уявлення про контекстне вікно
Контекстне вікно включає як вхідні, так і вихідні токени. У вас є 100,000 токенів загалом на запит. Ця сума враховує промпт та відповідь разом.
- Вхідні токени враховуються в ліміті.
- Токени виводу враховуються в ліміті.
- Максимальний вихід становить 16,000 токенів на запит.
Якщо не встановити max_tokens, модель за замовчуванням використовує 2 048 токенів. Це запобігає неконтрольованому зростанню витрат. Вам необхідно ретельно розраховувати доступний простір. Довгі розмови швидко споживають вікно контексту.
Припускаючи нульові відмови взагалі
Нецензурний контент не означає нескінченний. Модель вільно відхиляє законний дорослий контент. Вона не відхиляє творче письмо. Існує одна жорстка межа, яка завжди діє.
Контент для дорослих із залученням неповнолітніх блокується. Це незмінне правило. Інші суперечливі теми проходять. Вивід для досліджень безпеки залишається «сирим». Ви отримуєте повну відповідь.
Відмови безкоштовні. Ви не платите за відхилені токени. Це економить гроші на поганих запитах. Модель налаштована для дорослих сценаріїв використання.
Плутанина з кількістю токенів
Ціноутворення базується на реальному використанні токенів. Ви платите $0.15 за 1M вхідних токенів. Ви платите $0.50 за 1M вихідних токенів. Помилки нічого не коштують. Відмови нічого не коштують.
- Вхідні токени нараховуються за нижчою ставкою.
- Токени виводу нараховуються за підвищеною ставкою.
- Попередньо оплачений кредит покриває все використання.
Кредит не має строку дії. Ви можете поповнити рахунок, коли потрібно. Щомісячних платежів немає. Ви платите лише за те, що споживаєте. Ця модель добре підходить для сплескових навантажень.
Дані потокової та непотокової передачі
Потокова передача повертає дані фрагментами. Server-Sent Events (SSE) доставляють токени по мірі їх генерації. Ви бачите вивід у реальному часі. Це значно покращує користувацький досвід.
Режим без потокової передачі чекає на повну відповідь. Ви отримуєте всі токени одразу. Це простіше реалізувати. Потокова передача вимагає обробки часткових даних.
Останній чанк містить статистику використання токенів. Ви можете точно відстежувати витрати. Обидва режими підтримують ті ж функції моделі. Обирайте залежно від потреб вашого UI.
Обмеження Function Calling
Виклик функцій працює через інструменти. Ви визначаєте схеми в своєму запиті. Модель повертає структурований JSON. Це дозволяє складні робочі процеси.
- Використовуйте tool_choice для примусового виклику функцій.
- Підтримує режим JSON для суворих виводів.
- Parameters like temperature affect reliability.
Не всі функції доступні. Немає вбудованих векторів (embeddings). Немає генерації зображень. Немає донавчання. Зосередьтеся на задачах завершення тексту. Модель добре працює з інструментами.
Нюанси оплати криптовалютою
Для платежів потрібна лише криптовалюта. Ви можете використовувати USDT у мережі TRC20. Ви можете використовувати USDC у мережі Base. Помилки виправляються через службу підтримки. Для реєстрації не потрібен номер телефону. Підходить вхід через Google або електронну пошту.
Деталі технічної реалізації
Використовуйте сумісні з OpenAI SDK. Вкажіть HTTPS://api.ablated.cc/v1. Встановіть свій API-ключ у заголовку. ID моделі — "uncensored". Це модель з відкритими вагами.
Parameters like temperature and top_p work as expected. You can set a seed for reproducibility. Presence penalty and frequency penalty adjust repetition. These features give you control.
- Ліміт становить 300 запитів на хвилину.
- Ліміт паралельних запитів становить 8 на ключ.
- Максимальний розмір тіла запиту становить 8 МБ.
