Zaměňování ablated modelů s lokálními modely
Modely Ablated běží na vzdálených serverech, ne na vašem notebooku. Při požadavku na odpověď váš kód odesílá data na hostovaný endpoint. Lokální modely, jako jsou ty v Ollama, běží zcela na vašem hardwaru. Musíte upravit konfiguraci SDK tak, aby ukazovala na správnou základní URL.
Síťová latence ovlivňuje dobu odezvy. Rychlost vašeho místního modelu závisí na vaší GPU. Vzdálené volání API přidává milisekundy na okružní cesty. To je u cloudových služeb normální.
Lokální modely umožňují plné soukromí dat. Vzdálená API vyžadují důvěru poskytovateli. Ablated AI nepoužívá prompty pro trénink. Vaše data zůstávají vaše. Stále musíte bezpečně spravovat klíče API.
Mýty o okně kontextu
Okno kontextu zahrnuje jak vstupní, tak výstupní tokeny. Máte k dispozici celkem 100,000 tokenů na požadavek. Tento součet počítá prompt i výstup dohromady.
- Vstupní tokeny započítávají do limitu.
- Výstupní tokeny započítávají do limitu.
- Maximální výstup je 16 000 tokenů na požadavek.
Pokud nenastavíte max_tokens, model výchozím způsobem použije 2 048 tokenů. To zabraňuje nekontrolovatě rostoucím nákladům. Musíte pečlivě vypočítat dostupný prostor. Dlouhé konverzace rychle vyčerpají kontextové okno.
Předpokládaje nulové odmítnutí kdykoli
Neomezené neznamená nekonečné. Model volně odmítá zákonný obsah pro dospělé. Neodmítá kreativní psaní. Existuje jeden přísný limit, který vždy platí.
Obsah pro dospělé s dětmi je odmítán. To je neměnné. Ostatní kontroverzní témata procházejí. Výstupy z bezpečnostního výzkumu jsou syrové. Dostanete plnou odpověď.
Odmítnutí je zdarma. Neplatíte za tokeny, které jsou odmítnuty. To šetří peníze na špatných promptech. Model je vyladěn pro případy použití pro dospělé.
Zmatek ohledně počtu tokenů
Cena je založena na reálném využití tokenů. Platíte $0,15 za 1M vstupních tokenů. Platíte $0,50 za 1M výstupních tokenů. Chyby nic nestojí. Odmítnutí nic nestojí.
- Vstupní tokeny se účtují nižší sazbou.
- Výstupní tokeny jsou účtovány vyšší sazbou.
- Předplacený kredit pokrývá všechno využití.
Úvěr nevyprší. Můžete doplnit prostředky, když je potřeba. Neplatíte žádné měsíční poplatky. Platíte pouze za to, co spotřebujete. Tento model dobře vyhovuje špičkovým pracovním zátěžím.
Data streamování vs. nestreamování
Streamované návraty data v blocích. Server-Sent Events (SSE) dodávají tokeny, jak jsou generovány. Vidíte výstup v reálném čase. To významně zlepšuje uživatelský zážitek.
Nestreamování čeká na celou odpověď. Získáte všechny tokeny najednou. To je jednodušší na implementaci. Streamování vyžaduje zpracování částečných dat.
Poslední kus obsahuje statistiky využití tokenů. Můžete přesně sledovat náklady. Oba režimy podporují stejné funkce modelu. Vyberte podle potřeb vašeho UI.
Omezení volání funkcí
Volání funkcí funguje přesně nástroje. Definujete schémata v požadavku. Model vrací strukturovaný JSON. To umožňuje složité pracovní postupy.
- Použijte tool_choice k vynucení volání funkcí.
- Podporuje režim JSON pro přísný výstup.
- Parametry jako teplota ovlivňují spolehlivost.
Ne všechny funkce jsou k dispozici. Neexistují vložení (embeddings). Neexistuje generování obrázků. Neexistuje jemné ladění (fine-tuning). Zaměřte se na úkoly dokončování textu. Model dobře zvládá nástroje.
Specifika plateb kryptoměnami
Platby vyžadují pouze kryptoměny. Můžete použít USDT na TRC20. Můžete použít USDC na Base. Chyby se řeší přes podporu. K registraci není potřeba telefonní číslo. Funguje přihlášení přes Google nebo e-mail.
Podrobnosti o technické implementaci
Použijte OpenAI kompatibilní SDK. Směrujte na HTTPS://api.ablated.cc/v1. Nastavte svůj API key v hlavičce. ID modelu je "uncensored". Jedná se o model s otevřenými váhami.
Parametry jako teplota a top_p fungují podle očekávání. Můžete nastavit seed pro reprodukovatelnost. Penalizace přítomnosti a frekvence upravují opakování. Tyto funkce vám dávají kontrolu.
- Limit rychlosti je 300 požadavků za minutu.
- Limit souběžných požadavků je 8 na klíč.
- Maximální tělo požadavku je 8 MB.
