Confusion entre modèles ablatés et modèles locaux
Les modèles Ablated s'exécutent sur des serveurs distants, pas sur votre ordinateur portable. Lorsque vous demandez une réponse, votre code envoie des données à un point de terminaison hébergé. Les modèles locaux comme ceux d'Ollama s'exécutent entièrement sur votre matériel. Vous devez ajuster la configuration de votre SDK pour pointer vers la bonne URL de base.
La latence réseau affecte le temps de réponse. La vitesse de votre modèle local dépend de votre GPU. Les appels API distants ajoutent des millisecondes pour les allers-retours. C'est normal pour les services cloud.
Les modèles locaux offrent une confidentialité totale des données. Les API distantes nécessitent de faire confiance au fournisseur. Ablated AI n'utilise pas les prompts pour l'entraînement. Vos données restent les vôtres. Vous devez toujours gérer les clés API en toute sécurité.
Idées Reçues sur la Fenêtre de Contexte
La fenêtre de contexte inclut les tokens d'entrée et de sortie. Vous disposez de 100 000 tokens au total par requête. Cette somme compte l'invite et la réponse combinés.
- Les tokens d'entrée comptent pour la limite.
- Les tokens de sortie comptent pour la limite.
- La sortie maximale est de 16 000 tokens par requête.
Si vous ne définissez pas max_tokens, le modèle utilise par défaut 2 048 jetons. Cela évite les coûts imprévus. Vous devez calculer soigneusement l’espace disponible. Les conversations longues consomment rapidement la fenêtre de contexte.
Supposer zéro refus pour toujours
Sans censure ne signifie pas infini. Le modèle refuse librement le contenu adulte légal. Il ne refuse pas l'écriture créative. Il existe une limite stricte qui s'applique toujours.
Le contenu sexuel impliquant des mineurs est refusé. C'est non négociable. Les autres sujets controversés passent. Les résultats de la recherche en sécurité apparaissent bruts. Vous obtenez la réponse complète.
Les refus sont gratuits. Vous ne payez pas pour les jetons rejetés. Cela permet d'économiser de l'argent sur les invites de mauvaise qualité. Le modèle est ajusté pour les cas d'usage adultes.
Confusion sur le nombre de jetons
La tarification est basée sur l'utilisation réelle des jetons. Vous payez 0,15 $ par 1M de jetons d'entrée. Vous payez 0,50 $ par 1M de jetons de sortie. Les erreurs ne coûtent rien. Les refus ne coûtent rien.
- Les jetons d'entrée sont facturés au taux inférieur.
- Les tokens de sortie sont facturés au taux supérieur.
- Le crédit prépayé couvre toute l'utilisation.
Le crédit n'expire jamais. Vous pouvez recharger quand vous en avez besoin. Aucun frais mensuel ne s'applique. Vous ne payez que ce que vous consommez. Ce modèle convient bien aux charges de travail irrégulières.
Données : Streaming vs Non-Streaming
Le streaming retourne des données par chunks. Les Server-Sent Events (SSE) délivrent les tokens au fur et à mesure de leur génération. Vous voyez la sortie en temps réel. Cela améliore considérablement l'expérience utilisateur.
Le mode non streaming attend la réponse complète. Vous obtenez tous les jetons en une fois. C'est plus simple à implémenter. Le streaming nécessite de gérer les données partielles.
Le dernier fragment contient les statistiques d'utilisation des tokens. Vous pouvez suivre les coûts avec précision. Les deux modes prennent en charge les mêmes fonctionnalités de modèle. Choisissez en fonction de vos besoins d'interface utilisateur.
Limitations de l'appel de fonction
L'appel de fonctions fonctionne via des outils. Vous définissez des schémas dans votre requête. Le modèle renvoie du JSON structuré. Cela permet des workflows complexes.
- Utilisez tool_choice pour forcer les appels de fonction.
- Prend en charge le mode JSON pour une sortie stricte.
- Les paramètres comme la température affectent la fiabilité.
Toutes les fonctionnalités ne sont pas disponibles. Aucune embedding n'existe. Aucune génération d'image n'existe. Aucun fine-tuning n'existe. Concentrez-vous sur les tâches de complétion de texte. Le modèle gère bien les outils.
Nuances du paiement crypto
Les paiements nécessitent uniquement des cryptomonnaies. Vous pouvez utiliser USDT sur TRC20. Vous pouvez utiliser USDC sur Base. Les erreurs sont corrigées via le support. Aucun numéro de téléphone n'est nécessaire pour l'inscription. La connexion via Google ou par e-mail fonctionne.
Détails d'implémentation technique
Utilisez les SDK compatibles OpenAI. Pointez vers HTTPS://api.ablated.cc/v1. Définissez votre clé API dans l'en-tête. L'ID du modèle est "uncensored". C'est un modèle à poids ouverts.
Les paramètres comme la température et le top_p fonctionnent comme prévu. Vous pouvez définir une graine pour la reproductibilité. La pénalité de présence et la pénalité de fréquence ajustent les répétitions. Ces fonctionnalités vous donnent du contrôle.
- La limite de taux est de 300 requêtes par minute.
- La limite de requêtes concurrentes est de 8 par clé.
- Le corps de la requête maximale est de 8 Mo.
