Membuat Kebingungan antara Model yang Diablasi dengan Model Lokal
Model AI Ablated berjalan di server jarak jauh, bukan di laptop Anda. Saat Anda meminta respons, kode Anda mengirimkan data ke endpoint yang di-host. Model lokal seperti yang ada di Ollama berjalan sepenuhnya di perangkat keras Anda. Anda harus menyesuaikan konfigurasi SDK Anda untuk mengarah ke URL dasar yang benar.
Latensi jaringan memengaruhi waktu respons. Kecepatan model lokal Anda bergantung pada GPU Anda. Panggilan API jarak jauh menambahkan milidetik untuk perjalanan pulang pergi. Ini normal untuk layanan cloud.
Model lokal memungkinkan privasi data penuh. API jarak jauh memerlukan kepercayaan kepada penyedia. Ablated AI tidak menggunakan prompt untuk pelatihan. Data Anda tetap milik Anda. Anda masih perlu mengelola kunci API dengan aman.
Miskonsepsi Jendela Konteks
Jendela konteks mencakup token input dan output. Anda memiliki 100.000 token total per permintaan. Jumlah ini menghitung prompt dan completion secara bersamaan.
- Token input dihitung menuju batas.
- Token output dihitung menuju batas.
- Output maksimum adalah 16.000 token per permintaan.
Jika Anda tidak mengatur max_tokens, model secara default adalah 2.048 token. Ini mencegah biaya yang tidak terkendali. Anda harus menghitung ruang yang tersedia dengan hati-hati. Percakapan panjang menghabiskan jendela dengan cepat.
Mengasumsikan Penolakan Nol Selamanya
Tanpa sensor tidak berarti tak terbatas. Model menolak konten dewasa hukum secara bebas. Model tidak menolak penulisan kreatif. Ada satu batas keras yang selalu berlaku.
Konten seksual yang melibatkan anak di bawah umur ditolak. Ini tidak bisa dinegosiasikan. Topik kontroversial lainnya tetap lolos. Output riset keamanan ditampilkan mentah. Anda mendapatkan jawaban lengkap.
Penolakan gratis. Anda tidak membayar untuk token yang ditolak. Ini menghemat uang untuk prompt yang buruk. Model disesuaikan untuk kasus penggunaan dewasa.
Kebingungan Hitungan Token
Harga didasarkan pada penggunaan token nyata. Anda membayar $0.15 per 1M token input. Anda membayar $0.50 per 1M token output. Kesalahan tidak memakan biaya apa pun. Penolakan tidak memakan biaya apa pun.
- Token input dikenakan biaya pada laju yang lebih rendah.
- Token output dikenakan tarif yang lebih tinggi.
- Kredit prabayar mencakup semua penggunaan.
Kredit tidak pernah kedaluwarsa. Anda dapat mengisi ulang saat dibutuhkan. Tidak ada biaya bulanan. Anda hanya membayar apa yang dikonsumsi. Model ini sangat cocok untuk beban kerja yang bersifat bursty.
Data Streaming vs Non-Streaming
Streaming mengembalikan data dalam potongan. Server-Sent Events (SSE) mengirimkan token saat dihasilkan. Anda melihat output secara waktu nyata. Ini secara signifikan meningkatkan pengalaman pengguna.
Non-streaming menunggu respons penuh. Anda mendapatkan semua token sekaligus. Ini lebih sederhana untuk diimplementasikan. Streaming memerlukan penanganan data parsial.
Chunk terakhir berisi statistik penggunaan token. Anda dapat melacak biaya secara akurat. Kedua mode mendukung fitur model yang sama. Pilih berdasarkan kebutuhan UI Anda.
Keterbatasan Pemanggilan Fungsi
Pemanggilan fungsi bekerja melalui tools. Anda mendefinisikan skema dalam permintaan Anda. Model mengembalikan JSON terstruktur. Ini memungkinkan alur kerja kompleks.
- Gunakan tool_choice untuk memaksa panggilan fungsi.
- Mendukung mode JSON untuk output ketat.
- Parameter seperti suhu memengaruhi keandalan.
Tidak semua fitur tersedia. Tidak ada embeddings. Tidak ada generasi gambar. Tidak ada fine-tuning. Fokus pada tugas penyelesaian teks. Model menangani alat dengan baik.
Nuansa Pembayaran Kripto
Pembayaran hanya memerlukan cryptocurrency. Anda dapat menggunakan USDT di TRC20. Anda dapat menggunakan USDC di Base. Kesalahan diperbaiki melalui dukungan. Tidak perlu nomor telepon untuk pendaftaran. Login Google atau email berfungsi.
Detail Implementasi Teknis
Gunakan SDK yang kompatibel dengan OpenAI. Arahkan ke HTTPS://api.ablated.cc/v1. Tetapkan kunci API Anda di header. ID modelnya adalah "uncensored". Ini adalah model bobot terbuka.
Parameter seperti suhu dan top_p berfungsi seperti yang diharapkan. Anda dapat mengatur seed untuk reproduktibilitas. Penalti kehadiran dan frekuensi menyesuaikan pengulangan. Fitur-fitur ini memberi Anda kontrol.
- Batas laju adalah 300 permintaan per menit.
- Batas permintaan konkuren adalah 8 per kunci.
- Badan permintaan maksimal adalah 8 MB.
