ความสับสนระหว่างโมเดลที่ถูกตัดส่วนกรองกับโมเดลท้องถิ่น
โมเดลของ Ablated ทำงานบนเซิร์ฟเวอร์ระยะไกล ไม่ใช่บนแล็ปท็อปของคุณ เมื่อคุณร้องขอการตอบกลับ โค้ดของคุณจะส่งข้อมูลไปยังจุดปลายที่โฮสต์ โมเดลในเครื่องเช่นใน Ollama จะทำงานบนฮาร์ดแวร์ของคุณทั้งหมด คุณต้องปรับการกำหนดค่า SDK ของคุณให้ชี้ไปยัง URL พื้นฐานที่ถูกต้อง
ความล่าช้าของเครือข่ายส่งผลต่อเวลาตอบสนอง ความเร็วของโมเดลในเครื่องของคุณขึ้นอยู่กับ GPU ของคุณ การเรียก API ระยะไกลเพิ่มมิลลิวินาทีสำหรับการเดินทางไปกลับ ซึ่งเป็นเรื่องปกติสำหรับบริการคลาวด์
โมเดลท้องถิ่นให้ความเป็นส่วนตัวของข้อมูลเต็มรูปแบบ API ระยะไกลต้องการการไว้วางใจผู้ให้บริการ Ablated AI ไม่ใช้พรอมต์สำหรับการฝึกอบรม ข้อมูลของคุณเป็นของคุณ คุณยังคงต้องจัดการคีย์ API อย่างปลอดภัย
ความเข้าใจผิดเกี่ยวกับหน้าต่างบริบท
หน้าต่างบริบทรวมถึง token อินพุตและเอาต์พุต คุณมี token รวม 100,000 token ต่อคำขอ ผลรวมนี้นับทั้ง prompt และ completion รวมกัน
- โทเค็นอินพุตนับรวมในขีดจำกัด
- โทเค็นเอาท์พุตนับรวมในขีดจำกัด
- เอาต์พุตสูงสุดคือ 16,000 โทเค็นต่อคำขอ
หากคุณไม่ได้ตั้งค่า max_tokens โมเดลจะกำหนดค่าเริ่มต้นเป็น 2,048 โทเคน ซึ่งช่วยป้องกันต้นทุนที่เพิ่มขึ้นโดยไม่คาดคิด คุณต้องคำนวณพื้นที่ที่มีอยู่อย่างระมัดระวัง การสนทนาที่ยาวนานจะใช้หน้าต่างบริบทอย่างรวดเร็ว
สมมติว่าไม่มีคำปฏิเสธเลย
คำว่าไร้การเซ็นเซอร์ไม่ได้หมายถึงไม่จำกัด โมเดลปฏิเสธเนื้อหาผู้ใหญ่ที่ถูกต้องตามกฎหมายอย่างอิสระ มันไม่ปฏิเสธการเขียนครีเอทีฟ มีขีดจำกัดแข็งหนึ่งข้อที่ใช้เสมอ
เนื้อหาทางเพศที่เกี่ยวข้องกับเด็กจะถูกปฏิเสธ นี่คือเงื่อนไขที่ไม่สามารถเจรจาได้ เนื้อหาที่ถกเถียงกันอื่นๆ จะผ่านเข้ามา ผลลัพธ์จากการวิจัยด้านความปลอดภัยจะปรากฏแบบดิบ คุณจะได้รับคำตอบเต็มรูปแบบ
การปฏิเสธนั้นไม่เสียค่าใช้จ่าย คุณไม่ต้องจ่ายสำหรับโทเค็นที่ถูกปฏิเสธ ซึ่งช่วยประหยัดเงินสำหรับพรอมต์ที่ไม่ดี โมเดลถูกปรับแต่งสำหรับกรณีการใช้งานผู้ใหญ่
ความสับสนเรื่องจำนวนโทเค็น
ราคาอิงตามการใช้งานโทเค็นจริง คุณจ่าย $0.15 ต่อ 1M โทเค็นอินพุต คุณจ่าย $0.50 ต่อ 1M โทเค็นเอาต์พุต ข้อผิดพลาดไม่คิดค่า การปฏิเสธไม่คิดค่า
- โทเค็นอินพุตคิดอัตราที่ต่ำกว่า
- โทเค็นเอาท์พุตคิดอัตราค่าบริการในอัตราที่สูงกว่า
- เครดิตแบบเติมเงินครอบคลุมการใช้งานทั้งหมด
เครดิตไม่หมดอายุ คุณสามารถเติมเมื่อต้องการ ไม่มีค่าธรรมเนียมรายเดือน คุณจ่ายเฉพาะสิ่งที่บริโภค โมเดลนี้เหมาะสำหรับภาระงานแบบพุ่งสูง
ข้อมูลแบบสตรีมเทียบกับไม่สตรีม
การตอบกลับแบบสตรีมส่งข้อมูลแบบชิ้นข้อมูล Server-Sent Events (SSE) ส่งโทเค็นขณะกำลังสร้าง คุณเห็นผลลัพธ์แบบเรียลไทม์ ซึ่งปรับปรุงประสบการณ์ผู้ใช้ได้อย่างมีนัยสำคัญ
การส่งแบบไม่สตรีมจะรอรับคำตอบทั้งหมด คุณจะได้รับโทเค็นทั้งหมดในครั้งเดียว ซึ่งง่ายต่อการนำไปใช้งาน ในขณะที่การสตรีมต้องการการจัดการข้อมูลบางส่วน
ส่วนสุดท้ายประกอบด้วยสถิติการใช้โทเค็น คุณสามารถติดตามต้นทุนได้อย่างแม่นยำ โหมดทั้งสองรองรับคุณสมบัติโมเดลเดียวกัน เลือกตามความต้องการ UI ของคุณ
ข้อจำกัดของ Function Calling
การเรียกใช้ฟังก์ชันทำงานผ่านเครื่องมือ คุณกำหนดสคีมาในคำขอของคุณ โมเดลส่ง JSON ที่มีโครงสร้าง สิ่งนี้เปิดใช้งานเวิร์กโฟลว์ที่ซับซ้อน
- ใช้ tool_choice เพื่อบังคับเรียกใช้ฟังก์ชัน
- รองรับโหมด JSON สำหรับผลลัพธ์ที่เข้มงวด
- Parameters like temperature affect reliability.
ฟีเจอร์ไม่ใช่ทุกตัวที่มีอยู่ ไม่มี embeddings ไม่มีสร้างภาพ ไม่มี fine-tuning มุ่งเน้นที่งาน text completion โมเดลนี้จัดการ tools ได้ดี
รายละเอียดปลีกย่อยของการชำระเงินคริปโต
การชำระเงินต้องใช้คริปโตเคอเรนซีเท่านั้น คุณสามารถใช้ USDT บน TRC20 หรือ USDC บน Base ความผิดพลาดสามารถแก้ไขผ่านฝ่ายสนับสนุนได้ ไม่ต้องใช้เบอร์โทรศัพท์สำหรับการสมัครสมาชิก สามารถเข้าสู่ระบบด้วย Google หรืออีเมลได้
รายละเอียดการนำไปใช้ทางเทคนิค
ใช้ SDK ที่เข้ากันได้กับ OpenAI ชี้ไปที่ HTTPS://api.ablated.cc/v1 ตั้งค่าคีย์ API ของคุณใน header ID โมเดลคือ "uncensored" ซึ่งเป็นโมเดล open-weight
Parameters like temperature and top_p work as expected. You can set a seed for reproducibility. Presence penalty and frequency penalty adjust repetition. These features give you control.
- อัตราการใช้งานสูงสุดคือ 300 คำขอต่อนาที
- ขีดจำกัดคำขอพร้อมกันคือ 8 ต่อคีย์
- ขนาดร่างกายคำขอสูงสุดคือ 8 MB
