제거된 모델과 로컬 모델 혼동
Ablated AI 모델은 원격 서버에서 실행되며 노트북에서 실행되지 않습니다. 응답을 요청하면 코드가 호스팅된 엔드포인트로 데이터를 전송합니다. Ollama의 로컬 모델은 하드웨어에서 완전히 실행됩니다. 올바른 기본 URL을 가리키도록 SDK 구성을 조정해야 합니다.
네트워크 지연은 응답 시간에 영향을 미칩니다. 로컬 모델의 속도는 GPU 성능에 따라 달라집니다. 원격 API 호출은 왕복 지연으로 인해 밀리초 단위의 지연을 추가합니다. 이는 클라우드 서비스에서 정상적인 현상입니다.
로컬 모델은 완전한 데이터 프라이버시를 제공합니다. 원격 API는 제공업체를 신뢰해야 합니다. Ablated AI는 학습을 위해 프롬프트를 사용하지 않습니다. 귀하의 데이터는 귀하에게 유지됩니다. API 키를 안전하게 관리해야 합니다.
컨텍스트 윈도우 오해
컨텍스트 윈도우는 요청당 총 100,000개의 토큰을 제공합니다. 이 합계는 프롬프트와 완성을 합친 것입니다.
- 입력 토큰은 제한 사항에 포함됩니다.
- 출력 토큰은 한도에 포함됩니다.
- 최대 출력은 요청당 16,000 토큰입니다.
max_tokens을 설정하지 않으면 모델은 2,048 토큰으로 기본 설정됩니다. 이는 비용이 비정상적으로 증가하는 것을 방지합니다. 사용 가능한 공간을 신중하게 계산해야 합니다. 긴 대화는 컨텍스트 창을 빠르게 소모합니다.
거부가 전혀 없다고 가정
검열 없음이 콘텐츠가 무제한이라는 뜻은 아닙니다. 모델은 합법적인 성인 콘텐츠를 자유롭게 거부하지 않습니다. 창작 글쓰기는 거부하지 않습니다. 항상 적용되는 하나의 하드 리밋이 있습니다.
미성년자가 관련된 성인 콘텐츠는 거부됩니다. 이는 타협 불가능한 원칙입니다. 그 외의 논쟁적인 주제들은 통과됩니다. 보안 연구 출력물은 원본 그대로 제공됩니다. 당신은 전체 답변을 받습니다.
거절은 무료입니다. 거부된 토큰에 대해 요금을 지불하지 않습니다. 이는 잘못된 프롬프트로 인해 비용을 절약합니다. 모델은 성인용 사례에 맞게 조정되었습니다.
토큰 수 혼란
가격은 실제 토큰 사용량을 기준으로 책정됩니다. 입력 토큰 1M당 $0.15를 지불합니다. 출력 토큰 1M당 $0.50를 지불합니다. 오류는 무료이며, 거부 요청도 무료입니다.
- 입력 토큰은 낮은 요금으로 청구됩니다.
- 출력 토큰은 높은 비율로 청구됩니다.
- 선불 크레딧은 모든 사용을 커버합니다.
크레딧은 만료되지 않습니다. 필요할 때 충전할 수 있습니다. 월별 요금이 부과되지 않습니다. 사용한 만큼만 지불합니다. 이 모델은 버스트 워크로드에 잘 맞습니다.
스트리밍 vs 비스트리밍 데이터
스트리밍은 청크 단위로 데이터를 반환합니다. 서버 전송 이벤트(SSE)는 생성되는 대로 토큰을 전달합니다. 실시간으로 출력을 볼 수 있습니다. 이는 사용자 경험을 크게 향상시킵니다.
없음
마지막 청깅에는 토큰 사용량 통계가 포함되어 있습니다. 비용을 정확하게 추적할 수 있습니다. 두 모드 모두 동일한 모델 기능을 지원합니다. UI 요구 사항에 따라 선택하세요.
함수 호출 한계
함수 호출은 도구를 통해 작동합니다. 요청에서 스키마를 정의합니다. 모델은 구조화된 JSON을 반환합니다. 이는 복잡한 워크플로우를 가능하게 합니다.
- 함수 호출을 강제하려면 tool_choice를 사용하세요.
- 엄격한 출력을 위해 JSON 모드를 지원합니다.
- 온도 같은 매개변수는 신뢰성에 영향을 미칩니다.
모든 기능이 제공되는 것은 아닙니다. 임베딩이 없습니다. 이미지 생성이 없습니다. 파인튜닝이 없습니다. 텍스트 완성 작업에 집중하세요. 이 모델은 도구 사용을 잘 처리합니다.
암호화폐 결제 세부 사항
결제는 암호화폐만 가능합니다. TRC20의 USDT 또는 Base의 USDC를 사용할 수 있습니다. 오류는 지원팀을 통해 해결됩니다. 가입 시 전화번호가 필요하지 않습니다. Google 또는 이메일 로그인이 가능합니다.
기술적 구현 세부 사항
OpenAI 호환 SDK를 사용하세요. HTTPS://api.ablated.cc/v1을 가리키세요. 헤더에 API 키를 설정하세요. 모델 ID는 "uncensored"입니다. 오픈 웨이트 모델입니다.
온도 및 top_p 같은 매개변수는 예상대로 작동합니다. 재현성을 위해 시드를 설정할 수 있습니다. 존재 패널티와 빈도 패널티는 반복을 조정합니다. 이러한 기능은 제어를 제공합니다.
- 속도 제한은 분당 300회 요청입니다.
- 동시 요청 제한은 키당 8개입니다.
- 최대 요청 본문 크기는 8 MB입니다.
