Ollama Turbo: 월 20 USD로 Ollama에 클라우드 추론 더하기

Turbo란 무엇인가요?
Turbo는 데이터센터급 하드웨어를 사용하여 오픈 모델을 실행하는 새로운 방식입니다. 많은 새로운 모델이 널리 사용되는 GPU에 비해 너무 크거나 실행 속도가 매우 느립니다. Ollama Turbo는 Ollama의 앱, CLI 및 API를 사용하면서 이러한 모델을 빠르게 실행할 수 있는 방법을 제공합니다.

Turbo에서 사용할 수 있는 모델은 무엇인가요?
프리뷰 버전에서는 gpt-oss-20b 및 gpt-oss-120b 모델을 사용할 수 있습니다.

Turbo는 Ollama의 CLI와 호환되나요?
네, Ollama의 CLI는 Turbo 모드에서 작동합니다. 자세한 내용은 문서를 참조하세요.

Turbo는 Ollama의 API 및 JavaScript/Python 라이브러리와 호환되나요?
네, Ollama의 API 및 JavaScript/Python 라이브러리는 Turbo 모드에서 작동합니다. 자세한 내용은 문서를 참조하세요.

Turbo 모드에서는 어떤 데이터가 보관되나요?
Ollama는 Turbo 모드를 통해 생성된 쿼리를 로깅하거나 보관하지 않습니다.

Turbo를 실행하는 하드웨어는 어디에 있나요?
모든 하드웨어는 미국에 있습니다.

Turbo의 사용 한도는 어떻게 되나요?
Turbo는 용량 문제를 방지하기 위해 시간별 및 일별 한도를 적용합니다. 곧 사용량 기반 요금제가 출시되어 모델을 계량적으로 사용할 수 있습니다.

4개의 좋아요