Foundry Local 정식 출시

[rkttu]

널리 쓰이는 Ollama 외에 Microsoft도 리눅스, 맥 OS, Windows에서 사용 가능한 통합 로컬 AI 엔진인 Foundry Local을 정식 출시했습니다. 다음과 같은 특징을 가지고 있습니다.

• 사용자 설정 없이 AI 기능을 바로 사용할 수 있습니다. CLI나 타사 앱 설치와 같은 외부 종속성 없이 완벽하게 작동합니다.
• 음성-텍스트 변환, 도구 호출, 채팅 기능을 하나의 통합 SDK로 제공하여 여러 SDK를 관리할 필요가 없습니다.
• 하드웨어 가속을 자동으로 지원합니다. GPU, NPU 또는 CPU 폴백 기능을 제공하며, 별도의 감지 코드가 필요하지 않습니다.
• 토큰 단위로 응답을 스트리밍하여 실시간 UX를 제공합니다.
• 오프라인에서도 작동합니다. 사용자 데이터는 기기에서 유출되지 않으며, 네트워크 지연 없이 바로 응답을 받을 수 있습니다.
• 여러 프로그래밍 언어 대상의 SDK 지원(C#, Python, JavaScript, Rust).
• 사용자가 연결이 끊기거나 앱을 닫더라도 다운로드가 중단된 지점부터 다시 시작됩니다.
  엄선된 최적화된 로컬 모델(Foundry 모델 카탈로그 제공)을 지원합니다. GPT OSS, Qwen Family, Whisper, Deepseek, Mistral, Phi를 사용할 수 있습니다.
• 크로스 플랫폼 지원 – Windows, macOS(Apple Silicon), Linux x64.
• (선택 사항) OpenAI 호환 HTTP 엔드포인트

그리고 향후 다음의 기능이 업데이트될 예정입니다.

• Azure Local 기반의 Foundry Local은 RAG, 채팅을 포함한 모델 및 에이전트형 AI를 고객 소유의 분산 인프라에 제공합니다. 현재 미리 보기로 제공되며, 곧 더 많은 기능이 추가될 예정입니다.
• 확장된 모델 카탈로그 - 커뮤니티 기여를 통해 더 많은 도메인의 더 많은 모델을 제공합니다.
• 실시간 오디오 전사 - 마이크에서 실시간으로 음성을 전사합니다. 실시간 자막 생성 시나리오에 이상적입니다.
• 향상된 하드웨어 지원 - 통합 SoC 환경의 발전에 따라 더 넓은 범위의 NPU 및 GPU를 지원할 예정입니다.
• 향상된 공유 캐시 - 애플리케이션 간 모델 공유를 위한 기능이 더욱 개선됩니다.

Windows PC의 경우 Copilot+ 브랜드 인증을 받은 하드웨어, 혹은 NVIDIA GPU를 사용할 수 있는 환경에서 Foundry Local을 충분한 성능으로 사용할 수 있을 것입니다.

더 자세한 사용법은 Foundry Local SDK Reference - Foundry Local | Microsoft Learn 문서에서 확인하실 수 있습니다.

Foundry Local is now Generally Available | Microsoft Foundry Blog

[tkm]

다 좋은데 느리더라구요 참…