전용 프레임워크를 써야한다는 한계가 있지만, 그럼에도 지속적으로 CPU 만으로도 효율적으로 동작하는 언어 모델 개발이 계속 Microsoft Research 주도로 이루어지고 있습니다.
마이크로소프트 연구진이 발표한 새로운 AI 모델 BitNet b1.58 2B4T는 CPU에서도 효율적으로 작동하는 대규모 1비트 AI 모델입니다.
⸻
핵심 요약
• 모델 특성: BitNet b1.58 2B4T는 20억 개의 파라미터를 가진 1비트 AI 모델로, -1, 0, 1의 세 가지 값으로 가중치를 양자화하여 메모리와 연산 효율을 극대화했습니다.
• 성능: 4조 개의 토큰으로 학습된 이 모델은 Meta의 Llama 3.2 1B, Google의 Gemma 3 1B, Alibaba의 Qwen 2.5 1.5B 등을 능가하는 성능을 보였으며, 특히 GSM8K(초등 수준 수학 문제)와 PIQA(물리적 상식 추론) 벤치마크에서 우수한 결과를 나타냈습니다.
• 호환성: BitNet은 마이크로소프트의 맞춤형 프레임워크인 bitnet.cpp를 통해 실행되며, 현재는 특정 하드웨어에서만 지원됩니다. GPU에서는 작동하지 않아 호환성에 제한이 있습니다.
⸻
이 모델은 저전력 환경에서도 고성능 AI 기능을 구현할 수 있는 가능성을 보여주며, 특히 엣지 컴퓨팅이나 모바일 디바이스에서의 활용이 기대됩니다.