BitNet.Cpp

[Vincent]

전문가가 아니라서 무슨 내용인진 잘 모르겠지만 Microsoft에서 BitNet.cpp 라는 CPU를 사용한 고성능 LLM 도구가 나온 것 같습니다.

BitNet.cpp, Microsoft가 공개한 x86 및 ARM 기반 CPU에 최적화한 BitNet 추론 프레임워크 - 읽을거리&정보공유 - 파이토치 한국 사용자 모임

microsoft/BitNet: Official inference framework for 1-bit LLMs

출시한지 5일밖에 안되었는데 GitHub Star가 8000개가 넘었네요.

[rkttu]

저 역시도 문외한인 분야지만, 대략 알고 있는 내용으로 정리해본 내용은 다음과 같습니다. ㅎㅎ (ChatGPT의 도움과 함께)

BitNet은 마이크로소프트에서 개발한 **1비트 대형 언어 모델(LLM)**의 추론을 위한 오픈소스 프레임워크입니다. 이 프로젝트의 핵심은 bitnet.cpp라는 최적화된 커널을 사용하여 1비트 모델을 빠르고 효율적으로 실행하는 데 있습니다. 현재 CPU에서의 추론을 지원하며, 향후 NPU 및 GPU 지원도 예정되어 있습니다.

BitNet의 목표는 대형 언어 모델의 성능을 유지하면서도 계산 부담과 에너지 소비를 크게 줄이는 것입니다. 예를 들어, x86 CPU에서 2배에서 6배에 달하는 성능 향상을 이루며, 최대 82%까지 에너지 소비를 절감할 수 있습니다. 이러한 최적화를 통해, 100억 파라미터 이상의 대형 모델도 단일 CPU에서 실행 가능하게 만들어, 로컬 장치에서도 대형 언어 모델을 실용적으로 사용할 수 있습니다.

BitNet은 BitLinear라는 기법을 사용하여 기존의 선형 레이어를 1비트로 훈련하고 실행할 수 있게 함으로써, 메모리 사용량을 크게 줄이면서도 성능은 기존 8비트 또는 FP16 방식과 비교해 손색없습니다. 이 프로젝트는 대형 언어 모델의 확장성을 높이고, 더 친환경적인 방식으로 운영할 수 있도록 설계되었습니다.

애플리케이션 개발자의 입장에서보는 대략적인 사용법은, BitNet을 엔진으로 사용하면서, 허깅페이스에 올라오는 호환되는 1비트 모델을 하나 택해서 ChatGPT를 사용하듯 애플리케이션에서 활용하는 형태가 될 것 같습니다. 그런데 여기서 의미있는 부분은, 지금 가지고 있는 CPU나 GPU 성능 만으로도 "쓸만한 추론"을 해낼 수 있다는 것이 포인트인 것 같습니다.

LlamaSharp 처럼 사용할 수 있는 BitNet용 닷넷 래퍼가 등장한다면, LlamaSharp보다 더 라이트하게 쓸 수 있는 로컬 LLM API가 등장하는 것을 상상해볼 수 있는 그런 그림이 예상됩니다.

[tkm]

BitNet은 기존 4비트/3비트 양자화보다 더 나아가,
개선된 알고리즘을 통해 약 1.58비트 양자화를 구현하여 큰 모델을 낮은 성능의 컴퓨터에서 실행할 수 있게 하는 기술입니다.

속도보다는 모델 크기를 줄여 대형 모델을 사용자 디바이스에서 실행 가능하게 하는 것을 목표로 합니다.

기존 논문으로 있던 내용을 코드로 구현한것 같은데 당연히 전용으로 양자화된 모델이 별도로 필요합니다.

아마 MS니까 나중에 ML.NET에 추가되지 않을까 기대하고 있습니다…