CPU 기반의 LM AI 구동

기본적으로 LM AI는 GPU를 사용하는게 바람직하지만, GPU 수급 문제나 구매 단가가 많이 높기 때문에 항상 선택할 수 있는 옵션은 아닌것 같습니다.

오늘 AWS Summit에 참가한 인텔 부스에서는 이런 경우 대안으로 고려할 수 있는 CPU 기반 AI 런타임 데모를 보여주셨는데 흥미로웠습니다.

아무 CPU에서나 다 되는 것은 아니고 HBM (고대역폭 메모리)이 지원되고, AVX 512 명령어가 지원되는 차세대 CPU여야한다는 제한 사항이 있긴합니다만, GPU 보다 가성비를 추구할 수 있는것은 흥미로운 점입니다. 툴킷은 OpenVINO 기반이고, 지원되는 LM 타입이 따로 있으며 닷넷에서는 P/Invoke로 래핑해서 쓸 수 있을겁니다.

이 방식으로 AI를 로컬에서 구축하고 테스트할 수 있다면, Windows 머신에서 Visual Studio 2022를 기반으로 인하우스 LM AI와 연결되는 앱을 개발하는것이 현실적인 이야기가 될 것 같습니다.

이 주제에 관심있으신 분들을 위해 링크를 공유합니다.

5 Likes

llamacpp라고 cpu 기반에 최적화 된 LLM 구동기도 있습니다.

학습 (애초에 CPU로는 어렵겠지만.) 하지 않을 것이라면 이것도 좋습니다.

대충 12세대 I5로도 7B 정도의 sLLM은 사용할 만 합니다.

Github

C# 바인딩

4 Likes