.NET위에서 AI를 구동해 보았습니다.

[경태_왕]

로컬머신에서 AI 구동에 대한 주제로 조사를 하다보니, C# .NET 을 이용하여 LLama 모델을 구동 시킬 수 있는 LLamaSharp 을 발견 했습니다.
https://scisharp.github.io/LLamaSharp/0.4/GetStarted/

간단히 실제로 구동 시켜 보았는데요.

테스트할 프롬프트로는 create a story about one of the c# programmer. under 1000 characters. 라는 것이었는데, 보통 이야기를 만들어 내라와 같은 프롬프트가 CPU 및 GPU 로드를 확실히 볼 수 있을 것 같습니다. 거의 GPU를 100 퍼센트 사용 합니다.

동영상으로 소개드리지 못해 좀 아쉽지만, 생성 시간은 기성 모델보다는 비교적 느렸습니다 한 2분 정도 걸리네요. 어쩌면 파라메터를 잘못 설정 했을지도 모르겠어요.
그럼에도 불구 하고 Hugging face 에서 받은 Meta-Llama-3.1-8B-Instruct-Q8_0.gguf 라는 모델을 사용하여 .NET 위에서 응답을 받을 수 있다는것에 신선함을 줍니당.

지금 이 구동 PC의 사양은 이러 합니다.

• RTX 3070
• i9 10900KF
• 32Gb 메모리

조금 적당한 모델을 찾고, 이 라이브러리가 좀더 발전 되면, 우리가 만들 WPF 나 Blazor 앱에서도 작은 On-Device AI를 돌릴 시대가 오려나요?

[파란매]

아이게 되는군요 저도 이걸 .NET 으로 구동시킬수 있지 않을까 생각만 했는데 대단하시네요

[tkm]

llama.cpp예전에 사용해본 경험이 있는데.

2분이 소요된 것은 아마 모델을 로딩하는 시간때문인 것 같습니다.
8비트 양자화 모델이면 조금 큰 편이죠, 최초 메모리 로딩 이후 생성 속도 자체는 꽤나 빨랐던 걸로 기억합니다.

C#에서 AI를 작동하는 다른 방법으로는 OnnxRuntime을 사용한 Phi-3도 있습니다.

[경태_왕]

Basic C# Tutorial

좋은 정보 감사합니다. @tkm

[경태_왕]

링크를 타고 보니, MSDN 에서 공식적으로 소개를 하는군요

를 사용하여 WinUI 앱에서 ONNX 모델 시작 ONNX Runtime

LLamaSharp 보다 체계적인것 같습니다.
이미 많은 닷넷히어로 분들께서 인용 하시고 계셨네요.