더 이상 미룰 수 없습니다. 너의 LLM 나의 AI
평소부터 언어 모델을 C# 으로 구동할수 없을까 생각했습니다.
마침 LM-KIT 는 생성형 AI 를 .Net 통합할수 라이브러리가 있다해서
해봤습니다.
튜토리얼은 매우 간단했습니다.
Console 프로젝트를 생성하고
<ItemGroup>
<PackageReference Include="LM-Kit.NET" Version="2024.10.4" />
<PackageReference Include="LM-Kit.NET.Backend.Cuda12.Windows" Version="2024.10.4" />
</ItemGroup>
이 두가지 라이브러리를 Nuget 설치 하면 됩니다.
문제는 gguf 라는 model 파일
이번에 이걸 하면서 한글 모델을 찾아봤는데 허깅 페이스라는곳에 제공해주네요
using LMKit;
// See https://aka.ms/new-console-template for more information
var model = new LMKit.Model.LLM("Llama-3-Open-Ko-8B-Q4_0.gguf");
// Create a multi-turn conversation instance
var chat = new LMKit.TextGeneration.MultiTurnConversation(model);
// Submit a prompt and get the response. The Submit method returns an object of type [LMKit.TextGeneration.TextGenerationResult](https://docs.lm-kit.com/lm-kit-net/api/LMKit.TextGeneration.TextGenerationResult.html)
var response = chat.Submit("안녕 세상아?");
// Output the generated text
Console.WriteLine("Response: " + response.Completion);
소스라고 할것도 없이 저렇게 생성하고 질문을 던져보면 됩니다.
왜 대답이 저렇게 나오는지 모르겠지만 “예약해 진성”
이렇게 나오네요 시스템 리소스 사용량도 보시다시피 GPU 로드가 걸리는것을
볼수 있습니다.