AI 개발자가 되어봅시다.

image

더 이상 미룰 수 없습니다. 너의 LLM 나의 AI

평소부터 언어 모델을 C# 으로 구동할수 없을까 생각했습니다.

마침 LM-KIT 는 생성형 AI 를 .Net 통합할수 라이브러리가 있다해서

해봤습니다.

사이트 https://lm-kit.com/

튜토리얼은 매우 간단했습니다.

image

Console 프로젝트를 생성하고

 <ItemGroup>
   <PackageReference Include="LM-Kit.NET" Version="2024.10.4" />
   <PackageReference Include="LM-Kit.NET.Backend.Cuda12.Windows" Version="2024.10.4" />
 </ItemGroup>

이 두가지 라이브러리를 Nuget 설치 하면 됩니다.

문제는 gguf 라는 model 파일

이번에 이걸 하면서 한글 모델을 찾아봤는데 허깅 페이스라는곳에 제공해주네요

using LMKit;

// See https://aka.ms/new-console-template for more information
var model = new LMKit.Model.LLM("Llama-3-Open-Ko-8B-Q4_0.gguf");

// Create a multi-turn conversation instance
var chat = new LMKit.TextGeneration.MultiTurnConversation(model);

// Submit a prompt and get the response. The Submit method returns an object of type [LMKit.TextGeneration.TextGenerationResult](https://docs.lm-kit.com/lm-kit-net/api/LMKit.TextGeneration.TextGenerationResult.html)
var response = chat.Submit("안녕 세상아?");

// Output the generated text
Console.WriteLine("Response: " + response.Completion);


소스라고 할것도 없이 저렇게 생성하고 질문을 던져보면 됩니다.

왜 대답이 저렇게 나오는지 모르겠지만 “예약해 진성”
이렇게 나오네요 시스템 리소스 사용량도 보시다시피 GPU 로드가 걸리는것을
볼수 있습니다.

11 Likes

오 신기합니다!!

GPT 처럼 간략한 설명 해주고 만들어 달라 하면 코딩도 해주나요 ?

언어 모델 학습에 따라 다를것니다 저도 try 만 해본것라

감사합니다.~~~

Test 해보는데 잘 모르겠네요.
라이선스 도 발급 받아라 하고,. 최신 버전( [10.5]) 사용하면 dll 오류도 나고, [10.1] 버전 사용하면 또 다른 오류도 나고 [10.3] 버전 사용하면 오류가 나진 않는데 답변은 이상하게 하구요.
GPU는 사용하지 않고 CPU 만 사용하네요.

혹시 LM스튜디오나 올라마와 비슷하게 답변 받아 보신 분 있으신가요 ?

저도 var model = new LMKit.Model.LLM(“Llama-3-Open-Ko-8B-Q4_0.gguf”);
여기서 아래 오류 뜨네요

LMKit.Exceptions.RuntimeException: ‘The version of LM-Kit.llama.cuda12.dll does not match the parent assembly version.’

환경은…

.net Core 8
LM-Kit.NET” Version=“2024.10.5”
“LM-Kit.NET.Backend.Cuda12.Windows” Version=“2024.10.5”

파란매님 구동 하신 환경 하고 다른가요 ?

image
구동환경은 이렇습니다. 지포스 960 이고

이게 소스가 의미가 없을것 같은데

소스 입니다.


저는 GPU를 타네요 그리고 저도 처음 테스트 할때
안됐는데 재부팅 해서 시스템 클린한 상태에서 동작을 했습니다.
저도 링크드인에서 처음 보고 한번 해본것라 자세히는 모르겠습니다.

Version=“2024.10.4” 로 낮추니까 에러 없이 실행이 되었는데 이번엔

var response = chat.Submit(textBox1.Text);
여기서 CPU 100 , 메모리 95 치드만 프로그램 죽어 버리네요…
아 AI 숭내좀 내볼라 캣드만 어렵네요

CPU는 i7 8565U
MEM은 16G

아직 닷넷에서 라이브리만으로는 어려운것 같네요.