안녕하세요. 이번에는 바이브코딩으로 .NET/C#으로 만든 로컬 LLM 엔진인 IgnisCore를 소개합니다.
C#/.NET으로 로컬 LLM 추론 엔진을 만들고 있습니다.
IgnisCore 는 Vulkan Compute 기반의 실험적 LLM 엔진으로, Gemma 4 GGUF 모델을 로컬 GPU에서 실행하기 위해 모델 로딩, 토크나이징, prefill/decode, FlashAttention, Cooperative Matrix 가속, KV 캐시 최적화 등을 구현하고 있습니다.
자신의 그래픽 카드 메모리에 맞게 8g이상의 경우 run-chat-gemma4-e2b-it-q8-8g.ps1를 실행
12g 이상의 경우 run-chat-gemma4-e4b-it-q8-12g.ps1를 실행해서 동작성을 확인할 수 있습니다.
.NET으로 LLM 엔진을 어디까지 만들 수 있을까? 가 궁금한 분들께 공유합니다.
