😊AI를 이용해서 어두운 이미지를 밝게 만들어보자

[gellston]

그리고 C++23에 그런 #embed? 같은 특별한 녀석이 도입된다니 C++도 열심히 공부해야겠군요 여전히 현역이네요.. #이 붙은거 보니 전처리기쪽인가보군요? 신기하네요. (#define #if #pragma 같은녀석?)

[재현_정]

훌륭한 기술 정보를 알려주셔서 감사합니다.
저도 OpenCV가 적용된 C++ 인터페이스 코드를 C++/CLI로 래핑해서 C# WPF로 이미지 출력하는 방법을 채택해서 영상처리 프로그램을 만드는 중이었는데 AI(Python)까지 사용하는 방법도 있다는게 놀라울 따름입니다. 도전해봐야겠네요~

[code-monkey]

궁금한 점이 있어 댓글 남깁니다.

현재 프로젝트에서 C++로 한 번 래핑한 뒤 C#에서 사용하는 구조로 작성하신 것으로 보이는데요,
C#에서도 바로 추론이 가능한 것으로 알고 있어서 C++ 레이어를 두신 이유가 궁금합니다.

혹시 아래와 같은 이유가 있었을까요?

• C#에서 바로 사용하기 어려운 제약, 호환성 이슈

• 성능 최적화 목적

• 배포/재사용성(다른 언어/모듈에서 공통 DLL로 쓰기 등)

• 또는 위 외에 다른 이유

잘 몰라서 여쭤보며 답변 주시면 감사하겠습니다!

[gellston]

AI ONNX 모델을 돌릴때 ONNX C#라이브러리를 사용하면 말씀하신대로 바로 사용할 수 있는데요.
C++로 랩핑해서 회사내부에 MFC나 C++을 사용하는 환경을 가정하였습니다.
그래서 c#으로 래핑하는 과정을 기록하거나 자료로 만들어서 의견을 나누거나 이상한점 더 좋은 방법을 이야기해보려 했습니다 .

저희 회사 내부에서는 c#이나 WPF를 쓰시는분은 극소수라 ㅠㅠ 둘다 만족할려면 저 방법밖에 없더군요.

슬로그 기록이 좀 쌓이면 발표자료로도 정리할 생각입니다 ㅠ 주제넘지만.. 쩝

[gellston]

ㅠㅠ 전쟁터에서 동지를 만난 기분이군요 ㅠ
같이 의견 나눠봐요 ㅠㅠ

[gellston]

지금까지의 과정을 반영하여 누겟패키지와 README를 업데이트하여 git에 올렸습니다.

GitHub - gellston/LLE: Low Light Enhancement Deeplearning Model Inference API

LLE.Native.Cu118 1.0.6

내일.. C# 작업해야겠군요.

Tutorial Code

#include <lle/memoryPool.h>
#include <lle/image.h>
#include <lle/lle.h>
#include <iostream>

int main()
{
    try {
        // create lle instance
        auto lle = lleapi::v1::lle::create();

        // load Zero-DCE++ model on CPU
        // (also supports loading an ONNX model from a file path)
        lle->setup(lleapi::v1::dlType::zeroDCE, lleapi::v1::device::cpu);

        // load color image
        auto input = lleapi::v1::image::imread(
            "C://github//dataset//lol_dataset//our485//low//low_15.png",
            lleapi::v1::colorType::color
        );

        // predict
        auto output = lle->predict(input);

        // save result image
        lleapi::v1::image::imwrite(
            "C://github//LLE//LLE//x64//Debug//result1.jpg",
            output
        );

        // cleanup internal instance
        lle->shutdown();
    }
    catch (std::exception ex) {
        std::cout << ex.what() << std::endl;
    }
}

코드로 보시다시피 모델 경로를 입력 하지 않아도 enum flag를 넣어서 dll내부에 들어가 있는 모델 바이러니를 읽어서 로드하도록 작업했습니다. bin2c로 그냥 헤더 파일로 만들어서 넣었네요 ㅠ .. 다음에는 asm 방법이건 다르게 바이너리를 밀어넣는 작업을 해보고 싶군요.

내일 할 것..

이제는 정말로 닷넷용 랩핑!!

[gellston]

C++/CLI를 통한 랩핑

코드 작업은 완료 되었고 누겟으로 패키징하는 작업을 진행하고 있습니다.
누겟도 해보니… cpp dll이 포함되어있는 패키징을 진행할 때에는 조금 더 까다롭군요.
아래는 이전에 작성한 cpp코드와 지금 만든 managed 라이브러리의 형태를 비교하기 쉽도록 적었습니다.

CPP

#include <lle/memoryPool.h>
#include <lle/image.h>
#include <lle/lle.h>
#include <iostream>

int main()
{
    try {
        // create lle instance
        auto lle = lleapi::v1::lle::create();

        // load Zero-DCE++ model on CPU
        // (also supports loading an ONNX model from a file path)
        lle->setup(lleapi::v1::dlType::zeroDCE, lleapi::v1::device::cpu);

        // load color image
        auto input = lleapi::v1::image::imread(
            "C://github//dataset//lol_dataset//our485//low//low_15.png",
            lleapi::v1::colorType::color
        );

        // predict
        auto output = lle->predict(input);

        // save result image
        lleapi::v1::image::imwrite(
            "C://github//LLE//LLE//x64//Debug//result1.jpg",
            output
        );

        // cleanup internal instance
        lle->shutdown();
    }
    catch (std::exception ex) {
        std::cout << ex.what() << std::endl;
    }
}

CSharp

namespace ManagedTest
{
    internal class Program
    {
        static void Main(string[] args)
        {
            try
            {

                //// Create LLE Instance
                var lle = LLEAPI.V1.LLE.Create();


                //// load zerodce model and load on cpu
                //// its also support onnx model load from path
                lle.Setup(LLEAPI.V1.DlType.ZeroDCE, LLEAPI.V1.Device.Cpu);

                //// load color image
                var input = LLEAPI.V1.Image.Imread("C://github//dataset//lol_dataset//our485//low//low_15.png", LLEAPI.V1.ColorType.Color);

                //// predict 
                var output = lle.Predict(input);

                //// save image file on disk
                LLEAPI.V1.Image.Imwrite("C://github//LLE//LLE//x64//Debug//result1.jpg", output);

                //// cleanup internal instance
                lle.Shutdown();


            }
            catch (Exception ex)
            {
                System.Diagnostics.Debug.WriteLine(ex.ToString());
            }
        }
    }
}

C++/CLI를 통한 랩핑 장단점

개인적으로 윈도우 OS만을 한정해서 작업할 때 C++/CLI을 통해 랩핑하는 방식이 이점이 더 많은 것 같습니다. 아래는 개인적으로 생각하는 장단점입니다.

장점

1. 스마트 포인터를 사용하는 라이브러리를 랩핑할 시 댕글링 포인터 버그를 최소화 할 수 있다.
2. PInvoke 마샬링을 통해 랩핑하는 것과 비교하여 C++ dll 내부에서 진행하는 브릿지 함수 작업이 필요 없다. (예: ABI 호환 성을 높이기 위한 extern "C"를 붙인 primitive 타입 입출력 함수 작업)
3. 객체 클래스 랩핑이 쉽다.
4. throw가 있는 C++ 함수 랩핑이 쉽다.
5. 표준 C++라이브러리 std::string 타입이나 std::vector같은 컨테이너와의 컨버전을 쉽게 할 수 있다.
6. 복잡한 C++라이브러리의 설계 형태도 변경 없이 유지가 가능하다.

단점

1. C++/CLI 언어 러닝커브가 있음.
2. 멀티 OS 지원이 불가능
3. C++언어에 대한 이해가 어느 정도 필요.
4. 네이티브 언어와 혼용하는 언어이고 managed언어에서 보던 에러 형태와는 다르기 때문에 디버깅 난이도가 조건부로 상승.

다음에 할 일

C# WPF UI 개발은 무조건 할 것이고… 시간이 된다면 C++/CLI와 마샬링의 차이를 좀더 자세하게 기록을 해보고싶군요.

[rkttu]

첨언을 좀 드리면, 네이티브 핸들은 SafeHandle (SafeHandle 클래스 (System.Runtime.InteropServices) | Microsoft Learn)을 통해 제공해주시고, 이걸 포장하는 매니지드 래퍼는 IDisposable 인터페이스를 제공해주시면 더 좋습니다.!

[gellston]

댓글을 먼저 봤어야했는데 대충 해버렸군요 ㅎㅎ 다음버전 수정할때 반영해야겠습니다 ㅠ

[파란매]

아 이 자료는 이렇게 가볍게 볼 자료가 아니라 금쪽같은 자료네요 정말 딥하게 한번 보겠습니다.
제가 당장의 목표가 “학습하는 방법 그걸 활용” 이 난제에 대해서 어떻게든 해볼려고 하고 있거든요
감사합니다.

[gellston]

학습하는 방법 활용이라는게 그 딥러닝 학습 말씀하시는건가용?

[파란매]

데이타셋을 모아놓고 이걸 학습 한다는 개념을 잘모르겠습니다. 그 학습해서 패턴을 만들어서 다른 데이타셋에 적용한다
이걸 배우고싶습니다.

[gellston]

만약 그 AI학습을 시키는 것이 목적이라면 AI를 깊게 모르더라도 간단한 추론을 이해하시면 좋을 것 같습니다. (바이브코딩으로 AI에게 시키더라도 추론이 무엇인지 이해하면 좋습니다.)
제가 파란매님이 의도한 것을 정확하게 이해한 것인지는 모르겠지만 “학습하는 방법 그걸 활용” 이 부분? 요즘하는 AI가 학습하는 것을 이해하고 통찰을 얻어서 활용을 하시는 거라면

참고로 저는 인문계, 이과 출신이 아니라 수능도 쳐본 적 없는 공고출신 사람인지라 -_-..
전자과를 나왔지만 미분은 대학생 학부생때 고생하면서 외우면서 학점을 위한 공부를 했고 어려운 수학 기호를 정말 잘못봅니다 -_-..
고등과정을 이과를 나오신 분들은 정말 빠릿빠릿하게 잘보시더군요 -_-..
그렇다고 해서 딥러닝 논문 전부가 다 어려운 것은 아니고 이해할 수 있는 쉬운 것들만 골라서 보는 것 만으로도 도움이 많이됩니다.

제가 공부했던 순서는 아래와 같습니다.

가장 작은 AI 핸드북이나 강의를 들으면 공통적으로 나오는 것들.

1. Linear Regression
2. Gradient Descent Algorithm
3. Multivariate Linear Regression
4. Logistic Regression
5. Multivariate Logistic Regression
6. XOR Problem
7. Multi Layer Perceptron (MLP)
8. Dropout
9. CNN
10. Batch Normalization
11. Classification

---

근데 저것들을 저렇게 음.. 뭐랄가 똑똑하신 분들 용어로 보지말고 직관적인 자기만의 감각으로 보는게 중요한거같습니다.
저는 저것들을 아래 리스트로 다시 치환해서 머리속에 기억하고 있습니다.

내 방식대로 이해한 것

1. Linear Regression → 값을 예측하는 방법
2. Gradient Descent Algorithm → 로스 기울기 계산을 위한 연쇄미분 푸는 알고리즘?
3. Multivariate Linear Regression → 값을 예측할때 여러가지 다변수 입력?을 가지고 예측
4. Logistic Regression → 확률을 예측
5. Multivariate Logistic Regression → 확률을 예측할때 여러가지 다변수 입력?을 가지고 예측
6. XOR Problem → 성능을 끌어 올리기 위해서 비선형이 필요한 이유
7. Multi Layer Perceptron (MLP) → 5번의 XOR로 인해 고안된 설계
8. Dropout → 학습 안정화를 하는 방법중 하나
9. CNN → 필터를 학습해보자
10. Batch Normalization → 학습 안정화를 하는 방법중 하나
11. Classification → 확률 예측을해서 물체를 분류

---

책도 여러 개 보면 도움도 안되고 너무 복잡해지기 떄문에 …
마치 GoF 디자인 패턴 원서를 보면 머리가 아프지만 Head First Design Pattern의 그림과 같이 보면 쉽듯이.
홍콩과기대 교수님 성킴 교수님의 저 무료 자료 시즌1만 이해될 때 까지 돌려봤습니다. (혼자서 수십번 -_- 이해안되면 다음으로 넘어가지 않는 것이 중요.)
제가 본 AI학습 자료중 가장 직관적인 설명을 하시더군요.. 직관적인 이해가 더 중요한 것 같습니다.
코딩은 할 필요없고.. 직관적인 이해를 위해서만 반복적으로 듣기만 하시고 너무 이해가 안되면
주변에 멘토분이 계시다면 물어봐서 이해하는 것도 좋은 방법 같습니다. (시즌1만 보세요)

모두를 위한 머신러닝/딥러닝 강의

개인적으로 가장 어려웠던 개념

1~11적어놓은 것 중에 Mutivariate 라고 적힌게 있는데 저것들은 -_- 편미분이라는 것을 해야됩니다.
편미분을 푸는게 어려운게 아니라 저게 왜 편미분이어야 하는지가 머리속에 안그려지면 정말 난감합니다. 근데 깨우치고 나서부터는 또 다른 통찰의 희열을 느끼실겁니다.

저것들이 나에게 준 통찰? 느낌?

예로들어 Yolo같은 경우 물체의 박스 1개를 예측을 하려면 박스를 구성하는 x, y, width, height과 물체 인지 아닌지 확률이 들어가게됩니다.
값이 4개고 물체의 확률을 예측하는것 1개가 들어가야되기때문에 그냥 느낌으로? Linear Regression 스러운것 4개와 Logistic Regression 스러운것 1개가 최소한 들어가야 되겠다라는 생각을 가지게됩니다. (실제로는 더 복잡하지만 그런 느낌?이 떠오르는 것이 중요하다는 의미로 말씀드렸습니다.)

그리고 저 1~11 단계를 이해를 하게 되면 자신감이 붙고 쉬운 논문들은 볼 수 있게 됩니다.
분야도 다양하지만 저는 개인적으로 모델의 구조 제안, 간단한 모델 개선 논문 위주로 추천드립니다.
그나마 상대적으로 다른 분야 보다 변동이 적고 논문 하나를 잘 이해하고 있으면 우려먹기가 많아서 계속 사용하게 됩니다.
딥러닝 개발자가 되어라라는 말은 절대 아니고 몇개를 읽어보면 AI나 다른 딥러닝 개발자들과 이야기하기 쉬워지실 겁니다.

기초 공부 이후 아주 아주 모델 구조 논문 추천

1. VGG (2014년 논문)
2. GlobalAverage Pooling (2014년 논문)
3. ResNet (2015년 논문)
4. DenseNet (2016년 논문)
5. MobileNet (2017년 논문)
6. SENet (2017년 논문)
7. CBAM (2018 논문) → 자랑스러운 국산 논문 (KAIST)
8. MobileNetV3 (2019년 논문)
9. CSPNet (2019년 논문)
10. EfficientNet (2019년 논문)
11. RexNet (2021년 논문) → 자랑스러운 국산 논문 (네이버)
12. 취향에 따라 Transformer 혹은 Mamba 논문 특히 텍스트를 다루시는 분이라면.

왜 이 논문들을 언급 하냐면 이 논문들이 진짜 말그대로 모델 구조를 어떻게 설계하는지를 다루는 논문들이기 떄문입니다. 아니면 개선..
예시로 일반 개발자들이 Yolo를 모델로 이해하시지만 Yolo는 물체를 찾는 방법을 제안하는 논문이지 모델의 구조를 다루는 논문은 아니기 때문에 -_- 물론 Yolo를 보시면 그 나름대로 구조 개선을 제안하지만 초점은 테스크라는 거지요.
그리고 대부분의 성능 개선이나 트렌드를 바꿀 정도의 파급력은 대부분 제가 느끼기에 모델구조와 Loss함수의 설계, 기발한 학습전략에서 나오기 때문에 테스크 논문에 집착할 필요가 없다고 생각합니다ㅠ
모델을 만들 줄 알게 되면 자연스럽게 테스크 논문들이 쉽게 다가오실 겁니다.

혼자 공부하기 위한 툴 추천

2017년도에 혼자서 -_- 대학원안가고 회사다니면서 땅에 머리박치기하면서 독학할적에는 chatgpt같은게 없었지만.. 요즘은 너무 좋은 것들이 많기 때문에 도구를 잘 사용하면 좋습니다.

1. chatgpt같은 LLM모델 (조언을 구해야 되기 때문에)
2. Moonlight (논문 요약 및 번역을 기가막히게 해줍니다)
3. 구글 Notebook의 기능 중 팟케스트 나레이션 기능
   (저 기능으로 논문을 음성파일로 바꿔서 출근하는 길에 틀어서 들으시면 도움이 되실겁니다.)

[gellston]

그 키모님이 매월하시는 행사라고해야되나 -_- 저도 휴직중에 가서 얼굴이라도 비출려고 참석해볼려고하는데요 지금까지 회사 일만한다고 음지에 있다가 바깥이 어떻게 돌아가는지 궁금해서 ㅋㅋ 그때 오시면 얼굴보고 이야기하면 좋겠군요 후후…

[gellston]

아 그리고 그런 접근은 좋으신거같군요 학습이라는 그 개념을 알고 싶다라는 그느낌…
저도 그렇게 시작한거라 2017년부터 ㅠ … 요즘 트랜스포머니 Mamba니 뭐니 많이 나오는데 그런거 없어도 간단한 엑셀데이터나 디비 데이터같은건 간단하게 만들어서 학습시켜도 문제없습니다.
간단한 동영상 제스쳐인식 모델 정도는 (핸드제스쳐? 손으로 옆으로 미는 동작이나 스탑 제스쳐) 만들 수 있으실겁니다. 러닝커브가 생각보다 길지 않습니다. 3주? 1달? 중요한건 그.. 학습 방향이랑 순서가 중요한게 아닐지 ㅠ

[gellston]

2017년부터 공부하면서 git을 부수고 다시 만들고 반복하다가 4년전부턴가 여기에 다 몰아서 정리를 하고있거든요. 주기적으로 업데이트하진 않고.. 회사일에 파묻혀서 업데이트안한지 좀됬는데.
도움이 되셨으면 허네요. 제가 이해하고 직접 손으로 한땀한땀 만든 백본 모델들은 여기에 다 정리해놨습니다.

DeepLearningStudy/torch at main · gellston/DeepLearningStudy

@파란매

[gellston]

LLE.Managed.Cu118 1.0.5

드디어 C# 버전을 올렸습니다. readme도 업데이트했습니다.

[파란매]

감사합니다 정말 진지하게 해보겠습니다. 요즘 안그래도 이런저런 생각이 많은데
제 커리어에 엄청난 영향을 끼치신지도 물론 제가 잘 파봐야 겠지만요
나중에 정상에서 뵙죠 ㅎㅎ 뵙고 얘기하면 좋겠지만 이건뭐 유치원 생이랑 얘기하시는 느낌 들것 같아서
조심스럽네요 ㅎ
개인적으로 딥러닝으로 해보고 싶은것 역사적인 이벤트를 날짜별로 정리해서 뭔가 연관성
패턴이 있지 않을까 연구해보고싶습니다

[gellston]

그런거면 클러스터링이나 이런거 공부하셔야겠군요? 결국 그것도 하려면 모델(백본)을 만들거나 그.. 피쳐를 뽑는 방법을 아셔야하니까 아까 언급드린 1-11을 하시긴 하셔야할겁니다 ㅠ 그리고 그.. 언제든지 갠톡이든 물어보셔도됩니다요 ㅠ 언제든지 환영입니다요 간단한거라도 도움을 드리면 좋지요

[파란매]

감사합니다 어느정도 기본은 채우고 연락드리겠습니다 ㅎ