😊AI를 이용해서 이미지 고해상도 생성, 디노이즈, 모션블러제거, 컬러 변환을 해보자!

[gellston]

시작하기 앞서

어제 처음으로 용기를 내서 Dot4 meetup에 저조도 개선 모델 누겟 개발한 것을 발표했었는데요.
지루해 하실 것 같아서 딥러닝 내용을 대부분 뺐었는데 들으시는 분들 중에 해외대학 교수님도 계시더군요?
(어떻게 알고 오신건지…많은 질문을 받았습니다 ㅠ )
또… 몇 분은 개인적으로 Linkedin, 카카오톡 메신저로 몇가지 필요로 하는 딥러닝 누겟을 말씀해주셔서 다시 한번 아래와 같은 4가지 Task 모델을 만들고 4개의 누겟 라이브러리와 데모앱을 만들어 보려고 합니다.

Super Resolution

Motion Blur Reduction

Noise Reduction

Gray To Color

이전 누겟과 다르게 적용할 부분

이전에 누겟 배포할 적에는.. C++, C++/CLI를 사용했었는데요
이번에는 C#만 가지고 해볼 생각입니다. 다른 OS에서도 돌아가려면 그게 맞는 것 같아서요.
속도가 걱정이 되지만 C#에도 제공해주는 메모리풀이 있고 아직 덜 찾아봤지만 SIMD 오퍼레이션도 되는 것 같아서 시도해보려고합니다.

MemoryPool 클래스 (System.Buffers)

SIMD-accelerated types in .NET - .NET

SIMD 프로그래밍

[tkm]

SIMD 처리 할때 System.Numerics.Tensors 사용하니 편하더라구요

TensorPrimitives 클래스 안에 함수 활용하시면 좋을 듯 합니다.

[gellston]

오 감사합니다 메모 해놓고 요긴하게 쓰겠습니다!

[rkttu]

혹시 올려주신 라이브러리와 코드가 OCR 전처리에도 쓰일 수 있는것일지 궁금합니다.!

[gellston]

답변이 늦었습니다. 지금 올린 4가지 Task외에 ocr을 요청하시는건가요? 아니면 ㅠ ocr전에 사용해서 확률을 올리실 목적으로 요청하신건가요? Ocr도 필요하신가요?

[rkttu]

아니요. ㅎㅎ 뭘 만들어 달라고 말씀드리는 것은 절대로 아닙니다. 만들어주신 유형의 graphic enhancement를 OCR에도 적용해서 성능 향상을 이끌어낼 수 있는 것인지 궁금해서 여쭤봤습니다. 만들어주신 그래픽 처리 기법은 독자적으로 훌륭한 기술들이고요!

[gellston]

회사에서 대비가 좋지못한 이미지 (저조도 개선)과 수퍼레졸루션을 수행했을때 확실히 디텍션 성능이나 OCR에서 성능이 좋았습니다. 근데 막 10퍼센트개선 이런느낌은 아니었고. 1퍼센트? 2퍼센트 개선이되더군요. 이건 대상으로 하는 이미지에 따라서 달라 질 것같아요. (유형에 따라), 사내에 가지고 있는 이미지들은 공개를못해서 못보여드리고 ㅠ 모델들 만들어지면 한번 테스트해보겠습니다!

[gellston]

Super Resolution 논문 선정

https://arxiv.org/pdf/2311.12770

요 녀석이 적당한 성능에 쉽고 빨라보여서 선정했습니다. 읽어보고 한번 버무려보겠습니다..

[gellston]

학습 시작

오늘 오후에 작업을 해서 학습을 걸어 놨습니다.
잘됬으면 좋겠군요. 학습 스크립트 코드는 git에 올려두었습니다.

링크

python/train.py

학습 스크립트

import os, glob, time
import cv2
import numpy as np
import torch
import torch.nn as nn
import torch.nn.functional as F
from torch.utils.data import Dataset, DataLoader
from datasets.srdataset import SRDataset
from model.span import SPAN30

# Hyper parameter
train_dir = r"C:\github\dataset\DIV2K_train_HR\DIV2K_train_HR"
scale = 4
hr_patch = 256
batch_size = 16
lr = 1e-3    
epochs = 1000       
save_dir = r"C:\github\SRSharp\python\results"



os.makedirs(save_dir, exist_ok=True)

device = "cuda" if torch.cuda.is_available() else "cpu"
torch.backends.cudnn.benchmark = True

ds = SRDataset(train_dir, hr_size=hr_patch, scale=scale)
dl = DataLoader(ds, batch_size=batch_size, shuffle=True, pin_memory=True, drop_last=True)

model = SPAN30(num_in_ch=3, num_out_ch=3, feature_channels=48, upscale=scale, bias=True).to(device)
criterion = nn.L1Loss()
optim = torch.optim.Adam(model.parameters(), lr=lr)

cv2.namedWindow("input", cv2.WINDOW_NORMAL)
cv2.namedWindow("output", cv2.WINDOW_NORMAL)

global_step = 0
for epoch in range(1, epochs + 1):
    model.train()
    t0 = time.time()
    loss_sum = 0.0
    n = 0

    last_lr = None
    last_sr = None

    for lr_img, hr_img in dl:
        lr_img = lr_img.to(device, non_blocking=True)   # (B,3,lr,lr), float32 0~255
        hr_img = hr_img.to(device, non_blocking=True)   # (B,3,hr,hr), float32 0~255

        sr = model(lr_img)

        loss = criterion(sr, hr_img)

        optim.zero_grad(set_to_none=True)
        loss.backward()
        torch.nn.utils.clip_grad_norm_(model.parameters(), 1.0)
        optim.step()

        loss_sum += float(loss.item())
        n += 1
        global_step += 1

        last_lr = lr_img[0].detach().clamp(0, 255).to("cpu")
        last_sr = sr[0].detach().clamp(0, 255).to("cpu")


    model.eval()
    with torch.no_grad():
        lr_np = last_lr.permute(1, 2, 0).numpy().astype(np.uint8)       # RGB
        sr_np = last_sr.permute(1, 2, 0).numpy().astype(np.uint8)       # RGB

        lr_up = cv2.resize(lr_np, (hr_patch, hr_patch), interpolation=cv2.INTER_NEAREST)

        cv2.imshow("input", cv2.cvtColor(lr_up, cv2.COLOR_RGB2BGR))
        cv2.imshow("output", cv2.cvtColor(sr_np, cv2.COLOR_RGB2BGR))

        key = cv2.waitKey(1) & 0xFF
        if key == 27 or key == ord('q'):  # ESC 또는 q로 종료
            break

    avg_loss = loss_sum / max(1, n)
    dt = time.time() - t0
    print(f"[Epoch {epoch:03d}/{epochs}] loss={avg_loss:.4f} time={dt:.1f}s step={global_step}")

    # 체크포인트 저장
    torch.save(model.state_dict(), os.path.join(save_dir, f"span_stage1_e{epoch:03d}.pth"))

cv2.destroyAllWindows()

학습 과정중 결과 이미지 ( 크롭 256->1024 4배 뻥튀기)

지금은 샤프하게 나오지 않지만. 학습이 오래 진행되면 될수록 샤프하게 바뀔 것 같습니다.