팀명
랍스터 주식회사
팀원 명단
남용우 정성철 이한빈
지도교수
김형신 교수님
작품 배경 및 목적
기존의 Super Resolution(이하 SR) 기술들은 공간 내삽법과 같은 보간법을 이용한 SR 이 진행되었다. 수학적으로 두 픽셀 사이의 값을 전처리를 통해 수치화하고, 그 값의 평균으로 Bi-cubic interpolation 을 진행하기 때문에, 이런 종류의 계산적 SR 은 물리적 한계가 존재한다. 하지만 2017 년 EDSR 이라는 딥러닝 기반의 Super Resolution 과 이를 기반으로한 다른 여러 파생 딥러닝 SR 기술들의 경우, 보간법과는 확실히 다른 퀄리티를 보여주는 SR 기술들을 보여줬다. 하지만, 어디까지 기존의 DataSet 을 활용한 자료들이므로 대부분이 가시광 대역에 준하는 자료들만을 이용했으므로 다른 파장 대역을 이용하는 관측 장비에는 응용하기가 쉽지 않다. 그 중 적외선 파장 대역을 이용하는 기상위성의 경우, 여러 대역의 관측 자료를 제공하지만, 그 중 적외선 대역의 경우 적외선의 특징 때문에 가시광선 대역의 관측 장비보다 공간해상도에 있어서 물리적인 한계가 존재하므로, 오히려 촬영 이후의 후처리가 더 필수적이다. 따라서 우리는 관측의 물리적 한계가 있는 적외선 대역의 관측자료인 기상위성 자료를 딥러닝 기반의 Super Resolution 기술을 적용을 통해 해상도적 한계를 뛰어넘고자 한다.
작품 내용
현재 딥러닝 기반 SR 모델의 Reference 모델로 사용하고 있는 자료는 EDSR 이라는 모델이며, 2017 년도 부터 개발되어 많은 데이터와 Issue 들이 존재하는 대표 모델이다. 다른 모델의 경우 CUDA 옵션과 개발 환경이 구 버전에 머물러 있어 활용에 어렵고, 대부분이 EDSR 기반으로 파생된 모델들이기 때문에 EDSR 모델을 활용하고자 한다. 현재 EDSR 모델은 가시광 영역의 Dataset 으로 기 학습된 모델과, 다른 Dataset 을 응용하여 학습시키기 위한 Baseline 코드를 제공하고 있다. 두 모델에서 모두 천리안 1 호 위성을 바탕으로 x2 scale Super Resolution 을 수행할 수 있는 모델을 학습시켰고, x4 scale 모델까지도 학습을 진행하였다. 현재 x2 scale 에서는 기존 모델에 비해 PSNR, SSIM 과 같은 측정 지표에서 유의미한 향상을 보였으며, x4 scale 에서는 아직까지 기대했던 만큼의 성능을 보이고 있지는 않다. 따라서 천리안 1 호 위성과 2A 위성의 적외채널 기상자료를 Dataset 으로 활용한 x2 scale Super Resolution 모델을 만드는 것이 우리 기술개발의 내용이며 그 범위는 PSNR, SSIM 지표를 바탕으로 한 신뢰도 있는 x2 scale, x4 scale 모델의 학습에 목적을 두고 있다.
Comments