[★]미분 가능 렌더링을 활용한 3D 모델 텍스처 개선

팀명

정신차려

팀원 명단

정지원, 이신민

지도교수

김형기 교수님

작품 배경 및 목적

<작품배경>

- 최근 AI/ML 기술 발전으로 2D 이미지 기반의 3D 모델 생성 기술(이하 image-to-3D generator) 연구가 활발히 진행됨

- 해당 기술은 전통적인 3D 모델 생성 과정에서 요구되는 시간과 노력을 획기적으로 줄일 수 있음

- 그러나 현재 기술로 생성된 3D 모델은 텍스처 디테일 표현에서 한계가 존재

- 예: 스타벅스 머그컵 이미지로부터 생성된 3D 모델에서 로고가 부정확하게 재현됨 → 세부 표현 한계가 명확히 드러남

<목적>

- 단일 2D 이미지로 생성된 3D 모델에 현실의 정확한 텍스처를 부여하여 더 현실감 있는 3D 모델 생성

- 제품 디자인, 문화유산 복원, 디지털 트윈, 게임 및 영화 제작 등 다양한 3D 응용 산업/연구 분야에 폭넓은 활용 가능

- 특히 VR 및 AR환경에서 객체 표면의 텍스처가 몰입감에 결정적인 영향을 미치므로 해당 분야에서의 강력한 효과가 기대됨

작품 내용

<기술 파이프라인>

- 초기 카메라 위치 정보와 원본 2D 이미지, 3D 모델을 입력으로 받음

- 전처리 과정을 통해 2D 이미지를 segment하고, 3D 모델을 처리 가능한 3D 데이터로 변환

- 카메라 포즈 최적화 단계: 미분 가능 렌더러인 nvdiffrast를 사용하여 렌더링 후 back propagation을 통해 카메라 포즈를 최적화

- 텍스처 학습 단계: 최적화된 카메라 포즈로 렌더링하며, 마찬가지로 back propagation을 통해 텍스처를 학습

- 후처리 과정을 통해 학습된 텍스처를 포함한 3D 데이터를 3D 모델로 변환

- 결과적으로 원본 2D 이미지가 입혀진 3D 모델을 얻음

<개발결과>

- 2D 이미지의 주요 디테일(로고, 텍스트)을 3D 모델에 성공적으로 투영하여 선명도와 디테일이 크게 개선됨

- 정성적 평가(유저테스트): 객체와 상호작용 가능한 MR 환경에서 테스트하였으며, 참가자 중 100%가 텍스처 보정 이후의 3D 모델이 실제 물체와 더 유사하다고 평가

- 정량적 평가: PSNR, SSIM, LPIPS와 같은 대표적인 이미지 품질 지표에서 모두 시각적 품질이 향상되었음을 확인

<한계점 및 미래연구>

1. 3D 모델 형상 불일치 문제: image-to-3D generator가 생성한 3D 모델의 형상이 원본 2D 이미지의 실제 객체 형상과 완벽하게 일치하지 않을 수 있음

- nvdiffrast를 통해 정점의 위치를 최적화

- image-to-3D generator 자체를 개선

2. 초기 카메라 포즈 의존성 문제: 임의의 초기 포즈로 시작하여 자동으로 최적의 포즈를 찾는 기능은 local optimum 문제로 인해 어려움이 있음

- 랜덤 샘플링 및 다중 실행을 통해 global optimum에 도달할 확률을 높임

- 초기 카메라 포즈 주변의 여러 지점에서 시작하여 포즈를 찾아 의존성을 완화.

창의작품경진대회_결과보고서(정신차려) - jjhh.pdf

PDF 다운로드 • 4.76MB