[★]생성형 AI를 활용한 고품질 PBR Texture 생성 기술 연구
- admin
- 6월 3일
- 2분 분량
최종 수정일: 6월 12일
팀명
MatGenAI
팀원 명단
이희성, 조은빈
지도교수
김형기 교수님
작품 배경 및 목적
"작품 배경 : 최근 생성형 AI의 발전에 따라 Diffusion 기반 3D Texture 생성 기술에 대한 관심이 함께 증가하고 있다. 또한 컴퓨터의 성능이 증가하면서, 사실적 그래픽 표현에 대한 수요도 함께 증가하고 있다. 이러한 배경 하에 텍스트 기반 Texture 생성 모델이 여럿 제안되고 있지만, PBR(Physically Based Rendering) Texture 제작은 여전히 진입 장벽이 높으며 많은 시간과 노력 등의 유·무형의 자원이 소요되는 작업이다. PBR Texture 생성 작업을 보조하기 위한 모델인 DreamMat은 최신의 텍스트 기반 PBR Texture 생성 모델이지만, Locally Controlled Texture 생성을 완벽하게 지원하지 못해 실제 PBR Texture 제작 환경에 활용되기에는 한계가 존재한다.
연구 목표 : 텍스트 프롬프트만으로 국소적 특징(Local feature)이 제어 가능한 새로운 DreamMat을 개발하여 더 개선된 고품질 PBR Texture 생성을 지원
연구 내용
- 3D Mesh Semantic Segmentation 기술과 DreamMat 통합 연구
- 3D Mesh 세부 파트와 텍스트 프롬프트 간 의미적 일치도가 높은 텍스처 생성 방법론 연구
- 국소적 특징이 제어 가능한 새로운 파이프라인 설계 및 구현
기대 효과
1) PBR Texture 제작 작업의 보조 도구로써 활용될 수 있어, 작업에 필요한 유·무형 비용 절감
2) PBR Texture 제작 작업의 진입 장벽을 낮추는 데 기여
3) PBR 생성 모델의 후속 연구 기반 제공"
작품 내용
"
3D Mesh Semantic Segmentation
■ 3D Mesh를 의미론적 분할(Semantic Segmentation)하는 과정에서 다양한 모델을 적용할 수 있으며, 현재는 SAMPart3D를 활용
■ 3D Mesh Semantic Segmentation 결과로 Mesh의 각 부분에 의미가 부여된 Label이 지정
■ DreamMat 실행 시점에 해당 Label을 활용하여 전체 Mesh를 Sub-mesh로 분할
Pre-render Sub-meshes
■ DreamMat은 128가지 View와 5개의 환경광을 설정해 Normal map, Depth map, Light map을 구성
■ 이런 condition map들은 3D Mesh에 대한 기하학적 특징과 조명 조건을 반영한 Texture를 생성하기 위한 Condition으로 활용
■ 따라서 동일한 설정으로 각 Sub-mesh별 Condition map 생성을 과정 추가
Input Text-prompt per sub-meshes
■ 각 3D Sub-Mesh들은 학습 과정에서 독립적인 Text-prompt를 사용하도록 파이프라인을 개선
Multiple DreamMat pipeline
■ 각 3D Sub-Mesh들은 학습에 필요한 Dataset을 구성하여 독립적인 batch에 저장
■ 각 Pipeline은 병렬로 학습-추론-검증을 수행하며, Sub-Mesh별로 독립적인 파이프라인이 구성됨
Train step
■ PBR Materials는 학습 대상이며, Hash-grid 표현법을 따라 PBR 재질에 대한 함수로 표현 :
■ 렌더링 방정식으로 Disney BRDF를 사용 :
■ 렌더링 이미지는 정답 이미지이며, Distill 과정을 통해 PBR 재질이 학습 :
■ 이때 사용되는 손실 함수는 CSD Loss :
■ Train Step은 다음과 같이 정리할 수 있음.
1) Hash-grid에 따라 표현된 PBR 재질이 학습 대상(파라미터)
2) Disney BRDF 렌더링 방정식에 따라 생성된 이미지는 정답 이미지
3) 정답 이미지에 노이즈를 추가한 이미지에서 노이즈를 제거하며 학습(Distill)
4) 학습 과정에서 사용되는 손실 함수는 CSD Loss
5) 1~4 과정이 반복되며 Max-Step에 도달한 경우 학습이 종료되고 최종 PBR Texture가 출력
UVMapping and interpolation
■ 분할된 3D Mesh들은 추출 과정에서 UVMapping을 적용해 Blender와 같은 3D Modeling 툴에서 전체 Mesh로 통합이 가능
■ 통합 이후에도 각 Submesh에 대해 생성된 텍스처는 그대로 활용 가능하며, 필요한 경우 3D Modeling 툴을 활용해 추가적인 Editing 가능"
댓글