LLM 기반 3D 공간 생성 시스템
- admin
- 6월 3일
- 2분 분량
팀명
상상 건설
팀원 명단
이수형, 전홍주, 최영혜
지도교수
김형기 교수님
작품 배경 및 목적
현대의 디지털 콘텐츠 제작 환경에서 3D 공간 구성 능력이 점점 더 중요해지고 있습니다. 게임 개발, 인테리어 디자인, 메타버스, 건축 등 다양한 산업군에서 사실적이고 창의적인 3D 공간을 빠르게 제작할 수 있는 기술에 대한 수요가 높아지고 있습니다. 그러나 3D 모델링은 고도의 전문성을 요하며, 시간과 비용이 많이 드는 작업입니다. 특히 전문가가 아닌 사람들은 선뜻 접근하기 힘든 분야이기도 하고, 전문가의 경우에도 꽤나 부담이 되는 작업입니다.
이러한 문제를 해결하고자, 본 프로젝트는 대규모 언어 모델(LLM)을 활용한 3D 공간 자동 생성 시스템을 개발합니다. 사용자가 자연어로 입력한 텍스트를 기반으로 3D 공간을 생성할 수 있습니다. 이는 전문 모델링 기술 없이도 누구나 직관적으로 공간을 구성할 수 있도록 도와줍니다.
궁극적으로 본 프로젝트는 비숙련자에게는 3D 공간 제작에 쉽게 접근할 수 있는 수단을, 숙련자에게는 시간과 비용의 감소를 제공하는 것을 목표로 합니다.
작품 내용
본 프로젝트는 3가지 주요 단계로 구성되어 있습니다.
1단계에서는 GPT-4o를 활용하여 공간에 필요한 객체들과 그 객체들의 설명 그리고 좌표들의 리스트를 생성합니다. 예를 들어, 사용자가 “30×30 사이즈의 교실을 만들어줘”와 같은 문장을 입력하면, GPT-4o는 교실에 필요한 주요 객체들(예: 책상, 칠판, 의자 등)과 짧은 설명(예: 나무로 된 윗판에 쇠로 만들어진 다리를 가진 교실에 어울리는 의자)그리고 이들의 위치 좌표를 출력합니다. 그리고 화면에는 그래프로 공간에 배치할 객체들의 위치를 나타냅니다. 2단계로 넘어가기 전에 1단계 출력을 후처리 해줍니다. 만약 같은 종류의 객체가 여러번 필요한 경우, 같은 obj파일을 공유해서 생성 속도와 통일성을 챙길 수 있습니다. 따라서 출력된 객체 이름 리스트를 dictionary화 시켜 중복을 없앱니다. 객체 설명 리스트도 그에 맞춰 중복이 없도록 편집합니다.
2단계에서는 1단계에서 생성된 객체와 객체의 설명 리스트를 바탕으로 OpenAI의 Shap-E 모델을 활용하여 실제 3D 객체를 생성합니다. Shape-E는 텍스트를 3D로 모델링 해주는 모델입니다. 이 때 입력으로 그저 객체 이름을 넣는 것보다 설명을 입력할 시 생성되는 객체의 퀄리티가 올라갑니다. 이에 맞춰 설명 리스트를 기반으로 객체들을 생성하고 객체 이름을 파일명으로 하는 obj파일들을 만듭니다.
마지막으로 생성된 obj들이 지정된 좌표에 위치하도록 obj파일을 편집하고 한 개의 obj로 합쳐줍니다. 웹에서는 합쳐진 obj파일을 시각화하여 전체 공간의 모습을 확인할 수 있다.
댓글