[★]이벤트 기반 멀티모달 융합을 통한 저조도 VOS 성능 향상 연구

팀명

LLV

팀원 명단

최승헌, 박래욱, 김민서

지도교수

고영준 교수님

작품 배경 및 목적

저조도 환경에서는 RGB 기반 객체 분할 모델의 성능이 크게 저하되는 문제가 발생합니다. 이를 해결하기 위해, 이벤트 카메라 데이터의 빠르고 밝기변화에 강한 특성을 활용하여 저조도 환경에서도 안정적이고 정밀한 객체 인식이 가능한 모델을 구현하는 것이 본 연구의 목적입니다.

작품 내용

본 작품은 RGB 데이터와 이벤트 데이터를 융합한 멀티모달 객체 세분화 모델을 구현했습니다. 기존 CUTIE 구조를 기반으로, 이벤트 데이터를 처리하는 인코더와 ACMF 융합 모듈, 그리고 Object Memory를 보완하는 ObjectEventFusion 모듈을 추가하였습니다. 또한, RGB 영상만으로도 이벤트 데이터를 생성할 수 있는 ESIM 기반 RGB2Event 변환 모듈을 구현하여, 이벤트 카메라 없이도 실용적인 멀티모달 구조 활용이 가능하도록 설계하였습니다.

창의작품경진대회_결과보고서_LLV - 최승헌.hwp

HWP 다운로드 • 4.76MB