드라이브 스루를 위한 온디바이스 수어 인식 앱
- admin
- 2025년 6월 3일
- 1분 분량
팀명
수어프라이즈
팀원 명단
이어진, 김도형, 박채연
지도교수
김형신 교수님
작품 배경 및 목적
코로나19 이후 드라이브스루는 빠른 주문과 비대면 장점으로 일상화되었으나 음성 중심 구조는 청각·언어장애인에게 심각한 제약을 준다. 국가인권위원회는 이에 대한 시각적 대안 마련을 권고했으나 기존 앱 주문이나 필담 방식은 형평성과 자율성을 보장하지 못한다. 국내의 청각장애인 수는 43만명으로 소비 서비스 접근권은 여전히 미흡하다. 장애 여부와 관계없이 누구나 접근 가능한 드라이브스루 환경을 위한 기술 개선이 절실하다. 본 프로젝트는 실시간 수어 번역 기술을 통해 청각장애인의 독립적인 주문을 가능케 하는 기술적·사회적 해결을 제시한다.
작품 내용
드라이브스루 환경에서 청각장애인의 접근성을 높이기 위해 온디바이스 수어 인식 앱을 개발하였다. 지문자(한글 자모 수어)를 실시간으로 인식해 텍스트로 변환하고 점원의 음성은 AI 기반 음성 인식으로 사용자에게 전달한다. MediaPipe 기반 손 키포인트 추출과 LSTM 시계열 분류 모델을 활용하여 자모 단위 인식을 구현하였다. Whisper 음성 인식과 TFLite 기반 온디바이스 처리로 빠르고 안정적인 응답 성능을 확보하였다.
댓글