[★]Length Representations In Large Language Models

팀명

SOMJUN

팀원 명단

문상준, 최다솜

지도교수

권진근 교수님

작품 배경 및 목적

대규모 언어 모델(LLM)은 다양한 작업 분야에서 훌륭한 성과를 거두었습니다. 최근에는 Prompt 조절을 통해서 LLM의 생성 길이를 제어하는 연구가 활발히 이루어졌지만, 모델 내부적으로 어떻게 길이 제어가 이루어 진 것인지에 대한 연구는 진행되지 않았습니다.

작품 내용

Transformer 구조를 가진 다양한 모델에서 어떤 레이어가 생성 길이 제어와 관련성이 높은지 조사합니다. 관련성이 가장 높은 레이어의 모든 히든 유닛들을 마찬가지로 각각 조사하여 길이 제어에 밀접하게 연관된 유닛들을 특정합니다. 그 다음 이 유닛들을 조절해, LLM이 의미정보는 상실하지 않으면서 생성 길이를 조절할 수 있도록 합니다.

창의작품경진대회_결과보고서(SOMJUN) - 다솜최.hwp

HWP 다운로드 • 1.43MB