ExtSum : Extractive Summarization with Self-consistency
- admin
- 5월 31일
- 2분 분량
팀명
coresense
팀원 명단
김예은, 김혜연
지도교수
권진근 교수님
작품 배경 및 목적
최근 대형 언어 모델(LLM)의 급속한 발전과 함께 고차원적 자연어 추론 과제에 대한 관심이 높아지면서, 다양한 추론 경로를 생성해 일관된 정답을 도출하는 Self-Consistency 디코딩 전략이 효과적인 대안으로 주목받고 있다. 이 전략은 기존 Greedy Decoding이 가진 경로 단조성, 반복성, 국소 최적화 문제를 극복하고자 고안되었으며, 특히 Chain-of-Thought(CoT) prompting 기반의 질의응답 및 수학 추론 등에서 탁월한 성능을 보여왔다. 그러나 기존 Self-Consistency는 추론 경로의 자유로운 샘플링을 전제로 하기 때문에, 추론 흐름이 구조적으로 고정되거나 제약된 Extractive Summarization, Hierarchical Text Classification(HTC) 등의 과제에는 직접 적용이 어렵다는 한계가 있다. 본 연구는 이러한 한계를 극복하고자, 고정된 추론 경로 내에서도 Self-Consistency 전략의 핵심인 ‘일관성 기반 응답 결정’을 적용할 수 있는 새로운 디코딩 프레임워크를 제안하며, 이를 통해 구조적으로 제한된 과제 환경에서도 신뢰도 높은 응답을 생성하고 Self-Consistency 전략의 적용 가능성과 활용 범위를 확장하는 것을 주요 목표로 삼는다.
작품 내용
본 작품은 기존 Self-Consistency 디코딩 전략이 갖는 적용 범위의 한계를 극복하고, 구조적 제약을 갖는 자연어 처리 과제에서도 일관된 응답을 도출할 수 있도록 설계된 새로운 디코딩 프레임워크를 제안하고 구현하였다. 기존 전략은 다양한 추론 경로를 자유롭게 샘플링할 수 있는 문제 상황에서만 효과적으로 작동했으나, 본 작품에서는 추론 경로가 고정되어 있는 Extractive Summarization 및 Hierarchical Text Classification(HTC)과 같은 과제에서도 Self-Consistency의 핵심 철학을 적용할 수 있는 새로운 방식의 Majority Voting 기반 응답 선택 구조를 설계하였다. 이를 위해 먼저, 단일 추론 경로 기반의 과제에서도 다수의 beam search 결과를 생성한 후, 각 결과 간의 응답 일치도를 분석하여 가장 일관성 높은 응답을 선택하는 전략을 개발하였다. 이 과정은 기존 Self-consistency의 sample-and-marginalize out 절차를 고정 경로 구조에 맞게 변형한 것으로, 모델의 추론 다양성은 보존하면서도 구조적 제약을 따르는 과제에서도 Self-Consistency의 장점을 유지할 수 있게 한다. 본 작품에서는 총 세 가지 디코딩 전략을 제안하였다. 첫째, One-by-One Voting 방식은 step-by-step surface matching을 통해 각 단계별 응답의 다수결 결과를 종합하여 최종 응답을 결정한다. 둘째, Weighted One-by-One Voting은 첫 번째 beam 결과에 가중치를 부여하여 기존 방식의 보수성과 안정성을 향상시킨 버전이다. 셋째, Top-k Voting은 전체 beam 결과를 후보군으로 간주하고 상위 일치 응답을 중심으로 최종 출력을 결정함으로써 다양성과 일관성 간의 균형을 고려한 접근으로, 응답 신뢰도를 높이는 동시에 대표성을 확보할 수 있도록 했다. 본 프레임워크는 대형 언어 모델의 구조 수정없이 디코딩 단계에서만 적용할 수 있는 방식으로 설계되어, 모델 경량화가 가능하여 기반 서비스에서도 손쉽게 적용할 수 있다는 장점을 가진다. 이를 통해 본 작품은 Self-Consistency 전략의 실용성과 확장 가능성을 대폭 높였으며, 구조적으로 제약된 자연어 처리 과제에서도 신뢰도 높은 응답 생성이 가능함을 실험을 통해 실증하였다.
댓글