[★]Considering Length Diversity in Retrieval-Augmented Summarization

팀명

DL-MMR

팀원 명단

도주선, 한승우

지도교수

권진근 교수님

작품 배경 및 목적

RAG는 NLP분야에서 아주 유망한 기술입니다. 이전의 연구들은 query와 exemplar사이의 거리 NN(Nearest Neighbor) 기반 방법에 초점을 맞추어 진행되어 왔습니다. 추가적으로 성능을 개선하기 위해서 exemplar와 exemplar의 relevance를 고려하거나 2 stage기법들이 연구되었습니다. 하지만 이러한 기존 연구들에도 불구하고 summary길이의 ICL(In-context Learning)에서의 영향은 연구되지 않았습니다. 그리고 기존 one-stage기법인 exemplar와 exemplar의 relevance를 고려하는 방법은 계산하는데에 있어서 아주 computational cost가 높습니다.

작품 내용

위와 같은 문제를 해결하기 위해서 DL-MMR이라는 새로운 알고리즘을 제안합니다. 기존 SOTA는 단순히 Nearest Neighbor(NN)로 RAG를 하는 것보다 다양하게 retrieve하는 것이 더 좋다고 제안하였습니다. 하지만 이는 query와 exemplar의 relevance를 구할 뿐만 아니라, exemplar들 사이의 모든 relevance를 구해야 했습니다. 이는 exemplar pool이 커지면 커질수록 O(n^2)에 비례하여 연산량이 늘어납니다. 저희는 exemplar사이의 relevance를 구하는 대신,각각의 summary length로 대신하였습니다. 이는 computational cost를 획기적으로 줄여줄 뿐만아니라, query side만 고려했을 때에 부족했던 다양성을 충족시켜 줄 수 있습니다.

(결과보고서)창의작품경진대회_결과보고서(DL-MMR) - 도주선.hwp

HWP 다운로드 • 214KB