EP05. Retrieval 평가지표에 대한 이해(recall, precision, f1 score, NDCG, mAP, mRR) [ 

* 3줄 요약 : 🔎 리콜은 정답 중에 몇 개를 맞췄는지, 프리시전은 뽑은 것 중에 몇 개를 맞췄는지를 의미함. 🤔 RAG는 질문에 답하기 위한 정보가 리트리브된 단락에 포함되어 있어야 하므로 정답 단락을 잘 찾아올수록 좋음. 📌 리콜만 높이고 싶으면 F1 score는 안 쓰셔도 되고 둘 다 균형점을 찾고 싶으면 F1 score를 쓰시면 됨.

* 심화 요약 : ## RAG 검색 시스템 평가 지표 이해하기 ### Retrieval 지표 RAG 검색 시스템은 주어진 질문에 답하기 위해 관련 정보를 검색하고, 이를 기반으로 답변을 생성함. Retrieval 과정의 성능을 평가하는 지표는 다음과 같음. 1. **Retrieval Precision**: 검색된 단락 중 정답 단락의 비율을 의미함. LLM의 context length가 작을수록, 즉 참고할 수 있는 정보가 적을수록 중요함. 2. **Retrieval Recall**: 정답 단락 중 검색된 단락의 비율을 의미함. 검색 시스템이 정답을 얼마나 잘 찾아오는지 평가할 때 중요하며, 일반적으로 recall이 높을수록 좋음. 단, recall이 높으면 precision이 낮아질 수 있음. 3. **Retrieval F1**: Precision과 Recall의 조화 평균으로, 두 지표를 동시에 고려하여 Retrieval 성능을 종합적으로 평가함. 4. **NDCG**: 검색 결과의 순서를 고려하여 정답 단락이 상위에 위치할수록 높은 점수를 부여함. 5. **mAP**: 여러 개의 질문에 대한 평균 Precision을 계산하여 Retrieval 성능을 평가함. 예를 들어 mAP가 0.5이면 평균적으로 다섯 개의 단락을 뽑았을 때 그 안에 정답이 있다는 것을 의미함. 6. **mRR**: 검색 결과에서 첫 번째로 등장하는 정답 단락의 순위를 기반으로 평가함. 정답 단락이 상위에 위치할수록 높은 점수를 얻음. ### Retrieval 지표 선택 가이드 * **Recall**: 정답 단락을 빠짐없이 가져오는 것이 중요할 때 유용함. 즉, 답변의 완전성을 중시하는 경우 Recall을 우선시해야 함. * **Precision**: 정확한 정보만을 가져오는 것이 중요할 때 유용함. 즉, 답변의 신뢰성을 중시하는 경우 Precision을 우선시해야 함. * **F1**: Recall과 Precision의 균형을 맞추고 싶을 때 유용함. * **NDCG, mAP, mRR**: Retrieval 결과의 순서를 고려하여 Retrieval 성능을 더 정확하게 평가하고 싶을 때 유용함. 특히, 다수의 단락을 Retrieval하는 경우 유용함. ### Precision 향상 노하우 Precision을 높이기 위해 설계된 단계는 Passage Filter 단계임.

예 맞습니다 사전 오픈에 신청하신 분들에게 기다려 주신 만큼 혜택을 드리는 거라서요~^^