AI 평가자 자기 계열 선호…리더보드 신뢰도 시험대

AI 모델이 다른 모델의 답변을 평가할 때 자신과 유사한 계열의 답변을 더 높게 평가하는 현상이 여러 실험에서 관찰됐다. 이 같은 편향이 모델 순위와 성능 측정 결과에 누적될 수 있다는 지적이 나온다. 크립토브리핑(CryptoBriefing)은 AI 평가자가 자신의 답변을 약 58%의 확률로 선호한다는 연구 결과를 소개했다. 그러나 해당 기사에는 연구 논문명과 원자료 링크가 제시되지 않아 이 수치는 검증된 연구 결과로 보기 어렵다. ◇ AI 평가자 편향의 구조 Chatbot Arena는 두 모델의 답변을 익명으로 비교한 뒤 이용자가 더 선호하는 답변을 선택하도록 설계된 평가 플랫폼이다. 관련 연구는 2024년 1월 기준 24만3329건의 대화와 50개…