자연어 의도 군집화
한국어 사용자 발화를 읽고, 같은 목적과 의도를 가진 문장끼리 묶는 군집화 문제입니다. 참가자에게 정답 의도 이름과 의도 개수는 제공되지 않으며 문장의 의미적 유사성을 바탕으로 각 문장에 군집 번호를 부여해야 합니다.
문제 유형비지도 텍스트 군집화
입력id, text
제출id, cluster_id
평가V-measure + ARI
1. 배경
고객 문의와 사용자 발화에는 주문, 결제, 배송, 계정 등 다양한 의도가 포함됩니다. 새로운 서비스에서는 모든 의도 체계를 미리 정의하기 어려우므로, 라벨 없이 비슷한 발화를 발견하고 구조화하는 능력이 중요합니다.
2. 과제
테스트 데이터의 모든 문장에 대해 동일한 의도라고 판단한 문장에는 같은cluster_id를 부여하세요. 군집 번호는 임의의 문자열이나 숫자를 사용할 수 있지만, 모든 평가 대상 ID가 중복과 누락 없이 한 번씩 포함되어야 합니다.
3. 평가 방법
정답 의도와 예측 군집의 일치도를 V-measure와 Adjusted Rand Index(ARI)로 계산합니다. 군집 번호 자체는 정답 라벨과 같을 필요가 없습니다.
최종 점수 = 0.6 × V-measure + 0.4 × max(ARI, 0)- V-measure는 군집의 동질성과 완전성을 함께 평가합니다.
- ARI는 문장 쌍이 같은 군집에 속하는 관계를 정답과 비교합니다.
- 점수가 높을수록 우수하며 팀별 최고 점수만 리더보드에 반영됩니다.
- 리더보드는 1분마다 자동으로 다시 조회하며, 제출 직후에도 재조회합니다.
- 누적 제출 횟수 제한은 없습니다. 같은 팀·종목의 다음 제출은 마지막 정상 제출 10분 뒤부터 가능합니다. 형식·채점 오류는 대기시간을 소모하지 않습니다.
4. 제출 형식
id테스트 데이터의 문장 식별자
cluster_id모델이 예측한 군집 식별자