지수 산출 방법론 (kavi-index-v1.0)
Korea AI Visibility Index의 구성 브랜드 기준, 표준 질문, 판정 규칙, 점수 공식, 가중치 근거, 민감도 분석, 한계를 공개합니다.
점수 공식
100 x mean_prompt(mean_sample((exposure + recommended + cited) / 3)); exposure = 1/log2(1+rank) if named else 0
답변마다 노출(순위 할인) · 추천 · 공식 사이트 인용을 0~1로 매기고 같은 비중(1/3씩)으로 더한 뒤, 질문별 평균을 다시 평균해 100을 곱합니다. 100 = 모든 답변에서 1번째로 언급·추천·인용.
| 언급 순서 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 |
|---|---|---|---|---|---|---|---|---|---|---|
| 노출 가중치 | 1.0 | 0.6309 | 0.5 | 0.4307 | 0.3869 | 0.3562 | 0.3333 | 0.3155 | 0.301 | 0.2891 |
공식의 근거
- 순위 할인: Järvelin & Kekäläinen (2002), Cumulated gain-based evaluation of IR techniques, ACM TOIS
- 순위 노출: Singh & Joachims (2018), Fairness of Exposure in Rankings, KDD; 생성형 검색 가시성: Aggarwal et al. (2024), GEO: Generative Engine Optimization, KDD
- 동일 가중과 민감도 공개: OECD & EC-JRC (2008), Handbook on Constructing Composite Indicators
- 반복 측정: Schulte et al. (2026), Don't Measure Once, arXiv:2604.07585; 순위 유사도: Webber, Moffat & Zobel (2010), ACM TOIS
판정 검증
사람 라벨 대비 F1 0.991, Cohen's κ 0.969, 상태 정확도 0.987 (답변 18건). 게이트: F1 ≥ 0.90, κ ≥ 0.80, 상태 정확도 ≥ 0.85.
민감도 분석
가중치를 바꿨을 때 업종 순위의 스피어만 순위상관(1.0 = 순위 동일).
| 업종 |
|---|
반복 측정 안정성
같은 질문의 반복 답변끼리 비교한 관측 지표(점수 미반영). 우연 변동 폭은 반복 잡음만으로 생길 수 있는 회차 간 점수 차이(95%, 브랜드 중앙값)입니다.
| 업종 | AI | 브랜드 겹침(Jaccard) | 순서 일치(RBO) | 우연 변동 폭 (반복 3/5/8회) |
|---|
공개 기준
AI별 답변이 9건 미만이거나 질문을 다 채우지 못한 회차는 공개하지 않습니다. 0과 결측은 다르게 다루며, 측정 실패 AI는 제외하고 반영 AI 수를 표기합니다.