Fleiss’ Kappa
개념
논문을 읽다 보면 Fleiss’ Kappa(플라이스 카파, Fleiss’ κ) 라는 지표가 종종 등장한다.
특히 여러 명의 사람이 모델의 출력 결과를 직접 평가하는 연구에서 자주 사용된다.
예를 들어 LLM 또는 Audio Language Model의 응답을 보고 여러 평가자가 다음과 같이 판단한다고 생각해보자.
- 안전한 응답
- 유해한 응답
- 판단하기 어려운 응답
이때 중요한 문제가 하나 생긴다.
여러 평가자가 실제로 비슷한 기준으로 평가하고 있는가?
이를 측정하기 위해 사용하는 대표적인 통계 지표가 Fleiss’ Kappa이다.
Fleiss’ Kappa
Fleiss’ Kappa는 여러 명의 평가자(Rater)가 동일한 대상에 대해 분류를 수행했을 때, 평가자 사이의 일치도(Inter-rater Agreement) 를 측정하는 통계 지표이다.
쉽게 말하면 다음과 같다.
여러 사람이 같은 데이터를 보고 판단했을 때 서로 얼마나 일관된 판단을 내렸는가?
예를 들어 세 명의 평가자가 모델의 응답을 평가했다고 해보자.
| 응답 | 평가자 A | 평가자 B | 평가자 C |
|---|---|---|---|
| 1 | 유해 | 유해 | 유해 |
| 2 | 안전 | 안전 | 유해 |
| 3 | 유해 | 애매 | 안전 |
첫 번째 응답은 세 명의 평가자가 모두 동일하게 판단했으므로 높은 일치도를 가진다.
반면 세 번째 응답은 세 평가자의 판단이 모두 다르기 때문에 낮은 일치도를 가진다.
Fleiss’ Kappa는 이러한 평가 결과를 전체 데이터에 대해 계산하여 평가자들의 판단이 얼마나 일관적인지를 나타낸다.
일치율과의 차이점
단순히 평가자들이 동일하게 선택한 비율만 계산할 수도 있다.
이를 Observed Agreement, 즉 관측된 일치도라고 볼 수 있다.
하지만 단순 일치율에는 문제가 있다.
예를 들어 다음과 같은 상황을 생각해보자.
전체 데이터의 대부분이 안전이라는 라벨을 가지고 있다면 평가자들이 별다른 기준 없이 대부분 안전을 선택해도 상당히 높은 일치율이 나올 수 있다.
즉,
우연히 같은 선택을 했을 가능성
을 고려해야 한다.
Fleiss’ Kappa는 이러한 우연에 의한 일치(Chance Agreement) 를 보정한다.
Fleiss’ Kappa 공식
Fleiss’ Kappa는 기본적으로 다음과 같이 계산된다.
\[\kappa = \frac{P_o - P_e}{1-P_e}\]각 기호의 의미는 다음과 같다.
- ($P_o$): 실제 관측된 평가자들의 일치도
- ($P_e$): 우연히 발생할 것으로 예상되는 일치도
- ($\kappa$): Fleiss’ Kappa 값
예를 들어 실제 관측된 일치도가 0.8이고 우연히 일치할 확률이 0.5라고 가정해보자.
\[\kappa = \frac{0.8 - 0.5}{1 - 0.5}\]계산하면 다음과 같다.
\[\kappa = 0.6\]즉 Fleiss’ Kappa는 0.6이다.
단순히 80%가 일치했다고 보는 것이 아니라, 우연에 의해 발생할 수 있는 일치도를 제외한 뒤 평가자들의 실제 일관성을 측정하는 것이다.
Fleiss’ Kappa 값 해석
Fleiss’ Kappa 값은 일반적으로 다음과 같이 해석할 수 있다.
| Kappa 값 | 해석 |
|---|---|
| < 0 | 우연보다 낮은 일치 |
| 0.00 ~ 0.20 | 매우 낮은 일치 |
| 0.21 ~ 0.40 | 낮은 일치 |
| 0.41 ~ 0.60 | 중간 수준의 일치 |
| 0.61 ~ 0.80 | 높은 일치 |
| 0.81 ~ 1.00 | 매우 높은 일치 |
예를 들어 논문에서 다음과 같은 표현이 있다고 가정해보자.
Fleiss’ κ = 0.84
이는 여러 평가자들의 판단이 상당히 높은 수준으로 일치했다는 의미로 해석할 수 있다.
다만 이러한 구간은 절대적인 기준은 아니다.
연구 분야나 평가 대상에 따라 Kappa 값에 대한 해석 기준은 달라질 수 있다.
Cohen’s Kappa와의 차이
Fleiss’ Kappa와 함께 자주 등장하는 지표가 Cohen’s Kappa이다.
두 지표의 가장 큰 차이는 평가자의 수이다.
| 지표 | 평가자 수 |
|---|---|
| Cohen’s Kappa | 일반적으로 2명 |
| Fleiss’ Kappa | 여러 명 |
| 목적 | 평가자 간 일치도 측정 |
예를 들어 두 명의 사람이 이미지 분류 결과를 평가했다면 Cohen’s Kappa를 사용할 수 있다.
반면 세 명 이상의 평가자가 동일한 데이터에 대해 라벨링을 수행한다면 Fleiss’ Kappa를 사용하는 것이 일반적이다.
AI 논문에서는 왜 사용하는가?
AI 연구에서는 모델의 결과를 자동 평가 지표만으로 판단하기 어려운 경우가 많다.
특히 다음과 같은 문제는 사람의 판단이 필요한 경우가 많다.
- 생성된 문장이 자연스러운가?
- 모델의 응답이 유해한가?
- 공격이 실제로 성공했는가?
- 모델이 특정 감정을 제대로 표현했는가?
- 생성된 답변이 사용자의 질문을 제대로 따르고 있는가?
예를 들어 LLM Jailbreak 연구에서 세 명의 평가자가 모델 응답을 보고 다음과 같이 판단할 수 있다.
Jailbreak Success
Jailbreak Failure
Unclear
이때 단순히 평가 결과만 사용하는 것에는 문제가 있다.
한 평가자는 공격이 성공했다고 판단했지만 다른 평가자는 실패했다고 판단할 수도 있기 때문이다.
따라서 연구자는 Fleiss’ Kappa를 계산하여 다음을 확인한다.
Human Evaluator들의 평가 기준이 충분히 일관적인가?
중요한 점: 모델 성능 지표가 아니다
Fleiss’ Kappa를 처음 보면 Accuracy, F1-score 같은 모델 평가 지표와 비슷하게 생각할 수 있다.
하지만 목적이 다르다.
Accuracy는 일반적으로 다음을 측정한다.
모델이 정답을 얼마나 정확하게 맞혔는가?
반면 Fleiss’ Kappa는 다음을 측정한다.
여러 평가자들이 얼마나 일관되게 판단했는가?
즉 Fleiss’ Kappa는 모델의 성능을 직접 측정하는 지표가 아니라 Human Evaluation의 신뢰도를 검증하는 지표이다.
예시로 이해하기
어떤 LLM의 Jailbreak 공격 결과 100개를 세 명의 연구자가 평가했다고 가정해보자.
각 평가자는 모델의 응답을 보고 다음 두 가지 중 하나를 선택한다.
Success
Failure
평가 결과를 분석한 결과 다음 값이 나왔다.
Fleiss' κ = 0.82
이 경우 다음과 같이 해석할 수 있다.
세 명의 평가자가 Jailbreak 성공 여부를 판단한 결과가 높은 수준으로 일치했다.
따라서 해당 연구에서 수행된 Human Evaluation의 신뢰성이 어느 정도 확보되었다고 볼 수 있다.
반대로 다음과 같은 값이 나왔다면 어떨까?
Fleiss' κ = 0.25
이는 평가자 사이의 일치도가 낮다는 의미이다.
이 경우 평가 기준 자체가 모호했거나 평가자마다 공격 성공 여부를 판단하는 기준이 달랐을 가능성을 고려해야 한다.
어느 분야의 개념인가?
Fleiss’ Kappa는 AI 논문에서 자주 등장하지만 기본적으로는 확률과 통계 분야의 개념이다.
분류하면 다음과 같이 볼 수 있다.
확률과 통계
└── 통계적 평가 방법
└── Inter-rater Agreement
├── Cohen's Kappa
└── Fleiss' Kappa
딥러닝이나 머신러닝에서는 이 통계 기법을 가져와 모델 실험이나 Human Evaluation의 신뢰성을 분석하는 데 사용하는 것이다.
정리
Fleiss’ Kappa는 여러 평가자의 판단이 얼마나 일관적인지를 측정하는 Inter-rater Agreement 지표이다.
핵심은 단순한 일치율을 사용하는 것이 아니라 우연에 의해 발생할 수 있는 일치까지 보정한다는 점이다.
\[\kappa = \frac{P_o-P_e}{1-P_e}\]특히 LLM이나 ALM 연구에서 Human Evaluation을 수행하는 경우 자주 등장한다.
논문에서 다음과 같은 문장을 본다면,
The Fleiss' Kappa score among three annotators was 0.85.
다음과 같이 이해하면 된다.
세 명의 평가자가 독립적으로 데이터를 평가했으며, 평가자들의 판단이 매우 높은 수준으로 일치했다.
따라서 Fleiss’ Kappa는 모델 자체의 성능 지표라기보다는 사람이 수행한 평가가 얼마나 신뢰할 수 있는지를 검증하는 통계 지표라고 이해하는 것이 가장 정확하다.
Leave a comment