評価者間一致度（カッパ）の計算方法
評価者間一致度（inter‑rater agreement）は、複数の観察者が同じ対象を評価したときの一貫性を示す指標です。医療研究などで治療効果を評価する際、観察者間の違いが結果に影響しないことを確認するために用いられます。最も一般的に用いられる統計量は「カッパ（κ）」です。
計算手順（2人の評価者の場合）
-
ステップ1 一致率（%）の算出
一致率は、評価者が同じ判定を下した観測数を総観測数で割って求めます。例として、100人の喘息患者に対し、2人の医師が「症状がコントロールされているか（Yes/No）」を評価した結果は以下の通りです。
- 両方とも Yes：70
- 両方とも No：15
- 評価者1 Yes／評価者2 No：10
- 評価者1 No／評価者2 Yes：5
総観測数は 100 です。したがって一致率（Pa）は (70＋15) / 100 = 0.85（85％）となります。
-
ステップ2 偶然による期待一致率（%）の算出
観測が完全にランダムだった場合に期待される一致率を求めます。まず各評価者の Yes/No の出現率を計算します。
- 評価者1：Yes 80％（0.80）、No 20％（0.20）
- 評価者2：Yes 75％（0.75）、No 25％（0.25）
ランダムに評価したときの両方 Yes の確率は 0.80 × 0.75 = 0.60（60％）、両方 No の確率は 0.20 × 0.25 = 0.05（5％）です。
したがって偶然による期待一致率（Pe）は 0.60 + 0.05 = 0.65（65％）となります。
-
ステップ3 カッパ（κ）の計算
カッパは次の式で求めます。
κ = (Pa – Pe) / (1 – Pe)
本例では κ = (0.85 – 0.65) / (1 – 0.65) = 0.20 / 0.35 ≈ 0.57（57％）となります。
-
ステップ4 カッパの解釈
カッパの一般的な評価基準は以下の通りです。
- κ ≥ 0.80：非常に良好
- 0.60 ≤ κ < 0.80：良好
- 0.40 ≤ κ < 0.60：中程度
- κ < 0.40：低い
本例の κ≈0.57 は「中程度」から「良好」の境界に位置し、結果の解釈時に評価者間の合意がやや不安定であることに留意すべきです。
-
ステップ5 3人以上の評価者の場合
評価者が2人を超える場合は、Fleiss のカッパ（Fleiss' κ）を用います。計算は複雑になるため、専用の統計ソフトやプログラムを使用することが推奨されます。
以上が評価者間一致度（カッパ）の基本的な計算手順です。実際の研究では、サンプルサイズや評価項目の数に応じて適切な統計手法を選択し、結果の信頼性を確保してください。