評価者間契約を計算する方法

評価者間契約は、2人以上のオブザーバー（または「評価者」）の間で一貫した測定値の尺度です。たとえば、医学研究者はしばしば医師のグループを使用して、治療実験の効果を観察し、分類します。オブザーバー間の一貫性を測定することは重要です。なぜなら、私たちが見る効果は、私たちの実験によるものであり、オブザーバー間の大きな違いではないことを確認したいからです。評価者間一致を測定するために使用される主要な統計は、「カッパ」と呼ばれます。

手順

1. • 1

     観測値の総数に合意する観測数を割ることにより、一致率を計算します。喘息の治療を受けた100人の患者を含む実験の例を考えてみましょう。 2人の医師は、患者を2つのカテゴリに分類するよう求められます：制御（はい）または制御されていない（いいえ）喘息症状。結果は次のようになるかもしれません：

     両方の評価者はい70

     両方の評価者no 15

     評価者＃1はい/評価者＃2いいえ10

     評価者＃1 no/rater＃2 yes 5

     合計観測：100

     この例では、パーセント一致（PA）は、評価者が同意する観測数（70+15）を合計観測（100）、つまり85％で割ったものです。これは、最終式の分子で使用されます。

   • 2

     ランダムなチャンスにより、予想される合意を計算します。観察された合意の一部は、純粋な運のためです。観測が完全にランダムである場合、どれだけの合意が見られるかを計算できます。

     この例では、

     どちらもはい70

     両方とも15

     ＃1yes/＃2 no 10

     ＃1 no/＃2 yes 5

     合計観測：100

     Dr.＃1の評価80/100または80％の時間（.80）。

     Dr.＃1は20/100または20パーセントの時間（.20）を評価しました。

     Dr.＃2の評価75/100または75％の時間（.75）。

     Dr.＃2は25/100または25％の時間（.25）を評価しました。

     観測がランダムである場合、両方の評価の確率は（.80）x（.75）または60パーセントであり、両方の評価noの確率は（.15）x（.25）、または4パーセントです。

     したがって、偶然（PE）による一致の合計確率は、（.60）+（。04）、または64％の合計です。これは、最終方程式の分子と分母で使用されます。

   • 3

     次の方程式を使用してカッパを計算します：

     k =（pa） - （pe）

     ---------------

     1-（PE）

     この例では、

     k =（.85） - （。64）/1-（。64）=（。58）または58％

   • 4

     カッパを評価して、評価者間合意が強いかどうかを判断します。経験則は、80％を超えるカッパが優れており、60％を超えることが良いことです。 60パーセント未満は最適な一致よりも少ないと見なされます。

     私たちの例では、58％が評価者間信頼性の境界線にあり、これを念頭に置いて研究結果を解釈する必要があります。

   • 5

     FleissのKappa計算を使用して、カッパを2人以上の評価者に評価します。これは、コンピューターで行う必要があるはるかに複雑な計算です。