Как пользоваться
- Расположите данные так: строка — объект, столбец — эксперт. Строки разделяются точкой с запятой:
9 2 5 8; 6 1 3 2; …. - Выберите вид ICC, подходящий к вашему плану.
- Посмотрите ICC, уровень надёжности и F-критерий; все шесть видов показаны для сравнения.
Формулы
Двухфакторный дисперсионный анализ таблицы n × k даёт средние квадраты между объектами MSR, между экспертами MSC, остаточный MSE и внутри объектов MSW = (SS_экспертов + SS_ошибки)/(n(k − 1)). Далее (Шраут и Флейсс, 1979):
- ICC(1,1) = (MSR − MSW) / (MSR + (k − 1)MSW);
- ICC(2,1) = (MSR − MSE) / (MSR + (k − 1)MSE + k(MSC − MSE)/n);
- ICC(3,1) = (MSR − MSE) / (MSR + (k − 1)MSE);
- ICC(1,k) = (MSR − MSW)/MSR, ICC(2,k) = (MSR − MSE)/(MSR + (MSC − MSE)/n), ICC(3,k) = (MSR − MSE)/MSR.
F-критерий — MSR/MSW для однофакторных видов и MSR/MSE для двухфакторных.
Пример
Классический пример Шраут и Флейсс: 6 объектов, 4 эксперта — 9 2 5 8; 6 1 3 2; 8 4 6 8; 7 1 2 6; 10 5 6 9; 6 2 4 7. Средние квадраты: MSR = 11,2417, MSC = 32,4861, MSE = 1,01944, MSW = 6,26389. Отсюда:
- ICC(1,1) = 0,165742, ICC(2,1) = 0,289764, ICC(3,1) = 0,714841;
- ICC(1,4) = 0,442797, ICC(2,4) = 0,620051, ICC(3,4) = 0,909316.
Эксперты упорядочивают объекты согласованно (ICC(3,1) = 0,71), но сильно расходятся в уровне оценок, поэтому ICC(2,1) с абсолютным согласием гораздо ниже. F(5, 15) = 11,0272, p = 0,0001346.
Советы и частые ошибки
- Строки — объекты, столбцы — эксперты, а не наоборот.
- Всегда указывайте модель, тип (согласие или согласованность) и одиночные или средние оценки: как видно из примера, шесть значений могут сильно различаться.
- Пропуски не поддерживаются: у каждого объекта должна быть оценка каждого эксперта.