statsmodels.stats.inter_rater.fleiss_kappa¶

statsmodels.stats.inter_rater.fleiss_kappa(table, method='fleiss')[source]¶

Fleiss’ 和 Randolph’s kappa 多评判者一致性度量

Parameters:¶

tablearray_like, 2-D

假设主题在行中，类别在列中。通过使用 statsmodels.stats.inter_rater.aggregate_raters 将原始数据转换为此格式

methodstr

方法‘fleiss’返回使用样本边际定义机会结果的Fleiss’ kappa。 方法‘randolph’或‘uniform’（只需要前4个字母）返回Randolph’s (2005) 的多评价者kappa，它假设类别的均匀分布来定义机会结果。

Returns:¶

kappafloat

Fleiss’s 或 Randolph’s 的评分者间一致性kappa统计量

注释

尚无方差或假设检验

如Fleiss的kappa等评分者间一致性度量，是相对于偶然一致性来衡量一致性的。不同的作者提出了定义这些偶然一致性的不同方法。Fleiss的方法基于类别的边际样本分布，而Randolph则使用类别的均匀分布作为基准。Warrens（2010）表明，Randolph的kappa总是大于或等于Fleiss的kappa。在某些常见观察条件下，Fleiss和Randolph的kappa为Light（1971）和Hubert（1977）提出的两种类似的kappa类度量提供了下限和上限。

参考文献

维基百科 https://en.wikipedia.org/wiki/Fleiss%27_kappa

Fleiss, Joseph L. 1971. “测量多名评分者之间的名义尺度一致性。” 心理学公报 76 (5): 378-82. https://doi.org/10.1037/h0031619.

兰道夫, 贾斯特斯 J. 2005 “自由边际多评者Kappa（多评者K [自由]）：一种替代弗莱斯的固定边际多评者Kappa的方法。” 在Joensuu学习与教学研讨会上发表, 卷2005 https://eric.ed.gov/?id=ED490661

Warrens, Matthijs J. 2010. “多评者Kappa的不等式。” 数据分析与分类进展 4 (4): 271-86. https://doi.org/10.1007/s11634-010-0073-4.