Qué mide el kappa
El índice kappa mide cuánto coinciden dos personas que clasifican lo mismo, descontando lo que coincidirían por puro azar. En una revisión sistemática se usa sobre todo para el cribado por pares: dos revisores leen los mismos títulos y resúmenes y deciden por separado si cada registro entra o no.
Se calcula como κ = (Po − Pe) / (1 − Pe). Po es la proporción de registros en la que coinciden. Pe es la que cabría esperar si cada uno decidiera al azar con su propia tendencia a incluir. Un kappa de 1 es acuerdo total; 0, el mismo acuerdo que el azar; por debajo de 0, menos que el azar.
Cómo se interpreta
La escala de Landis y Koch (1977) es la que citan casi todas las revisiones:
| κ | Acuerdo |
|---|---|
| < 0 | Pobre |
| 0,00 – 0,20 | Leve |
| 0,21 – 0,40 | Aceptable |
| 0,41 – 0,60 | Moderado |
| 0,61 – 0,80 | Sustancial |
| 0,81 – 1,00 | Casi perfecto |
Los propios autores dijeron que los cortes son arbitrarios. En salud hay quien pide más: McHugh (2012) considera que por debajo de 0,60 el acuerdo es insuficiente. Da el número y el intervalo, no solo la etiqueta.
Ejemplo resuelto
Dos revisoras criban 500 registros por título y resumen. Las dos incluyen 20 y excluyen 465; en 8 incluye solo la revisora A y en 7 solo la B. Es el ejemplo con el que se abre la calculadora.
- Acuerdo observado: Po = (20 + 465) / 500 = 0,970.
- La revisora A incluye 28 de 500 (0,056) y la B 27 de 500 (0,054).
- Acuerdo esperado por azar: Pe = 0,056 × 0,054 + 0,944 × 0,946 = 0,896.
- Kappa: κ = (0,970 − 0,896) / (1 − 0,896) = 0,71, con IC 95 % de 0,57 a 0,85.
Un 97 % de acuerdo se queda en un kappa de 0,71, acuerdo sustancial: casi todo se excluye y el azar ya explicaba el 89,6 %. Es la paradoja que se explica más abajo.
Por qué el kappa del cribado sale bajo
En un cribado lo normal es excluir el 90 % o más de los registros. Cuando casi todo cae en «excluir», el azar ya explica casi todo el acuerdo, y un par de discrepancias en los pocos incluidos hunden el kappa. Dos revisores pueden coincidir en el 97 % de los registros y sacar un kappa de 0,6.
Es la paradoja del kappa (Feinstein y Cicchetti, 1990). La calculadora la señala cuando aparece y da tres números que ayudan a explicarla: el índice de prevalencia (cuánto pesa una categoría sobre la otra), el kappa máximo que permiten los márgenes y el PABAK, el kappa corregido por prevalencia y sesgo de Byrt, Bishop y Carlin (1993).
Qué kappa usar
- Kappa de Cohen. Dos revisores, categorías sin orden: incluir o excluir, sí o no, tipo de diseño. Es el habitual en el cribado.
- Kappa ponderado. Dos revisores, categorías con orden: riesgo bajo, algunas dudas o alto; una escala de 1 a 5. Con pesos cuadráticos un desacuerdo de dos escalones cuenta cuatro veces más que uno de un escalón; con lineales, el doble. El cuadrático es casi equivalente al coeficiente de correlación intraclase (Fleiss y Cohen, 1973).
- Kappa de Fleiss. Tres o más revisores que clasifican todos los mismos registros. Con dos revisores da el pi de Scott, que se parece al kappa de Cohen pero no es igual.
Cuándo el kappa no es la medida adecuada
- Medidas continuas. Para puntuaciones continuas (una escala de 0 a 100, un tiempo) se usa el coeficiente de correlación intraclase (CCI), no el kappa.
- Datos que faltan o revisores distintos por registro. Si no todos los revisores valoran todos los registros, el alfa de Krippendorff los admite; el kappa de Fleiss pide el mismo número de revisores en cada registro.
- Una categoría muy rara. Cuando casi todo cae en una categoría, el AC1 de Gwet sufre menos la paradoja que el kappa. Si lo usas, informa también del kappa: es lo que esperan las revistas.
Cómo informarlo en tu revisión
PRISMA 2020 pide decir cuántos revisores cribaron cada registro y si lo hicieron por separado (ítem 8); no obliga a dar el kappa, pero muchas revistas y tribunales de TFG y TFM lo esperan. Cuando lo des, incluye el tipo de kappa, el valor con su intervalo de confianza, el número de registros y en qué fase se midió (títulos y resúmenes o texto completo).
Cita el método que uses: Cohen J. Educ Psychol Meas 1960;20:37-46 para el kappa de Cohen; Cohen J. Psychol Bull 1968;70:213-20 para el ponderado; Fleiss JL. Psychol Bull 1971;76:378-82 para el de Fleiss; Landis JR, Koch GG. Biometrics 1977;33:159-74 para la escala.
Preguntas frecuentes
¿Qué es un buen índice kappa?
Por la escala de Landis y Koch, de 0,61 a 0,80 es un acuerdo sustancial y de 0,81 a 1 casi perfecto. En el cribado de una revisión sistemática, un kappa por encima de 0,60 suele bastar a revistas y tribunales. Si sale más bajo, revisa los desacuerdos: casi siempre señalan un criterio de inclusión ambiguo que conviene reescribir antes de seguir.
¿Cómo se calcula el intervalo de confianza?
Para el kappa de Cohen, sin ponderar y ponderado, con el error estándar de muestras grandes de Fleiss, Cohen y Everitt (1969): el mismo que usa la función cohen.kappa del paquete psych de R. Para el kappa de Fleiss no hay una fórmula cerrada en la que coincidan los paquetes, así que el intervalo sale de 2.000 remuestreos bootstrap de los registros, con semilla fija para que los mismos datos den siempre el mismo intervalo.
¿Da los mismos números que SPSS o R?
Sí. El kappa, el error estándar y el contraste coinciden con kappa2 y kappam.fleiss del paquete irr de R y con cohen.kappa del paquete psych, comprobados hasta diez decimales. SPSS da el mismo kappa de Cohen.
¿Puedo pegar las decisiones directamente desde Excel?
Sí. Selecciona en Excel o Google Sheets una columna por revisor, cópiala y pégala en «Pegar decisiones». Vale cualquier etiqueta (Incluir/Excluir, Sí/No, 1/0) y no importan las mayúsculas. Si la primera fila tiene los nombres de los revisores, se detecta sola. Las filas con alguna celda vacía se apartan y se avisa de cuántas son.
¿Por qué tengo un 95 % de acuerdo y un kappa de 0,6?
Porque casi todos los registros caen en la misma categoría, como pasa al cribar, donde se excluye la gran mayoría. Con esa distribución el azar ya predice mucho acuerdo, y el kappa solo mide lo que va más allá del azar. Es la paradoja del kappa. Informa del kappa junto al acuerdo observado y, si quieres, del PABAK, que la calculadora da siempre que el kappa no está ponderado.
¿Mis datos salen del navegador?
No. Todo se calcula y se dibuja en tu dispositivo, y lo que escribes se guarda solo en el almacenamiento local de tu navegador, para que no se pierda al recargar. No hace falta cuenta.
¿Por qué la figura lleva marca de agua y cómo la quito?
La figura que descargas en PNG o SVG lleva una marca de revisia abajo a la derecha, fuera de la tabla. Si entras con tu cuenta de revisia y tienes el email verificado, sale limpia en la vista previa y en los dos formatos. La cuenta es gratis y no hay versión de pago de esta herramienta. La frase para métodos se copia siempre sin marca.