Si ya tienes la tabla, la calculadora kappa te da el valor, el intervalo y la frase para métodos. Gratis y sin registro.
## Cómo se interpreta el kappa La escala de Landis y Koch (1977) es la que citan casi todas las revisiones: | Kappa | Acuerdo | |---|---| | Menos de 0 | Pobre | | 0,00 a 0,20 | Leve | | 0,21 a 0,40 | Aceptable | | 0,41 a 0,60 | Moderado | | 0,61 a 0,80 | Sustancial | | 0,81 a 1,00 | Casi perfecto | Los propios autores dijeron que los cortes eran arbitrarios. En salud hay quien pide más: McHugh (2012) considera insuficiente cualquier kappa por debajo de 0,60. Lo más honesto es dar siempre el valor con su intervalo de confianza y no solo la etiqueta. ## La paradoja del kappa: mucho acuerdo, kappa bajo El ejemplo anterior tiene nombre. Feinstein y Cicchetti la llamaron en 1990 la paradoja del kappa: cuando una categoría es mucho más frecuente que la otra, el acuerdo por azar sube tanto que un par de discrepancias en la categoría rara hunden el kappa. En el cribado, la categoría rara son los incluidos. De los 1.200 registros del ejemplo, los dos revisores solo discreparon en 50, pero todas esas discrepancias cayeron sobre los pocos registros que alguien quería incluir. Ahí es donde el kappa mira. Para explicarlo en tu revisión puedes añadir dos datos: - **El acuerdo observado**, junto al kappa. Con él, quien lea ve las dos caras. - **El PABAK**, el kappa ajustado por prevalencia y sesgo de Byrt, Bishop y Carlin (1993). En el ejemplo es 0,92. No sustituye al kappa, pero muestra cuánto de su caída se debe a la distribución de los registros. La [calculadora kappa](/tools/calculadora-kappa/) da los dos, además del AC1 de Gwet, y avisa cuando aparece la paradoja. ## Alternativas al kappa: AC1, AC2 de Gwet y otros coeficientes La paradoja ha llevado a proponer coeficientes que calculan el acuerdo por azar de otra manera. El más usado es el **AC1 de Gwet** (2008). En lugar de suponer que cada revisor decide al azar con su propia tendencia, supone que solo una parte de los casos son dudosos de verdad. El resultado es que se hunde mucho menos cuando una categoría se lleva casi todos los registros. Con los datos del ejemplo, cada coeficiente da un número muy distinto: | Coeficiente | Valor en el ejemplo | Qué hace con el azar | |---|---|---| | Kappa de Cohen | 0,52 | Lo estima con la tendencia de cada revisor | | Alfa de Krippendorff | 0,52 | Igual que el kappa, juntando a los revisores | | PABAK o Brennan-Prediger | 0,92 | Supone que todas las categorías son igual de probables | | AC1 de Gwet | 0,95 | Lo estima solo con los casos dudosos | Los cuatro miden lo mismo: cuánto coinciden los revisores más allá del azar. Lo que cambia es cómo calcula cada uno ese azar. ### Pros y contras de cada uno - **Kappa de Cohen.** A favor: es el que conocen todas las revistas y tribunales, y el que piden por defecto. En contra: cae con la paradoja cuando una categoría domina, justo lo normal en el cribado. - **AC1 de Gwet.** A favor: aguanta la paradoja. Con mucho acuerdo da un valor alto, como espera quien lee los datos. Por ejemplo, si dos evaluadoras coinciden en 9 de 13 estudios en un ítem de la escala Newcastle-Ottawa y casi todos sus juicios caen en la misma categoría, el kappa puede salir negativo (−0,18) mientras el AC1 da 0,58. En contra: es menos conocido y a veces hay que explicarlo. Y con una categoría muy rara puede tapar desacuerdos que importan: en el ejemplo da 0,95, pero de los 80 registros que alguno de los dos quería incluir, solo coincidieron en 30. - **AC2 de Gwet.** Es el AC1 con pesos, para categorías con orden, como los juicios de riesgo de sesgo o las estrellas de Newcastle-Ottawa. A favor y en contra, lo mismo que el AC1. - **PABAK o Brennan-Prediger.** A favor: es el más sencillo de calcular y de explicar. En contra: supone que todas las categorías son igual de probables, algo que en un cribado nunca pasa. - **Alfa de Krippendorff.** A favor: admite cualquier número de revisores, datos que faltan y escalas nominales, ordinales o continuas. En contra: sufre la misma paradoja que el kappa, y su autor pide 0,80 para fiarse de los datos y 0,667 como mínimo para conclusiones provisionales. ### Qué conviene informar Ninguno es el mejor en todos los casos. Lo más útil para quien lee es dar el kappa, porque es el que todos esperan, y acompañarlo de otro coeficiente que sufra menos la paradoja, sobre todo el AC1 cuando una categoría domina. Añade siempre el acuerdo observado. Y si usas el AC1, di también cuántos de los registros que alguien quería incluir acabaron incluidos por los dos: es el número que el AC1 no enseña.La calculadora kappa ya da el AC1 de Gwet junto al kappa, y el AC2 cuando el kappa es ponderado, con su intervalo de confianza. Gratis y sin registro.
## En qué fases de la revisión se mide El kappa no es solo cosa del cribado por título y resumen. Se puede calcular en cada fase donde dos personas deciden por separado: - **Piloto de criterios.** Antes del cribado completo, los dos revisores criban una muestra pequeña y comparan. Es el mejor momento para medir, porque un kappa bajo aquí se arregla reescribiendo los criterios, no repitiendo el trabajo. - **Cribado por título y resumen.** El uso más habitual. - **Cribado por texto completo.** Suele dar kappas más altos, porque hay más información para decidir. Conviene darlo aparte. - **Riesgo de sesgo.** Los juicios de RoB 2 (bajo, algunas dudas, alto) o de ROBINS-I (bajo, moderado, grave, crítico) tienen orden, así que aquí encaja el kappa ponderado. Puedes ver cómo se hace la evaluación en la guía de [riesgo de sesgo](/blog/evaluacion-del-riesgo-de-sesgo/). Indica siempre en qué fase mediste el kappa. Uno de 0,85 en texto completo y otro de 0,55 en títulos y resúmenes cuentan historias distintas. ## Qué hacer si el kappa sale bajo Un kappa bajo casi nunca significa que uno de los revisores lo haga mal. Lo habitual es que un criterio admita dos lecturas. Estos pasos suelen bastar: 1. **Lista los desacuerdos.** Junta los registros en los que no coincidisteis y leedlos juntos. 2. **Busca el patrón.** Casi siempre se repite un mismo motivo: un tipo de población que no estaba previsto, un diseño de estudio dudoso, una intervención que se parece a la vuestra. 3. **Reescribe el criterio.** Hazlo más concreto y añade un ejemplo de qué entra y qué no. 4. **Repite el piloto.** Cribad otra muestra con el criterio nuevo y volved a medir antes de seguir. 5. **Deja constancia.** Si cambiaste un criterio, dilo en el protocolo y en el manuscrito. Lo que no conviene es seguir cribando con un kappa bajo y resolverlo todo al final: cada desacuerdo pendiente es un registro que hay que volver a leer. ## Kappa ponderado y kappa de Fleiss El kappa de Cohen tiene dos variantes que aparecen a menudo en revisiones: - **Kappa ponderado.** Para categorías con orden. Un desacuerdo entre «riesgo bajo» y «riesgo alto» pesa más que uno entre «riesgo bajo» y «algunas dudas». Con pesos cuadráticos, un desacuerdo de dos escalones cuenta cuatro veces más que uno de uno; con pesos lineales, el doble. - **Kappa de Fleiss.** Para tres o más revisores que clasifican todos los mismos registros. Con dos revisores da un valor parecido al de Cohen, pero no igual. Si tus datos son puntuaciones continuas, el kappa no es la medida adecuada: usa el coeficiente de correlación intraclase. ## Cómo redactarlo en el apartado de métodos Una frase basta. Incluye el tipo de kappa, el valor con su intervalo, el número de registros y la fase: > La concordancia entre los dos revisores en el cribado por título y resumen se midió con el índice kappa de Cohen: κ = 0,52 (IC 95 %: 0,41 a 0,64), con un acuerdo observado del 95,8 % en 1.200 registros. Según los criterios de Landis y Koch (1977), el acuerdo fue moderado. Si citas el método, la referencia del kappa de Cohen es Cohen J. *Educ Psychol Meas* 1960;20:37-46, y la de la escala, Landis JR, Koch GG. *Biometrics* 1977;33:159-74. El AC1 es Gwet KL. *Br J Math Stat Psychol* 2008;61:29-48. La paradoja del kappa, Feinstein AR, Cicchetti DV. *J Clin Epidemiol* 1990;43:543-9, y el PABAK, Byrt T, Bishop J, Carlin JB. *J Clin Epidemiol* 1993;46:423-9. AMSTAR 2 es Shea BJ, Reeves BC, Wells G, et al. *BMJ* 2017;358:j4008. ## El doble cribado en revisia En los planes de pago de revisia puedes invitar a un segundo revisor. Cada uno criba por su cuenta, sin ver las decisiones del otro, y revisia cruza las dos listas sobre la marcha: muestra el kappa, el acuerdo observado y el número de registros comparados, y deja los desacuerdos en una cola para resolverlos. Cada decisión final lleva su motivo y queda en el registro de auditoría. No hay columnas que copiar a una hoja de cálculo.¿Ya tienes las decisiones de los dos revisores en una hoja de cálculo? Pégalas en la calculadora kappa y tendrás el kappa, el AC1 y la frase para métodos en un minuto.
## Preguntas frecuentes ### ¿Qué es un buen índice kappa en una revisión sistemática? Por la escala de Landis y Koch, de 0,61 a 0,80 es un acuerdo sustancial y de 0,81 a 1 casi perfecto. En el cribado, un kappa por encima de 0,60 suele bastar a revistas y tribunales. Si sale más bajo, revisa los desacuerdos antes de seguir: casi siempre apuntan a un criterio ambiguo. ### ¿Es obligatorio dar el kappa en una revisión sistemática? No. PRISMA 2020 pide decir cuántos revisores cribaron y si lo hicieron de forma independiente, pero no exige el kappa. Muchas revistas y tribunales lo esperan igualmente, así que conviene darlo. ### ¿Por qué tengo un 96 % de acuerdo y un kappa de 0,5? Porque casi todos los registros se excluyen, y con esa distribución el azar ya explica casi todo el acuerdo. Es la paradoja del kappa. Da el kappa junto al acuerdo observado y, si quieres, el PABAK. ### ¿Es mejor el AC1 de Gwet que el kappa? Cuando una categoría domina, como en el cribado, el AC1 refleja mejor el acuerdo que se ve en los datos, porque sufre mucho menos la paradoja del kappa. Pero el kappa sigue siendo el que esperan revistas y tribunales. Lo más útil es dar los dos, junto al acuerdo observado. ### ¿Qué diferencia hay entre el kappa de Cohen y el de Fleiss? El de Cohen compara a dos revisores. El de Fleiss sirve para tres o más que clasifican los mismos registros. Para categorías con orden, con dos revisores, se usa el kappa ponderado. ### ¿Con cuántos registros se puede calcular el kappa? Se puede calcular con cualquier número, pero con menos de 30 el intervalo de confianza es tan ancho que el valor dice poco. Para un piloto de criterios, una muestra de unas decenas de registros ya permite ver si hay un criterio que falla.