Evaluación del riesgo de sesgo: RoB 2, AMSTAR 2 y Newcastle-Ottawa

El riesgo de sesgo es la probabilidad de que un estudio dé un resultado equivocado por defectos en su diseño, su realización o su análisis, y no por un efecto real. Evaluarlo significa juzgar hasta qué punto podemos confiar en los hallazgos de cada estudio incluido en una revisión. ¿Por qué importa tanto? Una revisión sistemática que junta estudios con sesgos graves no produce evidencia fiable: solo agrega el error. Dos estudios mal hechos no se corrigen entre sí; combinarlos le da una falsa sensación de precisión al mismo sesgo. Por eso, antes de sintetizar nada, hay que valorar la calidad metodológica de cada estudio con una herramienta validada y elegida según su tipo de diseño.

Esta guía explica qué es el riesgo de sesgo, qué tipos existen y cómo evaluarlo con las herramientas estándar (RoB 2, ROBINS-I, la escala Newcastle-Ottawa y AMSTAR 2), además de cómo graduar la certeza global de la evidencia con GRADE.

Qué es el riesgo de sesgo (y por qué importa)

El sesgo es cualquier error sistemático que desvía los resultados de un estudio respecto al valor verdadero. El error aleatorio se reduce con muestras más grandes. El sesgo no: no desaparece añadiendo participantes, porque está incorporado en la forma de hacer el estudio. Un ensayo en el que los pacientes saben qué tratamiento reciben puede sobreestimar el beneficio sin que el tamaño muestral arregle nada.

En una revisión sistemática, evaluar el riesgo de sesgo cumple tres funciones:

• Decidir qué peso dar a cada estudio. Un estudio con bajo riesgo de sesgo pesa más en la interpretación que uno con riesgo alto.
• Interpretar la heterogeneidad. Si los resultados discrepan, parte de esa discrepancia puede venir de diferencias en la calidad metodológica, no del efecto real.
• Justificar la confianza en las conclusiones. Es la base sobre la que después se construye la certeza global de la evidencia con GRADE, el sistema que sustenta la práctica de la medicina basada en la evidencia.

Conviene distinguir dos conceptos que a veces se confunden. El riesgo de sesgo valora cómo de bien se hizo el estudio (su validez interna). La calidad metodológica es un término más amplio que suele incluir el riesgo de sesgo junto con otros aspectos del reporte. Y la lectura crítica es el proceso general de analizar un artículo con criterio, del que la evaluación del riesgo de sesgo es una parte formalizada y reproducible.

Tipos de sesgo (selección, realización, detección, publicación)

Las herramientas modernas se organizan por dominios, pero conviene conocer las grandes familias de sesgo, porque cada herramienta las cubre de forma distinta.

• Sesgo de selección. Aparece cuando los grupos que se comparan difieren de partida en algo distinto a la intervención. En un ensayo se controla con una asignación aleatoria bien hecha y oculta (que nadie pueda prever ni manipular en qué grupo cae cada participante). El sesgo de selección es la amenaza clásica de los estudios observacionales, donde los grupos no se forman al azar.
• Sesgo de realización (performance). Surge de las diferencias en los cuidados que reciben los grupos más allá de la intervención estudiada, normalmente porque participantes o personal saben qué tratamiento se administra. El cegamiento (enmascaramiento) lo reduce.
• Sesgo de detección. Se produce cuando quien mide el resultado conoce la asignación y eso influye en cómo lo registra, sobre todo en desenlaces subjetivos. El cegamiento del evaluador es la defensa principal.
• Sesgo de desgaste (attrition). Deriva de las pérdidas de seguimiento y de los datos incompletos cuando estas pérdidas no se reparten por igual entre grupos.
• Sesgo de notificación (reporting). Ocurre cuando solo se publican algunos desenlaces, normalmente los significativos, ocultando los demás.
• Sesgo de publicación. Funciona a nivel del conjunto de estudios, no de uno solo: los trabajos con resultados positivos se publican más y antes que los negativos o no concluyentes. Eso distorsiona cualquier metaanálisis que se base en lo publicado. Se explora con métodos como el funnel plot y se valora en la fase de síntesis, no con las herramientas de estudio individual.

Con estas familias en mente, pasamos a las herramientas. La regla de oro es sencilla: cada tipo de estudio tiene su instrumento, y usar el equivocado invalida la evaluación.

RoB 2 (ensayos clínicos)

RoB 2 (Risk of Bias 2) es la herramienta de Cochrane para evaluar el riesgo de sesgo en ensayos clínicos aleatorizados (ECA). Actualizó la versión original de 2008 y se publicó en 2019. ¿Tu revisión incluye ensayos aleatorizados? Este es el instrumento que debes usar.

RoB 2 no da una puntuación numérica. En su lugar estructura el juicio en cinco dominios y, para cada uno, se responde a una serie de preguntas de señalización (signalling questions) que conducen a una valoración guiada por un algoritmo. Los cinco dominios son:

1. Sesgo derivado del proceso de aleatorización.
2. Sesgo por desviaciones de las intervenciones previstas.
3. Sesgo por datos de resultado faltantes.
4. Sesgo en la medición del resultado.
5. Sesgo en la selección del resultado notificado.

Cada dominio se clasifica como bajo riesgo, algunas preocupaciones (some concerns) o alto riesgo. El juicio global sigue una lógica conservadora: basta con que un dominio sea de alto riesgo para que el ensayo entero pase a alto riesgo. Hay un detalle importante. RoB 2 se aplica por desenlace concreto, no al estudio en bloque, porque un mismo ensayo puede tener bajo riesgo para un resultado objetivo (mortalidad) y alto riesgo para uno subjetivo (dolor referido por el paciente).

ROBINS-I (estudios no aleatorizados)

Cuando los estudios incluidos no son aleatorizados pero sí evalúan el efecto de una intervención (por ejemplo, estudios de cohortes que comparan dos tratamientos asignados en la práctica clínica), la herramienta adecuada es ROBINS-I (Risk Of Bias In Non-randomised Studies of Interventions), también de Cochrane.

ROBINS-I parte de una idea potente: imagina el "ensayo objetivo" (target trial), es decir, el ensayo aleatorizado ideal que respondería a la misma pregunta, y mide cuánto se aleja de él el estudio real. Por eso incorpora dominios que en un ECA no harían falta, sobre todo el de confusión (confounding), el gran enemigo de los estudios no aleatorizados. Sus siete dominios son:

1. Sesgo por confusión.
2. Sesgo en la selección de participantes.
3. Sesgo en la clasificación de las intervenciones.
4. Sesgo por desviaciones de las intervenciones previstas.
5. Sesgo por datos faltantes.
6. Sesgo en la medición de los resultados.
7. Sesgo en la selección del resultado notificado.

Las categorías de juicio van un paso más allá que en RoB 2: bajo, moderado, serio, crítico o sin información suficiente. Un estudio observacional bien hecho rara vez alcanza el "bajo riesgo" en ROBINS-I. El motivo: la ausencia de aleatorización deja siempre abierta la puerta a la confusión residual. No es un defecto de la herramienta, sino el reflejo de una limitación real del diseño.

Escala Newcastle-Ottawa (observacionales)

La escala Newcastle-Ottawa (Newcastle-Ottawa Scale, NOS) es una de las herramientas más usadas para valorar la calidad de estudios observacionales, en concreto estudios de cohortes y de casos y controles. A diferencia de RoB 2 y ROBINS-I, la escala Newcastle-Ottawa sí funciona con un sistema de estrellas: asigna puntos en tres bloques (selección de los grupos, comparabilidad de los grupos y evaluación del desenlace o de la exposición), con un máximo que ronda las nueve estrellas según la versión.

Su gran ventaja es la sencillez y la rapidez, lo que explica su enorme popularidad. Las limitaciones también se conocen bien: el sistema de puntuación puede ocultar problemas graves (un estudio con un fallo crítico en un solo ítem puede seguir sumando estrellas en los demás) y los puntos de corte para clasificar un estudio como "bueno" o "malo" no están bien estandarizados entre revisiones. Por eso, en revisiones que aspiran al máximo rigor metodológico, muchos grupos prefieren ROBINS-I para los estudios observacionales de intervención y reservan la escala Newcastle-Ottawa para estudios de exposición-desenlace o cuando el protocolo así lo establece. En cualquier caso, conviene declarar de antemano qué herramienta se usará y por qué.

En revisia, la evaluación del riesgo de sesgo de tus estudios incluidos se hace en el mismo flujo y sale lista para el manuscrito. Crea tu cuenta gratis.

AMSTAR 2 (calidad de revisiones sistemáticas)

Las herramientas anteriores evalúan estudios primarios. AMSTAR 2 (A MeaSurement Tool to Assess systematic Reviews, versión 2 de 2017) cambia de nivel y evalúa la calidad metodológica de las propias revisiones sistemáticas. La usas cuando tu objeto de estudio no son ensayos ni cohortes, sino otras revisiones (por ejemplo en una umbrella review), o cuando quieres juzgar críticamente una revisión publicada antes de fiarte de sus conclusiones.

AMSTAR 2 consta de 16 ítems. No se calcula una puntuación total. En su lugar identifica siete dominios críticos (como el registro de un protocolo previo, la idoneidad de la búsqueda bibliográfica, la justificación de los estudios excluidos y la evaluación del riesgo de sesgo de los estudios incluidos). El número y la importancia de las debilidades en esos dominios determinan una valoración global de confianza en la revisión: alta, moderada, baja o críticamente baja. Una sola debilidad crítica suele bastar para que la confianza descienda a baja.

AMSTAR 2 enlaza directamente con la idea de partida de este artículo: una de las cosas que comprueba es, precisamente, si la revisión evaluó el riesgo de sesgo de sus estudios. Sin ese paso, ninguna revisión puede aspirar a una valoración alta. Si quieres profundizar en cómo se interpreta el resultado agregado de una revisión, revisa nuestra guía sobre el metaanálisis y cómo interpretar el forest plot, donde el sesgo de publicación reaparece a través del funnel plot.

ROBIS y otras herramientas específicas

Para revisiones sistemáticas existe además ROBIS (Risk of Bias in Systematic Reviews), una herramienta centrada específicamente en el riesgo de sesgo del proceso de la revisión, que se organiza en cuatro dominios (criterios de elegibilidad, identificación y selección de estudios, recopilación de datos y evaluación, y la síntesis y los hallazgos). ROBIS y AMSTAR 2 son complementarias: AMSTAR 2 pone el foco en la calidad metodológica general y ROBIS en el riesgo de sesgo concreto. Conviene tener clara una cosa: ROBIS es una herramienta metodológica de evaluación de revisiones, nada que ver con marcas comerciales de nombre parecido.

Para tipos de estudio o desenlaces concretos existen herramientas adicionales (por ejemplo, las listas de comprobación de JBI para distintos diseños, o QUADAS-2 para estudios de pruebas diagnósticas). La idea de fondo siempre es la misma: elige la herramienta validada para tu diseño en lugar de forzar una genérica.

Tabla resumen: qué herramienta usar según el estudio

Esta es la tabla de referencia rápida para no equivocarte de instrumento:

GRADE y los niveles de evidencia

Las herramientas anteriores evalúan estudios o revisiones de uno en uno. GRADE (Grading of Recommendations, Assessment, Development and Evaluations) opera en otro plano: gradúa la certeza global de la evidencia para cada desenlace, es decir, cuánta confianza podemos tener en que el efecto estimado se acerca al verdadero. No es una herramienta de riesgo de sesgo de un estudio, sino el paso final que integra el riesgo de sesgo con otros factores.

GRADE clasifica la certeza de la evidencia en cuatro niveles: alta, moderada, baja y muy baja. El punto de partida depende del diseño (los ensayos aleatorizados arrancan en certeza alta y los observacionales en baja) y, a partir de ahí, la certeza puede bajar por cinco motivos:

1. Riesgo de sesgo (aquí se incorpora el resultado de RoB 2, ROBINS-I, etc.).
2. Inconsistencia (heterogeneidad inexplicada entre estudios).
3. Evidencia indirecta (la población, intervención o desenlace no coinciden del todo con la pregunta).
4. Imprecisión (intervalos de confianza amplios, pocos eventos).
5. Sesgo de publicación (sospecha de que faltan estudios no publicados).

En los estudios observacionales, la certeza puede además subir por factores como un efecto de gran magnitud o un gradiente dosis-respuesta. El nivel de evidencia resultante es lo que sustenta después la fuerza de las recomendaciones clínicas en la medicina basada en la evidencia. Por eso GRADE es el corolario lógico de toda la evaluación del riesgo de sesgo: sin valorar bien cada estudio, no se puede graduar bien el conjunto.

Cómo reportarlo en PRISMA

Evaluar el riesgo de sesgo no sirve de nada si no se documenta de forma transparente y reproducible. La declaración PRISMA 2020 dedica varios ítems a este punto: hay que especificar qué herramienta se usó, cuántos revisores evaluaron cada estudio de forma independiente, cómo se resolvieron los desacuerdos y presentar los resultados de la evaluación (habitualmente con un traffic light plot por dominios para RoB 2 y ROBINS-I, o una tabla de estrellas para la escala Newcastle-Ottawa). El sesgo de publicación se reporta aparte, normalmente con el funnel plot y, si procede, una prueba estadística asociada.

Para que el reporte cumpla con la guía y sea aceptado por revisores y revistas, conviene seguir la estructura oficial. Puedes ver cómo encajar la evaluación del riesgo de sesgo dentro del flujo y el checklist completo en nuestra guía del diagrama de flujo PRISMA 2020 y su plantilla.

La evaluación del riesgo de sesgo es uno de los pasos centrales del método. Si quieres situarlo dentro del proceso completo, desde la pregunta hasta la síntesis, vuelve a la guía principal sobre cómo hacer una revisión sistemática paso a paso.

En revisia evalúas el riesgo de sesgo dentro del mismo flujo de tu revisión. Crea tu cuenta gratis.

Preguntas frecuentes

¿Riesgo de sesgo y calidad del estudio son lo mismo?

No exactamente. El riesgo de sesgo se centra en fallos del diseño y la conducción que distorsionan el resultado; la calidad es un concepto más amplio.

¿Qué herramienta uso para estudios observacionales?

Para no aleatorizados suele usarse ROBINS-I, y la escala Newcastle-Ottawa para cohortes y estudios de casos y controles.

¿Quién evalúa el riesgo de sesgo?

Lo ideal es que lo hagan dos revisores de forma independiente y resuelvan los desacuerdos, igual que en el cribado.

¿Qué es el riesgo de sesgo?

El riesgo de sesgo es la probabilidad de que los resultados de un estudio estén distorsionados por errores sistemáticos en su diseño, realización o análisis, en lugar de reflejar el efecto real. Evaluarlo permite saber cuánta confianza merece cada estudio dentro de una revisión sistemática. A diferencia del error aleatorio, el sesgo no se corrige aumentando la muestra.

¿Qué herramienta uso para ensayos clínicos?

Para ensayos clínicos aleatorizados se usa RoB 2, la herramienta de Cochrane que valora cinco dominios (aleatorización, desviaciones de la intervención, datos faltantes, medición del resultado y notificación selectiva). Para estudios de intervención no aleatorizados (cohortes, por ejemplo) la herramienta correcta es ROBINS-I, y para estudios observacionales clásicos suele emplearse la escala Newcastle-Ottawa.

¿Qué es AMSTAR 2?

AMSTAR 2 es una herramienta de 16 ítems que evalúa la calidad metodológica de las revisiones sistemáticas (no de los estudios primarios). Identifica siete dominios críticos y, según las debilidades encontradas en ellos, asigna una confianza global de alta, moderada, baja o críticamente baja. Se usa, por ejemplo, para juzgar revisiones publicadas o en una umbrella review.

¿Qué es GRADE?

GRADE es el sistema que gradúa la certeza global de la evidencia para cada desenlace en cuatro niveles: alta, moderada, baja y muy baja. Integra el riesgo de sesgo con otros factores (inconsistencia, evidencia indirecta, imprecisión y sesgo de publicación) y es la base sobre la que se construye la fuerza de las recomendaciones clínicas.