Cómo medimos revisia

Resumen

Las tres mediciones se hicieron el 29 y el 30 de septiembre de 2026 sobre el código que está en producción desde el 30 de septiembre. Tu manuscrito cita la versión de la plataforma con la que se hizo cada etapa, así que cualquier cifra de esta página se puede relacionar con la versión que usó tu proyecto.

Cómo medimos, en general

• La verdad la ponen revisiones ya publicadas. Tomamos la lista de estudios que sus autores incluyeron, sacada de la tabla de características de la propia revisión, y la resolvemos a identificadores de PubMed. Un estudio que la revisión incluyó y revisia pierde cuenta como fallo.
• Sin tocar nada a mano. La app recibe la pregunta y propone: la estrategia de búsqueda, los criterios, las decisiones. Aceptamos todo tal como lo aceptaría alguien que empieza. Ningún revisor nuestro corrige por el camino.
• Tres pasadas. Los modelos de lenguaje no responden igual dos veces. Repetimos cada medición tres veces y publicamos la media y el rango.
• Sobre el producto real. El arnés llama a las mismas funciones que usa la app en producción, con las mismas instrucciones y la misma configuración para todos los planes.
• Sin nombrar modelos. No publicamos qué modelos ni qué instrucciones internas usa cada etapa: cambian, y lo que identifica una medición es la fecha de versión de la plataforma. Si tu revista te pide el modelo exacto que usó tu proyecto, escríbenos a equipo@revisia.es y te lo damos por escrito.
• Validación continua. Cada vez que cambia la búsqueda, los criterios o el cribado, se vuelve a medir contra el banco antes de desplegar. Si un número deja de aguantar, se corrige aquí primero. El banco de revisiones (con los identificadores de PubMed de sus incluidos), los escenarios y los resultados de cada pasada están guardados en nuestro repositorio con la fecha y la versión medida; si quieres repetir la comprobación, escríbenos a equipo@revisia.es y te damos el banco.

1. Búsqueda

Qué medimos. La sensibilidad (recall) de la estrategia que revisia propone: de los estudios que una revisión publicada incluyó, qué parte devuelve la consulta en PubMed. Es la cifra que más importa en una búsqueda sistemática: lo que la búsqueda no trae, nadie lo criba.

Cómo. Un banco de 45 revisiones sistemáticas publicadas entre 2019 y 2026 en acceso abierto, de cuatro tipos de pregunta: intervención (9), prevalencia e incidencia (12), pruebas diagnósticas (12) y revisiones de alcance (12). Entran solo las que tienen al menos cinco estudios incluidos localizables en PubMed; en total, 1.093. Para cada revisión escribimos su pregunta en la app, dejamos que proponga la estrategia y la ejecutamos en PubMed sin límite de fechas. Contamos cuántos de los 1.093 aparecen.

* Las revisiones de alcance recibieron una segunda mejora medida solo sobre esas 12 (tres pasadas: 88,5, 88,1 y 89,3 %). El 91,8 % global es de la ronda anterior a esa mejora, con las de alcance en 82,2 %; no lo hemos vuelto a medir sobre las 45 y no sumamos los dos números.

• La mitad de las revisiones quedan en el 97,6 % o más. Nueve estudios de cada diez se recuperan sin que nadie retoque la consulta.
• Europe PMC, con la misma estrategia traducida: 89,8 %. No rescata ningún estudio que PubMed pierda, porque la consulta falla por la misma razón en las dos bases (falta un término). Hoy sirve de respaldo cuando PubMed no contesta, no como segunda oportunidad.
• Lo que cuesta: más registros que cribar. La mediana de registros por búsqueda subió de 1.881 a 5.032; una de cada cuatro búsquedas pasa de 34.000, y 17 de las 45 pasan de 10.000. En un proyecto con cupo de registros, parte de esa sensibilidad no llega a cribarse.
• Dónde falla todavía: seis revisiones siguen por debajo del 80 %. Un ejemplo claro: en una revisión sobre ejercicio y ansiedad en jóvenes la app no propone «yoga», que es como los autores nombran la intervención en varios incluidos, y se queda en el 62 %. En otra, una palabra general entra en el concepto equivocado y la consulta devuelve 306.000 registros: el revisor de calidad lo marca, pero ya no lo apaga, y es trabajo de la persona leer el aviso.
• No medido: OpenAlex y ClinicalTrials.gov, que la búsqueda también ejecuta (el banco usa identificadores de PubMed y no sirve para puntuarlas). Los incluidos sin identificador de PubMed (tesis, literatura gris, revistas no indexadas) quedan fuera del denominador, así que la cifra es «sobre lo que PubMed tiene», no sobre el 100 % de cada revisión. Y el banco solo tiene una pregunta en español (6 de 6 recuperados las tres veces): no dice nada sobre el idioma.

2. Cribado por título y resumen

Qué medimos. Sensibilidad de seguridad: de los estudios que la revisión publicada incluyó, qué parte sigue viva tras el cribado, como «incluir» o como «revisar». La duda se deriva a una persona, nunca al silencio, y por eso «revisar» cuenta como conservado. También medimos cuánto trabajo deja a la persona y qué parte de los registros que no eran incluidos consigue descartar.

Cómo. 16 revisiones del mismo banco, cuatro por tipo de pregunta, con entre 6 y 61 incluidos cada una; una está en español. Ninguna se usó para ajustar la búsqueda. El corpus de cada revisión son todos sus incluidos con identificador de PubMed más 200 registros no incluidos elegidos al azar entre los que devuelve la consulta que la app propuso para esa revisión (solo publicados hasta el año de la revisión). Los criterios los propone la app a partir de la pregunta y de la búsqueda, y se aceptan todos; los criterios de la revisión publicada no se usan. Tres pasadas por corpus. Todos los planes criban con esta misma configuración.

• La peor de las tres pasadas conserva 323 de 326 (99,1 %). Ningún incluido se perdió por falta de resumen, por ser un protocolo, un análisis secundario o por la edad de la población. Ninguno se perdió por falta de datos en el resumen: los tres casos de abajo llevan una frase literal del resumen que contradice un criterio.
• Los dos perdidos estables son defendibles leyendo solo el resumen. Uno es un ensayo de prevención con fármacos cuyo resumen no nombra la prueba diagnóstica que estudia la revisión, y el criterio de diseño (estudio de exactitud diagnóstica) lo excluye con cita; los autores lo incluyeron por el texto completo. El otro dice «reclutados en consultas externas de nueve hospitales» en una revisión que pedía estudios comunitarios; los autores fueron más laxos que su propia pregunta.
• El tercero es un error de lectura, y es inestable. En una revisión de incidencia de enterocolitis, una de las tres pasadas leyó «enterocolitis (OR: 0,59)» como un factor asociado y no como la frecuencia que pedía el criterio; las otras dos lo mandaron a revisar. Lo contamos porque es el tipo de fallo que una regla no arregla y una segunda lectura sí.
• Trabajo que queda para la persona: el 24,3 % de los registros va a «revisar». Varía mucho según la revisión, del 5,6 % al 51,6 %. De la muestra de registros no incluidos, el cribado descarta el 67 %, manda a revisar el 25 % e incluye el 8 %. Ese 67 % es una cota inferior: la muestra sale de la propia consulta y trae estudios del tema que la revisión quizá nunca vio.
• No determinismo: el 10,3 % de los registros cambia de decisión entre pasadas, casi siempre entre «incluir» y «revisar». Por eso recomendamos revisar una muestra de las exclusiones propuestas.
• En español: tres revisiones médicas con la pregunta y los criterios en español (migraña, hipertensión y delirio en UCI; 337 registros, 37 incluidos) conservan 36 de 37 en cinco pasadas, con el 12,7 % a revisión. El perdido es un estudio de un solo brazo con titulación de dosis que los criterios de comparador y de diseño excluyen con causa textual; los revisores originales lo incluyeron.
• Límites: el denominador son los incluidos con identificador de PubMed (326 de los cerca de 368 que las revisiones declaran). Los no incluidos son una muestra al azar, no exclusiones verificadas, así que no publicamos una especificidad. Los criterios son una sola propuesta por revisión, no una medida de su variación. Solo una de las 16 revisiones está en español.

3. Extracción de datos

Qué medimos. Cuatro cosas por cada dato extraído: si el valor es correcto, si responde «no mencionado» cuando el artículo no lo dice, si la frase que cita existe tal cual en el texto y contiene el valor, y si responde lo mismo al repetir.

Cómo. 39 preguntas sobre 8 artículos reales de acceso abierto con texto completo, 25 sobre artículos en español y 14 en inglés. Cada pregunta se hizo tres veces, en la forma en que trabaja producción (una llamada por artículo con todas sus columnas): 117 respuestas.

En producción, en los 30 días anteriores a la medición, 1.341 de 1.359 celdas con valor llevaban una cita verificada (98,7 %). Las otras 18 salieron marcadas «verificar» para que las mire una persona; ninguna salió sin cita. «Verificada» significa que la frase existe tal cual en el artículo y contiene el valor; no significa que alguien haya comprobado que el valor sea el bueno. Y son solo tres proyectos, todos de cuentas internas, uno de los cuales aporta el 93 % de las celdas.

Por qué no escribimos «100 % de precisión». Las 39 respuestas correctas de la prueba las escribió un agente de IA durante el desarrollo, leyendo solo el artículo, y ninguna persona independiente las ha confirmado. Seis de las 39 se retocaron después de ver lo que respondían los modelos. Con 117 respuestas, un pleno no descarta un error real de hasta un 3 % por respuesta. Todo el texto viene de XML limpio, sin ningún PDF ruidoso. Lo siguiente es un etiquetado ciego por dos lectores con formación clínica; cuando exista, se publicará aquí con su acuerdo entre lectores.

Por qué no publicamos un criterio de parada

Las herramientas de cribado por priorización aprenden de tus decisiones y reordenan la lista para que lo relevante suba. Después necesitan una regla que diga cuándo dejar de leer. Esa regla es de donde sale el ahorro, y también el riesgo: lo que no se lee no se ve, así que un corte prematuro no deja rastro. En 2026 dos trabajos lo cuantificaron: uno evaluó quince métodos de parada sobre ochenta y un conjuntos de datos y encontró que casi todos paran tarde o pierden estudios; el otro repitió una revisión publicada de 4.690 registros con una herramienta de priorización muy usada y recuperó 16 y 21 de los 30 incluidos.

revisia no tiene ese problema porque no usa ese diseño. Cribamos cada registro del cupo con una decisión por criterio y derivamos la duda a una persona. Lo que sí existe es el límite del cupo: los registros por encima quedan marcados «sin cribar · verificación humana», se cuentan aparte en el diagrama PRISMA y son trabajo tuyo.

Lo que medimos antes

Entre junio y agosto de 2026 publicamos aquí una validación más pequeña: cuatro revisiones y 94 estudios incluidos para el cribado (sensibilidad agrupada del 96,8 %, con 27 de 27 en una revisión en español) y una búsqueda con una sola base que recuperaba entre el 7 % y el 45 % según el corpus. Aquellas cifras medían versiones del producto que ya no corren; las de esta página las sustituyen y se midieron con bancos diez veces mayores. Las anteriores siguen en el historial de nuestro repositorio con su fecha.

Última actualización: 2026-09-30