Los revisores no usan la misma escala, aunque la compartan. Esta herramienta gratuita normaliza las puntuaciones con puntuaciones z, para que un revisor severo y uno generoso cuenten con justicia en las decisiones editoriales.
Qué hace la herramienta
Los revisores no usan la misma escala, aunque la compartan. El 7 de un revisor es el 9 de otro, y un artículo con notas 9, 8 y 5 puede ser mejor que uno con 8, 8 y 8, o peor, según quién dio el 5. Esta herramienta normaliza las puntuaciones con puntuaciones z: resta la media del grupo a cada nota y divide por la dispersión, de modo que cada nota se expresa como distancia respecto a la media. Así, revisores severos y generosos cuentan con más justicia, y la tabla muestra las notas brutas junto a las normalizadas.
Cómo usarla
Pega al menos dos puntuaciones, separadas por comas o saltos de línea, en el orden de tus revisores. Usa una sola escala para todas, por ejemplo de 1 a 10, y no mezcles escalas. Pulsa el botón y lee primero la media bruta y luego las puntuaciones z. Una puntuación z positiva significa por encima de la media del grupo, una negativa por debajo, y su tamaño indica en cuántas desviaciones típicas. Compara artículos por su media z cuando distintos paneles los hayan puntuado.
Ejemplo práctico
Toma las notas 7, 8, 5 y 9. La media es 7,25 y la dispersión es de aproximadamente 1,48. Las notas normalizadas son aproximadamente menos 0,17, más 0,51, menos 1,52 y más 1,18. La historia queda clara: el 5 es un valor atípico real, más de una desviación y media por debajo del grupo, mientras que el 7 y el 8 están cerca del centro. Un editor que leyera solo la media, 7,25, pasaría por alto el desacuerdo por completo. La tabla normalizada lo muestra de un vistazo.
Cómo leer los resultados con honestidad
La normalización ayuda a comparar, pero también oculta información. Una puntuación z de cero en un panel que dio 9, 9 y 9 significa algo muy distinto que cero en un panel que dio 3, 3 y 3, porque el nivel bruto desaparece. Informa siempre de la media bruta junto al resultado normalizado y nunca normalices juntas notas de escalas distintas o de preguntas distintas. Con solo dos revisores, una puntuación z solo puede decirte quién puntuó más alto, lo que ya sabías.
Límites honestos
Esta herramienta hace aritmética sencilla con los números que pegas. No pondera a los revisores por experiencia, no corrige el sesgo más allá de la dispersión del grupo y no puede manejar notas faltantes ni calificaciones en texto como aceptar o revisión menor, a menos que las conviertas primero en números. Con paneles muy pequeños la dispersión es inestable, así que trata el resultado como ayuda para una reunión editorial, no como regla automática de aceptar o rechazar.
Consejos prácticos para reuniones editoriales
Lleva ambos números a la reunión: la media bruta, que muestra el nivel general, y la tabla normalizada, que muestra el desacuerdo. Cuando un revisor es un valor atípico claro, discute esa revisión primero, porque el desacuerdo suele señalar una cuestión real sobre el artículo y no una rareza de puntuación. Nunca promedies puntuaciones de preguntas distintas, como novedad y presentación, en un solo número sin decirlo, ya que la mezcla oculta justo lo que necesita discutirse. Para artículos en el límite, pregunta si un cuarto revisor ayudaría más que otra ronda de aritmética; a menudo la respuesta honesta es sí. Registra las puntuaciones y la decisión juntas, para que una apelación posterior pueda responderse desde el registro y no desde la memoria.
Herramientas relacionadas
English version: Score Aggregation Matrix: Normalize Reviewer Scores Free & Online · Herramientas gratis en español.
Inserta esta herramienta en tu web — gratis
Copia el código de abajo para añadir esta herramienta funcional a tu propia página. Solo pedimos que mantengas el pequeño enlace de crédito que la acompaña.