Preguntas frecuentes sobre el Módulo de Evaluación por Pares en Abierto (OPRM)

Preguntas frecuentes sobre el OPRM en general

  1. ¿Quién puede solicitar una revisión en el módulo de evaluación por pares en abierto (OPRM)?

    El módulo de evaluación por pares en abierto (OPRM), en su versión actual, funciona solo con invitación. Existen dos opciones para enviar una invitación para revisión de un trabajo:

    • El autor que archiva su trabajo en el repositorio cuenta con una pantalla adicional, en el flujo de envío del trabajo al repositorio, desde donde puede invitar a potenciales revisores.
    • Los administradores del repositorio pueden enviar invitaciones para evaluar cualquier trabajo disponible en el repositorio.
  2. ¿Permite el OPRM evaluaciones por pares anónimas?

    La transparencia es una característica esencial del módulo de evaluación por pares en abierto. Todas las interacciones entre los autores y los revisores están firmadas para facilitar una colaboración abierta con el objetivo de incrementar la calidad científica del trabajo evaluado. La evidencia ha demostrado que la transparencia en el proceso de revisión se traduce en comentarios más constructivos por parte de los revisores.

  3. ¿Quiénes pueden hacer comentarios sobre las evaluaciones de un trabajo, por pares en abierto, disponibles en el repositorio?

    El OPRM permite solo comentarios de los revisores y de los autores del trabajo. Por tanto, los revisores de la misma obra pueden comentar recíprocamente sus revisiones. También los autores de los trabajos tienen la posibilidad de comentar y puntuar los comentarios recibidos.

    Versiones futuras del módulo podrían incluir la opción de permitir comentarios a cualquier usuario.

  4. ¿Cuántas veces puede el autor de un trabajo comentar una revisión de su trabajo para discutir con sus revisores?

    En su versión actual, el OPRM le permite al autor comentar solo una vez cada revisión de su obra, pero se ha previsto desarrollar esta función para que el autor sea capaz de tener una discusión más abierta con sus revisores.

  5. ¿Cómo se han seleccionado los criterios de evaluación del OPRM?

    La primera pregunta que debe contestar el revisor está relacionada con la validez de un trabajo de investigación determinado y analizar si alcanza estándares científicos y está listo para formar parte del conocimiento científico global. De lo contrario, el revisor considera que el trabajo necesita revisión. Esta es una pregunta abierta que deja a criterio del revisor la decisión de si la obra necesita mejoras en cualquier aspecto posible (metodología, claridad, presentación, uso de datos o de bibliografía, etc.). Es similar a la decisión editorial de si un trabajo de investigación debe ser publicado en su forma actual o no. El objetivo del esfuerzo del revisor es señalar las debilidades que requieren más atención de los autores para mejorar la calidad y hacer de su trabajo una contribución científica más útil.

    El resto de las preguntas se centra en el impacto o importancia de la obra. El concepto de impacto es distinto al concepto de validez (primera pregunta). Un trabajo de investigación puede ser perfectamente válido pero no de gran importancia. Este impacto, importancia o interés, que en el modelo actual de la revisión académica se evalúa a través de las citas, puede ser específico para el campo científico del trabajo (segunda pregunta) o extenderse a otros ámbitos académicos o la sociedad en general (tercera y cuarta preguntas).

Preguntas frecuentes sobre las métricas de reputación del OPRM

  1. ¿Cómo se ponderan las reputaciones del OPRM?

    De acuerdo con los algoritmos utilizados:

    • Reputación del trabajo es una agregación ponderada de las calificaciones de sus revisiones (es decir, de las valoraciones globales), donde el peso es la reputación como revisor del investigador que la escribió. La reputación del trabajo no depende de una única revisión; se necesitan varias. Cuando no hay suficientes revisiones (al menos dos), la reputación del trabajo está sin definir.
    • Reputación como autor es una agregación de las reputaciones de los trabajos que tiene evaluados en el repositorio. El impacto de la reputación de un trabajo particular en la reputación general como autor es inversamente proporcional al número de autores del trabajo.
    • Reputación de la revisión es una agregación ponderada de los comentarios recibidos (es decir, de las calificaciones), donde el peso es la reputación como revisor del investigador que escribió el comentario. La reputación de una revisión no depende de un único comentario, son necesarios varios. Cuando no hay suficientes comentarios, la reputación de una revisión se considera igual a la reputación como autor del revisor.
    • Reputación como revisor es la reputación de un investigador como buen revisor. Se obtiene de los comentarios sobre sus revisiones y de la similitud entre comentarios (si mis comentarios están próximos a los comentarios de otro investigador, entonces nuestras reputaciones como revisores están próximas). Antes de que se recojan suficientes comentarios, la reputación como revisor de un investigador se asume que es la misma que su reputación como autor. Se adjudica 50/100 (es decir, no se conoce) si todavía no existe tal reputación.
    • Es importante tener en cuenta que:

    • Cuanto mayor sea el número de trabajos revisados de cada autor y mayor el de revisiones y comentarios por trabajo, más “exactas” serán las métricas de las reputaciones.
    • En el estudio piloto del OPRM, realizado en 2016, la reputación como autor se calculó a partir de las revisiones sobre un único trabajo.
    • El impacto de la reputación de un trabajo sobre las reputaciones de sus autores es inversamente proporcional al número de autores.
    • Una explicación completa del módulo de reputación está disponible en: Reputation in the Academic World (http://digital.csic.es/handle/10261/130842).

  2. En el sistema tradicional de evaluación por pares en revistas, es habitual que cada artículo sea revisado por dos evaluadores. Si las evaluaciones son dispares, el editor encarga una tercera evaluación. El módulo de reputación del OPRM funciona tanto mejor cuanto mayor sea el número de trabajos evaluados por autor y mayor sea el número de revisiones y comentarios por trabajo. Pero, ¿cuántas revisiones y comentarios son suficientes para que los algoritmos produzcan métricas de reputación con precisión aceptable, es decir, en qué punto las variaciones de las reputaciones serán mínimas o no existirán?

    Si asumimos que la calidad de los autores se mantiene con el tiempo, nuestras simulaciones muestran que por encima de diez trabajos evaluados los valores son bastante estables. Sin embargo, la calidad de los investigadores cambia con el tiempo, por tanto, el valor de la reputación reflejará estos cambios.

  3. Si el impacto de la reputación de un trabajo en las reputaciones de sus autores es inversamente proporcional al número de autores del trabajo, ¿utilizan los algoritmos de reputación valores recomendados (del coeficiente ϒ en la fórmula de la reputación como autor), en cuanto al número promedio de autores por trabajo, dependiendo de la disciplina o campo del trabajo? ¿Cómo pueden los repositorios multidisciplinares comparar métricas de reputación de trabajos de sus distintas áreas, por ejemplo, la reputación OPRM de un trabajo de física con muchos autores con un trabajo de economía de un único autor?

    El peso dado al número de autores se puede cambiar de un campo a otro. Actualmente es el mismo para todos los campos pero en el futuro se afinará por disciplina.

  4. ¿Por qué la calificación del módulo de reputación del OPRM se basa solo en los criterios de valoración global del trabajo dejando de lado los otros criterios de la evaluación (importancia del trabajo en su campo, en otras áreas y para la sociedad en general?

    De momento, el modelo tiene en cuenta solo la valoración global pero podrá tener en cuenta todas las calificaciones disponibles de la evaluación en futuras versiones.

  5. ¿Cuándo se calculan los valores de las reputaciones? es decir, ¿presenta el OPRM las reputaciones tan pronto como se publican las revisiones y los comentarios en el repositorio o existe una demora?

    Cada vez que un trabajo recibe una revisión en abierto, el módulo hace una estimación inmediata de su reputación. Este cálculo es aproximado porque tiene en cuenta solo las calificaciones de las revisiones.

    El proceso para estimar las reputaciones para trabajos, autores, revisiones y revisores se lleva a cabo periódicamente, por la noche, gracias a las iteraciones de los algoritmos, para calcular métricas globales precisas.

  6. ¿Qué significado tienen los colores de las puntuaciones?

    Los valores inferiores a 30 (sobre 100) se representan en rojo. Entre 30 y 60 aparecen en amarillo y los superiores a 60 son de color verde. En algunos casos, aparecen calificaciones de 50 en color gris, lo que indica que todavía el valor de final no está disponible.

  7. ¿Tiene el texto libre de la revisión algún impacto en la valoración global del trabajo?

    Actualmente no. El informe del revisor es un mensaje para el autor, indicando, a su juicio, los puntos que deben tomarse en consideración para mejorar la calidad del trabajo. Este mensaje está abierto para que la comunidad pueda también juzgar la opinión del revisor.

  8. ¿Por qué el algoritmo de reputación del OPRM no tiene en cuenta la identidad del revisor (es decir, por ejemplo, si es un autor muy citado) para el cálculo de las reputaciones de las revisiones?

    Se podría pensar que las opiniones de los revisores con una alta reputación como autores deberían tener más peso que las opiniones de los revisores con menor reputación. Pero la reputación como revisor de cada investigador se calcula a partir de los comentarios de otros revisores sobre sus revisiones y de la similitud entre comentarios, no a partir de sus citas, que podrían, potencialmente, ser utilizadas como punto de partida para su reputación como autor. Es importante tener en cuenta que actuar como evaluador no es lo mismo que actuar como autor: un buen autor puede no ser un buen revisor y viceversa. La reputación como revisor no tiene en cuenta su reputación como autor ni dentro ni fuera del repositorio.