Evaluación de la Calidad Científica: Métodos y Criterios
Calidad de los Trabajos Científicos
Evaluación por Pares
Si un trabajo científico no está publicado, se asume que los investigadores del área (pares) son los más capacitados para juzgarlo. En el pasado, el editor de una revista científica revisaba personalmente todos los trabajos. Sin embargo, la creciente especialización hizo que los editores necesitaran ayuda externa. Inicialmente, se crearon Comités Editoriales para distribuir el trabajo, y posteriormente se recurrió a expertos (revisores) seleccionados entre los científicos del área (pares).
Los revisores:
- Evalúan los trabajos, aconsejando su rechazo, aceptación o aceptación condicionada.
- Formulan críticas o sugerencias de mejora.
El sistema de referees presenta varios problemas, entre ellos:
- Falta de atención debido al gran número de trabajos a revisar.
- Sesgos: hacia lo positivo y significativo, en contra de la replicación, favoritismo y conflicto de interés.
Un intento de solución es el sistema «doble ciego», donde ni los autores conocen a los revisores ni viceversa. Sin embargo, lo habitual es que los revisores conozcan a los autores, pero no al contrario.
Contribuciones en Revistas Científicas
Los manuscritos enviados a revistas científicas para su publicación son evaluados mediante el mecanismo de revisión por pares.
Cuando se solicita a un revisor que evalúe un manuscrito, se le proporciona una plantilla y se le pide que valore:
- Originalidad
- Precisión
- Completitud
- Claridad
- Aportación al campo
- Metodología
- Resultados
- Bibliografía
- Ilustraciones
- Sugerencias de ampliación o reducción
El revisor sugiere: aceptación, aceptación con cambios menores, aceptación con cambios mayores o rechazo, justificando sus valoraciones con comentarios y sugerencias. Hay dos tipos de comentarios: dirigidos a los autores (especificando los cambios sugeridos) y dirigidos al editor (no enviados a los autores).
Actualmente, este proceso se realiza de forma ágil mediante plataformas web. Anteriormente, se enviaban en papel, y el editor debía fotocopiar y recortar las partes correspondientes a la identificación del revisor y los comentarios dirigidos a los autores.
No es habitual aceptar un trabajo directamente; se suelen sugerir cambios. Si son menores, el editor puede revisarlos directamente. Si son mayores, el trabajo revisado, junto con una lista de cambios y respuestas a los revisores, se reenvía a los revisores. Este ciclo puede repetirse varias veces, aunque no suele ser necesario más de tres.
Contribuciones en Congresos
La evaluación de las contribuciones a congresos es similar a la de las revistas.
Los congresos obtienen ingresos económicos de las inscripciones de los asistentes, y se suele exigir al menos una inscripción por contribución aceptada. Esto genera un conflicto de intereses: un gran número de aceptaciones implica el éxito económico del congreso. Algunos congresos son organizados por empresas con fines exclusivamente económicos, buscando una apariencia científica, aceptando la mayoría de las comunicaciones y realizándose en lugares atractivos.
Los congresos tienen una fecha fija, lo que impide una segunda revisión. A veces, se evalúan solo los resúmenes, y el comité decide si la contribución será una comunicación oral o un póster.
La evaluación suele limitarse a la recomendación de aceptación o no, indicando el tipo de contribución y ofreciendo sugerencias científicas. A diferencia de las revistas, no se suele comprobar el seguimiento de las sugerencias.
Algunos congresos acuerdan con revistas la publicación de una selección de comunicaciones ampliadas.
Proyectos de Investigación
En las convocatorias competitivas de financiación para proyectos de investigación, los proyectos presentados son evaluados y ordenados según su evaluación. La financiación se concede o no según este orden.
A veces, las convocatorias establecen líneas prioritarias, lo que puede dar lugar a dos evaluaciones: una científica (realizada por pares) y otra administrativa (de adaptación a las líneas prioritarias).
Las memorias de las solicitudes de proyectos suelen incluir:
- Introducción con revisión bibliográfica y planteamiento del problema.
- Objetivos e interés del proyecto.
- Metodología.
- Plan de trabajo detallado.
- Plan de transferencia de resultados.
- Currículum de los miembros del equipo investigador.
El informe de evaluación científica tiene epígrafes establecidos con sus pesos relativos. Incluye una parte descriptiva (de la propuesta) y otra valorativa (por epígrafes), con un juicio razonado sobre la calidad. A veces se solicitan puntos débiles y fuertes. Además de la parte textual, hay una puntuación cuantitativa coherente con la textual.
Se evalúa al Investigador Principal (IP) por su producción científica y su participación y dirección en otros proyectos. Del resto del equipo, se evalúa su producción científica y su adecuación a las tareas planteadas.
Se evalúa la viabilidad y calidad del proyecto, el equipo investigador y los beneficios esperados.
En España, la Agencia Nacional de Evaluación y Prospectiva (ANEP) evalúa de forma científico-objetiva e independiente las unidades, equipos y propuestas de investigación para los programas y proyectos del Plan Nacional, así como el seguimiento de los resultados. La ANEP comprende 26 áreas temáticas, cada una con un equipo de coordinación de científicos de prestigio. Se seleccionan evaluadores externos (pares) para cada proceso.
Recuento de Trabajos y Colaboración Científica
La comunidad científica acepta que la colaboración científica aumenta la visibilidad y el impacto de los resultados. La colaboración es la norma en la ciencia moderna, e incluso se incentiva.
Los beneficios en impacto dependen del tipo de colaboración:
- Interna: Todos los autores son de la misma institución.
- Nacional: Autores del mismo país, pero de diferentes instituciones.
- Internacional: Autores de más de un país.
La colaboración nacional genera mayor visibilidad (citación) que la interna, pero la colaboración internacional aumenta aún más las tasas de citación.
La ganancia individual no siempre es igual. Tener socios con altas tasas de citación beneficia más que lo contrario. Esto puede llevar a que investigadores o países con socios de alta citación obtengan una citación superior a sus capacidades científicas reales.
Los autores de un trabajo se diferencian en el orden de aparición y en la figura del autor de correspondencia. El orden no está definido y varía según la disciplina. En algunas, es común el orden alfabético. El autor de correspondencia es el responsable de responder al editor, a los revisores y a los lectores, y se considera el máximo responsable y garante del trabajo.
Métodos de Atribución de Crédito en Cienciometría
En cienciometría, se han utilizado distintos métodos para atribuir el crédito de un trabajo:
- Whole Counting (Conteo Completo): Crédito completo para cada participante (individuos, instituciones o países).
- Complete Counting (Conteo Completo por Investigador): Crédito completo para cada investigador. Las instituciones o países reciben tantos créditos como investigadores tengan.
- Fractional Counting (Conteo Fraccionado): El crédito se reparte a partes iguales entre todos los autores. Las instituciones o países reciben tantas fracciones como investigadores tengan.
- Straight Counting (Conteo Directo): Un crédito para el autor más prominente, el resto nada.
- First Author (Primer Autor): Asigna el crédito al primer autor.
- Research Guarantor (Autor de Correspondencia): Asigna el crédito al autor de correspondencia.
Actualmente, no se utiliza un método aislado. El conteo fraccionado perjudica la colaboración, que se incentiva por otro lado. Se tiende a utilizar el Whole Counting para la producción global y el Research Guarantor para la producción liderada.
Evaluación para Incentivos y Promociones: Los Sexenios de Investigación
Sexenios de Investigación
La Ley de Ciencia de 1986 marcó un cambio en la producción científica española. Una medida clave fue el establecimiento de un complemento retributivo conocido como sexenio de investigación, un pequeño complemento acumulable. Actualmente, es un requisito para participar en muchas actividades y categorizar a los científicos.
Este sistema de evaluación ha impulsado el avance de la ciencia española en cantidad y calidad. La Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) es un referente en la evaluación científica.
Cada año, la CNEAI lanza una convocatoria para solicitar la evaluación de un tramo de seis años de trabajo investigador. El resultado (positivo o negativo) determina la obtención del complemento retributivo.
La CNEAI crea Comités Asesores (14) con miembros de la comunidad científica (con sexenios) para asesorar en los 12 campos científicos (química, Ciencias de la Naturaleza, Ciencias Biomédicas, etc.).
Criterios de Evaluación de la CNEAI
La evaluación se basa en cinco aportaciones indicadas por el investigador. La CNEAI considera dos tipos de aportaciones:
- Ordinarias: Libros, prólogos, introducciones, artículos científicos, desarrollos tecnológicos, creaciones artísticas o contribuciones a congresos relevantes (según el campo).
- Extraordinarias (complementarias): Informes y trabajos técnicos, catalogaciones, comunicaciones a congresos, dirección de tesis doctorales de mérito excepcional.
Todas las aportaciones deben ser innovadoras y no divulgativas (se excluyen manuales y publicaciones docentes).
Cada aportación debe ir acompañada de un resumen con los objetivos y resultados más destacados. Si es una obra colectiva, se debe especificar la contribución del solicitante. Se deben incluir indicios de calidad, como:
- Referencias de otros autores a la obra del solicitante.
- Relevancia científica del medio de difusión.
- Datos sobre la explotación de patentes o modelos de utilidad.
- Reseñas en revistas especializadas.
- Apreciación del interesado sobre la contribución de su obra y su interés y creatividad.