La evaluación de las revistas científicas
[versió catalana]
José Ramón Pérez Álvarez-Ossorio
Profesor de Investigación. CINDOC
ossorio@cindoc.csic.es
Para tratar de evaluar la calidad de las revistas científicas se vienen utilizando tradicionalmente una serie de parámetros que pretendo examinar someramente a continuación, para considerar sus mayores o menores posibilidades de aplicación al caso de las revistas españolas y, más en concreto, al caso de las revistas de Documentación, que voy a utilizar como ejemplo.
El parámetro que podríamos considerar más tradicional y, desde luego, más utilizado, aunque muchas veces de forma excesiva, es el llamado factor de impacto, tomado de la publicación Journal Citation Reports del Institute for Scientific Information (ISI) de Filadelfia. Como es sabido, se trata de un índice que expresa la relación entre el número de citas recibidas por una revista en un año determinado y el número de artículos que esa revista publicó en los dos años anteriores. Antes de entrar en las mayores o menores posibilidades de aplicación del factor de impacto en las revistas españolas, es preciso decir que este parámetro presenta, con carácter general, un sesgo evidente, en el sentido de que prima a las revistas que publican pocos artículos extensos y que contienen muchas referencias bibliográficas; en particular, salen muy beneficiadas las revistas del tipo Review o Progress, dedicadas fundamentalmente a artículos de revisión. Puede comprobarse, en efecto, que, en la clasificación de revistas según su factor de impacto, las de este tipo ocupan los primeros lugares en detrimento de las revistas que podríamos llamar convencionales y que son, por el contrario, las que ocupan los primeros lugares en la clasificación por recuento bruto del número de citas que reciben sus artículos. Pues bien: yo realicé, hace ya algunos años, un pequeño estudio en el que comparaba las dos clasificaciones de revistas, por factor de impacto y por número de citas, con la lista de revistas más solicitadas en la biblioteca y en el servicio de fotodocumentación de nuestro centro, y encontré que la correlación era mucho mejor con la clasificación por el número de citas. Además de este sesgo evidente, el factor de impacto está sometido también a los archisabidos sesgos de las publicaciones del ISI, a favor de las publicaciones en inglés y también, aunque en menor grado, a favor de las ciencias puras sobre las ciencias aplicadas y a favor de las ciencias físiconaturales sobre las ciencias sociales y humanas. No es el momento de entrar en la vieja polémica sobre si se debe publicar en revistas nacionales o en revistas de difusión internacional, que están habitualmente en inglés, aunque sí parece claro que la mejora de las revistas nacionales pasa necesariamente por que nuestros científicos destacados publiquen en ellas. Así pues, si tratamos de aplicar el factor de impacto a la evaluación de las revistas españolas, nos encontramos con que su presencia en las publicaciones del ISI es escasísima (y sigue disminuyendo año tras año) lo que, en la práctica, hace imposible la evaluación por este método. Concretamente, en el campo de la documentación, ninguna de nuestras revistas está presente en las publicaciones del ISI. Otros dos parámetros, en cierto modo paralelos, podrían ser la presencia de las revistas en las grandes bases de datos internacionales de las disciplinas correspondientes o en los grandes centros de suministro de documentos, con el British Library Documents Supply Centre (BLDSC) a la cabeza. Está claro que no se trata de indicadores absolutos de calidad, pero sí son un índice de la difusión que alcanza una revista y de su utilización por la comunidad internacional. Volviendo al caso español, la presencia de revistas españolas en las grandes bases de datos es ya importante; concretamente, en el campo de la documentación, son seis las revistas españolas que recoge, por ejemplo, la base de datos LISA. En cuanto a la presencia en el BLDSC, sí existen bastante revistas españolas, aunque ninguna de ellas de documentación, lo cual no debe extrañar porque la demanda de documentos en este campo es, sobre todo, de carácter local o, a lo sumo, procedente de Iberoamérica.
Por último, un índice de la calidad de una revista es también su grado de cumplimiento de las normas nacionales e internacionales que existen a este respecto. Como es obvio, este indicador no mide en absoluto la calidad intrínseca de una revista, sino únicamente lo que podríamos llamar su calidad formal. Pero no es menos cierto que la calidad formal y la calidad intrínseca suelen ser paralelas o, al menos, que la primera es un prerrequisito para la segunda. En efecto, lo primero que se exige a una revista para su incorporación a los grandes circuitos de difusión internacionales es que cumpla con las normas correspondientes. A este respecto, cabe mencionar el proyecto LATINDEX, que trata de reunir información sobre las revistas científicas que se publican en América Latina, España y Portugal, y en el que colaboran una serie de centros de dichos países. LATINDEX ha establecido un conjunto de 8 criterios editoriales obligatorios, más otros 24 criterios de calidad formal, considerando como revistas aceptables aquéllas que cumplan, al menos, entre 15 y 17 criterios de esta segunda lista. En el CINDOC se ha realizado un estudio de la aplicación de estos criterios a las revistas españolas de documentación, como primer paso para una sucesiva aplicación a todas las revistas científicas españolas. De un total de 21 revistas analizadas, que se pueden considerar incluidas en el campo de la documentación, se encontró que ninguna de ellas cumple los 24 criterios; tres cumplen entre 20 y 23 criterios y otras cinco entre 16 y 19 criterios.
Quizás, para obtener una idea bastante aproximada de la calidad de una revista, lo más correcto sería tratar de aplicar conjuntamente, en la medida de lo posible, los distintos parámetros mencionados.