Menú principal
Biblio 3w
REVISTA ELECTRÓNICA DE GEOGRAFÍA Y CIENCIAS SOCIALES
(Serie documental de Geo Crítica)
Universidad de Barcelona 
ISSN: 1138-9796. Deposito Legal: B.21.742-98 
Vol. X, nº 565, 15 de febrero de 2005 

EVALUACIÓN DE PORTALES ELECTRÓNICOS DE CIENCIAS SOCIALES.
UNA PROPUESTA CONCEPTUAL

Karsten Krüger
Sociólogo
Departamento de Geografía Humana, Universidad de Barcelona
Coordinador del proyecto REMES

María Caprile
Socióloga
Investigadora de la Fundación CIREM
Colaboradora en el proyecto REMES


Evaluación de portales electrónicos de ciencias sociales (Resumen)

El artículo se realiza en el marco del proyecto REMES, que ha sido cofinanciado por la Unión Europea dentro del programa e-content, y tiene como objetivo elaborar un marco conceptual para la evaluación de portales electrónicos de ciencias sociales. Se inicia con un balance de los distintos enfoques evaluativos y, a continuación, se procede a analizar lo que constituye la característica más distintiva de estos portales: ofrecer información científica. La propuesta de evaluación hace especial hincapié en los mecanismos para seleccionar la información y generar confianza. En próximos artículos se presentarán los resultados obtenidos a la hora de aplicar estos criterios a la evaluación de diversos portales, así como las conclusiones generales sobre los criterios básicos de calidad que deberían regir la creación de un nuevo portal.

Palabras clave: portal electrónico de ciencias sociales, evaluación, información, información científica.


Evaluierung elektronischer Portale für Sozialwissenschaften (Zusammenfassung)

Der Artikel wurde im Rahmen des REMES-Projektes geschrieben, das im Rahmen des e-content Programmes von der Europäischen Union gefördert wurde. Der Artikel stellt ein Konzept zur Evaluierung  von elektronischen Portalen für Sozialwissenschaften vor.  In einem ersten Schritt legen die Autoren eine Balanz verschiedener Evaluierungsmethoden vor, um im Anschluss die spezifischen Charakteristika dieser Portale zu analysieren: die Zurverfügungstellung wissenschaftlicher Information. Das vorgeschlagene Evaluierungskonzept stellt besonders auf die Mechanismen zur Informationsauswahl und zur Vertrauenssicherung ab. In weiteren Artikeln werden die Ergebnisse der Anwendung dieses Konzeptes bei der Evaluierung einiger ausgewählter Portale vorgestellt. Dies ermöglicht eine allgemeine Reflektion darüber, welches die grundlegenden Qualitätskriterien bei der Entwicklung neuer Portale sein müssten.

Schlagworte: elektronische Portale für Sozialwissenschaften, Evaluierung, Information, wissenschaftliche Information


Evaluation of electronic portals for social Sciences (Abstract)

The article has been written in the context of the REMES project, co-funded by the European Union e-content programme. The objective of the article is the elaboration of a theoretical framework for the evaluation of electronic portals for social sciences. The authors make first a balance of different evaluation methods and then analyse the most characteristic trend of such portals: the supply of scientific information. The conceptual proposal underpins the mechanisms to select information and to generate trust. In following articles, the authors will present the results of the application of the proposed criteria in the evaluation of several selected portals. This will give place to a general conclusion on the basic criteria of quality that should be applied for the creation of new portals.

Key words: electronic portals for social sciences, evaluation, information, scientifical information


Desde la segunda mitad de los años noventa, cuando Internet se convirtió en un medio de comunicación de masas, el crecimiento de sus contenidos ha sido explosivo. Se estima que actualmente existen varios miles de millones de páginas. Y el porcentaje de la oferta informativa que es posible localizar a través de buscadores como Google, Yahoo, Altavista, Alltheweb o Inktomi es cada vez más reducido, a pesar de la creciente capacidad de estos buscadores. Ningún buscador es capaz de indexar todas las páginas que hay realmente en la red: se estima que en conjunto no llegan ni tan siquiera al 20% de las páginas existentes. El medio de comunicación Internet se vuelve cada vez más opaco y complejo, y su eficiencia informativa resulta cada vez menos satisfactoria[1].

Al mismo tiempo, Internet se está convirtiendo en un medio de comunicación imprescindible para la investigación por su gran volumen de información científica. Según T. Hilberer (1999) ésta  representaba en 1999 el 6 por ciento de todas las páginas Web. Pero más importante aún que la cantidad de información científica es la calidad de esta información. La posibilidad  de acceso gratuito  a revistas, bases de datos o diccionarios electrónicos (a través de las Universidades) ha convertido la búsqueda en Internet en un hábito cotidiano de muchos investigadores: Internet tiende a convertirse en un medio primario de comunicación científica (ver Beck et al. 2000, Karmanski 2001, Keller 2001 y Wissenschaftsrat 2001).

Con todo, el proceso de búsqueda de información en Internet es complejo y costoso. El uso de buscadores comerciales como los mencionados anteriormente tiene una eficacia limitada para la investigación científica, en la medida en que no es posible delimitar semánticamente la búsqueda según criterios de relevancia científica, ni tampoco listar los sitios encontrado según estándares de calidad científica. Por tanto, es muy difícil separar la información relevante de la redundante o irrelevante. La solución no consiste solamente en mejorar los algoritmos de búsqueda de los buscadores, sino en la mejora de la competencia en el uso de herramientas informáticas por parte de los usuarios científicos y en la creación de servicios de información específicamente orientados a las ciencias y que satisfagan dos demandas básicas: 1) la selección de información relevante, a partir de la amplia oferta de información y 2) el control de la calidad de esta información.

Ya en los años noventa del siglo XX se crearon tanto en Europa como en los EE.UU. los primeros servicios electrónicos de información para las ciencias. El informe Follet (1993) iniciaba la creación de bibliotecas digitales en el Reino Unido. Al mismo tiempo, en los países escandinavos se lanzaba el proyecto Nordic Metadat Project, basado en la colaboración de redes de bibliotecas, editoriales e instituciones académicas. También desde la Unión Europea se han impulsado proyectos similares: es el caso de DESIRE, que ha elaborado un marco de referencia común a partir del cual se han creado diferentes servicios de información, tanto nacionales (como el servidor holandés multidisciplinario DutchESS) como europeos (BUBL, SOSIG o OMNI) (ver Koch 2000, p.26). Actualmente son varios los proyectos financiados por la Unión Europea para potenciar los servicios electrónicos de información científica.

El éxito de un portal científico en Internet depende del cumplimiento de los estándares de calidad de los portales electrónicos en general y de la comunicación científica en particular. Internet ofrece la oportunidad de promover publicaciones sin las restricciones de los costes de impresión y distribución de la edición en papel. Es posible prescindir de instancias intermediarias como los editores y las editoriales y ampliar el público potencial más allá de los límites geográficos o comerciales. Además se puede -en principio -actuar al margen de las estructuras de poder establecidas. Por otro lado, Internet conlleva el riesgo de que la información que ofrece no cumpla los estándares científicos y contribuya a la disolución de la ciencia como actividad específica de conocimiento. Es por ello que la evaluación de los portales científicos cobra mayor relevancia.

Este articulo se ha preparado en el marco de REMES, proyecto europeo dentro del programa e-content, orientado al desarrollo de un portal de recursos electrónicos para las ciencias sociales[2], y tiene como objetivo elaborar un marco conceptual y un esquema para la evaluación de portales electrónicos de ciencias sociales Para ello hay que clarificar primero, a partir de trabajos conceptuales ya existentes, qué se entiende por evaluación, pues no existe un referente teórico general, a pesar de que la evaluación es un proceso que se utiliza en las más diversas situaciones cotidianas y, de forma más sistemática, en cualquier ámbito de trabajo o área científica. Por tanto, la revisión de los distintos conceptos de evaluación es de gran interés para identificar los elementos que deben formar parte de cualquier proceso de evaluación. En segundo lugar, el artículo desarrolla un marco conceptual específico para la evaluación de portales electrónicos en ciencias sociales, tomando como punto de partida lo que, desde nuestro punto de vista, constituye su característica más distintiva: ser un medio de comunicación de información científica. Finalmente, se desarrolla el esquema básico y se propone un conjunto de criterios específicos para aplicar en el proceso evaluativo. El artículo responde así a una doble necesidad del proyecto REMES: en primer lugar, realizar una evaluación de la oferta de portales electrónicos en el ámbito de las ciencias sociales; en segundo lugar, elaborar los criterios básicos de calidad para la creación de un nuevo portal. Se trata por tanto de una primera aproximación teórica a esta cuestión, que servirá como base para proceder a la evaluación de un conjunto de portales electrónicos de referencia y establecer, finalmente, los criterios de calidad que hoy por hoy son más relevantes. A él le seguirán otros artículos en donde se presentarán los resultados de las evaluaciones y las conclusiones más relevantes.

El concepto de evaluación

El termino evaluación tiene origen latino y hace referencia a las acciones de valorar y de juzgar (DUDEN 1986, p.253) En Meyers Lexikon (1993) se define evaluación en el sentido de  valorar objetivamente. El American Heritage Dictionary (1995) recoge tres acepciones distintas:

-Establecer o fijar el valor

-Examinar y juzgar cuidadosamente

-Matemáticas: calcular el valor numérico, expresar numéricamente

La primera acepción hace referencia a la noción de valorar, mientras que la segunda se refiere a la noción de juzgar. En este sentido, la evaluación es un acto presente en muchas acciones cotidianas, como un instrumento básico para la generación de conocimiento y la toma de decisiones. Las elaboraciones teóricas sobre el proceso evaluativo también toman como punto de partida un concepto muy amplio de evaluación. Por ejemplo P. Baumgärtner (1999, p.71) define evaluación como la actividad (o el resultado) de valorar o juzgar un objeto según su significado, su utilidad, su valor (monetario), su importancia, su eficacia etc. Y añade que solamente esta definición amplia considera las características de los campos específicos de evaluación y abre al mismo tiempo la posibilidad de hacer una contribución adecuada para el desarrollo teórico. De forma similar, E. Kiel y F. Rost (2002, p.146) definen la evaluación como el proceso de juzgar el valor de un producto, de un proceso o de un programa, lo cual no implica necesariamente un procedimiento sistemático de recogida de datos para sostener el juicio. Por el contrario, H. Kromrey (2001) hace hincapié en la diferencia entre la evaluación como proceso básico de la vida cotidiana y la evaluación como modelo racionalizado y sistematizado de acción, de uso en los ámbitos profesionales y científicos.

En términos generales, la mayoría de las definiciones adoptan como punto de partida considerar la evaluación como actividad de valorar o juzgar, para desarrollar posteriormente definiciones más concretas y restringidas, resaltando el carácter sistematizado del proceso de evaluación. Por ejemplo, W. Trochim (2002) parte de la idea de que la evaluación es un proceso sistematizado de adquisición de información para atribuir un valor positivo o negativo a un objeto, con la finalidad de facilitar una retroalimentación (feedback) útil sobre el objeto en cuestión. El uso del término "objeto" es ambiguo y puede hacer referencia a programas, estrategias, tecnologías, personas, necesidades, actividades, etc. Pero la definición pone especial énfasis en la adquisición y valoración de la información, considerando que todas las evaluaciones implican la selección y filtración de datos, así como el juicio sobre la validez de la información y las inferencias que de ella puedan derivarse, con independencia de la posterior atribución de valores positivos o negativos.

También C. Meyer entiende la evaluación como un proceso sistemático de búsqueda de información y de valoración de dicha información, que se realiza en conexión con un determinado programa de acción. La nota distintiva es que C. Meyer (1996, p.190) introduce en su definición de evaluación la orientación hacia una meta, en este caso la mejora del programa de acción. De forma similar, F. Groeben (1998) entiende evaluación como un proceso sistemático de reflexión basado en la experiencia para valorar las alternativas de acción e inducir un cambio de comportamiento. Las dos definiciones establecen como objetivo el cambio, o mejora, del comportamiento o del programa de acción. Otras definiciones acotan aún más el objetivo de la evaluación, como por ejemplo el control de calidad (ver por ejemplo www.evaluationsnetz.com).

En el trasfondo de estos conceptos de evaluación que van más allá de la evaluación cotidiana está la asunción de que no se evalúa cualquier cosa, sino objetos específicos tales como proyectos, programas, acciones, organizaciones o productos, y que se debe estar específicamente capacitado para ser evaluador. En este sentido, se hace hincapié en el hecho de que la evaluación es un proceso sistematizado que requiere el establecimiento de criterios explícitos y a su vez evaluables como punto de partida, así como fijar un procedimiento que permita realizar un seguimiento externo de la evaluación. En otras palabras, cualquier proceso evaluativo sistematizado requiere precisar el objeto de la evaluación, los criterios, los requisitos de los evaluadores y las características del procedimiento evaluativo, desde el inicio del proceso, y de tal forma tal que sean comprensibles para terceros.

Objeto y formas de evaluación

Los diversidad conceptual relacionada con la noción de  evaluación está estrechamente vinculada con la propia heterogeneidad de aquello que se desea evaluar. En términos generales, se pueden diferenciar tres grandes bloques de objetos de evaluación:

1)a evaluación de proyectos o programas es un procedimiento orientado a valorar el éxito o los resultados de un proyecto o un programa. En términos generales, los proyectos son actuaciones que se desarrollan durante un tiempo limitado, mientras que los programas son a medio y largo plazo. Por un lado, el proceso de evaluación desempeña un papel importante en la toma de decisiones respecto a la prolongación del proyecto o programa y por otro lado aborda -por lo menos en el caso del programa -la pertinencia de aplicar estrategias o instrumentos similares a otros ámbitos de actuación.

2)La evaluación de organizaciones se orienta, sobre todo, a la mejora de los procedimientos aplicados en las organizaciones y, por lo tanto, a la calidad de la organización. La cuestión no es la prolongación de la existencia de la organización, sino su reestructuración a medio y largo plazo con el objetivo de mejorar su calidad.

3)La evaluación de productos está enfocada a la mejora de una producto material o inmaterial. Generalmente se trata de una evaluación para ver la utilidad del producto para un consumidor. El objetivo es mejorar la aceptación del producto entre un publico determinado.

En la evaluación de los diferentes objetos se observa la aplicación de diferentes paradigmas y metodologías. Generalmente se distingue entre paradigmas de control, de desarrollo y de investigación. El paradigma de control está estrechamente ligado al concepto de planificación a través de criterios de éxito. Por planificación se entiende una actuación (organizativa, administrativa, política) orientada a un objetivo que está sometido a criterios de éxito, como por ejemplo efectividad, eficacia o aceptación. El control de éxito es el control de la ejecución de una actuación anteriormente planificada y sus correspondientes efectos. En este sentido, se considera que el paradigma de control rige muchas de las evaluaciones de producto (en donde se evalúa, por regla general, el grado de aceptación) y es también de aplicación general en el caso de la evaluación de proyectos, en donde normalmente se considera el grado de consecución de los resultados inicialmente previstos.

Desde luego, el paradigma de control también se aplica a la evaluación de programas, pero en su mayoría este tipo de evaluaciones aborda asimismo la cuestión de la transferibilidad de las experiencias a fases posteriores del programa, a otros programas o a otros ámbitos de actuación. En estos casos se aplica, así como generalmente en la evaluación de las organizaciones, el paradigma de desarrollo. Este paradigma se caracteriza por no tratar simplemente de controlar el éxito de la actuación, sino por cumplir en primera instancia una función de apoyo y asesoramiento. Se trata de apoyar de forma retrospectiva y prospectiva la reestructuración organizativa, de favorecer la capacidad de las organizaciones de percibir y resolver problemas, para colaborar en el desarrollo de las mismas y de los programas que dichas organizaciones ponen en marcha. Por lo tanto, la evaluación debe formar parte del propio programa, desde el inicio hasta el final. La evaluación en estas circunstancias adquiere un carácter formativo y contribuye al diseño del programa, con la finalidad de asegurar y mejorar su calidad. El proceso evaluativo se define de forma más abierta y se va concretando en el curso del propio programa, según los intereses de las organizaciones, grupos y personas que participan en el programa o forman parte de la organización.

Finalmente, el paradigma de la investigación va más allá de la finalidad propiamente evaluativa. Se trata de obtener, desde un determinado enfoque científico, una visión de las estructuras y procesos básicos relacionados con el objeto de evaluación que permita extraer conclusiones generalizables. Además del objetivo propiamente evaluativo, los evaluadores persiguen objetivos científicos que van más allá del programa que está siendo evaluado. En general, se trata de una evaluación basada en criterios científicos de los efectos de una determinada actuación. La evaluación en sentido estricto se conceptúa como un instrumento técnico y neutral que permite comparar los efectos observados del programa con los efectos previstos (objetivos del programa). Pero se considera que la evaluación permite también extraer conclusiones que van más allá del propio objeto evaluado, posibilitando  realizar reflexiones teóricas en el área de conocimiento en donde se ubica el proyecto o el programa.

No queremos entrar aquí en una discusión detallada sobre los distintos conceptos y enfoques evaluativos, sino centrarnos ahora en la evaluación de producto, que es la que mejor encaja con nuestro objetivo de evaluar portales electrónicos. La evaluación de producto, según la clasificación de enfoques evaluativos de B. Worthen, J. Sanders y J. Fitzpatrick (1997) se denomina también evaluación orientada al consumidor, siendo su objetivo general aportar información útil para la toma de decisiones sobre la adquisición o el uso de un determinado producto. Este tipo de evaluación no se restringe sólo a los productos materiales, sino que también incluye la evaluación de servicios y de instituciones que ofrecen servicios específicos, como por ejemplo las escuelas y universidades o los servicios públicos de empleo. La mayoría de modelos de evaluación de consumidores o de productos se basan en los trabajos de M. Scriven (1980, 1981, 1991). Se trata, en términos generales, de una evaluación sumativa, es decir en forma de un resumen concluyente en un determinado punto temporal, que se rige como anteriormente se señalaba por el paradigma del control.  Sin embargo, en el caso de los servicios o el desarrollo de productos la evaluación puede enfocarse también desde el paradigma del desarrollo, adoptando un enfoque formativo, de asesoramiento y de apoyo. Con este enfoque los criterios y resultados de la evaluación se convierten en el punto de referencia para el desarrollo futuro de la oferta de bienes y servicios. Este es precisamente nuestro objetivo: una evaluación de portales electrónicos de ciencias sociales que permita establecer orientaciones para el desarrollo de un nuevo portal.

Ahora bien, este enfoque nos parece aún demasiado amplio para el diseño del proceso de evaluación, teniendo en cuenta la especificidad de aquello que pretendemos evaluar.  Es obvio que no es lo mismo evaluar productos materiales que productos inmateriales, y los portales electrónicos se pueden situar a medio camino entre unos y otros.  En el caso de los productos materiales, se trata de una evaluación de algo tangible y estático, mientras que en el caso de los servicios se trata de algo intangible y cambiante que depende en gran medida de la interacción, al menos, entre el proveedor de servicios y el usuario de los servicios. Los portales electrónicos no encajan bien en estas dicotomías, en parte por ofrecer un producto virtual y en potencia cambiante, sin que exista necesariamente interacción directa entre proveedor y usuario. Con todo, la característica más distintiva de los portales electrónicos es que lo que ofrecen como producto es información, y además, en nuestro caso, un tipo específico de información: información científica. Es ésta la característica clave a tener en cuenta para acotar mejor el diseño del proceso evaluativo: por lo tanto, hay que aclarar, en primera instancia, qué es información y qué es información científica, para poder establecer, a continuación, los criterios de evaluación con más precisión.
El concepto de información

K. Bartels (1996) ha indicado que el término "información" tiene sus raíces en la palabra griega entyposis, traducida al latín por Ciceron como informatio. El término tenía entonces el significado de dar forma, como por ejemplo en la acuñación de monedas o en la talla de un bloque de mármol. Actualmente, sin embargo, la noción ha adquirido otro significado. R. J. Lauber (2001) distingue dos acepciones básicas:

-instrucción, aviso, aclaración

-noticia y comunicado

La primera acepción hace referencia al proceso, mientras que la segunda al contenido. Sin embargo, como ocurre con casi todas las nociones importantes, tampoco hay una definición consensuada de lo que es "información2. Solamente en el ámbito de la sociología encontramos ya una enorme variedad de definiciones. Así el Lexikon zur Soziologie (1995, p.296) menciona cinco definiciones diferentes:

-Término general para conocimiento y contenidos de conocimiento

-Término general para aquellos procesos en que se genera conocimiento a través de la cognición, la transferencia de datos etc

-Término general para la unidad de contenido más pequeña utilizada en los procesos de transmisión de información o de comunicación. Esta unidad se determina por parámetros formales o de contenidos

-Término para cada signo o cada serie limitada de signos que se han seleccionado de un sistema de signos previamente establecido (matemático, idiomático etc.) para la eliminación o la reducción de incertidumbres existentes o para la comprobación de contenidos de experiencias ya existentes bajo nuevos criterios

-Finalmente, a veces se entiende por información cualquier tipo de señal que un receptor recibe, incluyendo aquellas señales que no proceden de un transmisor y también aquellas señales que un receptor no es capaz de descifrar o de entender

En estas  definiciones sociológicas se ve claramente que el término "información" está relacionado con otros términos como signo o señal, dato y conocimiento. Y queda también claro que existe una  cierta confusión en estos términos. Así en el ya mencionado léxico se define "dato" como toda información sobre hechos o procesos, de índole cualitativa o cuantitativa, que se obtiene a través de métodos empíricos (Lexikon 1995, p.124). Según esta definición, el dato es un tipo específico de información. Por otro lado, el signo o señal se define en el mismo diccionario como el portador material (natural o artificial) de información (Lexikon 1995, p.752).

Cualquier intento de definir el término "información" debe tener en cuenta su relación con otras nociones cercanas. R. J. Lauber (2001) propone así un modelo de cuatro capas interrelacionadas. La primera capa es la capa física de las "señales". Las señales son las portadoras de la información y pueden ser de cualquier índole (desde señales mecánicas o señales eléctricas a las señales transmitidas por el cuerpo del lenguaje corporal). En la segunda capa encontramos los "datos". En el sentido más estricto de la palabra se entiende por dato todo lo que se puede codificar. En otras palabras, los datos son los códigos en los que se basa cualquier sistema de información.

La tercera capa hace referencia a la ";información". Haciendo referencia al concepto cibernético Lauber señala, siguiendo a N. Wiener, que información es algo no-físico. No se trata, por lo tanto, de algo que se puede medir con las herramientas de la física o la química. Lo único que se puede medir son los soportes materiales -señales y datos -pero no la información.

Finalmente, la cuarta capa hace referencia a las nociones "conocimiento" y "creencia". En la ciencia cognitiva se entiende como "conocimiento" la información evaluada o juzgada. El conocimiento surge de la percepción de las relaciones entre informaciones. Por ejemplo, elaborando un modelo abstracto de conclusiones en forma de "si-luego", a partir de la información existente. Sin embargo, para que la información se convierta en conocimiento se requiere un conocimiento previo. En otras palabras, solamente cuando ya se dispone de conocimiento se es capaz de adquirir nuevos conocimientos. La noción "creencia" también se basa en la información y se puede entender como  información que se considera de confianza. Creer implica crear modelos abstractos a partir de la información sobre la experiencia de otros, que se considera fiable aunque no se pueda revisar (por ejemplo acontecimientos históricos y percepciones religiosas).

Desde el punto de vista de las ciencias sociales, la distinción entre señales y datos no parece muy convincente. Por ejemplo, el ya mencionado Lexikon zur Soziologie (1995, p.752) define las señales como formas materiales portadoras de información, distinguiendo entre señales naturales y señales intencionadamente producidas (por ejemplo, el humo es una señal natural, no intencionada, de fuego). Las señales intencionadas o convencionales son formas arbitrariamente asignadas a los objetos que señalan (lenguajes). En este sentido se puede reducir el modelo de Lauber a tres capas, tal y como muestra la figura 1.

Figura1
Modelo modificado de capas del proceso de información

Fuente: elaboración propia a partir de R. J. Lauber (2001)

El modelo no aporta una definición clara de lo que es información y por este motivo es necesario recurrir a otros enfoques. De hecho, R. J. Lauber ya menciona la cibernética, que ha desarrollado una teoría de la información orientada al proceso de transmisión. Desde el enfoque cibernético, la información se transmite desde su fuente hacia su destino a través de señales que primero se codifican y luego se descodifican. Para que la información pueda emitirse, es preciso codificarla en señales a través de un transmisor. Estas señales son posteriormente recibidas y descodificadas a través de un receptor. El transmisor y el receptor constituyen un sistema de comunicación que transmite las señales portadoras de información desde su fuente a su destino. En este modelo lo importante es que la información se codifica en señales para poder ser transmitida. Por otra parte, en el curso del proceso de comunicación, el ruido ajeno al sistema puede producir distorsiones que dificulten o incluso imposibiliten la comunicación. Este modelo de comunicación se ilustra en la figura 2.

Figura 2
Diagrama de Shannon del sistema de comunicación general

Fuente: C. Shannon, 1948

El modelo descrito indica que a uno y otro lado del proceso de comunicación se efectúan distintos procesos de selección.

Desde el lado del emisor de información:

-la selección de la información
-la selección del canal transmisor
-la selección de las señales, es decir, la forma específica del mensaje
-la selección del posible o posibles receptores
Desde el lado del receptor de información:
-la selección del canal receptor entre una variedad de canales receptores
-la selección de las señales sobre el conjunto de señales recibidas por el canal seleccionado
-la selección de la información, en el proceso de descodificación de las señales.
En este modelo hay una probabilidad muy elevada de que la información emitida no llegue al receptor, cuando menos en la forma pretendida por parte del emisor. Se trata, por tanto, de un proceso altamente contingente. N. Luhmann (1985) sostiene que sólo se puede hablar de proceso de comunicación cuando el receptor ha descodificado las señales recibidas: la emisión de información no es en sí misma una comunicación, la comunicación se realiza únicamente si se logra una comprensión (Corsi et al. 1996:46). Por otra parte, N. Luhman apunta también el hecho de que la información no se transmite, sino que en el proceso de comunicación se genera información, del lado del receptor, sin que esta información se pierda del lado del transmisor. Con todo, el modelo cibernético tampoco nos aporta una definición clara de lo que es información.

Lo que sí se puede constatar es que tanto en la cibernética, como en otros enfoques científicos, hay un consenso sobre el hecho de que el término "información" implica que la comunicación aporte al receptor alguna novedad (Capurro 1987). Sin embargo, cuando hablamos de un proceso de comunicación intencionado el criterio de novedad existe también por parte del transmisor. El transmisor debe seleccionar la información a transmitir en base al criterio de aportar alguna novedad al receptor a quien se dirige. Y a través del proceso de comunicación, la información influye en el conocimiento previo del receptor. Encontramos un argumento similar en N. Luhmann cuando define la información "como un evento que selecciona los estados de un sistema, es decir, un evento que ejerce un influjo selectivo sobre las estructuras de un sistema, y provoca transformaciones" (Esposito 1996, p.95). No obstante, aquí el criterio definitorio no es tanto la novedad como sus consecuencias. "La información suscita diferencias ulteriores en la reestructuración interna que se sigue: la diferencia entre el estado actual del sistema y el esperado impone numerosos ajustes en la estructura del sistema mismo, que se transforma de tal modo para percibir la información: ésta última produce entonces diferencias ulteriores al interior del sistema" (Esposito 1996, p.95). La teoría sociológica de sistemas aporta así un elemento esencial para la definición de lo que es "información": novedad y cambio en el estado del sistema.

A pesar de las inconsistencias en las definiciones que se han presentado, podemos constatar que las señales se consideran generalmente como las portadoras materiales de la información. Para que un conjunto de señales sea considerado información debe ser descifrado o interpretado y aportar una novedad al receptor. Para que una información emitida forme parte de un proceso de comunicación es necesario que el receptor comprenda que alguien ha emitido una información. Por lo tanto, si partimos de esta definición de comunicación, el contenido concreto de la información -es decir, su autenticidad, los sentimientos de la persona emisora o la realidad objetiva a la que hace referencia -no es relevante. Pero en un proceso de comunicación intencionado, la descripción efectuada hasta ahora sigue siendo insuficiente. Para que la transmisión de una información en un proceso de comunicación intencionada sea tomada en cuenta -y, según N. Luhmann, pueda tener efectos diferenciadores - el receptor debe fiarse de la información o contrastar su fiabilidad. Este contraste se orienta a las dimensiones ya mencionadas del proceso de comunicación: a) el contenido de la información, b) el canal de transmisión, c) las señales utilizadas y d) la fuente de información, es decir el transmisor. En muchos procesos de comunicación de la vida cotidiana, los actores no contrastan la fiabilidad de la información, porque consideran que no es importante o porque se basan simplemente en experiencias anteriores sobre la fiabilidad de la comunicación en estas cuatro dimensiones. Pero en la vida cotidiana hay también muchas situaciones en las que se pone en duda la fiabilidad de una información determinada, como por ejemplo, que un producto sea el más barato del mercado, que un producto sea tecnológicamente el mejor, o que los niños hayan hecho realmente sus deberes. En estos casos, y siempre que los actores lo consideren necesario, se comprueba la fiabilidad de la información en una o varias de sus dimensiones. Además, la fiabilidad de la información cobra aún más  relevancia en los procesos de comunicación no-personal, es decir, comunicación mediada en el espacio y en el tiempo a través de soportes específicos como televisión, periódicos, revistas, libros, etc. En estos casos, la confianza que se deriva de las relaciones personales tiene que ser sustituida por otras formas de confianza.

Por descontado, la cuestión de la fiabilidad es crucial en el sistema social de la ciencia, cuya base es la veracidad de la información publicada sobre las investigaciones y sus resultados, que a su vez son la base para la construcción de teorías, modelos, etc. En el próximo epígrafe veremos además que la comunicación no-personal tiene una importancia especial para la información científica y que se han establecido a lo largo del tiempo mecanismos complejos para asegurar la fiabilidad de la información publicada.

El concepto de  información científica

Hasta ahora hemos hablado de la información en general. Pero para avanzar en la construcción de un marco teórico para la evaluación de portales electrónicos en las ciencias sociales, tenemos que acotar el término información, circunscribiéndolo al entorno de la ciencias y, más específicamente, a las ciencias sociales. Con este objetivo partimos de la definición de ciencia como un sistema específico de conocimiento, situándonos de alguna manera en la tercera capa del modelo anteriormente presentado.

La ciencia como sistema social se caracteriza por ser un conjunto institucionalizado de afirmaciones lógicamente relacionadas en varios niveles (teorías) que acumula conocimiento a través de métodos objetivables (Chalmers 1999). La consideración de la ciencia como un sistema social indica que la ciencia no es una actividad que se realice de forma individual e independiente de otros, sino en interrelación con otros científicos. En otras palabras, en la ciencia intervienen muchos actores interrelacionados y no siempre armoniosamente. En este sentido, la ciencia es un proceso de comunicación dialogante que se produce de forma discontinua en el espacio temporal.

La ciencia se produce en el espacio de información y comunicación científica. En este espacio se distinguen actores, tanto individuales como institucionales, conocimientos de diverso tipo, en forma de discursos, construcciones teóricas, metodologías, procedimientos y también "objetos" como publicaciones, presentaciones, imágenes o películas. A través del trabajo y de la comunicación científica se acotan y se modifican continuamente los distintos campos científicos.

Las ciencias sociales ocupan un lugar propio en este espacio. Se trata de un área en donde se aglutinan diferentes enfoques y disciplinas científicas que coinciden en abordar el entorno social en el que se desenvuelven las personas (MacKenzie 1966, p.15). Las ciencias sociales pueden tener así como objeto la sociedad humana, los grupos sociales, los individuos en su relación con otros o con las instituciones y los bienes materiales y culturales que son expresión de la vida conjunta de las personas (Bayer y Stölting 1992, p.302). Con todo, esta definición no delimita con precisión qué ciencias pueden ser consideradas ciencias sociales. En esta categoría generalmente se incluye la sociología, las ciencias políticas, la antropología cultural y social y la etnología, pero también se podrían incluir disciplinas que tienen como distintivo la mención de lo "social" en su nombre, como la historia social, la economía social o la geografía social (o humana). Asimismo se discute si la historia, la geografía, la pedagogía, la psicología y la economía pertenecen a ella. Según K.-H. Tjaden (1978, p.240), el criterio básico para definir una ciencia como social reside en si la actividad científica está o no, en última instancia, basada en la suposición de que la existencia humana es, de una forma u otra, una existencia social. Siguiendo a N. Groeben y H. Westmeyer (1975) se puede precisar que se requiere el cumplimiento de tres criterios para que una ciencia sea considerada social:

-La consideración de la persona, siguiendo el argumento de Aristóteles, como zoon politikon. Esto implica que sin tener en cuenta el entorno social de las personas no es posible desarrollar de forma satisfactoria una descripción y una teoría del Homo sapiens como objeto científico

-La consideración de la sociabilidad como característica principal de la complejidad histórico-genética de cada objeto y de las clases y agrupaciones de objetos de las ciencias en cuestión

-La suposición de que esta complejidad está causada por las personas mismas en cuanto sujetos de acción y de conocimiento.

En otras palabras, la consideración de la reflexividad del proceso de acción y de conocimiento como tercer criterio

Por tanto, la acción  y sus condicionantes como objeto científico es el rasgo distintivo de las ciencias sociales, lo cual conduce a la consideración de que algunas áreas de determinadas disciplinas científicas puedan ser consideradas como ciencias sociales mientras que dichas disciplinas, en su conjunto, se resistan a tal clasificación.

El ejemplo de las ciencias sociales muestra que los límites tanto internos como externos del espacio de información y comunicación científica son borrosos y modificables tanto a nivel institucional como de contenidos y de presentación. Con todo, se puede constatar que este espacio se rige por normas y reglas explícitas e implícitas. Para que una afirmación sea considerada científica debe cumplir, según H. Eco (1998), los siguientes requisitos: a) debe precisar su objeto de tal forma que sea reconocible por terceros (intersubjetividad), b) debe hacer una afirmación que sea desconocida hasta el momento (novedad), c) debe confirmar esta afirmación de forma práctica (pragmaticidad) y d) esta afirmación tiene que poder ser convalidada a través de la repetición metodológica. Y una teoría científica, para ser reconocida como tal debe atenerse a los siguientes criterios según J. D. Sneed (1971): la capacidad de prognosis (ex ante), la contribución a la  mejora de la evidencia empírica del área científica y la contribución a la sistematización del conocimiento. Como es bien sabido, M. Weber postuló también el criterio de neutralidad de valores, aunque se trata de un criterio cuestionable.

N. Luhmann (1990) pone énfasis en que la racionalidad especifica del sistema social de la ciencia es la búsqueda de la verdad, siendo su código elemental el de "verdad" o "no-verdad". Sin embargo, no se trata de una "verdad" en el sentido absoluto del término, sino de un acuerdo discursivo que permite la comunicación en el sistema social ciencia. Teniendo en cuenta los cambios paradigmáticos que se han producido en las diferentes ramas de las ciencias y el hecho de que algunos autores consideran que las ciencias sociales no se rigen por paradigmas (Wright 1974, p.176), la dicotomía verdad/no-verdad no es una dicotomía absoluta y objetiva, sino intersubjetiva: lo que se supone es que el científico presenta los resultados de su trabajo sin hacer trampas y que la comunidad científica lo considera válido o no basándose en el conocimiento intersubjetivamente aceptado en ese momento.

En el espacio de información y comunicación científica se pueden distinguir al menos tres tipos de información: las publicaciones (la exposición más o menos extensa de los resultados de la investigación en forma de libro, artículos etc.), las comunicaciones orales (presentaciones en conferencias, discusiones, debates etc.) y finalmente el anuncio (de conferencias, de publicaciones, de presentaciones, etc). No siempre se puede diferenciar bien entre las distintas modalidades de información, por ejemplo en una conferencia científica hay anuncios, se presentan los resultados de investigaciones de forma oral y escrita y se organizan discusiones y debates, pero parece claro que las distintas modalidades de información se rigen por diferentes estrategias, estándares y normas.

Como ha indicado H. Eco (1998), la elaboración de publicaciones o textos científicos se rige por estándares tanto formales como de contenidos, que varían según el área académica[3]. Estos estándares facilitan al usuario (receptor) la selección de información. El usuario no tiene que preocuparse por la cuestión de si la información es científica o no, pues antes de salir a la luz una compleja estructura de redacciones de revistas especializadas, evaluadores y editoriales ha asegurado el cumplimiento de los estándares científicos. En otras palabras, el espacio tradicional de información científica ha establecido procedimientos de control y una clara división del trabajo entre editores, redactores, evaluadores y autores que aseguran la selección de información científica según los estándares establecidos. Criterios también rigurosos rigen para las informaciones científicas relacionadas con presentaciones orales y anuncios.

En el medio electrónico las distintas funciones de elaboración, presentación y control de calidad de la información pueden acumularse en una misma persona o institución. Es posible publicar información ad hoc sin pasar por los filtros del sistema tradicional y, además, sin la intensa presión de recuperar los costes de imprenta y distribución a través de la venta. El bajo coste, la mayor rapidez de publicación y la potencial mayor amplitud del ámbito de difusión ofrecen la posibilidad de que el discurso científico se independice de las restricciones económicas, geográficas y de poder establecidas. Por otro lado, la realidad de Internet ha mostrado también puntos negativos, y en especial la proliferación de publicaciones que no se adecuan a los estándares científicos establecidos. La ausencia de filtros de selección y la enorme cantidad de información disponible hacen más difícil por parte del usuario la distinción entre información científica y no científica, así como la selección de información científica de relevancia para sus propias áreas de interés científico.

La información científica como criterio de evaluación

La reciente proliferación de páginas electrónicas para la difusión de información científica ha desencadenado también la elaboración de muchas propuestas de evaluación. Las más rigurosas provienen del ámbito de la documentación científica, y en muchas ocasiones se enmarcan en proyectos de desarrollo de bibliotecas o centros de documentación virtuales.

Uno de los puntos de referencia es el proyecto DESIRE, que se ha desarrollado con financiación de la Unión Europea entre 1998 y 2000. Su objetivo consistía en promover las redes existentes de información para investigadores a escala europea, a partir de la investigación y el desarrollo en tres áreas básicas de actividad: replicación (caching)[4], descubrimiento de recursos (resource discovery) y servicios de directorio (directoryservices) (ver http://www.desire.org). En el marco de DESIRE se ha elaborado un esquema detallado para la evaluación de portales electrónicos de información científica (con la finalidad, también, de establecer orientaciones para la creación de nuevos portales) que se basa en cinco dimensiones básicas de calidad, las cuales a su vez se desglosan en criterios más específicos. Enumeramos a continuación estos criterios:

Ámbito temático y usuarios

-Grado de cobertura de la información
-Acceso
-Estrategias de catalogación
-Cobertura geográfica
Contenido
-Validez
-Prestigio y reputación de las fuentes
-Ámbito temático
-Exactitud
-Extensión y coherencia
-Originalidad
-Composición y organización
-Actualidad, duración y calidad del mantenimiento
Forma (en referencia a la presentación electrónica de la información)
-Comodidad de la navegación
-Soporte a los usuarios
-Uso de estándares reconocidos
-Uso apropiado de tecnología
-Estética
Evaluación técnica del sistema
-Integridad de la información (tarea del proveedor de información)
-Integridad de la página web (tarea del web-master o gestor de la página web)
-Integridad del sistema (tarea del administrador del sistema)
Gestión (en referencia a los servicios que ofrece el portal)
-Cobertura de la colección y balance
-Disponibilidad de recursos de Internet
-Disponibilidad de recursos bibliotecarios
También M. Bargheer (2003) de la Universidad de Gotinga ha elaborado una propuesta de gran interés para la evaluación de portales electrónicos de información científica. La citada autora distingue entre portales institucionales, en donde una institución científica presenta sus propios resultados; portales lexicológicos (diccionarios, glosarios, tesauros, etc); portales bibliográficos. que son aquellos que ofrecen información secundaria; portales temáticos, en donde se ofrece información primaria o secundaria respecto a un área temática específica y, finalmente, portales primarios, que ofrecen información primaria en forma de artículos, libros electrónicos o informes de investigación, como es el caso de las revistas electrónicas. Para la evaluación de este amplio espectro de portales, M. Bargheer elabora un conjunto de criterios de evaluación que se divide en criterios de contenido y criterios formales. En el caso de los primeros, se distingue entre los criterios que hacen referencia al contexto de la información (quién es el autor, el distribuidor, el cliente y su posición en el espacio informativo) y los criterios que tienen que ver con el contenido de la información (su coherencia, su cobertura temática y su formato). Los criterios formales también se subdividen en dos: los criterios sobre forma y presentación (utilidad, accesibilidad y estructura de los recursos) y los criterios estrictamente técnicos (formato de datos, seguridad, etc).

Teniendo en cuenta este debate, en el proyecto REMES hemos elaborado una propuesta propia de evaluación, en la que tratamos de reinterpretar los criterios propuestos por el proyecto DESIRE y M. Bargher bajo el enfoque de la selección de la información y de la fiabilidad de esta selección. En síntesis, el portal electrónico selecciona, del conjunto de información disponible, la información que se considera valiosa para ser comunicada a los receptores potenciales, que también se seleccionan. Igualmente se selecciona la forma en la que se transmite esta información, lo cual hace referencia tanto a las características formales como tecnológicas. Finalmente, anteriormente se ha resaltado que uno de los pilares del conocimiento científico es la  fiabilidad de la información transmitida, siendo para ello esencial el cumplimiento de un conjunto de estándares tanto explícitos como implícitos. Por tanto, es también relevante considerar cuáles son los mecanismos previstos por el portal electrónico para conseguir la confianza en la información ofrecida. Tenemos así cuatro dimensiones básicas:

-Selección de información y sus características (cantidad y calidad)
-Selección de receptores potenciales (a quién se dirige la información y quién tiene acceso a la misma)
-Selección de la forma de transmisión (presentación y tecnología)
-Selección de mecanismos que aseguren la fiabilidad de la información (es decir el contexto de la información)
A continuación presentamos los criterios específicos de evaluación que hemos considerado en cada uno de estos cuatro apartados. Los criterios tecnológicos, aunque son relevantes, no se desarrollan en la medida en que se considera que son los mismos que pueden regir otros portales electrónicos.

Selección de la información (características cualitativas y cuantitativas)

Validez general

El primer paso en la evaluación de un portal electrónico es comprobar si hay información sobre quién ha seleccionado la información (el editor), con qué objetivo, de qué forma y cuándo. También parece aconsejable comprobar en esta primera aproximación, aunque posteriormente se profundice en ello, si la información que se ofrece cubre los objetivos explícitamente anunciados por el propio portal.

Validez científica

Un portal científico, en la medida en que ofrece algo más que simples vínculos, debe regirse por los mismos estándares que cualquier otro medio de información científica. En ese caso, se debe evaluar si la información se adecua a los estándares científicos, y en particular cómo se asegura la fiabilidad de dicha información, es decir si se mencionan las fuentes de la información, cuándo se ha elaborado, etc.

Exactitud

Como en todos los medios de información científica, la exactitud de la información ofrecida es importante. No nos referimos aquí al cumplimiento de los estándares científicos, que ya se ha evaluado, sino a la precisión de la escritura (se evaluará el nivel de errores ortográficos y gramaticales) y de las referencias a fuentes de información (por ejemplo, el grado de actualización de los vínculos). Una información poco precisa indica que los contenidos no son revisados por una instancia competente.

Tipo de información y ámbito temático

Los criterios expuestos hasta ahora son de aplicación general para cualquier portal de ciencias sociales. Sin embargo, se considera también importante entrar en otro nivel de evaluación más específico, en donde se analiza con más detalle el tipo de información que se ofrece y su ámbito temático.

-En primer lugar, es preciso analizar si se trata de un portal generalista de ciencias sociales o bien un portal especializado, como son los portales institucionales, los portales lexicológicos, los portales bibliográficos; los portales temáticos, las revistas electrónicas, etc.

-En segundo lugar, se debe considerar si el portal hace referencia al conjunto de las ciencias sociales o bien a un área más especifica como sociología, la ciencia política, la economía, la geografía humana, etc. También hay que analizar si el portal se centra en un determinado enfoque temático (por ejemplo, la inmigración o las políticas de desarrollo), en un determinado enfoque teórico (por ejemplo un portal marxista o interaccionista, o un portal dedicado a un teórico especifico, como Weber o Bourdieu, etc.). Otros criterios de selección de contenidos anunciados son los de tipo geográfico, lingüístico, temporal, etc.

-A continuación, se debe analizar qué tipo de información ofrece el portal (referencias, resúmenes, artículos, libros, etc.) y en qué medida se ofrecen también servicios (como por ejemplo, la venta de libros, la organización de eventos, la búsqueda de contactos, etc.). Desde luego, es importante saber si estos contenidos son de elaboración propia o (por ejemplo, no es lo mismo la publicación de artículos originales que la reedición de artículos). También es importante considerar si el portal ofrece criterios para guiar al usuario en la selección de la información.

-Para finalizar, se debe valorar globalmente en qué medida el portal aporta "valor añadido" al espacio electrónico de información científica en comparación con otros portales y otros medios de información científica.

Criterios de selección subyacentes

En este apartado se consideran los criterios de selección implícitos o subyacentes, que pueden ser de tipo geográfico, lingüístico, temporal, teórico, ideológico, etc. En este caso no se trata de considerar los criterios de selección anunciados (algo que ya se ha hecho previamente) sino de analizar en qué medida se aplican también criterios no anunciados.

Originalidad

En este ámbito se debe evaluar, en la medida de lo posible, si la información ofrecida es original, una reedición autorizada o un plagio, si las fuentes están correctamente referenciadas en el caso de que sea necesario y finalmente, el grado de la exclusividad de la información (hasta qué punto la información está ya disponible en otros sitios).

Interactividad

Otro aspecto de importancia es evaluar el grado de interactividad que ofrece el portal. Se trata de analizar, sobre todo, cómo se selecciona la información: en qué medida el proceso de selección es abierto y existe un cierto grado de participación de los usuarios. No nos referimos aquí,  por ejemplo, al envío de artículos al equipo de redacción para su posterior selección. Nos referimos a que el proceso de selección de artículos se diseñe de forma tal que los propios usuarios puedan participar en el mismo. Otra forma de participación sería la colaboración de los usuarios en el listado de vínculos y acontecimientos como conferencias, seminarios, etc. El grado de interactividad indica hasta qué punto el portal aporta algo novedoso,  no tanto a la constitución de un espacio de información científica,  sino a la constitución de un espacio de comunicación científica.

Selección de receptores potenciales

Grupo objetivo

Las características del portal deben estar en consonancia con los "grupos objetivo" a los que se orienta. En principio, cualquier portal científico debe tener como grupo objetivo por lo menos un colectivo de científicos (por ejemplo, estudiantes de primer grado, estudiantes de segundo grado, postgraduados, investigadores, etc.). Desde luego, puede tener como grupos objetivo varios de estos colectivos de científicos, así como otros colectivos (por ejemplo, para la divulgación de los resultados obtenidos más allá del mundo académico, entre políticos, empresas, ONG"s, la administración pública, etc.). Un primer aspecto a tener en cuenta es si el portal anuncia o no explícitamente cuáles son sus grupos objetivo. El segundo aspecto a considerar sería la adecuación del portal a los grupos objetivos establecidos. En algunos casos, este aspecto puede no ser muy relevante (por ejemplo, en el caso de las páginas de presentación de instituciones) pero en otros tipos de portales este aspecto puede tener implicaciones importantes para la presentación de la información y el cumplimiento de estándares científicos.

Acceso y dimensión comercial

Otro aspecto a tener en cuenta es si el portal tiene una estrategia comercial para la venta de información, de productos o de servicios, que de alguna manera restringe el acceso de los usuarios. Obviamente, es muy distinto un portal que ofrece información de forma gratuita que un portal que desarrolla estrategias comerciales como la inclusión de publicidad o el pago para acceder a determinada información. En la medida en que exista una estrategia comercial, se debe analizar a qué tipo de cliente se dirige el portal, pues los criterios de contenidos y forma pueden variar según el tipo de cliente.

Por supuesto, también se debe tener en cuenta la existencia de criterios de restricción de acceso que no son exclusivamente monetarios, como por ejemplo la pertenencia a una determinada institución o asociación científica. De igual modo, es necesario considerar la posible existencia de restricciones de acceso implícitas, como es el uso de una determinada lengua (que restringe el acceso de las personas que no dominan ese idioma) o el uso de determinadas tecnologías. Sin profundizar más en esta cuestión, queremos resaltar que el proceso de evaluación debe considerar las restricciones de acceso tanto explícitas como implícitas.

Retroalimentación

Anteriormente hemos señalado la importancia de la interactividad. Ahora volvemos a este aspecto considerando los mecanismos de retroalimentación existentes. Específicamente, se trata de ver si se facilita de forma expresa las sugerencias de mejora, las propuestas en relación a contenidos, el control de calidad, etc.

Selección de la forma de transmisión (presentación)

Presentación de la información

La presentación de la información debe cumplir con las exigencias y normas específicas de las áreas de conocimiento científico en cuestión. Aspectos de la calidad de presentación de un portal de ciencias sociales podrían ser la transparencia de contenidos, la lógica formal de la presentación de contenidos, el grado en que se informa al usuario sobre la actualización y sistematización de contenidos, etc. Teniendo en cuenta que hablamos de portales de ciencias sociales, también valoramos positivamente la simplicidad del diseño visual, que no disperse la atención del usuario. Además, la presentación debe permitir un acceso amigable, sin suponer que los usuarios tengan conocimiento técnicos específicos.

Validez temporal de la información

La actualidad y validez temporal de la información es otro aspecto relevante, sobre todo en el caso de la información más sensible en el tiempo, como por ejemplo el anuncio de conferencias y otros eventos. En estos casos, la versión electrónica siempre debe ofrecer un mayor grado de actualización que la versión en formato papel, o bien dar un mayor volumen de información. En otros casos, no es tan importante que la información sea reciente (por ejemplo, listados bibliográficos, léxicos, etc.) pero es igualmente relevante que la fuente esté referenciada temporalmente con precisión. Otro aspecto a considerar es si la información que se ofrece en forma de vínculo sigue siendo disponible en Internet. En este sentido, también se considera un criterio de calidad el mantenimiento regular de los vínculos.

Formato de la información

Otro criterio para la evaluación de la calidad de un portal es el formato en el que la información se presenta. En principio, el formato debería ser lo más estandarizado y simple posible, facilitando la descarga y sesiones en línea cuando sea necesario. En este sentido, se debe considerar si el portal ofrece información en los formatos más estándares (Html, Acrobat Reader) o bien utiliza otros formatos o requiere la instalación de módulos adicionales (Flash, Realplayer, Quicktime, etc.).

Contexto del portal electrónico

Autoría y prestigio científico

En un portal científico, la transparencia respecto a la autoría es un criterio esencial de calidad. La posibilidad de identificar inequívocamente al autor o a los autores de las distintas unidades de información tiene gran importancia para un portal científico. En este ámbito no sólo se debe comprobar si dicha identificación es posible, sino también si el portal ofrece información para ubicar a los autores en el ámbito académico y conocer su trayectoria científica.

Editores y mecanismos de control de calidad

En el ámbito de los portales electrónicos, muchas veces no es posible establecer una clara línea de separación entre autor, editor y editorial. Respecto a las revistas electrónicas y otros formatos similares se puede recurrir a la definición del rol clásico del editor para proceder a la evaluación. La posibilidad de identificar claramente al editor, con todo, se considera un criterio indirecto de calidad porque indica la existencia de una instancia externa de revisión de la información. También hay que considerar si se menciona expresamente la existencia de mecanismos de control de calidad de las distintas unidades de información, y cuáles son estos mecanismos.

Distribuidor

El distribuidor es la institución responsable del funcionamiento técnico del portal, y por tanto se debe distinguir claramente del editor. Criterios de calidad en este ámbito son la transparencia en la identificación del distribuidor y el grado de información que se ofrece sobre esta institución.

Fronteras

Finalmente, es necesario considerar en qué medida las fronteras del portal están claramente delimitadas y anunciadas. El sistema de navegación debe proporcionar información precisa sobre cuándo se está "dentro" o "fuera" del portal, es decir del ámbito de responsabilidad del portal.

Impacto

Hasta ahora los criterios de evaluación en la dimensión de contexto se refieren a los responsables del portal. No obstante, también es importante evaluar su éxito como tal, cuál es su aportación a la comunidad científica. Se trata por lo tanto de una evaluación de impacto del portal en el espacio electrónico de información y comunicación científica. El número de páginas Web con vínculos al portal es un criterio indirecto de calidad, en la medida en que da una indicación sobre la relevancia del portal y su influencia. En la actualidad, bajo la denominación de Web impact factor, se están elaborando diversas metodologías para calcular este tipo de indicadores cuantitativos. Sin embargo, dichos indicadores son claramente insuficientes para evaluar aspectos cualitativos que tienen que ver con la relevancia de los vínculos existentes. A pesar de estas limitaciones, creemos que es pertinente incluir indicadores cuantitativos de impacto en la evaluación, así como explorar, en el curso de la evaluación piloto,  la viabilidad de elaborar otros indicadores de tipo cualitativo que tengan en cuenta aspectos como la distribución geográfica, la reputación de las instituciones con vínculos al portal, la actualidad de estos vínculos etc.

Conclusión

En este artículo se ha pretendido elaborar un marco conceptual para la evaluación de portales electrónicos de ciencias sociales. Las herramientas electrónicas son cada vez más importantes en la comunicación científica y forman ya parte esencial del espacio de información y comunicación global de las ciencias sociales. Pero dichas herramientas por su flexibilidad, rapidez y bajo coste tienen rasgos distintos a los espacios de información tradicionales de las ciencias sociales. Internet ofrece la oportunidad de promover el diálogo científico sin las restricciones de los costes de impresión y distribución de la edición en papel, ampliando el público potencial más allá de los límites geográficos o comerciales y actuando al margen de las estructuras de poder establecidas. Pero Internet también conlleva el riesgo de que la información que ofrece no cumpla los estándares científicos, sea poco fiable o poco relevante.

Por estos motivos es necesario contar con herramientas que contribuyan a evaluar la excelencia de los portales como instrumento de difusión científica. A lo largo del artículo se hace referencia a varios proyectos en esta línea que abordan los portales científicos en general. Nosotros hemos considerado que hace falta un esfuerzo para elaborar un marco conceptual específico para los portales de las ciencias sociales que, además, adopte como punto de partida el proceso de selección y la fiabilidad de la fuente de información. Basándonos en las propuestas ya hechas en el marco de los citados proyectos, hemos desarrollado un esquema de evaluación que se estructura alrededor de cuatro dimensiones: la selección de la información, la selección de los receptores potenciales, la selección de la forma de presentación y la selección de los mecanismos para asegurar la fiabilidad del portal. Reconocemos que este esquema es aún muy abstracto: para racionalizar el proceso de evaluación y dotar al mismo de mayor claridad es necesario, sobre todo, jerarquizar y priorizar los diferentes criterios. Sin embargo, creemos que este ejercicio no puede ser teórico, sino práctico.  Por ello nos proponemos contrastar este esquema en una prueba piloto, consistente en la evaluación de varios portales electrónicos con el objetivo de operacionalizar el modelo de evaluación e introducir las mejoras que se consideren necesarias. Los resultados de la prueba piloto se presentarán en un próximo artículo.

 Notas

 
[1] El "White Paper" de la OCLC (2002) sobre hábitos de los estudiantes cita dos estudios sobre la satisfacción en el uso de Internet. El primero concluye que más de la mitad de los encuestados expresa su frustración por considerar que sus búsquedas en Internet no son exitosas (Keen.com and Lewis, Mobilio & Associates 2001). El segundo estudio constata que el 86 por ciento de los usuarios finales desearían más eficiencia en la búsqueda a través de Internet (Sullivan, Danny 2001).
[2] El proyecto REMES está coordinado por el Departamento de Geografía Humana de la Universidad de Barcelona. El catedrático Dr. Horacio Capel es el director de este proyecto y Dr. Karsten Krüger su coordinador (mas información en www.e-remes.com).
[3] Se supone que los estudiantes asimilan los estándares en su proceso de aprendizaje inicial. Solamente una vez conseguido un cierto prestigio científico se puede transgredir estos estándares.
[4] Caché es un almacén de archivos de un servidor Web que se ha copiado localmente para conseguir un acceso más rápido por parte de los usuarios. Por lo tanto, caching es el proceso de copiar o replicar la información (automáticamente.) para mejorar el uso de internet ("replicación" - caching)


Bibliografía

AMERICAN HERITAGE DICTIONARIES The American Heritage Dictionary of the English Language. Cuarta Edición, Boston, 2000. consultado a través de http://dictionary.reference.com el día 10/02/2005.

BAUMGÄRTNER, P. Evaluation mediengestütztes Lernens: Theorie - Logik - Modelle. In KINDT, M. (ed.) Projektevaluation in der Lehre: Multimedia an Hochsschulen zeigt Profil(e). Münster, 1999.

BAUMGÄRTNER, P. y S. PAYR Learning as action: A social science approach to the evaluation of interactive media. In CARSLON P. y F. MAKEDON (ed.) Proceedings of ED-MEDIA 96 - World Conference on Educational Multimedia and Hypermedia. Charlottesville. AACE, 1996.

BARGHEER, M. Quality Control and Evaluation of Scientific Web. Resources. In Bibliothek 2003, 27. Nr. 3, p.153-169.

BARTELS, K. Wie Berenike auf die Vernissage kam. 77 Wortgeschichten.Darmstadt, 1996.

BAYER, O. & STÖLTING, E. Sozialwissenschaften. In SEIFFERT, H. y RADNITZKY G. (Ed.) Handlexikon zur Wissenschaftstheorie. München, 1992, p. 302-313.

BECK, S.E Evaluation criteria from The good, the bad, and the ugly: or, Why It"s a good Idea to Evaluate Web Sources.1997, última actualización 03/10/2003  http://lib.nmsu.edu/instruction/evalcrit.html consultado el 20/01/2005.

BECK, K., P. GLOTZ, P. y G. VOGELSANG Die Zukunft des Internet. Internationale Delphi-Befragung zur Entwicklung der Online-Kommunikation.Reihe Forschungsfeld Kommunikation, Bd. 11. Konstanz 2000.

BUNDESINSTITUT FÜR BERUFSBILDUNG -eva - evaluationsnetz.com  Glosar http://www.evaluationsnetz.com/eva_new/content.php?id=5&cat=5&#begriff10 consultado el 20/09/2004.

CAPURRO, R. Was ist Information? Hinweise zum Wort- und Begriffsfeld eines umstrittenen Begriffs. In HEILMANN, H. (Ed). Handbuch der modernen Datenverarbeitung 133, Stuttgart/Wiesbaden, 1987, p 107-114.

CHALMERS, A.F. Grenzen der Wissenschaft. Berlin/ Heidelberg, 1999.

CORSI G., ESPOSITO, E. y BARALDI. C. Glosario sobre la Teoría Social de Niklas Luhmann. México, 1996.

DUDEN, Die Rechtschreibung, Band 1, Mannheim, 1986

ECO, H. Wie man eine wissenschaftliche Abschlussarbeit schreibt. Heidelberg, 1998.

ESPOSITO, E. Información. In CORSI G., ESPOSITO, E. & BARALDI, C. Glosario sobre la Teoría Social de Niklas Luhmann. México, 1996, p 95.

FUCHS-HEINRITZ, W. et al. Lexikon zur Soziologie. 3. Edición. Opladen. 1995

GROEBEN, F. Infoline: Gesundheitsförderung: Instrumente,Evaluation. http://www.sozialnetz-hessen.de/ca/um/pkb/, 1998 consultado el 10/02/2005.

GROEBEN, N. y WESTMEYER, H. Kriterien psychologischer Forschung. München, 1975.

HILBERER, T. Über die Zugänglichkeit der Informationen im Internet -Die Rolle der Bibliotheken. Bibliotheksdienst 9, 1999. http://bibliotheksdienst.zlb.de. consultado el 20/01/2005

JOINT FUNDING COUNCIL"S LIBRARIES REVIEW GROUP Report (The Follet Report) http://www.ukoln.ac.uk/services/papers/follett/report 1993. consultado 10/02/2005.

KARMANSKI, A. Hoffnungsträger der Wissenschaft. Umweltforschung und Wissenstransfer via Internet. in pö_forum: "Nachhaltig kommunizieren". Dokumentation des Workshops "Umweltkommunikation in Fachzeitschriften und Internet". Editor Umweltbundesamt der Bundesrepublik Deutschland. 2001.  http://www.oekom.de/verlag/german/periodika/poe/pdf/poe_forum_kommun.pdf  consultado el 20/01/2005

KELLER, A. Elektronische Zeitschriften im Wandel: eine Delphi-Studie.Wiesbaden 2001.

KOCH T. Quality-controlled subject gateways: definitions, typologies, empirical overview. in Online Information Review, Volume 24 Number 1 2000. p.24-34.

KROMREY, H. Evaluation -ein vielschichtiges Konzept. Begriff und Methodik von Evaluierung und Evaluationsforschung. Empfehlungen für die Praxis. In Sozialwissenschaften und Berufspraxis. 24. Jahrgang. Heft 2. 2001 p.105-131.

KIEL, E. y ROST F. Einführung in die Wissensorganisation : Grundlegende Probleme und Begriffe. Würzburg, 2002

LAUBER, R.J Was ist Information?2001. Albstadt. www.fh-albsig.de/alteTeile/alteVortraege/lauber.pdf consultado el 20/01/2005

LUHMANN N. Soziale Systeme. Grundriss einer allgemeinen Theorie.Frankfurt a.M. 1985.

LUHMANN N. Die Wissenschaft der Gesellschaft.Frankfurt a.M. 1990.

MACKENZIE, N. I.(Ed.) Führer durch die Sozialwissenschaften. 1966.

MEYER, C. (1996) Umwelterziehung im authentischen Handlungskontext: Zur theoretischen Fundierung und Evaluation Regionalen Lernens.Frankfurt a.M., p.190f.

MEYERS Lexikon Das Wissen A-Z, 1993      http://www.iicm.edu/m10/ref.m10.E/ref.m10.E.30/0x811bc834_0x0002d620 (21/02/2000) consultado a través de la web: Glossar "Evaluation im Bereich digitaler Medien" http://www.evaluieren.de/home.htm el 20/01/2005.

OCLC White Paper on the Information Habits of College Students June 2002 -How Academic Librarians Can Influence Students"Web-Based Information Choices.www.oclc.com consultado el 20/01/2005.

SCHNEIDER, H.-J. (Ed.) Lexikon der Informatik und Datenverarbeitung.München/ Wien, 1997.

SHANNON, C.  A Mathematical Theory of Communication Reprinted with corrections from The Bell System Technical Journal, Vol. 27, pp. 379-423, 623-656, July, October, 1948 consultado el 20/01/2005 a través de http://en.wikipedia.org/wiki/Information_theory

SCRIVEN, M. The Logic of Evaluation. Inverness, CA, 1980

SCRIVEN, M.  Product Evaluation. En SMITH, N.L. (ed). New techniques for evaluation. Beverly Hills, 1981. p.121-166.

SCRIVEN, M. Evaluation Thesaurus. 4. Ed. Newbury Park. 1991.

SNEED, J. D. The Logic Structure of Mathematicak Physics. Dordrecht. 1971.

TJADEN, K.H. Gesellschaftswissenschaften. In WULF, C. Wörterbuch der Erziehung. München, 1978. p.241-245.

TROCHIM, W. Introduction to Evaluation. 2002 www.socialresearchmethods.net/kb/intreval.htm  última actualización: 16/01/2005 consultado 20/01/2005

WORTHEN, B.; SANDERS, J.; & FITZPATRICK, J. Program Evaluation. Alternative Approaches and Practical Guidelines. New York, 1997.

WISSENSCHAFTSRAT Empfehlung zur digitalen Informationsversorgung durch Wissenschaftliche Bibliotheken (Drs. 4935/01) http://www.wissenschaftsrat.de/texte/4935-01.pdf 2001 consultado el 14.02.03.

WRIGHT G.H.von Erklären und Verstehen.Frankfurt a.M. 1972

 

Copyright: Karsten Krüger y María Caprile, 2005
Copyright: Biblio 3W, 2005

Ficha bibliográfica

KRUGER, K. CAPRILE, M. Evaluación de portales electrónicos de ciencias sociales. Una propuesta conceptual. Biblio 3W, Revista Bibliográfica de Geografía y Ciencias Sociales, Universidad de Barcelona, Vol. X, nº 565, 15 de febrero de 2005. [http://www.ub.es/geocrit/b3w-565.htm]. [ISSN 1138-9796].


Volver al índice de Biblio 3W

Volver al menú principal