CONSTRUCCION DE UNA PRUEBA PSICOLÓGICA-PARTE 3

“La construcción de los ítems representa el momento en que la teoría se transforma en evidencia empírica. Cada ítem constituye una hipótesis de medición que debe ser sometida al análisis estadístico para demostrar que mide el constructo para el cual fue diseñado. En psicometría, la teoría orienta la construcción de la prueba; la estadística proporciona la evidencia de su calidad

Gerardo A Valderrama M

Una vez identificados y definidos conceptualmente los procesos psicológicos que se pretenden medir, establecida la teoría psicológica sustantiva desde la cual serán analizados y explicados, consideradas las posibles relaciones entre ellos y con otros procesos, y evaluados los instrumentos de medición previamente desarrollados, corresponde a la Comisión de Construcción examinar en profundidad las fortalezas y debilidades del marco teórico seleccionado.

Si de este análisis se obtiene una fundamentación suficientemente sólida sobre la pertinencia de dicho marco, la Comisión podrá iniciar la fase de operacionalización del constructo, la cual culminará con la construcción de los ítems, que deberán ser posteriormente sometidos a evaluación empírica y análisis psicométrico.

Considero necesario, antes de iniciar la discusión sobre los aspectos técnicos de la construcción de una prueba, presentar el flujo metodológico necesario para establecer la vinculación que debe existir entre la teoría sustantiva y los componentes metodológicos de la construcción de la prueba.

El constructo define aquello que se pretende medir; sus dimensiones permiten organizar su estructura; el dominio de contenido delimita aquello que será representado mediante comportamientos observables; los indicadores expresan las manifestaciones susceptibles de ser evaluadas; y la Tabla de Especificaciones relaciona formalmente las dimensiones o indicadores del constructo psicológico que se pretende medir con los aspectos operativos de la prueba, tales como la cantidad de reactivos, el formato de respuesta y la ponderación de los mismos.

La prueba final puede constituirse procurando que sus contenidos sean representativos del dominio definido, pero la validez del instrumento no queda garantizada solamente mediante el muestreo del dominio. Es necesario presentar posteriormente evidencia empírica de validez. dimensiones establecida selección sistemática y representativa de los contenidos y dimensiones establecidos en el marco teórico. Sin embargo, en el proceso de investigación existen otros métodos para la recopilación de datos, como el juicio de expertos, las entrevistas y las observaciones, que pueden favorecer la incorporación de elementos teóricos adicionales y enriquecer la información. De esta manera, los ítems constituirán la formulación concreta mediante la cual esas manifestaciones serán incorporadas a la prueba.

Fig.1. Flujo de Tabla de Especificaciones

A través de la Figura 1, intento presentar de manera gráfica, lo que considero desde mi concepción, el flujo metodológico más adecuado para la construcción de una prueba psicológica. En él presento las dos partes en que divido el proceso de construcción: la primera etapa se refiere principalmente a la que considero la posición más saludable: la etapa del componente teórico.

Una prueba psicológica puede entenderse como una investigación que parte de un problema de medición y formula, desde la teoría, una propuesta para resolverlo. Esta corresponde a la zona azul del gráfico. Una vez satisfecha esta etapa, los constructores deben abocarse a la segunda etapa, representada por la zona negrita del gráfico, que debe ser empírica. Esta comprende desde el muestreo del dominio de contenido hasta la confección de normas estadísticas para la interpretación de los resultados. A partir de este punto comienza, propiamente, la fase empírica de la construcción de la prueba, la cual requiere de la participación de la Comisión de especialistas, responsables de los resultados finales de este proceso.

La definición del dominio de contenido inicia la segunda parte de la construcción de una prueba: la empírica. El análisis del constructo de interés, sustentado a través del marco teórico, permite identificar los comportamientos que se consideran pertinentes para los propósitos de la prueba, además de sus interrelaciones. Por lo general, el análisis teórico del constructo determina un número sustancial de comportamientos e interrelaciones que desbordan la posibilidad de medirlos todos en un solo instrumento. Ante esta situación, los investigadores se ven abocados a definir un dominio de contenido, entendido como la delimitación de los comportamientos y relaciones pertinentes al comportamiento de interés.

Este dominio de contenido es, por lo general, muy vasto, en vista de que se refiere a la totalidad de contenidos que, en teoría, definen el comportamiento que se desea medir. En este momento, la Comisión debe decidir si una sola prueba es suficiente para obtener una representación adecuada del dominio o si, por el contrario, es necesario delimitarlo.

Existen varias alternativas para hacer frente a esta situación. Si el contenido es muy extenso, se puede acotar el dominio original, seleccionando aquellos contenidos que sean más relevantes para medir el constructo. Otra alternativa sería mantener el dominio original y construir una prueba amplia y representativa. Una última alternativa podría ser mantener el amplio dominio original y construir varias pruebas, cada una dirigida a representar una parte claramente identificada del mismo. En cualquiera de estas alternativas, los investigadores deberán identificar qué aspectos del dominio serán tomados en consideración para el desarrollo de la prueba.

Es muy importante que tengamos claro que ninguna prueba psicológica, por eficientes que sean sus propiedades psicométricas, es capaz de ofrecer información definitiva sobre una forma de comportamiento. Es posible que, para representar adecuadamente un mismo dominio, se requiera la construcción de varias pruebas.

El reto que se presenta a continuación es traducir la estructura conceptual anteriormente presentada a la construcción concreta de los reactivos. Este objetivo se alcanza a través de una herramienta denominada Tabla de Especificaciones o de Contenidos. De manera objetiva, esta herramienta permite identificar, de manera organizada y resumida, los contenidos y dimensiones del constructo con los indicadores que orientarán la construcción de la prueba. Su importancia radica en que permite mantener la correspondencia entre los constructos y sus dimensiones teóricas, los indicadores y, finalmente, los reactivos.

Sin embargo, existe un nexo entre el modelo teórico y la prueba que se construye, de tal manera que las respuestas que se obtengan en la prueba tengan correspondencia con la característica psicológica que se desea medir. Este nexo se define, en buena medida, a través del modelo psicométrico escogido por los constructores de la prueba. Un modelo psicométrico se refiere al conjunto de principios y procedimientos que permiten orientar tanto la construcción como la evaluación de las pruebas y de sus reactivos.

Estos principios psicométricos permiten comprender que las puntuaciones obtenidas en una prueba constituyen medidas observadas que están afectadas por errores. Por lo tanto, los resultados obtenidos a través de los ítems deben constituir una aproximación adecuada a lo planteado en el constructo teórico, considerando los errores de medición que deben ser psicométricamente identificados y explicados. Estos errores no se pueden evitar, pero sí minimizar. Esta acción se alcanza mediante una adecuada aplicación de los modelos y procedimientos psicométricos seleccionados.9999

En la actualidad, los constructores de pruebas psicométricas cuentan con dos de los modelos psicométricos más utilizados: la Teoría Clásica de los Tests (TCT) y la Teoría de la Respuesta al Ítem (TRI). Ambas corresponden a modelos psicométricos que parten de supuestos diferentes, pero proporcionan información científicamente sustentada para analizar y explicar las relaciones entre el modelo teórico y los datos observados desde sus respectivas perspectivas psicométricas. Desde mi perspectiva, no deben considerarse como modelos mutuamente excluyentes, sino como enfoques psicométricos complementarios, aunque parten de supuestos y modelos matemáticos diferentes.

Bajo estas consideraciones, la Tabla de Especificaciones es, en realidad, una estructura de la prueba que hace visible la manera en que se organizará el constructo a medir, permitiendo comprobar que los comportamient9os serán representados por ítems que provienen de las definiciones conceptuales y operacionales del constructo. Los ítems se desarrollan dentro de una estructura previamente identificada, a través de la cual las dimensiones e indicadores serán representados de manera proporcional.

En realidad, la Tabla de Especificaciones es una vía entre la definición teórica del constructo y su representación empírica mediante los ítems de la prueba. Esta estructura favorece una representación sistemática y equilibrada del dominio a medir; se puede considerar como un mapa de la prueba que orienta la construcción del instrumento. Por lo tanto, no es un procedimiento técnico añadido a la construcción, sino la consecuencia lógica de la definición teórica previa y del dominio que se pretende medir.

A través de la Tabla se pueden visualizar, entre otros elementos, los contenidos y sus dimensiones, el peso relativo de cada uno de ellos, el número de reactivos que corresponderán a cada componente y, de ser necesario, los procesos psicológicos y los niveles correspondientes que se pretenden medir.

Supongamos que se desea construir una prueba psicológica para evaluar ansiedad, definida en tres dimensiones: cognitiva, fisiológica y conductual. Para tal efecto, se utiliza el recurso de la Tabla de Especificaciones, en la cual se debe reflejar el constructo y sus dimensiones, los indicadores, el número de reactivos asignados a cada dimensión y el porcentaje correspondiente.

TABLA DE ESPECIFICACIONES DE UNA PRUEBA DE ANSIEDAD

Figura No. 2. Modelo de Tabla de Especificaciones (ficticio)

La Fig.2 es un ejemplo ficticio y sencillo de una Tabla de Especificaciones, en la cual se puede observar con claridad el flujo de sus componentes: el constructo ansiedad, representado mediante sus dimensiones; el enlace entre la teoría y el hecho observable, expresado mediante los indicadores; el número de ítems asignado a cada dimensión y el porcentaje correspondiente de la totalidad de los reactivos. Como se puede observar, la Tabla resume los elementos que se tomarán en cuenta para la construcción de la prueba psicométrica.

Fig. 3 De la Teoría a la Prueba Final

A través de la Figura 3 se observa la interrelación entre la teoría y el modelo psicométrico. Con el resto de los componentes de propios de la construcción de una prueba. Esta integración permite la medición, de la cual se obtendrán puntuaciones que serán analizadas psicométricamente, obteniéndose como resultado final la prueba psicométrica.

A partir de la Tabla de Especificaciones, sería prudente determinar algunas características propias de la prueba, tales como: ¿se trata de medir habilidades o sentimientos? Para los efectos de este artículo, que se refiere a la construcción de pruebas, hemos decidido definir dos categorías de prueba psicológica: las de ejecución máxima y las de ejecución típica.

Una prueba de ejecución máxima es aquella en la que se solicita al sujeto que manifieste su máximo nivel de rendimiento posible, en las condiciones establecidas para la prueba. La persona procura alcanzar su mayor desempeño al momento de desarrollar la prueba, lo que permite establecer diferencias en cuanto a la ejecución. Las respuestas pueden ser evaluadas en términos de corrección, logro o nivel de desempeño. En estos casos podemos mencionar las pruebas de inteligencia, aptitudes, conocimientos, etc.

Por otra parte, tenemos las pruebas de ejecución típica, a través de las cuales se intenta obtener información sobre la forma de comportarse habitualmente de un sujeto. No están dirigidas a brindar información sobre el mejor rendimiento posible y las respuestas no se clasifican, en términos generales, como correctas o incorrectas. Ofrecen información sobre intereses, preferencias, actitudes, valores o rasgos de la personalidad.

La identificación del tipo de prueba a construir favorece la determinación de las características propias de la prueba, o lo que también se conoce como el formato de la prueba: de lápiz y papel, digital, de ejecución o manipulación, o mediante medidas psicofisiológicas. También deben considerarse los materiales que se requerirán para su desarrollo, la modalidad de administración de la prueba —individual, grupal o a distancia— y la interpretación de las puntuaciones obtenidas, mediante normas estadísticas o referencias a criterios, entre otras posibilidades.

Es importante que los especialistas tomen en consideración los avances tecnológicos alcanzados y adecuen la prueba a los mismos, siempre y cuando estos vayan a ejercer alguna influencia en el desarrollo de la construcción y en el posterior análisis de los resultados.

En mi opinión, en este momento se debe iniciar la construcción de los ítems. Para tal efecto, la Comisión puede hacerse cargo de dicha responsabilidad directamente o delimitar responsabilidades específicas entre algunos de sus miembros e, inclusive, incorporar a otros especialistas. En esta etapa se debe determinar o modificar el número total de ítems y su distribución por categorías, además del porcentaje que representarán, el tipo de reactivos que se utilizará, el tipo de respuesta que se debe brindar a cada reactivo, la puntuación de cada reactivo y la puntuación total de la prueba y, de ser necesario y conveniente, presentar la estructura de codificación o base de datos.

La Tabla de Especificaciones debe incorporar el número total de reactivos sugeridos. Al momento de redactarlos, la Comisión tendrá establecido un número específico de reactivos a construir, pero es importante comprender que esa cantidad, por lo general, no corresponde en su totalidad a los contenidos teóricos que sustentan la medición del atributo. Por lo general, el número de reactivos de la prueba final es menor, y esta situación crea una condición particular para la Comisión: ¿se construyen exactamente los reactivos sugeridos en la Tabla de Especificaciones? La recomendación que hago basada en mi experiencia es que se trate de construir un número de ítems considerablemente mayor al requerido para la versión final. Esto se debe a que una proporción de ellos podrá ser eliminada o modificada después del análisis psicométrico de los mismos; no existe una cantidad específica de reactivos que se requiera para la experimentación.

Hay que tomar en consideración que la Tabla de Especificaciones representa una muestra de los comportamientos identificados en el modelo teórico. Los reactivos deben ser lo más representativos posible de los contenidos teóricos de la Tabla, que, a su vez, constituye una representación de los comportamientos planteados en el marco teórico. Esto incorpora el concepto de representatividad de una muestra de comportamientos, lo cual debemos entender como la correspondencia entre la muestra de comportamientos incorporada en la prueba y el dominio de comportamientos definido teóricamente.

En mi experiencia profesional me he encontrado en la necesidad de tener que construir más reactivos experimentales, en vista de que el análisis psicométrico de los mismos ha invalidado un número importante de los que se experimentaron

El desarrollo de una prueba experimental o piloto representa, por así decirlo, la primera integración empírica de los componentes teóricos y técnicos previamente definidos. En esta etapa, la Comisión diseña un instrumento que debe incluir instructivos, ítems experimentales, formato de respuesta y método de aplicación. Todos estos componentes deben considerarse estandarizados, porque los mismos procedimientos deben ser desarrollados y aplicados en cada una de las administraciones de la prueba, ya sean de aplicación individual o grupal. La prueba experimental permitirá un análisis integral de la misma, que incluye el marco teórico, el modelo psicométrico y los ítems que integrarán la versión final.

A partir del desarrollo de la prueba experimental, la Comisión debe diseñar un método para implementar un estudio de campo, que se refiere a la aplicación de la prueba experimental a una muestra probabilística o no probabilística de la población objetivo, atendiendo a los intereses y posibilidades de los investigadores. Los resultados obtenidos en la prueba piloto permitirán realizar el análisis psicométrico de los resultados, a través del cual se determinará cuáles ítems son funcionales, cuáles requieren mejorarse y cuáles deben eliminarse de la forma final.

Debo dejar claramente establecido que los principios psicométricos en los cuales estoy fundamentando este artículo provienen de la Teoría Clásica de los Tests (TCT), en vista de que considero esta posición psicométrica más adecuada para los fines de este artículo. Es más conocida, su metodología es ampliamente utilizada y resulta práctica para los propósitos de este trabajo. Con programas estadísticos tradicionales, tales como SPSS, XLSTAT y Excel, se pueden desarrollar los aspectos técnicos de carácter estadístico que serán considerados en este artículo.

Los indicadores psicométricos principales en la etapa de análisis de ítems son el índice de dificultad y el índice de discriminación. A partir de estos, la Comisión está en capacidad de determinar cuáles ítems son funcionales y cuáles requieren ser mejorados. Si se considera necesario el mejoramiento de algunos reactivos, la Comisión debe crear un nuevo ensayo piloto para la evaluación de los ítems modificados. Posteriormente, los investigadores decidirán la función de los nuevos ítems en la prueba de campo final. Lo importante es que, después de estos procesos psicométricos, los investigadores estarán en capacidad de determinar los procedimientos que se utilizarán para la interpretación de los resultados.

La prueba experimental final debe ser aplicada a una muestra, aleatoria o no, de la población objetivo de la medición. En esta experimentación se obtendrán evidencias psicométricas fundamentales para la definición de la prueba final, entre ellas las relacionadas con la validez de las interpretaciones de las puntuaciones obtenidas y con la confiabilidad o consistencia de las puntuaciones.

Los ítems resultantes del proceso anteriormente descrito se deben someter a un último proceso de análisis psicométrico para definir las normas estadísticas que permitirán la interpretación de los resultados, atendiendo al grupo de referencia. Lo anteriormente expuesto exige que el análisis de los ítems, la obtención de evidencias de validez, la estimación de la confiabilidad y la determinación de las normas se lleven a cabo sobre muestras de sujetos que pertenezcan a la población objetivo, sean estas aleatorias o no.

Mi recomendación es que, preferiblemente, sean aleatorias; es el procedimiento que, desde mi punto de vista, aproxima mejor los resultados de las muestras a la población original, facilitando la generalización, que es uno de los objetivos de la investigación científica: cubrir la mayor cantidad posible de sujetos de la población, considerando los errores que este procedimiento incorpora a los resultados.

Creo que es oportuno hacer las siguientes observaciones. Algunos investigadores recomiendan que la confiabilidad, la validez y las normas se desarrollen con otra muestra diferente de la utilizada para el análisis de los reactivos; otros desarrollan estas acciones psicométricas en la misma muestra en que se realizó el análisis de ítems. Mi opinión es que, técnicamente, utilizar otra muestra es una decisión más sólida, especialmente cuando se pretende comprobar que los resultados obtenidos no dependen exclusivamente de las características particulares de la primera muestra. Sin embargo, en términos de costos, disponer de otra muestra puede elevar de manera importante los recursos requeridos.

Si existen suficientes recursos, sugiero utilizar otra muestra; de lo contrario, es posible utilizar la misma muestra, siempre que esta decisión sea reconocida como una limitación metodológica. Lo importante es discriminar correctamente de acuerdo con las circunstancias: estamos ante la disyuntiva entre lo que es posible y lo que resulta psicométricamente más sólido.

Voy a atreverme a hacer una sugerencia: se puede trabajar con dos muestras. La primera para el análisis de ítems y la segunda para determinar la confiabilidad, obtener evidencias de validez y establecer las normas. Es recomendable que las muestras sean independientes y se seleccionen de la misma población objetivo. Sin embargo, como en cualquier investigación, los recursos económicos son importantes, independientemente de la alternativa que se escoja.

Atendiendo al modelo psicométrico que estoy utilizando en este artículo, entendemos por normas estadísticas una distribución de valores de referencia, obtenidos a partir de un grupo normativo perteneciente a la población de referencia, mediante los cuales se puede interpretar la puntuación obtenida por los individuos en comparación con el desempeño observado en dicho grupo. Entre estas se destacan las puntuaciones z, los percentiles, las puntuaciones T, los decatipos, los estenes, etc.

Una vez obtenidas las evidencias psicométricas necesarias y establecidas las normas correspondientes, puede completarse la documentación técnica requerida para la utilización de la prueba. Inclusive, es recomendable la creación de un Manual de la Prueba, que debe contener información precisa de la misma, como lo sería: objetivos de la prueba, marco teórico y psicométrico, población y muestra, Tabla de Especificaciones, construcción de ítems, aplicaciones experimentales, análisis de ítems, validez, confiabilidad y normas estadísticas. Además, puede incluir recomendaciones para la aplicación y corrección de la prueba, de tal manera que el concepto de estandarización esté presente para el usuario desde el planteamiento del problema hasta la definición de las normas.

Este artículo no intenta ser un manual de construcción de pruebas. Para tal efecto, existe una diversidad de obras en el mercado, las universidades y la Web que presentan manuales muy completos para la construcción de pruebas. Como pueden observar, no se presentaron herramientas psicométricas, procedimientos estadísticos ni fórmulas. Este artículo, desarrollado en tres partes, intenta presentar mi punto de vista sobre la medición psicológica aplicada, partiendo de una máxima de mi vida académica: la medición psicológica se sustenta en el análisis y comprensión del error que se comete al intentar medir los intangibles que tratan de explicar el comportamiento humano.