VALIDACIÓN PRELIMINAR DE UNA BATERIA DE SOLUCIÓN DE PROBLEMAS

María Lucero Botía Sanabria & Luis Humberto Orozco Pulido

This e-mail address is being protected from spambots. You need JavaScript enabled to view it , This e-mail address is being protected from spambots. You need JavaScript enabled to view it

Universidad Antonio Nariño

Resumen

Este documento presenta los resultados del proceso de validación preliminar de la Batería de Solución de Problemas - BSP04. Solución de problemas se entiende como una competencia cognitiva compleja que surge de la interacción de seis procesos cognoscitivos que contribuyen a la desempeño de los sujetos. La BSP 04 se diseñó siguiendo los lineamientos de la teoría clásica de los tests y se compone de 6 subescalas que corresponde a los 6 procesos / componentes: procesamiento de la información, razonamiento inductivo-deductivo, interpolación, estilos cognitivos y actitudes hacia la solución de problemas. Se aplicó a tres grupos de empleados financieros (n=60). Su validez y confiabilidad se evaluó con recursos de la teoría clásica; al utilizar Cronbach para evaluar confiabilidad la batería alcanzó un índice de 0.9378; la validez de constructo de los ítems y las subescalas se evaluó con el coeficiente de Pearson para variables continuas y con el coeficiente biserial puntual para variables dicotómicas; al hacer análisis de correlación entre los coeficientes de las subescalas se encontraron índices entre r 0.3 0 y 0.08 como valores máximo y mínimo lo que indica que cada subescala mide cada constructo de manera independiente. Los resultados muestran evidencia de confiabilidad, consistencia interna y validez discriminante, basados en el contenido de la herramienta de medición y en la estructura interna, razones para considerar que la propuesta teórica y la herramienta psicométrica diseñada (BSP 04) puede estar bien orientada y requiere ajustes de dos subescalas para llegar a ser predictor de desempeño. Se encontraron además patrones de solución de problemas en los grupos evaluados

Palabras clave : batería de solución de problemas, validez, teoría clásica de los test, perfiles y patrones de solución de problemas, procesos cognoscitivos

Abstract

This paper presents the results of the preliminary validation process of the problem solving battery (SPB 04). Solving problems is understood as a cognitive complex competence that arise from the interaction of six cognitive processes that contribute to subjects performance. The SPB 04, designed following classic test theory guidelines, is composed by six subscales corresponding to six subprocesses/components: information processing, comprehension, inductive-deductive reasoning, interpolation, cognitive styles and attitudes to problem solving; the SPB was applied to three groups of financial employees (n= 60). Its validity and reliability were evaluated with classical test theory resources; using a Cronbach to test reliability the battery set reached 0,9378 index; construct validity of items and subscales was tested with Pearson coeficcient to continual and biserial punctual coeficcient to dichotomic variables; making correlation analysis between subscales coefficient it was found indeces r £ 0.3 as maximal and –0.08 as minimun, values that indicate each subscale measures each construct independently. The results show reliability, internal consistency and discriminant validity evidence based on measurement tool content and internal structure, reasons to consider that therorical proposal and psychometrical designed tool (SPB 04) can be well oriented but need adjustment for two subscales to become a perfomance predictor. Also we founded solving problem patterns on tested groups.

key words: solving problem battery, validity, classical test theory, problem solving profile or pattern, cognitive processes

1. Introducción

•  Medición y psicología.

La medición como un tópico de la historia de las s ciencias y la tecnología, es la “determinación del tamaño o la magnitud de algo. La medición no se limita a las cantidades físicas, sino que puede extenderse a la cuantificación de casi cualquier cosa imaginable tal como el grado de incertidumbre, la confianza del consumidor o la tasa de incremento en un período del año en los precios de los pañales de bebé” (Webster, 2007). En este sentido, la medición es una estrategia para asignar números a los atributos de los objetos de acuerdo con reglas científicas previamente definidas (Stevens, 1951) aunque otros autores la explican como “asignar, sistemáticamente, números para representar las propiedades de los sistemas materiales siguiendo ciertas reglas que gobiernan tales propiedades” (Campbell, 1938: 136), de modo que la medición define las reglas para asignar números a las propiedades de los objetos (Coombs, 1964; Torgerson, 1962) aunque la medición actualmente aún no es exacta, la mayoría de las mediciones (físicas o psicológicas) incorporan algún margen de error que procede de las variaciones de los objetos, los instrumentos utilizados, los investigadores o una combinación de ellos (Fernández-Ballesteros, 2004a; Gulliksen, 1987; Lord y Novick, 1968; Nunnally, 1967).

Realizar una medición debe cumplir con requerimientos teóricos y metodológicos. Detrás de cada empresa científica existen modelos teóricos, construidos con constructos hipotéticos que aparecen y son visibles en la práctica, y las matemáticas (números) nos ayudan a establecer relaciones entre los conceptos teóricos y sus manifestaciones, su realidad empírica; un constructo teórico se convierte en un puente entre la realidad empírica y el conocimiento teórico. En primer lugar un constructo necesita estar semánticamente definido; luego debe estar formalmente definido, lo cual quiere decir identificados los atributos que hacen visible el constructo en la realidad empírica (indicadores); luego el investigador debe establecer una regla para asignar magnitudes y números (escalas de acuerdo a la calidad de las variables –nominal, ordinal, intervalo, razón) para atribuir dimensiones, y finalmente debe diseñar una herramienta o una estrategia confiable que haga posible obtener datos útiles para conocer la posición relativa del objeto medido en los atributos, dimensiones o variables medidos. Definida una perspectiva teórica, es necesario crear o usar herramientas de medición (como un metro o la escala Weschler), las cuales deben garantizar que el número signado corresponda (sea un “puente adecuado”), por igual, para el atributo medido y para su definición teórica. Si una medición responde a estos requisitos, el investigador puede llevar a inferencias válidas, y si lo hace, la comunidad científica puede aceptar como válidas sus afirmaciones. Si usted no puede relacionar la naturaleza con un modelo teórico formal validado usted sólo tiene especulación filosófica. Torgerson (1962) propuso a los científicos establecer un modelo teórico compuesto por uno o más constructos psicológicos definidos y operacionalizados que puedan describir o explicar las propiedades de los atributos de los objetos que serán evaluados. Luego, es necesario distinguir entre ellos y explicitar las relaciones entre los constructos hipotéticos que dan forma a una teoría.

Una vez se determinan las reglas para asignar números a los objetos o eventos (Stevens, 1951) el científico –psicólogo en este caso - puede preguntar: ¿cómo medir en psicología? La teoría representacional de la medición (Stevens, 1951), a pesar de sus limitaciones, puede ser el modelo más popular de medición para asuntos psicológicos (Andrés, 1997; Fernández-Ballesteros, 2004a; Martínez-Arias, 1996). La medición en psicología usa procedimientos matemáticos para asignar números, de acuerdo con reglas preestablecidas, para cuantificar propiedades o habilidades de las personas, de modo que sea posible identificar y medir diferencias individuales (Brown: 1980). La medición directa en psicología, menos aún en procesos cognoscitivos, no es factible: cualidades, características, propiedades de los procesos cognoscitivos, deben inferirse de los datos obtenidos con técnicas y procedimientos de medición tales como la observación, el autoreporte, las entrevistas, las técnicas proyectivas, las pruebas psicométricas o tests (Fernández-Ballesteros, 2004a; Murphy y Davidshofer, 1994; Walsh y Betz, 1995). En este punto la medición psicológica enfrenta el principal desafío: garantizar que las pruebas y los procedimientos de evaluación, real y objetivamente, midan los indicadores psicológicos pretendidos, las características, dimensiones, atributos o variables, de tal modo que las inferencias inductivas –predictivas o explicativas- acerca de ellos sean confiables, objetivos, examinables y especialmente válidas.

1.2 Psicometría y teoría de los test

Fernández-Ballesteros (1996) distingue dos especialidades en el campo de la psicología: la evaluación psicológica orientada a verificar la realidad de los principios psicológicos y su presencia y variación en los individuos; y la medición psicológica, desarrollada como psicometría, creada para estudiar, construir y mejorar la medición, el diagnóstico y la evaluación de lo psicológico. En esta perspectiva la medición es una forma de evaluar. La psicometría y la teoría de los test guían y controlan el diseño, construcción, validación y estandarización de las pruebas psicológicas, trabajo que implica establecer las reglas de medición, operacionalizar atributos psicológicos medibles, elaborar las escalas y protocolos para la aplicación, calificación e interpretación de las pruebas (Mherens & Lheman, 1982; Garagordobil, 1998). Específicamente la teoría de los test evalúa las propiedades psicométricas de los test psicológicos, estudia los factores que influyen en las puntuaciones observadas y proponer modelos para estimar puntajes verdaderos (Hambleton & Swaminathan, 1985; Muñiz, 1996; Fernández-Ballesteros, 2004a).

Hoy día se identifican tres corrientes de la teoría de las pruebas:

La teoría clásica de los tests enfatiza en la confiabilidad y validez, conceptos que permiten y exigen tratamiento matemático para lograr consistencia interna y externa del test, por medio del examen de la validez de contenido, predictiva y de constructo (Spearman, 1927; Nunnally J. C., 1987; Gulliksen, 1987; McDonald, 1999; Muñiz, 2003).

El análisis factorial de los ítems, tiene en cuenta algunas técnicas estadísticas de análisis multivariados diseñadas para investigar la estructura o las dimensiones básicas de un conjunto de variables ó representan una cantidad de variables identificadas en un conjunto menor de constructos o variables; se han desarrollado dos tipos: análisis factorial exploratorio y análisis factorial confirmatorio dependiendo de la meta a lograr: detectar fuentes de variación o examinar hipótesis acerca de una estructura conceptual (Lawley & Maxwell, 1971; Martínez-Arias, 1996).

Los dos modelos previos comparten dos límites (Lord, 1980; Muñiz, 1996, 2003): (a) las mediciones dependen de la prueba utilizada, y (b) las propiedades del test dependen de los sujetos evaluados.

La teoría de respuesta al ítem (TRI) buscando resolver las limitaciones de las anteriores para obtener validez, quiere garantizar que las variaciones de los puntajes obtenidos no dependan de la prueba utilizada, que las propiedades de la prueba utilizada no dependan de los sujetos evaluados, y provea un modelo de respuesta (Lord & Novick, 1968; Lord, 1980; Hambleton & Swaminathan, 1985, Van der Linden & Hambleton, 1997; Muñiz 1997, 2003).

La contribución de estas corrientes han ayudado a normalizar, regular, y establecer procedimientos para la construcción, aplicación e interpretación de las pruebas, y dan guías para informar y analizar los resultados de las pruebas, tarea asumida por organizaciones internacionales como la American Educational Research Association (2004), o la International Test Comission, quienes han definido normas como los Standards for Educational and Psychological Testing (2006).

1.2 Psicometría y teoría de los test

Fernández-Ballesteros (1996) distingue dos especialidades en el campo psicológico: la evaluación psicológica orientada a verificar la realidad de los principios psicológicos y su presencia y variación en los individuos; y la medición psicológica, desarrollada como psicometría, creada para estudiar, construir y mejorar medición, diagnóstico y evaluación. En esta perspectiva, la medición es una forma de evaluar. La psicometría y la teoría de las pruebas guían y controlan el diseño, construcción, validación y estandarización de las pruebas psicológicas,, tarea que implica establecer reglas de medición, escalas de calificación e interpretación y protocolos de evaluación (Mherens & Lheman, 1982; Garagordobil, 1998). Específicamente la teoría de los test evalúa las propiedades psicométricas de las pruebas, estudia los factores que influyen en las puntuaciones observadas y propone modelos para estimar puntajes reales (Hambleton & Swaminathan, 1985; Muñiz, 1996; Fernández-Ballesteros, 2004a).

Hay tres corrientes principales de la teoría de los test:

La teoría clásica de los test enfatiza en la confiabilidad y validez, conceptos que permiten y exigen tratamiento matemático para lograr consistencia interna y externa del test por medio del examen de la validez de contenido, predictiva y de constructo (Spearman, 1927; Nunnally J. C., 1987; Gulliksen, 1987; McDonald, 1999; Muñiz, 2003).

El análisis factorial de los ítems tiene en cuenta algunas técnicas estadísticas de análisis multivariado diseñadas para investigar la estructura o las dimensiones básicas de un conjunto de variables, o representar una cantidad de variables identificadas en un conjunto menor de constructor o variables; se han desarrollado dos tipos: el análisis factorial exploratorio y el análisis factorial confirmatorio dependiendo del propósito: detectar fuentes de variación, o examinar hipótesis acerca de una estructura (Lawley & Maxwell, 1971; Martínez-Arias, 1996).

Las dos corrientes previas compartes dos limitaciones: (a) las mediciones dependen del test utilizado, y (b) las propiedades del test dependen de los sujetos evaluados (Lord, 1980; Muñiz, 1996, 2003).

obtenidas no dependan del test utilizado, que las propiedades del test no dependan de los sujetos evaluados y dar un modelo de respuesta (Lord & Novick, 1968; Lord, 1980; Hambleton & Swaminathan, 1985, Van der Linden & Hambleton, 1997; Muñiz 1997, 2003).

Las contribuciones de estas tendencias han ayudado a regular y establecer procedimientos para la construcción, aplicación e interpretación de las pruebas, y dar lineamientos para informar y analizar los resultados de las pruebas, tareas asumida por organizacionales internacionales como la Asociación Amerciana de Investigación Educativa (2004) o la International Test Comission quien ha definido normas como los Standards for Educational and Psychological Testing (2006).

1.3 Validez: ¿índice, criterio o juicio?

Validez es el concepto central de esta estructura: es el criterio principal para describir las propiedades psicométricas de cualquier test, el principal criterio para seleccionar o modificar la estructura de ítems de cualquier test. El concepto propiedades psicométricas se refiere a las características matemáticas y estadísticas del test que expresan su confiabilidad y validez, ambas explicadas, estudiadas y definidas con diversos énfasis por la teoría de los test.

La validez se relaciona con la necesidad de garantizar que las inferencias finales de los datos de las pruebas sean pertinentes y correspondan al atributo medido. La validez permite hacer inferencias e interpretaciones correctas a partir de las puntuaciones, y establecer la relación constructo/variable que busca la medición.

¿Pero qué es la validez? Históricamente, se fundamenta en el criterio pragmático centrado en la relación test-criterio según el cual la validez es un concepto unitario que incluye diferentes aspectos del constructo evaluado y del propio test (Fernández-Ballesteros, 2004a, Martínez-Arias, 1996; Muñiz, 1996, 2003). Samuel Messick (1989) define validez como “un juicio global evaluativo del grado en el cual la evidencia empírica y la lógica teórica apoya la concepción y conveniencia de las inferencias y acciones realizadas, basadas en las puntuaciones producidas por los test o por cualquier instrumento de medición”. Los estándares para la evaluación en psicología y educación (APA, 2006: 9 -11) definen validez como “el grado en que todas las evidencias apoyan las inferencias derivadas de las puntuaciones ... el proceso de validación implica acumular evidencias que configuran el fundamento científico para las interpretaciones de los puntajes ... para los usos propuestos, no para el test en sí mismo”.

Siguiendo a Messick (1995) se pueden usar 5 tipos de evidencias de validez: evidencia basada en el contenido de la herramienta de medición, evidencia basada en procesos de respuesta, evidencia basada en la estructura interna, evidencia basada en otras variables, evidencia basada en consecuencias de la medición. Este estudio se realizó siguiendo la teoría clásica de los test, y utiliza evidencia basada en el contenido de la herramienta de medición y evidencia basada en la estructura interna.

Casi siempre la validez está junto con la confiabilidad; ella se refiere al nivel de consistencia de las puntuaciones de la prueba; para medirla, es posible usar al menos tres métodos: (i) coeficiente de correlación, (ii) modelos de ecuaciones estructurales, (iii) confiabilidad interjueces (APA et als, 1999). La confiabilidad es una propiedad psicométrica definida como la varianza totol de puntuaciones específicas y se compone de: varianza real y varianza de error cuando se aplica un test a un grupo específico (Guilford, 1987).

1.4 Solución de problemas: el constructo evaluado

Este estudio es parte de un programa de investigación sobre solución de problemas en contextos organizaciones que busca hipótesis psicológicas para explicar por qué este país tiene dificultades para realizar procesos efectivos de desarrollo. Fundamentado en observaciones sistemáticas de conductas sociales y grupales, uno de nuestros supuestos, es que el proceso de solución de problemas no es suficientemente efectivo (considerando un punto de vista racional, económico y ecológico) en un gran número de situaciones sociales, grupales y familiares.

Esta afirmación requiere algunas explicaciones: primero, la estructura teórica reconoce que hablar de solución de problemas incluye necesariamente al solucionador, la tarea o problema y el vínculo que los relaciona, y cada una de estas entidades tiene su propia complejidad. Los problemas o las tareas son un enorme universo, que necesitan y pueden ser clasificados de diferentes modos (Marr, 2000; Mayer y Wittrock, 1996), exigen diferentes recursos cognitivos (o solucionadores) para ser resueltos (Jonassen, 1997), algunos permiten soluciones diferentes, múltiples, que pueden llegar a ser equivalentes; hay problemas que pueden esperar, otros que necesitan soluciones inmediatas e implican diferentes niveles de riesgo (Wood, 1983) y pueden describirse como más o menos estructurados (Hayes, 1978) como problemas de laboratorio, o problemas de la vida cotidiana simples o complejos.

¿Qué se puede afirmar acerca del solucionado? La solución de problemas como un proceso cognitivo natural complejo, demanda algunos procesos cognitivos genéricos comunes que pueden identificarse y estudiarse. La tradición teórica en este tema nos habla de la “ausencia de una buena, sólida, suficiente, fuerte” teoría de solución de problemas (Funke & Frensch, 1995, 2007; Roth & McGuinn, 1997; Jonassen, 1997; Burns & Vollmeyer, 2000; Zayour, 2002). Mientras los grupos norteamericanos de investigadores priorizan en la investigación de solución de problemas complejos el determinar el desempeño y el aprendizaje en dominios de conocimiento natural, la principal meta de muchos investigadores europeos es determinar cómo manejan/enfrentan las personas situaciones de tareas novedosas y complejas (Otto & Lantermann, 2005). En la tradición europea Frensch and Funke (1995: 18) dicen que la CPS [solución de problemas complejos – sigla en inglés] “ocurre para superar barreras entre un estado dado y estado meta deseado por medio de actividades conductuales y/o cognitivas de múltiples pasos. El estado dado, el estado meta y las barreras entre ellos son complejos, intransparentes y cambian dinámicamente durante la solución de problemas. Las propiedades exactas del estado dado, del estado meta y de las barreras son desconocidas para el solucionador al principio. La CPS implica una interacción eficiente entre un solucionador y los requerimientos situacionales de la tarea, e involucra habilidades cognitivas, emocionales, personales, sociales y conocimiento”. La tradición americana ve la solución de problemas como “los procesos mentales por los cuales los seres humanos reaccionan a los cambios en su ambiente; especialmente aquellos cambios que requieren un “proceso de elección que lleve a la acción” – una decisión – del humano en cuestión. La teoría de solución de problemas explica el contexto total por el cual los seres humanos reconocen, deciden y desarrollan solucionan para solucionar el conflicto en una situación particular” ( Marr, 2000: 23).

Investigaciones recientes se centran en establecer cuáles habilidades cognoscitivas son relevantes para la solución de problemas complejos ( Funke & Frensch, 1995; Sternberg, 2007) y en un trabajo previo sugerimos nuestra opción teórica con la solución de problemas como un proceso cognoscitivo complejo que, en una perspectiva molar y describiéndolo como una actividad cognitiva general, tiene el papel principal de integrar efectivamente procesos cognoscitivos de orden básico y superior, entre los que son especialmente importantes: procesamiento de la información, comprensión, razonamiento (inductivo y deductivo), transferencia analógica, estilos cognoscitivos y actitudes hacia la solución de problemas. Estos seis procesos han sido identificados como predictores útiles del éxito en solución de problemas en diversos tipos de tareas (Putz-Osterloh & G. Lüer, 1981; Jonassen, 1997; Poissant et las., 1994; Sternberg, 2006) junto al conocimiento, la experticia (Adelson, 1984), el entrenamiento específico y características contextuales, los cuales no están considerados en nuestro modelo.

En esta perspectiva el nivel de desempeño en cada proceso/componente se analiza junto con otros resultados, formando un perfil de cada sujeto, de manera que es posible encontrar patrones de solución de problemas individuales o grupales. Pensamos que esta forma de medir puede utilizarse como un predictor del desempeño del sujeto en tareas y actividades en los que la solución de problemas es crítica para el éxito.

Llamamos molar (Skinner, 1957) a nuestro modelo, debido a su propósito de abarcar diferentes pero críticos componentes del fenómeno cognoscitivo, y relacionarlos sistemáticamente como un todo para producir una mirada sintética e integradora de la solución de problemas. Asumir esta posición teórica molar, no evita pasar por el análisis molecular de los componentes: su estructura, su funcionamiento, sus relaciones. Nuestras afirmaciones deben ser examinadas con procedimientos empíricos que atiendan a ambos lados de la moneda: la proposición molar y los componentes moleculares; un solo componente por si mismo puede no ser un predictor suficiente de solución de problemas: por ejemplo, un buen razonador (inductivo o deductivo) puede no ser un solucionador exitoso.

1.5 Evaluación de la solución de problemas

Las raíces de la evaluación de solución de problemas proviene de la tradición de investigación en inteligencia: la evaluación del factor g,, basada en modelos de inteligencia como un conjunto de habilidades particulares e identificables, ha contribuido al desarrollo de la investigación en el área (Sternberg, 2003; Otto & Lantermann, 2005). En esta centenaria historia, es posibles distinguir dos tipos de pruebas: pruebas de autoreporte y pruebas de desempeño; las primeras se basan en la autopercepción y autojuicio del sujeto acerca de sus preferencias cognoscitivas, sus propias acciones, o las frecuentes modos/maneras de pensar (ejemplos en Queendom, 2008); las pruebas de desempeño se orientan a observar lo que los sujetos hacen para realizar tareas específicas, o posteriormente, problemas específicos. El desarrollo de la teoría de las pruebas ha interactuado, apoyado y fortalecido la investigación sobre inteligencia y solución de problemas, particularmente identificando y midiendo indicadores que permitan observar en acción procesos cognoscitivos identificados-particulares (Sternberg, 1997). Las variaciones de estos dos caminos y materias de evaluación (autoreporte y desempeño) continúan creciendo durante las dos últimas décadas y recientemente, ha nació la simulación apoyada en la computación pero utilizando los mismos principios: seguir la autopercepción del sujeto, calificar respuestas correctas/erradas, medir tiempos de respuesta y recientemente algunos investigadores están desarrollando modelos para comprender lo que ocurre cuando el solucionador enfrenta problemas complejos (Howie & Vicente 1998; Quesada & Kintsch, 2007).

En este estudio considerando los supuestos relacionados acerca de nuestro modelo molar, elegimos pruebas de desempeño para medir cada componente debido a que así se pueden aislar los procesos que consideramos estructurales y críticos para la solución de problemas. No usamos aún estrategias de simulación porque observamos que ellas activan muchas y muy diferentes variables que hacen difícil nuestro propósito.

2. Método

Para validar de manera preliminar la batería para evaluar procesos de solución de problemas se necesitó contar con modelo teórico de solución de problemas detallado en otro lugar (Botia & Orozco, 2008b); este modelo descrito como molar considera cinco procesos cognoscitivos y otro componente complejo, xomo los más relevantes para solución efectiva de problemas. Estos procesos/componentes son: procesamiento de la información, comprensión, razonamiento (inductivo, deductivo), estilo cognitivo, interpolación y actitudes hacia la solución de problemas. Luego, diseñamos la batería de seis subescalas (BSP 04) siguiendo los principios de la teoría de las pruebas, particularmente el criterio isomórfico; para lograrlo, considerando el marco conceptual definimos y operacionalizamos los seis procesos/componentes e identificamos indicadores relevantes para la solución de problemas. Con ellos, se seleccionó la manera de medir cada uno y se construyó la estructura y los ítems de cada escala.

Como un primer ejercicio de validación pedimos a dos expertos investigadores en cognición ((Parra, J., 2005; Montealegre, R. 2005) un examen de la validez de contenido del modelo origina de la batería (su fundamento teórico, la estructura de las subescalas, los protocolos de aplicación, calificación e interpretación); el resultado fue esperanzador, se aplicaron los primeros ajustes especialmente en la apariencia y comportamiento de los ítems y reactivos

frente al sujeto. El resultado fue una Batería con 86 ítems distribuidos en seis subescalas, para aplicarla en promedio durante 40 minutos de manera individual o grupal.

En el marco de un proyecto específico orientado a evaluar procesos cognoscitivos de solución de problemas con empleados de entidades bancarias, se autorizó una primera aplicación de la batería, actividad realizada como un estudio piloto de validación preliminar para examinar la validez de la batería utilizando recursos de la teoría clásica de los test. Con los datos recogidos fue posible realizar análisis en dos niveles: el examen de la validez de la batería y los resultados descriptivos de los procesos medidos de solución de problemas.

Para examinar la validez, consideramos: mediciones de fiabilidad en los niveles de ítem, subescala y batería; para medir la fiabilidad, una propiedad psicométrica del test cuando se aplica a un grupo específico, usamos el coeficiente Pearson ( R ) para variables continuas y el coeficiente biserial puntual para variables dicotómicas. La consistencia interna habla de la correlación entre la puntuación del ítem y la puntuación total de las subescalas y la batería; para este análisis se usó el coeficiente Alpha estandarizado ( a de Cronbach estandarizado). La validez discriminante de la batería conformada por seis subescalas, es decir, la propiedad psicométrica que mide las relaciones entre ellas, en este caso cada subescala es independiente y mide su constructo teóricamente diferenciado; para ver esta característica se usó coeficiente de Pearson entre las subescalas.

Si estos resultados muestran una prueba válida y confiable, es pensable analizar los resultados de los procesos de solución de problemas. Para hacerlo, los datos producidos por las subescalas se transformaron a escala T, procedimiento en el que no se modifican las distribuciones originales ni la posición relativa de cada sujeto, reemplazando los datos originales par hacer comparaciones. Los datos T adoptan 1/10 como una unidad de desviación típica, característica que da más discriminación entre las mediciones próximas en un grupo específico (Guilford, 1994); además las escala T permite normalizar las distribuciones convirtiendo a centiles y las desviaciones correspondientes en una distribución normal. La reunión de valores T de cada sujeto o grupo, se puede visualizar en un perfil que da una mirada global de los procesos de solución de problemas. La aplicación de las seis subescalas, la obtención de datos normalizados (T) para cada grupo y para muestra total, permitió dibujar perfiles individuales y grupales de los procesos de solución de problemas.

2.1 Sujetos

La muestra estuvo conformada por tres grupos de empleados financieros procedentes de departamentos de crédito de bancos:

Table 1. Descripción de la muestra

2.2 Instrumento : Batería para examinar procesos de solución de problemas.

En primera instancia, la batería de seis subescalas se diseñó para evaluar el modelo teórico molar que considera el proceso de solución de problemas como una competencias compleja que emerge de la interacción de seis procesos cognoscitivos principales tratados como variables independientes; esos procesos, seleccionados considerando su relevancia como predictores de solución de problemas ( Jonassen, 1997; Poissant et als., 1994) son: information processing, Comprehension, Reasoning, Interplation/extrapolation, Cognitive Style, Attitudes towards problem solving. Después de estudiar y comprender raíces teóricas específicas formulamos su estructura conceptual y operacionalizamos cada uno.

Procesamiento de la información . SE define como la capacidad para operar sobre/con símbolos y organizarlos de tal modo que logren sentido lógico y coherente. Se diseñó una tarea de lápiz y papel en dónde el sujeto siguiendo instrucciones orales y escritas debe identificar una relación de equivalencia entre el alfabeto impreso y un conjunto de símbolos. Para hacerlo, el sujeto traduce los símbolos o palabras completas a letras y viceversa, escribiéndolas; el examinado cuenta respuestas correctas, errores y tiempos de respuesta utilizados para traducir cada conjunto de de símbolos impresos o palabras.

Comprensión. SE define como la habilidad para elaborar y abstraer significados e ideas relevantes de un texto (información verbal) relacionándola con el contenido del mismo texto; exige codificar información acerca de un tema, una situación o un fenómeno de tal modo que el sujeto pueda reproducir el contenido de información y el significado, explicar o dar ejemplos con sus propias palabras hasta la comprensión completa del tema, o usarlo para contribuir a solucionar cualquier problema o seguir instrucciones específicas.

Se diseñaron dos tareas para medir comprensión: una se relaciona con la comprensión verbal y examina el proceso de codificación, la segunda indaga por el componente de producción de la comprensión. La primera tarea incluye, después de leer un texto de 150 palabras, 5 instrucciones acerca de: (i) el dominio léxico o semántico; (ii) el dominio sintáctico; (iii) el dominio de coherencia proposicional; (iv) el dominio de cohesión estructural; y (v) el domino de consistencia externa. El primero se examina con el número de

Palabras identificadas como desconocidas, confusas o erróneas considerando el contenido del texto. Para el segundo se pide al sujeto asignar valores (1 – 4) considerando la presencia e magnitud de errores sintácticos. La tercera tarea pide al sujeto calificar la ilación correcta o errada entre las proposiciones que forman una unidad de significado en el texto. Para medir los dominios de coherencia proposicional el sujeto debe identificar frases contradictorias con la totalidad del texto. La cuarta tarea pide al sujeto identificar y contar número de frases o párrafos no relacionados, contradictorios o falsos frente a todo el texto, la obtención de estos datos viene de la lectura de tres párrafos dos de ellos con contradicciones. Quinto, cuando el sujeto encuentra una contradicción, se le invita a ajustar la redacción, y su elaboración se califica con una escala numérica.

La segunda tarea se orienta a examinar el componente de producción de la comprensión, esto es la habilidad del sujeto para obtener relaciones y elementos que forman objetos y situaciones (Graesser, Singer y Trabaos, 1994) de forma que los sujetos puedan explicar elementos, relaciones y atributos. Como Chi, de Leeuw, Chiu y LaVancher (1994) la tarea implica al sujeto con su propia manera de expresar, explicar los elementos, funciones, relaciones, atributos y globalidad de objetos familiares conocidos. La medición tiene en cuenta: número y nivel de abstracción de los componentes del objeto, número y nivel de abstracción de relaciones entre los elementos que explican el funcionamiento de los objetos; número y nivel de abstracción de los elementos y relaciones entre funciones de los elementos. SE definió una escala de 1 – 12 para estos datos, siguiendo una tabla preestablecida que considera el nivel de abstracción de posibles explicaciones.

Interpolación – extrapolación. Se refiere a la introducción o traslación de información o conocimiento (procedimental o discursivo) hacia el espacio del problema, cuando su ausencia crea límites o bloquea la secuencia para llegar a una solución completa del problema. Normalmente incluye reglas de descubrimiento que ayudan a seleccionar la información útil para una situación particular. La interpolación/extrapolación ayuda a cambiar las perspectivas y se operacionaliza como el número de respuestas correctas en una tarea de ordenamiento que requiere modelos conocidos para organizar la información dada.

Razonamiento. Descubrir reglas y principios a partir de proposiciones, palabras o símbolos implica razonamiento inductivo (Raimond et als, 1994). Derivar proposiciones particulares a partir de afirmaciones generales es la clave del razonamiento deductivo. El primero se mide por las respuestas correctas a una prueba de analogías diseñada con dificultad creciente que va de relaciones (inclusión, a es atributo de b, a es opuesto a b) hasta proporciones y secuencias de números. El razonamiento deductivo se obtiene por las respuestas correctas y el tiempo de respuesta utilizado para llegar a conclusiones un una secuencia de solución de un rompecabezas tipo tangram, siguiendo algunas reglas. Un grupo de reactivos en la secuencia requiere identificar un silogismo de tipo modus ponens ( si p entonces q ) para ser resueltos, y el segundo grupo de la secuencia (4 reactivos) también requiere identificar y aplicar un silogismo modus ponens pero de la forma si p entonces ~ q.

Estilo cognitivo. Aquí el estilo cognitivo se define como el modo diferencial para procesar información y tomar decisiones cuando se realizan tareas en las que son críticos hacerlo bien y rápido. Se mide por el número de respuestas correctas y tiempo de respuesta empleado para responder tres subescalas: procesamiento de información, razonamiento inductivo y razonamiento deductivo. La medición permite la ubicación de cada sujeto en un plano cuadrático: rápido y correcto (eficiente), rápido y erróneo (impulsivo), lento y correcto (reflexivo), lento y erróneo (ineficiente). En el desempeño del estilo cognitivo parece que el nivel concreto / abstracto de la información es una variable relevante y permite describir a los sujetos como con tendencia a manejar información concreta o abstracta. Este atributo se mide por el desempeño frente a reactivos de distinta densidad conceptual. La tendencia a la abstracción se presenta cuando un sujeto responde correctamente a reactivos con elementos abstractos; la tendencia a lo concreto está presente cuando un sujeto responde correctamente a reactivos con elementos concretos (¿más fáciles?).

Actitudes hacia la solución de problemas . Se define como la disposición afectiva, cognitiva y conductual de una persona cuando enfrenta un problema; actitudes positivas implican afecto motivado, cogniciones y conductas orientadas a metas específicas durante el tiempo suficiente para obtener resultados (Whimbley, citado por Raimond S. Nikerson, David n. Perkins y Eduard E. Smith, 1994, p. 57). Las actitudes hacia la solución de problemas se miden usando escalas tipo Likert en tres dimensiones: cogniciones acerca de la solución de problemas; afecto hacia la tarea y disposición a actuar hasta el final en la solución de problemas.

3. RESULTADOSS

3.1 Evaluación de la validez

Esta sección trata de responder las siguientes preguntas: esta batería ¿mide procesos de solución de problemas como fueron definidos y operacionalizados en este estudio? ¿Estos ítems y subescalas discriminan entre procesos y entre diferentes desempeños? ¿Este es un test válido? ¿Es un test confiable?

En la perspectiva de la validez de contenido, siguiendo a investigadores y jueces pares académicos, las subescalas y los items se estructuraron y diseñaron de tal modo que representan el constructo de solución de problemas (objeto de la medición). Para evaluar validez de constructo, se utilizó el coeficiente de correlación de Pearson para las variables continuas y la correlación biserial puntual para las variables dicotómicas; los resultados muestran que la correlación entre la mayoría de los items (86) y las puntuaciones totales (cada subescala) está por encima de 0.2, valor que Abdel-Gaid & cols (1986) consideran aceptable si vienes de itemes heterogéneos como en este caso.

Para analizar la consistencia interna de cada subescala y del conjunto llamado batería, se usó Alpha Cronbach como índices de confiabilidad de cada subescala como se muestra en la siguiente tabla:

Table 1. Fiabilidad de las subescalas y de la batería

Los índices a Cronbach muestran confiabilidad de las subescalas

Como muestran los datos, las subescalas de comprensión, actitudes, procesamiento de información y razonamiento inductivo obtuvieron los mejores índices de consistencia interna; recuerde que Alpha Cronbach va de 0 a 1 (también puede tener valores negativos) y, como Mallery (1995) señala, valores por arriba de 0.5 pueden considerarse aceptables, y si alcanzan valores arriba de 0.9 serían excelentes. Las últimas dos filas de la tabla 1, muestran un hecho importante: al eliminar items frágiles o sin suficiente fiabilidad, el Alpha Cronbach de todo el conjunto es superior a 0.9, aun con los mejores 38 items, valor que indica la consistencia interna de la batería como un conjunto integrado de subescalas.

Esta afirmación no es suficiente, es necesario establecer si las subescalas se necesitan o no. Puntajes bajos en los índices de correlación R de Pearson entre las puntuaciones de las subescalas indican que cada subescala trabaja independiente del resto, quiere decir, que cada subprueba mide un constructo diferente o conjunto de variables que en conjunto toman parte en la solución de problemas. Valores de R por debajo de 1 indican que cada subescala discrimina entre procesos considerados como componentes cognoscitivos críticos de la solución de problemas como una competencia cognitiva compleja y superior.

Bajas correlaciones indican independencia entre los constructos medidos.

Estos resultados muestran una herramienta psicométrica (la batería de solución de problemas) con dos rasgos principales: una prueba confiable y discriminante que necesita algunos cambios en el nivel de items para fortalecer la validez de constructo y la confiabilidad de los ítems. Esta validación preliminar permite considerarla como una prueba validada para evaluar procesos de solución de problemas.

3.2 HALLAZGOS: ¿Patrones de solución de problemas?

Con una prueba aceptablemente confiable, discriminante y válida, es posible hacer algunas inferencias acerca del constructo evaluado: la solución de problemas como una competencia cognitiva compleja. Establecidas propiedades psicométricas aceptables de la batería, pasamos a buscar la presencia o ausencia de perfiles o patrones particulares de solución de problemas; para hacerlo comenzamos con un proceso de normalización que transforma los datos obtenidos a puntajes T, y luego se compara el desempeño individual y grupal y las puntuaciones en diferentes formas. Al considerar la estructura molar de la perspectiva teórica asumida, el conjunto de valores T de cada sujeto (o grupo) puede visualizarse en un perfil que de una mirada global al desempleo en procesos de solución de problemas.

Con datos normalizados (puntajes T) para cada grupo y para la muestra total, fue posible dibujar perfiles grupales e individuales de procesos cognoscitivos de solución de problemas. La siguiente gráfica muestra el perfil de toda la muestra considerada como una unidad:

Figure 1. Groupal problem solving profile

La gráfica muestra puntuaciones T por arriba y por debajo de la media; desde este punto de vista la comprensión y actitudes, de acuerdo con los resultados como subescalas psicométricamente más fuertes, muestran que la mayoría de los sujetos evaluados están por debajo de la media, su desempeño en comprensión, actitudes y nivel conceptual(concreto en estilo cognitivo) es bajo; por su parte, la muestra vista como una unidad, muestra mejores resultados en procesamiento de la información y estilo cognitivo –en la dimensión impulsivo – reflexivo- y se queda en la media con las subescalas psicométricamente más frágiles.

Para analizar diferencias individuales y buscar semejanzas o diferencias, se aplicó cluster analysis usando variables activas (cognoscitivas) y pasivas 8demográficas) con las puntuaciones T de todos los sujetos. Este análisis considerando y midiendo distancias euclidianas a partir de los desempeños individuales, nos permitió encontrar un hecho interesante: la emergencia o la identificación de dos grupos de sujetos que parecen desempeñarse de manera similar en los procesos cognoscitivos críticos evaluados (solución de problemas) con resultados similares, y quizá haciendo procesos similares, excepto para interpiolación, subescala que no contribuye a esta agrupación.

Al aplicar cluster analysis (ver dendrograma, Fig 2) a los datos demográficos y las puntuaciones T de todos los sujetos para todas las subescalas, encontramos dos grupos diferenciados, lo cual para nosotros son probablemente dos patrones de solución de problemas; ello quiere decir que al menos, al considerar desempeños individuales, hay dos grupos de sujetos que resuelven problemas usando procesos similares y obtienen resultados similares.

Figure 2. ¿Dos patrones de solución de problemas?

El dendograma muestra dos patrones de procesos de solución de problemas.

El grupo superior (arriba en la gráfica) muestra un mejor desempeño en procesameinto, comprensión, y estilo, y un pobre desempeño en razonamiento y actitudes. El grupo inferior incluye personas con mejor desempeño en estilo cognitivo y pobre desempeño en procesamiento, razonamiento y comprensión. Al usar puntajes totales, el grupo superior muestra mejor desempeño en todo el test. La subescala de interpolación pareced no contribuir a esta diferencia.

Antes de avanzar hacia inferencias acerca de este hallazgo, debemos examinar la significancia estadística de las diferencias observadas en el dendograma, aplicando una prueba estadística de diferencia de medias (test (t de Student, α = 0.05). Así, si x es mayor que 1.65 (alfa= 0.05) concluimos que las diferencias entre los dos grupos son estadísticamente significativas.

Tabla 7. Diferencias de medias después del cluster analysis

Al considerar las diferencias entre los mejores y peores desempeños entre grupos con cada subescala, sorprende la que las subescalas de procesamiento, razonamiento y comprensión muestran mayores diferencias entre medias.

Ello significa que la batería puede discriminar a los sujetos y localizarlos, con un buen nivel de confianza en uno u otro nivel de desempeño en solución de problemas; ello quiere decir que la herramienta psicométrica puede ser un buen predictor de desempeño en solución de problemas. Cuando pueda estandarizarse se construirá como una herramienta adecuada a nuestra frontera cultural, algo más valioso que importar pruebas de otros contextos culturales.

4. DISCUSIÓN

La validación de una prueba psicológica es un proceso complejo y abierto que implica diseño, análisis, fundamentación teórica que pueda guiar, acompañar, garantizar la calidad del binomio puntaje-interpretación, obteniendo suficiente evidencia empírica de confiabilidad y validez (de constructo, discriminante, predictiva) (Elosúa, 2003).

El proceso de validación debe garantizar que una medición diseñada y aplicada corresponde correctamente a una realidad específica existente; lo cual quiere decir que el sistema relacional formal (modelo construido para medir) corresponde al sistema relacional empírico (objeto de la medición) de modo que sea posible plantear que uno representa al otro (Muñiz, 1998: 16) en sus elementos, sus relaciones, sus propiedades. Esta afirmación es el tema principal del enfoque representacional (Kramp, 2006) duramente criticado debido a su pobre contribución a la teoría psicológica y la práctica profesional (Muñiz, 1998).

A pesar que la teoría de la medición exige comenzar con conceptos claramente definidos y científicamente validados, en la medición y evaluación de solución de problemas cumplir ese requisito es muy difícil debido a que este campo cognitivo presenta baches teóricos y metodológicos que hacen imposible por ahora formular afirmaciones conclusivas acerca de diferentes aspectos (Funke & Frensch, 2007: 27). Esta situación asigna una doble tarea: examinar una propuesta teórica y, al mismo tiempo, examinar una herramienta de evaluación fundamentada en esa propuesta; este trabajo casi circular, abre posibilidades para avanzar en las teorías de solución de problemas y para fortalecer conceptos y mediciones. En este sentido, hablando acerca de inteligencia Muñiz dice “curiosamente, las predicciones posibles fundamentadas en mediciones de inteligencia (validez predictiva) se conocen mejor que la misma naturaleza de la inteligencia (validez de constructo)” (1998: 14); esta nota se puede utilizar para entender también que aún hoy no hay teorías sólidas, suficiente y científicamente aceptadas acerca de la solución de problemas, razón que hace valioso buscar contribuir a este campo con experiencias de medición, cuidando de hacer claridad del nivel y alcance de cualquier afirmación.

El estado del arte en solución de problemas muestra diversos desarrollos teóricos, diversas perspectivas, énfasis, métodos y pruebas (Funke y Frensch, 2007; Sternberg, 2007; Otto & Lantermann, 2006), así plantear avances en conceptualización y medición de este constructo puede permitir nuevas modificaciones, complementos o formulaciones acerca de los procesos de solución de problemas. Por ejemplo, no hay duda que es necesario un mejor entendimiento de ¿que es un problema?, ¿cuál es la especificidad de un probelma simple? ¿Cuáles son las características un problema complejo? ¿Quién es y cómo opera un solucionador? ¿Cómo podemos evaluarlo? ¿Cuáles procesos entran en acción cuando el solucionar comuenza su trabajo de solucionar un problema, cuando se representa el problema y va por una secuencia conocida de pasos en el proceso? Nuestro programa de investigación se relaciona con estas preguntas, especialmente con la última.

Tradicionalmente solución de problemas se ha pensado como una secuencia de pasos desde una perspectiva lineal y cíclica, pero se ha carecido de más atención a los procesos cognitivos subyacentes como base para conceptualizarlo; nuestro perspectiva molar (o componencial para algunos) coincide en una forma importante con la definición europea de solución de problemas, porque ambos lo describen como una competencia cognitiva, y es posible hacer la inferencia que la solución de problemas es una resultante de la interacción sinérgica de procesos cognoscitivos críticos identificables que pueden estudiarse como predictores de la solución de problemas. Cuando un solucionador enfrenta un problema sus procesos cognitivos logran una interacción sinérgica pero desde su especificidad, y la acción de equipo le permiten a l solucionar (cognitivamente) llegar o encontrar la solución.

Uno de los propósitos de este trabajo, fue identificar y medida procesos cognoscitivos críticos que tienen parte o hacen parte o contribuyen a la solución de problemas, dando un rol importante a las actitudes hacia la solución de problemas, punto en el que descubrimos otra coincidencia con la tradición europea que señala “CPS implica la interacción eficiente entre un solucionador y los requerimientos situacionales de la tarea e involucra ello cognitivo, emocional, personal, habilidades sociales y conocimiento del solucionador” (Funke & Frensch, 1995: 18); su perspectiva incluye la intencionalidad y variables motivaciones utilizadas para diferenciar solución de problemas explícita e implícita; además concluyen a partir de evidencia empírica que el procesamiento de información, el razonamiento y el aprendizaje potencial han emergido como los principales predictores de solución de problemas ( Funke & Frensch, 2007). No obstante, considerando la misma evidencia empírica, creemos que ninguno de los procesos identificados como críticos, podría en sí mismo ser suficiente para lograr una solución efectiva, y sin alguno de ellos el proceso no podría ser efectivo; cada uno es necesario pero no suficiente para convertirse en solución de problemas.

Al analizar nuestros resultados, teniendo en cuenta el doble punto del ciclo: examinar la propuesta teórica y examinar la batería para evaluar los procesos cognoscitivos de solución de problemas, encontrarnos unos puntos interesantes: las correlaciones de Pearson y los valores α Cronbach descritos en la sección previa, son una primera evidencia que la muestra de ítems son relevantes para el constructo, y que la batería logra un nivel de confianza aceptable. Además, de acuerdo con Elosúa (2003) y Sireci (1998) la construcción de la prueba tuvo en cuenta análisis previos de definición de dominio del constructo, representatividad y relevancia. Relaciones superiores entre los ítems y las subescalas informan acerca del desempeño del sujeto en dos niveles: procesos críticos y solución de problemas, y juntos conforman una evidencia empírica de la validez de coonstructo. Bajas correlaciones entre evidencia de subescalas que examinan constructos (procesos) son independientes entre sí, y altas correlaciones entre sujetos próximos permitieron, mediante cluster analysis, pensar que nuestro modelo molar puede estar correctamente orientado.

El modelo teórico y la batería deben ser aún muy evaluados con métodos psicométrios y estadísticos más fuertes, particularmente en su validez predictiva; las propiedades de la batería deben examinarse hasta refinar el formato, los tipos de tareas, el protocolo de aplicación (instrucciones, relación examinador-examinado), deben revisarse y replicarse con muestras mayores los resultados del cluster analysis para responder si la agrupación en dos o más tendencias es constante o no, especialmente con aquellas subescalas que requieren ajustes.

Para avanzar en esta validación, elegimos un modelo de teoría clásica de los test, considerando que los datos y el estadio del proceso de investigación no hacen posible intentar disminuir la varianza de error, principal ventaja de la TRI ; para usar este nuevo modelo es necesario tener un modelo teórico más fuerte, y una evaluación de batería más robusta.

Esta investigación permitió identificar los perfiles individuales de solución de problemas y dos patrones grupales de solución de problemas; esperamos que podamos examinar el alcance predictivo en desempeño en solución de problemas con diverso tipo de grupos de estudiantes o trabajadores.

Nuestros resultados, obviamente debatibles, sugieren que nuestras formulaciones teóricas iniciales están bien orientadas, pero este es un paso menor en un largo camino en el cual nos gustaría contar con compañía. El universo grande, compleja, múltiple, diverso y creciente de problemas hará más pequeño este esfuerzo, pero seguramente podremos llevar a ver algo nuevo acerca de nuestras mentes y de nosotros mismos.

5. Referencias

Abdel-Gaid, S., Trueblood, C. R. & Shrigley, R. L. (1986) A sistematic procedure for constructing a valid microcomputer attitude scale. Journal of Research in Science Teaching, 23, 823-839

Adelson, B. (1984) When novices surpass experts: The difficulty of task may increase with expertise. Journal of experimental psychology: Learning, memory and cognition, 10, 483 - 495.

American Educational Research Association (2004), or the International Test Comission who have defined norms like Standards for Educational and Psychological Testing (2006)

Andrés Pueyo, A. (1997). Manual de psicología diferencial. Barcelona: McGraw-Hill.

Botía, M.L. & Orozco, L.H. (2005), Aproximación crítica a los modelos teóricos en solución de problemas. En: Memorias IV Encuentro Nacional de Grupos de Investigación. Universidad Antonio Nariño, Bogotá.

Botia & Orozco, 2008b)

Brown, F. (1980). Principios de la medición en psicología y educación. México: El Manual Moderno.

Burns, B. & Vollmeyer, R. (2000) Problem Solving: Phenomena in Search for a Thesis. In Proceedings of the Cognitive Science Society Meeting. (NY, Lawrence Erlbaum associated). 627-632.

Campbell, N. R. (1938: 136). Symposium: Measurement and its importance for philosophy. Aristotelian Society, vol. 17 (Suplemento). Londres: Harrison.

Chi, M.T.H., de Leeuw, N., Chiu, M.H. y LaVancher, C. (1994). Eliciting self-explanations improves understanding. Cognitive Science, 18, 437-477.

Coombs, 1964.

Cortada, N. de Kohan. (1994) Diseño estadístico para investigadores de las Ciencias Sociales y de la Conducta. Eudeba. Bs. As.

Fernández-Ballesteros, R. (1996) Introducción a la evaluación psicológica. Vol. 1. cap. 1 y 2 “Conceptos y modelos básicos”, Madrid, Ediciones Pirámide.

Elosua Oliden, Paula (2003) Sobre la validez de los test. Psicothema, Vol 15, n° 2, 315-321. _ http://redalyc.uaemex.mx/redalyc/pdf/727/72715225.pdf

Fernández-Ballesteros, R. (2004ª) evaluacion psicologica conceptos, métodos y estudio de casos. Piramide. 1 ed. ISBN: 978-84-368-1889-5 EAN: 978843681889 496 páginas

Rustica, Colección: Psicología útil.

Frensch, P.A. & Funke, J. (1995) Definitions, traditions, and a general framework for understanding complex problem solving. In P. A. Frensch and J. Funke (Eds.), Complex

Frensch, P.A. & Funke, J. (2007) Complex Problem solving: the european perspective – 10 years after. In: Jonassen D. (2007) (Edr) Learning to solve problem scientific problems.

Garaigordobil, L.M. (1998) Evalucación psicológica: bases teórico-metodológicas, situación actual y directrices del futuro. Salamanca : Amerú.

Graesser, A.C.; Singer, M. y Trabasso, T. (1994). Constructing inferences during narrative text comprehension. Psychological Review, 101, 371-395.

Guilford, J.P. (1967). La naturaleza de la inteligencia humana. Barcelona : Paidós, 1987

Guilford J.P. (1986). Creative talents: Their nature, uses and development. New York: Bearly.

Guilford, J.P. (1986). La naturaleza de la inteligencia humana. Barcelona : Paidós; original: The nature of human intelligence. New York: McGraw-Hill, 1967.

Guilford, J. P. (1994) Estadística aplicada a la psicología y a la educación. Bogotá: Mac Graw Hill.

Gulliksen, H. (1950/1987). Theory of mental tests. Hillsdale: Lawrence Erlbaum Associates

Hambleton, R. K., & Swaminathan, H. (1985). Item response theory: Principles and applications. Hingham , MA : Kluwer-Nijhoff.

Hayes, (1978)

Howie, D. E. Vicente, K. J. (1998) Measures of operator performance in complex, dynamic microworlds: advancing the state of the art. Ergonomics, 41, 485 - 500.

Parra, J. & Montealegre, R.( 2005) Personal written communications.

Jonassen, D.H. (1997) Toward a Meta-Theory of Problem Solving. Online cfr. mar 31-2006: http://www.coe.missouri.edu/~jonassen/problems.htm"__http://www.coe.missouri.edu/~jonassen/problems.htm_

Lawley, D. N. and Maxwell, A. E. (1971) Factor Analysis as a Statistical Method. Second edition. Butterworths.

Lord, F.M. y Novick, M.R. (1968). Statistical theories of mental test scores. Reading , MA : Addison Wesley.

Lord, F. M. (1980). Applications of Item Response Theory to Practical Testing.

Mallery P. y George D.(1995) SPSS/PC + step bay step: a simple guide and reference,

Wadsworth Publishing Company. Belmont, CA. EE. UU.

Marr, J. J., (2000). The military decision-making process: making better decisions versus making decisions better. Online: http://stinet.dtic.mil/cgibin/GetTRDoc?AD=ADA387136&Location=U2&doc=GetTRDoc.pdf

Martínez Arias, R. (1996). Psicometría: teoría de los tests psicológicos y educativos. Madrid: Síntesis.

Mayer R. E. & Wittrock, M. C. (1996) Solución de problemas. Macmillan. Nueva York, 1996.

McDonald, R.P. (1999) Test theory: a unified treatment. Mahwah. NJ.: Lawrence Erlbaum Press.

Messick (1989)

Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons' responses and performances as scientific inquiry into score meaning. American Psychologist, 50, 741–749.

Mherens y Lheman (1982). Medición y evaluación en la educación y en la psicología. México: CECSA.

Muñiz, J. (1997). Aspectos éticos y deontológicos de la evaluación psicológica. En A. Cordero (Ed.), Evaluación psicológica en el año 2000 (pp. 307-345). Madrid: TEA Ediciones.

Muñiz, J., & Hambleton, R. K. (1996). Directrices para la traducción y adaptación de los tests. Papeles del Psicólogo, 66, 63-70.

Muñiz, J. (1998) La evaluación de lo psicológico. Psicothema,

Muñiz, José. (2003). Teoría Clásica de los Test. Madrid : Ediciones Pirámide.

Murphy, K. R. Y y Davidshofer, C. O. (1994) Psychological testing: Principles and applications (3º Ed.) Englewood Cliffs, NJ: Prentice Hall.

Nikerson, R. Perkins, D. y Smith, E. (1994) Enseñar a pensar. Aspectos de la aptitud intelectual. Barcelona: Editorial Paidós.

Nunnally, J. C. (1987). Teorías psicométricas. México: Trillas.

Nunnally, 1967 VALIDACION 2

Otto, J & Lantermann ND (2005) individual differences in emotional: Clarity and complex problem solving. Imagination, Cognition And Personality , Vol. 25(1) 3-24, 2005-2006

Poissant, H. Poellhuber, B. Falardeau, M. (1994) Resolution de problemes, autoregulation et apprentissage. Canadian Journal of Education . Toronto : Winter 1994.Vol.19, Iss. 1; pg. 30

Putz-Osterloh, W. & Lüer, G. (1981) The predictability of complex problem solving by performance on an intelligence test. Zeitschrift für Experimentelle und Angewandte Psychologie, 28, 309-334, 1981.

Queendom, (2008) _ Online: http://www.queendom.com/queendom_tests

Quesada, J. & Kintsch, W. (2006) Complex problem solving: a field in search of a definition?. Institute of Cognitive Science . Online noviembre 20/2006: http://lsa.colorado.edu/~quesadaj/pdf/manuscriptTIES.3.9.postReview.pdf

Roth, Michael, McGinn, Michelle K. (1997) Toward a new perspective on problem solving. Canadian Journal of Education. Toronto : Winter 1997. Vol. 22, Iss. 1, p. 18

Sireci, S.G. (1998) Gathering and analyzing content validity data. Educational Assesment , 5 (4), 299 – 321.

Skinner, B. F. (1957) Verbal Behavior. New york : Appleton-Century-Crofts,Inc.

Spearman, C. (1927). The abilities of man: Their nature and measurement. New York : Macmillan.

Sternberg. R. y Grigorenko, E. (1997). Intelligence, heredity and environment. Cambridge . Cambrige Univ. Press.

Sternberg, J. R. (2003) The psychology of problem solving. USA : Cambridge University Press.

Sternberg, 2006) PARA LEER

Sternberg, R. (2007) Assessing What Matters. Informative Assessment . December 2007/January 2008 | Volume 65 | Number 4 Pages 20-26

Stevens, S. S. (1951). Handbook of Experimental Psychology. J. Wiley and Sons Inc. , New York . Citado por Nuria Cortada de Kohan Psicología y Psicopedagogía Publicación virtual de la Facultad de Psicología y Psicopedagogía de la USAL Año II Nº 2 Diciembre 2001

Torgerson, W.S. (1962): Theory and Method of Scaling. Nueva York, Wiley, 1962.

Van Der Linden & Hambleton, R. K. (1997) Handbook of modern item response theory. New York : Springer-verlag

Walsh, W. B. (Eds.), Betz, N., Fitzgerald, L., & Fassinger, R. E. (1995). Theoretical issues in the vocational psychology of women. For S. Osipow and W. B, Handbook of vocational psychology (2nd ed.). (pp. 67-109). Hillsdale, NJ: Erlbaum.

Webster's Online Dictionary. (2007) Online agosto 01, 2007

Wood, P. K. (1983). Inquiring systems and problem structure: Implications for cognitive development. Human Development , 26 , 249-265.

Zayour, Iyad (2002) Reverse engineering: A cognitive approach, a case study and a tool. Doctoral Thesis: Institute for computer science. Ottawa.