APLICACIÓN DE UNA PRUEBA

PRUEBA DE ITEMS LIBERADOS PARA ALUMNOS DE 4º ESO. MATEMÁTICAS OPCION B

En este documento realizamos una prueba de items liberados para alumnos que cursan en estos momentos 4º ESO en el instituto I.E.S. Montserrat Roig de Elche . La materia elegida ha sido matemáticas. Los items han sido elegidos de entre los items liberados de PISA que figuran en la web del INEE y en absoluto han sido modificados. Se han elegido los siguientes items relacionados con el curriculum de secundaria que se imparte actualmente en la C.V. :

Estímulo . item	Curriculo	Curso
Chatear . item nº 1	Medida del tiempo	2º, 3º, 4º
Concierto rock. Item nº 2	Cantidades aproximadas	4º
Reproductor MP3. Item nº 3	Estimacion cantidades	4º
Alquiler DVD. Item nº 4	Ecuaciones	3º 4º

Hemos elegido estos estímulos porque son aquellos con los que actualmente el alumno está familiarizado y está trabajando en clase en la materia de matemáticas B de 4º ESO. El alumno ha trabajado con números racionales, irracionales y reales. Ha experimentado con estimaciones, valores absolutos y relativos, así como redondeo y aproximación. También se han estudiado las ecuaciones de 1º y 2º grado , así como las irracionales, los sistemas de ecuaciones y las inecuaciones y una introducción a gráficas de funciones, en especial funciones lineales y afines que se han estudiado antes en 3º ESO.

El tiempo estimado es de una hora de duración.

La prueba no ha sido pactada con los alumnos, sino que se les comentó que se haría un control de matemáticas con problemas que se proponían en pruebas de evaluación externas y que sería diferente del típico examen al que estaban acostumbrados.

El control se ha realizado el día 9 de diciembre de 2014.

La corrección del control se realizó el día 10 de diciembre. Los datos fueron recogidos ese mismo día y analizados y codificados según PISA. Los alumnos también analizaron las respuestas que realizaron en el examen.

El examen propuesto consta de cuatro  preguntas que fueron transcritas literalmente como están en las pruebas PISA:

CODIFICACIONES :

CHATEAR:

CARACTERÍSTICAS DE LA PREGUNTA 1

Idea principal: Cambio y relaciones

Competencia matemática: Conexiones

Situación: Personal

Tipo de respuesta: Respuesta corta

Dificultad: 533 (nivel 3)

Porcentaje de aciertos:

• OCDE: .............. 53,7%

• España: ............ 46,0%

CARACTERÍSTICAS DE LA PREGUNTA 2

Idea principal: Cambio y relaciones

Competencia matemática: Reflexión

Situación: Personal

Tipo de respuesta: Respuesta corta

Dificultad: 636 (nivel 5)

Porcentaje de aciertos:

• OCDE: .............. 28,8%

• España: ............ 21,6%

CONCIERTO DE ROCK

CARACTERÍSTICAS DE LA PREGUNTA

Intención: Explorar si el alumno sabe estimar cantidades.

Idea principal: Cantidad.

Competencia matemática: Nivel 2 (Conexiones e integración para resolver problemas).

Situación: Pública.

Tipo de respuesta: Elección múltiple.

REPRODUCTORES MP3

CARACTERÍSTICAS DE LA PREGUNTA 2

Descripción: Identificar la causa de un error, en una suma, cometido al

introducir en una calculadora los datos correspondientes a tres cantidades

Área de contenido matemático: Cantidad

Contexto: Personal

Proceso: Emplear

CARACTERÍSTICAS DE LA PREGUNTA 3

Descripción: Indicar si una determinada cantidad de dinero será suficiente

para adquirir una serie de artículos a los que se ha aplicado un tanto por

ciento de descuento

Área de contenido matemático: Cantidad

Contexto: Personal

Proceso: Interpretar

CARACTERÍSTICAS DE LA PREGUNTA 4

Descripción: Determinar qué formula algebraica relaciona correctamente dos

variables monetarias cuando una incluye un margen de beneficio fijo

expresado en porcentaje

Área de contenido matemático: Cambio y relaciones

Contexto: Profesional

Proceso: Formular

ALQUILER DE DVD

CARACTERÍSTICAS DE LA PREGUNTA 1

Descripción: Calcular y comparar totales en un situación cotidiana

Área de contenido matemático: Cantidad

Contexto: Personal

Proceso: Emplear

CARACTERÍSTICAS DE LA PREGUNTA 2

Descripción: Calcular y comparar totales en una situación cotidiana

Área de contenido matemático: Cantidad

Contexto: Personal

Proceso: Formula

RESULTADOS Y ESTADISTICAS.

La información de estos items liberados no es completa, ya que en 3 de ellos faltan los resultados de los alumnos que realizaron dicha prueba. Quizá es que la pregunta elegida no ha sido propuesta en ninguna prueba o no se ha pasado dicha información a la web. No obstante , los resultados son los que aparecen en esta tabla.

PREGUNTA	CODIFICACIÓN	Nº ALUMNOS	%	% OCDE/ESPAÑA
CHATEAR
Pregunta 1	C1	13	81,25%	53,7%   /   46%
	C0	3
Pregunta 2	C1	8	50%	28,8 %  / 21,6%
	C0	8
CONCIERTO DE ROCK
Pregunta 1	C1	2	12,5%
	C0	14
REPRODUCTORES MP3
Pregunta 2	C1	14	87,5%
	C0	2
Pregunta 3	C1	10	62,5%
	C0	4
	C9	2
Pregunta 4	C1	10	62,5%
	C0	6
ALQUILER DVD
Pregunta 1	C1	10	62,5%
	C0	6
Pregunta 2	C21	1	6,25 %
	C22	4	25 %
	C23	8	50 %

REFLEXION SOBRE LOS RESULTADOS DE LA PRUEBA

Tras la prueba y los resultados, los alumnos opinaron sobre la prueba con comentarios del estilo:

-pensaba que era mas dificil

-habia que pensar bastante

-se parece a la prueba diagnostica! ( referida a la prueba de 2º ESO que se desarrolla en la comunidad valenciana)

-nos cuesta razonar!

-no es un examen mecánico.!

Lo cierto es que los resultados , salvo la pregunta del concierto de Rock que fue contestada al primer impulso por los alumnos sin ni siquiera pensar que se les preguntaba,  genera una cantidad de cuestiones y reflexiones  sobre el sistema educativo, sobre la evaluacion, y sobre capacidades y competencias básicas. Normalmente se busca en 4 º de ESO una comprensión y una mecanización de muchos conceptos para terminar de aplicarlos en problemas de la vida real , y los alumnos suelen tener claro que tras una parte conceptual y procedimental estricta se puede aplicar lo aprendido a algunos problemas reales. Lo que no esperaban es que la prueba fuera enteramente con estímulos y por tanto fue la primera sorpresa al hacerles  la prueba.

Con respecto a los resultados, en la primera pregunta sobre la que tenemos la puntuación obtenida en los paises de la OCDE y España, se puede ver que se ha superado la puntuación esperada. Sin embargo en el segundo item, solo ha sido superado por dos alumnos. Lo que lleva a cuestionarse bastante algunos razonamientos de los alumnos, que nos hace plantearnos cuestiones competenciales lectoras y su aplicación en matemáticas. Esta competencia lectora es imprescindible claramente en la materia de matemáticas. 

Los demás resultados son bastante aceptables.

La codificación ha sido bastante interesante con una forma diferente de corrección y la dificultad que entraña las formas de codificación de PISA. No obstante el sistema es interesante para la codificación de problemas prácticos o el uso de respuestas múltiples en problemas de planteamiento.

Los alumnos tuvieron tiempo suficiente en una hora para realizar dicha prueba.

Los alumnos al final de la prueba y conocer resultados han comentado que les gustaria que les hiciera más pruebas como la que hemos realizado.

Notas:

-Una de las preguntas , en particular  REPRODUCTORES DE DVD empieza el item con la pregunta 2.

-las correcciones y codificaciones se pueden encontrar en http://recursostic.educacion.es/inee/pisa/matematicas/aritmetica.htm  que se accede a través del INEE.

Charla #preguntas PISA Procesos de evaluación

Se ha hecho una charla en directo con los expertos PISA del INEE y del INTEF .

Interesante sería decir poco para lo que se ha comentado. Por supuesto que hubieran podido estar horas comentando las diferentes preguntas que les hemos enviado y las evaluaciones externas como funcionan, pero en líneas generales ha sido un resumen humano , instructivo y didáctico.

Me ha enseñado tantas cosas que seguramente estaré mucho tiempo intentando aplicar los conocimientos que he adquirido para descubrir toda la problemática de la evaluación y como se podría mejorar en este tema. Y sobre todo cambiar el punto de vista de la evaluación. Como decía David “el Mooc deberían haberlo hecho claustros enteros” : las respuestas de los expertos, el trabajo que requiere el relacionar los ítems, el porqué en cada pais hay un número diferente de participantes, por qué participan una u otra comunidad autónoma, comparación entre comunidades, entre países, la búsqueda de resultados significativos, etc. etc.

Ha habido aclaraciones muy interesantes sobre algunos temas que todos los participantes del Mooc hemos preguntado

La dirección de la charla que recomiendo por todos los motivos aducidos anteriormente es https://www.youtube.com/watch?v=7s8_CLEPv5k

La evaluación de nuestro alumnado y las comparaciones con los demás paises para buscar todas las mejoras que podamos es más que motivo suficiente para que lo veaís, lo analiceis y lo disfruteis como yo. Os lo recomiendo!!! 

Actividad 4. Elaboramos nuestros propios ítems

Item PISA:construcción.

La unidad que voy a trabajar para la prueba de estímulo es  Sucesiones y Progresiones.

Curso:3ºESO

Edad: 13-14 años.

Materia : matemáticas

COMPETENCIAS:

Desarrolla fundamentalmente las competencias:

a)      Matemática.

b)      Tratamiento de la información y competencia digital.

c)      Competencia cultural y artística.

         d)Competencia para aprender a aprender.

Los problemas con progresiones aritméticas se resolverán pensando sobre la situación presentada y no en las fórmulas.

OBJETIVOS DIDÁCTICOS:

1.      Identificar las sucesiones y sepa hallar el término general. 

2.      Conocer la forma recurrente de las sucesiones.

3.      Reconocer las progresiones aritméticas y sepa sumar n términos.

4.      Reconocer las progresiones geométricas y sepa sumar n términos e infinitos términos cuando |r| < 1. Aplicaciones

5.      Resolver problemas con las sucesiones y progresiones.

En este primer item hemos desarrollado parte del objetivo didáctico número 1 y 2.

1.      Con cerillas se han construido las figuras.

a)     ¿Cuántas cerillas se necesitan para formar una figura con  4 hexágonos?

b)     ¿Cuántas cerillas se necesitan más para formar  5 hexagonos a partir de 4 hexágonos?

c)     ¿Cuántas cerillas se necesitan para formar una figura con  10  hexágonos?

Pregunta a)

Dominio contenidos	Nivel de desempeño
Números	medio

Intencionalidad de la pregunta: Identificar que una sucesión sigue una ley aditiva.

Área matemática: Relaciones y recursividad

Contexto : científico

Proceso: interpretar.

Puntuación completa:

Código 1 : el valor exacto es 21

El alumno puede dibujar los cuatro hexágonos y contar las cerillas

Sin puntuación

Código 0 : otras respuestas

Código 9 :  omisión

Pregunta b)

Dominio contenidos	Nivel de desempeño
Números	Medio

Intencionalidad de la pregunta: Identificar cual es la diferencia de la sucesión y si se cumple la ley

Área matemática: Relaciones y recursividad

Contexto : científico

Proceso: interpretar.

Puntuación completa:

Código 11 : el valor exacto es 5

Respuesta parcial:

Codigo 10: el alumno da los valores 6, 11, 16,21  NO identificando la relación entre el número de cerillas.

Sin puntuación

Código 0 : otras respuestas

Código 9 :  omisión

Pregunta c)

Dominio contenidos	Nivel de desempeño
Números	alto

Intencionalidad de la pregunta: Identificar cual es la ley numérica de la sucesión

Área matemática: Relaciones y recursividad

Contexto : científico

Proceso: calcular

Puntuación completa:

Código 11 :

-el valor exacto es 51

 el alumno da los valores 6, 11, 16,21,…51  identificando la relación entre el número de cerillas.

Respuesta parcial:

Codigo 10: el alumno da los valores 6, 11, 16,21,…51  NO identificando la relación entre el número de cerillas.

Sin puntuación

Código 0 : otras respuestas

Código 9 :  omisión

Actividad 3. Opinamos en el espacio de debate

Cuando elaboras una prueba

-¿Que tipo de preguntas utilizas más frecuentemente?

-¿Evitas algún tipo de preguntas ?

Mi trabajo requiere un uso de muchos tipos de preguntas. Las matemáticas es una ciencia muy abierta y no lo digo por los resultados, sino porque cada prueba que intento hacer implica conocer unos conceptos, usar procedimientos de base, procedimientos del tema en sí y razonamiento y capacidad de comprensión de la pregunta que formulo a los alumnos. Las matemáticas son propicias para poner en práctica todos los conocimientos que se adquieren en una unidad y por ello uso muchos tipos de pruebas. A veces he usado ,las menos veces, pruebas de elección múltiple cuando solo se ha exigido un conocimiento o una resolución muy rápida de alguna operación matemática que no implique un gran nivel de procedimiento, ya que desvirtuaría el valor de la prueba con los errores de los alumnos. Otro tipo de preguntas que suelo usar son, usando el lenguaje de PISA, elegir un estímulo y buscar más de una pregunta sobre el tema que aparece en el estímulo. En algunos casos son independientes, en  otros , sobretodo para las pruebas de profundización suelen ir relacionadas. En muchas ocasiones me decanto  por las preguntas abiertas, siempre que sea posible en las unidades de matemáticas.

Para ello antes de elegir preguntas, reflexiono sobre los objetivos que busco, los contenidos que he impartido y cual va a ser la forma de corrección  o de codificar en lenguaje PISA.

También es cierto que muchas preguntas son meros cálculos para evaluar las capacidades y procedimientos de mis alumnos, ya que hay ciertos aspectos de la matemática que requiere de cierto hábito de trabajo y de constancia para dominar algunos conceptos. Quede claro que también hay preguntas de reflexión, preguntas de motivación aparte de las preguntas cerradas en resultados de cálculo.  

Procuro evitar preguntas que ya den las respuestas directamente  o preguntas que no valoren realmente si el alumno alcanza las competencias matemáticas que busco en cada unidad. 

¿nos consideramos justos, estrictos o que corregimos con manga ancha? ¿qué procedimiento sigues para corregir por igual a todos los alumnos?

En primer lugar la corrección de una prueba es una tarea bastante complicada. Es decir, hay que buscar un procedimiento para ser justos y conseguir lo que se busca con una prueba escrita. Respecto a la primera pregunta yo me considero justo y estricto y no entiendo la idea de corregir con manga ancha, porque precisamente corregir  es una labor de evaluación al alumno y hacia el trabajo que tú mismo has hecho proponiendo unos items que quizá no sean apropiados. Me considero justo en el sentido de que en una prueba se trabaja todo lo que se ha trabajado en clase, explicado, con trabajos del alumno , en casa , con intervenciones en clase. Y me considero estricto en la medida que corregir , o codificar, es una tarea que busca la evaluación del alumno y por ello debo considerar que hay que serlo para ser justo.
Respecto a los procedimientos para corregir por igual a todos los alumnos, en primer lugar , me baso para empezar a corregir, en empezar a construir la prueba. Para ello , busco los objetivos mínimos apropiados que el alumno debe conocer y que ha trabajado en clase y busco los procedimientos adecuados para que el alumno resuelva las pruebas adecuadamente. Cada pregunta la codifico desde el objetivo mínimo indispensable que el alumno debe conocer a buscar una dificultad creciente para que el alumno pueda exponer todos sus conocimientos en dichos problemas y utilizar lo aprendido en clase para resolverlo.
Por ello cada pregunta que realizo tiene diferentes niveles de dificultad para poder corregir por igual a todos los alumnos. Que dificil es corregir un examen!!!
Tambien comento que muchas veces , en algunos cursos, nos dedicamos a poner pruebas que son un calco de otras, como en 2ºBAT, en el que muchas veces ponemos pruebas  exactamente iguales a las de selectividad para que los alumnos se acostumbren a este tipo de pruebas y la corrección se realiza bajo los estandares de las puntuaciones que se otorgan y se codifican en selectividad. En otros cursos realizamos pruebas tests que son las más justas para la igualdad de los alumnos, pero no siempre se puede o se debe hacer un examen test.
La búsqueda de la igualdad en la corrección de un examen para todos los alumnos es realmente dificil. Como elaborar una prueba de PISA o TIMMS o de cualquier evaluación internacional.

DOS ITEMS LIBERADOS. ESTIMULOS PARA ACTIVIDADES

A partir de dos estímulos de los items liberados de  las evaluaciones externas de PISA y TIMMS vamos a plantear un conjunto de actividades en el campo de la competencia básica matemática que dichas evaluaciones externas analizan.

Hemos elegido los siguientes items que se pueden encontrar en la página del Instituto Nacional de evaluación estadística:

Item de TIMMSS:

Item de PISA :

Trabajaremos el item de TIMMS para el último curso de Primaria en la competencia matemática. En la prueba está codificada esta pregunta :

Dominio de contenido	Dominio cognitivo	Respuesta correcta	Nivel de desempeño
Números	aplicación	C	alto

Realizaremos una actividad  cuyo dominio de contenido serán los datos y su análisis mediante las frecuencias de los colores y su inferencia en el mundo real. Su dominio cognitivo será también de aplicación y su nivel de desempeño va a ser alto.

Respecto a la prueba de PISA , la expondremos para un nivel de matemáticas curso 4º ESO opción B en sus últimas unidades que es la parte de Estadística y probabilidad contemplada en el curriculum de 4º ESO.

¿Utilizar los recursos liberados de ediciones anteriores en las clases o en casa puede mejorar los resultados de nuestros alumnos?

¿utilizar los recursos liberados de ediciones anteriores en las clases puede mejorar los resultados de nuestros alumnos?
Francamente después de explorar el conjunto de items liberados de PISA y de TIMMS yo diria que sí. Por ejemplo en TIMMS, cada pregunta liberada nos ofrece un dominio de contenido, un dominio cognitivo, las respuestas y el nivel de desempeño. Según TIMMS y son un recurso útil para el profesorado al hacer posible trabajar en el aula con preguntas que también se usan en un gran número de países de 
nuestro entorno más cercano". Y por si fuera poco  en los  ultimos informes PIRL-TIMMS están todos los informes y estadisticas disponibles. Cada item es competencial, y nos ofrece un marco de evaluación impresionante. Puede ser una herramienta fantástica para nuestros alumnos y por supuesto para los profesores, ya que cada item liberado es un item consensuado por gran cantidad de expertos para que pueda ser asequible y accesible a todos los demás paises participantes.
En las preguntas liberadas de PISA también nos ofrece un abanico inimaginable de información: la descripción de la pregunta, el área de contenido correspondiente, el contexto y el proceso . Y la puntuación completa. Al igual que TIMMS nos ofrece una cantidad de capacidades que se pueden estudiar al realizar los items con los alumnos y un estudio de las competencias básicas bien logrado .Por si fuera poco el Instituto Nacional de Evaluación Educativa proporciona toda una colección de informes, estadísticas e indicadores educativos sobre nuestro sistema educativo y sobre diferentes sistemas educativos de otros países, que junto con las preguntas liberadas de las evaluaciones PISA, PIRL, TIMMS, etc, nos adentra en una herramienta para mejorar realmente los resultados de nuestros alumnos y poder evaluar mejor sus capacidades en vistas conseguir los objetivos educativos que buscamos en nuestros alumnos.
¿Es posible trasladar al día a día del aula alguno de los estándares de las evaluaciones externas?
Se pueden trasladar al día a día dichas pruebas por varios motivos:
a)Los items liberados están elaborados para buscar que pueden saber los alumnos con lo que saben hacer.
b)No son preguntas al uso y por ello debido a la cantidad de estímulos que usan son realizados por los alumnos como una simple operación o con una respuesta académica, ya que dichos items permiten diferentes evaluaciones de diferentes capacidades del alumno.Los ítems liberados se pueden aprovechar ya que por su estructura se pueden llevar a la práctica para  la evaluación en competencias de nuestros alumnos