So bằng kết quả trắc nghiệm môn Toán bằng lí thuyết đáp ứng IRT

TAÏP CHÍ ÑAÏI HOÏC SAØI GOØN Soá 6 - Thaùng 6/2011<br /> <br /> <br /> SO BẰNG KẾT QUẢ TRẮC NGHIỆM MÔN TOÁN<br /> BẰNG LÍ THUYẾT ĐÁP ỨNG IRT<br /> <br /> ĐỖ ĐÌNH THÁI, LÊ CHI LAN (*)<br /> TÓM TẮT<br /> Việc so sánh các điểm trắc nghiệm của các đề thi trắc nghiệm khác nhau là một vấn đề<br /> rất quan trọng trong việc đo lường và đánh giá năng lực của thí sinh. Nếu hai thí sinh làm<br /> hai đề trắc nghiệm khác nhau thì làm sao so sánh điểm của hai thí sinh đó với nhau. Trong<br /> bài viết này, chúng tôi trình bày ngắn gọn khái niệm so bằng trong lí thuyết trắc nghiệm cổ<br /> điển và hiện đại. Chúng tôi tiến hành thực nghiệm thông qua hai đề trắc nghiệm khác nhau<br /> nhưng có một số câu hỏi bắc cầu, thực hiện quy trình so bằng kết quả tính toán từ hai đề<br /> trắc nghiệm nhờ phần mềm phân tích trắc nghiệm VITESTA.<br /> <br /> ABSTRACT<br /> Comparing the scores of different multiple-choice tests is very important in measuring<br /> and assessing students ‘ability. Since it’s not easy to compare the scores of two students on<br /> two different multiple-choice tests, we present in this article with a few words the concept<br /> of equal comparison in classical test theory (CTT) and item response theory (IRT).<br /> Through two different multiple-choice tests with some bridging questions and with the help<br /> of the software VITESTA which analyzes multiple-choice tests, we worked on the process<br /> of balancing the results of the two tests.<br /> <br /> GIỚI THIỆU (*) điểm của hai đề trắc nghiệm. Qua quá trình<br /> So sánh các điểm số trắc nghiệm từ đó, sự tương ứng giữa hai bộ điểm của đề<br /> các đề trắc nghiệm khác nhau đo cùng một trắc nghiệm X và Y được xác lập. Điểm số<br /> năng lực là một trong những vấn đề đang của đề trắc nghiệm X được chuyển đổi sang<br /> được quan tâm của các chuyên gia trong thang đo và đơn vị đo của đề trắc nghiệm Y<br /> lĩnh vực đo lường và đánh giá. Nếu 2 thí thông qua một số phép tính. Điều này có<br /> sinh làm hai đề khác nhau thì khó so sánh nghĩa là thí sinh làm đề trắc nghiệm X có số<br /> năng lực của 2 thí sinh này, nhưng nếu 2 điểm là a, có thể quy đổi từ a sang điểm là b<br /> thí sinh này cùng làm trên một đề thì việc đối với đề trắc nghiệm Y. Từ đó, chúng ta sẽ<br /> so sánh năng lực của 2 thí sinh này rất dễ dễ dàng so sánh năng lực của các thí sinh<br /> dàng. Chính vì vậy, chúng tôi tiến hành sau khi thực hiện phép so bằng nói chung và<br /> nghiên cứu lí thuyết so bằng 2 đề trắc quy đổi điểm nói riêng.<br /> nghiệm dựa trên lí thuyết trắc nghiệm cổ 1. PHƯƠNG PHÁP SO BẰNG<br /> điển và hiện đại. 1.1. Lí thuyết trắc nghiệm cổ điển<br /> Để so sánh các điểm thu được bởi đề (Classical test theory – CTT)<br /> trắc nghệm X và đề trắc nghiệm Y, chúng ta a. Khái niệm<br /> phải thực hiện một quá trình so bằng các Có 2 loại so bằng theo phần trăm và so<br /> bằng tuyến tính.<br /> (*)<br /> ThS, Trường Đại học Sài Gòn Giả sử có 2 đề trắc nghiệm X và Y<br /> <br /> 121<br />  + So bằng theo phần trăm: xem điểm Các điều kiện so bằng trong lí thuyết<br /> của đề trắc nghiệm X và đề trắc nghiệm Y trắc nghiệm cổ điển rất khó gặp trong thực<br /> là tương đương nếu thứ hạng của chúng tế. Vì vậy, để khắc phục các nhược điểm từ<br /> trong 1 nhóm bất kì nào cũng bằng nhau. lí thuyết trắc nghiệm hiện đại, lí thuyết IRT<br /> + So bằng tuyến tính: Gọi x là điểm đã đưa ra các so bằng như sau:<br /> đề trắc nghiệm X, y là điểm đề trắc Theo IRT ta không cần so bằng 2 đề<br /> nghiệm Y. Ta có quan hệ tuyến tính y = trắc nghiệm nếu:<br /> ax + b, trong đó y = a x + b, y = a x + Mô hình ứng đáp câu hỏi trùng khớp<br /> (x, y : giá trị trung bình, x, y : độ lệch với số liệu (có thể so sánh trực tiếp các<br /> chuẩn các điểm đối với đề trắc nghiệm X tham số năng lực của 2 thí sinh làm 2 đề<br /> và đề trắc nghiệm Y). trắc nghiệm khác nhau).<br /> y  + Nếu 2 thí sinh làm 2 đề trắc nghiệm<br />  y    ( x  x )   y khác nhau mà trong các đề đã biết các tham<br /> x  số của câu hỏi thì sẽ thu được các giá trị<br />  công thức so bằng tuyến tính ước lượng năng lực của họ trên cùng 1<br /> x  x y  y thang đo.<br /> <br /> x y Câu hỏi đặt ra là vậy khi nào cần so<br /> b. Điều kiện có thể so bằng (Lord FM) bằng? khi chưa biết các giá trị ước lượng<br /> (1) Các đề trắc nghiệm đo các năng lực của câu hỏi và năng lực của thí sinh.<br /> tiềm ẩn khác nhau không thể so bằng. Để thực hiện phương pháp so bằng<br /> (2) Các điểm thô đối với các đề trắc trong IRT ta cần xác lập thang đo (scaling)<br /> nghiệm có độ tin cậy khác nhau không thể và định cỡ.<br /> so bằng. b. Cách xác lập thang đo trong quá<br /> (3) Các điểm thô đối với các đề trắc trình định cỡ<br /> nghiệm có độ khó khác nhau không thể so Khi chưa biết các giá trị ước lượng của<br /> bằng. câu hỏi. Theo tính bất định ta có: P(*) =<br /> (4) Các đề trắc nghiệm có độ tin cậy P() khi ta thay  bởi * =  + b, b bởi b*<br /> cao có thể so bằng. = b + , a bởi a* =<br /> a<br /> .<br /> c. Tính bất biến và tính đối xứng <br /> Ngoài các điều kiện có thể so bằng ở Lưu ý: Đối với mô hình 1 tham số thì<br /> trên thì 2 đề trắc nghiệm để có thể so bằng a = 1.<br /> được cần bổ sung 2 tính chất. * Phương pháp xác định thang đo và<br /> + Tính đối xứng (không phụ thuộc vào định cỡ:<br /> việc đề trắc nghiệm nào được dùng làm Trường hợp 1: Trường hợp 2 nhóm thí<br /> chuẩn so sánh). sinh làm 1 đề trắc nghiệm<br /> + Tính bất biến (quy trình so bằng Tiến hành ước lượng tham số câu hỏi<br /> không phụ thuộc vào mẫu). và năng lực thí sinh được thực hiện trên 1<br /> 1.2. Lí thuyết trắc nghiệm hiện đại đề trắc nghiệm với 2 nhóm thí sinh A và B<br /> (Item response theory – IRT) khác nhau. Để tiến hành ước lượng cần cố<br /> a. Khái niệm định thang đo. Có 2 cách:<br /> <br /> <br /> 122<br />  Cách 1: Chuẩn hoá độ khó (cố định Vì ,  đã được xác định nên ước lượng<br /> giá trị trung bình và độ lệch chuẩn của tham số câu hỏi của nhóm B có thể<br /> độ khó) đặt trên cùng 1 thang đo như ước lượng<br /> Do 2 nhóm thí sinh làm cùng 1 đề trắc tham số câu hỏi của nhóm A.<br /> nghiệm nên giá trị ước lượng tham số sẽ Trường hợp 2: Trường hợp 1 nhóm thí<br /> như nhau nếu mô hình trùng khớp với số sinh làm 2 đề trắc nghiệm<br /> liệu (do tính bất biến). Việc xác lập thang Khi 1 nhóm thí sinh làm 2 đề trắc<br /> đo đối với các giá trị độ khó sẽ đặt các giá nghiệm X và đề trắc nghiệm Y thì tham<br /> trị ước lượng tham số câu hỏi và năng lực số năng lực là như nhau (nếu đặt giá trị<br /> thí sinh trên cùng 1 thang đo. trung bình và độ lệch chuẩn của  bằng 0<br /> Cách 2: Chuẩn hoá các giá trị năng lực. và 1). Tuy nhiên, trong thực tế chúng có<br /> Gọi bA, aA là ước lượng tham số độ thể khác nhau. Vì thế cần phải đặt chúng<br /> khó và độ phân biệt của nhóm thí sinh A. trên cùng 1 thang đo dựa vào mối quan<br /> Gọi bB, aB là ước lượng tham số độ khó hệ tuyến tính.<br /> và độ phân biệt của nhóm thí sinh B. Trường hợp 3: Trường hợp nhiều<br /> Suy ra quan hệ tuyến tính: nhóm thí sinh làm nhiều đề trắc nghiệm<br /> a Đối với thí sinh làm nhiều đề trắc<br /> bA = bB + ; aA = B<br />  nghiệm không thể so bằng mà cần phải<br /> và * = B +  thực hiện thiết kế các kết nối.<br /> Có 4 loại thiết kế kết nối.<br /> <br /> <br /> <br /> Loại thiết kế<br /> STT Cách sử dụng Ưu điểm Nhược điểm<br /> kết nối<br /> Thời gian trắc nghiệm<br /> Thiết kế đơn 2 đề trắc nghiệm kết nối được Thiết kế đơn<br /> 1 dài, ảnh hưởng đến<br /> nhóm. cho cùng 1 nhóm thí sinh. giản.<br /> tham số ước lượng.<br /> Thiết kế các Dễ áp dụng Rất khó chọn được các<br /> 2 đề trắc nghiệm kết nối được<br /> 2 nhóm tương hơn thiết kế nhóm tương đương<br /> cho các nhóm tương đương.<br /> đương. đơn nhóm. trong thực tế.<br /> Các đề trắc nghiệm được cho 2<br /> Thiết kế các đề Có tính khả thi Phải cẩn thận khi thiết<br /> nhóm thí sinh khác nhau, thiết<br /> 3 trắc nghiệm có cao và thường kế thang đo và phải xác<br /> kế 2 đề trắc nghiệm có 1 nhóm<br /> các câu hỏi neo. được áp dụng. định được câu hỏi neo.<br /> câu hỏi chung.<br /> 2 đề trắc nghiệm được cho 2 Ít dùng, thời gian làm<br /> Thiết kế 2 nhóm<br /> nhóm thí sinh làm. Trong đó, Có thể thực trắc nghiệm dài, ảnh<br /> 4 có các thí sinh<br /> có 1 nhóm con thí sinh có mặt hiện được hưởng đến tham số ước<br /> chung.<br /> ở cả 2 nhóm. lượng.<br /> <br /> <br /> <br /> <br /> 123<br />  2. CÁC QUY TẮC VÀ THAO TÁC trị trung bình.<br /> SO BẰNG 2 ĐỀ TRẮC NGHIỆM Bước 4: Tính toán lại các tham số để<br /> 1. Nếu không thực hiện so bằng giữa trùng khớp sau khi đã tiến hành so bằng.<br /> các đề trắc nghiệm thì không thể xây dựng  Sau khi so bằng có thể đưa 2 đề<br /> được 1 ngân hàng đề trắc nghiệm tốt. trắc nghiệm vào ngân hàng đề trắc<br /> 2. Khi thực hiện so bằng 1 nhóm thí nghiệm.<br /> sinh làm 2 đề trắc nghiệm hoặc 2 nhóm 3. PHẦN THỰC NGHIỆM<br /> thí sinh làm 1 đề trắc nghiệm, chúng ta Tính toán qua dữ liệu cụ thể một quy<br /> cần xác lập thang đo và định cỡ đối với trình so bằng kết quả tính toán từ 2 đề trắc<br /> nhiều nhóm thí sinh làm nhiều đề trắc nghiệm nhị phân nhờ một phần mềm trắc<br /> nghiệm, ta thường chọn so bằng bằng nghiệm VITESTA.<br /> cách thiết kế các đề trắc nghiệm có 1 số 3.1. Mô tả dữ liệu<br /> câu hỏi neo.  Dữ liệu gồm 5 tập tin: toan1-2.dat,<br /> 3. Kiểu dùng các câu hỏi neo rất quan toan1.dat, toan2.dat, toan-2.key và file<br /> trọng vì nó dùng để kết nối các đề trắc word thông tin về các câu hỏi bắc cầu.<br /> nghiệm lại với nhau.  Dữ liệu toan1.dat gồm 296 thí sinh<br /> Ví dụ: Ta có 2 đề trắc nghiệm 1 và 2, làm đề thi trắc nghiệm môn toán 1, đề trắc<br /> xây dựng 2 đề trắc nghiệm này có 1 số câu nghiệm môn toán 1 gồm 30 câu hỏi mỗi<br /> hỏi neo. Để tiến hành so bằng ta thực hiện câu hỏi có 4 phương án trả lời.<br /> như sau:  Dữ liệu toan2.dat gồm 275 thí<br /> Bước 1: Định cỡ đề trắc nghiệm 1 và sinh làm đề thi trắc nghiệm môn toán 2, đề<br /> 2 riêng rẽ. trắc nghiệm môn toán 1 gồm 30 câu hỏi<br /> Bước 2: Xác định tham số của các câu mỗi câu hỏi có 4 phương án trả lời.<br /> hỏi neo từ đó xác định các hệ số biến đổi  Đề thi toán 1 và đề toán 2 có 6 câu<br /> tuyến tính liên kết giữa chúng (theo lí hỏi neo chung là câu 3, 8, 11, 15, 18 và<br /> thuyết IRT, các giá trị tham số này là 21.<br /> giống nhau nhưng trên thực tế ta sẽ thấy 3.2. Thực hiện quy trình so bằng<br /> chúng khác nhau do nhiều lí do: mô hình và các kết quả<br /> không trùng khớp với thực tế hoặc các số Để thực hiện quy trình so bằng chúng<br /> liệu được đo chưa cùng 1 thang đo). ta tiến hành các bước sau:<br /> Bước 3: Kết nối các đề trắc nghiệm và Bước 1: Định cỡ và phân tích hai đề<br /> định cỡ chung, dùng tính toán để chuyển thi toán 1 và toán 2 thông qua dữ liệu<br /> sự khác nhau giữa các tham số về giống toan1.dat và toan2.dat thu được kết quả<br /> nhau bằng cách tính các giá trị sau:<br /> chung giữa chúng, thông thường dùng giá<br /> <br /> <br /> <br /> <br /> 124<br />  Bảng 1: KẾT QUẢ ƯỚC LƯỢNG ĐỘC LẬP THAM SỐ CÂU HỎI<br /> Mô hình 1 tham số. Tạo ra vào lúc 18/11/2009 - 04:31<br /> Đề thi: Toán 1 Đề thi: Toán 2<br /> |--------------------------------------| |---------------------------------------|<br /> ¦ Câu| b | MSE (*)| ¦ Câu| b | MSE (*)|<br /> |---------+----------+----------------| |----------+------------+------ ----- -|<br /> ¦ 1¦ -0.80386¦ 0.14598¦ ¦ 1¦ -0.80314¦ 0.15322¦<br /> ¦ 2¦ -0.61153¦ 0.14029¦ ¦ 2¦ -0.35972¦ 0.13855¦<br /> ¦ 3¦ -0.96071¦ 0.15244¦ ¦ 3¦ -0.76222¦ 0.15135¦<br /> ¦ 4¦ -0.64649¦ 0.14116¦ ¦ 4¦ -1.10958¦ 0.17131¦<br /> ¦ 5¦ -0.79136¦ 0.14554¦ ¦ 5¦ -0.68317¦ 0.14805¦<br /> ¦ 6¦ -0.26756¦ 0.13537¦ ¦ 6¦ -0.80314¦ 0.15322¦<br /> ¦ 7¦ -0.47535¦ 0.13759¦ ¦ 7¦ -0.81701¦ 0.15389¦<br /> ¦ 8¦ -0.72991¦ 0.14352¦ ¦ 8¦ -0.57039¦ 0.14403¦<br /> ¦ 9¦ -0.55414¦ 0.13903¦ ¦ 9¦ 1.19561¦ 0.17668¦<br /> ¦ 10¦ -0.39799¦ 0.13651¦ ¦ 10¦ -0.17209¦ 0.13572¦<br /> ¦ 11¦ -0.82910¦ 0.14690¦ ¦ 11¦ -0.61975¦ 0.14569¦<br /> ¦ 12¦ -0.50892¦ 0.13816¦ ¦ 12¦ 0.19259¦ 0.13550¦<br /> ¦ 13¦ -0.18146¦ 0.13508¦ ¦ 13¦ -0.41667¦ 0.13978¦<br /> ¦ 14¦ -0.65824¦ 0.14146¦ ¦ 14¦ 1.00955¦ 0.16327¦<br /> ¦ 15¦ -0.81644¦ 0.14644¦ ¦ 15¦ -0.65756¦ 0.14706¦<br /> ¦ 16¦ 0.40706¦ 0.14212¦ ¦ 16¦ 0.26863¦ 0.13633¦<br /> ¦ 17¦ -0.96071¦ 0.15244¦ ¦ 17¦ -0.02165¦ 0.13479¦<br /> ¦ 18¦ -0.59997¦ 0.14002¦ ¦ 18¦ -0.84512¦ 0.15527¦<br /> ¦ 19¦ 0.56689¦ 0.14672¦ ¦ 19¦ 0.29054¦ 0.13664¦<br /> ¦ 20¦ 0.57965¦ 0.14714¦ ¦ 20¦ 0.03176¦ 0.13474¦<br /> ¦ 21¦ 0.23327¦ 0.13843¦ ¦ 21¦ 0.32361¦ 0.13714¦<br /> ¦ 22¦ -0.52017¦ 0.13837¦ ¦ 22¦ -1.14462¦ 0.17388¦<br /> ¦ 23¦ 0.17716¦ 0.13753¦ ¦ 23¦ -0.02165¦ 0.13479¦<br /> ¦ 24¦ -0.79136¦ 0.14554¦ ¦ 24¦ 0.30154¦ 0.13680¦<br /> ¦ 25¦ -0.00921¦ 0.13553¦ ¦ 25¦ 1.07389¦ 0.16754¦<br /> ¦ 26¦ -0.75429¦ 0.14429¦ ¦ 26¦ -0.91776¦ 0.15912¦<br /> ¦ 27¦ 0.41900¦ 0.14242¦ ¦ 27¦ 0.49355¦ 0.14072¦<br /> ¦ 28¦ 0.30169¦ 0.13972¦ ¦ 28¦ 0.06381¦ 0.13478¦<br /> ¦ 29¦ -0.74207¦ 0.14390¦ ¦ 29¦ -0.64488¦ 0.14659¦<br /> ¦ 30¦ -0.64649¦ 0.14116¦ ¦ 30¦ -0.43975¦ 0.14033¦<br /> |---------------------------------------| | --------------------------------------|<br /> <br /> <br /> <br /> <br /> Dựa vào bảng phân tích nhận thấy các hỏi neo xác định các hệ số tuyến tính liên<br /> câu hỏi neo câu 3, 8, 11, 15, 18 và 21 của 2 kết giữa chúng với nhau, dựa vào đó tìm<br /> đề thi trắc nghiệm có sự chênh lệch về độ một bộ tham số chung cho các câu hỏi neo.<br /> khó. Từ đó có thể thấy tham số độ khó b Thông qua phần mềm VITESTA ta sẽ liên<br /> của cùng một câu hỏi từ 2 đề thi trắc kết 2 đề thi và xác định các câu hỏi neo của<br /> nghiệm là khác nhau. 2 đề. Khi đó thu được kết quả như sau:<br /> Bước 2: Từ các tham số của các câu<br /> <br /> <br /> 125<br />  Trước khi so bằng đề thi:<br /> Bảng 2: CÂN BẰNG ĐỀ THI THEO PHƯƠNG PHÁP HỒI QUY<br /> Các câu hỏi chung:<br /> Giữa đề thi Toán 1 và đề thi Toán 2<br /> Độ tương quan tham số khi ước lượng độc lập:<br /> Tham số b: r=0.9201056<br /> Trước khi cân bằng đề thi:<br /> ----------------------------------------------------------------<br /> | Đề 1 | Đề 2 |<br /> ----------------------------------------------------------------<br /> | Câu 3 | -0.9607065 | Câu 3 | -0.7622227 |<br /> | Câu 8 | -0.7299129 | Câu 8 | -0.570385 |<br /> | Câu 11 | -0.8291038 | Câu 11 | -0.6197521 |<br /> | Câu 15 | -0.8164439 | Câu 15 | -0.6575601 |<br /> | Câu 18 | -0.5999659 | Câu 18 | -0.8451234 |<br /> | Câu 21 | 0.2332707 | Câu 21 | 0.3236081 |<br /> ----------------------------------------------------------------<br /> TRUNG B NH: -0.6171437 TRUNG B NH: -0.5219058<br /> Đ LỆCH CHU N: 0.4333358 Đ LỆCH CHU N: 0.4260145<br /> <br /> <br /> <br /> Dựa vào bảng 2 nhận thấy có sự trên cùng 1 thang đo.<br /> chênh lệch về độ khó giữa các câu hỏi Mặt khác, có thể thấy sự khác nhau<br /> neo, do tính bất định trong lí thuyết IRT việc ứng đáp câu hỏi của các câu hỏi neo<br /> sự chênh lệch này có thể là do nhiều (câu hỏi giống nhau) trong đề toán 1 và đề<br /> nguyên nhân như mô hình không trùng toán 2 ta có thể biểu diễn các đường cong<br /> khớp với với số liệu hoặc các giá trị ước đặc trưng của 6 câu hỏi 3, 8, 11, 15, 18 và<br /> lượng năng lực của họ không được đo 21 như sau:<br /> <br /> Hình 4.1: Sự đáp ứng khác biệt đối với các câu hỏi neo của đề toán 1 và toán 2<br /> <br /> <br /> <br /> <br /> 126<br />  Dựa vào hình 4.1, chúng tôi nhận thấy để độ khó của chúng được 2 đề tương<br /> 2 đề thi mặc dù có câu hỏi neo 3, 8, 11, 15, đương nhau.<br /> 18 và 21 giống nhau, tuy nhiên hai đề thi Khảo sát riêng đồ thị hàm thông tin và<br /> này vẫn có sự chênh lệch nhau về độ khó biểu đồ tương quan năng lực thí sinh của 2<br /> do nhiều nguyên nhân như đã trình bày ở đề thi:<br /> trên. Vấn đề đặt ra là phải so bằng 2 đề thi<br /> Hình 4.2: Đường cong hàm thông tin của đề toán 1 và đề toán 2<br /> <br /> <br /> <br /> <br /> Hàm thông tin là một công cụ quan chút của mẫu thí sinh.<br /> trọng để đánh giá và thiết kế đề trắc Ngoài ra hình dáng của 2 hàm thông<br /> nghiệm. Dựa vào hình 4.2, chúng tôi nhận tin của 2 đề thi gần như tương đương nhau<br /> thấy rằng 2 đề thi được thiết kế tương đối chính tỏ độ phân biệt của đề thi này không<br /> tốt vì 2 đề thi này có khả năng đo chính xác quá lớn.<br /> khoảng năng lực dưới mức trung bình một<br /> Hình 4.3: Biểu đồ tương quan năng lực của thí sinh và độ khó của đề toán 1 và đề toán 2<br /> <br /> <br /> <br /> <br /> 127<br />  * Sau khi so bằng đề thi:<br /> Dựa vào biểu đồ 4.3, chúng ta thấy các thí sinh khi thực hiện làm 2 đề thi. Tuy<br /> rằng tương quan giữa năng lực thí sinh và nhiên nếu xét tương quan giữa năng lực và<br /> độ khó câu hỏi của 2 đề thi trắc nghiệm độ khó của đề thì chúng ta có thể nhận xét<br /> cũng có hình dáng và phân bố khá giống rằng đề thi trên tương đối dễ so với năng<br /> nhau, vì vậy có thể so sánh năng lực của lực của thí sinh.<br /> <br /> Bảng 3: SAU KHI HI U CH NH ĐỀ TOÁN 2 THEO ĐỀ TOÁN 1<br /> H SỐ CHUY N Đ I:<br /> ANFA = 1<br /> BETA = 0.09523785<br /> -------------------------------------------------------------------------------------------<br /> | Đề 1 | Đề 2 | DIF | Cân bằng|<br /> ------------------------------------------------------------------------------------------<br /> | Câu 3 | -0.9607065 | Câu 3 | -0.8574606 | -0.103246 | -0.90908|<br /> | Câu 8 | -0.7299129 | Câu 8 | -0.6656229 | -0.06429005 | -0.69777|<br /> | Câu 11 | -0.8291038 | Câu 11 | -0.71499 | -0.1141138 | -0.77205|<br /> | Câu 15 | -0.8164439 | Câu 15 | -0.7527979 | -0.06364602 | -0.78462|<br /> | Câu 18 | -0.5999659 | Câu 18 | -0.9403612 | 0.3403953 | -0.77016|<br /> | Câu 21 | 0.2332707 | Câu 21 | 0.2283702 | 0.004900411 | 0.23082 |<br /> ----------------------------------------------------------<br /> ---<br /> Ta nhận thấy rằng giá trị cân bằng của bảng 3 được tính là trung bình cộng của độ khó<br /> câu hỏi neo của 2 đề trắc nghiệm.<br /> * Độ khó các câu hỏi sau khi so bằng :<br /> <br /> Bảng 4: KẾT QUẢ ƯỚC LƯỢNG ĐỘC LẬP THAM SỐ CÂU HỎI<br /> Mô hình 1 tham số. Tạo ra vào lúc 18/11/2009 - 04:31<br /> Đề thi: Toán 1 Đề thi: Toán 2<br /> ¦-----------------------------------| -----------------------------------|<br /> Câu| b| SE (*) | ¦ Câu | b | MSE (*)|<br /> |---------+-------------+-------------| |---------+-------------+-------------|<br /> ¦ 1¦ -0.80386¦ 0.14598¦ ¦ 1¦ -0.89838¦ 0.15322¦<br /> ¦ 2¦ -0.61153¦ 0.14029¦ ¦ 2¦ -0.45495¦ 0.13855¦<br /> ¦ 3¦ -0.90908¦ 0.15244¦ ¦ 3¦ -0.90908¦ 0.15135¦<br /> ¦ 4¦ -0.64649¦ 0.14116¦ ¦ 4¦ -1.20482¦ 0.17131¦<br /> ¦ 5¦ -0.79136¦ 0.14554¦ ¦ 5¦ -0.77841¦ 0.14805¦<br /> ¦ 6¦ -0.26756¦ 0.13537¦ ¦ 6¦ -0.89838¦ 0.15322¦<br /> ¦ 7¦ -0.47535¦ 0.13759¦ ¦ 7¦ -0.91225¦ 0.15389¦<br /> ¦ 8¦ -0.69777¦ 0.14352¦ ¦ 8¦ -0.69777¦ 0.14403¦<br /> ¦ 9¦ -0.55414¦ 0.13903¦ ¦ 9¦ 1.10037¦ 0.17668¦<br /> ¦ 10¦ -0.39799¦ 0.13651¦ ¦ 10¦ -0.26733¦ 0.13572¦<br /> ¦ 11¦ -0.77205¦ 0.14690¦ ¦ 11¦ -0.77205¦ 0.14569¦<br /> ¦ 12¦ -0.50892¦ 0.13816¦ ¦ 12¦ 0.09735¦ 0.13550¦<br /> ¦ 13¦ -0.18146¦ 0.13508¦ ¦ 13¦ -0.51191¦ 0.13978¦<br /> ¦ 14¦ -0.65824¦ 0.14146¦ ¦ 14¦ 0.91431¦ 0.16327¦<br /> ¦ 15¦ -0.78462¦ 0.14644¦ ¦ 15¦ -0.78462¦ 0.14706¦<br /> ¦ 16¦ 0.40706¦ 0.14212¦ ¦ 16¦ 0.17339¦ 0.13633¦<br /> <br /> <br /> 128<br />  ¦ 17¦ -0.96071¦ 0.15244¦ ¦ 17¦ -0.11689¦ 0.13479¦<br /> ¦ 18¦ -0.77016¦ 0.14002¦ ¦ 18¦ -0.77016¦ 0.15527¦<br /> ¦ 19¦ 0.56689¦ 0.14672¦ ¦ 19¦ 0.19530¦ 0.13664¦<br /> ¦ 20¦ 0.57965¦ 0.14714¦ ¦ 20¦ -0.06348¦ 0.13474¦<br /> ¦ 21¦ 0.23082¦ 0.13843¦ ¦ 21¦ 0.23082¦ 0.13714¦<br /> ¦ 22¦ -0.52017¦ 0.13837¦ ¦ 22¦ -1.23986¦ 0.17388¦<br /> ¦ 23¦ 0.17716¦ 0.13753¦ ¦ 23¦ -0.11689¦ 0.13479¦<br /> ¦ 24¦ -0.79136¦ 0.14554¦ ¦ 24¦ 0.20630¦ 0.13680¦<br /> ¦ 25¦ -0.00921¦ 0.13553¦ ¦ 25¦ 0.97865¦ 0.16754¦<br /> ¦ 26¦ -0.75429¦ 0.14429¦ ¦ 26¦ -1.01300¦ 0.15912¦<br /> ¦ 27¦ 0.41900¦ 0.14242¦ ¦ 27¦ 0.39831¦ 0.14072¦<br /> ¦ 28¦ 0.30169¦ 0.13972¦ ¦ 28¦ -0.03143¦ 0.13478¦<br /> ¦ 29¦ -0.74207¦ 0.14390¦ ¦ 29¦ -0.74012¦ 0.14659¦<br /> ¦ 30¦ -0.64649¦ 0.14116¦ ¦ 30¦ -0.53498¦ 0.14033¦<br /> |---------------------------------------| ----------------------|<br /> <br /> <br /> Bước 3: Định cỡ chung đề thi trắc thi trắc nghiệm lại thành 1 đề thi và tiến<br /> nghiệm trên toàn bộ tổng số thí sinh hành định cỡ đề thi chung gồm 50 câu hỏi,<br /> Sau khi so bằng, tiếp tục kết nối 2 đề sẽ thu được kết quả như sau:<br /> Bảng 5: CÂN BẰNG THEO PHƯƠNG PHÁP ĐỊNH CỠ ĐỒNG THỜI<br /> <br /> ¦ Câu| b | MSE (*)| ¦ Câu| b | MSE (*)|<br /> |---------+------------+--------------| |---------+------------+--------------|<br /> ¦ 1¦ -0.76624¦ 0.14594¦ 28¦ 0.33921¦ 0.13993¦<br /> ¦ 2¦ -0.57393¦ 0.14028¦ ¦ 29¦ -0.70445¦ 0.14387¦<br /> ¦ 3¦ -0.87988¦ 0.10741¦ ¦ 30¦ -0.60889¦ 0.14114¦<br /> ¦ 4¦ -0.60889¦ 0.14114¦ ¦ 31¦ -0.87711¦ 0.15328¦<br /> ¦ 5¦ -0.75374¦ 0.14550¦ ¦ 32¦ -0.43389¦ 0.13856¦<br /> ¦ 6¦ -0.23001¦ 0.13542¦ ¦ 33¦ -1.18343¦ 0.17140¦<br /> ¦ 7¦ -0.43778¦ 0.13760¦ ¦ 34¦ -0.75720¦ 0.14809¦<br /> ¦ 8¦ -0.66858¦ 0.10169¦ ¦ 35¦ -0.87711¦ 0.15328¦<br /> ¦ 9¦ -0.51655¦ 0.13903¦ ¦ 36¦ -0.89098¦ 0.15394¦<br /> ¦ 10¦ -0.36042¦ 0.13653¦ ¦ 37¦ 1.12084¦ 0.17652¦<br /> ¦ 11¦ -0.74281¦ 0.10346¦ ¦ 38¦ -0.24635¦ 0.13571¦<br /> ¦ 12¦ -0.47134¦ 0.13817¦ ¦ 39¦ 0.11816¦ 0.13546¦<br /> ¦ 13¦ -0.14391¦ 0.13514¦ ¦ 40¦ -0.49081¦ 0.13980¦<br /> ¦ 14¦ -0.62064¦ 0.14145¦ ¦ 41¦ 0.93483¦ 0.16313¦<br /> ¦ 15¦ -0.75544¦ 0.10379¦ ¦ 42¦ 0.19417¦ 0.13629¦<br /> ¦ 16¦ 0.44458¦ 0.14238¦ ¦ 43¦ -0.09598¦ 0.13477¦<br /> ¦ 17¦ -0.92306¦ 0.15238¦ ¦ 44¦ 0.21607¦ 0.13659¦<br /> ¦ 18¦ -0.73025¦ 0.10314¦ ¦ 45¦ -0.04259¦ 0.13472¦<br /> ¦ 19¦ 0.60443¦ 0.14710¦ ¦ 46¦ -1.21845¦ 0.17398¦<br /> ¦ 20¦ 0.61719¦ 0.14752¦ ¦ 47¦ -0.09598¦ 0.13477¦<br /> ¦ 21¦ 0.25986¦ 0.09747¦ ¦ 48¦ 0.22707¦ 0.13675¦<br /> ¦ 22¦ -0.48259¦ 0.13837¦ ¦ 49¦ 0.99915¦ 0.16740¦<br /> ¦ 23¦ 0.21469¦ 0.13769¦ ¦ 50¦ -0.99168¦ 0.15919¦<br /> ¦ 24¦ -0.75374¦ 0.14550¦ ¦ 51¦ 0.41900¦ 0.14065¦<br /> ¦ 25¦ 0.02832¦ 0.13564¦ ¦ 52¦ -0.01056¦ 0.13476¦<br /> ¦ 26¦ -0.71667¦ 0.14426¦ ¦ 53¦ -0.71892¦ 0.14663¦<br /> ¦ 27¦ 0.45653¦ 0.14270¦ ¦ 54¦ -0.51388¦ 0.14035¦<br /> <br /> <br /> 4.3. Nhận xét<br /> <br /> 129<br />  Khi thực hiện so bằng 2 đề thi trắc - Thông qua ví dụ thực nghiệm ta<br /> nghiệm chúng tôi thấy rằng các câu hỏi neo thấy rằng đối với các đề thi bất kì có thể<br /> của hai đề thi có độ khó gần tương đương dùng nhiều phương pháp để so bằng, cụ thể<br /> nhau, các thông số của các câu hỏi trong đề ví dụ ở trên dùng câu hỏi neo để nối kết 2<br /> thi được điều chỉnh lại sau khi thực hiện so đề thi. Sau đó dùng công cụ so bằng để so<br /> bằng. Từ đó có thể ghép nối 2 đề thi lại với bằng 2 đề thi có cùng một số câu hỏi. Khi<br /> nhau và đưa vào ngân hàng câu hỏi thi. thực hiện xong phương pháp so bằng, có<br /> KẾT LUẬN thể ghép nối 2 đề lại với nhau.<br /> - Theo phương pháp trắc nghiệm cổ - Ngoài ra khi thực hiện xong so<br /> điển, việc so bằng kết quả trắc nghiệm rất bằng 2 đề thi thì việc so sánh tương quan<br /> khó thực hiện. Theo phương pháp IRT sự điểm số của thí sinh đã được hoàn toàn giải<br /> so bằng là hết sức cần thiết. quyết.<br /> <br /> <br /> TÀI LI U THAM KHẢO<br /> <br /> 1. GS.TS Dương Thiệu Tống (1995), Trắc nghiệm và đo lường thành quả học tập, Nxb<br /> Khoa học Xã hội TPHCM.<br /> 2. GS.TS Dương Thiệu Tống (2007), Thống kê ứng dụng trong nghiên cứu khoa học giáo<br /> dục, Nxb Khoa học Xã hội.<br /> 3. GS.TS Lâm Quang Thiệp, (2009) Trắc nghiệm, đo lường và đánh giá trong Giáo dục.<br /> 4. GS.TS Lâm Quang Thiệp, Đo lường trong giáo dục, lí thuyết và ứng dụng, 2011.<br /> 5. TS. Vũ Thị Phương Anh, ( Bài giảng môn Đại cương thống kê, 2008.<br /> <br /> <br /> <br /> 7. Patrick Griffin (1997). An Introduction to the Rasch Model. Assessment Research<br /> Centre, University of Melbourne.<br /> 8. Bảng dùng thử phần mềm VITESTA (trong 30 ngày).<br /> <br /> <br /> <br /> <br /> 130<br />