Получихме това писмо в редакционната ни поща. Готови сме да публикуваме и други аргументирани мнения по темата.
След като матурата по английски език стана повод за протести и недоволство, нека разкажа как се правят тестове според теорията за тестове и как личи, че у нас не се правят така.
Какъв е международният стандарт за правене на тестове?
На схемата долу (от помагало на Съвета на Европа за писане на тестове) виждате резултатите от отговорите на изпитваните според процента успешност. На хоризонталната ос са разположени изпитваните според нивото на езикова компетентност по Европейската скала (А – начинаещ, С – почти роден език). На вертикалната ос е процентът на успеваемост. Вижда се, че почти никой от изпитваните на ниво А2 не се е справил, а почти всички от ниво С са дали верния отговор.
Същевременно, група изпитващи участват в анкета за какво ниво е подходящ този въпрос от теста. Преобладаващото мнозинство назовава А2. Това показва, че изпитващите не могат да преценят колко труден е един въпрос и за какво ниво е подходящ.
Вместо анкети, практиката е изпитите да се изпробват върху изпитваните – ученици, възможно най-близки по знания до тези, за които е тестът. Ако резултатите се нанасят по скалата без отчитане на предварително ниво, картината горе би показала, че най-голям брой изпитвани се справят със задачата – т.е. тя е прекалено лесна. Обратната крива – изправена към най-голям брой несправили се показва, че е трудна. И в двата случая не измерва нивото на владеене на езика. Една добра задача оформя кривата на отговорите като кобилица, изгърбена по средата: малко хора се справят отлично, малко хора се справят слабо, мнозинството е по средата – съответно не е нито прекалено лесна, нито прекалено трудна. Така изпитната задача дава възможност на изпитваните да покажат какво могат, а не къде се провалят.
Как се подготвят тестовете в България?
Предварителното изпробване на задачите в един тест също така може да покаже дали изпитваните ще се насочат към структурите, които дадената задача се мъчи да проверява. Например, от матурата по английски език (ДЗИ английски 2019) изречението According to the police, it’s impossible that the prisoner escaped without help from the outside трябва да се трансформира с помощта на модален глагол, обозначено с инструкция към изпитваните Use a modal verb! Остроумен кандидат отговаря с трансформация: The police believe that the prisoner must have escaped using a modal verb. Макар да не е очакваният отговор, този заслужава точки, защото е изграден правилно и съдържа модален глагол.
Инструкцията (публикувана от МОН) дава 1 точка за употреба на верен глагол за докладване след THE POLICE и предлага think, consider, say, believe, claim. Употребата на сегашно време също така сочи, че police се съгласува с глагол в множествено число. Но ако глаголите се използват в минало време – за което няма забрана – тогава не става ясно дали изпитваният има знание за съгласуването на police. Британският национален корпус (100 милиона думи) дава редица примери, където съгласуването става в единствено число:
The secret police was finally purged, with its chief, Yagoda, perishing along with other senior
The police has simply forgotten to tell the owner they had found it.
the Metropolitan Police has begun a process of reform that should lead to improvements
British Rail Transport Police has been running the anti-vandal and trespass trains
Maybe the police has made me this way, but do you not see that
Historically, the American police has almost certainly been more violent and corrupt than its British counterpart
the South Wales Police has received approval for 99 extra police posts since the Government took office
На едно по-високо ниво на анализ, може да се разсъждава относно съгласуването в единствено число, но на нивото на прогимназиалната матура няма нужда то да води до санкции на теста.
За втората част на изречението инструкцията изисква верен отговор can’t have escaped , за което се присъжда 1 точка. Според граматиката обаче, верни са формите could not have escaped, must/could/should have escaped with some help from the outside.
Признаването им за допустими е въпрос на съгласуване между проверяващите – което усложнява работата на стотината оценители, защото не може един проверител да присъжда точка за една от версиите, а друг – не. Затова е добре изпитните задачи да са максимално прецизирани – особено за задачите, където има само един верен отговор и той се присъжда от компютър.
С други думи, пишещият теста дал ли си е сметка какво точно проверява със сътворените задачи и защо точно това ще покаже, че учениците владеят английски? Съществува ли спецификация на теста? И кой всъщност я пише?
Тревожен е и фактът, че учениците минават изпита при 20% познати отговори. В популярните международни изпити за езиково ниво критичната точка на успеваемост е 60%. Доста разочароващо е, че при нашата матура като важно се отчита толкова малко от съдържанието. Затова и учениците се демотивират от разликата в оценките на езиковото им ниво чрез международни изпити, като TOEFL, CAE и други и българската матура.
В заключение, писането на тестовете за матура не може да е самотно занятие – нито за чиновници в МОН, нито за преподаватели в университети или училища. Който и да напише теста, не може да е сигурен какви отговори ще получи и как да оцени всеки от тях. Международната практика е да се създават банки от въпроси, които се тестват предварително върху аудитория, подобна на изпитната и се анализират по описаната горе (без технически термини и в най-общи линии) методика. След проверката задачите се модифицират така, че дори и да се случи някоя от тях да е използвана в пробите, финалният вид да не бъде разпознат от оценяваните. Процедурата безспорно е тежка и дълга, включва много участници с нужната компетентност. Неоправдана е за малки групи изпитвани и когато от изпита не зависят важни решения. Но за държавата, с нейните десетки хиляди абитуриенти, които могат да кандидатстват с оценките си от матурата, осигуряването на проверени тестови задачи е задължително. Срамно е да се проверява 12 години преподаване със случайни, надраскани на коляно тестове.
Авторката доц. д-р Елена Тарашева е доцент по медиен дискурс и доктор по математическа лингвистика, преподавателка в департамента Чужди езици и култури на НБУ.
www.svobodnaevropa.bg Copyright (c) 2018. RFE/RL, Inc. Препубликувано със съгласието на Radio Free Europe/Radio Liberty, 1201 Connecticut Ave NW, Ste 400, Washington DC 20036.
