1. Введение
Установленные законом оценки являются неотъемлемой частью образования ребенка. Они дают учителям, родителям и ученикам жизненно важную информацию об успеваемости и успеваемости учеников.
Тесты ключевого этапа 2 (KS2) являются наиболее сложными для администрирования и проведения в сжатые сроки. Каждый год 650 000 учеников в более чем 16 000 начальных школ по всей Англии сдают шесть различных тестов KS2, создавая примерно 3,9 миллиона тестовых сценариев KS2. Эти сценарии собираются в школах и отправляются в центр сканирования. После сканирования скрипты в течение 4 недель проходят внешнюю маркировку в соответствии со строгими процедурами контроля качества. Затем Агентство по стандартам и тестированию (STA) осуществляет подробный процесс поддержания стандартов, включающий углубленный анализ данных тестов специалистами-психометристами. По завершении этого процесса результаты возвращаются в школы в начале июля.
Мы знаем, что к проведению тестов KS2 в школах относятся так же серьезно. STA и ее поставщик Capita несут ответственность за обеспечение четкого и плавного процесса администрирования этих оценок. Школы должны иметь информацию, которая им требуется, когда она им нужна, а позже наши внешние маркеры должны понимать процесс, чтобы они могли выполнять свою работу с должным качеством, а в STA и Capita должны быть установлены правильные системы, чтобы иметь возможность быстро идентифицировать и ответить на любые вопросы.
В 2022 году первичные оценки были восстановлены после двухлетнего перерыва в результате пандемии коронавируса (COVID-19). Был также применен новый подход к управлению процессом оценки, в частности, завершение тестов KS2, включая переход к онлайн-обучению по маркерам и смену основного подрядчика по доставке STA на Capita.
Многие аспекты проведения оценки прошли успешно. Базовая оценка приема (предоставленная через NFER), оценки в конце ключевого этапа (KS1), проверка фонетики и проверка таблицы умножения, проведенные непосредственно STA, были проведены с небольшими проблемами. Тестовые листы KS2 были доставлены в школы без происшествий, и большинство школ смогли без проблем провести тесты KS2 и получили свои результаты во вторник, 5 июля, как и планировалось.
Наши процессы наблюдались Ofqual, который отметил, что обучение работе с маркерами прошло успешно. Анализ Ofqual также показал, что качество оценки оценок KS2 также было высоким по предметам и соответствовало предыдущим годам. Мы также смогли выполнить наши обычные процедуры обслуживания стандартов. Это означало, что результаты тестов KS2 в 2022 году можно было жестко связать со стандартами, поскольку они были первоначально установлены в 2016 году . , следует отметить, что нет никаких доказательств того, что на качество маркировки повлияла смена поставщика или прекращение испытаний в 2020 и 2021 годах».
Однако были и другие аспекты, которые не удались, в основном в связи с окончанием тестов KS2 и связанных с ними процессов. Мы знаем, что эти проблемы с доставкой вызвали значительное разочарование и неудобства для школ, школьных трестов, сотрудников местных органов власти, родителей и учеников, которые пострадали.
STA и Capita еще раз приносят свои искренние извинения тем школам, которые столкнулись с трудностями в 2022 году. Мы не хотим повторения этих проблем в 2023 году, и было очень важно, чтобы мы полностью поняли возникшие проблемы и уроки, которые мы могли бы извлечь из этого опыта. . В этом отчете описывается процесс, с помощью которого мы предприняли это упражнение, ключевые области, которые мы определили для улучшения, и подход, принятый STA и Capita для их решения в тестовом цикле 2023 года и в последующий период.
2. Обзор цикла оценки ключевого этапа 2 2022 г.
Чтобы получить полное представление о том, как можно улучшить цикл тестирования, мы провели тщательный анализ извлеченных уроков летом и осенью 2022 года, в том числе уделили время тому, чтобы выслушать мнения школ, местных властей и школьных фондов, чтобы получить отзывы и предложения по наиболее важным вопросам. им.
В этой работе участвовали:
- структурированная внутренняя деятельность по извлечению уроков с различными командами с участием коллег на всех уровнях в STA и Capita
- тщательный анализ всех этапов процесса полной оценки, а не только тех случаев, когда школы столкнулись с проблемами, а также полный анализ данных, чтобы убедиться, что весь процесс может работать эффективно
- короткий «импульсный» опрос, чтобы дать возможность всем школам, местным органам власти и школьным фондам поделиться своим опытом, на который было получено 749 ответов.
- серия семинаров по извлечению уроков с участием представителей школ, местных органов власти, школьных трастов и профсоюзов, на которых коллеги из STA и Capita имели возможность напрямую услышать от пострадавших о трудностях, с которыми они столкнулись, и о том, как, по их мнению, мы можем улучшить ситуацию в будущем.
Мы очень благодарны всем тем заинтересованным сторонам, которые участвовали в этих процессах, за их время и опыт, которые были неоценимы для того, чтобы мы смогли решить правильные проблемы и внести правильные изменения на 2023 год и далее.
3. Основные извлеченные уроки
Упражнения по извлечению уроков предоставили ряд полезных сведений о проблемах, с которыми столкнулись школы и другие организации, и о том, как мы могли бы наилучшим образом их решить.
Был извлечен ряд уроков, при этом следующие три области для улучшения были выделены как критически важные для обеспечения более гладкого цикла испытаний 2023 года:
3.1 Улучшить качество национальной горячей линии по оценке учебных программ и доступ к ней
Обнаруженные проблемы : В течение тестового цикла 2022 года некоторым школам было трудно своевременно связаться с агентом по национальной горячей линии оценки учебных программ. В тестовую неделю среднее время ответа на звонок составило 53 минуты. Во многих случаях электронные письма на горячую линию не отвечали достаточно быстро. Когда школам удавалось связаться с агентами, предоставляемая информация не всегда была надлежащего качества.
Предпринятые действия : Мы знаем, как важно иметь возможность быстро и точно решать вопросы, особенно в конце тестовой недели KS2, поэтому мы решаем проблемы, с которыми столкнутся школы в 2022 году, тремя способами.
Во-первых, мы наняли дополнительных сотрудников службы поддержки, чтобы лучше обеспечить текучесть кадров, и проводим полное обучение работе с системой, которую они будут использовать. Это обучение также было пересмотрено и обновлено, чтобы гарантировать, что агенты получат правильную информацию, когда они разговаривают со школами.
Во-вторых, мы предприняли шаги для улучшения качества и скорости ответов по нашей горячей линии. Это включало в себя расширение информации, доступной для сотрудников службы поддержки, и использование информации, извлеченной из процесса извлечения уроков, чтобы гарантировать, что мы можем максимально эффективно обрабатывать наиболее распространенные запросы. Это непрерывный процесс, который будет проверяться на протяжении всего цикла тестирования, чтобы наши агенты могли предоставлять согласованные высококачественные обновления. Мы также улучшили информацию и рекомендации, предоставляемые школам по программе тестирования. Это означает, что у школ меньше двусмысленности в интерпретации руководства, что должно привести к меньшему количеству вопросов, поступающих по телефону доверия.
В-третьих, мы внедрили новую систему базы данных, которая помогает нам быстро выявлять любые проблемные области, а также выделять, есть ли несколько звонков из одной школы, чтобы мы могли решать их своевременно и скоординировано.
Этот пакет мер поддержит нашу работу по обеспечению школ необходимой информацией, когда она им нужна.
3.2 Повышение пропускной способности системы
Выявленные проблемы : в день возврата результатов, во вторник, 5 июля 2022 г., во многих школах возникли проблемы со входом в шлюз первичной оценки (PAG) для загрузки результатов, когда система открылась тем утром. Хотя школы смогли получить доступ к результатам позже в тот же день, мы можем понять разочарование, которое это вызвало у затронутых школ. Прежде всего, эта проблема была связана с превышением пропускной способности системы.
В некоторых школах и местных органах власти также возникли проблемы с загрузкой данных об оценке учителей в начале цикла, что вызвало дополнительные неудобства и разочарование.
Предпринятые действия : В 2023 году мы внесли изменения в PAG и запустили надежную программу тестов производительности, охватывающую несколько сценариев. Это гарантирует, что система справится с большим всплеском пользователей на тот момент, когда результаты стали доступны для загрузки в июле.
В ходе наших расследований мы также выявили системную проблему с загрузкой данных оценки учителей и решили ее. Мы уверены, что эта проблема не повторится в 2023 году.
3.3 Примите меры, чтобы сократить количество поздних или отсутствующих конечных результатов KS2
Выявленные проблемы : хотя большинство учеников получили свои результаты вовремя, около 7 437 учеников, чуть более 1% когорты 6-х классов, не получили результатов по одному или нескольким предметам в день получения результатов KS2.
В некоторых случаях сами скрипты не пропали, но вовремя не были отмечены. В этих случаях учащиеся получали выдающиеся результаты к началу летних каникул или вскоре после них. В других случаях ученик не сдал тест, а кодирование в системе было неточным, и ситуация разрешилась после его обновления.
Однако около 4000 сценариев пропали без вести в день получения результатов. STA и Capita работали вместе над расследованием ситуации и поиском отсутствующих скриптов, и к сентябрю мы определили, пометили и вернули результаты примерно для 2000 таких скриптов. Однако в конечном итоге 2251 сценарий был признан утерянным, что затронуло в общей сложности 1900 учеников, что значительно больше, чем в предыдущие годы. Мы смогли предоставить предметный результат для 516 случаев, потому что в остальных сценариях было достаточно оценок, чтобы оценить, что ученик достиг стандарта.
Мы знаем, как усердно ученики готовятся к экзаменам KS2, и любая потеря тестовых сценариев огорчает их, их родителей и школу. Сокращение количества отсутствующих и потерянных тестовых сценариев является для нас ключевым приоритетом в этом году.
Предпринятые действия : Наше расследование этого набора проблем показало, что основную причину задержки или отсутствия скриптов можно проследить на начальных этапах процедуры сканирования и в том, как документы обрабатывались при первоначальном поступлении в центр сканирования.
Чтобы решить эту проблему, мы установили четкие точки согласования на ключевых этапах процесса для отслеживания сценариев на протяжении всего процесса. Это означает, что на каждом этапе процесса мы можем быстро выявить любые проблемы, такие как отсутствующие или нечеткие сценарии, и своевременно обсудить их со школой.
Мы также разработали более четкое руководство для сканирующих сотрудников о том, как расставлять приоритеты и управлять рабочим процессом сценариев. Кроме того, мы провели дополнительное обучение по ключевым областям, которые, как мы знаем, могут вызвать проблемы в рабочем процессе, например, когда сценарии не могут автоматически сопоставляться с учеником, что обычно происходит из-за того, что написанные детали трудно читать. В 2022 году из-за ошибок в процессе сверки некоторые ученики (всего 372) были сопоставлены с неправильным сценарием и изначально получили неправильную оценку. Эти ошибки были исправлены, и при правильном обучении мы не ожидаем повторения этой проблемы в 2023 году.
Мы также знаем, что некоторые заинтересованные стороны выразили обеспокоенность тем, что измененные скрипты с большей вероятностью могут быть потеряны и в конечном итоге потеряны. Наши расследования не обнаружили, что это так. Хотя около 1000 сценариев на цветной бумаге были задержаны в процессе сканирования, эти сценарии не были потеряны, и результаты были возвращены в школы вскоре после установленного срока. Кроме того, нет никаких свидетельств того, что модифицированные сценарии были потеряны с большей вероятностью, чем другие сценарии.
В небольшом числе случаев, когда измененные сценарии возвращались вместе с пустыми немодифицированными документами, пустые сценарии были отсканированы по ошибке. Там, где мы выявили эту проблему, измененные сценарии были обнаружены и отмечены, а результаты возвращены ученикам, хотя и намного позже, чем должно было быть. Мы обновили курс обучения для наших специалистов по сканированию, а также улучшили руководство для школ о том, как возвращать измененные сценарии, чтобы снизить вероятность повторения этой проблемы.
Помимо улучшения рабочих процессов и повышения квалификации нашего сканирующего персонала, мы также внедрили новую систему сканирования. Это поможет нам внедрить обновленные процессы и включить новую систему отчетности по данным, которая поможет быстро выявлять любые проблемы, чтобы их можно было отслеживать и быстрее решать.
4. Заключение
В этом отчете изложены ключевые изменения, которые мы внесли в результате процесса извлечения уроков в 2022 году. Когда мы приступим к циклу испытаний 2023 года, мы будем регулярно отслеживать и проверять каждый этап процесса, чтобы убедиться, что он работает должным образом. Мы стремимся реагировать на любые возникающие вопросы и держать наших заинтересованных лиц в курсе активности и прогресса.
Мы благодарны сотрудникам школ, трестов и местных органов власти по всей Англии за их работу по поддержке первичных оценок. STA и Capita обязуются предоставлять более качественные услуги в течение всего цикла 2023 года и уверены, что внесенные нами изменения добьются этого.
Спонсоры: