ФЕДЕРАЛЬНАЯ СЛУЖБА ПО НАДЗОРУ В СФЕРЕ ОБРАЗОВАНИЯ И НАУКИ

ПИСЬМО

от 16 марта 2018 года N 05-71

О направлении рекомендаций по повышению объективности оценки образовательных результатов

Федеральная служба по надзору в сфере образования и науки (Рособрнадзор) с целью повышения эффективности системы оценки качества образования путем формирования среди всех участников образовательных отношений устойчивых ориентиров на методы и инструменты объективной оценки образовательных результатов обучающихся направляет для использования в работе органов исполнительной власти субъектов Российской Федерации, осуществляющих государственное управление в сфере образования, а также органов исполнительной власти, осуществляющих переданные полномочия Российской Федерации в сфере образования, рекомендации по повышению объективности оценки образовательных результатов (далее - рекомендации).

 

Данные рекомендации могут быть использованы для формирования и совершенствования региональной стратегии развития образования, подготовки программ развития, планирования деятельности в области оценки качества образования, а также подготовки рекомендаций и других документов для муниципальных органов власти и для образовательных организаций общего образования.

 

Меры, указанные в настоящих рекомендациях, могут быть применены как при проведении оценочных процедур федерального уровня (например, всероссийских проверочных работ), так и при проведении оценочных процедур регионального и муниципального уровней, а также при проведении отдельных оценочных процедур на уровне образовательных организаций.

Заместитель руководителя

А.А.Музаев

Рекомендации по повышению объективности оценки образовательных результатов

Общие положения

Целью настоящих методических рекомендаций является повышение эффективности системы оценки качества образования путем формирования среди всех участников образовательных отношений устойчивых ориентиров на методы и инструменты объективной оценки образовательных результатов обучающихся.

Повышение объективности оценки образовательных результатов может быть достигнуто только в результате согласованных действий на всех уровнях управления образованием: федеральном, региональном, муниципальном, а также на уровне образовательных организаций.

Данные рекомендации адресованы органам исполнительной власти субъектов Российской Федерации, осуществляющим государственное управление в сфере образования, а также органам исполнительной власти, осуществляющим переданные полномочия Российской Федерации в сфере образования, и могут быть использованы для формирования и совершенствования региональной стратегии развития образования, подготовки программ развития, планирования деятельности в области оценки качества образования, а также подготовки рекомендаций и других документов для муниципальных органов власти и для образовательных организаций.

Меры, указанные в настоящих рекомендациях, могут быть применены как при проведении оценочных процедур федерального уровня (например, всероссийских проверочных работ), так и при проведении оценочных процедур регионального и муниципального уровней, а также при проведении отдельных оценочных процедур на уровне образовательных организаций.

Описание мер, направленных на повышение объективности оценки образовательных результатов

Основные подходы

Для повышения объективности оценки образовательных результатов рекомендуется организовать комплексные мероприятия по трем направлениям:

1. Обеспечение объективности образовательных результатов в рамках конкретной оценочной процедуры в образовательных организациях.

2. Выявление ОО с необъективными результатами и профилактическая работа с выявленными ОО.

3. Формирование у участников образовательных отношений позитивного отношения к объективной оценке образовательных результатов.

 

Наиболее эффективным является комплексное сочетание всех трех подходов и создание на их основе действенной системы, при которой все участники образовательных отношений заинтересованы в объективной оценке образовательных результатов, и одновременно принимаются всесторонние меры для обеспечения объективности результатов при проведении всех мероприятий по оценке качества образования.

Ниже представлено более детальное описание каждого подхода.

 

Подход 1: обеспечение объективности образовательных результатов в рамках конкретной оценочной процедуры в образовательных организациях

Для обеспечения возможности получения в рамках конкретной оценочной процедуры объективных результатов необходимо выполнение следующих условий.

1. Наличие описания оценочной процедуры, закрепляющего соответствие этой оценочной процедуры следующим принципам:

а. использование научно обоснованной концепции и качественных контрольных измерительных материалов;

б. применение единых организационно-технологических решений, мер защиты информации;

в. привлечение квалифицированных специалистов на всех этапах;

г. устранение конфликта интересов в отношении всех специалистов, привлеченных к проведению оценочной процедуры.

2. Организация на региональном и/или муниципальном уровнях контроля соблюдения всех положений и регламентов, приведенных в описании оценочной процедуры. Контроль может, в том числе, осуществляться посредством:

а. привлечения независимых, общественных наблюдателей;

б. выезда в пункты проведения представителей муниципальных и региональных ОИВ;

в. организации видеонаблюдения и т.п.

Условие отсутствия конфликта интересов означает, в том числе, что необходимо соблюдать следующие требования:

- в качестве наблюдателей не могут выступать родители учащихся класса, который принимает участие в оценочной процедуре;

- учитель, ведущий данный предмет и работающий в данном классе, не должен выступать организатором работы и участвовать в проверке работ;

- проверка работ должна проводиться по стандартизированным критериям с предварительным коллегиальным обсуждением подходов к оцениванию.

Более детально рекомендации по организации и проведению независимых процедур оценки качества образования представлены в приложении 1.

Указанные условия соблюдены при проведении единого государственного экзамена, национальных исследований качества образования (НИКО), международных сравнительных исследований.

При организации каждой оценочной процедуры регионального и/или муниципального уровней необходима разработка аналогичного описания на основании рекомендаций, содержащихся в приложении 1, а также контроль соблюдения всех положений и регламентов разработанного описания.

При организации всероссийских проверочных работ необходима разработка регионального регламента их проведения, типовых регламентов для ОО, касающихся вопросов проведения ВПР в ОО и обеспечения объективности результатов, а также контроль соблюдения всех принятых регламентов.

Примечание. Выполнение указанных условий для ВПР в части контроля является весьма ресурсоемким, поскольку требует направления в ОО независимых наблюдателей для проведения самих процедур и привлечения независимых экспертов для оценки работ участников ВПР. В связи с этим данный подход в рамках ВПР может быть применен только в ограниченном количестве ОО. В остальных ОО рекомендуется применять сочетание второго и третьего подходов, представленных ниже.

 

Подход 2: выявление ОО с необъективными результатами и профилактическая работа с выявленными ОО

Выявление ОО с необъективными результатами оценочной процедуры федерального или регионального уровня может осуществляться аналитическими методами, с использованием:

- оценки доверительного интервала среднего балла для ОО относительно группы ОО из данного региона;

- оценки доверительного интервала процента выполнения каждого задания по каждой ОО, участвовавшей в оценочной процедуре, относительно контрольной выборки ОО;

- сравнения результатов ОО с результатами ОО контрольной группы, с учетом контекстных данных об ОО;

- сравнения уровня результатов оценочной процедуры в ОО с уровнем результатов ЕГЭ с учетом контекстных данных об ОО;

- других подходов.

Примечания.

Контрольная выборка ОО включает те ОО, в которых реализован первый подход или хотя бы обеспечено присутствие независимых наблюдателей на всех стадиях проведения оценочной процедуры. Поскольку контрольная выборка ОО должна быть достаточно большой (не менее 150 ОО), ее формирование возможно только в случае проведения массовых оценочных процедур, например, ВПР или региональных оценочных процедур с участием большинства ОО региона.

При использовании статистических методов выявления ОО с необъективными результатами может быть применен кластерный подход.

Признаком необъективности оценивания образовательных результатов в ОО может также служить наличие выпускников ОО, получивших золотые медали и имеющих низкие результаты ЕГЭ.

В случае обнаружения признаков недостоверности результатов в ОО рекомендуется:

- осуществить перепроверку результатов;

- в случае подтверждения недостоверности результатов выработать комплекс мер в отношении данной ОО.

 

Подход 3: формирование у участников образовательных отношений позитивного отношения к объективной оценке образовательных результатов

Для формирования у участников образовательных отношений позитивного отношения к объективной оценке образовательных результатов, рекомендуется применять следующие меры:

- реализовывать в приоритетном порядке программы помощи ОО с низкими результатами, программы помощи учителям, имеющим профессиональные проблемы и дефициты, руководителям ОО, в которых есть проблемы с организацией образовательного процесса и т.п.; во всех перечисленных случаях применять меры административного воздействия, только если программы помощи не приводят к позитивным сдвигам в результатах;

- использовать для оценки деятельности педагога результаты, показанные его учениками (в независимых оценочных процедурах, соответствующих рекомендациям приложения 1) только по желанию педагога;

- способствовать повышению заинтересованности ОО в использовании объективных результатов региональных и федеральных оценочных процедур;

- проводить разъяснительную работу с муниципальными органами управления образованием и руководителями ОО по вопросам повышения объективности оценки образовательных результатов и реализации перечисленных выше мер.

Важным механизмом обеспечения объективности оценивания является внутришкольная система оценки образовательных результатов, способствующая эффективному выполнению педагогами трудовой функции "по объективной оценке знаний обучающихся на основе тестирования и других методов контроля в соответствии с реальными учебными возможностями детей". Элементами такой системы в ОО являются, в том числе:

_________________

 Приказ Минтруда N 544н от 18.10 2015* "Об утверждении профессионального стандарта "Педагог (педагогическая деятельность в сфере дошкольного, начального общего, основного общего, среднего общего образования) (воспитатель, учитель)".

* Вероятно, ошибка оригинала. Следует читать "от 18.10.2013". - Примечание изготовителя базы данных. 

 

- положение о внутренней системе оценки качества подготовки обучающихся;

- система регулярных независимых оценочных процедур, объективность результатов которых обеспечивает руководство ОО;

- принятые в ОО прозрачные критерии внутришкольного текущего и итогового оценивания, обеспечивающие справедливую непротиворечивую оценку образовательных результатов обучающихся;

- непрерывный процесс повышения квалификации учителей в области оценки результатов образования, включающий не только обучение на курсах повышения квалификации, но и внутришкольное обучение и самообразование;

- проведение учителями и методическими объединениями аналитической экспертной работы с результатами оценочных процедур.

Приложение 1. Рекомендации по организации и проведению независимых процедур оценки качества образования

Приложение 1

Общие положения

Важнейшим условием эффективного использования результатов оценочной процедуры является обеспечение на всех стадиях разработки, подготовки и проведения оценочной процедуры определенных условий, в том числе, обеспечения валидности инструментария по отношению к тому, что оценивается, и надежности процедур (разработки инструментария, проведения самих процедур, обработки и анализа результатов). Другим важным условием, позволяющим проводить эффективный анализ результатов оценочных процедур, является наличие четкого описания этих процедур, позволяющего точно интерпретировать полученные результаты.

В методических рекомендациях изложены основные принципы, которым должны удовлетворять подготовка и проведение оценочных процедур, разработка инструментария для их проведения. Указанные принципы направлены на обеспечение объективности результатов оценочных процедур и эффективности их использования в целях принятия на их основе управленческих решений.

Настоящие рекомендации могут быть использованы при формировании системы оценки качества образования на уровне субъекта Российской Федерации, муниципалитета или на уровне образовательной организации.

Инструктивно-методическое обеспечение процедур оценки качества образования

Концептуальное описание оценочной процедуры

Основой для формирования системы инструктивно-методического обеспечения проведения оценочной процедуры является концептуальное описание этой процедуры, включающее обоснование подходов к разработке основных элементов оценочной процедуры и отраженное в соответствующем документе, например, в концепции оценочной процедуры. Концептуальное описание оценочной процедуры должно включать:

1. Описание целей и задач проведения оценочной процедуры, групп участников оценочной процедуры.

2. Установление периодичности и графика проведения оценочной процедуры в соответствии с ее целями и задачами.

3. Описание методики формирования выборки участников оценочной процедуры. В первую очередь определяется, будет ли данная оценочная процедура выборочной или будет проводиться на генеральной совокупности участников. Методика формирования выборки участников оценочной процедуры определяется ее целями и выбранной степенью обобщения результатов. Выборка должна быть репрезентативна для всех групп категорий участников, на которые предполагается распространить выводы, полученные в ходе исследования.

4. Описание подходов к выбору параметров, подлежащих оценке, для решения задач оценочной процедуры (например, результаты обучающихся в какой-либо предметной области, профессиональные компетенции учителей, условия ведения образовательной деятельности и т.п.).

5. Обоснование выбора методов сбора информации при проведении оценочной процедуры в зависимости от ее целей и специфики (наблюдение, испытание, опрос, интервью, фокус-группы и т.д.) и соответствующего инструментария (диагностические работы, опросные листы, карты наблюдений и т.д.).

6. Если оценочная процедура предполагает выполнение ее участниками, диагностической/контрольной работы:

- описание подходов к отбору ее содержания в соответствии с целями проведения оценочной процедуры и параметрами, подлежащими оценке;

- описание подходов к операционализации требований ФГОС соответствующего уровня образования и/или ФГКОС и/или профессиональных стандартов и т.п.; описание подходов к формированию кодификатора требований к уровню подготовки при проведении оценочной работы.

________________

 Приказ Министерства образования и науки Российской Федерации от 06.10.2009 N 373 (ред.от 31.12.2015) "Об утверждении и введении в действие федерального государственного образовательного стандарта начального общего образования".

Приказ Министерства образования и науки Российской Федерации от 17.12.2010 N 1897 (ред. от 31.05.2017) "Об утверждении федерального государственного образовательного стандарта основного общего образования".

Приказ Министерства образования и науки Российской Федерации от 17.05.2012 N 413 (ред. от 29.12.2015) "Об утверждении федерального государственного образовательного стандарта среднего общего образования".

 Приказ Министерства образования и науки Российской Федерации от 05.03.2004 N 1089 (ред. от 07.06.2017) "Об утверждении федерального компонента государственных стандартов начального общего, основного общего и среднего (полного) общего образования".

 Приказ Министерства труда и социальной защиты Российской Федерации от 18.10.2013 N 544н (ред. от 05.08.2016) "Об утверждении профессионального стандарта "Педагог (педагогическая деятельность в сфере дошкольного, начального общего, основного общего, среднего общего образования) (воспитатель, учитель)".

 

При использовании готового кодификатора требований - подходы к его сопоставлению с требованиями ФГОС, ФКГОС, профессиональных стандартов и т.п.;

- описание объектов контроля, модели оценки объектов контроля,

- общие подходы к оцениванию выполнения участниками оценочной процедуры отдельных заданий и работы в целом.

7. При наличии в составе инструментария листов наблюдения:

- описание подходов к операционализации требований ФГОС (в том числе и дошкольного образования, если это соответствует целям исследования), профессионального стандарта и т.п. при определении структуры и содержания листов наблюдения. При использовании готового инструментария - подходы к его сопоставлению с требованиями ФГОС, ФКГОС, профессиональных стандартов и т.п.; о описание объектов наблюдения и моделей наблюдения, общие подходы к оцениванию результатов наблюдения.

________________

 Приказ Минобрнауки России от 17.10.2013 N 1155 "Об утверждении федерального государственного образовательного стандарта дошкольного образования".

8. Описание подходов к апробации инструментария оценочной процедуры.

9. Описание подходов к шкалированию результатов оценочной процедуры, если результаты предполагается переводить в единую шкалу.

10. Описание набора сведений об образовательных организациях и/или участниках оценочной процедуры, условиях ведения образовательной деятельности, которые подлежат сбору в соответствии с целями проведения данной процедуры.

11. Описание подходов к использованию алгоритмов обработки результатов оценочной процедуры.

12. Перечень направлений анализа результатов оценочной процедуры, соответствующий ее целям.

13. Модели использования результатов оценочной процедуры с указанием групп потребителей и круга возможных проблем, решению которых будет способствовать использование результатов.

14. Механизм установления соответствия результатов заданным критериям (если это предусмотрено целями проведения оценочной процедуры).

15. Описание путей обсуждения результатов оценочной процедуры экспертным сообществом и/или профессиональной общественностью.

В концептуальном документе, описывающем оценочную процедуру, могут содержаться и другие пункты, если это потребуется для достижения целей конкретной процедуры.

 

Порядок проведения оценочной процедуры

Порядок проведения оценочной процедуры должен соответствовать заявленным концептуальным подходам к ее проведению и включать описание всех направлений работ при проведении оценочной процедуры; описание организационно-технологического обеспечения всех этапов оценочной процедуры; описание кадрового обеспечения; описание действий всех категорий специалистов и участников в процессе проведения оценочной процедуры, план-график проведения оценочной процедуры, описание контрольных измерительных материалов для проведения оценочной процедуры или описание другого используемого инструментария.

1. Описание этапов проведения оценочной процедуры, в том числе, должно содержать:

- подготовка к проведению,

- действия для формирования инструментария (разработка, приобретение, использование открытых материалов или иные варианты),

- доставка и, при необходимости, хранение контрольных измерительных материалов, если предусмотрено их использование;

- проведение оценочной процедуры;

- обработка и анализ результатов;

- обсуждение и использование результатов.

2. Описание организационно-технологического обеспечения оценочной процедуры должно включать:

- описание технологии проведения оценочной процедуры, включая описание технологии доставки, хранения и выдачи заданий участникам, технологии сбора и формирования базы результатов,

- описание технологии оценивания развернутых ответов участников (если есть задания с развернутыми ответами);

- описание технологии сбора контекстной и иной информации об образовательных организациях и участниках (если проводится);

- описание технологии сбора результатов стандартизированного наблюдения (если проводится).

3. Описание кадрового обеспечения оценочной процедуры, в том числе, должно содержать:

- перечень категорий специалистов, участвующих в проведении оценочной процедуры, их роли и функции;

- требования к квалификации и условиям допуска к работе для всех категорий специалистов, участвующих в проведении оценочной процедуры;

- порядок отбора, подготовки и, при необходимости, аттестации специалистов всех категорий для участия в проведении оценочной процедуры;

- описание действий всех категорий специалистов и участников в процессе проведения оценочной процедуры.

4. Должны быть разработаны инструктивные материалы для участников и всех категорий специалистов:

- отдельные документы для каждой категории специалистов, в которых описаны все действия каждого из специалистов;

- документы для каждой категории участников, содержащие минимально необходимую информацию при проведении оценочной процедуры, инструкцию по выполнению заданий и контрольной (проверочной, диагностической и т.п.) работы в целом (если проводится); инструкцию по заполнению анкеты (при проведении анкетирования).

5. План-график проведения оценочной процедуры, включающий мероприятия, сроки, ответственных.

6. Описание контрольных измерительных материалов для проведения оценочной процедуры должно включать:

- спецификацию (описание) контрольной (проверочной, диагностической и т.п.) работы, в которой указывается:

- назначение работы;

- документы, определяющие содержание работы;

- структура работы;

- кодификаторы проверяемых элементов содержания и требований к уровню подготовки участников;

- распределение заданий работы по позициям кодификатора;

- распределение заданий работы по уровню сложности;

- типы заданий, сценарии выполнения заданий;

- система оценивания выполнения отдельных заданий и работы в целом;

- время выполнения работы;

о описание дополнительных материалов и оборудования, необходимых для проведения работы; о рекомендации по подготовке к работе.

- демонстрационный вариант работы, который является примером варианта, составленного в соответствии со спецификацией (описанием);

- методику шкалирования, в том числе перевода баллов, набранных участниками оценочной процедуры за выполнение работы, в пятибалльную или иную шкалу оценивания в соответствии с целями оценочной процедуры.

7. Описание инструментария для проведения стандартизированного наблюдения (если проводится):

- структура и перечень показателей, индикаторов и т.п. для проведения стандартизированного наблюдения;

- форма листа наблюдений;

- описание системы оценивания результатов наблюдения;

- описание системы шкалирования результатов наблюдения.

8. Описание инструментария для сбора информации об образовательных организациях и участниках оценочной процедуры (если предполагается собирать информацию):

- описание групп участников оценочной процедуры, о которых собирается информация;

- перечень собираемой информации.

Организационно-технологическое обеспечение процедур оценки качества образования

Организационно-технологическое обеспечение описывается порядком проведения оценочной процедуры.

Основным требованием к организационно-технологическому обеспечению оценочных процедур является наличие организационных мер и технологических инструментов для обеспечения объективности результатов оценочной процедуры:

- единообразия условий проведения оценочной процедуры для всех участников и образовательных организаций, в том числе с учетом наличия различных категорий участников с особыми потребностями;

- сохранности и конфиденциальности данных, обрабатываемых в процессе проведения оценочной процедуры, в том числе:

- конфиденциальности контрольных измерительных материалов на всех этапах вплоть до окончания оценочной процедуры;

- порядка в аудиториях в ходе выполнения участниками всех действий в рамках проведения оценочной процедуры;

- сохранности выполненных участниками работ на всех этапах вплоть до формирования базы результатов;

- сохранности базы результатов оценочной процедуры;

- мероприятий по мониторингу и контролю хода проведения оценочной процедуры;

- мероприятий по обеспечению единых подходов к экспертной оценке результатов и любой другой экспертизе, осуществляемой в ходе оценочной процедуры, а также по обеспечению качества экспертной оценки;

- мероприятий по анализу результатов оценочной процедуры на предмет объективности.

 

Кадровое обеспечение процедур оценки качества образования

Кадровое обеспечение описывается порядком проведения оценочной процедуры.

Основным требованием к кадровому обеспечению оценочной процедуры является наличие необходимых условий для обеспечения объективности результатов оценочной процедуры. В том числе, порядком его проведения должны быть предусмотрены:

- механизмы контроля обеспеченности кадрами всех этапов проведения оценочной процедуры в соответствии с требованиями порядка проведения;

- меры по обеспечению единообразия условий привлечения, подготовки и, при необходимости, аттестации специалистов для проведения оценочной процедуры;

- меры по предотвращению конфликта интересов в процессе проведения оценочной процедуры.

 

Инструментарий для проведения процедур оценки качества образования

Контрольные измерительные материалы

Основные этапы подготовки контрольных измерительных материалов, проверки работ участников, оценивания и шкалирования результатов описываются порядком проведения оценочной процедуры.

Основные требования к контрольным измерительным материалам (далее - КИМ) оценочной процедуры:

- обеспечение валидности КИМ: их соответствие заявленным целям работы;

- обеспечение соответствия КИМ образовательным стандартам, примерным образовательным программам, спецификации (описанию), в том числе, путем организации соответствующих экспертиз в процессе разработки КИМ, а также путем использования технологических инструментов для разработки и хранения КИМ;

- обеспечение высокого качества используемых в КИМ заданий, отсутствие в них ошибок и некорректных формулировок, в том числе, путем организации соответствующих экспертиз в процессе разработки КИМ, проведения апробации и стандартизации инструментария, а также путем использования технологических инструментов для разработки и хранения КИМ;

- проведение анализа качества КИМ на основе первичных данных о результатах оценочной процедуры.

Разработка контрольной (проверочной, диагностической и т.п.) работы включает разработку спецификации и достаточного количества вариантов работы, обеспечивающих возможность построения единой шкалы и возможность выделения уровней выполнения работы, построения профилей выполнения работы по содержанию и/или видам деятельности и/или уровню компетенций участников оценочной процедуры.

 

Инструментарий для стандартизированного наблюдения

При проведении оценочных процедур может быть организовано стандартизированное наблюдение с использованием специального инструментария. Основные этапы подготовки инструментария для стандартизированного наблюдения, оценивания и шкалирования результатов описываются порядком проведения исследования.

Основные требования к инструментам для стандартизированного наблюдения в ходе исследования качества образования:

- обеспечение соответствия инструментов стандартизированного наблюдения заявленным целям исследования, направленность на оценку тех объектов, которые определены в концептуальном документе, описывающем исследование;

- обеспечение сопоставимости содержания инструментов для стандартизированного наблюдения с ФГОС, профессиональными стандартами и т.п., в том числе, путем организации экспертиз в процессе разработки инструментов для стандартизированного наблюдения;

- проведение анализа качества инструментов для стандартизированного наблюдения на основе первичных данных о результатах исследования.?

Разработка инструментов для стандартизированного наблюдения включает создание единой шкалы и возможность построения профилей результатов наблюдения для различных групп участников исследования по разным объектам наблюдения.

 

Инструментарий сбора контекстной информации, информации об особенностях образовательного процесса, взглядах и мнениях участников оценочной процедуры

Основные этапы подготовки инструментария для сбора информации об образовательных организациях и участниках оценочной процедуры описываются порядком проведения оценочной процедуры.

Основные требования к инструментам для сбора информации об образовательных организациях и участниках в ходе оценочной процедуры:

- соответствие методов сбора информации целям оценочной процедуры, ее масштабам, характеру контекстной информации;

- обеспечение соответствия инструментов сбора информации об образовательных организациях и участниках оценочной процедуры заявленным целям оценочной процедуры, направленность на оценку тех объектов, которые определены в концептуальном документе, описывающем оценочную процедуру;

- обеспечение высокого качества инструментов для сбора информации, отсутствие некорректных формулировок, в том числе, путем организации соответствующих экспертиз, проведения апробации и стандартизации инструментария;

- проведение анализа качества инструментов для сбора информации об образовательных организациях и участниках на основе первичных данных о результатах оценочной процедуры.