Жажда объективности в оценке тренинга послужила основ­ной причиной разработки модели Д. Киркпатриком. В основе подхода лежит принцип разделения четырех уровней анали­за, расположенных в хронологическом порядке (на тренинге, сразу после тренинга, после тренинга и в долгосрочной пер­спективе):

1. Уровень реакции участников (изучается мнение и отноше­ние участников - понравилось или не понравилось);

2. Уровень усвоенных знаний (изучается комплексное вли­яние тренинга на эмоциональный настрой, изменение профессиональной мотивации участников, получение новой информации);

3. Уровень поведения участников (анализируется измене­ние поведения на рабочем месте в результате получен­ных на тренинге знаний);

4. Уровень эффекта от участия (влияние участия в тренин­ге на результаты работы организации, например: сниже­ние оттока кадров, увеличение объема продаж).

Специфика оценки результатов тренинга по модели Киркпатрика заключается в двух моментах. Во-первых, подход можно трактовать как попытку отделить эмоциональное вос­приятия тренинга от рационального. Во-вторых, предложен­ный подход демонстрирует различия в оценке, зависящие от времени подведения итогов: в момент предварительной диа­гностики, анализа результатов во время тренинга и сразу пос­ле длительного их изучения по его окончании.

Несмотря на очевидное преимущество панорамы мне­ний, ограничения в применении модели Киркпатрика тоже есть.

При внимательном рассмотрении модели создается впе­чатление, что в сравнении с самим тренингом процесс оценки начинает доминировать. Так или иначе, в его осуществление вовлечены все возможные стороны. Оценка начинается до начала занятий и длится долго после их окончания. Именно это заставляет усомниться в эффективности самого механиз­ма. Во-первых, процедуры и процесс оценки требуют боль­ше затрат, чем сам тренинг (при этом расходы на проведение оценки почему-то не учитываются). Во-вторых, попытка оп­ределить различия в уровнях оценки не дает видения целого и получить ответ на вопрос: есть ли у тренинга результаты и если да, то какие?

Не менее популярным подходом к оценке результатов тренин­га является модель (Return On Investments - рентабельность инвестиций), предложенная Дж. Филипсом. Честно говоря, ROI - лишь один из элементов сложной, на этот раз пяти­уровневой системы, во многом аналогичной рассмотренной выше. Но попытка определить результаты тренинга через «формулу успеха» определила общее отношение.

На первом уровне производится оценка реакции участ­ников, т.е. сбор мнений о тренинге, проведенный в виде ан­кетирования. На втором уровне предполагается измерение усвоения учебного материала. На этом уровне тренер оце­нивает результаты обучения методами тестирования, конт­рольных упражнений, экзаменов. На третьем уровне анализу подвергаются изменения в поведении участников по оконча­нии обучения, возможность использования полученных зна­ний и навыков на практике. Основной метод оценки в этом случае - тестирование, и сравнение результатов до и после тренинга. Однако метод не исключает косвенных показате­лей эффективности: например, увеличение объема продаж после проведенного тренинга для торговых представителей. Обратите внимание: предположительный период оценки по­казателей третьего уровня - от нескольких месяцев до по­лугода.

И только на четвертом уровне предлагается рассчитать воз­врат на инвестиции в обучение персонала. Расчет формулы прост: затраты на обучение должны быть не только окупаемы­ми, но быть значительно меньше выгоды организации, полу­чаемой по окончании тренинга.

ROI = (Доход - Затраты) / Затраты X 100%

Несмотря на кажущуюся простоту и привлекательность «формулы успеха», основная трудность в ее применении - очевидное увеличение расходов. Затраты на проведение пред­варительного и последующего за тренингом анализа становят­ся критическими. И если прибыль от инвестиций в обучение персонала посчитать возможно, то как оценить финансовую эффективность сопроводительных мероприятий?

Но формула - это еще не все. Предполагается пятый уро­вень оценки, а именно, посттренингового сопровождения. В этом случае предлагается предусмотреть и подсчитать расхо­ды на создание дополнительных инструкций, подготовку из­даний, методичек и видеоархива, что со временем позволит поддерживать полученные на тренинге знания и навыки в ра­бочем состоянии.

Идея посттренингового сопровождения в компании отража­ет возможность поддержания, контроля и управления процес­сом подготовки персонала. Мы обеими руками «за» организа­цию посттренингового комплекса мер. Но все-таки в компании должны быть созданы рабочие, а не учебные условия, при ко­торых участники тренинга могут применять новые знания и навыки и обеспечивать прибыль. Попытка создания спецус­ловий для «непрерывного тренинга» демонстрирует, скорее, отсутствие представлений о конечности (и, следовательно, результативности) программы обучения. Но тренинг конечен. В противном случае измерить результаты очень трудно.

Существуют и другие ограничения многоуровневого под­хода, предложенного Дж. Филипсом. Оценка эффективности тренинга становится внутренним делом компании-заказчи­ка. Даже если тренер принимает участие в многоступенчатой аналитической страде, процессом анализа результатов он не управляет. В дополнение следует сказать, что длительный процесс сбора и обработки информации принципиально уве­личивает затраты.

В основе рассмотренных многоуровневых подходов лежит заполнение бесчисленных анкет и опросников, которые плани­руется внимательно изучить, проанализировать и сделать пра­вильные выводы. Работа персонала стоит. Поскольку сначала потенциальные участники, а также их руководители отвечают на вопросы анкеты, потом учатся и продолжают отвечать на вопросы анкеты, заканчивают обучение и снова приступают к ответам на вопросы. Процесс может затянуться.

Фактически предложенный подход позволяет провести са­мостоятельное исследование. Однако практика тренерской работы показывает, что, несмотря на обилие разных по форме и содержанию вопросов, выводы об эффективности того или иного тренинга в этой ситуации сделать неимоверно трудно. Поэтому заполненные анкеты не только не позволяют увидеть результат проделанной работы, но часто становятся безмолв­ным свидетельством того, что работа была проделана с... не­известным результатом.

ПО ПОЗИЦИЯМ

Многоступенчатые возможности оценки результатов тренин­га важны, но не всем и не всегда по силам. Чаще тренер на­ходится в ситуации «здесь и сейчас», где необходимо быстро принять решение в условиях ограниченных ресурсов. В то же время поскольку в открытом и, особенно, в корпоративном тренинге de facto принимают непосредственное участие от двух до четырех заинтересованных сторон, оценка эффектив­ности с разных позиций будет, так или иначе, отличаться.

Поэтому для нас, прежде всего, важно знать принципиаль­ные различия и точки пересечения задач, интересов, ожиданий и возможностей всех участников «мирного процесса».

Напомним, что основными субъектами тренинга являются:

1. тренер (непосредственный исполнитель, инструктор, ве­дущий);

2. участники тренинга (вне зависимости от формы проведе­ния тренинга);

3. заказчик тренинга (руководитель, HR-менеджер, генераль­ный директор, собственник);

4. организатор тренинга (тренинг-провайдер, работодатель тренера).

Совершенно очевидно, что позиции для оценки тренинга разные, а интересы сторон не всегда пересекаются. Но имен­но поэтому четкое понимание эффективности важно для всех субъектов тренинга. Рассмотрим последовательно основные задачи, ценности, критерии и «болевые» точки эффективнос­ти тренинга для всех позиций.

Сам себе тренер

Не стоит перекладывать работу по оценке результатов своего труда на плечи третьих лиц. Нет сомнений, что они прекрасно справятся. Но не отчуждайте от себя, как учил нас еще Карл Маркс, результаты своего труда. Поскольку в этом случае они точно не будут вам принадлежать. А ведь вам еще работать и работать...

Если говорить серьезно, то, конечно, тренер сам должен знать, что получилось, что не получилось и почему. Более того, он всегда это знает, только иногда не хочет признаваться. Конечно, в случае неудачи с тренингом можно попробовать кокетничать и капризничать: «Не та аудитория, не та мотива­ция, не тот заказчик, не тот заказ...». Но это скромный вклад в тренерский аутотренинг. Не более. Оценить результаты тре­нинга позволяют поставленные и принятые задачи.

Основными задачами работы тренера, наряду с собственно обучением, являются выполнение заказа (в соответствии с ус­ловиями договора) и общий позитивный эффект от участия в тренинге, который обеспечит репутацию компании-органи­затору и позволит клиенту в дальнейшем обратиться повтор­но. Решению этих основных задач подчинены все популярные критерии оценки.

Эффективность тренера, прежде всего, отражается в содер­жании программы тренинга, в умении ориентироваться в те­матике, отраслевой специфике, а также в навыках аргумента­ции и в ответах на вопросы участников. Наряду с проявлением собственной компетенции тренер должен обучить участников, поэтому критериями эффективности тренинга являются вы­полнение участниками всех заданий, тестов, а также публич­ная демонстрация полученных знаний и навыков. Методами самооценки тренера становятся личное наблюдение, тесты, контрольные и практические работы для определения дина­мики развития навыков, знаний, установок в работе участни­ков в процессе тренинга.

Вместе с тем тренер должен обеспечить такую нематериальную вещь, как положительный эмоциональный настрой в процессе обучения. Поэтому в качестве оценки эффективности принято считать наличие интереса участников, известного как мотивация к обучению, и отсутствие напряженности и конфликтов.

Интерес обеспечивается соответствием программы обуче­ния производственным задачам участников, уровню их про­фессиональной подготовки и интересом тренера к своей рабо­те. Если вы уныло тянете лямку, не уверены в своей правоте, не видите перспектив, не дотягиваете до уровня участников, не подготовлены - не надейтесь, что у аудитории появится интерес к предмету обучения.

Основным индикатором тренерского провала станет за­тяжное публичное сопротивление: препирательства тренера с участниками, напоминание участников о том, что они заплати­ли за обучение, нежелание выполнять задания и упражнения, высказанные сомнения в квалификации тренера. Обращаем внимание на бессмысленность переноса ответственности за «неправильное» поведение на особенности характера участ­ников. Именно тренер руководит группой во время тренинга, поэтому навык успешного управления группой является од­ним из критериев качества работы.

Соблюдение всех параметров, успешное управление эмо­циями участников, более того, создание позитивного настроя позволяют говорить об успехе тренинга. По окончании тре­нинга вы можете провести анкетирование, можете предоста­вить участникам возможность выступить устно. Но, если в процессе тренинга ни у группы, ни у заказчика, ни у органи­заторов претензий к тренеру не возникло, а его работа была востребована в дальнейшем, то тренинг можно считать эф­фективным и успешным.

Однако даже при умении выполнять поставленные зада­чи, следовать программе, вызывать искренний восторг и вос­хищение участников новыми горизонтами тренеру не стоит расслабляться. Существуют дополнительные условия, учет которых необходим для успешной работы. Так, например, в корпоративном тренинге наряду с ожиданиями участников тренинга важно знать и учитывать интересы заказчика.

Несмотря на то что именно заказчик оплатил обучение участников, их интересы заметно отличаются. Если для учас­тников основным приоритетом является личностный рост и совершенствование собственных навыков, задачи заказчика лежат в плоскости повышения конкурентоспособности ком­пании и снижения издержек, связанных с трудовыми ресур­сами. Поэтому особенно в корпоративном тренинге тренеру не обойтись без его поддержки. В противном случае тренинг превращается в поединок между тренером и заказчиком.

Противостояние тренера и заказчика может быть вызва­ны разными причинами: конкуренцией за внимание участ­ников, неуверенностью заказчика в квалификации тренера, различными представлениями о возможностях и методах тренинга. Отсутствие взаимопонимания может стать пово­дом для публичного проявления сомнений в эффективности и профессионализме тренера. Тренинг перестает выполнять учебные задачи, превращаясь в ярмарочный аттракцион по перетягиванию каната. Однако любые попытки тренера «понравиться» заказчику только усиливают сопротивление, заметно снижая возможность успешного завершения тре­нинга.

Существуют только два метода преодоления разрушитель­ного конфликта с заказчиком. Причем все усилия необходи­мо предпринимать задолго до начала тренинга. Прежде всего, стоит избегать прямого вмешательства заказчика в тренинг в процессе публичной работы, а все основные параметры тре­нинга отражать в договоре. Если конфликт все-таки произо­шел - только договор останется единственным беспристраст­ным арбитром.

Даже если заказчик в тренинге лично не участвует, необхо­димо заранее узнать его нормы, ценности, установки, для того чтобы содержание самого блестящего тренинга не оказалось в противоречии с принятой корпоративной культурой компа­нии. В противном случае участникам просто не представится счастливая возможность применить новые знания и навыки на практике.

Планируя оценку своей работы, тренеру стоит учитывать, что интересный тренинг может дать участникам новые знания и навыки, избыточные для выполнения ежедневных должнос­тных обязанностей, что приведет к разочарованию по окон­чании тренинга, активизации поиска лучшими из участников новой работы и в любом случае - к недовольству заказчика.

Как видим, оценка эффективности тренинга с позиции тре­нера не ограничивается знанием предмета, умением подгото­вить программу интенсивного обучения и успешно управлять эмоциями участников. От тренера потребуется детальное вос­становление интересов и задач заказчика, карьерных перспек­тив и возможностей участников и их учет в планировании и проведении учебной программы. Кроме того, согласование договорных условий позволит проявить незаурядный дипло­матический талант, поскольку именно тренеру придется во­площать в жизнь все обещания.

Организатор

Следует отметить, что критерии оценки эффективности тре­нинга, применяемые провайдерами - работодателями тре­нера, в силу различия задач будут отличаться от критериев оценки самого тренера. Другими словами, основными задача­ми организатора являются успешное выполнение заказа и... управление персоналом, или самим тренером. За понятием успешного выполнения заказа обычно тоже стоят эмоции: до­вольный клиент и участники.

Организаторы гордятся выполнением заказа и стремятся публично продемонстрировать успех компании отзывами участников и клиентов тренинга. Поэтому под качеством обычно понимается высокое положительное эмоциональ­ное напряжение участников, которое находит свое отраже­ние в многочисленных отзывах: «Семинар мне понравил­ся, во-первых, он своевременный, а во-вторых, грамотно и доступно проведен»; «Замечательно! Поучительно!»; «Ин­тересно, нестандартно. И как следствие - высокая усвоя­емость материала»; «После тренинга появились легкость, непринужденность в общении с людьми, в том числе с ру­ководством и коллегами по работе. Жить стало интересней и веселей».

Конечно, тренеру важно ориентироваться на ожидания ор­ганизатора. Однако противоречие заключается в том, что, в отличие от организатора, заказчик ждет от тренинга не только довольных и воодушевленных, но и подготовленных кадров.

В оценке тренинга организатору важно запастись терпени­ем и учитывать не столько сиюминутный настрой. Несмотря на то, что бесконфликтность - хороший показатель стабиль­ности работы тренера, всегда существует опасность, что за вре­мя тренинга всем довольная группа так ничему не научилась.

У организатора немного рычагов влияния на ход тренинга. Любые попытки изменить действия тренера только усиливают беспомощную и неуправляемую ситуацию. Однако возмож­ность создать условия для позитивного настроя участников существует: заранее ознакомиться с программой, принци­пами обучения и подготовить все необходимые условия для комфортной работы, в том числе удобное помещение, встречу участников и организацию питания. От этих факторов будет зависеть и результат и настроение.

Решение задачи управления тренером лежит в плоскости трудового договора. Вне зависимости, ведет семинар штатный труженик или free-lance, организатор в оценке тренера будет использовать стандартные для любой работы критерии оцен­ки: «качественно и в срок», отсутствие сбоев, соотношение «цена - качество», выполнение всех условий договора, вос­требованность заказчиком. В целом работа тренера не должна вызывать нареканий организаторов. В противном случае они просто предпримут шаги по поиску нового тренера.

Заказчик

Критерии эффективности для заказчика тренинга отражают, прежде всего, возможности экономической отдачи от обуче­ния персонала, инвестиций в человеческие ресурсы. Самые продвинутые заказчики попытаются оценить и рассчитать экономическую эффективность «по формуле». Но, как пра­вило, кроме общих теоретических рассуждений о процентном соотношении ВНП на инвестиции в персонал в США, Европе или Японии и безнадежной информации о том, что средний период окупаемости инвестиций в персонал составляет от 10 до 25 лет, современная экономическая мысль не предлагает.

Экономическую эффективность тренинга трудно вычислить из-за существующей дистанции между ограниченными пол­номочиями службы персонала, направляющей сотрудников на обучение, условиями труда и системой мотивации сотрудников, находящимися в компетенции других служб, поскольку на про­изводительность труда влияет не только обучение, но и условия труда, заработная плата, структура управления. Тренинг как ра­зовая акция способен поднять продажи до 40%. Задача руководи­теля - этот результат удержать.

Основное условие для получения результата от инвести­ций в человеческие ресурсы - своевременность обучения, поскольку все благие идеи подготовки сотрудников в качестве трудового резерва без применения на практике полученных навыков не оправдают расходов на тренинг. Говоря о задаче изменения мотивации и принципов управления сотрудника­ми при помощи средств обучения, напомним, что само учас­тие в тренинге мотивирующим фактором не является.

Помимо экономических существуют управленческие кри­терии эффективности тренинга. Среди них особое внимание заказчики уделяют наличию воспитательного эффекта, в том числе повышения уровня лояльности группы участников (или участника) к ценностям компании, адекватность тре­нинга корпоративным ценностям, принципам и правилам работы, а также благодарности сотрудников за участие и за­боту.

Как правило, заказчики ожидают, что в тренинге не будут продвигаться идеалистические идеи, которые не соответству­ют идеологии и практике работы в конкретной компании. На­пример, в крупной компании заказчика существует жесткая иерархия процедуры принятия решений, которая в тренинге рассматривается как атавизм тоталитарной системы, и предла­гается командный стиль в работе. В этом случае по окончании тренинга закономерно возникнут взаимные упреки: «Как вы работаете? Нас учили иначе...».

Для заказчика важно, чтобы содержание тренинга не ста­вило под сомнение авторитет руководителя и корпоративную культуру компании. Заказчик рассчитывает, что в программе корпоративного тренинга будут учтены возможности балан­са теоретических знаний и практических навыков. Основная сложность возникает в случае компромиссного согласия орга­низаторов и тренера решить в тренинге заведомо неразреши­мые задачи. Например, изменить систему мотивации сотруд­ников без изменения реальных условий труда.

Одна из важных для заказчика задач тренинга - расшире­ние возможностей управления коллективом. И только в этом контексте заказчика будет интересовать сплоченность коллек­тива и развитие потенциала сотрудников.

Любой корпоративный тренинг является публичной пло­щадкой. Это означает, что возможны не только созидательные проявления, но и возникновение трений и конфликтов. Пос­кольку корпоративное обучение обычно происходит по ини­циативе руководства, в группе могут оказаться недовольные отрывом от работы, потенциальные конкуренты руководства, специалисты более высокой квалификации, чем тренер.

Существующее скрытое сопротивление в коллективе может получить на тренинге прекрасный шанс вылиться в митинг протеста против руководства с вовлечением в ряды недоволь­ных новых активистов. В результате коллектив может выйти из тренинга подготовленным и сплоченным, но... против ру­ководства.

Именно поэтому заказчику необходимо заранее удостове­риться в профессионализме и компетентности тренера и ком­пании - организатора тренинга, познакомиться с программой и четко обозначить свои задачи. В конечном счете, заказчик ожидает, что после тренинга количество рычагов управления сотрудниками увеличится, а не наоборот.

Участник

Оценка эффективности тренинга с позиции участника сложна и многогранна, поскольку сильно зависит от индивидуальной специфики: мотивации, особенностей восприятия, уровня подготовки, личных целей и задач. В основном проводимая участниками в форме ответов на устные или письменные вопросы оценка тренинга охватывает два уровня: эмоциональный (понравилось - не понравилось) и прагматический, отража­ющий возможную пользу (или ее отсутствие) для работы. Но указанные критерии не всегда полно отражают реальную кар­тину, которая нередко имеет второе, скрытое дно.

Часто именно с тренингом связаны большие надежды на обучение не в виде однообразного заучивания и утомительно­го конспектирования, а в форме увлекательного и зрелищного развлечения. Поскольку взрослые участники опасаются быть некомпетентными в вопросах, рассматриваемых в тренин­ге, они ожидают, что свет знаний и навыков будет освещать новые горизонты не только быстро, но и по возможности без особых усилий и риска для профессиональной репутации.

Подобные ожидания участников существенно подкрепля­ются игровой традицией в современном тренинге, формиру­ющей и поддерживающей представления о том, что перенос задачи освоения профессиональных навыков в игровую плос­кость позволяет добиться впечатляющих результатов. В свою очередь, доминирование в тренингах психологического подхо­да создает акцент на решении проблем личности и межличнос­тных взаимоотношений. Поэтому не стоит удивляться, увидев, что ожидания участников тренинга лежат в плоскости возмож­ного проявления положительных эмоций при накале страстей, общения с коллегами, отвлечения от рутинной работы.

Однако любая эффективная учебная работа в интенсивном тренинге для взрослых, опытных людей неизбежно проходит через два сложных и болезненных процесса: «преодоления» и «созидания». Преодоление требует умения отказаться от лич­ных подозрений, профессиональных иллюзий и статусных амбиций, критично пересмотреть свой предыдущий опыт, «открыть» себя для сознательного усвоения нового материала. Созидание представляет собой усилия как для овладения но­выми знаниями и навыками, так и для критического осмысле­ния новых условий, в которых они будут применяться.

К сожалению, очень часто открыты ко всему «новому и ин­тересному» только люди, которые воспринимают обучение как развлечение, а содержательную часть тренинга как необхо­димое дополнение к вкусному обеду или вниманию руководства. Как только участники тренинга начинают задумываться, анализировать, незамедлительно появляются грустные мысли и негативные эмоции. Опытным и вполне успешным в карь­ере специалистам очень сложно признаться себе в професси­ональных заблуждениях, штампах, неудачах, сдерживающих дальнейшее развитие и эффективность работы. Процессы преодоления и созидания часто сопряжены с проявлением т.н. «групповой динамики».

С другой стороны, участники ожидают получить возмож­ность для демонстрации своей состоятельности и компетент­ности в рассматриваемом вопросе. При этом участникам хо­телось, чтобы само по себе участие в тренинге повысило их статус. Однако они меньше всего заинтересованы быть прове­ренными на усвоенные знания и навыки, тем более работать в измененных условиях и нормативах по окончании обучения.

Конечно, ни тренер, ни участники, ни тем более заказчик не хотят конфликтов. Компромиссным спасением репутации тренеров обычно становится проведение всего тренинга под флагом «толерантного» отношения к любому, даже неверно­му мнению. Популярная идея безоценочной обратной связи заметно ограничивает возможности конфликта, но и не ос­тавляет пространства для реалистичной оценки ситуации. Поэтому, несмотря на то что бесконфликтность - хороший показатель стабильности работы тренера, существует опас­ность, что за время тренинга всем довольная группа так ниче­му не научилась.

В то же время, наряду с общими ожиданиями и представ­лениями, существуют различия в мотивации участников кор­поративного и открытого обучения. Так, например, участни­ки открытого тренинга в большей степени ориентированы на получение результата, поэтому очень внимательны и требо­вательны к программе, работе и квалификации тренера, соб­людению условий договора.

Большая требовательность и серьезное отношение к тре­нингу вызваны тем, что участники открытых программ обычно самостоятельно выбирают и оплачивают курс или прилагают усилия для обоснования необходимости своего обучения у руководства. Разочарование мотивированных участников может вызвать только низкий уровень тренинга, невысокая квалификация тренера, несоответствие програм­мы предварительной рекламе и обещаниям. Но в этом случае от участников требуется большая щепетильность и дотош­ность в выборе учебной программы, а от тренера - повыше­ние квалификации.

С участниками программ внутрифирменного обучения дело обстоит сложнее. Участники корпоративных тренингов, как правило, менее мотивированы на обучение и испытыва­ют сложный комплекс противоречивых чувств. Недоверие к тренингу заметно усиливается воздействием коллектива и ожиданием последствий на работе. Напряжение участников вызывает ожидание перемен на рабочих местах по окончании тренинга. Тренинг может полярно восприниматься и как под­тверждение исключительности одного из специалистов, как дополнительный компенсационный пакет или даже как санк­ции со стороны руководства.

В целом гамма чувств участников, пришедших на тренинг без особого личного желания, может проявляться в разных формах саботажа. Тренеру может «попасть» за все организа­ционные неудачи и просчеты заказчика: невысокую зарплату, грубость и невнимание, за то, что тренинг проходит в «закон­ные» выходные, за то, что собрали вместе лидеров и отстаю­щих, старослужащих и новичков, руководителей и подчинен­ных и т.д.

На наш взгляд, именно поэтому сегодня на рынке домини­руют игровые и психологические подходы в проведении боль­шинства тренингов. Действительно, перевод сложных профес­сиональных проблем в пласт игры и переключение внимания участников на анализ личных психологических особенностей может спасти репутацию тренера. Это великолепное решение. Играть и узнавать про себя. Однако производственных задач такое обучение не решает.

Еще один подводный камень корпоративного тренинга - избыточная или несвоевременная подготовка участников. Несвоевременность подготовки, любые попытки обучить со­трудников впрок в рамках концепции «lifelong learning» часто активизируют поиск возможностей дальнейшего применения полученных знаний и навыков вне стен компании, но на луч­ших условиях. Парадокс: «непрерывное образование» исклю­чительно облагораживает конкретного индивида, но для орга­низации может оказаться губительным.

Специфика корпоративного обучения проявляется и в том, что вне зависимости от типа тренинга основным приорите­том участников является приобретение новых знаний для себя лично и только во вторую очередь - для компании. Чем луч­ше подготовлен специалист, тем больше возникает професси­ональных амбиций: на должность, на зарплату, на уважение и почет. Отлично подготовленному персоналу после тренинга может стать тесно в своей организации. Поэтому, прежде чем «тренировать», необходимо определить, что изменится на ра­бочих местах сотрудников, кроме увеличения нагрузки.

Другими словами, может получиться и так: «что сотруд­нику хорошо, то работодателю смерть». Успешно подгото­вив специалистов на тренинге, заказчик может оказаться не в состоянии изменить процедуры, нормативы, условия труда и вознаграждение в практической жизни. В результате под­готовленный сотрудник станет просто недосягаем для своего патрона.

Практика показывает, что участники корпоративного тре­нинга менее всего склонны думать об экономической эффек­тивности тренинга как отдаче от инвестиций заказчика. Это неудивительно, поскольку в этом случае не они принимали ре­шения и не они платили за тренинг самостоятельно. Решение вопросов личной и экономической ответственности участни­ков перед заказчиком могут решаться методом предъявления претензий непосредственно к тренеру: не научил, не объяснил, не подготовил. Или, например, невозможностью работать в предложенных условиях: «Подушка жесткая, одеяло колючее, кофе не крепкий, чай не сладкий и т.д.».

Несмотря на то, что участники корпоративного тренинга могут высоко оценить эмоциональный эффект от тренинга («понравилось, интересно, весело»), они тут же совершенно безжалостно скажут, что ничему не научились. Это мнение до­статочно распространено и заведомо ставит тренера в зависи­мую позицию: «Не смог научить всех - плохой специалист».

Так или иначе, позитивные и негативные эмоции участни­ков на входе и по окончании тренинга не являются мерилом эффективности тренинга. Нравится, не нравится - очень субъективная оценка, которую можно отнести к развлечени­ям, а к тренингу - едва ли. При рассмотрении эффективности обучения нужны иные аргументы, которые позволят ответить на вопрос о применимости полученных знаний и навыков на реальных рабочих местах.

Обучение, несмотря на то что само понятие имеет почти сакральный смысл, - процесс, требующий усилий не только со стороны учителя, но и, в первую очередь, ученика. Обра­тите внимание на закономерность: чем больше усилий будут прилагать ваши участники, тем дороже станут для них резуль­таты тренинга, тем больше положительных эмоций, впечатле­ний, отдачи.

Квартет

Как видим, у всех четырех сторон, участвующих в тренинге, будет разное отношение и разное мнение по вопросу резуль­тативности занятий.

Для тренера основным приоритетом станет собственная ре­путация, востребованность, заработок, позитивный настрой группы, выполнение обязательств контракта.

Для заказчика важна экономическая отдача от тренин­га, иными словами, соразмерность затрат полученным пре­имуществам. За редким исключением, заказчику не важны подходы и методика обучения, применяемая в тренинге. Приоритеты заказчика касаются возможности персонала но­выми, полученными в ходе обучения навыками выполнить новые профессиональные задачи. К очевидным приоритетам заказчика также отнесем лояльность персонала, возможность более эффективно управлять и отсутствие деструктивного влияния тренинга на корпоративную культуру и деятель­ность компании в целом. Кроме того, для заказчика важно, чтобы обученный персонал стабильно работал в интересах организации.

Для провайдера (организатора тренинга) важна лояльность тренера, сохранение (в идеале усиление) репутации в глазах заказчика, экономический результат от деятельности каждого конкретного тренера. Повторные обращения.

Для участника тренинга важен собственный личностный рост, раскрытие новых возможностей, собственная состоя­тельность, приобретение конкурентного преимущества, дру­гими словами, будущие перспективы, причем как в компании, так и, возможно, за ее пределами.

Тип термина: Definition

Термин: Модель Киркпатрика

Альтернативные термины: -

Короткое описание: Модель Киркпатрика - четырехуровневая модель оценки эффективности обучения

Длинное описание:

Модель Киркпатрика - четырехуровневая модель оценки эффективности обучения:

Реакция (эмоциональный уровень)

Усвоение (уровень знаний)

Поведение (уровень навыков)

Результат

Реакция (эмоциональный уровень) - эмоциональная оценка обучения участниками. С одной стороны, положительная реакция как таковая не имеет большого значения, поскольку “понравившийся тренинг” отнюдь не означает “эффективный тренинг”. Он может никоим образом не изменить участников. С другой стороны, не стоит недооценивать этот фактор: удовлетворенность тренингом - это заинтересованность, внимание и позитивный настрой участников, необходимые для успешного обучения.

Усвоение (уровень знаний) показывает,какие знания, навыки, техники и методы усвоены участниками тренинга. Приобретение новых знаний является важным, но недостаточным результатом тренинга. Чтобы получить знания, не обязательно проходить тренинг - достаточно прочитать книгу или посетить лекцию. К тому же, само по себе приобретение новых знаний, без умения и желания их применять, часто не влияет на эффективность работы человека. Более ценным результатом тренинга может оказаться получение участниками «осознаний», так называемых «инсайтов», когда участник тренинга получает какое-либо знание не от тренера, а в результате анализа опыта, полученного в ходе какого-либо упражнения.

Поведение (уровень навыков) - изменение поведения участника в рабочей ситуации, применение им полученных навыков в рабочих условиях. Изменение поведения показывает, что участники на практике применяют знания и навыки, полученные на тренинге. Это важнейший показатель эффективности, поскольку основная цель тренинга - улучшение бизнес-показателей путем совершенствования поведения участников. Ведь новые знания и умения бесполезны, если их не применять.

Результат - выявляются измеримые результаты (например, улучшение качества обслуживания, уменьшение нерациональных расходов и т. д.). В компаниях обычно имеются данные о ключевых, интегральных бизнес-показателях, таких, как объем продаж, прибыль, затраты. Понятно, что проведенный тренинг не является единственным фактором, который влияет на эти показатели, существует много других факторов, как внешних, так и внутренних. И точно измерить вклад тренинга, например, в увеличение объема продаж довольно сложно, особенно, если это был тренинг по лидерским навыкам или по навыкам самоорганизации. Затраты на исследования этого показателя могут многократно превышать стоимость самих тренингов, поэтому этот уровень оценки рекомендуется проводить только в случае проведения долгосрочных и дорогостоящих программ.

дипломная работа

1.6 Модель оценки эффективности обучения Д. Киркпатрика

Как уже неоднократно упоминалось выше, проблема оценки эффективности обучения все еще остается актуальной для многих компаний, занимающихся развитием своего персонала.

Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, еще в конце 1950-х годах, он сформулировал ныне известные 4 уровня оценки эффективности, однако его модель оценки тренингов остается одной из базовых, а его книги - наиболее цитируемыми. Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов:

1. Определение потребностей.

2. Постановка целей.

3. Определение предметного содержания.

4. Выбор участников обучения.

5. Формирование оптимального расписания.

6. Подбор соответствующего помещения.

7. Подбор соответствующих преподавателей.

8. Подготовка аудиовизуальных средств.

9. Координация программы.

10. Оценка программы.

Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга - изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты "листами для улыбки" (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности.

Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения. Он пишет: «Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию» .

· Уровень 1 - Реакция (Reaction)

· Уровень 2 - Научение (Learning)

· Уровень 3 - Поведение (Behavior)

· Уровень 4 - Результаты (Results)

1. Реакция

Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей. В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Зачастую руководство определяет необходимость участия в какой-либо образовательной программе. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам.

· Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.

· Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. Позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.

2. Научение

Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).

3. Поведение

На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен. Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. В этих случаях кроме оценки реакции и научения рекомендуется проверить наличие следующих условий:

· Желание участников изменить поведение.

· Наличие у участников знаний о том, что и как делать.

· Наличие соответствующего социально-психологического климата.

· Поощрение участников за изменение поведения.

Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов "климата": запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата - вовлечение руководителей в разработку учебных программ.

4. Результаты

К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров. Результаты не следует измерять в деньгах.

По мнению Киркпатрика, оценка на этом уровне - самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:

· если возможно, использовать контрольную группу (не проходившую обучение),

· проводить оценку через некоторое время, чтобы результаты стали заметны,

· проводить оценку до и после программы (если это возможно),

· провести оценку несколько раз в ходе программы,

· сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).

К принципиальным недостаткам данного подхода относится тот факт, что выделенные информационные блоки не связаны между собой, кроме этого отсутствуют механизмы обратной связи, позволяющие управлять процессом генерации и передачи знаний.. Остальные трудности связаны с неразработанностью процедурного уровня сбора информации и ее обработки. Вследствие этого:

1) обобщенные числовые характеристики объективно не отражают состояния и отношения в измеряемой эмпирической системе;

2) используемые измерительные техники не обладают свойствами валидности, чувствительности и надежности;

3) не учитывается влияние внешних факторов;

4) не ясно, как выделить «чистый эффект» от обучения».

Без оценки эффективности процесса обучения невозможно выстроить систему обучения и развития, которая обеспечивает необходимые бизнес-результаты. Потенциал наиболее распространенной модели оценки - Д. Киркпатрика пока, к сожалению, не полностью используется практиками. А с особенностями ее последней версии большинство наших HR-менеджеров вовсе не знакомо.

В 1954 году Дональд Киркпатрик (Donald Kirkpatrick) защитил кандидатскую диссертацию в Университете штата Висконсин (США) по теме «Оценка эффективности управления программами». Он предложил краткую формулу для описания цикла обучения: реакция - обучение - поведение - результаты . Разделение процесса обучения на этапы помогло объяснить, как обеспечить применение новых навыков на рабочем месте, без чего нельзя достичь желаемых результатов. Кроме того, практики получили инструменты для оценки эффективности каждого из этапов обучения. В 1959 году Д. Киркпатрик написал цикл статей для ASTD Journal*, в которых четко сформулировал критерии для всех четырех уровней оценки (таблица ).

Четыре уровня оценки обучения Д. Киркпатрика

Уровни	Что оценивается	Ключевые вопросы
Уровень 1: «Реакция»	Как участники реагируют на обучающее событие	Понравился ли участникам процесс обучения? Что они планируют делать с новыми знаниями и навыками?
Уровень 2: «Обучение»	Насколько участники усвоили знания, навыки и сформировали необходимые отношения по завершении обучающего мероприятия	Какие навыки, знания, установки изменились после обучения? Насколько значительны эти изменения?
Уровень 3: «Поведение»	Как участники применяют на рабочем месте то, что они узнали во время обучения	Изменили ли участники свое поведение на рабочем месте после обучения?
Уровень 4: «Результаты»	В какой степени по итогам обучения достигнуты намеченные результаты	Оказывают ли изменения в поведении участников положительное влияние на организацию?

Первые статьи Киркпатрика стимулировали дальнейшие исследования в области оценки эффективности обучения (в основном на уровнях 1 и 2). В 1970-е годы четыре уровня Киркпатрика уже широко использовались многими организациями во всем мире, со временем они были оформлены в целостную модель оценки (Four Levels TM Evaluation Model) и приняты в качестве стандарта для оценки профессионального обучения. На протяжении 1980-х было разработано множество различных оценочных методов и инструментов, но внимание практиков по-прежнему концентрировалось на уровнях 1 и 2.

Только в 2005 году Дональд Киркпатрик предложил инструментарий для оценки уровня 3 (поведение), который описал в книге «От обучения к поведению» (Transferring Learning to Behavior) - в соавторстве с сыном Джимом (Dr. James D. Kirkpatrick). Обеспечение эффективного применения результатов обучения в реальной деятельности (перенос знаний и навыков) и сегодня продолжает оставаться одной из самых важных задач для многих обучающих организаций.

Изменения последних лет: Количество и качество исследований в сфере обучения и развития человеческих ресурсов постоянно растет. Для практиков предлагается все больше подходов, методов и инструментов. Настоящую революцию произвело применение в области обучения и развития понятий когнитивной психологии и концепции организационного развития. Область обучения и развития становится междисциплинарной. Широкое использование современных технологий радикально изменяет наши представления не только о формах и видах, но и о сути, и даже о целях обучения. Функция обучения признана неотъемлемой (и важнейшей) частью организационной системы.

В 2006 году, в третьем издании книги «Оценка тренинговых программ» (Evaluating Training Programs), Киркпатрик значительно расширил сферу применения модели, базирующейся на четырех уровнях. Теперь основной акцент в ней делается на уровне 4 (результаты), поэтому модель может использоваться для оценки эффективности как программ обучения, так и процесса управления изменениями, и кроме того - для демонстрации ценности для бизнеса функции обучения в целом . Что важно, был пересмотрен алгоритм работы с моделью: сейчас предлагается начинать оценку «сверху» - с уровня 4, после чего последовательно продвигаться «вниз» - к менее сложным уровням (рис. 1 ). По мнению автора, это позволит сосредоточить усилия специалистов по обучению на достижении запланированных бизнес-результатов и поддержке необходимого поведения.

Нажмите на изображение для увеличения

Рис. 1. Измененная модель Киркпатрка: «Конец - это начало»

В 2007 году Дональд и Джим Киркпатрики развили свои идеи в работе «Применение четырех уровней» (Implementing the Four Levels), в которой предложили практикам принципиально новый подход: формирование «цепочки доказательств» (chain of evidence) для руководителей. Этот алгоритм позволяет специалистам по обучению собрать убедительные свидетельства, помогающие показать топ-менеджерам, какая ценность создается для бизнеса.

Алгоритм «цепочка доказательств»:

• концентрирует внимание руководителей на уровнях 3 и 4, где речь идет о влиянии обучения на достижение запланированных результатов и создании ценности для бизнеса;
• помогает использовать модель четырех уровней для измерения полученного результата , причем - на всех этапах, начиная с момента возникновения инициативы по обучению.

В этом его принципиальное отличие от традиционного подхода, в большей степени оценивающего эффективность процесса обучения (поскольку он сфокусирован на уровнях 1 и 2, внимание менеджеров в основном сосредоточено на затратах на обучение ).

По мнению разработчиков новой концепции, для того чтобы гарантировать результаты, необходимо еще до начала обучения определить:

• ожидаемые результаты;
• ключевые показатели;
• методы измерения и оценки.

И это еще не все изменения! Авторы добавили в модель еще один - пятый уровень оценки (уровень 5: «Рентабельность инвестиций»). Оценка эффективности обучения на этом уровне позволяет получить ответ на ключевой для бизнеса вопрос: «А стоило ли тратить деньги на обучение»?

Сильные стороны модели Киркпатрика (с точки зрения экспертов): легкость понимания - для всех людей, не только для специалистов в области обучения; хорошая проработка; широкое использование (в промышленности, в вузах и др.); основа для разработки других моделей оценки (например, уровни Кауфмана и Келлера, модель ROI Филипса и др.). Ограничения модели: слишком упрощенный подход; не доказана причинно-следственная связь между различными уровнями; уровни 1 и 2 могут смешиваться (совмещаться), тогда вероятны ошибочные выводы; многие организации реализуют программы обучения, соответствующие лишь уровням 1 и 2, игнорируя необходимость формирования поведенческих моделей, которые нужны для переноса навыков и знаний в рабочие ситуации; уровни оценки не выходят за рамки обучения (не включают меры по повышению производительности).

Модель Киркпатрика успешно работает уже более 50 лет. Но существенные изменения в методах управления и организации бизнеса потребовали переосмысления роли функции обучения в организации. В то же время, как отмечают Киркпатрики, многие специалисты по обучению до сих пор не готовы принять на себя ответственность за все, что выходит за рамки подготовки и реализации учебных программ (особенно за результаты, которые прошедшие обучение люди демонстрируют на рабочих местах).

Продолжая творчески развивать свой подход, Джим Киркпатрик - теперь уже в соавторстве с женой Венди (Wendy Kayser Kirkpatrick) написал книгу Training on Trial: How Workplace Learning Must Reinvent Itself to Remain Relevant. Фактически это «руководство по изменениям» для корпоративных тренеров и специалистов тренинговых компаний. Эксперты настоятельно рекомендуют практикам в условиях кризиса:

• переосмыслить свою роль;
• активно расширять сферы своей компетентности за счет приобретения опыта работы в бизнес-подразделениях;
• усиливать свое влияние за пределами учебных аудиторий - предлагать решения, которые приносят ощутимые (измеримые) бизнес-результаты.

Но пока изменения «в головах» внутренних и внешних тренеров происходят очень медленно: многие из них все еще пытаются доказать свою незаменимость, используя показатели «уровень посещаемости» и «данные об оценках» (уровень 1), а также «результаты тестирования» (уровень 2). При этом бенчмаркинговые исследования убедительно демонстрируют: тот, кто начинает с уровня 1, очень редко доходит до самых высоких уровней оценки.

Авторы убеждены: подобное упорство специалистов по обучению наглядно иллюстрирует живучесть мифа о том, что само по себе участие в обучающем мероприятии автоматически способствует улучшению бизнес-результатов (уровень 4). Но сегодня стейкхолдеры расценивают подобную «наивность» как свидетельство неадекватности, что буквально провоцирует их задаться вопросами: «Сколько стоит это удовольствие? Какую пользу приносит?».

Джим и Венди Киркпатрики считают, что ситуация с репутацией функции обучения в глазах менеджеров очень серьезна. Чтобы исправить положение, специалистам по обучению уже недостаточно «просто» разрабатывать новые программы и методы обучения - сегодня они должны изменить принципы своей работы, научиться создавать реальные ценности для бизнеса и убедительно демонстрировать важность этих ценностей .

Авторы предлагают новый принцип, который поможет в корне пересмотреть подход к планированию и разработке обучающих программ: «Конец - это начало!» В качестве исходного пункта они советуют тренерам обсудить с руководителями:

1) ожидания бизнес-лидеров;
2) их понимание успеха (как желаемый результат «будет выглядеть»);
3) какие наблюдаемые и измеримые показатели успеха будут использоваться для оценки результата (уровень 4).

Итогом работы на этом этапе должны стать наборы HR-метрик, на основе которых рассчитывается новый показатель: возврат на ожидания - return on expectations, ROE (по аналогии с ROI - возврат на инвестиции). Затем специалисты по обучению должны обсудить с руководителями среднего звена, какое именно поведение критически важно для того, чтобы добиться намеченных результатов (уровень 3). Только после этого они могут приступить к проектированию учебных мероприятий (уровни 1 и 2), которые обеспечат формирование критически важных сценариев поведения сотрудника, необходимых для повышения его эффективности на рабочем месте.

Лишь на этой основе можно обеспечить:

• эффективное применение новых навыков и закрепление изменений в поведении на рабочем месте (уровень 3);
• достижение бизнес-целей (уровень 4);
• реализацию задач в области управления талантами (уровень 4).

Таким образом, метрики уровня 4 становятся краеугольным камнем в определении объема ответственности всех заинтересованных сторон. В свою очередь, четкое разграничение сфер ответственности является базовым условием для успешной реализации модели бизнес-партнерства.

Еще одно усовершенствование Д. Киркпатрика - разработка новой «Модели достижения целей». Особое место в ней занимают «драйверы» (или «усилители»). Драйверами выступают все процессы и системы (рис. 2 ), которые:

• усиливают действия (поведение);
• контролируют процедуры (мониторинг);
• вознаграждают демонстрацию критически важного поведения на рабочем месте.

Рис. 2. Драйверы («усилители») - поощряют или препятствуют закреплению новых поведенческих моделей

Эффективное выполнение рабочих задач обеспечивает совместное воздействие процесса оценки поведения (уровень 3) и драйверов. Без этой поддержки успешно применяется на практике всего около 15% новых знаний, навыков и установок, что снижает ценность обучения для бизнеса.

Новая «Модель достижения целей» Киркпатрика также позволяет специалистам выйти за рамки собственно обучения. Она помогает людям разрабатывать планы достижения целей, предусматривающие конкретные мероприятия/ действия (и измерение эффективности на всех четырех уровнях). Поэтапное планирование, ясное представление о конечных целях/ результатах, тщательный мониторинг выполнения мероприятий плана и объективная оценка каждого этапа процесса повышают вероятность достижения успеха.

Кроме того, модель Киркпатрика предоставляет консультантам в области обучения и провайдерам консалтинговых услуг методологию и инструментарий для того, чтобы они могли убедительно продемонстрировать своим клиентам, какие результаты получатся при реализации предлагаемых программ обучения и развития.

Новые разработки семьи Киркпатриков дают эйчарам эффективные инструменты, позволяющие им действительно стать бизнес-партнерами, наглядно продемонстрировать силу бизнес-партнерства тренеров, линейных руководителей и топ-менеджеров. (Опросник Д. Киркпатрика «Бизнес-партнерство» см. в приложении ).

Приложение Опросник «Бизнес-партнерство» (Kirkpatrick SM) Шкала оценки: низкий - редко соответствует; средний - иногда соответствует; высокий - соответствует всегда (или почти всегда). Утверждение Оценка (уровень) Низкий Средний Высокий 1 Наша функция обучения часто получает обоснованные просьбы о помощи от линейных бизнес-лидеров, связанные с задачами, потребностями или возможностями для развития бизнеса 2 У нас есть процессы, которые позволяют определить - связаны ли запросы со стороны бизнеса с необходимостью в профессиональной подготовке (или с другими проблемами) 3 Наши процессы разработки обучающих программ хорошо согласованы с потребностями бизнеса 4 Собирая информацию для оценки потребностей в обучении от внутренних клиентов (бизнес-стейкхолдеров), для ключевых инициатив, мы выясняем «как будет выглядеть успех» 5 Мы привлекаем экспертов в предметных областях к разработке и развитию программ 6 До начала программ профессиональной подготовки линейные менеджеры обсуждают с участниками обучения ожидания и перспективы использования результатов по возвращению на работу 7 Мы привлекаем бизнес-лидеров к определению ключевых направлений обучения и обучающих программ 8 Мы определяем и развиваем специфические для каждого вида работ компетенции 9 Мы согласуем компетенции с реальными требованиями к поведению на рабочем месте 10 Мы эффективно оцениваем Уровень 1: «Реакция» 11 Мы эффективно оцениваем Уровень 2: «Обучение» 12 Мы эффективно оцениваем Уровень 3: «Поведение» 13 Мы эффективно оцениваем Уровень 4: «Результаты» 14 Мы проводим оценку эффективности результатов обучения, чтобы продемонстрировать его ценность для бизнеса 15 Менеджеры обеспечивают своим подчиненным обратную связь и коучинг, чтобы максимизировать результаты обучения 16 Мы выявляем и контролируем ключевые факторы, которые способствуют или препятствуют закреплению результатов обучения в поведении 17 Мы разработали эффективные пособия для участников обучения и их руководителей, чтобы закрепить то, чему они научились на рабочем месте 18 Мы эффективно используем новые технологии для того чтобы усовершенствовать обучение и оценку 19 Мы эффективно демонстрируем бизнес-лидерам ценность, которую добавляет обучение и его влияние на бизнес-результаты 20 Я считаю, что в целом в нашей организации сформирована «культура обучения» X 1 X 2 X 3 Умножьте сумму баллов в каждой колонке на соответствующий множитель (X 1 - низкие, X 2 - средние, X 3 - высокие) Суммируйте все оценки Σ = Интерпретация результатов Чтобы оценить, насколько хорошо отвечающее за обучение подразделение (специалист) соответствует интересам бизнеса, используйте шкалу: 60–50 - отлично; 49–42 - очень хорошо; 41–34 - хорошо; 33–26 - средне; 2–20 - плохо.

Среди специалистов в области обучения и менеджеров широко распространен упрощенный взгляд на обучение. Этот подход породил ряд мифов, устойчиво циркулирующих среди менеджеров: Миф 1: «Каждый, кто когда-нибудь чему-нибудь учился, является экспертом в области обучения». На самом деле: Обучающее мероприятие/тренинг - это поведенческое и когнитивное событие, которое может быть структурировано и исследовано эмпирически. Существует специальная научная дисциплина, достижения которой должны использоваться для оптимизации плана обучающих программ. Разработаны методы и процедуры, правильное и последовательное применение которых способствует повышению эффективности обучения. Миф 2: «Эксперты могут определить потребности в обучении». На самом деле: Личного опыта экспертов не всегда достаточно; чтобы понять истинные потребности в обучении, необходимо собрать данные из многих источников. Эксперты в определенной предметной области не обязательно понимают суть и особенности процесса обучения. Привлекать экспертов в предметных областях очень важно, однако они должны работать в партнерстве со специалистами по обучению. Миф 3: «Реакция на обучение = обучение». На самом деле: Если слушателям весело, это не означает, что они чему-то научатся. «Инструментальность» обучения слабо связана с его эффективностью, но оказывает влияние на мотивацию обучаемых. Простые методы измерения результатов обучения недостаточны для оценки качества подготовки. Миф 4: «Обучение непосредственно (само по себе) ведет к изменению поведения». На самом деле: Перенос навыков на рабочее место - очень сложный процесс, на который влияет множество факторов, например: поддержка руководителя и коллег, культура обучения в компании, возможности для применения новых знаний/навыков на практике и т. п. Даже если слушатели демонстрируют хорошие результаты обучения после завершения учебной программы, это не означает, что они смогут успешно применить новые знания и навыки на своем рабочем месте.

Зачем оценивать обучение?

В статье «Методы оценки тренинговых программ» (Techniques for Evaluating Training Programs) Дон Киркпатрик писал: «Я бы рекомендовал директорам по обучению проявлять инициативу в оценке учебных программ - до того, как придет день расплаты». Что удивительно, так это дата написания статьи в ASTD Journal - ноябрь 1959 года! За прошедшие полвека тезис о том, что процесс обучения, затраты на него и результаты должны оцениваться, казалось бы, стал банальностью. Но, несмотря на это, поэтапная оценка обучения, к сожалению, так и не изменила «модус вивенди» корпоративных тренеров.

• усовершенствование учебных программ;
• повышение эффективности подготовки сотрудников;
• демонстрация ценности функции обучения для топ-менеджеров.

Традиционно усилия специалистов по обучению были сфокусированы на наиболее очевидных результатах: эмоциональной реакции участников после завершения тренинговой программы. К сожалению, многие из сложившихся практик не соответствуют требованиям и нуждаются в усовершенствовании.

Чтобы проанализировать мнение участников о программе обучения (Уровень 1: «Реакция»), тренеры разработали множество инструментов. Их называют по-разному: «анкеты комментариев», «анкеты реакции», «листы улыбок» или «листы счастья» и т. п. Какой же должна быть форма, которая позволит получить максимум информации и в то же время потребует минимум ресурсов? Предлагаем несколько советов. Составьте перечень вопросов для участников (мы рекомендуем 8–15), на которые хотите получить ответы. Разработайте специальную форму для оценки мнений участников тренинга. Чаще всего в таких случаях используется «пятибалльная шкала» или хорошо всем известная «шкала Ликерта»: Можно начинать с отрицательных или положительных отзывов - это не принципиально. Оставьте место для комментариев. В конце анкеты предусмотрите место для предложений участников по улучшению курса. (Например, задайте вопрос: «Какие изменения улучшили бы программу?») Анкеты должны быть анонимными. (Конечно, знать автора бывает важно в том случае, если в анкете встретится интересное предложение по улучшению курса, но в целом гарантия анонимности позволяет получить более искренние отзывы.) Убедитесь в том, что для оценки выбраны подходящие вопросы. Постарайтесь получить ответы от всех участников курса. Если оценивается электронный курс обучения, разошлите участникам удобную форму для обратной связи (обязательно подчеркните значимость ответов каждого из участников программы). Если оценивается очная учебная программа, предусмотрите в конце занятий специальное время для заполнения участниками анкеты. Почему обязательно следует разрабатывать специальную форму? Во-первых , речь идет о клиентах (не имеет значения, внутренних или внешних), поэтому важно, чтобы они остались довольны программой. Некоторые коллеги, руководители или будущие участники учебных программ, наверное, спросят у тех, кто уже прошел обучение: «Что вы думаете об этом курсе?» Трудно представить себе. Какой урон будет нанесен функции обучения, если люди будут давать негативные отзывы о приобретенном опыте: «Только зря потерял время!», «Ничего, что пригодилось бы в работе» или «Откажитесь от этого, если сможете»… Во-вторых , скорее всего, негативно окрашенные слухи дойдут до кого-то из топ-менеджеров. Последствия этого могут стать трагическими для отдела обучения: скорее всего, руководитель не станет утруждать себя анализом общего мнения о курсе, а сделает вывод о его неэффективности (со всеми вытекающими последствиями). Поэтому поинтересоваться мнением участников важно в первую очередь для самих тренеров! Фрагмент из книги «Четыре ступеньки к успешному тренингу», Дональд Л. Кирпатрик и Джеймс Д. Кирпатрик, М. - Эйч Ар Медиа, 2008.

С усложнением условий ведения бизнеса (рост конкуренции, увеличение роли человеческого фактора, финансовый кризис и т. д.) предприятия все больше стремятся к сокращению расходов и финансированию мероприятий, которые дают прогнозируемые результаты и наивысшую отдачу. В конечном итоге:

1. Топ-менеджеры требуют оценить эффективность обучения на более высоких уровнях - Уровень 3: «Поведение» и Уровень 4: «Результаты».
2. Многие компании отказываются от учебных программ, ценность которых не может быть обоснована с финансовой точки зрения (и, к сожалению, «до улучшения ситуации» увольняют специалистов по обучению персонала).

Это говорит о том, что сегодня в серьезной опасности оказались уже не отдельные тренеры/ тренинговые компании - во многих случаях под сомнение ставится необходимость самой функции обучения! Разрабатывая «стратегию спасения», Киркпатрики предлагают тренерам срочно изменять свое представление о мире бизнеса и осваивать в организации новые роли. Важнейшие условия изменения:

• выявлять потребности бизнеса;
• достигать практических (!), не просто выдающихся (!), но превосходящих ожидания (!) результатов;
• оценивать (в цифрах) свой вклад в достижение успеха и развитие компании и убедительно демонстрировать его всем ключевым заинтересованным сторонам.

Самое главное для тренеров - научиться действовать в «проектной рамке», как это принято в других функциях: предоставлять экономическое обоснование для получения средств (инвестиций) на проекты, заблаговременно планировать и бюджетировать их реализацию.
__________
* ASTD Journal - журнал Американской ассоциации обучения и развития (American Society for Training & Development, ASTD)

Статья предоставлена нашему порталу
редакцией журнала

Четырехуровневая модель оценки Киркпатрика
Пожалуй, самая известная модель оценки учебного процесса – модель Дональда Киркпартика Четырехуровневая модель оценки, которая впервые была представлена в серии статей в 1959 в the Journal of American Society of Training Directors (теперь известный как T+D Magazine). Данная серия была позднее скомпилирована и опубликована в виде статьи Techniques for Evaluating Training Programs в книге под редакцией Киркпатрика Evaluating Training Programs в 1975 году.

Тем не менее, четыре уровня модели Киркпатрика стали популярными только после выхода его книги Evaluating Training Programs в 1994 году. В наше время эти четыре уровня стали краеуголным камнем индустрии обучения.

В то время как большинство специалистов рассматривают эти четыре критерия оценки процесса обучения как «уровни», сам «Киркпатрик никогда не использовал данный термин, обычно он называл их шагами (Craig, 1996). Добавлю, что он не называл это моделью, но использовал для обозначения слова такие как «техники для проведения оценки» “techniques for conducting the evaluation” (Craig, 1996, p294).

Данные четыре шага состоят из:

Шаг №1: Обратная связь или реакция (далее в тексте я буду называть первый уровень – Обратная связь) ( Reaction ) – Насколько учащимся понравился/не понравился учебный процесс?;

Шаг №2: Обучение ( Learning ) -Что они изучали? (степень усвоения знаний и навыков учащимися);

Шаг №3: Поведение ( Behavior ) – Что изменяется в рабочей деятельности обучаемого в результате процесса обучения? (способность применять приобретенные в учебе знания и навыки в работе);

Шаг №4: Результаты ( Results ) – Каковы осязаемые (материальные) результаты процесса обучения в терминах снижения затрат, улучшения качества работы, увеличения выпуска продукции, повышения эффективности и т.п..?

Концепция Киркпатрика весьма важна, поскольку это отличный инструмент для планирования, оценки, диагностики проблем, особенно если мы внесем в нее незначительные улучшения, показанные ниже.

Не только для тренинга

Некоторые специалисты ошибочно предполагают, что модель Киркпатрика может применяться для тренинга (здесь имеется ввиду процессы формального обучения: тренинги, семинары – прим. Э.Б.), но модель может бы использована в работе с другими учебными процессами. К примеру, профессия Human Resource Development (HRD) связана не только с развитием процессов формального обучения, таких как тренинг, но также других форма, таких как неформальное обучение, развитие, наставничестве и воспитание (Nadler, 1984). В руководстве, изданном одним из основателей Human Resource Development (HRD) Leonard Nadler (1984), используется четырехуровневая модель Киркпатрика, как главная модель оценки учебного процесса.

Сам Киркпатрик писал: «Эти цели (ссылаясь на свою статью) будут относиться к обучению в классе (in-house classroom programs). Многие процедуры и принципы применяются ко всем видам учебной активност, таким как анализ эффективности деятельности, участие во внешних программах, программированное обучение, чтение специально подобранной литературы» (Craig, 1996, p294).

Развитие четырехуровневой модели

В силу «возраста» модели, а также с появлением новых, современных технологий, модель Киркпатрика часто критикуется за то, что она слишком устарела и проста. Но тем не менее, и спустя пять десятилетий после ее презентации, не нашлось адекватной модели, способной заменить модель Киркпатрика. И я уверен, причина, почему замены моделей не происходит, в том, что Киркпатрик был в основном прав, но он допустил несколько небольших ошибок:

Мотивация, а не обратная связь (Motivation, Not Reaction)

Когда обучаемый двигается в потоке учебного процесса, как например e-learning курс, эпизод неформального обучения или получая помощь от наставника в выполнении своей рабочей деятельности, он должен принимать решение, на что в первую очередь обращать свое внимание. Если цель или задания оцениваются им как важные или выполнимые, то обучаемый в норме мотивирован в достижении их (Markus, Ruvolo, 1990). Но если задание представляется ему слабо связанным с его деятельностью, или существует лишь малая вероятность успешного выполнения этого задания, соответственно, мотивация выполнения низка. В дополнение, исследование оценки Обратной связи обычно показывают, что это не валидный инструмент оценки успешности (см. последнюю часть статьи Критика)

Это отличается от слов Киркпатрика (1996), который писал, что Обратная связь – это то, насколько обучаемые оценивают отдельный учебный процесс. Тем не менее, чем меньшее значение имеет учебный материал для учащегося, тем больше усилий нужно приложить для разработки и презентации данного материала. Следовательно, если учебный материал не имеет отношения к потребностям самого обучаемого, тогда учебный материал должен «цеплять» обучаемого навороченным дизайном, юмором, играми и т.д… Это не означает, что дизайн, юмор или игры неважны; тем не менее, их использование в учебном процессе гораздо больше, чем просто делать процесс веселым, они помогают и продвигают учебный процесс. И если учебный материал построен на основе ясных целей и дизайна, тогда это помогает учащемуся преодолеть разрыв между существующей и требуемой деятельностями. Следовательно, они (дизайн, юмор, игры) должны мотивировать к обучению – если это не происходит, значит что то пошло наперекосяк в процессе планирования и создания учебного процесса! Если вы вдруг поймаете себя на мысли, что пытаетесь зацепить обучаемых с помощью всяких заманух (дизайн, юмор, игры), вам, видимо, стоит пересмотреть цели вашего учебного процесса.

Деятельность, а не поведение (Performance, Not Behavior)

Деятельность (performance) лучше поведения (behavior), поскольку деятельность имеет два аспекта: поведение является средством и следствием поведения являются результаты. И собственно эти результаты нас интересуют больше всего Gilbert noted (1998).

Обратите это в Лучшую Модель

Модель, где два наиболее важных пункта – результаты и поведение находятся в конце, является перевернутой с ног на голову, поскольку важность пунктов отпечатывается в голове людей в порядке их расположения. Таким образом мы разворачиваем модель в обратную сторону и добавляем вышесказанное и получаем:

Результат (Result ) - Какое влияние (последствие или результат) улучшит ваш бизнес?

Деятельность (Performance ) – Что должны сделать работники, чтобы достичь желаемого эффекта?

Обучение (Learning ) – Какие знания, навыки, ресурсы им нужны, чтобы выполнять свою деятельность? (курсы и занятия в аудитории должны быть последними в списке)

Мотивация (Motivation ) – Что им нужно для того, чтобы осознанно учиться и выполнять деятельность?

Данная модель становится инструментом как планирования, так и оценки =диагностики проблем (Chyung, 2008):

Цели (планирование)	Уровень оценки
Каковы цели нашей компании для развития бизнеса?	Результаты Почувствован ли ожидаемый эффект?
Что наши обучаемые должны уметь выполнять, чтобы достичь этих целей?	Деятельность Были ли перенесены обучаемыми полученные навыки в работу?
Какие новые навыки, знания и ресурсы требуются обучаемым, чтобы они смоглы выполнять деятельность?	Обучение Осваивали ли обучаемые необходимые навыки и/или ресурсы?
Что обучаемым требуется для того, чтобы осознанно учиться и выполнять деятельность?	Мотивация Они мотивированы учиться и выполнять работу?

Исправленная модель может теперь быть использована для планирования (левая колонка) и оценки (правая колонка). В дополнение, это может быть использовано для диагностики проблемных зон процесса обучения. К примеру, вы знаете, что работники получили необходимые навыки в процессе обучения, но не применяют их в процессе работы, тогда становятся очевидными следующие проблемные зоны (в данном примере это ячейка Деятельность или ячейка слева от нее):

Существует нечто в рабочем окружении работника, что ограничивает применение им полученных им навыков; или

Сама исходная предпосылка, что данные навыки приведут к изменению в работе, неверна.

Диаграмма ниже показывает, как приведенные процессы исправленной модели сочетаются друг с другом

Организация

1. Результаты

Суммирующая оценка

Деятельность

2. Рабочая среда

Формирующая оценка

Учебная среда

3. Обучение

Формирующая оценка

Люди

4. Мотивация

Формирующая оценка

Как показывает вышеприведенная диаграмма, Оценка Результатов наиболее интересна руководству бизнеса, в то время как остальные три уровня оценки (деятельность, обучение и мотивация) являются основными для проектировщика обучения в компании для планирования и оценки учебных процессов; и конечно Оценка Результатов также важна для него, поскольку является поставщиком целей развития бизнеса.

Уровень первый – Результаты

Результаты или влияние

Несмотря на то, что обычно наиболее труден и трудозатратен, чем другие три уровня, это дает информацию, которая имеет огромную ценность: она доказывает ценность процессов обучения и выполнения деятельности. Тем не менее, использование модели Цели/Планирование/Оценка должно упростить и облегчить процесс, и вы будете иметь ясную картину того, что вы стараетесь достичь. То есть. Когда вы что-то начинаете планировать, у вас больше возможностей понять, как оценивать это.

Мотивация, Обучение и Деятельность в большей степени вопрос «мягких» единиц измерения (так называемые нефинансовые метрики); тем не менее, лица, принимающие решения, которые утверждают учебные процессы, предпочитают результаты (возврат инвестиций или влияние). Jack Phillips (1996), который вероятно знает лучше других четырехуровневую модель Киркпатрика , пишет, что ценность информации становится значительно выше, если мы идем от мотивации к результатам.

Вышеприведенное не означает, что другие три уровня бесполезны, в самом деле, выгода от их использования заключается в локализации проблем в учебном процессе:

Оценка мотивации информирует вас, насколько соответствует учебный процесс ожиданиям обучаемых (это измеряет, насколько хорошо отработан процесс анализа учебного процесса). Вы можете иметь корректными все другие уровни, но если обучаемые не увидят целей обучения и деятельности, они (обучаемые) вероятно не достигнут целей обучения.

Оценка обучения информирует вас, насколько учебный процесс действительно работает на обучение работников (эта оценка измеряет, насколько хорошо работает проектирование и развитие учебного процесса и материала).

Оценка деятельности информирует вас, насколько усвоенные навыки действительно конвертируются в деятельность работников (это измеряет, насколько хорошо отработан процесс анализа деятельности).

Оценка результатов информирует вас о том, что получает организация взамен того, что она вкладывает в поддержку процесса обучения. Лица, принимающие решения, обычно предпочитают результаты в твердых единицах измерения, хотя и не обязательно в долларах и центах. К примеру, опрос финансовых и IT руководителей показал, что они считают возврат вложенных средств на обучение клиент-ориентированных технологий как в твердых (hard), так и в мягких единицах измерения(soft), хотя удельный вес больше именно в не финансовых метриках (soft), таких как удовлетворенность и лояльность клиентов (Hayes, 2003).

Замечу о разнице между «информацией» и «возвратом средств». Измерения Мотивации, Обучения и Деятельности дает вам информацию для улучшения и оценки учебного процесса, который в бОльшей степени принадлежит проектировщикам обучения в компании; в то время как измерение Результатов дает вам показатель возврата инвестиций в учебный процесс, который больше связан с руководителями бизнеса.

Измерение Результатов может быть выполнено в подходе сбалансированных показателей (balanced scorecard) (Kaplan, Norton, 2001), которые показывают влияние или возврат инвестиций с четырех позиций:

Финансовая: измерение в показателях, таких как ROI, которые показывают монетарный возврат инвестиций, или насколько выходы процесса эффективны. Финансовые показатели могут иметь как «мягкие», так и «твердые» единицы измерения результата.

Клиентская: улучшение поля, где организация выстраивает свои различия от конкурентов в привлечении, удержании, построении глубоких и долгосрочных отношений с целевыми клиентами

Внутренняя: достижение совершенства за счет улучшения таких процессов как процесс управления поставками, производства или технической поддержки.

Инновации и обучение: учебный процесс поддерживает изменение организационного климата, инноваций и индивидуальное развитие

Уровень второй - Деятельность

Данная оценка включает в себя тестирование способностей обучаемого включать приобретенные в процессе обучения навыки в работу. Эта оценка может быть выполнена формально (тестирование) или неформально (наблюдение). Она определяется тем, как отвечают на вопрос: Используют ли работники вновь приобретенные навыки в процессе работы?

Очень важно измерять деятельность, поскольку базовая цель корпоративного обучения улучшать результаты через передачу работникам новых знаний и навыков с тем, чтобы затем они применяли их в работе. Измерение деятельности должно быть постольку, поскольку работники делают свою работу; в измерении должен принимать обычно тот специалист, кто тесно связан с обучаемым: супервайзер, тренированный наблюдатель или интервьюер.

Уровень третий – Обучение

Это показатель того, насколько глубоко обучаемые усваивают знания, развивают навыки и изменяют установки и отношение как результат участия в учебном процессе. Оценка обучения обычно требует пост тестирования с целью установить, какие навыки были усвоены обучаемыми в течение процесса, какими навыками обучаемые уже обладают.

Измерение выходов учебного процесса важно с точки зрения валидизации цели обучения. Измерение обучения обычно сфокусировано на следующих вопросах:

Какие знания были приобретены?

Какие навыки были развиты?

Какие установки были изменены?

Ассессмент обучаемых создается с целью убедиться в способности обучаемого выполнять деятельность. Есть два аспекта этого процесса: собственно сбор информации и данных (тестирование обучаемых) и оценка данной информации (о чем эти данные сообщают?). Данный ассессмент не следует путать с оценкой обучения (evaluation ). Ассессмент показывает прогресс и индивидуальные достижения обучаемых, в то время как Оценка обучения (evaluation ) в целом об оценке программ обучения (Tovey, 1997, p88).

Уровень четвертый – Мотивация

Оценка на этом уровне измеряет показатель, как обучаемые воспринимают и реагируют на процессы обучения и деятельности. Этот уровень измеряется с помощью опросника установок (attitude questionnaires – мотивационных опросников), предлагаемого после многих учебных занятий. Обучаемые чаще всего прекрасно осознают, что им необходимо, чтобы выполнить задание. Если учебный процесс не удовлетворил их потребности, то нужно определиться: или это ошибка педагогического проектировщика (специалиста, конструирующего учебный процесс в компании), или обучаемые не оценили преимуществ процесса.

Когда обучаемый приступает к изучению учебного материала, неважно, что это: eLearning, mLearning, аудиторные занятия или обучение через социальные медиа, он должен принять решение, на что, в первую очередь, он обращает внимание в этом материале. Если цель или задания оцениваются им как важные или выполнимые, то обучаемый в норме мотивирован в достижении их (Markus, Ruvolo, 1990). Но если задание представляется ему слабо связанным с его деятельностью, или существует лишь малая вероятность успешного выполнения этого задания, соответственно, мотивация выполнения низка.

Критика

Есть три проблемных допущения модели Киркпатрика: 1) уровни не расположены в порядке возрастания (нет иерархии уровней); 2) уровни не связаны причинно между собой; 3) уровни имеют положительную корреляцию между собой (Alliger and Janak, 1989).

Единственная часть четырехуровневой модели Киркпатрика, которая не выдержала проверку временем, - Обратная связь (первый уровень). К примеру, школа Тренер XXI века имеет одни из самых низких показателей по первому уровню – уровню обратной связи, но отвечает за высокие показатели деятельности (четвертый уровень), которыми измеряют продуктивность своих выпускников. И это не единичный случай: от исследования к исследованию результаты показывают очень низкую корреляцию между Обратной связью и тем, насколько хорошо работники выполняют деятельность после прохождения обучения (Boehle, 2006).

Гораздо важнее, чем измерение обратной связи, как мы установили, является подготовка обучаемых к учебному процессу через беседы с руководителем о необходимости участия в обучения с последующим их сопровождением с тем, чтобы убедиться в усвоении навыков, переданных в процессе обучения (Wick, et al. 2006), и это еще одна из причин, почему «Обратную связь» надо поменять на «Мотивацию».

Четырехуровневая модель Киркпатрика применяется только после окончания учебного процесса. В то время как цель оценки должна заключаться в сопровождении всего учебного процесса, начиная с начальной стадии – стадии, предваряющей учебный процесс.

На самом деле, эта критика не является точной. К примеру, The ASTD Training & Development Handbook (1996), изданная Robert Craig, включает главу Киркпатрика с простым названием «Оценка». В этой главе Киркпатрик обсуждает контрольные группы, а также методы «до и после» (такие как пре- и посттестирование). Он продолжает обсуждать, что четвертый уровень должен включать пост-тренинг оценку три или более месяца спустя после окончания учебного процесса с тем, чтобы проконтролировать, как обучаемые стали применять навыки, полученные в ходе обучения. Далее Киркпатрик замечает, что Оценка должна быть включена во все стадии учебного процесса не только в течение каждой сессии или модуля, но и после каждого предмета или темы.

Модель четырех уровней работает только для аудиторного обучения, но не для других форм обучения

Как было замечено в части «Не только для тренинга» (см. выше), Киркпатрик писал о возможности использования модели четырех уровней для других типов обучения и HR, которая помогает обеспечить обслуживание процессы и формального, и неформального обучения, и где модель Киркпатрика выступает одной из основных моделей оценки. И может быть, настоящей причиной того, что адвокаты неформального обучения не видят пользы от применения модели Киркпатрика в том, что четыре уровня «были изобретены не под них».

Четыре уровня оценки имеют малое отношение для других подразделений компании и направлений бизнеса

Одна из лучших книг по обучению и развитию The Six Disciplines of Breakthrough Learning , написанная Wick, Pollock, Jefferson, Flanagan (2006). Они, видимо, выдвигают самую обоснованную, критику, что я видел: «К сожалению, эта модель не имеет широкого распространения среди менеджеров бизнес направлений, кто непосредственно связан с результатами обучения. Поэтому, когда руководители департаментов обучения пишут или говорят в терминах уровней оценки модели Киркпатрика со своими коллегами в бизнесе, то это это вместо прояснения чаще запутывает обсуждение и требует дополнительных усилий для выстраивания понимания между бизнесом и функцией обучения».

И вполне возможно, что данная критика направлена по сути не против самой модели Киркпатрика , но против тех из нас, кто выстраивает коммуникации с бизнесом. Мы говорим бизнесу: первый уровень показывает, насколько счастливы обучаемые от обучения, на втором уровне они успешно прошли тест и т.д. по всей модели. Кроме того, согласно исследованиям, которые я видел, результаты обучения используются редко (как раз то, что ценится бизнесом больше всего). Все другие уровни оценки могут быть полезны только в процессе проектирования учебного процесса, поскольку они помогают нам понять, какой тип оценки применить в какой проблемной ситуации. Тем не менее, за этими рамками, эти уровни никому не интересны. Большая часть менеджмента интересует лишь влияние обучения и ответ на вопрос: те ресурсы, что мы потратили на обучение работников, дают вклад в развитие и процветание нашего бизнеса?