Новости для интеллектуалов

Новости креативного класса

Каталог компаний

Выбрать тренинг

Летнее чтение:

Добавить в Каталог

Статьи

О Клубе

Форумы

Публикация месяца

TreKo.Ru Консалтинг и тренинги

Рейтинг@Mail.ru



 

Оценка эффективности краткосрочного обучения



Барыкин Вячеслав Сергеевич,
Управляющий партнер,
Консалтинговая компания «md-group» (г. Челябинск),
E-mail: barykin@mdgp.ru


Для решения проблемы «Оценка эффективности краткосрочного обучения» предлагаем использовать достаточно традиционный подход, широко используемый при оценке (измерении) операционной деятельности, через оценку «3Е» (Economy, Effectiveness, Efficiency): Экономичности, Результативности, Эффективности. «3Е» наглядно продемонстрировать с помощью модели «вход-выход»:


Рис.1. Модель «Вход-выход»


Типовые «входные» ресурсы на краткосрочное обучение:

Денежные затраты – стоимость обучения (Сколько стоит?). При этом важно учитывать не только оплату участия в семинаре-тренинге, но и прочие сопутствующие затраты: аренда места, стоимость проезда, стоимость проживания, стоимость питания и т.д.

Затраты времени – совокупные затраты времени обучаемого на выполнение учебной программы (Сколько по времени?).

Осознаваемая потребность – проблемное поле или формально поставленная задача. (Для чего?)

Ограничения – отказ от чего-либо ради обучения, преодоление опасений, основанных на стереотипах предыдущего опыта обучения (чем придется пожертвовать, что нужно преодолеть?)

Стартовая (исходная) компетентность – объем знаний, умений и навыков до начала обучения (что знаю сейчас?)

Выходные параметры обучения: (Запланированные учебной программой плановые «выходы» по итогам обучения)

Объем новых знаний, умений, навыков, полезный для решения задач и проблем в определенной области (концепции, методики, техники, подходы, ходы).

Учебные пособия, модели, программы

Решенные задачи (проблемы)


Знакомство с чужим опытом: типовые решения и типовые ошибки при решении задач (проблем)

Оценка (соизмерение) собственной компетенции через личное общение с экспертом (тренером) и другими участниками

Сертификат о прохождении обучения


Рис. 2. Модель «3Е»


Определения «3E» (не с целью «поучать» - лишь напомнить):

Экономичность – означает получение входных ресурсов для операции с наименее возможными затратами при соблюдении установленных требований к этим входным ресурсам

Результативность – означает производство выходных продуктов (товаров и/или услуг), нужных потребителю

Эффективность – означает производство требуемого количества выходных продуктов, удовлетворяющих установленным требованиям, из минимально количества входных ресурсов, что математически можно описать как = Выходные параметры / Входные ресурсы


Эффективность краткосрочного обучения может быть представлена матрицей показателей типа Выход/Вход (решенные задачи/затраты времени, сертификат/затраты времени, сертификат/денежные затраты и т.д.)

Типовые цели можно классифицировать с позиций заинтересованных сторон и видов краткосрочного обучения. Цели могут быть личные и организационные (повышение производительности, решение бизнес-задачи, снижение конфликтных ситуаций, сокращение времени на внедрение изменений, снижение конфликтов, получение новых контактов и т.д.)

Соответственно, Результативность краткосрочного обучения может быть представлена матрицей показателей типа Выход/Цель (% решенных задач из запланированных, объем новых знаний/снижение конфликтных ситуаций, объем новых знаний/провышение производительности и т.д.)

Как использовать модель 3 «Е» применительно к оценке эффективности краткосрочного обучения:
  1. Прежде всего следует различать эффективность и результативность.

    Оценка эффективности чаще целесообразна при существующем установленном стандарте «выхода» краткосрочного обучения (диплом, водительские права, сертификат, разряд и т.д.). В этом случае важно измерить качество процесса, а это отражает именно показатели эффективности.

    Нередко, при краткосрочном бизнес-обучении важнее измерять результативность, которая связана, прежде всего, с целью (эталоном, планом) обучения и полученными результатами.

  2. Задача оценки Эффективности и Результативности обучения сводится к Измеримости: «входов», «выходов» и «целей». Основные «входные» ресурсы, как правило, измеримы: цена известна, время потраченное на обучение, сопутствующие ограничения тоже. Сложности с оценкой «калибра» стартовой компетентности и описанием проблемного поля, как правило, снимаются с помощью тестов на входе и организацией личных презентаций слушателей.

  3. Иногда есть проблемы с измеримостью «выходов»: новизна методик, решенные задачи, хорошие пособия (книги, программы), тестирование на выходе, количество полученных сертификатов. Как правило, все-таки с этим справляются.

  4. Больше всего проблем с измеримостью именно Целей (эталона, плана) обучения. (если принимать за результативность сданный экзамен, то отношение числа сдавших к плановому значению будет показателем результативности). Без четкого определения целей обучения измерить результативность затруднительно, а часто и невозможно. В нашей практике, при организации краткосрочного обучения (особенно открытые семинары) основные проблемы измерения результативности происходят из-за смутных целей и путаницы между личными и организационными целями.

Примечание Редактора портала TREKO.RU: многие авторы отмечают, что затраты на процедуру оценки качества обучения не должны превышать затраты на процесс обучения.


Блашенкова Вера Сергеевна,
кандидат политических наук (г. Москва)
E-mail: vblashenkova@mail.ru

Макатрова Надежда Сергеевна,
магистр экономики (г. Москва)
E-mail: womanagement@mail.ru

Поскольку большинство тренинговых программ, существующих на сегодняшний день на рынке, не сертифицировано, и никаких выходных экзаменов для обучающихся не предусмотрено, то оценка эффективности обучения в большинстве случаев сводится к простому сопоставлению полученного результата и первоначальных ожиданий. И здесь сразу возникает вопрос: что считать результатом и чьи ожидания брать за основу?

Если не рассматривать идеальную ситуацию, а оглянуться вокруг, то в большинстве случаев мы увидим, что ожидания у всех участников процесса – сотрудника, его работодателя и тренинговой компании – разные, а значит, один и тот же результат обучения оценивается ими по-разному.

 
Ожидания от обучения
Сотрудник
  • Посмотрю, чему учат на подобного рода тренингах;

  • Узнаю что-нибудь полезное для себя;

  • Может быть, научусь делать N;

  • Узнаю, как делают N другие;

  • Может быть, еще чему-нибудь научусь;

  • Отдохну от работы;

  • Узнаю, как в других компаниях людям работается

Компания-Заказчик
  • Эффективность работы сотрудника вырастет на X% (характерно для Заказчиков-новичков);

  • Сотрудник сможет успешно решать задачу М (при этом М не всегда = N);

  • Сотрудник оценит заботу и не будет думать об увольнении;

  • Сотрудник поймет, что надо развиваться и не стоять на месте;

  • Сотрудник станет более лояльным по отношению к компании
Тренинговая компания
  • Сотрудник будет внимательно слушать тренера и выполнять все упражнения столько раз, сколько потребуется;

  • Сотрудник будет активно участвовать в тренинге и будет задавать уточняющие вопросы;

  • Сотрудник в ходе тренинга поймет, как применить все полученные знания и навыки в своей работе;

  • Сотрудник будет с восторгом и благодарностью рассказывать о тренинге руководству и коллегам

К сожалению, даже на сегодняшний день предварительная беседа руководителя с сотрудником, направляемым на обучение, о целях тренинга и конкретных задачах Сотрудника – по-прежнему большая редкость…

Что касается оценки результата, то сотрудники чаще всего остаются довольны, поскольку их любопытство оказалось удовлетворено, они получили эмоциональный заряд, причем за чужой счет. Тренинговые компании в принципе тоже довольны, но недоумевают, почему не все обучаемые Сотрудники активны и задают мало уточняющих вопросов или, наоборот, задают вопросы не совсем по теме. Компания-Заказчик чаще бывает недовольна или затрудняется в оценках, ожидая, что результат проявится позднее. Кто прав?

Если сравнивать краткосрочное обучение с привычным школьным обучением, то мы увидим ряд сходств и различий. В школе объективной признается оценка учителя, хотя собственное мнение есть у ученика, его родителей и у сверстников-однокашников. По результатам проведенных нами весной 2007 г. исследований руководителей малых предприятий Москвы и Подмосковья, пока в большинстве случаев оценку качеству и эффективности обучения дают сами обучающиеся сотрудники. Почему? У руководителей – на сегодняшний день – нет понятных эталонов для определения эффективности обучения. Учитель может оценивать процесс обучения в динамике, кроме того, он руководствуется определенными стандартами. У бизнес-тренеров и консультантов, равно как и у Заказчиков, как правило, нет в запасе ни времени, ни жестких стандартов... Возможно, именно это несоответствие порождает опасения и претензии у руководителей компаний в отношении краткосрочного обучения.

Ряд тренинговых компаний предлагает решать эту задачу путем проведения тестирования до и после тренинга. Недостаток такого подхода заключается в том, что тесты, во-первых, не всегда учитывают специфику реальной работы, а во-вторых, показывают лишь способность Сотрудника изменять свое поведение в данный момент, но отнюдь не гарантируют, что в реальности он будет вести себя так же.

Вот перечень типовых опасений-претензий руководителей компаний:
  • Краткосрочное обучение является поверхностным:

    а) Разовый тренинг позволяет выработать один–два навыка, но обучающийся далеко не всегда сможет их связать с другими навыками.

    б) Передается минимальный набор именно практических навыков, в большей степени знания теоретические.

    в) Полученные навыки не закрепляются: краткосрочное обучение похоже на подготовку к экзамену в институте, когда вызубрил, сдал и тут же забыл.

  • Тренинговые центры предлагают унифицированный продукт:

    а) Краткосрочное обучение не учитывает специфику деятельности Сотрудника: даже если обучаются люди из одной компании, находящиеся на одинаковых должностях, но из разных филиалов, то для них одни и те же рекомендации и догмы могут не работать, т.к. существует специфика предприятий.

    б) Краткосрочное обучение не учитывает того факта, что в разных компаниях персонал может быть по-разному развит и подготовлен. К тому же не все те, кто хорошо работает, хочет и может учиться и развиваться дальше.

  • Краткосрочное обучение часто не учитывает изменений в компании, тренеры не способны оперативно реагировать на изменения.
И все же, несмотря на опасения, руководители предприятий соглашаются оплачивать обучение своих Сотрудников. Как показали наши исследования, руководители предприятий малого бизнеса Москвы и Подмосковья рассматривают краткосрочное обучение прежде всего как:
  • форму поощрения трудолюбивого Сотрудника;
  • способ, позволяющий Сотрудникам не «застаиваться» на месте;
  • способ повышения лояльности Сотрудника по отношению к компании.
Возможно, поэтому руководители, даже непосредственные, практически не отслеживают эффективность обучения своих Сотрудников. После обучения от сотрудников большинства компаний требуется немногое: дать субъективную оценку тренинга или семинара. В редких случаях сотрудники обязаны передать в компанию раздаточные материалы, вкратце рассказав на одной из планерок, что «интересненького» удалось узнать на тренинге / семинаре. А сравнение работы Сотрудника до и после обучения по прошествии некоторого времени осуществляется в исключительных случаях.

Другими словами, большинство руководителей малых предприятий рассматривают краткосрочное обучение скорее как факультативные занятия, польза от которых заключается в том, что «хуже точно не будет», а кругозор Сотрудника, может быть, и расширится... Для тренеров и консультантов такое отношение к краткосрочному обучению отчасти на руку - нет завышенных ожиданий, следовательно, нет жестких требований и стандартов.


Гореловская Галина Николаевна
филиал "Нижегородский" СК "Русский мир"
тренинг-менеджер

Учитывая мой опыт работы именно на Нижегородском рынке краткосрочных обучающих услуг, можно говорить о преимущественно не структурированном запросе заказчика. Тренинг часто воспринимается, как модная забава, которую можно себе позволить и которая может быть (!) как-то поможет. Часто задача тренера или представителя консалтинговой фирмы заключается в том, чтобы сформировать запрос. Предложить долгосрочный проект, а первый тренинг проводится, как пилотный. Эффективность краткосрочного обучения, по-моему, прямо зависит от способности заказчика и исполнителя договориться о том, что же они хотят друг от друга, и что они могут дать друг другу.


Дронова Катерина

Оценить эффективность можно только одним параметром: усвоение знаний. Если это навыковый тренинг, то усвоение навыков можно проверить в ролевых играх, но спустя месяц, если не будет посттренинговой поддержки, эффект тренинга в плане сформированных навыков будет стремиться к нулю. Если тренинг был личностного роста, то оценка эффективности будет всегда субъективной. Человек, например, побывавший на тайм-менеджменте, может управлять своим временем или целями как в лучшую сторону, влюбившись, например или получив дополнительный стимул лучше работать, так и наоборот, уйти в депрессию или начать искать другую работу... Командообразование можно оценить наблюдением. Эффективность командообразования можно оценит следующим образом: если начали дружно общаться в курилке - компания от этого только теряет рабочее время. Если начали работать на одну общую цель в единой связке, осознавая, как их личные цели связаны с целями компании, то ДА, тренинг был эффективным.



Артём Валерьевич Менумеров
Автор-разработчик и ведущий корпоративных тренинговых программ
компании «MASTER TRAINING» (Москва - Санкт-Петербург)
Сайт: http://www.mastertraining.ru
Е-mail: artmen@mail.ru

Хочется дополнить перечень мифов об оценке эффективности краткосрочного обучения. Разумеется, «с последующим разоблачением».

Миф о контрольном ассессменте. «Стоит только после прохождения тренинга, пройти ту же процедуру, что и при приеме на работу или переаттестации, как результаты обучения тут же проявятся количественно».
Любопытно, но при реализации такой идеи результаты контрольного ассессмента могут быть даже ниже исходного замера до тренинга. Причин тут несколько:

1. Ассессмент - набор конкретных инструментов с конкретными формулировками. Соответственно он "измеряет" готовность человека подтвердить эти формулировки. Бывает в корпоративной системе аттестации персонала можно встретить такие показатели как, например, "лидерство". Вы можете себе представить в какой концепции и каким методом оно количественно измеряется? Только узнав метод, можно хоть что-то сказать о результатах его применения.

2. Степень конформности и готовности показать "правильный результат" при первом ассессменте (входном) всегда выше, чем на последующих. Человек-то уже в штате. Также добавляется раздражение со стороны тех, кто негативно оценивает сам процесс ассессмента.

3. Изменение показателей во время аттестации может не иметь отношения к тренингу. Одновременно - не значит "из-за". Причинно-следственная связь с тренингом могла бы быть установлена только в случае, если кроме тренинга не было никакой иной деятельности: изменения характера оплаты труда, нагрузки, текучести кадров, любых других стрессогенных моментов.

4. Как правило, в корпоративных методиках ассессмента нет сведений о необходимом в каждом исследовании механизме перекрестной проверки. Нужно знать хотя бы показатель тест-ретестовой корреляции.

5. Не ясно как включена в исследование позиция исследуемого. Как он оценивает сам ассессмент? Известно, что хоторнские эксперименты — исследования факторов, влияющих на производительность труда, проведенные в США в 1927—1932 гг. показали, что изменение, например, уровня освещенности привело к росту производительности, не пропорциональному уровню освещенности. Ответ был найден только после произвольного интервьюирования. Работники посчитали, что таким образом администрация проявляет заботу о них и среагировали на заботу в большей мере, нежели на свет. Отказ же в повышении оплаты труда на заводе "ФОРД" во Всеволожске вызвал падение производительности труда на 25% при тех же финансово-организационных условиях, что были раньше.

Человек не усваивает пассивно информацию, поступившую извне, а активно участвует в ее формировании как «заказчик» и автор картины мира. В этом отношении едины во мнениях и необихевиористы и последователи транзактного анализа и квантовые физики. Это близко к концепции Нильса Бора относительно экспериментатора и результата эксперимента. Результат предопределен парадигмой исследователя, формулировкой ожидаемого результата и опосредован психикой.

Миф о неизмеримости результатов краткосрочного обучения. «Что бы не делали на тренинге – в итоге убеждаешься, что ты все и так знал».

Наиболее упертых сторонников этой позиции лучше всего вообще не допускать в заказчики. Но раз уж такое случилось, и Д. Кирпатрик, Де Марко, Рейд с целой группой отечественных исследователей эффективности для них не авторитеты – придется ставить четное количество точек над ё и формировать непротиворечивую систему оценки. Вот неполный перечень признаков такой системы:
  1. Адекватные расходы. Если стоимость системы измерения результата превышает стоимость самого тренинга и требует недюжинных усилий со стороны Заказчика, то он скорее заявит вслух, что тренинг удался, чем оплатит дополнительные издержки. Но профессионалы согласятся, что «это не наш метод».

  2. Разнесенные во времени замеры. На выходе с тренинга удобно замерять впечатления, фиксировать намерения, эмоции. Для получения «объемной» картины изменений нужно также фиксировать практику внедрения, а для этого нужно время, измеряемое, как минимум, неделями.

  3. Изменение позиции участников тренинга по отношению к тренинговому процессу. Фиксация персонального заказа участников по дальнейшему развитию тренинга – один из важнейших признаков развития профессиональной позиции.

  4. Перечисление бизнес-инструментов, приемов и форм работы, полученных в ходе тренинга с указанием вероятности и удобства их применения. Эта характеристика позволяет оценить применимость навыков тренинга в практической жизни предприятия.
Некоторые оттренированные навыки могут быть дисфункциональны по отношению к конкретным условиям конкретного бизнеса. Особенно часто это относится к адаптированным переводным методикам. За примером далеко ходить не надо. Тут же на www.treko.ru опубликован список рекомендованных вопросов для преодоления коммуникативных барьеров. При всем уважении к Маделин Беркли-Ален и к А.П. Панфиловой, я бы не стал рекомендовать эту методику, например, для специалистов по работе с претензиями клиентов. «Отступление от темы» эта методика предлагает преодолевать с помощью вопроса: "Может, я ошибаюсь, но разве вы не собирались рассказать о проблеме, которую мы некоторое время тому назад сформулировали?" Такое количество негативной семантики вкупе с аморфной позицией скорее усугубят барьеры. Естественно, такой инструмент получит отрицательную оценку перспектив применимости в конкретных условиях.

В заключение хочется заметить, что негативная оценка тренинга со стороны кадровой службы заказчика – палка о двух концах. Где был профессионализм HR заказчика в то время, когда формировалось тендерное предложение, проводилась доработка программы, шел сам процесс обучения? Во многих случаях можно говорить о том, что негативная оценка итогов обучения – это, в том числе, и оценка самому себе, как Заказчику.

Примечание Редактора портала TREKO.RU::
Исследование портала TREKO.RU:
Наиболее актуальные проблемы в области тренинга и консалтинга в 2007 г. (по мнению Участников VIII-й Конференции)

Исследование портала TREKO.RU:
Проблемы и решения по созданию и развитию тренингово-консалтинговой фирмы (по мнению Участников VIII-й Конференции)


Мы Вконтакте:
вступайте!

Мы в ФБ:
вступайте!

Мы в Твиттере
Добавляйтесь!
Видеолекции И.Л. Викентьева о ТРИЗ, творческих личностях / коллективах

Методические статьи
Статьи и дискуссии
Полезные бизнес-цитаты
Коллекции
На главную
Любое использование текстов и дизайна может осуществляться лишь с разрешения Редактора портала.
Основание: "Закон об авторском праве и смежных правах" PФ, Гражданский кодекс РФ и международные нормы.

Для Пользователей: направляя нам электронное письмо и/или заполняя любую регистрационную форму на сайте,
Вы подтверждаете факт ознакомления и безоговорочного согласия с принятой у нас Политикой конфиденциальности.


English
Deutsch
Russian