Добрый день, уважаемые дамы и господа,
Проблема оценки эффективности тренинга, рефлексии и мониторинга результатов волнует не только заказчиков, но и организаторов тренингов. Не смотря на особенности проведения психологических тренингов, а тем более тренингов, развивающих ораторское мастерство участников, опыт оценки эффективности и мониторинга результатов может представлять практический интерес для участников секции.
Вера Кобзева в своей статье «Как повысить эффективность тренинга» сравнивает тренинг с посадкой растений. Бизнес-тренер сажает ростки нового в подготовленную (или неподготовленную) почву. Почвой в данном случае выступает сама организация, ее организационная культура, ресурсы и мотивация каждого участника тренинга. Тренер, используя разнообразный методический инструментарий, привносит в тренинговую группу новые знания, помогает сформировать участникам тренинговой программы новые навыки.
Кроме того, тренинг - это не только получение новых знаний и совершенствование навыков, но и изменение сознания. Как правило, эффективность тренинга в целом определяется реализацией поставленных целей и зафиксированным результатом.
С чего же начать?
Поль Кирнс в прикладной теории оценки эффективности обучения писал: «Какую бы изюминку ни содержал ваш процесс оценки, наиболее важным аспектом являются те вопросы, которые вы задаете».
Фред Нихолс (Fred Nichols) в начале 1990-х годов сформулировал ключевые вопросы оценки тренинга: «Оценивать? Оценивать что? Эффективность тренинга? Что вы понимаете под тренингом? Что именно вы хотите оценить? Какой-нибудь конкретный курс обучения? Слушателей? Тренеров? Тренинговый отдел? Или тренинги в целом?»
«Кроме того, почему вы хотите оценить эффективность тренинга? Хотим ли мы проверить его эффективность, т.е. узнать, работает ли он? Если так, то какое эффект должен дать тренинг? Изменить модели поведения? Изменить отношение? Улучшить эффективность работы?»
«Какова продуктивность тренинга? Сколько времени тратится на подготовку и организацию тренинга? Можно ли это время сократить? Можем ли мы провести этот тренинг на рабочих местах или заменить его вовсе другим видом помощи в работе?»
«Каковы затраты на проведение тренинга? Стоит ли он этих денег? Кто считает, что он стоит? На каком основании они так считают? Что мы пытаемся узнать? От кого мы получаем эту информацию?»
При этом, ответы на поставленные вопросы должны быть даны с точки зрения руководителей компаний-заказчиков проведения тренингов, сотрудников компании-участников тренингов и самого тренера.
Британский специалист в области повышения эффективности за счет обучения и развития персонала Мартин Шмаленбах выделяет два важных разных аспекта процесса оценки эффективности тренинга: 1) оценивание самого процесса тренинга или механизмов повышения эффективности тренинга и 2) оценивание конечного продукта или результата тренинга.
Два важных аспекта оценки тренинга с точки зрения Российского психолога и тренера- консультанта Лунева Дениса Николаевича – это эффективность тренинга глазами участника (основной критерий оценки – количество новых идей, технологий, инструментов, которые я начал использовать в своей жизни (или в работе) и эффективность тренинга глазами тренера. С точки зрения Дениса Николаевича, самый важный критерий оценки эффективности тренинга с точки зрения тренера – его личная удовлетворенность результатами и тот факт, что участники тренинга сохраняют активность до самых последних минут или просят продлить тренинг.
Лунев Д.Н. особо выделяет один из критериев оценки эффективности тренинга – анкеты обратной связи. Те, что заполняются на тренинге, и те, которые заполняются через пару недель. Хороши, как анкеты со шкалами, так и открытые вопросы.
Другие критерии и способы оценки:
1) «Пост–тренинг» - полтора–два часа с участниками тренинга. Образно говоря, отсроченный на неделю «последний круг», куда приглашаются все участники и заказчик прошедшего тренинга.
2) Экзамен или Тест – итоговое мероприятие, на котором можно проверить уровень знаний выпускников тренинга.
3) Экспертиза. Экспертный совет из руководителей коллег и, в идеале, клиентов по заранее разработанным критериям оценивают изменения в профессиональном поведении того или иного выпускника.
Особое место занимает оценка эффективности тренинга глазами заказчика. Если компания находится в самом начале процесса формирования системы обучения, то, по мнению Лунева Д.Н, критерий оценки эффективности один – все участники хотят учиться еще.
Если компания находится на втором этапе формирования системы обучения и опыт участия в тренингах есть у большинства, то выделятся два критерия:
1) Активность участия в тренинге.
2) Как много могут пересказать участники из материала тренинга. Если рассказ о тренинге длится больше 15 минут – то все просто отлично. Если рассказ занимает меньше 5 минут – скорее всего, тренинг на 3-.
И наконец, в случае, если компания находится на третьем этапе формирования системы обучения и в ней действует система обучения, то критерия уже четыре:
- Кастомизация тренинга. Все примеры, кейсы и ситуации – из реальной жизни компании.
- Участники используют в своей работе > 30% инструментов, навыков и знаний, содержащихся в материале тренинга. Проверить это можно достаточно просто, проведя структурированное интервью с несколькими выпускниками тренинга.
- Увеличивающаяся или не уменьшающаяся потребность в обучении и развитии.
- Выпускники тренингов добиваются больших успехов, чем сотрудники не прошедшие тренинг.
Оценочная процедура, с помощью которой можно приблизительно оценить эффективность тренинга, должна включать в себя:
- Анкетирование участников сразу после тренинга (20 минут)
- Тест на знание программы тренинга через две недели (30 минут)
- Анкетирование участников через две недели после тренинга (30 минут)
- Анкетирование непосредственных руководителей участников тренинга за несколько дней до тренинга и через неделю после окончание тренинга (1 час)
- Поименный отчет тренера о каждом участнике и обо всей группе (3 часа для группы 12 человек)
- Формальное анкетирование тренера и неформальная беседа с ним (1,5 часа)
- Неформальные беседы с участниками до, во время, сразу после окончания и через две недели после тренинга (3 часа)
Плюс от двух до десяти часов на подготовку и организацию, и обработку результатов всех этих мероприятий. Итого: 2 – 3 дня работы.
Если в компании один тренинг - менеджер и в неделю проходит два – три тренинга, то данная процедура значительно сокращается.
Дональд Кирпатрик в конце 1950-х годов сформулировал ныне известные 4 уровня оценивания эффективности тренинга:
Уровень 1 – Реакция – какова реакция обучаемого на само обучение?
Уровень 2 – Обучение – что обучаемый усвоил в процессе тренинга?
Уровень 3 – Поведение – как сильно изменилось поведение обучаемого после прохождения обучения?– речь идет о применении полученных навыков и знаний на рабочем месте.
Уровень 4 – Результаты – насколько увеличилась эффективность компании как следствие прохождения обучения?
В своей книге «Оценка программ обучения: Четыре уровня» (Evaluating Training Programs: the Four Levels), вышедшей в 1994 году, Киркпатрик полагал, что оценка результатов на более высоком уровне по шкале успешности, требует значительно больших усилий и ресурсов, чем на более низком уровне, т.е. на уровне 1 оценивать проще и дешевле, чем на уровне 4. Это самый главный аргумент (сделанный Киркпатриком лично) в пользу того, чтобы оценивать тренинг на уровне 1 в 95% случаев, и только в 5-10% оценивать его на уровне 4.
С точки зрения результативности тренинга, могут быть выделены следующие тренинговые эффекты для личности и для организации:
- Тренировка новых моделей поведения.
- Мотивация делать иначе, лучше.
- Аккумулирование опыта.
- Отреагирование негатива.
- Диагностика проблем организации.
- Сплочение группы.
- Улучшение микроклимата.
- Узнавание участниками друг друга.
- Повышение лояльности организации.
- Повышение самооценки.
- Снижение самооценки.
- Мотивация учиться.
- Желание развиваться и расти.
- Желание уволиться.
- Желание получить обратную связь от тренера о себе и группе в целом.
- Повышение тревожности.
- Понижение тревожности.
- Обесценивание новых знаний, умений, навыков;
- Критика личности тренера, тренингового процесса, организации, в которой работают участники;
- Изменение отношения, например, к клиентам или самому процессу профессиональной деятельности.
- Принятие на себя, или напротив, перекладывание на других ответственности за результат тренинга и личную профессиональную успешность в целом.
Что касается «Школы ораторского мастерства» ООО «ЛингваКом», то в основе нашей системы оценки эффективности тренингов «Школы ораторского мастерства» и мониторингу уровня результативности -
Модель Стафлебима (Stufflebeam)
CIPP. Аббревиатура расшифровывается следующим образом:
Context evaluation (
Контекстное оценивание)
Input evaluation (
Оценивание на входе)
Process evaluation (
Оценивание процесса)
Product evaluation (
Оценивание продукта)
Модель Стафлебима
CIPP известна как системная модель. Она состоит из четырех основных компонентов:
-
Контекст – определяется цель, преследуемая аудиторией, а также определяются потребности, которые должны быть удовлетворены.
-
Вход – определяются ресурсы, возможные альтернативные стратегии, а также определяется самый простой способ удовлетворить потребности, установленные выше.
-
Процесс – оценивается, насколько хорошо выполняется разработанный план.
-
Продукт – оцениваются полученные результаты, проверяется, были ли достигнуты цели, вносятся поправки: как следует разрабатывать план в следующий раз.
Модель изучает и сам процесс, и его результат.
Особенностью тренингов по программе «Ораторское мастерство» является то, что результаты тренингов не могут быть оценены по факту их завершения, так как требуется время для освоения, проработки и применения на практике полученных знаний, умений и навыков.
Сама тема тренингов «Ораторское мастерство» предполагает синтез практических навыков, искусства общения и актерского мастерства.
При определении цели тренинга учитываются профессиональные и личностные особенности его участников. Проводится предварительный сбор информации об психологических, возрастных и коммуникативных особенностях участников будущего тренинга. До начала проведения первого тренинга участники проходят входное анкетирование, целью которого является определение потребностей, ожиданий, желаемых результатов участия в программе тренингов.
План проведения и наполнение тренинга фактическим материалом могут быть изменены в зависимости от полученных результатов предварительного исследования, так как эффективная коммуникация возможно только при условии максимального учета особенностей группы. От тренера часто требуется умение импровизации, что в свою очередь требует высокого уровня владения материалом.
Помимо профессиональных и коммуникативных особенностей участников тренингов, необходимо учитывать и то, какой канал восприятия информации развит у каждого участника группы, как тот или иной участник воспринимает информацию. Известно, что примерно 80% жителей Земли являются визуалами, что требует широкого применения наглядности во время проведения тренингов, но есть еще и те, кто воспринимает информацию преимущественно слуховым каналом, есть кинестетики, которым важно создать ситуацию активного участия в процессе восприятия, есть те, которые понимают только логику изложения материала.
Кроме того, выделяют группы людей с разными типами интересов: время, вещи, люди, место, процесс, ценности, что также оказывает влияние на эффективность тренинга, следовательно разрабатывая стратегию проведения, не лишним будет вспомнить принцип, сформулированный Дейлом
Карнеги: «Лично я люблю землянику со сливками, но рыба почему то предпочитает червяков. Вот почему, когда я иду на рыбалку, я думаю не о том, что, что люблю я, а о том, что любит рыба».
Учитывая тот факт, что человек запоминает 10% того, что он слышит, 40% того, что он видит, и 90% того, что делает, необходимо широко использовать интерактивные виды заданий, вид которых необходимо менять каждые 15 минут, так как способность успешного восприятия речи у слушателя сохраняется в течении 15 минут.
Исходя из того, что коммуникация – явление индивидуальное, то цель тренинга «Школы ораторского мастерства» считается достигнутой в случае, если по окончании тренинга устранены барьеры, препятствующие дальнейшему самостоятельному развитию его участников. Если раскрыты творческие ресурсы, удалены блоки (страх, скованность, дискомфорт во время выступления), сформированы первичные навыки структруирования речи, поведения во время публичного выступления, воздействия на аудиторию, то тренинг может считаться эффективным.
Зафиксированные же результаты, умение применить полученные знания и сформированные навыки участники тренинга могут только в ситуации живого речевого общения.
Поэтому, с целью промежуточного и посттренингового отслеживания эффективности процесса серии тренингов можно предложить участникам тренингов вести дневник их успехов в качестве оратора.
Кроме того, возможно использование следующих приемов в качестве домашнего задания участникам тренинга, результаты выполнения которых фиксируются в дневнике успехов, а ход проведения по возможности записывается на видеокамеру либо ведется аудиозапись:
Тема 1. Постановка звуков, интонации. Движения и жесты оратора. Подготовить небольшое выступление перед коллегами по работе, членами семьи на любую неожиданную, неординарную тему (2-5 минут), которая может быть предложена как тренером, так и самими участниками.
Во время выступления обязательно применение правильной интонации, темпа речи, использование жестов и движения. Результат записывается в дневник, анализируются плюсы и минусы выступления, причины, по которым был достигнут либо не достигнут должный эффект.
Тема 2. Структура устного выступления. Приемы, позволяющие удержать внимание аудитории или собеседника. Секреты интересной беседы.
Ролевая игра «Чаепитие у Алисы».
Тема 3. Эффективная презентация. Подготовить и провести в ситуации реальной речевой коммуникации презентацию любого предмета, например, во время тренингов участникам предлагается провести презентацию яблока. После презентации в дневник записываются результаты не только с точки зрения участника тренингов, но и его слушателей.
Тема 4. Дискуссия. Аргументация. Возражения. Провести дискуссию в реальной ситуации на бытовую тему, актуальную для данного участника. Это может быть, то, кому мыть посуду или забирать ребенка из детского сада,
или более серьезные темы, затрагивающие интересы определенного круга людей.
Фиксируются аргументы, определяется степень их силы и эффективности.
Тема 5. Переговоры. Как противостоять манипуляторам. Провести домашние переговоры на актуальную для данной семьи либо круга людей тему.
Тема 6. Беседа по телефону. Ролевая игра «Звонок тренеру».
Тема 7. 7 шагов к успешному... письму. Письмо тренеру на заданную тему.
Важным итогом тренингов является возможность, желание и способность участников создавать свои технологии речевого общения и воздействия на окружающих, поэтому после окончания программы тренингов, участники продолжают ведение дневника, сохраняя контакт с тренером как в устной, так и в письменной форме.
Кроме того, особую важность приобретает
посттренинг, это «система работы с персоналом, направленная на поддержание позитивных тренинговых эффектов и обеспечивающая применение знаний, умений, навыков, полученных участниками на тренинге, в ходе повседневной профессиональной деятельности». (Кобзева В.В., Баранова Г.В.)
Посттренинговые процедуры планирует менеджер по обучению и развитию персонала, если такого специалиста в компании нет, то директор по персоналу или первое лицо компании по согласованию с «Школой ораторского мастерства».
Проводить посттрениги может внутренний тренер, проводивший базовый тренинг, приглашенный тренер или другой сотрудник компании. При этом, полезно подумать, что будет происходить после тренинга, какие мероприятия могут быть предложены в качестве посттренингового сопровождения персонала до начала программы тренингов.
Посттренинговые процедуры можно условно объединить в две группы: связанные с процедурой обучения и не связанные с процедурой обучения.
1. Формы посттренинга, связанные с обучением:
- Тренинг
- Семинар
- Мастер-класс
- Мини-лекции
- Система минизанятий - напоминаний
- Инструктирование
- Наставничество
- Групповые дискуссии
- Тестовые задания
- Практические работы
- Просмотр и анализ учебных видеофильмов
- Практические задания
- Составление Умных Карт
- Видеообратная связь
- Ролевые игры
- Тренировочные упражнения
- Анализ конкретных случаев
- Разбор трудных ситуаций
- Анализ учебных примеров
- Разбор кейсов
- Моделирующие игры
- Задание на чтение текстов
2. Методы посттренинга, не связанные с обучением:
- Создание Стандартов
- Оценка персонала
- Программа "Неизвестный покупатель"
- Введение категорий
- Круглый стол
- Внутрифирменная конференция
- Обмен опытом
- Программы обучения для руководителей тех сотрудников, которые уже прошли обучение
- Изменение качества управления
- Коучинг
- Создание системы мотивации
- Конкурс "Лучший в профессии"
- Консультации тренера на рабочем месте
Если отвечать на вопрос, как правильно проводить работу по закреплению и развитию навыков, приобретенных на тренинге, можно сказать, что важно эту работу вообще проводить. Целесообразно руководствоваться русской народной мудростью: "повторенье - мать ученья".
Заключая сообщение, хотелось бы отметить, что разработка тренингов на тему эффективной коммуникации и ораторского мастерства находится на одной из первых ступений развития, так как тема эта достаточно индивидуальна и многогранна. Существует несколько разных видов восприятия самой дисциплины и того, какому аспекту нужно уделять максимальное внимание.
В «Школе ораторского мастерства» предпринята попытка интегрированного подхода к программе тренингов, которая объединяет чисто лингвистические темы, так и психологию, актерское мастерство и искусство оказывать влияние на аудиторию. Такой подход создает свои сложности в плане оценки эффективности и мониторинга результатов, которые мы целенаправленно преодолеваем, разрабатывая новые модели до-тренингового и после-тренингового общения с клиентами.
Спасибо за внимание.
Источники - Kirkpatrick, Donald L. (1994),"Evaluating Training Programs: the Four Levels" San Francisco: Berrett-Koehler Publishers.
- Kirkpatrick, D. L. (1987). Evaluation. In R. L. Craig (Ed.), Training and development handbook. (3rd ed.).
- Кобзева В., Как повысить эффективность тренинга? Журнал «Кадровое дело», 2004 г., N 8.
- Костина Д.А., Валидность и оценка проведенных тренингов. Подтверждение эффективности тренингов в организации. Доклад на Рождественской конференции СПб Клуба консультантов и тренеров.18 декабря 2004 г.
Мы Вконтакте:
вступайте! | 
Мы в ФБ:
вступайте! | 
Мы в Твиттере
Добавляйтесь! |
Видеолекции И.Л. Викентьева о ТРИЗ, творческих личностях / коллективах 
