Как измерить прогресс команды в английском, а не посещаемость
Полгода обучения позади, и кто-то наверху спрашивает, сработало ли оно. В ответ приходит папка: процент посещаемости, список пройденных разделов и анкета удовлетворенности. Все три цифры настоящие. Ни одна не отвечает на заданный вопрос.
Посещаемость — это расход, а не результат
Компании считают то, о чем отчитывается платформа, а платформа отчитывается об участии. Эти данные отвечают на другой вопрос: потрачены ли деньги по плану. О том, может ли теперь инженер возразить на разборе архитектуры, они молчат. А бюджет выделяли именно для этого.
| Что обычно считают | Что это на самом деле показывает |
|---|---|
| Процент посещаемости | Выжило ли расписание под рабочей нагрузкой, о языке ничего |
| Пройденные разделы или модули | Темп учебника, а не темп ученика |
| Анкета удовлетворенности | Какие ощущения от занятий: это связано с тем, останется ли человек в группе, а не с тем, говорит ли он |
| Количество слов в приложении | Узнавание слов, проверенное вне какой-либо рабочей ситуации |
| Записанная рабочая задача, повторенная позже | Идет ли теперь работа на английском, а именно это компания и покупает |
Три измерения, которые выдерживают проверку
Все полезное дает сравнение человека с самим собой в прошлом, а не с группой.
- Одна задача, записанная дважды. Пять минут настоящей рабочей ситуации на старте и та же ситуация через несколько месяцев. Обе записи лежат в одной папке, и разницу слышит любой, в том числе сам человек.
- Отдельные умения вместо одной буквы. Говорение, письмо, аудирование и чтение движутся с разной скоростью. На работе деньги приносят первые два. Отчет с одной буквой прячет ту половину, которая важнее всего.
- Ситуация, пройденная до конца. Идет ли названная рабочая ситуация теперь полностью на английском: звонок без итогового письма на украинском, разбор спецификации без перевода, ответ на жалобу в тот же день.
Отчет, который директор дочитает до конца
Формальную проверку разумно проводить дважды в год, а между ними писать короткую ежемесячную заметку. Более частая проверка измеряет привычку к тесту, а не владение языком. При более редкой буксующая группа слишком долго остается незамеченной.
Ежемесячная заметка помещается на полстраницы. Кто в группе и на каком уровне. Какие ситуации отрабатывали. Какие из них люди уже ведут сами. Что тормозит остальные. А посещаемость последней строкой, а не первой. Такого подхода мы держимся и в корпоративном обучении английскому: HR каждый месяц видит в отчете не одну букву, а каждое направление отдельно, от говорения и письма до грамматики и лексики. Компания, которая не видит движения, перестает за него платить, и вполне справедливо.
Уверенность, акцент, словарь: что только похоже на прогресс
Три сигнала отнимают у компаний больше всего времени.
- Уверенность. Человек, который перестал бояться, говорит больше. Это настоящее и ценное достижение, но запас того, что он способен сказать, мог остаться прежним.
- Акцент. Слушатель замечает его первым, а на работе он значит меньше всего. Шкала CEFR оценивает ясность, структуру и точность речи, акцент к ним не относится.
- Объем словаря. Новые слова появляются в чтении задолго до того, как появятся в речи. А пробел, который мешает в работе, почти всегда в том, что человек выдает, а не в том, что узнает.
Обратный случай встречается так же часто. Тихая участница почти молчит на занятии, но уже отвечает клиентам на письма без помощи. Прогресс на работе не всегда объявляет о себе в классе. Именно поэтому половину измерения делает руководитель.
Что спрашивают HR об оценке
Формальный тест — единственная честная мера?
Нет, и сам по себе он самая слабая из мер. Балл теста растет, когда люди привыкают к формату, а записанная рабочая задача меняется, только когда меняется язык. Тест дает уровень по CEFR, запись дает доказательствоЧто, если за полгода уровень человека не изменился?
Сначала посмотрите на нагрузку, а потом на ученика. Ступень CEFR занимает сотни часов, поэтому полгода по одному занятию в неделю без практики между ними редко дает новый уровень. Честный отчет называет умения, которые сдвинулись, даже если код остался прежнимКто должен оценивать: преподаватель или руководитель?
Оба, и по отдельности. Преподаватель измеряет по шкале CEFR, руководитель измеряет по работе: идет ли теперь звонок с поставщиком без письма-перевода вдогонку. Когда их оценки расходятся, прав рабочий результат, потому что именно за него платит компанияНачните измерение до обучения, а не после него. Точка отсчета, записанная на той неделе, когда собирают группу, занимает час и заранее снимает все споры. Без нее через полгода Вы будете сравнивать впечатление с воспоминанием. Если еще решаете, какой уровень нужен каждой должности, это решение идет первым, и оно разобрано в статье о том, какой уровень английского нужен сотрудникам. А тест уровня онлайн в первый же день дает каждому стартовую точку по CEFR.