Внутренний бенчмаркинг: сравнение с собственными данными

Вторник, утреннее совещание в компании на тридцать человек, которая производит упаковку. Руководитель продаж выводит на экран слайд из отраслевого отчёта: среднее по рынку, и конверсия из предложения в заказ у компании ниже этого среднего. Полчаса уходит на версии, почему так вышло. Ближе к концу технический директор задаёт спокойный вопрос: из компаний какого размера собрано это среднее, по какой товарной группе, по какой стране? Никто не знает. Совещание заканчивается, ничего не меняется. При этом в собственных записях компании на той же неделе виден региональный менеджер, у которого конверсия заметно выше, чем у остальных, — в эти карточки никто не заглянул. Потерян был не месяц, а воспроизводимое поведение.

Внутренний бенчмаркинг — это дисциплина вырезать линейку из своих данных вместо того, чтобы приносить её со стороны: свои прошлые периоды, свой сильнейший менеджер, свой самый эффективный канал, своя быстрее всего закрывающаяся продуктовая линия. Ниже разбираем, чем внутреннее сравнение отличается от внешнего, почему отраслевые средние чаще всего оказываются неверной линейкой, как выбрать точку отсчёта, как обеспечить сопоставимость, сколько данных нужно, чтобы сравнение что-то значило, какая слепая зона есть у каждой оси сравнения, когда весь подход не работает и как запустить его за девяносто дней.

1Метрика2Срезы3База4Диапазон5Пересмотр

Что такое внутренний бенчмаркинг и чем он отличается от внешнего

Внутренний бенчмаркинг решает, хорошая цифра или плохая, опираясь на точку отсчёта внутри ваших собственных данных. Внешний бенчмарк рассказывает, как эта работа устроена на рынке; внутренний — как она была устроена у вас в лучшем своём варианте. Второй вопрос уже, и именно поэтому полезнее: ответ рождается внутри вашей операции, а значит соответствует поведению, которое кто-то способен повторить. Что делать, чтобы догнать среднее по рынку, непонятно. Что делать, чтобы повторить прошлый квартал сильнейшего региона, понятно вполне.

Различие обостряется здесь: внешнее сравнение сообщает позицию, внутреннее показывает механизм. Узнать, что вы ниже среднего, — значит просто расстроиться. Увидеть, что два менеджера с одним и тем же продуктом готовят предложение за вдвое разное время, — значит получить вопрос, а из вопроса изменение. Поэтому первый шаг всегда один: зафиксировать определения метрик. Команды, которые этого не сделали, не сравнивают, а спорят. Как собрать определения в одном месте, мы разобрали в материале о словаре метрик.

Почему отраслевое среднее чаще всего неверная линейка

В отраслевом среднем сразу три неизвестных: выборка, определение и период. Вы не знаете, компании какого размера туда попали. Вы не знаете, измеряет ли одноимённый показатель то же самое, что ваш. Чаще всего вы не знаете и того, за какой отрезок времени собраны данные. Свести уравнение с тремя неизвестными к одной цифре и рулить по ней рискованнее, чем не измерять вовсе: вам кажется, что вы измерили.

Самая коварная из трёх — проблема определения. «Конверсия» в одном месте считается от посетителя к клиенту, в другом — от квалифицированного лида к клиенту. Разница в несколько раз между двумя такими цифрами нормальна и к результативности отношения не имеет. В своих данных определение задаёте вы и согласованность между периодами обеспечиваете тоже вы. Ценность сравнения по большей части рождается из этой устойчивости, а не из сложности расчёта.

Есть одно исключение, и его стоит проговорить. Смотреть наружу действительно необходимо там, где собственной истории просто нет. Если вы впервые заходите в новый канал, сравнивать не с чем, и грубый внешний ориентир лучше отсутствия ориентира. Но относитесь к нему как к временным лесам: накопился свой квартал данных — разбирайте.

Как выбрать точку отсчёта

Главное решение во внутреннем бенчмаркинге — не какая метрика, а с чем её сопоставляют. Одна и та же цифра читается как успех или как провал в зависимости от выбранной базы. На практике работают шесть типов, и каждый отвечает на свой вопрос.

• Ваш прошлый период: та же метрика в предыдущем сопоставимом окне; отвечает на вопрос о направлении, но при выраженной сезонности вводит в заблуждение, если не сравнивать с тем же периодом год назад.
• Ваш лучший квартал: максимум, который реально был достигнут; убедительнее плана, потому что достижимость уже доказана, а условия того периода по-прежнему лежат в записях.
• Верхний квартиль: лучшая четверть менеджеров, регионов или каналов; база гораздо надёжнее цифры одной звезды, поскольку меньше зависит от случайности.
• Сопоставимые пары: два региона схожего размера или два менеджера со схожим портфелем; если разрыв не объясняется условиями, он указывает прямо на метод работы.
• Собственный план: цель, поставленная в начале периода; самый слабый вид сравнения, так как отражает ожидание, а не реальность, но неплохая отправная точка для поиска причин.
• До и после изменения: две стороны даты, когда вы что-то внедрили; самое поучительное сравнение при одном условии — на той же неделе вы не поменяли ещё три вещи.

Большинству команд продуктивнее всего начинать с верхнего квартиля. Сравнение с прошлым периодом задаёт направление, но не показывает потолок; лучший квартал мог оказаться разовым везением; верхний квартиль соответствует набору поведений, который одновременно достижим и воспроизводим. Как выстроить сравнение по людям справедливо, а не разрушительно, мы разобрали в материале о карте результативности менеджера.

Сопоставимость: что именно с чем вы сравниваете

Сравнение обычно рушит не сама цифра, а то, что две стороны никогда не находились в одинаковых условиях. Если у только что открытого региона конверсия ниже, чем у региона с десятилетней историей, это разница в зрелости, а не вывод о результативности. Менеджер, продающий крупным заказчикам, будет показывать более длинный цикл, чем тот, кто работает с малым бизнесом, — всегда. Срезы строят до сравнения, а не после.

Практическую работу делают четыре среза: сегмент клиента, товарная группа, канал и когорта. Первые три очевидны, четвёртый чаще всего пропускают. Сложите клиентов января и сентября в один котёл и усредните — не увидите ни улучшения, ни ухудшения, потому что одно съест другое. Логику отслеживания групп по дате старта мы разобрали в материале о когортном анализе.

Сезонность заслуживает отдельной строки, потому что портит сравнения бесшумно. Поставить рядом предпраздничные недели и середину августа — значит размыть то, что вы вообще меряете. Прежде чем сравнивать по году, нужно знать, как внутри года ходит спрос; как читать пики и провалы вместе с планом, мы описали в материале о сезонном планировании кампаний.

Сила сравнения с собственными данными в том, что база уже доказала свою достижимость: кто-то добился этого ровно в ваших условиях.

Сколько данных нужно для сравнения

В небольших командах главный враг внутреннего бенчмаркинга — шум. Там, где в месяц выставляют дюжину предложений, конверсия будет заметно скакать от месяца к месяцу даже тогда, когда не изменилось ровным счётом ничего. Сравнивать помесячно в такой ситуации — принимать погоду за климат.

Выходов два. Расширить окно: кварталы вместо месяцев или скользящее среднее за три месяца. Или спуститься к промежуточной метрике с большим объёмом: закрытых сделок мало, выставленных предложений много, контактов с клиентами ещё больше. Когда вы меряете поведение, порождающее результат, а не сам результат, выборка растёт и сравнение обретает смысл. Эту логику мы разобрали в материале об опережающих и запаздывающих показателях.

Полезно и правило порога: ниже определённого количества записей срез показывается накопительной суммой, а не процентом. Если у региона с пятью записями столбик в графике той же высоты, что у остальных, каждый смотрящий на дашборд придаёт ему тот же вес, и сравнение тихо уходит не туда.

Четыре оси сравнения и слепая зона каждой

Внутренний бенчмаркинг строится на четырёх осях, и большинство команд пользуется ровно одной, а три остальные не пробует никогда. Каждая ось задаёт свой вопрос и каждая чего-то не видит.

Ось	Её вопрос	Чего не видит
Время	Куда мы идём относительно прошлого периода?	Где на самом деле потолок
Человек	Есть ли разница между теми, кто делает одно и то же?	Различия территорий и портфелей
Подразделение	Что меняется между регионами и филиалами?	Мастерство конкретного человека
Процесс	Что было до изменения и после него?	Всё остальное, что поменялось разом

Прочитать четыре оси вместе — получить совсем другую картину, чем по одной. Слабый на вид регион на оси людей может оказаться регионом с одним менеджером, вышедшим шесть недель назад. Сильный на вид менеджер на оси подразделений может держаться на двух крупных клиентах, которые достались ему по распределению. Оставить сравнение на одной оси — самый частый способ премировать не того человека.

Не среднее, а разброс

Самая часто упускаемая находка внутреннего бенчмаркинга лежит не в среднем, а в разбросе. Когда средняя конверсия команды от периода к периоду стоит на месте, а расстояние между лучшим и худшим растёт, это новость важнее самого среднего: метод стал индивидуальным, общая практика испарилась. Верно и обратное — стабильное среднее при сужающемся диапазоне означает, что обучение или стандарт процесса прижились.

Поэтому рядом с каждым средним на дашборде стоит держать хотя бы один показатель разброса: разницу между верхним и нижним квартилем или просто максимум и минимум. Когда вопрос на управленческой встрече меняется с «какое у нас среднее» на «почему между нами такая дистанция», меняется и качество разговора. Какие цифры кому показывать, мы разобрали в материале о дизайне дашборда продаж.

Когда внутренний бенчмаркинг не работает

Здесь стоит возразить распространённому совету: сравнивать с собственным прошлым правильно далеко не всегда. Если в бизнес-модели произошёл настоящий разрыв, ваша история — худшая база, которая у вас есть. Сменили модель ценообразования, вышли в новый сегмент, пересобрали канал продаж — и старые цифры принадлежат другой компании; сравнение с ними даёт не просто неверный ответ, а ложную уверенность.

Второе ограничение проявляется на спаде. В квартале, когда тяжело всем, лучший в вашей команде всё ещё может работать плохо, и внутреннее сравнение об этом не скажет, потому что берёт базу из того же квартала. Здесь перспективу удерживает грубый внешний якорь. Третье ограничение — качество данных: если даты этапов проставляются как попало, а проигранные сделки вообще не заводятся, вы сравниваете не результативность, а привычку вести записи. Эту сторону мы разобрали в материале о качестве данных в CRM.

Как только бенчмарк становится целью, измерение заканчивается

Быстрее всего внутренний бенчмарк рушится, когда база превращается в план. Объявите цифру верхнего квартиля целью для всех — и произойдёт двоякое: те, кто ниже, изменят поведение при заполнении записей, а те, кто выше, перестанут делать свои цифры видимыми. Через квартал сравнение всё ещё существует, но результативность оно уже не измеряет.

Практический способ сохранить различие — держать бенчмарк и цель в разных документах и на разных встречах. Бенчмарк — инструмент обучения, и его вопрос звучит как «откуда этот разрыв». Цель — инструмент обязательства, и её вопрос звучит как «что мы обещали». Команды, склеивающие их на одном слайде, превращают обучение в оборону. Как выстроить разбор плана и факта отдельной дисциплиной, мы описали в материале об анализе отклонений.

Как искать причину разрыва

Первый рефлекс при обнаружении разрыва — придумать объяснение; правильный рефлекс — набрать примеров. Откройте три записи из верхнего среза и три из нижнего и читайте их в одном порядке: как прошёл первый контакт, за сколько дней вышло предложение, сколько людей было вовлечено, какая причина указана у проигрышей. Разница почти всегда всплывает именно при таком чтении, а не в агрегате. Как системно собирать причины побед и поражений, мы разобрали в материале об анализе выигранных и проигранных сделок.

Как собрать всё это за девяносто дней

Первый месяц — месяц определений. Возьмите три метрики, не больше, и опишите расчёт каждой одним предложением: какая запись засчитывается, когда и в каком статусе, кто исключается, в какой валюте суммируется. Любое сравнение, сделанное до появления этих предложений, — зерно будущего спора.

Второй месяц — месяц срезов. Посмотрите те же три метрики в разбивке по сегменту, продукту и каналу; объедините срезы, где выборка остаётся тонкой, и примените правило порога. К концу месяца у вас должны быть база и диапазон: вы должны знать, где стоит норма и насколько она гуляет. Для всего, что измеряется временем, диапазон говорит куда больше одного среднего; как его читать, мы описали в материале о длительности цикла сделки.

Третий месяц — месяц ритма. Привяжите сравнение к постоянному пункту месячной повестки, назначьте одного владельца и требуйте приходить не с цифрой, а с тремя примерами записей. К концу третьего месяца у вас должен быть не дашборд, а привычка: когда разрыв виден, всем понятно, кто и что делает дальше. Улучшить дашборд легко. Построить привычку трудно, и отдачу приносит именно она.

Внутренний бенчмаркинг работает почти сам собой там, где данные копятся в одном месте и по одним определениям, и превращается в ежемесячную пересборку там, где живут разрозненные таблицы. В Rocketly этапы сделок, разбивки по менеджерам и регионам, сравнения периодов и произвольные отчёты строятся на одном наборе записей — создайте бесплатный аккаунт, снимите свою базу и соберите первое сравнение.