Калибровка модели скоринга: чтобы балл был честным

Почти каждая команда продаж рано или поздно переживает один и тот же неловкий момент. Модель скоринга лидов, которая когда-то работала как по волшебству, тихо перестаёт вызывать доверие. Менеджер смотрит на лид с оценкой 85, пожимает плечами и звонит тому, у кого 40, потому что опыт подсказывает, что настоящий покупатель именно этот, с сорока баллами. Когда так повторяется достаточно часто, число на экране перестаёт быть информацией и превращается в украшение. Калибровка скоринга — это неблагодарная работа по возвращению этого числа к реальности.

Это не статья «что такое скоринг лидов». Здесь предполагается, что модель у вас уже работает и какое-то время приносила пользу. Вопрос уже и честнее: как понять, что оценка всё ещё отражает того, кто на самом деле покупает, и как её починить, когда она поплыла?

Что значит «откалиброванная» оценка

Оценка откалибрована, если число означает ровно то, на что претендует. Возьмите все лиды, которым за последние месяцы вы поставили около 70; примерно семьдесят из каждой сотни должны вести себя как сильные сделки: вовлекаться, проходить квалификацию, двигаться к покупке. Если лиды на 70 закрываются с той же частотой, что и лиды на 30, оценка ошибается не чуть-чуть. Это шум в костюме.

Калибровка — это не «точность» в бытовом смысле. Вы не спрашиваете «угадали ли мы по этому одному лиду». Вы спрашиваете, можно ли доверять всей шкале: действительно ли 80 сильнее 60, а 60 сильнее 40? Модель может расставлять лиды в разумном порядке и всё равно быть неоткалиброванной, если пороги под ней незаметно сместились.

70 значит 70ХолодныйГорячий

Если всё это в новинку, перед ремонтом модели стоит вернуться к основам — как вообще устроен скоринг лидов. Нельзя перекалибровать прибор, который вы не определили.

Почему хорошая модель тихо устаревает

Никто не ломает модель скоринга специально. Она гниёт медленно и обычно по причинам, которые вообще не связаны с самой моделью.

• Рынок движется. Клиент, который был идеальным в прошлом году, в этом режет бюджеты, а сегмент, который вы раньше игнорировали, вдруг начал покупать. Оценка продолжает награждать вчерашнего фаворита.
• Каналы меняются. Вы добавляете новую рекламную кампанию, партнёра по рекомендациям или карточку на маркетплейсе вроде Ozon, и новый трафик ведёт себя совсем не так, как лиды, на которых училась модель.
• Люди играют с системой. Как только менеджеры узнают, что «скачал PDF» добавляет пятнадцать баллов, догадайтесь, что начнётся. Сигналы, которые можно запустить нарочно, быстро теряют смысл.
• Продукт меняется. Новый тариф, новая цена, новая функция, и профиль «подходящего клиента» тихо смещается вместе с ними.

Ничего из этого не объявляет о себе. В этом и ловушка. Модель не выдаёт ошибку; она просто ошибается чуть сильнее каждую неделю, пока однажды команда не перестаёт в неё верить.

Признаки того, что оценка вам врёт

Чтобы поймать поплывшую модель, статистика нужна редко. Симптомы поведенческие, и их заметит любой руководитель отдела продаж.

• Менеджеры обходят оценку стороной. Самый чёткий сигнал. Когда люди, ближе всех к сделкам, игнорируют число, они вам кое-что сообщают.
• Всё горячее. Если большая часть воронки набирает 80 и выше, модель перестала различать. Оценка, которая никогда не говорит «нет», — это просто коврик у двери.
• Высокие баллы буксуют, низкие закрываются. Отдельный сюрприз — норма. Когда это превращается в закономерность, это проблема калибровки.
• Оценка и результат расходятся на лучших сделках. Посмотрите на последние десять закрытых клиентов. Если половина была со средними баллами, модель упускает то, что на самом деле предсказывает победу.

Часть этого пересекается с тем, как вы вообще квалифицируете лиды — по BANT, MEDDIC или своему чек-листу. Скоринг — это квалификация, переведённая в цифры; когда меняются критерии квалификации, за ними должна идти и оценка.

Проверка на надёжность: оценка против реальных результатов

Вот ядро калибровки, и оно приятно конкретное. Вы сравниваете то, что оценка предсказала, с тем, что произошло на самом деле. Никакой интуиции, только история.

Выгрузите закрытые сделки за осмысленный период: достаточно длинный, чтобы в него попали и реальные победы, и потери, и достаточно короткий, чтобы он всё ещё отражал сегодняшний рынок. Сгруппируйте их по той оценке, что была у них «свежими», а не по той, к которой они потом сползли. Затем для каждой полосы задайте один вопрос: какая доля действительно стала клиентами?

1Выгрузить сделки2Оценка vs результат3Убрать мёртвые сигналы4Пересчитать веса

Здоровая таблица растёт ровно: полоса 80-100 выигрывает чаще, чем 60-80, та обходит 40-60, и так далее. Когда лестница ломается, когда «шестидесятки» обгоняют «восьмидесятки», вы нашли свою разбалансировку; и обычно её можно проследить до конкретного сигнала, который больше не отрабатывает свои баллы.

Представьте конкретный случай: небольшой интернет-магазин, который продаёт и через свой сайт, и через Ozon. Открыв закрытые сделки за полгода и разложив лиды по исходному баллу, владелец видит неожиданное: больше всего покупок принесли лиды со средним баллом с маркетплейса, а высокие баллы раздуты сигналом «долго ходил по сайту» — просто любопытные посетители. Виноват не весь скоринг, а один сигнал, переставший работать. Урезать ему вес и добавить веса источнику — и за квартал балл снова становится честным. И учтите: магазин смотрит на пару десятков сделок, а не на триста, поэтому читает таблицу как сильную подсказку, а не как строгое доказательство.

Самое дешёвое улучшение скоринга для большинства команд — удалить сигналы, которые перестали хоть что-то предсказывать.

Пересчёт весов без самообмана

Здесь малому бизнесу нужно быть осторожным, и здесь многие советы, написанные для корпораций, тихо вводят в заблуждение. Если вы закрываете несколько десятков сделок в квартал, а не несколько тысяч, данных мало. Три потери подряд из одного источника не доказывают, что источник плох; это может быть неудачный месяц, заболевший менеджер или чистая случайность.

Поэтому меняйте веса лёгкой рукой. Несколько здравых привычек держат вас в честности:

• Двигайте веса, а не швыряйте их. Слегка сместите баллы сигнала и посмотрите на следующий цикл, вместо того чтобы по наитию удваивать и делить пополам.
• Доверяйте скучным сигналам соответствия больше, чем ярким. Размер компании, отрасль и должность стареют хорошо. Открытия писем и просмотры страниц легко запустить и легко подделать.
• Пусть баллы сгорают. Запрос на демо в марте не должен всё ещё раздувать «температуру» лида в июле. Затухание — часть калибровки, а не отдельная функция.
• Убивайте сигналы для галочки. Если сигнал нельзя привязать к реальному результату, он льстит вашему отчёту и путает менеджера.

Мусор на входе — мусор на выходе. Многие жалобы на «плохую модель» на самом деле проблемы с данными; поэтому фильтрация слабых лидов у источника даёт оценке больше, чем любая правка весов.

Калибруйте пороги, а не только веса

Веса решают, как ранжируются лиды. Пороги решают, что произойдёт дальше, и они тоже плывут. Граница, где лид становится «горячим», линия, где маркетинг передаёт лид в продажи, точка, где вы прекращаете догонять: всё это настраивалось под старую реальность.

Если ваше определение «готового к продаже» лида нарисовано два года назад, пересмотрите его вместе с передачей от MQL к SQL и SLA. Слишком низкий порог заваливает менеджеров тёплыми лидами и сжигает доверие всей команды к числу. Слишком высокий — и хорошие покупатели сидят нетронутыми, пока тихо уходят к другим.

Пороги задают и срочность. По-настоящему горячий лид заслуживает ответа за пять минут, который превращает интерес в разговор; холодный такой же гонки не требует. Ошибётесь с границей — либо вымотаете команду ложными тревогами, либо упустите настоящие.

Сделайте калибровку привычкой, а не спасательной операцией

Команды, чья оценка остаётся надёжной, не умнее — они просто чаще проверяют. Ежеквартальный взгляд на «оценку против результата», полчаса с отделом продаж — этого хватает, чтобы поймать дрейф прежде, чем он затвердеет в недоверие. Ждать, пока менеджеры открыто забросят оценку, — значит уже не калибровать, а строить заново.

Живой модель держат два практических цикла. Первый — цифровой: проверка на надёжность выше. Второй — человеческий: дайте менеджерам быстрый способ отметить «эта оценка неверна», прямо на лиде, в моменте. Их чутьё часто самое раннее предупреждение о том, что реальность сдвинулась, за недели до того, как это подтвердят данные по закрытым сделкам.

И осознанно решите, что значит низкая оценка. Холодный балл — это не корзина для отказов, это другая дорожка. Многим таким лидам место не в чёрной дыре, а в кампании реактивации, которая держит их тёплыми, пока не улучшится тайминг.

Часто задаваемые вопросы

Оценка лида — это обещание: что число на экране говорит вам о человеке за ним что-то правдивое. Калибровка — это то, как вы держите это обещание, пока рынок, каналы и продукт уходят у вас из-под ног. Это не разовая настройка и не дашборд, которым любуются, — это маленькая честная привычка сверять оценку с тем, что произошло на самом деле, и подкручивать её, когда они расходятся. CRM вроде Rocketly может держать сигналы в потоке и упрощать перекалибровку, но дисциплина — ваша: чаще смотрите на реальность и позволяйте ей исправлять число.