Непредсказуемый NPS: факты и вымыслы

Маркетологи уже давно живут с исследованиями удовлетворенности и лояльности сами в себе, регулярно получают цифры, соотносят их со «стандартами», определяют KPI и т.д. Насколько все это связано с реальным потребительским поведением - непростой вопрос. Учитывая, в том числе, и отношения к опросам в России.

Одним из самых популярных инструментов остается NPS (Net Promoter Score) - опросная методика для оценки удовлетворенности клиентов, с определенными достоинствами по сравнению с классическими методами измерения CSI (Индекса клиентской удовлетворенности). С них и начнем наш очень критический анализ.

Достоинства показателя

1. Расширяет границы «здесь и сейчас»

С помощью NPS оценивается сторона отношения клиента, отличающаяся от измеряемых традиционными показателями удовлетворенности CSI. Вопрос «Насколько вероятно, что порекомендуете…?» выводит за границы собственного опыта взаимодействия с данной Компанией (брендом), предусматривает соотнесение этого опыта с представлением о сервисе у других игроков рынка, а также учет интересов и ожиданий других потребителей. Поэтому оценки NPS и CSI могут расходиться: меня все устраивает, но другим не порекомендую – есть конкуренты и лучше (или не факт, что другим это также подойдет). Противоположный вариант: сам не вполне доволен (на «троечку»), но готов порекомендовать, потому что у конкурентов еще хуже (или не лучше), сама норма рынка далека от идеала.

2. Зрит в будущее

Если оценки удовлетворенности касаются прошлого, уже полученного опыта, то NPS ориентирован в будущее, лучше подходит для прогнозирования. Видимо, поэтому его считают показателем лояльности – лояльность тоже предполагает оценку будущего потребительского поведения. Вопросы об удовлетворенности предлагают оценить свое отношение, вопрос NPS – оценить желание совершить действие (порекомендую/не порекомендую).

3. Ценит активных

Учитываются «полюса» – очень довольные и недовольные, «нейтральные», в целом удовлетворенные, но не более того респонденты, составляющие «молчаливое большинство» не принимаются в расчет. За этим стоит допущение: интересны те, кто будет активно продвигать компанию (бренд) или продвигать в кавычках, т.е. создавать негативный имидж среди знакомых. А это скорее те, кому очень понравилось, и те, кто чем-то всерьез недоволен. Показатель – разница между количеством «промоутеров» и «критиков» в процентном отношении.

4. Учитывает эмпирику

«Нейтральная зона» (7-8 баллов) располагается не посередине шкалы, а сдвинута к верхнему краю. Средний уровень – это «четверка». Медина эмпирического распределения оценок респондентов на многих современных рынках обычно также «сдвинута» вправо относительно центра шкалы.

5. Удобен и валиден

Оценка NPS – простая, удобная в практическом отношении процедура; всего один основной вопрос и два дополнительных (почему порекомендуете/ не порекомендуете, что нам нужно сделать, чтобы Вы нас рекомендовали?). Накоплены базы данных для сравнения значений показателя с отраслевыми «нормами».

Валидный и естественный способ получения содержательной информации о значимых факторах удовлетворённости (дополнительные вопросы). Респондентам не навязывают параметры и оценку степени их важности, а просто предлагают объяснить свой ответ на основной вопрос. То, о чем говорит респондент, объясняя свое желание /нежелание рекомендовать, – и есть наиболее важные для него параметры оценки.

Недостатки и ограничения

1. «Обещать – не значит жениться»

Между словами о намерениях и реальными действиями нет тождества. Достаточно вспомнить знаменитый «парадокс Лапьера», экспериментально продемонстрировавший расхождение между реальным поведением и ответом на вопрос о намерении. Главный неподтвержденный миф практики вычисления «вербального» NPS – что респонденты, оценившие вероятность своей рекомендации как высокую (9-10 баллов), действительно оказываются реальными «промоутерами» – приводят новых клиентов. Те же, кто оценил эту вероятность низко (0-6 баллов) – реальные «критики», которые будут распространять негативную информацию среди потенциальных клиентов. NPS оценивает слова, а не реальные действия.

2. Требует децентрации

Очевидно, что люди способны оценить в баллах свое отношение к товару, продукту или услуге, обозначить числом, насколько им понравился сервис и т. п. Адекватность же задачи балльной оценки респондентом вероятности совершения им определенного действия (рекомендации) вызывает серьезные сомнения. Дело не только в том, что такая задача требует «вероятностного мышления» – привычки оперировать вероятностями событий, присущей не столь уж большому числу потребителей (хотя и в этом тоже). Естественно оценивать вероятность наступления события, которое не зависит от твоей воли и желания. Задача же оценки вероятности совершения собственных действий требует «децентрации», граничащей с шизофренией – посмотреть на свое поведение глазами внешнего наблюдателя (маркетолога), пытающегося твои действия предугадать. Респонденты нередко понимают этот вопрос так: какова вероятность того, что у меня попросят рекомендацию. Что вполне логично.

3. Методологически «идеологически» жéсток

В методологии NPS присутствует странный момент: респондентов просят оценить вероятность рекомендации по шкале от «0» до «10», а потом для подсчета показателя делят по баллам на три группы («промоутеры», «критики», «нейтралы»). Т. е. данные, полученные в числовой шкале, сводят к категориальным данным (шкала наименований). Причем, «границы» (0-6, 7-8 и 9-10 баллов) задаются жестко («идеологически») для всех случаев, на все времена. Было бы понятно, если бы «границы» менялись в зависимости от особенностей распределения и т.п. Почему не сформировать эти группы прямо на основе простого вопроса «порекомендуете ли?» с альтернативными вариантами ответов – «порекомендую», «не порекомендую», «не буду рекомендовать и не рекомендовать не стану»? За использованием числовой шкалы стоит допущение о том, что респонденты, поставившие высокий балл с высокой вероятностью окажутся реальными «промоутерами». По-видимому, числовая шкала маскирует «идеологичность» предположения о прямой связи ответов на вопрос NPS с реальной «промо-активностью» респондентов. Предложение просто считать «промоутерами» респондентов, ответивших «порекомендую», явно выглядело бы примитивным и необоснованным.

4. Нет чуткости к промо-поведению

Не различаются два типа промо-поведения – пассивное (реактивное) и проактивное: а) порекомендую (не порекомендую), если спросят совета, б) поделюсь своим мнением и оценкой по собственной инициативе, например через социальные сети.

5. Не оценивает лояльность

NPS непосредственно не является показателем лояльности клиентов (зачастую ошибочно считается таковым). Прямые вопросы, оценивающие лояльность: а) «Продолжите ли сотрудничество с нами? Обратитесь ли к нам еще раз?» и т.п. (продолжение, сохранение), б) «Купите ли у нас еще и … (новый продукт, услугу)? (перенос, расщирение).

Таким образом, показатель NPS непосредственно не измеряет лояльность клиентов,  оценивает словесные ответы, а не реальные выборы и действия респондентов. На протяжении последних десятилетий лучшим умам маркетинга не дает покоя вопрос: как получить количественные показатели воспринимаемого качества обслуживания и приверженности Компании и бренду. О самых интересных современных решениях читайте в следующем выпуске.

3 октября 2018