Свяжитесь с нами
Как выжать максимум из общения с пользователями: развитие продукта с помощью аналитики обратной связи
Иннокентий Беляев
руководитель support-направления 65apps
В прошлый раз мы рассказали, как и что писать в ответ на отзыв пользователей. Напомним, что так закрывается сразу несколько задач:
Однако, мало только предоставить ответ. Один из ключевых инструментов развития продукта – это анализ отзывов. К сожалению, его редко используют компании, но именно здесь «(продуктовая) собака и зарыта».
Рассказываем, что такое аналитика отзывов, как ее внедрить и использовать в работе команды технической поддержки.
- Повышается лояльность пользователей.
- Повышается рейтинг приложения и его конверсия при просмотре страницы в сторах.
- Увеличивается объем органического трафика.
Однако, мало только предоставить ответ. Один из ключевых инструментов развития продукта – это анализ отзывов. К сожалению, его редко используют компании, но именно здесь «(продуктовая) собака и зарыта».
Рассказываем, что такое аналитика отзывов, как ее внедрить и использовать в работе команды технической поддержки.
Для начала – несколько очевидных плюсов аналитики отзывов
- Реакция «здесь и сейчас» — завтра может быть поздно
Например, из-за незначительного дефекта в верстке страницы приложения кнопка активации скидки перестала работать. Как итог, вся акция (и ее бюджет), направленная на удержание клиентов, приводит только к негативному эффекту. Но, если в первые дни или даже часы, обратить внимание на отзыв с подобной жалобой, можно быстро устранить дефект. Значит, спасти всю активность — реализовать бюджет, как планировалось, и избежать дополнительных расходов.
- Проверка гипотез об исправлении багов
Динамика упоминания конкретной проблемы позволяет понять, сохранилась ли актуальность того или иного дефекта.
После исправления дефекта и спада упоминания проблемы, нужно попросить обратную связь. Так у нас появляется шанс подтолкнуть клиента оставить хороший отзыв и поставить хорошую оценку приложению.
- Источник продуктовых инсайтов от клиентов
Аналитику отзывов можно разделить на две части: сбор данных и верхнеуровневая аналитика
Сбор данных лучше осуществлять теми же силами, что отвечают на отзывы пользователей — так мы минимизируем искажения собранной базы.
Точность данных зависит от степени погруженности того, кто их собирает. Погруженный специалист гораздо быстрее и качественнее отделяет зерна от плевел. Он уже знает слабые стороны мобильного приложения — баги и головные боли команды разработки, у него есть опыт сопровождения пользователей от проблемы до ее решения. А значит, знает, как пользователи продукта описывают часто встречающиеся проблемы.
Важна качественная коммуникация команды поддержки с командой разработки.
Верхнеуровневая аналитика предполагает отслеживание приоритетных проблем и выявления новых, гипотетически опасных для работы приложения и его репутации.
Специалисты техподдержки должны быть проактивными и иметь возможность донести проблемы до разработчиков. А лучше – участвовать в ежедневных созвонах с командой разработки. Активный диалог поможет техподдержке сообщать о новых угрозах и быть в курсе уже известных проблем.
Аналитика со стороны техподдержки использует прозрачные и простые показатели. Продуктовый менеджер или менеджер проектной команды выполняет более детальную аналитику на основании собранных техподдержкой данных.
Точность данных зависит от степени погруженности того, кто их собирает. Погруженный специалист гораздо быстрее и качественнее отделяет зерна от плевел. Он уже знает слабые стороны мобильного приложения — баги и головные боли команды разработки, у него есть опыт сопровождения пользователей от проблемы до ее решения. А значит, знает, как пользователи продукта описывают часто встречающиеся проблемы.
Важна качественная коммуникация команды поддержки с командой разработки.
Верхнеуровневая аналитика предполагает отслеживание приоритетных проблем и выявления новых, гипотетически опасных для работы приложения и его репутации.
Специалисты техподдержки должны быть проактивными и иметь возможность донести проблемы до разработчиков. А лучше – участвовать в ежедневных созвонах с командой разработки. Активный диалог поможет техподдержке сообщать о новых угрозах и быть в курсе уже известных проблем.
Аналитика со стороны техподдержки использует прозрачные и простые показатели. Продуктовый менеджер или менеджер проектной команды выполняет более детальную аналитику на основании собранных техподдержкой данных.
*Продуктовая аналитика отзывов — это инструмент менеджеров и продуктовых аналитиков. Сбор данных сотрудниками техподдержки — способ оптимизации работы и освобождении времени высококвалифицированных специалистов.
Инструментарий аналитики отзывов
Вариант 1. «Таблицы! Нужно больше таблиц!»
Самый простой в применении способ — сбор данных в таблицах. Главное условие — возможность совместного редактирования в реальном времени.
В таблицу загружаются отзывы из магазинов приложений — для отдельного периода берется отдельный лист.
Рекомендуем использовать сервис AppFollow или его аналоги, так как выгрузка напрямую из сторов, к сожалению, не дает полной картины. Например, в Google Play Console отзывы выгружаются с задержкой в 2-3 дня, а в нашем случае это недопустимая потеря времени.
Как настроить фильтры и столбцы
Лист может содержать следующие столбцы:
Давайте разберем пример такой таблицы и расскажем, как ее настроить:
Самый простой в применении способ — сбор данных в таблицах. Главное условие — возможность совместного редактирования в реальном времени.
В таблицу загружаются отзывы из магазинов приложений — для отдельного периода берется отдельный лист.
Рекомендуем использовать сервис AppFollow или его аналоги, так как выгрузка напрямую из сторов, к сожалению, не дает полной картины. Например, в Google Play Console отзывы выгружаются с задержкой в 2-3 дня, а в нашем случае это недопустимая потеря времени.
Как настроить фильтры и столбцы
Лист может содержать следующие столбцы:
- кол-во знаков в ответе
- версия приложения
- оценка в сторе
- содержание отзыва
- ответ разработчика
- ссылка на отзыв в сторе
- столбцы с проблемами.
Давайте разберем пример такой таблицы и расскажем, как ее настроить:
Столбец «Количество знаков в ответе» содержит формулу =ДЛСТР (адрес ячейки с ответом), которая позволяет не выходить за ограничение по количеству символов для ответа разработчика. В Google Play это 350 символов, в App Gallery – 800, а в AppStore – 5 970.
Ссылка на отзыв в сторе позволяет найти отзыв, даже если прошло много времени, и пользователь написал новый.
В столбцы с проблемами мы ставим 1, если содержание отзыва соответствует проблеме:
Ссылка на отзыв в сторе позволяет найти отзыв, даже если прошло много времени, и пользователь написал новый.
В столбцы с проблемами мы ставим 1, если содержание отзыва соответствует проблеме:
Если появляется новая проблема, которая встречается больше одного раза, мы создаем для нее новый столбец, куда так же ставим единицы напротив отзывов содержащих схожее описание.
На следующий день (или раньше — в зависимости от выбранного периода) составляем лист «Общая аналитика» за прошедший день, в котором считаем количество отзывов по каждой проблеме, выявляем главные проблемы дня, озвучиваем их на звонке с командой. Таким образом можно быстро выяснить, с чем связаны выявленные проблемы — со сбоем на стороннем сервисе, который использует приложение, или же с новым релизом, содержащим баг.
На следующий день (или раньше — в зависимости от выбранного периода) составляем лист «Общая аналитика» за прошедший день, в котором считаем количество отзывов по каждой проблеме, выявляем главные проблемы дня, озвучиваем их на звонке с командой. Таким образом можно быстро выяснить, с чем связаны выявленные проблемы — со сбоем на стороннем сервисе, который использует приложение, или же с новым релизом, содержащим баг.
Например, по сводке в таблице ниже, можно сказать, что 6 января был сбой в сервисе доставки SMS. 29% отзывов сообщили об этой проблеме — поэтому ее удалось устранить.
После того, как проблема была исправлена, мы можем вернуться на лист за 6 января — отфильтровать отзывы о проблеме с SMS, перейти по ссылкам и сообщить пользователям о том, что сбой устранен. Это побудит клиентов изменить оценку и отзыв о приложении в лучшую сторону.
На листе с общей аналитикой отзывов по дням мы видим актуальное состояние приложения — какие есть проблемы, что больше всего беспокоит пользователей, помогло ли исправление бага устранить сбой и др.
Отдельно стоит вести учет пожеланий и предложений по улучшению продукта. Это можно делать просто в виде списка. Такая информация будет полезна для составления бэклога продукта.
На листе с общей аналитикой отзывов по дням мы видим актуальное состояние приложения — какие есть проблемы, что больше всего беспокоит пользователей, помогло ли исправление бага устранить сбой и др.
Отдельно стоит вести учет пожеланий и предложений по улучшению продукта. Это можно делать просто в виде списка. Такая информация будет полезна для составления бэклога продукта.
Преимущества таблиц:
Недостатки:
- Относительная независимость от сторонних решений таких как AppFollow.
- Простой и быстрый старт – легко внедрить и получить первые результаты.
Недостатки:
- Увеличивается время предоставления ответа на отзыв (но влияние уменьшается до 10% при полном онбординге сотрудника).
- Ограниченность максимальной скорости обработки отзывов.
- Ограниченность в объеме обрабатываемой информации одним специалистом без потери качества.
Вариант 2 . «Частичная автоматизация»
Вести таблицы вручную можно, если у вас немного отзывов. Но если в день приходит несколько сотен, это может вызвать определенные затруднения. В таком случае удобно пользоваться инструментами, в которых уже реализованы механизмы аналитики.
Например, проставление тегов в AppFollow. Ключевой момент – их нужно грамотно настроить: задавая список тегов, лучше всего опираться на те проблемы, которые чаще всего упоминаются. Если раньше вы уже вели таблицы и анализировали отзывы вручную, то это не составит труда.
При проставлении тегов необходимо анализировать, в чем именно заключается проблема пользователей, потому что иногда они описывают одну и ту же проблему по-разному. Например, «авторизация» и «регистрация» – два разных процесса, но при этом в обоих случаях пользователи могут подразумевать именно авторизацию.
При обновлении отзыва, теги, которые были поставлены ранее, сохраняются. Для того, чтобы не искажать аналитику, AppFollow позволяет архивировать старые теги. К слову, AppFollow сохраняет историю изменения отзыва, а AppStore нет.
Вести таблицы вручную можно, если у вас немного отзывов. Но если в день приходит несколько сотен, это может вызвать определенные затруднения. В таком случае удобно пользоваться инструментами, в которых уже реализованы механизмы аналитики.
Например, проставление тегов в AppFollow. Ключевой момент – их нужно грамотно настроить: задавая список тегов, лучше всего опираться на те проблемы, которые чаще всего упоминаются. Если раньше вы уже вели таблицы и анализировали отзывы вручную, то это не составит труда.
При проставлении тегов необходимо анализировать, в чем именно заключается проблема пользователей, потому что иногда они описывают одну и ту же проблему по-разному. Например, «авторизация» и «регистрация» – два разных процесса, но при этом в обоих случаях пользователи могут подразумевать именно авторизацию.
При обновлении отзыва, теги, которые были поставлены ранее, сохраняются. Для того, чтобы не искажать аналитику, AppFollow позволяет архивировать старые теги. К слову, AppFollow сохраняет историю изменения отзыва, а AppStore нет.
Таблица тегов позволяет нам увидеть потенциальные «больные места».
Или увидеть потенциальную возможность сбора обратной связи при решении какой-либо проблемы. То есть, при уменьшении доли упоминания после релиза, мы можем полагать, что дефект исправлен и запросить обратную связь – и побудить пользователя изменить свою оценку.
Или увидеть потенциальную возможность сбора обратной связи при решении какой-либо проблемы. То есть, при уменьшении доли упоминания после релиза, мы можем полагать, что дефект исправлен и запросить обратную связь – и побудить пользователя изменить свою оценку.
Здесь мы видим, что тренд проблемы "краш" падает, значит самое время запросить у пользователя ОС и проверить решил ли последний релиз данную проблему.
Преимущества частичной автоматизации:
Недостатки:
- Увеличивается скорость сбора аналитики.
- Увеличивается кол-во обрабатываемых отзывов без потери качества одним сотрудником.
- Сокращается время отслеживания обновленных отзывов.
Недостатки:
- Возрастает зависимость от сторонних решений (Asodesk, и др.)
- Увеличивается кол-во работы над отзывами пользователей
Вариант 3. «Автоматизация»
Когда уже есть понимание, что пишут и как часто пишут, можно полностью автоматизировать тегирование отзывов.
На каждый тег необходимо установить правила: из каких слов состоит отзыв или какие слова содержит/не содержит, на что начинается или на что заканчивается. Необходимо регулярно проверять корректность и редактировать шаблоны проставления тегов для исключения неправильной расстановки. Но стоит учитывать, что даже при максимально корректных шаблонах покрыть все отзывы невозможно, тк будут возникать новые проблемы и формулировки к старым.
Если вы начали работу с отзывами сразу с автоматизации, не имея понятия о наиболее встречаемых проблемах, то существуют инструменты семантического анализа: как в составе комплексных решений для работы с магазинами приложений (Asodesk, AppFollow), так и более узкоспециализированные инструменты (Deeray).
С помощью алгоритмов машинного обучения они анализируют значения отзывов, независимо от их количества и оценки. Отзывы анализируются по разным параметрам и семантический анализ дает представление, о чем именно пишут пользователи.
Когда уже есть понимание, что пишут и как часто пишут, можно полностью автоматизировать тегирование отзывов.
На каждый тег необходимо установить правила: из каких слов состоит отзыв или какие слова содержит/не содержит, на что начинается или на что заканчивается. Необходимо регулярно проверять корректность и редактировать шаблоны проставления тегов для исключения неправильной расстановки. Но стоит учитывать, что даже при максимально корректных шаблонах покрыть все отзывы невозможно, тк будут возникать новые проблемы и формулировки к старым.
Если вы начали работу с отзывами сразу с автоматизации, не имея понятия о наиболее встречаемых проблемах, то существуют инструменты семантического анализа: как в составе комплексных решений для работы с магазинами приложений (Asodesk, AppFollow), так и более узкоспециализированные инструменты (Deeray).
С помощью алгоритмов машинного обучения они анализируют значения отзывов, независимо от их количества и оценки. Отзывы анализируются по разным параметрам и семантический анализ дает представление, о чем именно пишут пользователи.
Внутри каждой категории также есть разбивка по тегам, что даст более подробную картину.
В данном случае мы видим, что у нас большое количество отзывов, связанных с обновлением приложения и средняя оценка у них достаточно низкая. Но при этом, после ответов пользователям, наблюдается положительное изменение оценки. А дело в том, что мы оповестили пользователей о форсапдейте приложения, связанного с повышением его безопасности.
Также, семантический анализ позволяет отслеживать отзывы из разных стран на разных языках и общее восприятие приложения.
Также, семантический анализ позволяет отслеживать отзывы из разных стран на разных языках и общее восприятие приложения.
Помимо автоматического проставления тегов можно настроить и автоответы. Советуем начинать с самых очевидных — например с ответов на отзывы с положительной оценкой. Пользователям всегда нравятся, когда их благодарят за внимание. Автоматические ответы с благодарностью сократят и без того большой объем работы. Если вы уверены в какой-то проблеме, но не уверены в том, будут ли автоматические ответы корректными, то в AppFollow есть два способа публикации: полностью автоматический или с подтверждением.
Совет: при составлении правил для автотегов или автоответов используйте сервис AppFollow Phrase analysis – он даст понять, какие именно слова и фразы используют пользователи для описания различных проблем.
Преимущества автоматизации:
Недостатки:
- Рост скорости предоставления ответа.
- Рост скорости проставления тегов и сбора аналитики.
- Увеличение объема обрабатываемых отзывов одним сотрудником без потери качества.
Недостатки:
- Сам процесс отладки и настройки автотегирования и автоответов довольно медленный.
- Высокая стоимость.
- Есть необходимость регулярной актуализации шаблонов автотегирования и автоответов.
Подводя итоги
В статье мы подробно описали возможные варианты выстраивания процессов сбора аналитики.
Должны отметить, пока мы писали эту статью, компания AppFollow объявила, что из-за санкций и невозможности оплаты российскими банковскими картами, доступ к расширенным услугам будет ограничен.
Однако, существуют такие аналоги как: Asodesk, AppTweak, App Radar, Appfigures и Mobile Action. А в качестве инструмента семантического анализа можно использовать Deeray, который мы описали выше.
Принципы работы этих инструментов схожи и в каждом можно найти оптимальное решение для поставленных задач и бюджетов. Но вы можете создать и свой инструмент работы с пользователями :)
Варианты инструментов аналитики, приведенные в статье не взаимоисключают себя. Автоматизировать процессы важно, но стоит учитывать как текущие потребности и возможности компании, так и технические ограничения существующих решений.
Вы можете попробовать все три варианта, а потом выбрать оптимальный для себя и вашего продукта.
Сбор аналитики легко дополняет процесс предоставления ответов, при этом взаимодействие с пользователем переходит на качественно новый уровень. При правильном подходе вы сможете "держать руку на пульсе": заблаговременно узнавать о потенциальных проблемах и возможностях продукта, избежав падения рейтинга и минимизировав ущерб.
Работа с аналитикой отзывов – это возможность обеспечить высокий клиентский сервис и сформировать фундамент для data driven подхода в развитию цифрового продукта.
Напишите нам, и мы поможем вам в короткие сроки сформировать команду и начать работать с отзывами пользователей
В статье мы подробно описали возможные варианты выстраивания процессов сбора аналитики.
Должны отметить, пока мы писали эту статью, компания AppFollow объявила, что из-за санкций и невозможности оплаты российскими банковскими картами, доступ к расширенным услугам будет ограничен.
Однако, существуют такие аналоги как: Asodesk, AppTweak, App Radar, Appfigures и Mobile Action. А в качестве инструмента семантического анализа можно использовать Deeray, который мы описали выше.
Принципы работы этих инструментов схожи и в каждом можно найти оптимальное решение для поставленных задач и бюджетов. Но вы можете создать и свой инструмент работы с пользователями :)
Варианты инструментов аналитики, приведенные в статье не взаимоисключают себя. Автоматизировать процессы важно, но стоит учитывать как текущие потребности и возможности компании, так и технические ограничения существующих решений.
Вы можете попробовать все три варианта, а потом выбрать оптимальный для себя и вашего продукта.
Сбор аналитики легко дополняет процесс предоставления ответов, при этом взаимодействие с пользователем переходит на качественно новый уровень. При правильном подходе вы сможете "держать руку на пульсе": заблаговременно узнавать о потенциальных проблемах и возможностях продукта, избежав падения рейтинга и минимизировав ущерб.
Работа с аналитикой отзывов – это возможность обеспечить высокий клиентский сервис и сформировать фундамент для data driven подхода в развитию цифрового продукта.
Напишите нам, и мы поможем вам в короткие сроки сформировать команду и начать работать с отзывами пользователей
