Telegram: как экспортировать диалоги и метрики в BI для анализа аномалий

Утро, в чашке остывает кофе, Telegram пиликает как будильник в первое сентября. Руководитель пишет коротко: что вчера случилось с откликом поддержки и почему бот вдруг стал отвечать в два раза медленнее. На глазок это не лечится, да и отговорки про ретроградный Меркурий уже не смешат. Единственный взрослый способ – перестать смотреть на чат как на бесконечную переписку, а превратить его в таблицы, графики и нормальные метрики, которые можно мониторить. Чтобы видеть не только что пишут люди, но и когда, как быстро мы реагируем, где всплески спама и почему по воскресеньям конверсия падает. Идеальный кандидат на транспорт – Make.com, а на витрину – BI, хоть Power BI, хоть Yandex DataLens, хоть Metabase. Дальше останется собрать трубу, чуть приправить её здравым смыслом и повесить сигнализацию на аномалии. И да, это можно сделать без программиста на фултайм.

Если по чесноку, я пришел к этому после того, как один бот в оптовой торговле внезапно перестал закрывать заявки. Пропало не всё – процентов 20 диалогов. В чате это выглядит как пара унылых сообщений и смайлик от рассерженного менеджера. На дашборде это вспышка красным по KPI. Тогда и щёлкнуло: пора завести аккуратный экспорт, чтобы ловить такие штуки раньше, чем они жгут бюджеты. Сценарий простой: Telegram-бот забирает события и сообщения, Make.com раскладывает по полочкам, BI рисует картину дня и кричит, когда что-то отклоняется от нормы. Да, звучит скучновато, зато работает стабильно, как трамвай.

Что именно тянуть из Telegram, кроме текста

Классическая ошибка – хватать только текст сообщения. Для анализа это полдела. Нужны идентификаторы чата и сообщения, точное время в UTC, тип события, длина текста, наличие вложений, пользовательские отметки, иногда язык, иногда тональность. Если есть операторы, добавляем их ответы и время между вопросом и первым ответом – это главный индикатор здоровья поддержки. Для бизнесов с продажами через чат добавляем маркеры статусов, например, когда менеджер переключает диалог в сделку, ставит тег или оставляет комментарий с суммой. И не забудьте про приземленное: длина сообщения, количество эмодзи, флаги для ссылок и телефонов, id темы в супергруппе, reply_to_message_id. Звучит нудно, зато потом аномалии ловятся как на ладони: бот тупит, клиенты ругаются, конверсия просела – видно сразу.

Труба через Make.com: от бота к базе без лишнего кода

Стартуем с бота. Обычный BotFather, получаем токен, подключаем модуль Telegram в Make.com и ставим триггер на обновления. У Make есть режимы вебхуков и long polling, для продакшена лучше вебхук – он шустрее и экономичнее. Первым делом мапим поля: chat_id, message_id, date, from_id, username, text, message_type, все ссылки на медиа. Дальше аккуратно раскладываем поток: итератор для нескольких фото, парсер для Caption, нормализация времени и кодировки. Для быстрого старта можно сохранять в Google Sheets или Airtable, но если вы планируете раскручивать аналитику, лучше сразу PostgreSQL или ClickHouse в VK Cloud или Yandex Cloud. Sheets хороши пока у вас до 1000 сообщений в день, дальше будет боль и ночные танцы с лимитами.

Чтобы не плодить хаос, заведите в Make отдельный блок для обогащения данных: вычисляем длину текста, считаем задержку ответа, метим медиа, обрезаем лишнее. Если у вас операторы отвечают вручную, логика задержки простая: хранить дату последнего сообщения клиента и дату первого ответа оператора по chat_id. Можно складывать это в Make Data Store. Затем пишем в базу в одну таблицу messages, а во вторую sessions – сессии, которые разбиваются по таймауту в 30 минут молчания. Это упрощает аналитику в BI и делает графики правдоподобными.

BI: от сырых сообщений к понятным графикам

Когда данные начинают капать, жизнь становится внятнее. В BI собираем витрину с ежедневными и почасовыми метриками: количество входящих, количество ответов, медиана времени ответа, доля диалогов без ответа, распределение по типам медиа, доля сообщений с ссылками, базовая тональность. Для России спокойно берите Yandex DataLens, он дружит с ClickHouse из коробки и не просит установить что-нибудь экзотическое. Power BI тоже годится, но имейте в виду нюансы с публикацией и шлюзами. Важно настроить обновление не реже раза в час, лучше чаще, если у вас поддержка идет в живом режиме. Я бы делал обновление каждые 5 минут на самую верхнюю таблицу и раз в час на тяжёлые агрегаты – и база не дымит, и метрики свежие.

Самый полезный график – не модная круговая диаграмма, а тривиальная линия с объемом входящих и ответов по часам, поверх неё медиана времени ответа. Отдельно я держу тепловую карту по дням недели и часам суток, чтобы отличать сезонность от реальных проблем. И конечно, картинку с конверсиями, если у вас воронка из чата. Звучит скучно, зато по этим трём вещам почти всегда видно, где просел процесс.

Аномалии без истерики: простая математика, которая спасает деньги

С аномалиями хорошо работает скучный набор: скользящее среднее, стандартное отклонение, порог в 3 сигмы. Берем метрику, например, медиану времени ответа за час, считаем по ней rolling mean и rolling std по окну 24 часа, сравниваем. Если сильно вылезли – заводим алерт. Для трафика лучше сезонная декомпозиция по неделе, чтобы будни не мешали выходным. Можно использовать MAD вместо std, он устойчивее к выбросам. В DataLens часть таких трюков делается прямо в SQL, в Power BI – через DAX, в Metabase – через запросы на стороне базы. Никакой магии, просто счетчики. Когда работают, лучше не трогать.

Чтобы не проспать алерты, я шлю их обратно в Telegram через Make: в канал поддержки приходит короткое сообщение со скрином графика и ссылкой на дашборд. Очень быстро приживается привычка отвечать на них осмысленно, а не «всё починили». Плюс можно в этот же момент автоматом заводить задачу в трекере и вешать ответственность. Это уже про культуру, но без неё алерты превращаются в белый шум.

Немного нейросетей для ума, но без фанатизма

Дальше можно привинтить тональность и темы разговоров, чтобы видеть, из-за чего клиенты больше всего кипят. Для русского языка хватает доступных моделей, которые классифицируют текст в базовые категории и подсказывают эмоциональную окраску. В Make.com это решается через HTTP к вашему сервису или внешнему API. Если не хочется городить свой inference, сделайте простую классификацию по ключевым словам и словарю – иногда она попадает не хуже. Кстати, свежие наработки по извлечению и тематическому моделированию для Telegram обсуждаются и в исследованиях, например, на arxiv есть разбор инструментов и подходов к сбору данных из публичных источников. Главное – работать в рамках правил и здравого смысла, не лезть в то, что нарушает законы, и аккуратно обезличивать персональные данные.

Юридическая гигиена: не забыть про персональные данные и правила площадки

Если вы работаете с частной перепиской, берите согласие и не тяните лишнего. Идентификаторы можно хэшировать, телефоны и адреса не сохранять вообще, если они не критичны для процесса. Срок хранения лучше зафиксировать, например, 90 дней для сырья и дольше для агрегатов. Если используете публичные каналы, соблюдайте их правила и не ломайте доступ без разрешения владельца. Токены бота держите в секретах, доступ в базы – по ролям, а выгрузки для аналитиков – без лишних полей. Никакой романтики, зато потом спокойно спите.

Про стабильность и масштаб: где чаще всего ломается

Telegram любит порядок с вебхуками: проверьте корректный SSL, таймауты и ретраи. Дубликаты обновлений случаются – сохраняйте update_id и message_id, дубли отфильтруются. В базе лучше иметь первичный ключ из chat_id и message_id, а для медиа – отдельную таблицу. В ClickHouse помогает партиционирование по дате и TTL на сырые события. В Power BI ждите капризов с шлюзом, в DataLens – проверьте лимиты и права на датасеты. Самые подлые баги – часовые пояса и кириллица в кодировках. Лечится хранением времени в UTC и нормализацией до UTF-8, а локальную зону подставляем уже на витрине. Да, и не забывайте про косты: Make хорош, но сценарии, которые опрашивают API каждую минуту без надобности, быстро превращаются в счета, которые не радуют.

Как это собрать за вечер, если очень надо

Минимальный набор выглядит так: бот в BotFather, модуль Telegram Watch updates в Make, ветка на сохранение в таблицу, ветка на вычисление задержек, расписание выгрузки в BI и пара базовых графиков. На второй вечер прикручиваете аномалии и уведомления в чат. На третий – тональность и темы. Всё. Если лень изобретать, можно взять готовые шаблоны сценариев и адаптировать под себя. У нас есть набор блюпринтов и курс, где это делается последовательно, без шаманства и избыточной теории.

Хотите научиться автоматизации рабочих процессов с помощью сервиса make.com и нейросетей ? Подпишитесь на наш Telegram-канал. Если созрели на практику, вот ссылка на Обучение по make.com, а готовые шаблоны ждут тут – Блюпринты по make.com. Регистрация в сервисе для тех, кто любит начинать сразу – Make.com.

FAQ

Можно ли тянуть из Telegram всё подряд, включая приватные данные пользователей

Нет, и не нужно. Работайте в рамках правил Telegram и законодательства. В приватных диалогах берите согласие, персональные данные минимизируйте и обезличивайте. Из публичных каналов собирайте только то, что разрешено владельцем, без серых методов.

Чем отличается Bot API от Telegram API и что нам выбирать

Для автоматизации в Make берите Bot API – он простой, стабильный и закрывает 95 процентов задач. Полноценный Telegram API нужен для сложных клиентских приложений и требует иной авторизации. Для выгрузки диалогов через бота Bot API более чем достаточно.

Где хранить данные для BI, если Google Sheets начинает тормозить

Для легкого старта подойдут Sheets или Airtable, но при росте переходите на PostgreSQL или ClickHouse. Для России удобно держать базу в Yandex Cloud или VK Cloud, а визуализацию собирать в Yandex DataLens или Metabase. Так и быстрее и дешевле на дистанции.

Как быстро добавить детектор аномалий без сложной математики

Сделайте скользящее среднее и стандартное отклонение на часовом ряду и помечайте точки, которые выше 3 сигм от среднего. Для метрик с сильной сезонностью используйте окно в неделю и сравнение с медианой плюс MAD. На старте этого хватает, потом всегда можно усложнить.

Как слать алерты обратно в Telegram

В Make создайте расписание или вебхук, который срабатывает при превышении порога, и используйте модуль Send a message. В текст добавьте краткое описание метрики, значение, порог и ссылку на дашборд, а заодно id инцидента. Главное – не спамить, ставьте троттлинг и дедупликацию.

Что делать с медиа и длинными сообщениями

Для медиа сохраняйте служебные поля и ссылки на файлы, а сами файлы храните отдельно, если нужно. Длинные тексты можно резать на куски, но лучше хранить целиком, а в витрину отдавать агрегаты. Так и гибче, и безопаснее для производительности.

Power BI, DataLens или что-то ещё

Если команда на Windows и уже привыкла к Power BI – берите его. Если хочется облака и простоты, DataLens хорош для ClickHouse и Postgres. Metabase – неплохой опенсорс для быстрых вопросов. Ключевой критерий не бренд, а насколько легко вам поддерживать обновления и права доступа.