Сборка сквозной аналитики на ноутбуке BI-маркетолога: объединение расходов рекламы, звонков коллтрекинга и реальных оплат из CRM
Знакомая картина в любом отделе маркетинга застройщика, медицинской сети, автодилера или B2B-производителя: подрядчик по рекламе показывает красивый отчёт «250 лидов по восемьсот рублей (CPL) — план перевыполнен!», а коммерческий директор открывает 1С и amoCRM / Битрикс24 и видит: 210 из этих «лидов» — спам, боты с РСЯ и ошибочные звонки, зато единственная кампания по узким низкочастотным запросам с «дорогим» лидом по четыре тысячи пятьсот рублей принесла **80 % всей квартальной выручки компании (ROMI +420 %`)**!
Как только у бизнеса появляется длинный цикл сделки (от 14 до 120 дней), телефонные звонки и повторные продажи, готовые «коробочные» виджеты часто начинают врать на нестандартной логике возвратов и частичных оплат. Разбираем, как BI-аналитик собирает и отлаживает эталонную витрину сквозной аналитики прямо у себя на ноутбуке в связке ClickHouse + dbt + DBeaver.
Четыре «моста склейки», без которых сквозная аналитика теряет 40 % выручки
Вся магия честной сквозной аналитики держится не на красивых графиках, а на безупречной передаче сквозных идентификаторов на стыке сайта, телефонии и CRM:
| Узел пути клиента | Какой идентификатор передаётся | Типичная поломка и как аналитик ловит её с ноутбука |
|---|---|---|
1. Рекламный клик -> Визит на сайте (UTM + yclid) |
Полная размеченная метка utm_source / utm_medium / utm_campaign / utm_content / utm_term (см. шаблон разметки в статье Direct Commander и управление кампаниями) |
Редирект HTTP->HTTPS или слэш / на посадочной странице отрезает хвост ?utm_..., превращая платный клик в мнимый «Прямой заход (Direct)»! Проверяйте сохранение dataLayer и cookie в консоли по гиду отладка тегов GTM и аналитики в браузере! |
| 2. Форма на сайте / Квиз / Мессенджер -> Сделка в CRM | Скрытое поле формы пробрасывает _ym_uid (ClientID Яндекс Метрики) прямо в кастомное поле карточки сделки в amoCRM / Битрикс24! |
Создали новый лендинг на конструкторе и забыли скрытый <input name="ym_uid"> — 100 % заявок с этого лендинга выпадают в строку «Источник не определён»! |
3. Звонок по телефону -> Подменный номер коллтрекинга (Calltouch / CoMagic) |
Динамический пул номеров связывает сессию на сайте (ym_uid + UTM) с входящим звонком и передаёт их по Webhook при автосоздании сделки в CRM |
Нехватка ёмкости номеров динамического пула в пиковый час 11:00–13:00 (когда на сайте 80 человек одновременно, а номеров куплено всего 6!) — сессии начинают перемешиваться! |
4. CRM -> Реальная отгрузка и возвраты в 1С |
ID сделки CRM <-> Оплаченный счёт / возврат в 1С |
Менеджер закрыл сделку в статус «Успешно реализовано», а клиент через неделю отказался от договора — без обратной выгрузки из 1С маркетинг платит премии за воздух! |
Отладка витрины на ноутбуке без сервера: clickhouse local + dbt
Мало кто из маркетологов знает, что знаменитая колоночная СУБД ClickHouse поставляется в виде одного компактного бинарного файла clickhouse, который запускается прямо в терминале любого ноутбука (macOS Apple Silicon, Linux или WSL2 на Windows) командой clickhouse local вообще без установки фонового демона и облачных счетов!
Выгрузив за 1 минуту на ноутбук сырые хиты/визиты Logs API Яндекс Метрики, журнал звонков Calltouch API, расходы рекламных кабинетов (включая реальную сумму с НДС!) и таблицу сделок CRM (с хешированием телефонов SHA-256 во исполнение 152-ФЗ «О персональных данных»!), вы одной SQL-моделью сравниваете сразу три модели атрибуции дохода:
Last Non-Direct Click(последний непрямой переход): классика для быстрых импульсных покупок — не даёт закладке в браузере «украсть» заслугу платного клика прошлой недели!First Click(первое касание): показывает, какие медийные и верхнеуровневые поисковые кампании реально приводят в воронку новых клиентов, которых потом лишь «добивает» ретаргетинг и брендовый поиск!U-Shape (40 % — 20 % — 40 %)или цепи Маркова (Data-Driven): справедливо делят выручку квартиры или сложного промышленного станка между первой статьёй блога (40 %), промежуточными прогревающими касаниями (20 %) и финальной конверсионной кампанией (40 %)!
Идеальный ноутбук BI-инженера и маркетингового аналитика
Типичный рабочий стек BI-разработчика на ноутбуке — это VS Code с расширением dbt Power User, DBeaver с десятком открытых соединений ClickHouse / PostgreSQL, локальные контейнеры Docker (Airflow + ClickHouse) для проверки пайплайнов перед деплоем в прод и дашборды Yandex DataLens / Superset / Power BI:
- Процессор с быстрыми ядрами и нативным Unix-терминалом, строго
16–32 ГБоперативной памяти (Docker DesktopсAirflowсам по себе забирает6–8 ГБRAM!) и экран высокого разрешения14–16"— именно за нативную ARM-скоростьclickhouse localи тихую автономную работу аналитики данных так ценят линейку из сравнения MacBook на Apple Silicon M1, M2 и M3, а в мире Windows/Linux — корпоративные 32-гигабайтные ThinkPad T/P-серии!
Чек-лист качества сквозной аналитики (проверка раз в неделю!)
- [ ] Доля сделок с выручкой в строке «Не размечено / Источник неизвестен» не превышает
5–8 %(если она выросла до25 %— на одном из поддоменов слетел счётчик, поломался webhook квиза или менеджеры создают сделки в CRM руками мимо телефонии!). - [ ] Сумма рекламных расходов в BI-дашборде сверена с финансовыми актами рекламных кабинетов с учётом единого правила НДС (
либо и выручка, и расход строго БЕЗ НДС, либо единообразно!). - [ ] Исключены из расчёта
CAC(стоимости привлечения нового клиента) сделки действующей постоянной базы повторных покупокLTV.
Частые вопросы
Зачем компании собирать собственное DWH на ClickHouse + DataLens, если есть готовые облачные Roistat или Calltouch Сквозная аналитика?
Правильный выбор зависит от масштаба и сложности: при стандартной воронке «1 сайт -> 1 воронка amoCRM -> оплата сразу» готовая облачная сквозная аналитика внутри Calltouch или Roistat запускается за 3 дня и окупается мгновенно! Собственное хранилище на ClickHouse становится незаменимым, когда у бизнеса несколько сайтов, мобильное приложение, офлайн-кассы розницы, сложная LTV-когортная экономика подписок за 3 года и запрет службы безопасности отдавать первичную базу выручки и маржинальности каждого контракта во внешнее SaaS-облако!