Дубликаты в Битрикс24: как очистить CRM и остановить появление новых дублей

Работа с дублями состоит из двух задач: безопасно очистить уже накопленную CRM и устранить источники, которые создают новые дубликаты.

Дубли в CRM редко появляются в один день.
Сначала создаётся второй контакт с тем же телефоном.
Потом один менеджер работает с первой карточкой, другой - со второй.

В одной остаются старые сделки, в другой - новые звонки и письма.
После импорта может появиться ещё одна компания.
Через несколько месяцев уже непонятно, какая карточка клиента главная и где хранится актуальная история.

Поэтому задача не сводится к кнопке Объединить. Сначала нужно разобраться:

Что действительно является дублем, какие данные нужно сохранить и почему новые дубликаты вообще появляются?

Только после этого стоит чистить базу.

Коротко

Работу с дублями в Битрикс24 лучше разделить на два этапа.

Сначала: очистить то, что уже накопилось.
Найти повторяющиеся контакты и компании, проверить сделки, определить основные карточки и объединить действительно дублирующиеся элементы.

Затем: остановить появление новых дублей.
Проверить:

• ручное создание клиентов;
• CRM-формы;
• импорт;
• интеграции;
• телефонию и почту;
• правила сопоставления с 1С и другими системами.

Если сделать только первый этап, результат будет временным.

Не всё похожее является дублем

Это главный риск при массовой очистке. Допустим, у одной компании есть три сделки:
Поставка оборудования
Сервисное обслуживание
Новый проект
Это не три дубля. Это один клиент и три разных коммерческих процесса.

И наоборот, если один человек существует в CRM как две карточки с одним телефоном и одной почтой, это уже похоже на реальный дубль. Поэтому сначала нужно определить, какая сущность дублируется:

• контакт;
• компания;
• лид;
• сделка;
• другой элемент CRM.

Причины появления дублей и правила объединения для них различаются.

Один контакт может быть связан с несколькими компаниями

Это ещё один случай, где механическое объединение или создание новых карточек может привести к ошибке. В Битрикс24 один контакт можно связать с несколькими компаниями. Например, один и тот же человек может представлять несколько организаций. Это не требует создавать отдельный контакт для каждой компании. Актуальная логика связей описана в официальной справке Битрикс24.

Поэтому правило: одна компания -> один отдельный контакт этого человека не является универсальным.
Сначала нужно понять, один ли это человек и какую роль он выполняет в каждой организации.

Почему дубли контактов особенно неприятны

Контакт обычно является одной из основных точек, вокруг которой собирается история общения с человеком. Если один клиент заведён несколько раз, история начинает распадаться.
Например:

Контакт 1
- первый звонок
- старая сделка
- старый e-mail

Контакт 2
- новый телефон
- переписка
- текущая сделка

Сотрудник открывает одну карточку и не видит часть взаимодействий.
Руководитель получает неполную картину.
Автоматизация и новые обращения тоже могут связываться не с той карточкой, которую сотрудник считает основной.

Поэтому если это действительно один и тот же человек, полезно прийти к одной основной карточке.

Один клиент может прийти из нескольких каналов

Типовой сценарий из практики выглядит так:

1. Клиент оставил заявку на сайте.
2. Через минуту позвонил.
3. Потом написал в мессенджер.

Для бизнеса это один человек и, возможно, одно обращение. Для CRM это могут оказаться несколько отдельных событий и несколько карточек, если формы, телефония и внешние интеграции используют разные правила сопоставления.

Поэтому при диагностике новых дублей полезно смотреть не только на итоговую карточку, но и на путь её появления:

• какой канал создал лид или контакт;
• передал ли он телефон и e-mail;
• попытался ли найти существующего клиента;
• создал ли новый элемент без проверки;
• какой ответственный получил обращение;
• мог ли этот сотрудник видеть существующую карточку.

Последний пункт особенно важен при разграничении прав. Менеджер может добросовестно искать клиента и всё равно не увидеть карточку, к которой у него нет доступа.

Поэтому профилактика дублей включает не только контроль совпадений, но и настройку каналов, прав доступа и маршрутизации.

С компаниями критерий совпадения сложнее

Одинаковое название не всегда означает одну организацию. И наоборот, одна организация может быть записана по-разному:
Альфа
ООО Альфа
АЛЬФА

Для российских юридических лиц полезным дополнительным идентификатором может быть ИНН. Мы отдельно разбирали этот сценарий в статье про реквизиты компании в Битрикс24 и поиск дублей по ИНН. Но ИНН не заменяет общий контроль дублей. Это дополнительный идентификатор для конкретного класса клиентов.

Как объединить дубликаты вручную

Битрикс24 позволяет вручную объединять:

• лиды;
• сделки;
• контакты;
• компании;
• счета;
• предложения;
• элементы смарт-процессов.

При объединении выбирается основная карточка. Она останется в CRM, остальные дублирующие элементы будут удалены.
Если значения полей совпадают, система сохраняет их автоматически.
Если значения отличаются, можно выбрать, какие оставить.
В множественных полях можно сохранить несколько значений, например разные телефоны и e-mail.

Перед завершением Битрикс24 показывает предварительный результат. Подробный порядок описан в официальной инструкции по объединению дубликатов.

Поэтому объединение лучше воспринимать не как: удалить лишнюю карточку а как:

собрать правильную итоговую карточку из нескольких источников данных.

Как выбрать главную карточку

Я бы не выбирал основную карточку только по принципу “эта создана раньше”. Перед объединением полезно проверить:

• где актуальный ответственный;
• где больше истории;
• к какой карточке привязаны нужные сделки;
• где актуальные телефоны и e-mail;
• где заполнены корректные реквизиты;
• какие пользовательские поля заполнены;
• используют ли карточку внешние интеграции.

Для двух очевидных дублей это обычно просто. Для старой CRM с большим количеством интеграций сначала лучше проверить несколько типовых случаев вручную и зафиксировать правило.

Что происходит после ручного объединения

После объединения остаётся выбранная основная карточка. Удалённые элементы отражаются в истории CRM. При необходимости их можно восстановить из корзины. Это описано в той же официальной инструкции Битрикс24. Это полезная страховка. Но корзину не стоит использовать как замену предварительной проверке, особенно если CRM связана с 1С, телефонией, внешними сервисами или собственной автоматизацией.

Автоматическое объединение работает не для всего

Автоматическое объединение дубликатов в Битрикс24 доступно для:

• лидов;
• контактов;
• компаний.

Для сделок автоматическое объединение не используется. Битрикс24 объединяет элементы автоматически только при достаточно однозначном совпадении. В текущей логике должны совпадать значения всех полей, за элементы должен отвечать один сотрудник, а для лидов также должна совпадать стадия. Если данные отличаются, система предлагает ручное объединение. Мастер контроля дубликатов доступен не на всех тарифах. Подробнее - в актуальной справке по автоматическому объединению.

Это хороший принцип и для собственной очистки базы:

автоматизировать стоит очевидные совпадения, а спорные случаи оставлять на ручную проверку.

Если штатных правил недостаточно, расширение должно закрывать конкретный пробел, а не просто дублировать штатную кнопку объединения.

Например, для работы с повторными лидами мы используем приложение «Поиск повторных обращений клиентов». Его задача - по данным лида найти связанные контакты, компании, другие лиды и сделки, сохранить найденные связи в CRM и передать их дальше в бизнес-логику.

После этого уже можно отдельно решать, что делать в конкретном процессе: уведомить менеджера, передать обращение прежнему ответственному, закрыть очевидный дубль или оставить карточку на ручную проверку.

Это не замена штатному контролю дублей и не универсальная кнопка очистки всей CRM. Сначала нужно понять, какой именно сценарий штатный Битрикс24 не закрывает.

По каким данным искать дубли

В общих настройках CRM можно включать контроль дубликатов и выбирать элементы, для которых Битрикс24 будет искать записи с одинаковыми данными, например телефоном или e-mail. После этого найденные записи можно объединять вручную или автоматически. (Официальная справка)

Но одинаковое значение не всегда означает одинаковый объект. Например, общий корпоративный телефон может использоваться несколькими людьми. Один e-mail может относиться к общей почте отдела. Поэтому совпадение является сигналом для проверки, а не универсальным доказательством дубля.

Дубликаты сделок - отдельная история

Здесь особенно важно различать: несколько сделок одного клиента и две карточки одной и той же сделки.
У постоянного клиента нормально иметь несколько сделок:

Компания
|
+-> Продажа оборудования
|
+-> Продление обслуживания
|
+-> Дополнительный проект

Объединять их только потому, что клиент один, нельзя. Но если из-за ошибки сотрудника или интеграции один и тот же заказ появился дважды, это уже потенциальный дубль.

Битрикс24 позволяет объединять сделки вручную. Автоматический контроль дублей применяется к лидам, контактам и компаниям, а сделки объединяются только вручную. Это отдельно подтверждено в справке Битрикс24.

Перед объединением сделок стоит проверить:

• это действительно один коммерческий процесс;
• совпадают ли товары или услуги;
• одинаковы ли сумма и договор;
• нет ли независимой истории общения;
• не отражают ли карточки разные этапы или разные заказы.

Повторное обращение клиента - не дубль

Если существующий клиент снова оставил заявку, это не означает, что нужно создавать второго клиента или объединять новую сделку со старой.

В Битрикс24 повторный лид может быть связан с уже существующим контактом или компанией, а новая сделка может учитываться как повторная. Так сохраняется единая клиентская карточка и при этом не теряется история отдельных обращений. Подробнее эта логика описана в официальной справке по повторным лидам и сделкам.

Полезное правило:

один клиент - одна клиентская карточка, но столько лидов и сделок, сколько реально было отдельных обращений и коммерческих процессов.

Это особенно важно при очистке дублей сделок. Несколько сделок одного клиента сами по себе не являются ошибкой.

Для входящих лидов логика похожая, но решение зависит от смысла обращения. Если клиент оставил форму и почти сразу позвонил по тому же вопросу, это может быть один коммерческий процесс, который случайно разложился на две карточки. Если тот же клиент обратился через месяц с новым заказом, это уже повторное обращение, а не технический дубль.

Поэтому перед автоматическим закрытием или объединением полезно определить критерий:

Мы нашли одну и ту же запись или новое реальное обращение того же клиента?

Почему после очистки дубли появляются снова

Это ключевой вопрос. Если база очищена, а причина не найдена, результат временный. Источники дублей обычно стоит искать в нескольких местах.

Ручное создание карточек

Менеджер не находит существующего клиента или не ищет его и создаёт новую карточку. Технические настройки здесь не решат всё. Нужен простой рабочий регламент:

1. Сначала найти клиента.
2. Проверить телефон, e-mail или компанию.
3. Только если подходящей карточки нет - создавать новую.

Если сотрудники регулярно обходят поиск, база снова начнёт размножаться даже после идеальной очистки.

CRM-формы

CRM-форма может создавать сделку вместе с контактом или компанией. В экспертных настройках формы можно указать, что делать с найденными дублями контактов и компаний. Для формы дубликат определяется по совпадению любых двух из трёх параметров:

• ФИО или название компании;
• телефон;
• e-mail.

Можно разрешать дубли, заменять данные или объединять их. Текущие правила подробно описаны в справке по CRM-формам.

Если новые дубли регулярно приходят именно с сайта, проверять нужно не только общие настройки CRM, но и конкретную форму.

Импорт

Импорт способен быстро создать много дублей, если заранее не выбрать стратегию. Для контактов и компаний Битрикс24 позволяет выбрать, что делать с совпадениями:

• разрешить;
• заменить;
• объединить;
• пропустить.

Также можно указать поля, по которым проверять дубли.
При режиме Объединить данные из файла заполняют пустые поля существующей карточки, а уже заполненные значения не меняются.

При режиме Заменить существующие значения могут быть обновлены данными из файла. Актуальное поведение описано в официальной инструкции по импорту.

Это принципиально разные сценарии. Перед импортом нужно решить:

Какая база сейчас является источником правды и какие данные имеют приоритет?

Есть и отдельный риск со сделками. Существующую сделку обновить через такой импорт нельзя. Если в CRM уже есть сделка с тем же названием, она будет загружена повторно. Поэтому импорт сделок требует отдельной проверки на потенциальные дубли. (Официальная справка)

Интеграции

Ещё один частый источник дублей - обмен с другой системой. Если CRM, 1С, сайт или собственный сервис используют разные идентификаторы клиента, одна и та же организация может создаваться повторно. Перед запуском или переделкой интеграции стоит определить:

• по какому идентификатору сопоставляется клиент;
• какая система является источником правды;
• кто имеет право создавать новую карточку;
• что происходит, если совпадение не найдено;
• можно ли обновлять существующий элемент вместо создания нового.

Эти вопросы лучше фиксировать ещё на этапе требований к интеграции. Мы отдельно разбирали такой подход в статье про ТЗ на внедрение Битрикс24.

Найти дубль мало: нужно решить, что делать дальше

Сам факт совпадения ещё не определяет действие. Для входящего лида могут быть разные сценарии:

• найден тот же открытый лид по тому же обращению - можно объединить информацию или закрыть лишнюю карточку по принятому регламенту;
• найден существующий клиент, но обращение новое - сохранить клиента и создать новый коммерческий процесс;
• найден прошлый ответственный - передать новое обращение этому сотруднику;
• найдено несколько неоднозначных совпадений - оставить решение менеджеру;
• совпадение пришло из источника без надёжного идентификатора - использовать отдельное правило именно для этого канала.

В одном из наших рабочих подходов поиск связей выполняется на первой технологической стадии лида. После поиска бизнес-процесс уже принимает решение по найденным данным.
Такой разрыв полезен архитектурно: найти связи -> оценить контекст -> выполнить действие

Он безопаснее, чем правило: нашли совпадение -> сразу удалить.

Видео: практические сценарии работы с дублями

Ниже 5 видео с нашего YouTube-канала о поиске повторных обращений, дублях лидов, ограничениях разных каналов и автоматизации обработки.

Часть роликов записана на более ранних версиях Битрикс24 и приложения. Поэтому их лучше использовать для понимания логики сценариев и причин появления дублей, а не как точную инструкцию по расположению кнопок в текущем интерфейсе.

Практический порядок очистки базы

Я бы не начинал с попытки “объединить всё”. Безопаснее пройти последовательность.

1. Разделить проблему по сущностям

Отдельно проверить:

• контакты;
• компании;
• лиды;
• сделки.

2. Определить источники дублей

Например:

• ручное создание;
• формы;
• импорт;
• интеграции;
• старая миграция.

3. Проверить типовые пары вручную

Посмотреть, какие поля конфликтуют, как связаны сделки и какая карточка должна остаться основной.

4. Очистить однозначные случаи

Там, где понятно, что записи относятся к одному объекту и итоговые данные не вызывают вопросов.

5. Разобрать спорные случаи отдельно

Особенно компании и сделки.

6. Исправить источник новых дублей

Иначе очистка даст только временный результат.

7. Настроить регулярный контроль

Для лидов, контактов и компаний Битрикс24 может автоматически проверять дубликаты. По умолчанию такая проверка запускается раз в день, а частоту можно изменить. Возможность мастера зависит от тарифа. (Официальная справка)

Что считать хорошим результатом

Цель не обязательно должна звучать как: в CRM никогда нет ни одного потенциального дубля. В живой базе абсолютную чистоту трудно гарантировать.
Более полезный результат:

• у клиента есть понятная основная карточка;
• история общения не распадается между несколькими контактами;
• одна организация не создаётся повторно без причины;
• новые сделки связываются с существующим клиентом, когда это тот же клиент;
• импорт не размножает контакты и компании;
• интеграции используют понятные правила сопоставления;
• сотрудник знает, что делать при найденном совпадении;
• контроль дублей запускается регулярно.

То есть задача не в чистоте ради чистоты. Задача в том, чтобы CRM оставалась надёжным источником данных о клиенте.

Главное

Дубликаты в Битрикс24 лучше рассматривать не как разовую техническую уборку, а как проблему качества данных.
Сначала нужно ответить:

Это действительно две карточки одного объекта?

Потом:

Какая карточка должна остаться основной и какие данные нужно сохранить?

И после очистки обязательно задать третий вопрос:

Почему дубль появился и что нужно изменить, чтобы следующий не создавался?

Если последний вопрос пропустить, массовое объединение даст только временный эффект.