Битрикс24 не работает: почему первая версия про массовый сбой оказалась неверной
Клиенты пишут, сервисы зависают - и первая мысль: массовый сбой Битрикс24. Но к вечеру картина начала ломаться.
Серия
Расследование инцидента Битрикс24
Реальная последовательность расследования: первая гипотеза, проверка по слоям, локализация сетевой проблемы, временное решение, раскатка на продукты и изменения после инцидента.
- 01
- 02
Битрикс24: когда стало ясно, что это не обычный массовый сбой
Коллеги без проблем, у нас - нет. Часть продуктов работает, часть нет. Это уже не укладывалось в простой сбой платформы.
- 03
Ночная диагностика сбоя Битрикс24: частичная деградация IP-адресов пула
Авторизация жива, токены работают. Но пул из 13 IP-адресов - и часть из них стабильно ломается на уровне защищённого соединения.
- 04
Аварийный обход для Битрикс24: как обойти проблемный IP-адрес в рабочем режиме
Диагноз поставлен. Но клиентам нужна работающая система прямо сейчас. Пришлось собирать аварийное решение под утро.
- 05
Как масштабировать аварийное решение на 50 продуктов Битрикс24
Решение найдено. Но его ещё нужно раскатать на 50+ продуктов с разной архитектурной логикой.
- 06
Выводы после инцидента Битрикс24: что меняем в архитектуре
Сбой закрыт. Серверы вернулись. Главный итог - не героизм, а список того, что теперь меняем в архитектуре.