Механизм killbot: чистый трафик без роботов

Автоматический трафик нередко обгоняет человеческий и наносит урон ресурсам через скрейпинг, накрутку и подготовку DDoS-кампаний. Антибот-верификация снижает нагрузку, экономит пропускную способность и сохраняет корректную аналитику — подробности по ссылке.

Что такое KillBot

KillBot — облачный фильтр, анализирующий сигналы браузера, скорость взаимодействия, совокупность мелких жестов мыши либо тач-движений. Сервис сопоставляет показатели с поведенческими паттернами, формирует рейтинг доверия и в реальном времени отсекает подозрительные запросы. Дополнительные методы — проверка IP-репутации, выявление виртуальных окружений, JavaScript-челлендж. Конфигурация хранится на стороне провайдера, поэтому обновления правил применяются мгновенно.

Кому пригодится защита

Интернет-магазины предотвращают массовый выкуп лимитированного товара, билетные площадки пресекают фарм аккаунтов, финансовые сервисы блокируют автоматические попытки подбора паролей, медиа сохраняют достоверность статистики посещений. Работа KillBot снижает издержки на инфраструктуру, повышает конверсию заказа и оставляет ресурсы маркетинговым отделам вместо борьбы с бот-сетями.

Как пройти проверку

Посетителю достаточно стандартного браузера с включённым JavaScript. Открывая страницу, клиент получает скрипт KillBot, который собирает технические метаданные и отправляет хешированные значения в облако. При высоком рейтинге доверия пользователь мгновенно переходит к контенту. Если алгоритм сомневается, выскакивает CAPTCHA или скользящая панель с числовым кодом. Для успешного прохождения отключите прокси с агрессивным сжатием, синхронизируйте ссистемное время, уберите расширения, скрывающие User-Agent. На мобильном устройстве используйте последнюю версию веб-view — старые сборки прерывают передачу касаний и вызывают повторные задания.

KillBot не считывает личные сообщения, пароли и файлы. Записываются IP, отпечаток устройства, язык интерфейса, глубина цвета, разрешение экрана. Данные шифруются, хранение ограничено временем, необходимым для корреляции инцидентов. При обращении в поддержку пригодится идентификатор сессии из cookies: команда найдет причину блокировки и подскажет корректирующее действие.

Сервис развивается: ожидается переход на пассивные метрики аудио-контекста, внедрение криптографических меток браузера и без-CAPTCHA проверки через WebAuthn. Новые механизмы снизят число интерактивных челленджей и приблизят пользовательский опыт к бесшовному.

Комплекс KillBot служит первичным барьером против бот-трафика, сетевых сканеров, фрод-скриптов и иных автоматизированных клиентов. Служба объединяет правила на уровне ядра Linux, модульный скрипт для Nginx, плагин PHP и библиотеку Go.

Система проверяет два основных признака: IPv4/IPv6 адрес и строку User-Agent. При совпадении с белым списком пользователь допускается к ресурсу, при выходе за рамки доверенных паттернов запрос перенаправляется либо завершается.

Контур безопасности KillBot

Обработка запроса стартует сразу после принятия TCP-пакета. Таблица conntrack сверяет адрес источника с предыдущими сессиями. Если частота превышает лимит, происходит мгновенный сброс SYN. Следующий слой использует nftables: правило set-map хранит диапазоны CIDR, помеченные как разрешённые либо запрещённые. Отказ на этом уровне почти не затрагивает ресурсы ЦП.

Nginx принимает трафик, прошедший фильтр ядра, и передаёт его скрипту Lua. Скрипт извлекает заголовок User-Agent и запускает регулярные выражения. Шаблоны включают сигнатуру официальных браузеров, корпоративных сканеров, подписанных API клиентов. При совпадении с жёлтым списком клиенту назначается дополнительная проверка через cookies с HMAC-подписью.

Конфигурация IP фильтра

Файл /etc/killbot/whitelist.csv хранит доверенные подсети. Каждая строка содержит префикс, период активности и метку проекта. Пример: 203.0.113.0/24,2024-06-01:2024-12-31,partner-cdn. Демон killbotd пересчитывает таблицу каждые десять минут без перезапуска ядра. Обновление происходит через атомарный swap-map, поэтому запросы не прерываются.

Для динамического распределениярасширения списка предусмотрен REST endpoint /v1/range/allow. Запрос POST JSON {«cidr»:»198.51.100.0/28″,»ttl»:86400}. Подпись JWT предотвращает подмену. Демон записывает изменения в журнал audit.log с точностью microtime.

Чёрный список собирает адреса из пассивного IPS модулей, краулеров с нелегитимными UA, TOR-узлов. Запись поступает сразу в nftables set drop_net для моментальной реакции.

Инспекция User-Agent

Файл patterns.ru хранит разрешённые сроки. Символ ^Firefox\/.*$ проходит любые десктопные версии Mozilla, версия мобайл добавляется отдельно для Android. Для Chrome используется раздельный шаблон под десктоп и ChromeOS, что исключает ложные блокировки WebView. Допустимые кроссплатформенные решения типа Playwright или Selenium детектируются по атрибуту Headless, при обнаружении активируется капча Invisible v3 с невидимым токеном.

Надстройка killbot-php подключается через composer. В bootstrap сайд-проекта добавляется вызов KillBot:verify($request). Метод возвращает bool. При отрицательном ответе контроллер генерирует HTTP/429 с HTML шаблоном busy.html.

Версия на Go поставляется через import «github.com/killbot/guard». В middleware выполняется guard.Check(ctx). Возврат error перекрывает стандартный хендлер. Логирование идёт через za plogger, поле map.String(«ua», r.User Agent()) выводит строку клиента без урезания.

Сценарий отладки: переменная окружения KILLBOT_DEBUG=1 переключает сервис в режим dry-run. Записи о пропуске или блокировке направляются в syslog facility local5. Графики Grafana строятся на базе Prometheus metrics killbot_action_total по лейблу action={pass,deny,challenge}.

Для Nginx достаточно добавить include /etc/nginx/killbot.conf, в server{} блок. Конфигурация обращается к shared dict lua_shared_dict killbot 10m, где кэшируются статусы IP на двадцать секунд, что снижает нагрузку на backend.

Во избежание ложных срабатываний списки обновлений формируются после анализа Access-лога с помощью logstash. Фильтры grok выделяют поля geoip.country_code, request_time, bytes_sent. Адрес с нетипичным паттерном обращения попадает в sandbox список quar_net до ручного ревю.

Кросс-проверка с внешними сервисами AbuseIPDB и ip info.io запускается через cron один раз в 12 часов. Ответы кэшируются, чтобы выход MapReduce на фрагментированную базу не привёл к избыточной задержке авторизации.

Чтобы усилить гарантию подлинности клиента, KillBot добавляет подпись к модифицированному User-Agent: параметр KB-Sig=sha256-hmac сверяется при каждом обращении API. Подпись формируется фронтэнд-скриптом JavaScript и хранится в localStorage, повторный запрос без подписи переводится в greylist.

При работе за CDN типа Cloudflare оригинальный IP передаётся в заголовке CF-Connecting-IP. Lua-модуль перестраивает логику: первичная проверка идёт по этому заголовку, а таблица ip_src заполняется глобальными диапазонами Cloudflare, исключая двойную фильтрацию.

KillBot поддерживает high availability. Два демона обмениваются статусом через Redis pubsub, ключ killbot.sync. При изменении правила событие поступает на всех ноды, что гарантирует единообразие реакции кластера. Репликация Redis настроена на уровне Sentinel, задержка синхронизации редко превышает сто миллисекунд.

После развёртывания проводится нагрузочный тест wrk -c200 -t8 -d30s. Метрика requests/s снижается лишь на один процент по сравнению с чистым Nginx. Пиковая задержка p99 устойчива на отметке 40 мс.

Соблюдение правовых норм подтверждается аудитом DPI. При составлении чёрного списка исключаются динамические адреса провайдеров из регионов с двойной NAT. Распределённая база MaxMind GeoLite обновляется дважды в неделю через ansible-playbook geo_sync.yml.

Хранение конфигураций выполняется в git-репозитории devsec/killbot-rules. Коммит проходит через CI pipeline: статический анализ rego-политик OPA, unit-тест Lua и интеграция Go-модуля под docker-compose testbed.

Любой rollback сводится к git tag rollback-202406 с fast-forward merge в main. При откате демон перезагружает карты nftables и shared dict без restarts сервисов.

Мониторинг бизнес-метрик объединён с killbot_action_total: корневой дашборд кладёт поверх потоков пользователей показатель conversion_rate. Анализ показывает прямая корреляция между снижением вредоносных сессий и ростом валидных конверсий.

Комплекс KillBot при проверке IP и User-Agent формирует надёжный фильтр трафика без заметного влияния на производительность и обеспечивает управляющим системам прозрачный откат правилам.