«Защита от парсинга» - это единый модуль для борьбы со скрейпингом, агрессивными ботами и автоматическим съёмом контента и цен с вашего сайта на 1С-Битрикс.
Парсеры воруют контент, нагружают сервер и сливают вашу базу товаров и цен конкурентам. Модуль выстраивает многоуровневую защиту на стороне PHP и объединяет в одном месте всё, что обычно приходится собирать из разрозненных решений: ограничение частоты запросов, поведенческий анализ, проверку браузера, гео- и IP-фильтрацию, защиту контента и API, интеграцию с Cloudflare и систему уведомлений.
Модуль рассчитан на боевое использование: безопасные значения по умолчанию, мягкие режимы для обкатки без риска заблокировать живых посетителей, корректная работа в кластере и за балансировщиком, минимальное влияние на кэширование и индексацию поисковиками.
Основные возможности
Ограничение запросов (Rate Limiting)
- Лимит запросов по IP за период, хранилище счётчиков - Redis / Memcache / файлы (атомарный подсчёт, корректно в кластере).
- При превышении порога - CAPTCHA: стандартная Bitrix, Google reCAPTCHA v3 или Yandex SmartCaptcha.
Обнаружение и блокировка ботов
- 40+ паттернов вредоносных User-Agent, обнаружение headless-браузеров.
- Threat-scoring 0-100: блокировка по совокупности признаков, а не по одному слабому индикатору (меньше ложных срабатываний).
- Проверка «хороших» ботов через forward-confirmed reverse DNS (Google, Bing, Yandex, Apple, Baidu, DuckDuckGo, Facebook) - подделку Googlebot не пропустит.
- Мягкий режим (только лог) для безопасной обкатки.
- Настраиваемые белые/чёрные списки User-Agent.
JS-проверка браузера и поведенческий анализ
- Фрикционная JS-проверка отсекает примитивных парсеров и автоматизированные браузеры, проверенные поисковики и API не затрагиваются.
- Поведенческий сигнал: реальное взаимодействие пользователя подтверждается подписанной cookie, снижая ложные срабатывания.
- Анализ «холодных» прямых заходов (режимы: выкл / мониторинг / блокировка).
IP-блокировка
- Белый и чёрный списки: отдельные IP, подсети CIDR, маски, IPv6.
- Автоматическая блокировка IP после N нарушений в час (кластер-консистентно).
Гео-блокировка
- Блокировка по странам (чёрный/белый список).
- Определение страны по цепочке источников: заголовок Cloudflare ? заголовки веб-сервера (nginx/apache GeoIP и GeoIP2) ? штатный GeoIP 1С-Битрикс (SypexGeo, MaxMind и др.) ? «Bitrix\Sale\Location\GeoIp» ? PHP-расширение geoip ? база MaxMind. Достаточно любого одного источника.
Защита контента
- 3 уровня защиты, блокировка копирования и контекстного меню, отключаемая плашка «Копирование запрещено».
- Honeypot-ловушки для форм, обфускация e-mail и телефонов.
Защита API
- Ограничение частоты, проверка токена («X-API-Token»), политика CORS, защита по путям.
Интеграция с WAF
- Синхронизация правил блокировки IP с Cloudflare.
Уведомления
- E-mail, Telegram, Webhook - с порогами, защитой от спама (cooldown) и повторными попытками.
Мониторинг и логи
- Дашборд с графиками по часам/дням, топ стран, IP и событий, фильтрами.
- Экспорт в CSV и Fail2Ban, логирование в файлы и/или БД, статистика «люди и боты».
Многосайтовость
- Настройки поведения задаются отдельно для каждого сайта с откатом на глобальные значения. Инфраструктура (ключи капчи, IP-списки, Redis/WAF/уведомления) - общая.
Преимущества
- Всё в одном модуле - не нужно собирать защиту из нескольких решений.
- Безопасные значения по умолчанию и мягкие режимы - можно внедрять без риска заблокировать живых клиентов.
- Не мешает SEO - проверенные поисковики проходят все проверки, индексация не страдает.
- Готов к нагрузке и кластеру - общие счётчики в Redis/Memcache, защита от спуфинга «X-Forwarded-For», «ленивые» сессии не ломают композитный кэш.
- Работает с тем, что уже настроено - подхватывает штатный GeoIP Битрикса, Cloudflare, существующую инфраструктуру.
Интерфейсы в админке
Раздел «Сервисы ? Защита от парсинга».
Раздел «Настройки ? Настройки продукта ? Настройки модулей ? Защита от парсинга».
Неправильная настройка может привести к потере доступа к сайту
Модуль предназначен для блокировки нежелательного трафика. Слишком агрессивные или ошибочные настройки могут заблокировать реальных посетителей, а в отдельных случаях - затруднить доступ к самому сайту. Примеры рискованных конфигураций:
- Слишком низкий лимит запросов (rate limit) - блокирует обычных пользователей и легитимные интеграции;
- Гео-блокировка в режиме «белый список» с не теми странами или с включённой блокировкой при неопределённой стране - может закрыть сайт для всех посетителей;
- Добавление в чёрный список IP/подсетей, через которые ходят ваши клиенты, CDN, платёжные шлюзы или интеграции;
- Включение жёстких режимов (блокировка ботов, блокировка прямых заходов) без предварительной обкатки;
- Ошибки в списке «доверенных прокси» за балансировщиком, из-за чего весь трафик считается идущим с одного IP.
Важно: по умолчанию запросы из CLI/cron и от авторизованных администраторов не проверяются - это снижает риск полной блокировки доступа к административной панели. Тем не менее публичная часть сайта при ошибочных правилах может стать недоступной для посетителей, а неверная серверная конфигурация (прокси, кэш, права доступа) - усугубить последствия.
Обязательно делайте резервные копии
Перед установкой модуля, а также перед любыми изменениями его настроек обязательно создавайте резервную копию сайта и базы данных.
Резервная копия должна позволять полностью восстановить:
- Файлы сайта (включая каталог модуля и настройки);
- Базу данных (таблицы настроек «b_option», журналы модуля и т.д.).
Убедитесь, что у вас есть проверенный способ восстановления и доступ к серверу/хостингу в обход сайта (SSH, файловый менеджер хостинга, панель управления) - на случай, если потребуется быстро отключить модуль или откатить изменения.
Рекомендации по безопасному внедрению
1. Сделайте резервную копию.
2. Включайте механизмы постепенно, начиная с мягких режимов: блокировку ботов - в режиме «только лог», анализ прямых заходов - в режиме «мониторинг».
3. Несколько дней наблюдайте за Дашбордом: оцените, кого модуль заблокировал бы, и нет ли ложных срабатываний.
4. Только убедившись в корректности, переключайте механизмы в режим блокировки.
5. Заранее внесите в белые списки доверенные IP (офис, мониторинг, интеграции, платёжные шлюзы) и нужные подсети.
6. За балансировщиком корректно заполните «Доверенные прокси».
7. Знайте, как быстро отключить модуль: глобальный выключатель в настройках или удаление/переименование каталога модуля на сервере.
Экстренное отключение
Если сайт стал недоступен из-за настроек модуля:
- Отключите модуль глобальным переключателем в настройках (если доступ в админку есть);
- Либо на сервере переименуйте/удалите каталог модуля и при необходимости снимите регистрацию модуля / восстановите сайт из резервной копии.
Приобретенные программные продукты поставляются в виде цифро-буквенного кода. Используя код, вы сможете установить продукт на хостинг. Код приходит на указанный в заказе адрес электронной почты.
Время от момента получения оплаты до момента отправки кода составляет несколько часов. В течение этого периода выполняет оформление приобретенной продукции.
Обращаем ваше внимание, что дополнительная задержка может быть вызвана некорректно указанным адресом почты. Просим вас внимательно проверять ваши персональные данные при оформлении заказа. Мы гарантируем, что конфиденциальность ваших данных будет соблюдена.
Что требуется для установки:
- CSM «1С-Битрикс».
- Домен.
- Хостинг.
Мы предлагаем приобрести все необходимое в готовом наборе на нашем сайте. Это позволит ускорить дальнейшую установку.
Бонус: бесплатная базовая установка!
Чтобы получить подробную информацию о сервисе, вы можете ознакомиться с официальными реестрами Visa International и MasterCard Worldwide. Заполнив и подтвердив заказ, вы будете переадресованы на сайт сервиса Яндекс.Деньги. Там вы сможете оплатить заказ, воспользовавшись картой Visa, Mastercard или Maestro или кошельком Яндекс.Деньги.
Подробнее
1. Установите модуль через стандартный менеджер модулей.
(Откройте «Маркетплейс» ? «Установленные решения», выберите «Защита от парсинга» и нажмите «Установить»)
2. После установки в разделе «Сервисы» появится страница «Защита от парсинга».
(Также доступен путь «Настройки ? Настройки продукта ? Настройки модулей ? Защита от парсинга»)
Первичная настройка
1. Откройте «Сервисы ? Защита от парсинга ? Настройки» (или «Marketplace ? Установленные решения ? Защита от парсинга ? Настройки»).
2. Включите нужные механизмы защиты. Рекомендуемый порядок внедрения:
- Сначала держите блокировку ботов в режиме «только лог», а анализ прямых заходов - в режиме «мониторинг»;
- Откройте Дашборд (Сервисы ? Защита от парсинга ? Панель мониторинга) и оцените, кого модуль поймал бы;
- Убедившись в отсутствии ложных срабатываний, переключите механизмы в режим блокировки.
3. За балансировщиком / reverse-proxy обязательно заполните поле «Доверенные прокси» (вкладка «Общие») - укажите IP или подсеть прокси (поддерживается CIDR/IPv6). Без этого заголовки «X Forwarded-For» игнорируются (защита от спуфинга), и все клиенты будут видны под одним IP прокси.
4. Для кластера / высокой нагрузки укажите параметры Redis или Memcache (вкладка «Хранилище») - счётчики и авто-блокировка станут общими для всех нод. Текущий тип хранилища показан там же.
5. Многосайтовость: настройки поведения задаются отдельно для каждого сайта через селектор сайта вверху страницы настроек, с откатом на значения «Все сайты». Общими остаются ключи капчи, IP списки и инфраструктура.
Проверка работоспособности
- В разделе Сервисы появился пункт «Защита от парсинга» с подпунктами «Настройки» и «Панель мониторинга».
- На странице Настройки вкладка «Хранилище» показывает активный тип хранилища (Redis / Memcache / File).
- При включённом логировании события начинают появляться на Дашборде (вкладка статистики и список последних событий).
- Кнопки «Проверить» на вкладке «Уведомления» отправляют тестовое сообщение выбранным способом (E-mail / Telegram / Webhook).
-
Запуск на хостинге
-
Индивидуальный дизайн
-
Наполнение контентом
-
Настройка
-
Адаптация под сферу деятельности
-
Поисковая оптимизация
Это заранее созданный сайт или демоверсия интернет-магазина с лид-формами и кнопками, который вы можете оплатить и использовать для своего проекта.
В будущем можно корректировать ресурс.
На стоимость влияют дизайн, используемые цветовые схемы, количество страниц, демоконтент, структура меню и т.д.
Также для разработки интернет-магазина нужны система управления контентом на платформе «Битрикс», домен и хостинг. Они тоже влияют на итоговую стоимость.
С перечнем подходящих редакций можно ознакомиться на странице любого решения. По набору функций редакции делятся на две категории:
- Редакции для создания лендинговых и корпоративных сайтов;
- Редакции для разработки интернет-магазинов.
Одностраничные сайты и корпоративные порталы разрабатывают на базе редакций «Старт» и «Стандарт». Последняя имеет модуль проактивной защиты, в который входят:
- антивирус;
- панель безопасности;
- инструмент для аудиторской проверки;
- система одноразовых паролей;
- журнал вторжений;
- защита от хакерских атак и др.
Модуль корзины в эти редакции не входит, что затрудняет создание интернет-магазина. Этот модуль включен в редакции «Малый бизнес» и «Бизнес», которые поддерживают интеграцию с 1С.
Редакция «Бизнес» понадобится, если:
- Цена на один и тот же товар различна для нескольких групп покупателей.
- Вы запускаете программы лояльности, системы бонусов и скидок.
- Вы продаете наборы товаров.
- В магазине продаются комплекты из основной позиции и необязательных аксессуаров.
- Необходимо отображать информацию о наличии товара в офлайн-магазинах или на складах.
Если вы не нуждаетесь в таких возможностях, остановитесь на «Малом бизнесе». В будущем можно перейти на редакцию «Бизнес».
Да, мы можем интегрировать сайт с «Битрикс». Мы сделаем это бесплатно для лицензий категории «Малый бизнес» и выше.
Для этого нам нужны ссылки на ваш хостинг и доступы к нему для авторизации, домен, лицензионный ключ «Битрикс», купон для установки.
- После покупки лицензионного ключа вам на почту придет код: 23 символа, которые состоят из букв латинского алфавита и цифр в формате XXX-XX-XXXXXXXXXXXXXXXX. Зарегистрируйте эти данные на платформе «Битрикс».
- Скачайте файл для установки.
- Авторизуйтесь на сайте вашего хостинг-провайдера.
- Зайдите в файловый менеджер. Здесь можно загрузить файл в папку хостинга.
- Создайте базу данных.
- Перейдите на тестовый домен формата имя-сайта/bitrixsetup.php.
- Выберите ту версию, которая соответствует вашему лицензионному ключу.
- Скопируйте 23-значный код из почты и вставьте его в поле «Лицензионный ключ», загрузите его.
- Нажмите кнопку «Далее», когда появится окно установки.
- Примите соглашение и нажмите «Далее».
- Выберите пункт ««Я хочу зарегистрировать свою версию продукта» и заполните обязательные поля. Если вы хотите создать сайт на иностранном языке, также отметьте пункт «Установить в кодировке UTF-8» и переходите далее.
- На экране предварительной проверки убедитесь, что все показатели горят зеленым. Если некоторые показатели красные, значит, они не соответствуют требованиям. Чтобы их исправить, обратитесь в техподдержку хостинговой компании.
- Заполните всю необходимую информацию на этапе создания базы данных. Она создается на хостинге.
- После заполнения всех обязательных полей создайте администратора сайта.
- Установите шаблон.
- Установите на хостинг систему «Битрикс».
- Авторизуйтесь как администратор по ссылке имя-сайта/bitrix.
- Перейдите в Marketplace — административная панель — обновление решений — активация купона.
- Чтобы активировать купон, введите 25 символов.
- Когда увидите в «Списке обновлений» ваш сайт, выберите его и загрузите.
- Зайдите в «Установку обновлений» и установите сайт.
- Выберите ваш интернет-магазин и загрузите его.
- Перейдите в настройки и установите ваш сайт в разделе «список мастеров».
- После того как появится мастер установки, отметьте пункт «Существующий» и нажмите «Далее».
- На экране «Выбор шаблона» кликните «Далее».
- Выберите цвета и нажмите «Далее».
- Добавьте на сайт актуальную информацию и кликните «Установить».
- На появившемся экране «Завершение настройки» кликните «Перейти на сайт».
Наличие хостинга не всегда влияет на стоимость. Опыт показывает, что иногда параметры хостинга недостаточны для правильной работы сайта и запуска рекламной кампании. Если вы пользуетесь хостингами от провайдеров Timeweb, Ru-Center или Rusonyx, то стоимость будет снижена на ту сумму, которую вы заплатили за хостинг. В остальных случаях обращайтесь к администратору, чтобы обсудить детали.
Если у вас небольшой проект, то мы можем предложить вам простой тариф, чтобы оптимизировать затраты.
В течение года вам доступны следующие услуги:
Для всех продуктов:
- обновление;
- получение новых версий;
- приоритет в получении технической поддержки (ответ в течение 6 рабочих часов);
- резервное копирование;
- использование Маркетплейса;
- доступ к конструктору «Сайты24».
Для «1С-Битрикс: Управления сайтом»:
- обновление системы безопасности;
- доступ к инспектору сайтов;
- возможность ускорять загрузку сайта CDN;
- наличие мобильного приложения администратора (для редакций «Малый бизнес» и «Бизнес»);
- автоматическое формирование бюджета для контекстной рекламы в Яндекс.Директ;
- доступ к функции BigData: Персонализация;
- защита от хакерских атак (DDoS атак).
Для «1С-Битрикс24»
- IP-телефония;
- Автоматическое заполнение данных по ИНН;
- Работа открытых линий:
- настройка и неограниченное создание Открытых линий;
- полный доступ к онлайн-чату;
- каналы коммуникаций исчезают из виджета CRM;
- сообщения на портал из настроенных каналов продолжают приходить;
- настроить каналы нельзя — будет выдаваться ошибка (кроме Онлайн-чата);
- нельзя ответить на сообщения, так как они не приходят.
Если вы не продлите лицензию на следующий год, сайт продолжит работать.
Теперь подробнее остановимся на юридической стороне лицензирования.
Вы оплачиваете право использования программы и получаете 2 лицензии:
- Стандартная. Позволяет пользоваться продуктом, получать обновления, устанавливать решения из Маркетплейса. Также вы получите приоритет при получении технической поддержки. Это относится к блоку «для всех продуктов», описанному выше в этом вопросе. Такая лицензия действует 1 год, после чего ее нужно продлить.
- Ограниченная. Дает право только на использование продукта. В данном случае нет доступа к обновлениям, Маркетплейсу, отсутствует приоритетность при обращении в техподдержку.
Ограниченная лицензия выдается на основании EULA (лицензионного соглашения с конечным пользователем) и не считается в бухгалтерском учете. Ее цель — подтвердить, что вы по праву пользуетесь программой после истечения срока действия основной лицензии.
Ограниченная лицензия действует столько же, сколько и исключительное право на программный продукт (ст. 1281 ГК РФ).
Вы получите продукт по почте в электронном виде. После подтверждения оплаты вам на e-mail придет лицензионный ключ, инструкция по его активации и активации дистрибутива или же купон и инструкция по активации купона.
Мы не доставляем продукты «1С-Битрикс» в физическом виде.