«Универсальный импорт» от разработчика «АКРИТ Веб студия »

Для работы модуля необходимо наличие на сервере библиотек XMLReader и Zip.

После установки модуля, необходимо настроить профили импорта для каждого варианта импортируемых вами файлов.

Если, например, вы наполняете контентные разделы, такие как новости или статьи, у вас будет свой профиль для каждого раздела. Если вам необходимо наполнять каталог, то профилей может быть как один, так и три: профиль для загрузки основных товаров, профиль для загрузки торговых предложений и, возможно, отдельный профиль для загрузки структуры товарных категорий (хотя структуру можно формировать и при загрузке товаров). Также отдельные профили будут у разных источников импорта.

Настройка профиля

Профиль настраивается в разделе АКРИТ / Универсальный импорт / Список профилей.

Профиль состоит из нескольких вкладок. Вкладки настраиваются последовательно, одна за другой. После каждого перехода между вкладками информация о профиле сохраняется. Таким образом, новый профиль сохраняется уже после настройки первой вкладки, хотя запустить его можно будет только после настройки всех вкладок.

На вкладке "Базовые данные" задаются название профиля, источник данных и назначение загрузки данных. Не заполнив эти ключевые поля данной вкладки, не получится перейти к последующим вкладкам. В качестве источника может выступать как файл на текущем сервере сайта, так и на удалённом. В качестве назначения указывается  определённый инфоблок.

На вкладке "Привязка полей" настраивается соответствие между полями источника данных и полями инфоблока, а так же дополнительные параметры, касающиеся связки данных между источником и назначением. В блоке "Соответствие данных" слева показаны все доступные поля, взятые из источника импорта. Справа от них необходимо выбрать тот параметр элемента инфоблока, в который данные из поля источника будет попадать. У тех полей источника, данные которых импортировать не нужно, справа просто остаётся вариант "Не импортировать". Изображения в источнике импорта указываются в виде названий файлов. Эти названия будут искаться по адресу, указанному в поле "Путь к  изображениям".

Вкладка "Обработка данных" содержит дополнительные опции, позволяющие настроить логику выгрузки. Например, если нужно, чтобы в каталоге были только те товары, что есть в прайсе, нужно для поля "Элементы, которых нет в файле" выбрать вариант "Удалить".

Во вкладке "Расписание и запуск" настраиваются параметры регулярного запуска данного профиля. Например, можно настроить на автоматический запуск импорта раз в сутки (подразумевается, что за это время источник импорта может обновить свои данные и тогда на сайт будет загружена свежая информация). Технически регулярный запуск организован через механизм, так называемых агентов, которые по-умолчанию запускаются, когда на сайт заходит какой-либо посетитель. Для загрузки больших файлов продуктивнее настроить запуск агентов через серверную утилиту cron. Это сделает более стабильным и точным в плане времени сам запуск импорта, а также избавит посетителей от неудобств, связанных с запуском импорта во время открытия страницы сайта.

Также на этой же вкладке можно сразу запустить настроенный профиль и проверить его работу. После запуска начнёт отображаться прогресс загрузки (либо в процентах, либо в количественном варианте, если общий объём загружаемых данных заведомо получить невозможно).

Подробнее о настройке профилей импорта читайте здесь:
https://www.acrit-studio.ru/technical-support/nastroyka-modulya-universalnyy-import/obshchie-nastroy...

Настройка частных форматов

Настройка импорта из CSV-формата:
https://www.acrit-studio.ru/technical-support/nastroyka-modulya-universalnyy-import/nastroyka-import...

Настройка импорта из YML-формата:
https://www.acrit-studio.ru/technical-support/nastroyka-modulya-universalnyy-import/nastroyka-import...

Настройка импорта из XML-формата:
https://www.acrit-studio.ru/technical-support/nastroyka-modulya-universalnyy-import/nastroyka-import...

Настройка импорта из XLSX-файлов:
https://www.acrit-studio.ru/technical-support/nastroyka-modulya-universalnyy-import/nastroyka-import...

Настройка импорта из XML с данными инфоблока:
https://www.acrit-studio.ru/technical-support/nastroyka-modulya-universalnyy-import/nastroyka-import...

Настройка импорта из сервиса ads-api.ru:
https://www.acrit-studio.ru/technical-support/nastroyka-modulya-universalnyy-import/nastroyka-import...

Инструкция по созданию собственных интеграций на базе модуля импорта:
https://www.acrit-studio.ru/technical-support/nastroyka-modulya-universalnyy-import/sozdanie-sobstve...


Если у вас возникнут сложности при установке или вы встретите ошибку, воспользуйтесь страницей "Тех. поддержка", находящейся рядом с пунктом "Список профилей" в административном меню. Там вы сможете найти дополнительную справочную информацию, а так же отправить запрос в службу тех. поддержки модуля.

- Разработчикам: добавлено событие OnFindItem(\Acrit\Import\Import $profile, array $arFilter), позволяющее написать свой обработчик поиска элемента по фильтру (Чтобы использовать стандартный нужно вернуть false; если вернуть 0 - значит поиск завершился неудачей)
- Незначительные интерфейсные изменения- Незначительные улучшения- Ускорено создание секций за счет отложенного пересчета вложенности
- Разработчикам: добавлено событие OnPrepareSourceError(\Acrit\Import\Import $profile, \Throwable $error) позволяющее выполнить операции в момент ошибки или недоступности источника импорта, заданного через URL
- Улучшена система логирования в модуле: добавлены подробности в письма администратору
- Разработчикам: проработана система событий в модуле https://www.acrit-studio.ru/~import-events- Разработчикам - добавлены события:
OnStartProcessRowInSaveIBData($profile, &$arInputRow) - вызывается после чтения элемента из файла и до обработки модулем
OnBeforeFindExistsItemInSaveIBData($profile, &$arInputRow, &$arFilter) - вызывается перед попыткой найти существующий элемент в базе данных- Добавлена настройка "Сколько версий файлов импорта хранить на сервере (заданных через URL, в шт.)" для хранения истории и отладки внешних источников импорта
- Улучшена интеграция с acrit.core
- Незначительные интерфейсные улучшения- По умолчанию эталонным списком полей для импорта считались поля первого элемента. Теперь для профилей импорта xml, yml и выгрузка инфоблока добавлена настройка "Собрать уникальные параметры со всех элементов выгрузки", позволяющая импортировать уникальный набор параметров со всех элементов выгрузки (у первого элемента могут быть не все поля).
- Улучшения в интерфейсе: добавлена кнопка "применить", позволяющая сохранять данные шага импорта без перехода на следующий- недостающие значения теперь автоматически добавляются в свойства типа "список" и "справочник"
- другие незначительные улучшения- незначительные улучшения- параметры генерации символьного кода для разделов и элементов теперь берутся из настроек инфоблока
- теперь если у товара в выгрузке несколько штрих-кодов, то берется первый- незначительные улучшения- При импорте yml-файлов теперь можно создавать иерархию разделов при включенном модификаторе "Создавать вложенные разделы"
- незначительные интерфейсные улучшения- удалена копии ненужных библиотек
- Разработчикам: добавлены события OnBeforeImportProfileRun - вызывается перед запуском профиля импорта, OnBeforeImportProfileRunStep - вызывается перед запуском каждого шага многошагового импорта- улучшения программного кода- незначительные интерфейсные улучшения
- улучшения программного кода- незначительные интерфейсные улучшения- незначительные интерфейсные улучшения
- вернули возможность обновлять элементы по ID-элемента инфоблока- добавлены подсказки по настройкам модуля и другие незначительные интерфейсные улучшения
- обновлена страница тех.поддержки в настройках модуля- значительно ускорена работа интерфейса модуля
- модуль теперь поддерживает URL-источники загрузки, закрытые по логину и паролю (Базовая схема HTTP-аутентификации)- поле товара "доступное кол-во" теперь не обновляется, если не передано из файла импорта- Улучшена обработка нескольких тегов YML-файла при их записи в множественное свойство (напр. несколько тегов picture в свойство MORE_PHOTO)
- Разработчикам: добавлено событие OnBeforeProcessRowInSaveIBData, позволяющее изменить массив с "сырыми" данными из файла импорта в момент перед их разбором и записью в элемент инфоблока, подробно в заметке:
https://www.acrit-studio.ru/~84r-OnBeforeProcessRowInSaveIBData- Существенно ускорена работа импорта YML-файлов
- Другие незначительные исправления- Добавлена новая настройка профилей, позволяющая вернуть у импортируемых товаров QUANTITY_TRACE и CAN_BUY_ZERO по умолчанию из настроек торгового каталога
- Оптимизация: для профилей с источником "ссылка на сторонний сервер" импорт через крон или агента теперь происходит только если размер внешнего файла поменялся- незначительные исправления и улучшения в программном коде
- теперь фасетный индекс не отключается при ручном запуске импорта, если отключена настройка "Генерировать фасетный индекс после импорта"- незначительные исправления- улучшена совместимость с php8- ускорена операция ручного запуска
- добавлены настройки производительности модуля https://disk.yandex.ru/i/U0R2oifjQBiJNA
- улучшена обработка ошибок разбора модификатора поля-формулы
- теперь модуль умеет импортировать свойства товаров с типом "привязка к элементам (E)"- ускорена операция записи в инфоблок- в настройки добавлены поля товаров торговых каталогов: вес, ширина, длина, высота, штрихкод, закупочная цена и валюта
- незначительные интерфейсные улучшения- улучшена совместимость с php8
- незначительные интерфейсные улучшения- незначительные улучшения- незначительные интерфейсные изменения
- незначительные улучшения в коде- улучшена совместимость с php8- улучшена совместимость с php8Исправления для импорта из Excel.- незначительные интерфейсные изменения
- улучшения "под капотом"Добавлен импорт товаров из маркетплейса OZON (Озон).Добавлена возможность автоматически создавать недостающие свойства инфоблока в процессе импорта.- валюта у цены при импорте теперь выставляется из настроек модуля Интернет-магазин (настройка "Валюта по-умолчанию")Добавлена возможность импортировать значения из нескольких полей источника в одно множественное свойство инфоблока.Исправлены ошибки в формате XLSX.Доработан импорт именованных параметров в YML-файлах.Различные исправления.В блок "Обрабатывать изображения" параметров полей добавлена опция "Заменить расширение файла", которая позволяет заменить расширение загружаемого из источника файла на нужное (например, расширение .php заменить на .jpg).В интерфейс настройки добавлены ссылки на документацию по модулю.Исправления в загрузке CSV-файлов в кодировке Windows-1251.Для импорта из ads-api.ru добавлен фильтр, аналогичный фильтру в личном кабинете сервиса.Важная оптимизация процесса ручного импорта и фонового импорта через агентов.- В профиле выводится команда для запуска профиля через CRON.
- Добавлены подсказки и предупреждения.Добавлена возможность применять модификации к значению-идентификатору, по которому происходит поиск импортируемых элементов в базе.- Повышена гибкость парсинга XML-формата: теперь элементы для парсинга выбираются не через родительский элемент, а указываются непосредственно (т.е. выбираются на уровень ниже родительского). После обновления необходимо проверить все ваши профили XML-формата, при необходимости поправить их и обязательно пересохранить.
- На втором шаге изменение базовых опций (находящихся над настройками полей) больше не будет приводить к перетиранию настроек полей.Улучшена работа с импортом в режиме консоли. Ряд исправлений и улучшений.Для импорта из YML исправлена возможность создания разделов из привязанных категорий.Небольшие исправления.Исправление проблем с кодировкой для импорта из XML.Исправления, касающиеся создания новых товаров и фонового запуска на агентах без крона.Импорт объявлений из ads-api.ru добавлен в список штатных вариантов импорта. Различные исправления и улучшения интерфейса настройки импорта.- В настройках модуля добавлена возможность ускорить импорт за счет отключения индексирования элементов и разделов модулем поиска https://yadi.sk/i/a2OcUxVsCE1HKg Индексирование можно выполнить позже вручную
- Немного ускорен процесс импорта
- Исправлена ошибка плавающего старта начала импорта по расписанию
- Незначительные интерфейсные исправления при работе в cp1251CSV: Исправлена ошибка изменения разделителя полей.- ускорено открытие административных страниц модуля
- незначительные интерфейсные измененияНезначительные исправления.В лог ошибок импорта добавлен вывод идентификатора позиции, содержащей ошибку.- Добавлена возможность запускать автоматическую генерацию фасетного индекса по окончании импорта. В настройки модуля добавлена опция "Генерировать фасетный индекс после импорта". - Добавлены события окончания импорта (OnAfterAcritImportProcess) и окончания генерация фасета (OnAfterAcritImportIndexing). - В настройки модуля добавлена опция "Сайт работает по HTTPS". Оптимизирована работа фонового импорта для сайтов на HTTPS.Добавлено предупреждение о необходимости обновления фасетного индекса при ручном импорте.Улучшена стабильность регулярного фонового запуска импорта.Добавлена функция уведомления о наличии обновлений модуля.Доработки по работе с торговыми предложениями.Значительно улучшена гибкость настройки загрузки из XML-файлов: добавлена привязка к значениям выбранных атрибутов узлов, помимо привязки к порядку следования узлов.Добавлена опция "Загружать, если не заполнено" для данных отдельного поля. Добавлена опция "Пропускать существующие элементы" для загрузки исключительно товаров, отсутствующих в каталоге.Переработана страница с расписанием фонового импорта и ручным запуском.Исправлены проблемы с запуском агентов модуля импорта через cron. Улучена функция скачивания изображений со сторонних серверов - теперь обходятся случаи с редиректом при выдаче изображений сервером.Опцию "Разделитель для множественных значений" теперь можно настроить индивидуально для отдельных полей во всех форматах.Доработки в механизме логирования. Небольшие исправления в функции создания иерархии разделов.Добавлена возможность создавать иерархию вложенных разделов из множественных полей.Для формата XLSX добавлена опция разделителя множественных полей. Для XLSX и CSV добавлена опция игнорирования первой строки.Исправлена небольшая ошибка при создании новых разделов.Возможность для каждого товара создавать произвольное количество новых разделов через множественные поля.Исправление ошибки для XLSX-формата.Добавлена возможность импортировать файлы со стороннего сервера по прямой ссылке. Для импорта из CSV теперь можно указать свой разделитель множественных значений.Добавлена форма обратной связи.Формат XLSX: Добавлена возможность получения данных из формул.- Добавлена возможность распределение прав доступа для групп пользователей. - Дополнены полезными опциями страницы тех. поддержки и настроек. - Исправлены ошибки при работе импорта из XLSX-файлов.- Добавлен тип импорта - каталог в формате Яндекс.Маркета (YML). Расширился список параметров и обработчиков полей источника данных: опции "HTML-сущности в символы", "Вырезать HTML-теги" и "Вырезать спецсимволы", различные варианты округления значений, возможность изменить значение поля с помощью заданной формулы, опции обработки изображений при загрузке, возможность задать условие загрузки позиций (опция "Исключающие значения" и опция "Обязательные значения").
- Добавлен импорт объявлений с avito.ru, irr.ru, realty.yandex.ru, cian.ru, sob.ru, youla.io, n1.ru, egent.ru, mirkvartir.ru, moyareklama.ru через API http://ads-api.ru/apiДобавлена опция "Раздел по-умолчанию для новых позиций". Добавлена опция "Применить настройки инфоблока для обработки изображений".Добавлен тип импорта - электронные таблицы Excel (XLSX). Добавлена возможность создания пользовательских типов импорта (например, для импорта через REST API).Добавлена новый тип импорта - XML с данными инфоблока. Исправлены найденные ошибки.