Дубовой: Искусственный интеллект - автоматический генератор товаров

Статьи:

• Обновление 2.0. Как быстро создать и заполнить свойства товаров в пару кликов через ИИ? Новая модель с возможностью поиска описания товаров и характеристик в Интернете.

Видео презентации:

• Общая презентация

• Как быстро найти и заполнить значения свойств товаров в пару кликов через ИИ? Заполняем тысячи товаров через модуль Intelgen

• Кейс - получили файл с товарами от поставщика. Быстро заполняем описание, свойства и картинки через модуль "Дубовой: Искусственный интеллект"

Для корректной работы всех функций модуля необходимо иметь актуальный SSL сертификат для вашего домена (в том числе бесплатный Let's Encrypt). Модуль работает только по HTTPS протоколу (работа на локальном сервере невозможна). На стороне сервера необходимо включить PHP CUrl (обычно уже включено на большинстве серверов, в том числе на BitrixVM). Для работы модуля необходимо получить API токены нейросетей, а также других сервисов:

• ChatGPT (генерация текста)
• Google (поиск картинок)
• PhotoRoom (обработка картинок)
• Text.ru (проверка качества текста)

Обратите внимание, доступ к многим нейросетям невозможен с Российских IP адресов, необходимо приобрести прокси или иметь на сервере иностранный IP адрес. Для оплаты доступа к API необходимо использовать международные банковские карты VISA или MasterCard. После установки модуля появится кнопка "Перейти к настройкам" 1) Проверка обязательных настроек На первой вкладке "Генератор товаров" будет выполнена проверка обязательных настроек. Выполните настройку модуля в соответствии с указаниями - если есть какие-либо ошибки устраните. Модуль проверяет следующие настройки:

• есть ли у вас на сервере CUrl
• включены ли в настройках модуля генерация текста и / или генерация картинок
• работает ли ваш сайт по https протоколу
• если включена генерация описания, должен быть задан API ключ OpenAI
• если включен поиск картинок, должны быть заданы API ключ Google и ID поисковой системы
• если включена модификация картинок, должен быть указан API ключ PhotoRoom

2) Получение API ключей Перейдите на вкладку API ключи и введите соответствующие ключи нейросетей (инструкция по получению API ключей представлена на самой вкладке модуля). Обратите внимание, для выполнения запросов к API OpenAI с Российских IP адресов необходим прокси-сервер (HTTPS, приватный, IPv4). После ввода API ключа появится кнопка "Проверить ключ". Если IP адрес вашего сервера Российский или Белорусский помимо API ключа OpenAI введите данные прокси сервера, только после этого нажимайте на кнопку "Проверить ключ". Если все прошло успешно, вы получите сообщение: "Добавлен API ключ, проверка ключа пройдена успешно, сохраните изменения". Если вы не укажете прокси сервер, вы увидите сообщение: "API ключ некорректный либо запрос с IP адреса вашего сервера невозможен (укажите прокси ниже), полный текст ошибки: Country, region, or territory not supported". Если ваш прокси-сервер некорректный, появится сообщение: "Ошибка при проверке API ключа, запрос не проходит, проверьте ваши прокси". При наличии ошибки проверки ключа убедитесь, что прокси IPv4, приватный, имеет тип HTTPS. Возможные пути решения рассмотрены в самом низу в блоке "Типичные проблемы". 3) Настройка модуля Выполните настройку модуля на вкладке "Настройки" Особое внимание обратите на поле "Домен вашего сайта", значение должно соответствовать вашему домену. Включите все функции модуля, которые вам необходимы По умолчанию опция "Включить ручную модерацию" активна. Это значит, что все сгенерированные данные (описание товара, характеристики и фотографии) не будут автоматически сохраняться в товарах. Это позволит не публиковать сразу непроверенные данные на рабочем проекте. После ручной проверки и сохранении изменений, информация обновится. Выключайте модерацию с осторожностью и пониманием дела. В противном случае, при отключении модерации и включении опции модификации картинок, вы можете понести дополнительные затраты на API (поскольку модуль будет обрабатывать все найденные картинки без вашего участия). 4) Выбор инфоблока На вкладке "Генератор товаров" выберите инфоблок, в котором планируется генерация товаров или изменение существующих товаров. Идентификация товаров в инфоблоке выполняется по названию. Если товар найден в инфоблоке по названию информация будет обновляться в этом товаре. В противном случае будет создан новый товар в разделе "Генератор товаров" (раздел будет создан автоматически). Если в инфоблоке несколько товаров с одинаковым названием, то информация будет сохранена в последнем найденном товаре. По мере необходимости мы можем добавить отдельное поле для указания ID конкретного товара. Обратите внимание, если вы используете генератор изображений, в настройках вы должны указать символьный код свойства инфоблока для хранения изображений (по умолчанию MORE_PHOTO, свойство типа "файл", множественное). Свойство должно быть создано в инфоблоке заранее. Модуль не проверяет наличие указанного свойства в инфоблоке и не выводит соответствующие ошибки. 5) Запуск генерации [CENTER]ОБЩИЕ ДАННЫЕ И ГЕНЕРАЦИЯ ТЕКСТА[/CENTER] После выбора инфоблока появится зеленая кнопка "Новая генерация", при клике на которую появятся поля для ввода запроса: - название товара - ключевые слова - особые указания На странице модуля на этой же вкладке "Генератор товаров" описана максимально подробная инструкция по использованию всех данных. Для того чтобы добавить поля для нового товара нужно нажать на кнопку "Добавить строку". [COLOR=#535c69]Для того чтобы получить желаемый результат через нейросети необходимомо максимально конкретизировать ваш запрос. [/COLOR] Ключевые слова [COLOR=#535c69]Параметр, который формирует основной смысл контента. Указывайте все ключевые особенности вашего товара, конкурентные преимущества, а также SEO слова для продвижения.[/COLOR]

Например, для товара "Термос Арктика 101-1000 1 литр серебристый" укажем ключевые слова: арктика, термос, ситечко для заваривания, 2 кружки в комплекте, держит тепло и холод до 40 часов, яркий принт, металлическая ручка, купить в Москве, бесплатная доставка, скидка 50%

Результат:

Термос Арктика 101-1000 - идеальный выбор для любителей активного отдыха и путешествий. Этот стильный и функциональный термос обеспечит длительное сохранение тепла или холода вашего напитка в течение 40 часов благодаря превосходной термоизоляции.

В комплекте с термосом Арктика 101-1000 идут 2 кружки, что делает его идеальным выбором для пикника или отдыха с друзьями. Благодаря ситечку для заваривания, вы сможете приготовить свежий чай или кофе прямо в термосе, наслаждаясь их ароматом и вкусом без чаинок и крупных частиц.

Термос Арктика 101-1000 имеет яркий принт, который подчеркнет вашу индивидуальность и сделает его отличным аксессуаром. Удобная металлическая ручка обеспечивает удобство при транспортировке термоса.

Приобретайте термос Арктика 101-1000 в Москве и получите бесплатную доставку прямо к вашему дому. Также вас ждет приятный бонус - скидка 50% на этот товар до конца августа!

Технические характеристики:

• Объем: 1 литр
• Цвет: серебристый
• Держит тепло и холод до 40 часов
• Ситечко для заваривания в комплекте
• 2 кружки в комплекте
• Металлическая ручка

[COLOR=#535c69]Модуль умеет автоматически создавать свойства товара из характеристик, [/COLOR][COLOR=#535c69]которые генерирует нейросеть, поэтому важно сразу в ключевых словах указать все технические параметры, по которым можно настроить, например, фильтрацию товаров в каталоге. [/COLOR] В настройках модуля вы также можете указать общие ключевые слова, которые будут добавляться в каждый запрос. На вкладке "Настройки" для этого есть поле "База стандартных запросов". Значения по умолчанию: купить в Москве, бесплатная доставка по Москве. Также вы можете добавить общие особые указания, которые автоматически добавятся в каждый запрос. Значение по умолчанию - подготовь описание товара для наших покупателей в интернет-магазине Особые указания [COLOR=#535c69]В этом поле укажите любые параметры или запросы (через запятую), которые помогут нейросети создать наилучший текст для вашей аудитории. Укажите стилистику текста, а также объясните, кто ваша целевая аудитория и какой цели вы хотите добиться. Чем больше контекста вы дадите, тем более актуальным и персонализированным будет ответ.[/COLOR] [COLOR=#535c69]

Например:

• Напиши будто ты автор детских сказок
• Используй узнаваемые примеры
• Объясни как фермеру
• Мы продаем термосы охотникам и рыбакам
• Подготовь описание товара для интернет-магазина термосов
• Напиши в разговорном стиле
• Напиши в деловом стиле

[/COLOR][COLOR=#535c69] После первой генерации контента вы увидите дополнительные настройки, которые помогут скорректировать текст. [/COLOR] Уточнения по запросу [COLOR=#535c69]Этот параметр дает возможность попросить нейросеть скорректировать текущую версию текста. Поменяйте стилистику или добавьте новые данные.[/COLOR] [COLOR=#535c69]Примеры запросов - измени текст будто это детская сказка, сделай текст продающим, убери из текста слово термос, добавь больше характеристик товара [/COLOR] [COLOR=#535c69]Креативность[/COLOR] [COLOR=#535c69]Высокое значение креативности делает текст более разнообразным, творческим и непредсказуемым. Но при этом текст может быть менее точным и последовательным.[/COLOR] [COLOR=#535c69]При низком значении креативности нейросеть генерирует более уверенный, консервативный и предсказуемый текст. [/COLOR] Диапазон слов [COLOR=#535c69]Параметр регулирует словарный запас, который будет использоваться при генерации текста. [/COLOR]

[COLOR=#535c69]Представьте, что нейросеть использует "мешок" полного слов. Параметр определяет, сколько самых вероятных слов она берет из этого "мешка". Если параметр равен 1 используются все слова из "мешка". Это значит, что могут быть выбраны даже слова с очень низкой вероятностью. Если параметр, например, равен 0.5, будут выбраны только 50% самых вероятных слов из "мешка". Это означает, что слова с более низкой вероятностью рассматриваться не будут. [/COLOR] [COLOR=#535c69]Таким образом, чем меньше диапазон слов, тем более предсказуемым и точным будет ответ.[/COLOR]

[COLOR=#535c69]Вы можете регулировать параметры "Креативность" и "Диапазон слов" в настройках модуля для всех запросов сразу, а также после первого запроса. По умолчанию указано среднее значение - 0.5. [/COLOR] [COLOR=#535c69]Меняйте эти параметры только в том случае, если изменение "ключевых слов" и "особых указаний" не приводят к желаемому результату, либо если вы просите нейросеть выполнить конкретные изменения в уже созданном текстe. Обратите внимание, что на вкладке "Настройки" имеется также поле "Команды".  [/COLOR]

[COLOR=#535c69]Не рекомендуем модифицировать текущие команды без понимания дела, поскольку это может негативно повлиять на работу модуля, например, перестанут генерироваться свойства товара на основе характеристик[/COLOR]

В итоге, формируется запрос к нейросети на основе базовых данных, которые мы заранее продумали, а также ваших данных, которые вы задали при генерации товаров и в настройках модуля.  На вкладке "История запросов" вы можете наблюдать все свои запросы к нейросети.  Например, на представленном выше примере, наш запрос будет выглядеть следующим образом:

Придумай описание товара Термос Арктика 101-1000 1 литр серебристый<br>Используй ключевые слова - арктика, термос, ситечко для заваривания, 2 кружки в комплекте, держит тепло и холод до 40 часов, яркий принт, металлическая ручка, купить в Москве, бесплатная доставка, скидка 50%, купить в Москве, бесплатная доставка по Москве<br>Учитывай особые указания - подготовь описание товара для наших покупателей в интернет-магазине<br>Добавь html теги в тексте. Абзац выделяй тегом параграф (<p>), заголовок тегом жирный текст (<b>), маркированный список тегом неупорядоченный список (ul)<br>Пришли технические характеристики этого товара сразу после описания, отделяй названия характеристик и их значения двоеточием. Заключи технические характеристики в неупорядоченный список (<ul>) с элементами <li>. Перед характеристиками используй заголовок 'Технические характеристики' с тегом <b>. У каждой характеристики должно быть название. Например, 'Цвет: белый', где 'Цвет' - название характеристики. Характеристики без названия недопустимы. После характеристик не должно быть описания товара или любого произвольного текста. Не дублируй технические характеристики товара, маркированный список с характеристиками должен быть только один. Технические характеристики должны быть точными и понятными, нельзя использовать общие фразы, например, 'Материал: камень' - верно, 'Материал - прочный' - не верно. <br>Перед описанием не используй никаких заголовков, в том числе заголовок 'Описание товара'

В итоге мы получили товар с нужным описанием, а также с автоматическим созданием свойств и их значений в инфоблоке. Если у вас в настройках включена ручная модерация, то для сохранения описания товара и генерации характеристик необходимо нажать на зеленую кнопку "ручная модерация", вы можете поправить текст при необходимости и сохранить результат. Только после этого описание товара и характеристики обновятся у элемента. [CENTER]ГЕНЕРАЦИЯ ХАРАКТЕРИСТИК ТОВАРА[/CENTER]

Если у вас включена функция генерации свойств инфоблока из характеристик, необходимо знать, что свойства создаются из последнего маркированного списка (тег "ul"). После создания свойств последний маркированный список удаляется из описания товара. Также удаляется последний заголовок в тегах "b" или "h2", в котором хранится текст "Технические характеристики". Описание анонса создается из первого абзаца в тегах "p".

Название свойства и его значение разделяются двоеточием ":". Если значение характеристики отсутствует, то автоматически подставляется значение "да". Давайте рассмотрим пример, модуль сгенерировал следующее описание товара:

<p>Термокружка Bork – идеальный спутник для Ваших путешествий и повседневного использования. Эта стильная и функциональная кружка сохранит напитки горячими или холодными в течение длительного времени. Мы предлагаем <b>купить в Москве</b> с <b>бесплатной доставкой по Москве</b> прямо к Вашей двери. Бросьте вызов обыденности и наслаждайтесь любимыми напитками в любых условиях!</p>

<ul>

  <li>Материал: нержавеющая сталь</li>

  <li>Объем: 500 мл</li>

  <li>Теплоизоляция: двойные стенки</li>

  <li>Цвет: черный</li>

  <li>Вес: 300 г</li>

  <li>Крышка: поворотная с блокировкой от протечек</li>

  <li>Подходит для мытья в посудомоечной машине: да</li>

</ul>

<b>Технические характеристики</b>

<ul>

  <li>Материал: нержавеющая сталь</li>

  <li>Объем: 500 мл</li>

  <li>Теплоизоляция: двойные стенки</li>

  <li>Цвет: черный</li>

  <li>Вес: 300 г</li>

  <li>Крышка: поворотная с блокировкой от протечек</li>

  <li>Подходит для мытья в посудомоечной машине: да</li>

</ul>

Таким образом, в детальном описании товара сохранится:

<p>Термокружка Bork – идеальный спутник для Ваших путешествий и повседневного использования. Эта стильная и функциональная кружка сохранит напитки горячими или холодными в течение длительного времени. Мы предлагаем <b>купить в Москве</b> с <b>бесплатной доставкой по Москве</b> прямо к Вашей двери. Бросьте вызов обыденности и наслаждайтесь любимыми напитками в любых условиях!</p>

<ul>

  <li>Материал: нержавеющая сталь</li>

  <li>Объем: 500 мл</li>

  <li>Теплоизоляция: двойные стенки</li>

  <li>Цвет: черный</li>

  <li>Вес: 300 г</li>

  <li>Крышка: поворотная с блокировкой от протечек</li>

  <li>Подходит для мытья в посудомоечной машине: да</li>

</ul>

Получается из описания удалился заголовок "Технические характеристики" и все характеристики под этим заголовком. Соответственно, модуль создал из эти характеристик свойства в инфоблоке и автоматически заполнил их у созданного товара:

• Материал: нержавеющая сталь
• Объем: 500 мл
• Теплоизоляция: двойные стенки
• Цвет: черный
• Вес: 300 г
• Крышка: поворотная с блокировкой от протечек
• Подходит для мытья в посудомоечной машине: да

Это позволит вам вывести созданные свойства, например, в фильтре товаров.

[CENTER]ГЕНЕРАЦИЯ ИЗОБРАЖЕНИЙ[/CENTER]

В настройках модуля вы можете включить генерацию картинок, указать количество искомых картинок, а также выбрать только картинки с белым фоном.

При включении этой опции выполняется поиск изображений через Google картинки. За 1 запрос можно получить до 10 картинок, если нужно больше, вы можете просто нажать на кнопку "Показать еще". Поиск картинок выполняется только по названию товара, поэтому указанное название должно полностью отражать искомый продукт. На следующем шаге возможна модификация найденных изображений через нейросеть. 

Таким образом, генерация картинок товара выполняется в 2 шага:

1) Поиск картинок товаров в сети

2) Модификация картинок через нейросети

Обратите внимание, мы предоставляем лишь инструмент и не можем нести ответственность за нарушение авторских прав, найденных и используемых вами, изображений. Вы можете воспользоваться функцией модификации найденных изображений через нейросеть, обеспечивая уникальность картинкам. Однако, в любом случае, как разработчики и владельцы интеллектуальной собственности, советуем соблюдать авторские права. Функция будет полезна, например, для быстрого поиска и модификации изображений товара от производителя. 

В настройка модуля вы можете включить опцию "Обработка картинок через нейросеть". Здесь доступно 2 опции:

• базовое удаление фона

• полная модификация

В первом случае у картинки удаляется фон и объект остается на прозрачном фоне. Таким образом, вы можете разместить картинки всех товаров на одном фоне. 

Во втором случае выполняется более глубокая модификация:

• вырезание объекта из фона
• добавление тени у объекта
• замена фона на белый цвет
• квадратный формат изображения
• добавление отступов от объекта
увеличение разрешения до 800х800px

На вкладке "Тарифы" вы можете ознакомиться со стоимостью использования API нейросетей. 

При выполнении запроса на генерацию товара вы увидите найденные картинки. Вы можете удалить ненужные картинки или переместить их местами.

Первая картинка сохраняется в поля "Картинка для анонса" и "Детальная картинка". Все остальные картинки сохраняются в свойстве, которые вы указали в настройках для хранения изображений (по умолчанию MORE_PHOTO). Меняйте местами картинки по своему усмотрению.

[LEFT][LEFT]Также вы можете загрузить новые картинки при клике на кнопку "Найти еще картинки". Если у вас включена ручная модерация нажмите на кнопку "Сохранить картинки" для сохранения данных в товаре. При этом если у вас включена опция модификации картинок, вы увидите модифицированные картинки уже при открытии самого товара. [/LEFT][/LEFT]

[LEFT][CENTER]ПАКЕТНАЯ ОБРАБОТКА ДАННЫХ [/CENTER] Вы можете задавать параметры для генерации товаров как вручную, так и из файла. Для этого рядом с кнопкой "Новая генерация" имеется кнопка "Загрузить из файла". Вы можете подготовить файл в одном из двух форматов: - XLSX - TXT На странице самого модуля вы можете скачать примеры заполненных файлов. При пакетной обработке есть возможность для каждого товара указать ID раздела инфоблока, в котором будет сохраняться новый товар (при отсутствии товара с таким же названием).  После загрузки файла необходимо нажать кнопку "Запуск общей генерации", которая запустит процесс. Запросы выполняются по очереди, по каждом товару отдельно. Между запросами предусмотрен таймаут (по умолчанию 20 секунд). Вы сможете наблюдать на процессом генерации, будет показано сколько товаров уже сгененировано и сколько всего. При ручной модерации вы можете проверить каждый товар и сохранить данные. Поскольку предполагается ручная модерация данных, рекомендуем загружать файлы порционно, поскольку данные из файла хранятся в памяти браузера. Если вам необходимо обработать большой объем товаров, то необходимо реализовать хранение и обработку данных на сервере, а не из памяти браузера (свяжитесь с техподдержкой для такой реализации).[/LEFT] [CENTER] ТИПИЧНЫЕ ОШИБКИ[/CENTER] Не проходит проверку API ключ OpenAI через прокси-сервер

Для диагностики потребуются определенные навыки (не на уровне обычного пользователя сайта, контент-менеджера). Вы можете предоставить информацию вашему хостинг-провайдеру при наличии такой услуги или системному администратору.

В первую очередь убедитесь, что прокси IPv4, приватный, имеет тип HTTPS. Далее через SSH консоль сервера вы также можете убедиться, что прокси-сервер работает и доступен по указанному адресу и порту:

nc -vz 38.170.105.185 8000 где: 38.170.105.185 - IP прокси сервера 8000 - порт вашего прокси сервера (замените на свои значения)

Если соединение выполняется вы увидите сообщение вида: "Connection to 38.170.105.185 8000 port [tcp/*] succeeded!". В противном случае будет сообщение вида: "Connection refused". Во втором случае необходимо обратиться в поддержку хостинг-провайдера или к вашему систему администратору. Также попробуйте использовать парочку других прокси-серверов. Если с вашего сервера выполняется запрос к прокси серверу по SSH корректно, но при проверке ключа все еще отображается сообщение  "Ошибка при проверке API ключа, запрос не проходит, проверьте ваши прокси", необходимо продолжать решение вопроса на уровне вашего сервера. Причин может быть множество. В первую очередь необходимо проверить выполняются ли вообще на вашем сервере запросы через PHP CUrl с указанием прокси сервера. Для этого создайте любую PHP страницу на вашем сайте и вставьте скрипт, который должен вернуть IP адрес: [CODE]$proxy_ip = "ip:port"; $proxy_pass = "login:pass"; $url = 'https://httpbin.org/ip'; $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $url); curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); curl_setopt($curl, CURLOPT_HTTPHEADER, [ 'Content-Type: application/json' ]); curl_setopt($curl, CURLOPT_PROXY, $proxy_ip); curl_setopt($curl, CURLOPT_PROXYUSERPWD, $proxy_pass); curl_setopt($curl, CURLOPT_PROXYTYPE, CURLPROXY_HTTP); curl_setopt($curl, CURLOPT_VERBOSE, true); $response = curl_exec($curl); $httpCode = curl_getinfo($curl, CURLINFO_HTTP_CODE); $curlError = curl_error($curl); curl_close($curl); echo "HTTP Code: " . $httpCode . "\n"; echo "Response: " . $response . "\n"; echo "cURL Error: " . $curlError . "\n"; [/CODE] Замените значения $proxy_ip и $proxy_pass на ваши данные прокси-сервера Скрипт должен вернуть ваш IP адрес или ошибку CUrl. При наличии ошибки CUrl предоставьте эту информацию вашему хостинг-провайдеру или системному администратору.

Частный случай. При последнем тестировании модуля на Timeweb (виртуальный хостинг для 1С Битрикс, тариф Eterno) совместно с поддержкой мы никак не могли решить эту проблему. Вопрос решился сменой версии PHP с 8.4 до 8.1 и обратно до 8.4. По неведомой нам причине запросы через PHP Curl с прокси-сервером начали выполняться корректно.

Альтернативным решением может быть использование иностранного IP адреса на вашем сервере, в данном случае использовать прокси для запросов к OpenAI вообще не требуется. Просто укажите API ключ.