"Формализатор" - новый компонент Яндекс.Маркета

Яндекс.Маркет сообщил о том, что его арсенал по извлечению знаний пополнился новым компонентом, получившим название "Формализатор".

Эта технология предназначена для извлечения параметров и их значений из разнообразных текстовых описаний и приведения их к удобному для восприятия и обработки виду.

"Формализатор" осуществляет формализацию предложений магазинов в рамках 170 наиболее востребованных категорий, для каждой из которых составлен список наиболее важных параметров. По выбранным параметрам и осуществляется формализация. "Формализатор" разбирает текст предложения магазина на составные части, а затем распознает в полученном наборе элементов параметры товара, их значения и единицы измерения и устанавливает взаимосвязи между ними. Для различных параметров применяются ограничения на допустимые значения, а по результатам формализации разрешаются "конфликты", когда на одно значение претендует сразу несколько параметров.

В результате из описания товара получается осмысленный набор параметров, по которым пользователи Яндекс.Маркета могут быстро и просто выбрать товар. "Формализатор" одинаково хорошо справляется с различными категориями товаров, будь то конфигурации компьютеров, матрасы, акустические гитары, роликовые коньки и т.д. Во избежание каких-либо ошибок или неточностей в работе "Формализатора" Яндекс.Маркет предоставляет магазинам возможность "подстраховаться" - явно указать параметры товаров и их значения в специальном теге YML-файла, эти данные будут очень полезны при обучении "Формализатора".