Контроль качества данных

Информация обо всех характеристиках продукции и всех допустимых значениях этих характеристик, обычно содержится в регламентирующем продукцию документе. Это могут быть как стандарты, например, ГОСТ, ОСТ, ТУ, ISO и т.п., так и каталоги производителей. Все эти документы, ведутся в отдельном справочнике стандартов и на них, в атрибуте Сопроводительный документ в Едином номенклатурном справочнике прописываются ссылки.

Для корректного указания значений характеристик продукции, в зависимости от регламентирующего документа, в системе предусмотрен специальный функционал “Ограничительные таблицы” (Ограничительные таблицы). Они позволяют в каждом документе определить перечень допустимых значений для каждой из характеристик, указать взаимосвязи между ними, а также указать какие характеристики не участвуют в описании продукции. Под взаимосвязью характеристик понимается ограничение значений одной характеристики продукции по значениям другой. Например, круг из конкретной марки стали может изготавливаться только определенных диаметров.

Ограничительные таблицы на параметры сортового проката (круг)

Таким образом, Система позволяет через документ, регламентирующий продукцию, использовать ограничительные таблицы как для заполнения значений атрибутов при создании/редактировании позиции, так и для контроля допустимости вводимых значений в позицию. Или другими словами, ограничительные таблицы можно использовать как каталог допустимых данных для класса продукции и для контроля качества данных в классе продукции. Использовать ограничительные таблицы как каталог данных можно сразу после их создания и установки флага “генерация”. Тогда при создании позиции или при её редактировании появится мастер создания или изменения позиции, где можно выбрать нужную таблицу, выбрать строку с корректным значением и увидеть как будет выглядеть позиция, после выбора строки в любой из ограничительных таблиц.

Мастер генерации позиций и изменение позиции по ограничительным таблицам

Данный функционал сводит к минимуму ввод данных вручную с клавиатуры, что исключает самые главные ошибки – ошибки ввода! Тем самым повышается общее качество данных.

Для контроля качества данных, в ограничительных таблицах предусмотрен также следующий функционал:

Обязательность заполнения атрибута – с помощью специальных символов в ячейке(+ обязателен к заполнению, <пусто> не заполняется, * атрибут может принимать любые значения) можно регулировать обязательность заполнения того или иного атрибута. Важно отметить, что обязательность может быть контекстной, то есть зависеть от значений других атрибутов. Например, для одного ГОСТа, значение атрибута Точность проката должно задаваться и может принимать одно из предустановленных значений, а для другого ГОСТа, данный атрибут не должен заполнятся. Все это регулируется ограничительными таблицами;
Определение интервала допустимых числовых значений – например, для атрибута Диаметр можно определить диапазон допустимых значений указав "5-54 мм” и при этом увязать этот диапазон с конкретной маркой материала, а для другой марки материала задать другой диапазон.

Для контроля качества вводимых данных, также применяются:

Маска ввода – позволяет ограничить возможности по вводу данных (Маска для значения атрибута) и при этом использовать многовариантные паттерны ввода, когда нужно не просто задать одну маску, а иметь возможность вводить по нескольким маскам. Например, можно задать многовариантную маску, которая позволит ввести в строку как числовой диапазон (10 - 20), так и число с отклонениями (10(+0,02;-0,01));
Уникальные атрибуты – можно указать один или несколько атрибутов, из числа продекларированных в справочной группе, которые должны быть уникальны в рамках группы (Настройка ограничений). При этом проверка уникальности выполняется с учетом возможных типовых ошибок, таких как: двойные и концевые пробелы, сходство латиницы и кириллицы;
Обязательные атрибуты – если есть необходимость создать общее ограничение на атрибут для группы. Не применяются при использовании ограничительных таблиц;
Ограничительные функции – это функции, которые можно разработать при помощи скриптового языка Groovy, на котором можно реализовать любые алгоритмические проверки или выполнить дополнительную проверку через внешний сервис. Например, можно реализовать алгоритмическую проверку введенного ИНН на корректность.

Ограничения и функция проверки данных

Для повышения степени автоматизации заполнения значений атрибутов в Системе предусмотрен следующий функционал:

Вычисляемые атрибуты – о них уже упоминалось выше, они позволяются полностью автоматизировать вычисление значений атрибутов по заданным формулам. При этом сами формулы задаются с помощью мастера формирования формул, который покрывает 95% всех потребностей эксперта НСИ. Для остальных 5% случаев предусмотрена возможность дополнения формулы нестандартными вычислениями, реализованными на Groovy-скрипт. Кроме вычисления строковых атрибутов, можно также выполнять вычисления и для числовых атрибутов, например, можно автоматизировать расчет массы драгоценных металлов исходя из их процентного содержания в одном килограмме продукции определенной марки материала, указанной базовой ЕИ для номенклатуры и заданных логистических ЕИ. Все вычисляемые атрибуты перевычисляются автоматически при изменении исходных данных;
Постобработчики на создание позиции, изменение статуса и изменение значения атрибута – позволяют реализовать автоматическое заполнение атрибутов при создании позиции (Постобработчик для обогащения данных), например, сгенерировать специальный номенклатурный код для созданной позиции или заполнить автоматически атрибуты по контрагенту из ЕГРЮЛ после ввода ИНН и т.д. Отдельно стоит упомянуть, что в Semantic MDM реализована возможность работы со счетчиками, которые могут выдавать последовательные числа в рамках классификационной группы или в рамках системы. Это позволяет генерировать коды позиций по любым алгоритмам, предусмотренным заказчиком, путем простых настроек.
Мастер создания позиции с помощью модуля машинного обучения – данный мастер позволяет по наименованию позиции выполнить автоматическую классификацию, определить группу, в которой должна быть заведена позиция, а также предсказать значения основных атрибутов позиции, участвующих в этом наименовании. Данный функционал позволяет повысить качество данных, путем сведения ошибок эксперта НСИ при классификации к минимуму. Особенно это важно при пополнении отдела НСИ новыми сотрудниками. Кроме того, данный функционал может быть использован для автоматической диспетчеризации заявок экспертам НСИ, ответственным за группу, к которой подсистема машинного обучения отнесла наименование объекта из заявки, а также предсказать и заполнить основные атрибуты позиции в заявке.