На вкладке Мониторинг и управление пользователю доступны следующие действия:
-
просмотр текущего состояния по имеющимся пакетам обучения;
-
отслеживание процесса обучения;
-
ручной запуск обучения выбранных пакетов и запуск полного переобучения;
-
ручная остановка процесса обучения;
-
настройка расписания автоматического запуска переобучения;
-
анализ непустых значений атрибутов по каждому пакету;
-
настройка объединения данных по атрибуту.
Вкладка Мониторинг и управление подсистемы Машинное обучение
На вкладке присутствует таблица с пакетами обучения, панель инструментов для работы с пакетами обучения и журнал процесса (расположен в нижней части окна). Состав колонок таблицы является
настраиваемым и содержит следующие данные:
-
ID пакета - идентификатор пакета обучения;
|
|
В списке пакетов всегда присутствует системный пакет “Справочные группы”. Пакет формируется Системой автоматически и по нему выполняется обучение справочным группам, к которым относятся позиции, то есть выполняется основная классификация записей.
|
-
Атрибут - атрибут
Semantic MDM, для которого сформирован пакет обучения. Актуальное наименование атрибута определяется по его идентификатору (GUID) и отображается в виде ссылки на этот атрибут в
Классификаторе атрибутов;
-
Группировка значений - список онтологических групп, для которых значения атрибута были объединены в один пакет. Наименование группы формируется по шаблону: <наименования текущей группы>+< \ >+ <наименование родительской группы> и отображается в виде ссылки на группу с возможностью перехода на нее. Для "сквозного" атрибута в колонку выводится системное значение –
Для всех групп;
-
Статус - текущий статус пакета обучения:
-
Не обучался - пакет ни разу не обучался. Данный статус устанавливается после создания нового пакета;
-
В очереди на обучение - пакет запланирован к обучению и будет скоро переобучен. Данный статус устанавливается пользователем или автоматически, после наступления запланированного переобучения;
-
Требует переобучения - пакет ранее был обучен, но по нему поступили новые данные или был изменен состав проверочных данных, поэтому его надо переобучить. Данный статус устанавливается автоматически после изменения исходных или проверочных данных, если текущий статус соответствует
Обучение завершено. Если текущий статус соответствует
Обучается, то по завершению обучения
Система проверит наличие даты в поле “Последнее изменение данных” и если дата там не пустая, то будет установлен статус
Требует переобучения, в противном случае
Обучение завершено;
-
Обучение отложено - обучение пакета было отложено пользователем. Данный статус устанавливается пользователем вручную;
-
Обучается - пакет в данный момент находится в процессе переобучения;
-
Ошибка обучения - пакет обучался, но во время обучения произошла ошибка и он не смог доучиться до конца;
-
Обучение завершено - пакет переобучен;
-
Недостаточно данных – этот статус устанавливается тем пакетам, в которых данных недостаточно данных для того, чтобы выполнить обучение пакета;
-
Последнее переобучение - дата и время последнего переобучения. Если пакет в данный момент обучается, то в этом поле отображается прогрессбар текущего процесса переобучения. Если пакет ни разу не обучался, то поле остается пустым. После завершения переобучения
Система запишет в данное поле дату и время завершения процесса.
-
Последнее изменение данных - дата и время последнего изменения обучаемых или проверочных данных для пакета. Эта дата и время автоматически записываются после изменения обучаемых или проверочных данных для пакета. Перед запуском процесса переобучения пакета, данная дата сбрасывается;
-
Последняя валидация – дата и время, когда последний раз выполнялась валидация, по которой строятся графики проверки точности предсказания;
-
Размер пакета - количество значений, используемых в обучении по выбранному пакету;
-
Кол-во значений – общее количество значений в пакете изменений, по которым были загружены наименования;
-
% обученных значений – соотношение количества значений, по которым более 3-х наименований к общему количеству значений. Если для какого-то значения имеется менее 3-х наименований, то ML не будет обучаться таким значениям;
-
Алгоритм - наименование алгоритма, на основании которого был обучен пакет
. Алгоритм выбирается
Системой автоматически на основе размера пакета.
По умолчанию все пакеты в таблице отсортированы по наименованию атрибута. Сортировка доступна по всем полям, за исключением столбца Группировка значений.
Фасетная фильтрация доступна по следующим полям:
Атрибут,
Группировка значений,
Статус,
Алгоритм. Фасетная фильтрация по столбцу
Группировка значений выполняется через специальный диалог с "худым" деревом, в котором можно выбрать как конечные, так и родительские группы. При выборе родительской группы, в результат попадут все пакеты, в которых есть хотя бы одна конечная группа, входящая в выбранную родительскую. В фасетной фильтрации по группам присутствует системное значение “Все группы”, с помощью которого можно оставить в списке пакеты, которые обучаются сразу на данных для всех групп. Для быстрой фильтрации по статусам, фасеты по статусам также отображаются над таблицей сверху.
Фасетная фильтрация с "худым" деревом
Для выполнения поиска по таблице, над таблицей справа имеется поле быстрого поиска, с помощью которого можно выполнять поиск по идентификатору пакета, идентификатору атрибута и наименованию атрибута.
Для управления процессом обучения используются следующие кнопки и команды контекстного меню:
|
Кнопка / Команда
|
Функция
|
|
|
Обновить таблицу
|
|
|
|
Переобучить все
|
Команда открывает окно подтверждения, в котором пользователь должен выбрать режим переобучения – Переобучить все пакеты - будут переобучены все пакеты, кроме пакетов со статусом Обучение отложено. Если установлен маркер Только неактуальные, то для данного режима запускается переобучение всех пакетов со статусами: Не обучался, Требует переобучения, Ошибка обучения
|
|
|
Переобучить
|
Команда ставит выбранные в таблице пакеты в очередь на переобучение независимо от их текущего статуса
|
|
|
Отменить обучение
|
Команда применяется только к выбранным в таблице пакетам со статусами: Обучается, В очереди на обучение
|
|
|
Настроить расписание переобучения
|
Открывает окно настройки расписания запуска автоматического переобучения, которое идентично команде Переобучить все с режимом “Переобучить только неактуальные пакеты”. Расписание настраивается и записывается в формате CRON.
|
|
|
Настройка группировки значений атрибутов
|
Открывает окно с таблицей атрибутов для настройки режима группировки атрибутов. Для выбора доступны три режима: Для всех групп, Автоматически по группам и Для каждой группы
|
|
|
Отложить / вернуть обучение
|
Команда позволяет установить статус Отложить обучение, для выбранного пакета со статусом: Не обучался, Требует переобучения, Ошибка обучения. Команда позволяет вернуть процесс обучения для выбранного пакета со статусом Обучение отложено, при этом для пакета будет восстановлен его исходный статус
|
|
|
Анализ непустых значений
|
Команда поднимает отдельное окно, где можно ознакомиться каким значениям атрибута пакет обучения был обучен, а по каким значениям не был. Обучение каждому значению атрибута происходит только при наличии соответствующего (не менее 3-х) количества образцов наименований
|

Окно с анализом непустых значений в пакете обучения
Каждый пакет обучения в таблице содержит либо значения одного атрибута, сгруппированные сразу для всех групп, в этом случае атрибут считается “сквозным”, либо значения сгруппированные автоматически по нескольким онтологическим группам справочника, в этом случае атрибут считается “простым”. Для “простого” атрибута может быть сформировано несколько пакетов обучения. Формирование пакетов обучения для “простого” атрибута выполняется автоматически, во время загрузки новых значений для данного атрибута. Объединение значений онтологических групп в один пакет обучения происходит при вхождении как минимум половины значений минимальной онтологической группы, в другую более крупную онтологическую группу.
В таблице ниже описаны процессы изменения статусов для пакетов обучения.
|
Исходный статус
|
Новый статус
|
Событие, влекущее смену статуса
|
|
-
|
Не обучался
|
Создается Системой автоматически для нового пакета обучения, после загрузки данных для обучения
|
|
Не обучался
|
В очереди на обучение
|
-
Создается Системой при автоматическом переобучении по расписанию;
-
Запускается пользователем при постановке в очередь на обучение кнопками Переобучить, Переобучить все
|
|
Обучение отложено
|
Устанавливается пользователем при помощи кнопки Отложить / вернуть обучение для предотвращения автоматического переобучения пакета
|
|
В очереди на обучение
|
Обучается
|
Запускается автоматически при освобождении ресурсов для обучения следующего пакета обучения
|
|
Отменен
|
Устанавливается пользователем по нажатию на кнопку Отменить обучение
|
|
Обучается
|
Требует переобучения
|
Устанавливается автоматически, если изменились данные для обучения или проверки, во время обучения. То есть когда после успешного завершения обучения, дата и время записанные в поле Последнее изменение данных оказались не пустыми.
|
|
Ошибка обучения
|
Устанавливается автоматически, если произошла ошибка во время обучения
|
|
Обучение завершено
|
Устанавливается автоматически, если обучение успешно завершилось
|
|
Обучение завершено
|
Требует переобучения
|
Устанавливается автоматически, если изменились данные, на которых обучается или по которым проверяется пакет обучения
|
|
Обучение отложено
|
Требует переобучения
|
Устанавливается пользователем по нажатию на кнопку Отложить / вернуть обучение. Система возвращает исходный статус
|
|
Не обучался
|
|
Отменено
|
В очереди на обучение
|
Запускается пользователем постановка в очередь на обучение через кнопками Переобучить, Переобучить все
|
|
Требует переобучения
|
Обучение отложено
|
Устанавливается пользователем по нажатию на кнопку Отложить / вернуть обучение
|
|
В очереди на обучение
|
-
Создается Системой при автоматическом переобучении по расписанию;
-
Запускается пользователем при постановке в очередь на обучение кнопками Переобучить, Переобучить все
|
Под таблицей располагается панель с журналом переобучения по пакетам и журнала основного процесса, управляющего обучением. Если в таблице выделен пакет, то будут показаны последние 1500 строк из журнала обучения данного пакета. Если в таблице не выделено ни одного пакета, то в журнале будут отображены последние 1500 строк из журнала работы процесса, управляющего обучением. По ссылке, расположенной рядом с именем заголовка вкладки Журнал, будет автоматически запущен процесс скачивания выбранного журнала на ПК пользователя. Журнал сохраняется в файле формата TXT.