Нормализация нормативно-справочной информации

Нормализация нормативно-справочной информации является процессом приведения данных к определенным стандартам и установлением правил, которые помогают обеспечить единообразие и точность информации в справочниках. Это позволяет снизить дублирование данных, обеспечить целостность и структурированность информации, улучшить процессы анализа и принятия решений.

Обращайтесь к нам! Мы знаем как выполнить нормализацию правильно и без потери данных!

Время, необходимое для выполнения нормализации зависит от исходных данных:

Объем данных
Качество и состояние данных
Сложность правил нормализации
Необходимость приведения к единому справочнику данных из разных информационных систем

Наличие опытных специалистов и использование соответствующих инструментов и программного обеспечения ускоряет процесс нормализации.

Учитывая эти факторы, точно определить время, затрачиваемое на процедуру нормализации, сложно. В некоторых случаях процесс может занять несколько дней или недель, особенно если требуется обработка больших объемов данных или сложные трансформации. В других случаях, когда данные уже достаточно чистые и требуется только небольшая структуризация, процесс может быть завершен за несколько часов или дней.

Мы выполняем услугу "Нормализация справочников" по следующему плану мероприятий:

Организация виртуальных рабочих мест для специалистов, участвующих в процессе в виде профилей операционной системы сервера RDS.
Подготовка тестовой зоны.
Добавление тестового кластера «1С:Предприятие 8».
Добавление копий информационных баз для разработки процедур нормализации справочников и проведения репетиций.
Разработка и формализация методологий ведения единых справочников.
Разработка процедур нормализации, набор внешних обработок и вспомогательных отчётов.
Проведение репетиций по нормализации справочников.
Разработка чек-листов нормализации справочников.
Определение даты и срока выполнения нормализации в рабочих информационных базах.
Выполнение нормализации.
Разработка регламентов по управлению справочниками и сопутствующей НСИ.
Разработка механизма ограничения редактирования справочников в конфигурациях рабочих баз.
Разработка / доработка конфигурации мастер-базы.
Разработка, настройка транспорта обмена (веб-сервисы или 1С:Шина)

Мастер-база

В качестве мастер-базы можно использовать варианты:

1. Тиражное типовое/отраслевое MDM-решение на базе 1С:Предприятие 8 (при наличии)

2. Конфигурация со справочниками Номенклатура, Контрагенты и ряд сопутствующих справочников, реализованная конкретно под данную задачу на базе Библиотеки стандартных подсистем (БСП). БСП уже обеспечивает всю инфраструктуру пользователей, обменов, типовых обработок, потребуется только дописать нужные справочники и синхронизацию с рабочими базами.

Транспорт обмена

В качестве интеграционного решения обмена данными предлагаем один из вариантов:

1. Веб-сервисы. В конфигурациях рабочих баз добавляются веб-сервисы по загрузке и изменению элементов справочников Номенклатура, Контрагенты и ряд сопутствующих. В мастер-базе при добавлении/редактировании элементов справочников эти веб-сервисы будут вызываться.

2. «1С:Шина». Приобретение программного продукта, разработка и настройка обмена между мастер-базой и рабочими базами.

Этапы обработки данных

1. Первичная обработка в рабочих базах* (в данном случае под рабочими базами подразумеваются базы с рабочими конфигурациями и актуальными данными. Разумеется, сначала будет производиться репетиция на копиях).

Заполнение недостающих реквизитов по разработанному классификатору. Удаление помеченных объектов. Объединение дублей.

2. Сопоставление элементов в обмене.

Приведение элементов всех баз к единому списку с одинаковыми уникальными идентификаторами. Если это невозможно, то добавление отдельных реквизитов с идентификаторами, которые заполнить единоразово по полям поиска, а дальше сопоставлять только по идентификаторам.

3. Выгрузка всех данных в мастер-базу, вторичная обработка данных — сравнение, дозаполнение реквизитов, выявление дублей.

4. Включение регулярного обмена между мастер-базой и рабочими базами.

Нормализация справочника "Номенклатура"

Номенклатура. Этап 1

1.1. Анализ внутренних бизнес-процессов по ведению НСИ – наличие регламентов, инструкций, системных ограничений.

1.2. Первичный автоматизированный анализ номенклатуры (выполняется программной обработкой) с целью определить востребованные и используемые позиции по критериям:

Наличие в остатках на складах
Наличие в оборотах учетных регистров за согласованный период актуальности*
Наличие в планах закупок, продаж, производства и т.д.
Наличие в действующих ресурсных спецификациях
Наличие в установках цен в периоде актуальности
Вновь созданные в период актуальности

*период актуальности – глубина анализа исторических данных.

В результате получим выборку актуальных позиций, подлежащих нормализации в первую очередь.

1.3. Автоматическое определение всех существующих в системе дублирующихся позиций по полному соответствию наименований, а также согласованным признакам неполного соответствия. Из списка дублей к замене исключается номенклатура, у которой в результате обработки поменяются признаки ведения учета по характеристикам, сериям и проч.

В качестве замещающих позиций в приоритете подбираются позиции из выборки п.1.2.

Замена дублей осуществляется внешней обработкой поиска и замены значений. Не используется типовой поиск и замена дублей.

Номенклатура. Этап 2

2.1. Разработка методологии ведения единого справочника:

Классификация стандартизированная - нормализация позиций под общие требования, которые будут удобны при взаимодействии с контрагентами.
Классификация внутренняя, формализация признаков внутренней классификации.
Классификации внутренняя для разных отделов предприятия.
Состав дополнительных реквизитов и свойств.
Шаблоны наименований – генерация наименований номенклатуры на основе реквизитов и свойств, исключение ручного ввода наименований.
Иерархия структуры справочника.

Определение и описание взаимосвязей значений реквизитов и свойств, влияние на доступность, заполнение значений по-умолчанию и т.п.

2.2. Нормализация номенклатуры.

Определение возможности и описание критериев автоматического заполнения реквизитов и свойств. Автоматическая обработка позиций по заданным критериям.
Полуавтоматическая обработка – ручное приведение позиции к состоянию автоматического дозаполнения.
Ручная обработка. Результаты ручной обработки в тестовых базах сохраняются и переносятся в рабочие.

Номенклатура. Этап 3

Нормализация связанных справочников: характеристики, серии, единицы измерения и упаковки. Cвязанные справочники при объединении дублей станут привязанными к одному элементу и, возможно, тоже потребуют объединения.

Нормализация справочника "Контрагенты"

Контрагенты. Этап 1

1.1. Анализ внутренних бизнес-процессов по ведению справочника контрагенты – наличие регламентов, инструкций, системных ограничений.

1.2. Первичный автоматизированный анализ контрагентов (выполняется программной обработкой) с целью определить востребованные и используемые позиции по критериям:

Наличие остатков по взаиморасчетам
Наличие в оборотах учетных регистров за согласованный период актуальности
Наличие в планах закупок, продаж
Вновь созданные в период актуальности

1.3. Автоматическое определение всех существующих в системе дублирующихся позиций по полному соответствию ИНН и КПП и/или по наименованию, если ИНН и/или КПП не заполнен.

Определение критериев основного партнера при замене дублей контрагентов разных партнеров. Объединение данных партнеров.

Анализ и исключение из списка дублей контрагентов, которых нельзя объединять по причине изменения остатков взаиморасчетов в старых периодах при суммировании.

В качестве замещающих позиций в приоритете подбираются позиции из выборки п.1.2.

Контрагенты. Этап 2

2.1. Разработка методологии ведения единого справочника:

Стандартизация заполнения наименований контрагентов и партнеров
Состав дополнительных реквизитов и свойств
Иерархия элементов Партнер-Контрагент

2.2. Нормализация контрагентов.

Приведение наименований к согласованному стандарту.

Контрагенты. Этап 3

Нормализация связанных справочников: договоры, банковские счета. Cвязанные справочники при объединении дублей станут привязанными к одному элементу и, возможно, тоже потребуют объединения.