Представлен пример возможного шаблона описания ETL-процессов (извлечение, трансформация и загрузка), формируемого на этапе технического проектирования корпоративного хранилища данных. Приведен пример описания процесса преобразования.
Реализация процесса обнаружения в источнике данных новых, измененных или удаленных записей позволяет ускорить процесс загрузки данных в хранилище за счёт устранения необходимости полного их сравнения. В статье рассмотрены способы реализации захвата изменений (changed data capture).
Видеопрезентация демонстрирующая релизацию процесса нахождение похожих данных с использованием Talend Data Quality - инструмента очистки и контроля качества данных.
В статье рассматривается логика работы / реализации ETL-процессов загрузки справочников, классификаторов и фактических значений в корпоративное хранилище данных. Приведена диаграмма потока данных в формате DFD.
Бизнес-аналитики, как основные пользователи корпоративного хранилища данных, нуждаются в отслеживании изменений значений атрибутов аналитических измерений.
В статье приводится описание базового подхода к реализации подсистемы извлечения, преобразования (трансформации) и загрузки данных (ETL - Extract, Transform, Load) в хранилище корпоративной информации.