Что такое интегратор данных Oracle
Обновлено: 28.06.2024
Oracle Data Integrator создан для передачи работы по преобразованию в исходный или целевой источник данных. Это означает, что нет необходимости в механизме ETL среднего уровня для выполнения преобразований, как это делают многие традиционные инструменты ETL. На самом деле, в большинстве реализаций агент ODI, который управляет процессами ETL, просто отправляет код на целевой сервер для выполнения. Эта архитектура позволяет ODI использовать мощность целевого источника данных для выполнения преобразований. Зачем тратить вычислительную мощность вашей базы данных Oracle, если она создана для такого типа выполнения SQL?
Модули знаний
Концепция модулей знаний (KM) довольно проста. В двух словах, KM — это общие шаблоны кода, которые применяются к сопоставлению ODI и используют язык подстановки для ввода метаданных из сопоставления для создания исполняемого кода во время выполнения. Если вы хотите изменить физическую реализацию вашего сопоставления, скажем, переключиться с метода интеграции «добавления» только для вставки на подход с инкрементным обновлением, вы можете просто переключить модуль знаний, применяемый к этому конкретному сопоставлению. KM даже можно настроить или создать с нуля в соответствии с вашими конкретными потребностями в интеграции данных, что повышает общую гибкость инструмента.
Настройка и гибкость
Модули знаний — это лишь один аспект Oracle Data Integrator, который можно настроить. С помощью KM вы можете изменить способ физической реализации ваших отображений, что обеспечивает максимальную гибкость. Но это не просто сопоставления, объект, называемый процедурой в ODI, позволит выполнить любой фрагмент кода или вызов командной строки с использованием практически любого типа технологии: Groovy, Jython, команды ОС, Oracle SQL, MySQL, SQL Server... список продолжается и продолжается. Самое замечательное в настройке Oracle Data Integrator заключается в том, что вы можете адаптировать его к своему хранилищу данных, а не наоборот. Слишком часто компаниям приходится принимать «стандарт», потому что он встроен в используемое ими программное обеспечение, а не является хорошей деловой практикой. К счастью, это не относится к ODI.
Подпишитесь, чтобы узнать больше.
Oracle Analytics Server 2022 (6.4): рейтинг 15 лучших новых функций
OAS 6.4, наконец, запущен и предоставляет большой набор улучшений, которые уже были доступны пользователям OAC. Новые функции в основном затрагивают инструмент визуализации данных и затрагивают весь процесс, от подготовки данных до представления данных, включая улучшения визуализации, машинного обучения и администрирования.
Унификация 10.0.49
Роль озер данных или промежуточных областей для ETL хранилища данных
Недавно клиент спросил нас о роли промежуточной области для процессов ETL при загрузке хранилища данных, в частности, он хотел знать, требуется ли это по-прежнему при использовании озера данных. TLDR: озера данных и промежуточные области могут быть взаимозаменяемы с точки зрения ETL
В этой главе представлено введение в Oracle Data Integrator, техническую архитектуру и содержание данного руководства по началу работы.
Эта глава включает следующие разделы:
1.1 Введение в Oracle Data Integrator
Oracle Data Integrator, широко используемый программный продукт для интеграции данных, предлагает новый декларативный подход к определению процессов преобразования и интеграции данных, что позволяет ускорить и упростить разработку и обслуживание. Основанный на уникальной архитектуре E-LT (Extract — Load Transform) Oracle Data Integrator не только гарантирует максимально возможный уровень производительности для выполнения процессов преобразования и проверки данных, но и является наиболее экономичным решением, доступным на сегодняшний день.
Oracle Data Integrator предоставляет единую инфраструктуру для оптимизации проектов по интеграции данных и приложений.
1.1.1 Проблема бизнеса
В сегодняшней быстро меняющейся бизнес-среде организациям необходимо использовать более специализированные программные приложения. им также необходимо обеспечить сосуществование этих приложений на разнородных аппаратных платформах и системах и гарантировать возможность совместного использования данных между приложениями и системами. Проекты, в которых реализованы эти требования к интеграции, должны выполняться в соответствии со спецификацией, вовремя и в рамках бюджета.
1.1.2 Уникальное решение
Oracle Data Integrator использует мощный декларативный подход к интеграции данных, который отделяет декларативные правила от деталей реализации. Oracle Data Integrator также основан на уникальной архитектуре E-LT (Extract-Load-Transform), которая устраняет необходимость в отдельном сервере ETL и проприетарном механизме, а вместо этого использует внутреннюю мощь ваших механизмов СУБД.Такое сочетание обеспечивает наибольшую производительность как при разработке, так и при обслуживании, а также высочайшую производительность при выполнении процессов преобразования и проверки данных.
Вот основные причины, по которым компании выбирают Oracle Data Integrator для удовлетворения своих потребностей в интеграции данных:
Быстрая и простая разработка и обслуживание. Декларативный подход к интеграции данных, основанный на правилах, значительно сокращает время обучения продукта и повышает производительность разработчиков, а также упрощает текущее обслуживание. Этот подход отделяет определение процессов от их фактической реализации и отделяет декларативные правила ("что") от потоков данных ("как").
Брандмауэр качества данных: Oracle Data Integrator обеспечивает автоматическое обнаружение и повторное использование ошибочных данных перед их вставкой в целевое приложение. Это выполняется без необходимости программирования, в соответствии с правилами и ограничениями целостности данных, определенными как в целевом приложении, так и в Oracle Data Integrator.
Более высокая производительность : традиционное программное обеспечение для интеграции данных (ETL) основано на проприетарных механизмах, которые выполняют преобразование данных построчно, что ограничивает производительность. Внедрив архитектуру E-LT, основанную на существующих механизмах СУБД и SQL, вы сможете выполнять преобразования данных на целевом сервере на уровне наборов, что значительно повысит производительность.
Более простая и эффективная архитектура: архитектура E-LT устраняет необходимость в сервере ETL, расположенном между исходным и целевым серверами. Он использует исходный и целевой серверы для выполнения сложных преобразований, большинство из которых выполняется в пакетном режиме, когда сервер не занят обработкой запросов конечных пользователей.
Независимость от платформы: Oracle Data Integrator поддерживает все платформы, оборудование и ОС с одним и тем же программным обеспечением.
Подключение к данным: Oracle Data Integrator поддерживает все СУБД, включая все ведущие платформы хранилищ данных, такие как Oracle, Exadata, Teradata, IBM DB2, Netezza, Sybase IQ, а также множество других технологий, таких как плоские файлы, ERP, LDAP, XML.
Экономия: отказ от ETL-сервера и ETL-механизма снижает первоначальные затраты на приобретение и обслуживание оборудования и программного обеспечения. Сокращение кривой обучения и повышение производительности труда разработчиков значительно снижают общие трудозатраты на проект, а также стоимость текущих улучшений.
1.2 Архитектура компонентов ODI
Платформа Oracle Data Integrator интегрируется в более широкую платформу Fusion Middleware и становится ключевым компонентом этого стека. Oracle Data Integrator предоставляет свои компоненты времени выполнения в виде приложений Java EE, усовершенствованных для полного использования возможностей сервера приложений Oracle WebLogic. Компоненты Oracle Data Integrator включают эксклюзивные функции для развертываний корпоративного масштаба, высокую доступность, масштабируемость и усиленную безопасность. На рис. 1-1 показана архитектура компонента ODI.
Рис. 1-1 Архитектура компонентов Oracle Data Integrator
1.2.1 Репозитории
Центральным компонентом архитектуры является репозиторий Oracle Data Integrator. В нем хранится информация о конфигурации ИТ-инфраструктуры, метаданные всех приложений, проектов, сценариев и журналы выполнения. Многие экземпляры репозитория могут сосуществовать в ИТ-инфраструктуре, например Development, QA, User Acceptance и Production. Архитектура репозитория позволяет использовать несколько отдельных сред, которые обмениваются метаданными и сценариями (например, среды разработки, тестирования, обслуживания и производства). Репозиторий также действует как система контроля версий, где объекты архивируются и им присваивается номер версии.
Репозиторий Oracle Data Integrator состоит из одного главного репозитория и нескольких рабочих репозиториев. Объекты, разработанные или настроенные с помощью пользовательских интерфейсов, хранятся в одном из этих типов репозиториев.
Обычно существует только один главный репозиторий, в котором хранится следующая информация:
Информация о безопасности, включая пользователей, профили и права для платформы ODI
Информация о топологии, включая технологии, определения серверов, схемы, контексты, языки и т. д.
Версионные и заархивированные объекты.
Рабочий репозиторий — это тот, который содержит реально разработанные объекты. Несколько рабочих репозиториев могут сосуществовать в одной и той же установке ODI (например, чтобы иметь отдельные среды или соответствовать определенному жизненному циклу управления версиями). Рабочий репозиторий хранит информацию для:
Модели, включая определение схемы, структуры хранилищ данных и метаданные, определения полей и столбцов, ограничения качества данных, перекрестные ссылки, происхождение данных и т. д.
Проекты, включая бизнес-правила, пакеты, процедуры, папки, модули знаний, переменные и т. д.
Выполнение сценария, включая сценарии, информацию о расписании и журналы.
Если рабочий репозиторий содержит только информацию о выполнении (обычно для производственных целей), он называется исполняемым репозиторием.
1.2.2 ODI Studio и пользовательские интерфейсы
Администраторы, разработчики и операторы используют Oracle Data Integrator Studio для доступа к репозиториям. Этот пользовательский интерфейс на основе клиентской платформы Fusion (FCP) используется для администрирования инфраструктуры (безопасности и топологии), реинжиниринга метаданных, разработки проектов, планирования, эксплуатации и мониторинга выполнения.
ODI Studio предоставляет четыре навигатора для управления различными аспектами и этапами проекта интеграции ODI:
Designer Navigator используется для разработки проверок целостности данных и создания преобразований, таких как, например:
Автоматический обратный инжиниринг существующих приложений или баз данных
Графическая разработка и поддержка интерфейсов трансформации и интеграции
Визуализация потоков данных в интерфейсах
Автоматическое создание документации
Настройка сгенерированного кода
Operator Navigator – это инструмент управления производством и мониторинга. Он предназначен для операторов ИТ-производства. С помощью Operator Navigator вы можете управлять выполнением своего интерфейса в сеансах, а также сценариями в рабочей среде.
Навигатор топологии используется для управления данными, описывающими физическую и логическую архитектуру информационной системы. С помощью Topology Navigator вы можете управлять топологией вашей информационной системы, технологиями и их типами данных, серверами данных, связанными с этими технологиями, и схемами, которые они содержат, контекстами, языками и агентами, а также репозиториями. Описания сайта, компьютера и сервера данных позволят Oracle Data Integrator выполнять одни и те же интерфейсы интеграции в различных физических средах.
Security Navigator — это инструмент для управления информацией о безопасности в Oracle Data Integrator. С помощью Security Navigator вы можете создавать пользователей и профили и назначать права пользователей для методов (редактирование, удаление и т. д.) для общих объектов (сервер данных, типы данных и т. д.), а также точно настраивать эти права для экземпляров объектов (сервер 1, сервер 2). и т. д.).
Oracle Data Integrator также предоставляет API Java для выполнения всех этих операций во время выполнения и во время разработки. Этот пакет разработки программного обеспечения (SDK) Oracle Data Integrator доступен для автономных приложений Java и серверов приложений.
1.2.3 Агент времени выполнения
Во время разработки разработчики создают сценарии на основе разработанных ими бизнес-правил. Затем код этих сценариев извлекается из репозитория агентом времени выполнения. Затем этот агент подключается к серверам данных и организует выполнение кода на этих серверах. Он извлекает коды возврата и сообщения для выполнения, а также дополнительную информацию журнала, такую как количество обработанных записей, время выполнения и т. д., в репозиторий. Агент бывает двух разных видов:
Агент Java EE можно развернуть как веб-приложение и воспользоваться функциями сервера приложений.
Автономный агент работает на простой машине Java и может быть развернут там, где это необходимо для выполнения потоков интеграции.
Оба этих агента представляют собой многопоточные программы Java, которые поддерживают балансировку нагрузки и могут быть распределены по информационной системе. Этот агент имеет собственное расписание выполнения, которое можно определить в Oracle Data Integrator, а также вызвать из внешнего планировщика. Его также можно вызвать из Java API или интерфейса веб-службы.
1.2.4 Консоль Oracle Data Integrator
Бизнес-пользователи (а также разработчики, администраторы и операторы) могут иметь доступ для чтения к репозиторию, выполнять настройку топологии и производственные операции через веб-интерфейс под названием Oracle Data Integrator Console. Это веб-приложение можно развернуть на сервере приложений Java EE, таком как Oracle WebLogic.
Для управления и мониторинга Java EE и автономных агентов, а также консоли ODI Oracle Data Integrator предоставляет новый подключаемый модуль, который интегрируется в консоль управления Oracle Fusion Middleware.
1.3 Начало работы с Oracle Data Integrator
Таблица 1-1 суммирует содержание этого руководства.
Таблица 1-1. Сводка содержания
Установите Oracle Data Integrator и демонстрационную среду
Предоставляет введение в демонстрационную среду, поставляемую с Oracle Data Integrator Studio
Запустите демонстрационную среду и Oracle Data Integrator Studio
Внедрить контроль качества данных
Создание интерфейсов интеграции в Oracle Data Integrator и работа с ними
Создание пакетов и работа с ними в Oracle Data Integrator
Выполняйте свои разработки, следите за выполнением и интерпретируйте результаты выполнения
Oracle Data Integrator (ODI) – это программный продукт для интеграции данных. Из документации Oracle: «Широко используемый программный продукт для интеграции данных, Oracle Data Integrator предлагает новый декларативный подход к определению процессов преобразования и интеграции данных, что приводит к более быстрой и простой разработке и обслуживанию. Основан на уникальной архитектуре E-LT (Extract - Load Transform), Oracle Data Integrator не только гарантирует максимально возможный уровень производительности для выполнения процессов преобразования и проверки данных, но и является наиболее экономичным решением, доступным на сегодняшний день."
Архитектура Oracle Data Integrator
Центральным компонентом архитектуры ODI является репозиторий. В нем хранится информация о конфигурации ИТ-инфраструктуры, метаданные всех приложений, проектов, сценариев и журналы выполнения.
Репозиторий — это абсолютно открытая, всеобъемлющая и совместно используемая база данных метаданных, к которой обращаются приложения, отвечающие за преобразование, разработку проектов, интеграцию и распространение информации. Другие компоненты архитектуры, которые следует отметить, включают ODI Studio, в том числе: Designer, Security Manager, Operator и Topology Navigators.
Designer Navigator используется для разработки проверок целостности данных и создания таких преобразований, как:
- Автоматический обратный инжиниринг существующих приложений или баз данных
- Графическая разработка и сопровождение интерфейсов трансформации и интеграции
- Визуализация потоков данных в интерфейсах
- Автоматическое создание документации
- Настройка сгенерированного кода
Operator Navigator – это инструмент управления производством и мониторинга. С помощью Operator Navigator операторы ИТ-производства могут управлять выполнением интерфейса в сеансах, а также сценариями в рабочей среде.
Навигатор топологии используется для управления данными, описывающими физическую и логическую архитектуру информационной системы. Используйте Topology Navigator для управления топологией информационной системы, технологиями и их типами данных, серверами данных, связанными с этими технологиями, и содержащимися в них схемами, контекстами, языками и агентами, а также репозиториями.
Security Navigator — это инструмент для управления информацией о безопасности в Oracle Data Integrator. Используйте Security Navigator, чтобы: создавать пользователей и профили, назначать права пользователей для методов (редактирование, удаление и т. д.) для универсальных объектов (сервер данных, типы данных и т. д.) и настраивать эти права.
Oracle Data Integrator (ODI) — это мощный инструмент интеграции данных, который поддерживает огромное количество технологий интеграции и был разработан таким образом, чтобы значительно снизить совокупную стоимость владения (TCO). Он предоставляет организациям единый интерфейс для доступа к данным между различными разрозненными системами в рамках корпоративного системного ландшафта и облегчает создание критически важной для бизнеса передачи данных между ними.
Компания ODI, приобретенная Oracle в 2006 году, превратилась в центральный элемент пакета интеграции данных Oracle. Он не только поставляется с адаптерами — так называемыми модулями знаний — для всех основных технологий, но и предлагает новый подход к интеграции данных в целом. Во-первых, подход E-LT снижает совокупную стоимость владения за счет выполнения преобразования данных на существующем оборудовании базы данных и, таким образом, замены выделенного сервера ETL. Во-вторых, бизнес-логика может быть отделена от технической реализации, что оптимизирует взаимодействие между бизнес-пользователями и техническим персоналом.
Хотя ODI поддерживает множество различных технологий, были созданы специальные адаптеры, которые упрощают интеграцию с Hyperion Planning, Essbase и Financial Management. Эти адаптеры значительно сокращают время и усилия, необходимые для загрузки и извлечения данных и метаданных в/из систем Hyperion, независимо от того, находятся ли исходные данные в плоском файле, базе данных или электронной таблице Excel. После объявления о том, что поддержка и дальнейшая разработка Hyperion Application Link (HAL) не будет продолжена, все больше и больше клиентов Hyperion успешно перешли на ODI и признали преимущества по сравнению с HAL. Модульный подход ODI, основанный на модулях знаний и возможности повторного использования пользовательского кода в различных процессах, ускоряет процесс разработки и позволяет применять лучшие практики для обеспечения высочайшего уровня качества данных.
MindStream Analytics предлагает непревзойденный опыт работы с Oracle Data Integrator в среде Hyperion и может помочь внедрить передовые методы интеграции данных.Таким образом, основные причины расхождений могут быть обнаружены при чтении электронного письма с уведомлением, и обеспечивается высочайший уровень качества данных. Наши консультанты пользуются большим спросом и обучают ODI в одной из самых известных независимых учебных фирм Hyperion. Если вам нужен партнер по внедрению для новой разработки или преобразования HAL, вы хотите обсудить варианты использования или вам нужен инструктаж по существующим процессам, не стесняйтесь обращаться к нам.
Связаться с MindStream Analytics
Хотите узнать больше об Oracle Data Integrator? Заполните форму ниже, и мы свяжемся с вами в ближайшее время.
Последний отзыв
MindStream Analytics — ведущая консалтинговая компания, помогающая клиентам лучше понимать бизнес и принимать решения. Обладая многолетним опытом работы в области аналитики и управления эффективностью бизнеса, компания MindStream предлагает клиентам услуги, начиная от выбора и внедрения программного обеспечения и заканчивая передовыми методами финансового планирования. MindStream будет работать с клиентами над решением, которое повышает ценность и предлагает более глубокое понимание их данных. Компания MindStream верит в силу технологий в сочетании с новыми процедурами, позволяющими предоставить клиентам лучшие аналитические возможности
В центре внимания партнеров
Оракул
Oracle предлагает наиболее полный набор интегрированных глобальных бизнес-приложений, которые позволяют организациям принимать более обоснованные решения и сокращать расходы.
Читайте также: