Что такое Oracle Golden Gate

Обновлено: 01.07.2024

Oracle Cloud Infrastructure GoldenGate — это полностью управляемая собственная облачная служба, которая перемещает данные в режиме реального времени в нужном масштабе. OCI GoldenGate обрабатывает данные по мере их перемещения из одной или нескольких систем управления данными в целевые базы данных. Вы также можете разрабатывать, запускать, организовывать и отслеживать задачи репликации данных, не выделяя вычислительных сред и не управляя ими.

Концепции GoldenGate для инфраструктуры Oracle Cloud

Для работы со службой GoldenGate необходимы следующие понятия.

Отделение: организует и изолирует ваши облачные ресурсы, такие как облачные сети, вычислительные экземпляры, блочные тома или развертывания OCI GoldenGate и регистрации баз данных. Только пользователи с правами доступа к отсеку могут работать с ресурсами в этом отсеке. Отсеки также служат границей безопасности внутри OCI GoldenGate. Только развертывания и регистрации базы данных в одном и том же отсеке могут иметь доступ друг к другу.
Развертывание: контейнер для ваших ресурсов OCI GoldenGate, таких как консоль развертывания OCI GoldenGate.
Резервная копия развертывания: резервная копия текущего состояния развертывания, хранящаяся в течение 60 дней. Его можно использовать для восстановления развертывания или создания нового развертывания с состоянием исходного развертывания на момент создания резервной копии.
Регистрация базы данных: собирает информацию об исходных и целевых учетных данных и обеспечивает сетевое взаимодействие между арендованной виртуальной облачной сетью (VCN) службы OCI GoldenGate и вашей арендованной VCN с использованием частной конечной точки. Регистрация в базе данных содержит информацию о подключении к исходным или целевым конечным точкам.
Извлечение: процесс, который работает с исходной базой данных и извлекает или собирает данные.
Trail: набор файлов в исходной, промежуточной и/или целевой системе, где Oracle GoldenGate хранит захваченные изменения для поддержки непрерывного извлечения и репликации изменений базы данных.
Репликация: процесс, который доставляет данные в целевую базу данных. Он считывает файл следа в целевой базе данных, реконструирует операции DML или DDL и применяет их к целевой базе данных.

Доступ к облачной инфраструктуре Oracle

Вы можете получить доступ к Oracle Cloud Infrastructure с помощью консоли (интерфейс на основе браузера) или REST API.

Для доступа к консоли:

Для доступа к консоли используйте поддерживаемый браузер.
Введите своего облачного клиента, имя пользователя и пароль при появлении запроса.
Нажмите "Войти" .

Идентификаторы ресурсов

Большинство типов ресурсов Oracle Cloud Infrastructure имеют уникальный, назначенный Oracle идентификатор, который называется Oracle Cloud ID (OCID).

Информацию о формате OCID и других способах идентификации ресурсов см. в разделе Идентификаторы ресурсов.

Ограничения службы

OCI GoldenGate ограничивает вас 20 развертываниями и 100 зарегистрированными базами данных на регион.

Квоты на разделы

Создание лимита квоты позволяет ограничить количество ресурсов развертывания в отсеке.

Учет и выставление счетов

Учет и выставление счетов за OCI GoldenGate основаны на количестве OCPU, которые служба использует в минуту.

При создании развертывания OCI GoldenGate вы выбираете количество OCPU от 1 до 24, которые будет использовать ваше развертывание. Каждому OCPU выделяется дополнительно 16 ГБ памяти.

Вы можете включить автоматическое масштабирование, что позволит сервису масштабироваться до трехкратного количества OCPU, указанного вами при создании. Когда вы включаете автоматическое масштабирование, вам выставляется счет за фактическое среднее количество OCPU, потребляемых в час.

Например, если вы укажете 3 в качестве базового OCPU и включите автомасштабирование, то общее количество OCPU, которые можно использовать, составит 9. Когда использование OCPU превышает 33,333% от 9 OCPU, вам выставляется счет за целочисленное значение. более 33,333%, что составляет 4 OCPU.

< td align="left" valign="top" width="0%" headers="d1263e289 ">88,888% < /таблица>

OCI GoldenGate не может масштабироваться более чем на 24 OCPU, что является максимальным количеством OCPU. Например, если вы выберете 9 OCPU в качестве базового количества OCPU и включите автоматическое масштабирование, сервис будет масштабироваться до 24 OCPU. Вы можете включить или отключить автоматическое масштабирование в любое время. Узнайте больше о масштабировании развертывания.

Вы можете отслеживать потребление OCPU и памяти развертывания в разделе "Метрики" на странице сведений о развертывании.

Интегрированные службы

Служба GoldenGate интегрирована с различными службами и функциями Oracle Cloud Infrastructure.

OCI GoldenGate интегрируется со службой управления идентификацией и доступом (IAM) для аутентификации и авторизации для консоли, SDK, CLI и REST API, но не для консоли развертывания OCI GoldenGate. Для доступа к консоли развертывания OCI GoldenGate используйте имя пользователя и пароль, указанные при создании развертывания.

Чтобы узнать больше о консоли развертывания OCI GoldenGate, см. раздел Репликация данных.

Чтобы узнать больше об IAM, см. раздел Обзор IAM.

Рабочие запросы

OCI GoldenGate не интегрирован с общим API рабочих запросов. Сервис GoldenGate использует собственный API для рабочих запросов. См. Справочник по рабочим запросам.

Мониторинг

Oracle Cloud Infrastructure Monitoring позволяет активно и пассивно отслеживать ресурсы и сигналы тревоги Oracle Cloud Infrastructure GoldenGate. Oracle Cloud Infrastructure GoldenGate Metrics фиксирует загрузку ЦП, потребление OCPU, использование памяти, состояние развертывания, а также задержку входящего и исходящего трафика. Эти показатели можно просмотреть с помощью службы мониторинга или на странице сведений о развертывании.

Ищете документацию, учебные пособия или видеоролики, чтобы узнать больше о продуктах Oracle GoldenGate? Все эти и другие ресурсы можно найти здесь, в Справочном центре Oracle.

Золотые ворота Oracle

Oracle GoldenGate – это комплексный программный пакет, обеспечивающий репликацию данных в разнородных средах данных. Набор продуктов включает решения с высокой доступностью, интеграцию данных в режиме реального времени, сбор данных об изменениях транзакций, репликацию данных, преобразование и проверку между операционными и аналитическими корпоративными системами.

Адаптеры приложений Oracle GoldenGate

Адаптеры приложений Oracle GoldenGate позволяют интегрироваться с экземплярами Oracle GoldenGate, чтобы передавать информацию службы сообщений Java (JMS) или доставлять информацию в виде сообщений JMS или файлов.

Oracle GoldenGate для больших данных

Используйте Oracle GoldenGate for Big Data для потоковой передачи транзакционных данных в системы больших данных в режиме реального времени, повышая качество и своевременность бизнес-аналитики.

Директор Oracle GoldenGate

Oracle GoldenGate Director — это многоуровневое клиент-серверное приложение, позволяющее настраивать экземпляры Oracle GoldenGate и управлять ими с удаленного клиента.

Oracle GoldenGate HP NonStop (Guardian)

Oracle GoldenGate для HP NonStop — это комплексный программный пакет, обеспечивающий репликацию данных в разнородных средах данных. Набор продуктов включает решения с высокой доступностью, интеграцию данных в режиме реального времени, сбор данных об изменениях транзакций, репликацию данных и манипулирование данными.

Монитор Oracle GoldenGate

Oracle GoldenGate Monitor — это веб-консоль мониторинга в режиме реального времени для решения репликации Oracle GoldenGate. Oracle GoldenGate Monitor обеспечивает наглядное графическое представление всех экземпляров Oracle GoldenGate и связанных с ними баз данных на вашем предприятии.

Подключаемый модуль Oracle GoldenGate для EMCC

Подключаемый модуль Oracle GoldenGate для EMCC расширяет возможности Oracle Enterprise Manager Cloud Control для поддержки мониторинга и управления процессами Oracle GoldenGate. Развернув подключаемый модуль в своей среде Cloud Control, вы получаете возможность взаимодействовать с процессами, конфигурациями, файлами журналов, предупреждениями и безопасностью пользователей Oracle GoldenGate.

Студия Oracle GoldenGate

С Oracle GoldenGate Studio пользователи, не знакомые с Oracle GoldenGate, могут начать репликацию данных с минимальными усилиями, а опытные пользователи получат доступ к расширенным параметрам репликации GoldenGate.

Oracle GoldenGate Veridata

Oracle GoldenGate Veridata сравнивает исходный (исходный или доверенный) набор данных с целевым (вторичным) набором данных для выявления расхождений. За счет учета данных, которые реплицируются во время сравнения, Oracle GoldenGate Veridata может работать одновременно с транзакциями данных и репликацией, при этом создавая точный отчет о сравнении.

Узнайте о концепции Oracle GoldenGate, о том, почему и когда ее следует использовать, а также ознакомьтесь с некоторыми основными терминами и ключевыми словами, связанными с Oracle GoldenGate.

1.1 Что такое Oracle GoldenGate?

Oracle GoldenGate — это программный продукт, позволяющий реплицировать, фильтровать и преобразовывать данные из одной базы данных в другую.

Используя Oracle GoldenGate, вы можете перемещать зафиксированные транзакции между несколькими разнородными системами вашего предприятия. Oracle GoldenGate позволяет реплицировать данные между базами данных Oracle в другую поддерживаемую гетерогенную базу данных и между гетерогенными базами данных. Кроме того, в сочетании с Oracle GoldenGate для больших данных можно выполнить репликацию в очереди обмена сообщениями Java, неструктурированные файлы и целевые объекты больших данных.

1.2 Зачем вам нужен Oracle GoldenGate?

Корпоративные данные обычно распределяются по предприятию в гетерогенных базах данных. Чтобы получать данные между различными источниками данных, вы можете использовать Oracle GoldenGate для загрузки, распределения и фильтрации транзакций внутри вашего предприятия в режиме реального времени и обеспечения миграции между различными базами данных практически без простоев.

Для этого вам потребуются средства для эффективного переноса данных из одной системы в другую в режиме реального времени и без простоев. Oracle GoldenGate — это решение Oracle для репликации и интеграции данных.

Oracle GoldenGate имеет следующие основные функции:

Перемещение данных происходит в режиме реального времени, что снижает задержку.

Перемещаются только подтвержденные транзакции, что обеспечивает согласованность и повышает производительность.

Поддерживаются различные версии и выпуски Oracle Database, а также широкий спектр разнородных баз данных, работающих в различных операционных системах. Вы можете реплицировать данные из базы данных Oracle в другую гетерогенную базу данных.

Простая архитектура и простая настройка.

Высокая производительность при минимальной нагрузке на базовые базы данных и инфраструктуру.

1.3 Когда вы используете Oracle GoldenGate?

Oracle GoldenGate отвечает практически любым вашим требованиям к перемещению данных. В этом разделе описаны некоторые наиболее распространенные варианты использования.

Вы можете использовать Oracle GoldenGate для удовлетворения следующих бизнес-требований:

Непрерывность бизнеса и высокая доступность

Непрерывность бизнеса — это способность предприятия предоставлять свои функции и услуги без перерыва в работе. Высокая доступность — это максимально возможный уровень отказоустойчивости. Для обеспечения непрерывности бизнеса системы разрабатываются с несколькими серверами, несколькими хранилищами и несколькими центрами обработки данных, чтобы обеспечить достаточно высокую доступность для обеспечения реальной непрерывности бизнеса. Чтобы создать и поддерживать такую среду, данные необходимо перемещать между этими несколькими серверами и центрами обработки данных, что легко сделать с помощью Oracle GoldenGate.

Рассмотрите сценарий, в котором вы работаете в многонациональном банке со штаб-квартирой в Лондоне, Великобритания. Вы работаете в одном из отделений банка в Бангалоре, Индия. Этот банк использует специальный счет для своего финансового приложения, которое используется во всех филиалах по всему миру. Ваш менеджер попросил вас ежедневно синхронизировать транзакции, которые произошли для этой учетной записи в базе данных филиала в Бангалоре, с централизованной базой данных, расположенной в Великобритании. Объем транзакций огромен, и даже малейшая задержка может сильно повлиять на бизнес. Этот же процесс требуется в нескольких пунктах назначения для каждой базы данных во всех отделениях банка по всему миру. Этот процесс необходимо постоянно отслеживать, желательно с помощью какого-либо инструмента на основе графического интерфейса для простоты управления. Кроме того, у банка есть несколько других, некритичных приложений, используемых во всех отделениях. Эти приложения основаны на гетерогенных базах данных, таких как MySQL, но транзакции, выполняемые в этих базах данных, также должны быть загружены в базу данных Oracle, расположенную в штаб-квартире. Используемая технология репликации должна поддерживать как Oracle, так и гетерогенные базы данных, чтобы они могли взаимодействовать друг с другом. Oracle GoldenGate — подходящее решение для такого сценария.

Первоначальная загрузка и миграция базы данных

Первоначальная загрузка — это процесс извлечения записей данных из исходной базы данных и загрузки этих записей в целевую базу данных. Начальная загрузка — это процесс переноса данных, который выполняется только один раз. Oracle GoldenGate позволяет выполнять первоначальную миграцию данных загрузки, не отключая ваши системы.

Интеграция данных включает в себя объединение данных из нескольких разрозненных источников, которые хранятся с использованием различных технологий, и обеспечивает единое представление данных. Oracle GoldenGate обеспечивает интеграцию данных в режиме реального времени.

В этом сообщении блога рассматриваются основы Oracle® GoldenGate® и его функций. Поскольку GoldenGate не связан с архитектурой базы данных, он упрощает сбор и интеграцию разнородных и однородных данных в режиме реального времени о транзакционных изменениях.

Введение в Oracle GoldenGate

Он обеспечивает репликацию данных между базами данных Oracle и другими поддерживаемыми гетерогенными базами данных.

Зачем использовать GoldenGate?

Некоторые причины для использования GoldenGate включают следующие пункты:

Перемещение данных происходит в режиме реального времени и снижает задержку.
Перемещаются только зафиксированные транзакции, что обеспечивает согласованность и повышает производительность.
Поддерживаются различные версии и выпуски баз данных Oracle, а также множество гетерогенных баз данных, работающих в различных операционных системах.
Он использует простую архитектуру и прост в настройке.
Он обладает высокой производительностью с минимальными затратами на базовые базы данных и инфраструктуру.

Бизнес-требования, которые поддерживает GoldenGate

Используйте GoldenGate для выполнения следующих бизнес-требований:

Непрерывность бизнеса и высокая доступность
Первоначальная загрузка, перенос и обновление базы данных без простоев
Интеграция данных
Прямые отчеты

Как использовать GoldenGate

Существует множество различных архитектур, которые можно настроить, от простой однонаправленной архитектуры до более сложной одноранговой архитектуры. На следующем изображении показаны различные топологии, поддерживаемые GoldenGate.

Логическая архитектура GoldenGate

На следующем изображении показаны компоненты или процессы архитектуры GoldenGate, описанные в этом разделе:

Менеджер

Менеджер — это процесс, который запускает другие процессы GoldenGate. Этот процесс должен выполняться как в исходной, так и в целевой системе для конфигурации и должен инициировать все остальные процессы GoldenGate. Процесс диспетчера также выделяет дисковое пространство, очищая старые следы или файлы извлечения. Для каждой установки GoldenGate требуется один управляющий процесс.

Извлечь

Процесс извлечения включает в себя извлечение данных, которое в GoldenGate называется сбором данных. Извлечение — это процесс, настроенный для работы с исходной базой данных интеллектуального анализа данных.

Extract отвечает за сбор зафиксированных транзакций языка моделирования данных (DML) и языка определения данных (DDL) из журналов повторного выполнения Oracle. Извлечение записывает эти изменения данных в журналы или файлы извлечения.

Тропа

Трейл — это последовательность файлов на диске, в которой GoldenGate хранит захваченные изменения, что обеспечивает непрерывное извлечение и репликацию изменений базы данных. Это независимые от платформы двоичные файлы на уровне ОС.

Реплика

Репликация — это процесс доставки данных в целевую базу данных. Он считывает след в целевой базе данных, реконструирует операции DML или DDL и применяет их к целевой базе данных.

Процесс насоса, который также является процессом извлечения, является необязательным в настройке GoldenGate. Этот процесс копирует файлы следов, содержащие данные, в целевую систему.

Контрольная точка

Процессы насоса извлечения и репликации используют контрольные точки для отслеживания их соответствующего прогресса. Этот механизм отмечает местоположение изменений данных, которые были извлечены или применены из файлов трейлов. Это полезно, когда процессы должны восстановиться без потери данных или нужно знать начальную точку после сбоя.

Коллектор

Процесс сборщика запускается в целевой системе и записывает изменения данных из исходной базы данных в целевые файлы отслеживания, известные как RMTTRAIL. Перед копированием в RMTTRAIL сборщик повторно собирает файлы.

Режимы захвата GoldenGate

Oracle GoldenGate поддерживает следующие типы захвата, описанные в этом разделе:

Классический режим съемки

Классический захват — это оригинальный механизм захвата GoldenGate, который считывает данные непосредственно из онлайн-журналов повторного выполнения и архивных журналов повторного выполнения, где это возможно. При необходимости дополнительные данные могут быть получены из файла базы данных.

Встроенный режим захвата

Интегрированный захват (IC), представленный в Oracle GoldenGate версии 11.2.1, изначально был доступен для Oracle 11.2.0.3 с пакетным исправлением 11.2.0.3 для конкретной базы данных для Integrated Extract 11.2.x (примечание MOS 1411356.1). IC использует сервер интеллектуального анализа журналов в исходной системе или в подчиненной базе данных Oracle, аналогично логическому резервному серверу DataGuard или потокам Oracle.

IC — это новая форма процесса извлечения, перемещенная внутрь исходной базы данных. В традиционном классическом процессе извлечения извлечение работает с журналами повторного выполнения за пределами домена фактической базы данных. В IC запускается процесс анализа журнала сервера, который извлекает все данные DML и операторы DDL (создание, изменение, удаление и т. д.) и создает записи логических изменений (LCR). Затем эти записи передаются процессам памяти GoldenGate, которые записывают LCR в локальные файлы трейлов.

Режимы GoldenGate Replicat

До выпуска версии 12.1 Replicat последовательно применяла транзакции к целевой базе данных. Чтобы достичь параллелизма, таблицы должны были быть разделены на несколько реплик для более быстрого применения данных и уменьшения задержки. Недостатки этого подхода включают ручную настройку нескольких реплик и трейл-файлов, а также ограниченную невозможность разделения таблиц, которые имеют отношения внешнего ключа между репликами.

Новые скоординированные и интегрированные режимы репликации помогают параллельно применять транзакции к целевой базе данных без необходимости вручную разбивать таблицы на несколько реплик.

В следующих разделах описываются различные режимы репликации.

Классическая копия

В классическом Replicat контрольная точка целевой базы данных сообщает системе, какие транзакции были зафиксированы, а какие нет. Это ключевой аспект репликации транзакций.

Классический репликат имеет следующие характеристики:

Последовательно применяет SQL.
Необходимо использовать, если версия базы данных ниже 11.2.0.4

На следующем изображении показан классический Replicat:

Скоординированная копия

Настроенный репликат называется координатором. Этот процесс запускает дополнительные реплики на основе указанного количества потоков. Имя реплики ограничено пятью символами, а реплики с нитями добавляют к этому имени трехзначное число (например, RGGMA, RGGMA001, RGGMA002 и т. д.). Координатор отправляет SQL в потоки, которые могут применяться параллельно и в фиксированном порядке.

На следующем изображении показан скоординированный репликат:

Встроенная реплика

Интегрированный репликат имеет следующие характеристики:

Создает LCR, представляющие DML-транзакции исходной базы данных (в порядке фиксации). DDL применяется непосредственно Replicat. Эти транзакции можно применять параллельно.
Подключается к фоновому процессу в целевой базе данных, который называется входящим сервером базы данных, с помощью упрощенного интерфейса потоковой передачи.
Передает LCR на входящий сервер, который применяет данные к целевой базе данных.

На следующем изображении показан интегрированный репликат:

Заключение

В этом блоге описывалось, как и зачем использовать GoldenGate, обсуждалась его архитектура и компоненты. В нем также подробно описаны режимы захвата и режимы репликации, включенные в инструмент.

Читайте также:

Использование OCPU Больше, чем	OCPU Использование Меньше или равно	Счет за
0	33,333%	3 OCPU
33,333%	44.444%	4 OCPU
44,444%	55,555%	5 OCPU
55,555%	66,666%	6 OCPU
66,666%	77,777%	7 OCPU
77,777%	88,888%	8 OCPU
100%	9 OCPU