Процесс Manager должен выполняться на исходной и целевой сторонах и запускаться до процессов извлечения и репликации. Без этого OGG не может выполнять другие операции. Он управляет и запускает процесс Oracle GoldenGate, запускает динамические процессы, выделяет порты для процесса GoldenGate и управляет файлами трассировки. Создание отчетов о событиях, ошибках и диагностике;
Извлечение выполняется в источнике или может выполняться одновременно на обоих концах в соответствии с системными и бизнес-требованиями для извлечения и сбора данных об изменениях системы, его можно настроить для инициализации загрузки данных (загрузки статических данных непосредственно из источника данных) и в определенный момент После того, как сторона источника синхронизирует данные изменений со стороной сервера (извлекает собранные данные изменений из сетевых журналов или архивных журналов), она также может извлекать и захватывать DDL в системах, которые поддерживают изменения DDL;
При настройке для синхронизации данных процесс извлечения извлекает все операции DML и DDL (требуется дополнительная настройка), которые захватывают объекты, настроенные в файле конфигурации извлечения, и процесс извлечения записывает эти операции до тех пор, пока пользователь не отправит Или откат транзакции: при получении отката извлечение аннулирует эти записи, после получения операции (фиксации) запись процесса извлечения сохраняет эти операции в один или несколько файлов трасс и отправляет их в очередь. Целевой конец для обеспечения скорости передачи данных и согласованности данных.
GOLDEN GATES с РАДОСТЬЮ — 1 — Что такое «Golden Gates» ? | What is «Golden Gates» ?
Data Pumps является вторым типом конфигурации извлечения GoldenGate. Если Data Pump не используется, процесс извлечения должен отправить записанные данные операции на целевой трейл. Если Data Pump настроен, процесс извлечения извлекает захваченные данные и записывает их в трейл. Прочитайте след и отправьте след к целевому следу через сеть.
Насос данных повышает доступность источника и цели извлечения и захвата данных. Основными преимуществами являются: 1. Защита от сбоя передачи сети и отказа цели; 2. Реализация сложной фильтрации данных И преобразование; 3. Может объединять несколько источников данных в пункт назначения; 4. Может синхронизировать один источник данных с несколькими пунктами назначения.
Процесс Replicat запускается на целевой стороне для чтения файла хвостовой части, восстановления DML и DDL и применения его к целевой базе данных. Replicat компилирует SQL один раз и повторно использует скомпилированный SQL, когда значения переменных различаются. Процесс Replicat может быть настроен для инициализации загрузки данных, как процесс извлечения (Загрузка статических данных непосредственно из источника данных) и синхронизация данных об изменениях источника и сервера через определенный момент времени (извлечение измененных данных из онлайн-журнала или архивного журнала);
Файл следа сохраняет и извлекает информацию о захваченных изменениях. В соответствии с конфигурацией GoldenGate след может существовать на дисках исходной системы или дисках целевой системы или на внутреннем носителе системы или связанных систем. Использование файлов следа для хранения и извлечения захваченных данных может быть независимым от В процессе извлечения или репликации вы можете иметь больше вариантов обработки данных и времени достижения конечного конца. Например, вы можете настроить извлечение и сохранение одновременно, а затем отправить данные цели позже.
Синхронизация данных с помощью Oracle GoldenGate и GoldenGate Veridata
Файлы трассировки могут быть добавлены и созданы с помощью команды ADD RMTTRAIL или ADD EXTTRAIL, когда это необходимо для процесса. Имя файла — 8 символов, при создании указываются два символа, а GoldenGate заполняет еще шесть символов последовательности. Последовательность символов от 000000 до 999999. Например, если при создании вы указали два символа «tr», GoldenGate автоматически создаст файл, начиная с tr000001, для сохранения и извлечения захваченных данных, имя файла уникально и по умолчанию сохраняется в каталоге GoldenGate_home dirdat. рядом.
Контрольная точка хранит расположение точек обнаружения, считываемых и записываемых из файлов, и используется для восстановления и восстановления данных. Контрольная точка гарантирует, что измененные и зафиксированные данные извлекаются путем захвата и применяются к цели в процессе репликации; это гарантируется в системе и сети. Либо ошибки, возникающие, когда GoldenGate необходимо перезапустить процесс, не приведут к потере данных: контрольные точки позволяют нескольким процессам извлечения и репликации считывать данные из одного и того же набора данных в сложных конфигурациях синхронизации.
Сборщик является фоновым процессом на целевой стороне.По умолчанию исходный процесс извлечения инициализирует соединение TCP / IP с процессом сборщика на целевой стороне, но, поскольку GoldenGate настраивается, может потребоваться настроить и инициализировать сборщик на целевой стороне. Синхронизируйте часовой пояс, но часовой пояс источника меньше, чем часовой пояс цели. Функция сборщика: 1. В соответствии с запросом процесса извлечения на стороне источника просканируйте и свяжите доступные порты с основным процессом mgr и назначьте его запрошенному процессу извлечения 2. Получите извлечение на стороне источника для извлечения следа и запишите его в файл следа на целевой стороне; Когда источник отправляет сетевой запрос, mgr автоматически запускает фоновый процесс сборщика, поэтому пользователи GoldeGate не могут с ним взаимодействовать. Сборщик может принять только одну информацию процесса извлечения (один к одному) одновременно и завершиться с прекращением извлечения.
2 Настройки переменных каталога и среды
Для эксперимента установите исходный конец в каталог / u01 / app / product / ogg_src на том же компьютере и установите конечный конец в каталог / u01 / app / product / ogg_trg в качестве примера;
[[email protected] ~]$ mkdir -p /u01/app/product/ogg_src [[email protected] ~]$ mkdir -p /u01/app/product/ogg_trg [[email protected] ~]$ ls /u01/app/product 11.2.3 ogg_src ogg_trg
Чтобы установить GoldenGate в Linux, настройте ORACLE_SID, ORACLE_HOME и LD_LIBRARY_PATH;
export ORACLE_BASE=/u01 export ORACLE_HOME=$ORACLE_BASE/app/product/11.2.3/db_1 export ORACLE_SID=sydb export LD_LIBRARY_PATH=$ORACLE_HOME/lib:$ORACLE_HOME/lib32 alias sqlplus=’rlwrap sqlplus’ alias rman=’rlwrap rman’ alias nmon=’/usr/nmon/nmon_x86_centos6′ alias bbed=’rlwrap bbed’ PATH=$PATH:$HOME/.local/bin:$HOME/bin:$ORACLE_HOME/bin:$ORACLE_HOME/OPatch export PATH
Примечание. Тип бита версии операционной системы, версии базы данных и версии Oracle GoldenGate должен быть одинаковым: все 32-разрядные или все 64-разрядные;
3 Установите GoldenGate
3.1 Установка GoldenGate у источника
[[email protected] ~]$ unzip 121210_fbo_ggs_Linux_x64_shiphome.zip -d /tmp [[email protected] ~]$ /tmp/fbo_ggs_Linux_x64_shiphome/Disk1/runInstaller
Выберите соответствующую опцию GoldenGate в соответствии с версией базы данных;
Измените место установки программного обеспечения GoldenGate, установите его в каталог / u01 / app / product / ogg_src, проверьте правильность расположения установки базы данных и настройте порт;
Проверьте информацию об установке и запустите установку после подтверждения ее правильности;
На этом установка исходного кода завершена.
3.2 Установить GoldenGate на цель
Конфигурация и установка конечного конца аналогичны шагам установки исходного конца. Единственное отличие состоит в том, что если исходный конец и конечный конец установлены на одном компьютере, их необходимо установить в разные каталоги (здесь / u01 / app / product / ogg_trg) и настроить другой порт (здесь 7909);
После завершения установки настройте команды быстрого вызова командной строки OGG и функцию обратной записи. Добавьте следующее в файл конфигурации .bash_profile:
alias tggsci=’rlwrap /u01/app/product/ogg_trg/ggsci’ alias sggsci=’rlwrap /u01/app/product/ogg_src/ggsci’
Исходная команда OGG ggsci sggsci конфигурируется описанным выше методом псевдонима, целевая команда OGG ggsci tggsci и rlwrap позволяют ей поддерживать функцию обратной записи, так что команда OGG ggsci может использоваться в любой позиции;
[[email protected] ~]$ which tggsci alias tggsci=’rlwrap /u01/app/product/ogg_trg/ggsci’ /usr/local/bin/rlwrap [[email protected] ~]$ which sggsci alias sggsci=’rlwrap /u01/app/product/ogg_src/ggsci’ /usr/local/bin/rlwrap [[email protected] ~]$ sggsci Oracle GoldenGate Command Interpreter for Oracle Version 12.1.2.1.0 OGGCORE_12.1.2.1.0_PLATFORMS_140727.2135.1_FBO Linux, x64, 64bit (optimized), Oracle 11g on Aug 7 2014 09:14:25 Operating system character set identified as UTF-8. Copyright (C) 1995, 2014, Oracle and/or its affiliates. All rights reserved.
GGSCI (sywu) 1> exit [[email protected] ~]$ tggsci Oracle GoldenGate Command Interpreter for Oracle Version 12.1.2.1.0 OGGCORE_12.1.2.1.0_PLATFORMS_140727.2135.1_FBO Linux, x64, 64bit (optimized), Oracle 11g on Aug 7 2014 09:14:25 Operating system character set identified as UTF-8. Copyright (C) 1995, 2014, Oracle and/or its affiliates. All rights reserved. GGSCI (sywu) 1> exit [[email protected] ~]$
В этой версии по умолчанию автоматически создаются подкаталоги, поэтому более ранние версии, возможно, придется создавать вручную с помощью команды create subdirs в командной строке GGSCI; убедитесь, что процесс mgr должен быть запущен после завершения установки;
GGSCI (sywu) 1> view param mgr PORT 7909 GGSCI (sywu) 2> info mgr Manager is running (IP port sywu.7909, Process ID 16870).
4 Структура каталогов GoldenGate
| Parameter files | .prm | /u01/app/product/ogg_src/dirprm |
| Report files | .rpt | /u01/app/product/ogg_src/dirrpt |
| Checkpoint files | .cpr | /u01/app/product/ogg_src/dirchk |
| Process status files | .pcs | /u01/app/product/ogg_src/dirpcs |
| SQL script files | .sql | /u01/app/product/ogg_src/dirsql |
| Database definitions files | .def | /u01/app/product/ogg_src/dirdef |
| Extract data files | /u01/app/product/ogg_src/dirdat | |
| Temporary files | /u01/app/product/ogg_src/dirtmp | |
| Credential store files | .crd | /u01/app/product/ogg_src/dircrd |
| Masterkey wallet files | .wlt | /u01/app/product/ogg_src/dirwlt |
| Dump files | .dmp | /u01/app/product/ogg_src/dirdmp |
5 Резюме
GoldenGate состоит из ряда процессов, таких как фоновый процесс COLLECTOR, процесс MGR, процесс EXTRACT, процесс EXTRACT DATA PUMP и Replicat, фоновый процесс COLLECTOR отвечает за получение и сохранение исходных данных в трейле, управление процессом MGR запускает процесс Oracle GoldenGate, выделяет порты и управляет трейлом. файл, создать событие, отчет об ошибке и диагностике; процесс EXTRACT отвечает за извлечение и сбор информации об изменениях и запись в журнал; DTR PUMP EXTRACT — это вторая конфигурация процесса извлечения GoldenGate, которая улучшает доступность исходных и целевых данных извлечения. Избегайте потери данных, вызванной сетевыми ошибками и ошибками конечного узла, и предоставьте более сложные функции фильтрации и преобразования данных, а также методы синхронизации данных с несколькими источниками к одному и с одним источником к нескольким; процесс репликации считывает полученный файл журнала, Восстановите DML и DDL на основе содержимого файла трассировки и примените его к целевой базе данных.
Источник: russianblogs.com
Oracle GoldenGate
Oracle GoldenGate 11g — это высокопроизводительное программное обеспечение для захвата изменений данных (CDC), их преобразования и доставки, обеспечивающее двустороннюю репликацию на основе журналов СУБД. GoldenGate помогает гарантировать доступность критических систем в режиме 24/7, а также извлекать данные, необходимые для принятия решений, из различных источников.
Oracle GoldenGate обеспечивает сбор, трансформацию, маршрутизацию и доставку транзакций баз данных в гетерогенной среде в реальном времени. Он перемещает данные с очень большой скорость, низкой нагрузкой и задержкой менее секунды, но при этом сохранят транзакционную целостность. Компонентная архитектура Oracle GoldenGate помогает компаниям решать задачи, связанные с обеспечением непрерывной доступности и интеграции данных в реальном времени, которые возникают при построении корпоративных систем.
Обеспечение высокой доступности для критических систем
Oracle GoldenGate может быть сконфигурировано, чтобы использоваться в следующих сценариях:
- Восстановление после аварии и защита данных. Создать и поддерживать резервную систему с задержкой менее минуты, чтобы минимизировать время восстановления для бизнес-критичных систем. GoldenGate может работать как в среде баз данных Oracle, так и в случае СУБД сторонних производителей.
- Работа без простоя. Не останавливать бизнес во время обновления систем, миграции и плановых работ.
- Распространение данных. Синхронизировать данные для распределенных приложений в реальном времени для повышения доступности и масштабируемости.
- Вынос нагрузки. Гарантировать высокую производительность промышленных систем за счет выноса нагрузки «на чтение» на отдельную систему (возможно на другой платформе или СУБД).
Интеграция данных всего предприятия в реальном времени
Oracle GoldenGate в режиме реального времени собирает измененные данные и доставляет их в Хранилище Данных, отчетные системы и другие транзакционные системы с минимальным воздействием на производительность систем-источников. Доступ к информации в реальном времени дает лучшее понимание происходящих в компании бизнес-процессов.
- Хранилища данных реального времени. GoldenGate обеспечивает постоянный захват измененных данных и их перемещение из OLTP-источников в единое хранилище данных. При необходимости Oracle GoldenGate интегрируется с ETL-инструментами (например, Oracle Data Integrator).
- Оперативная отчетность. GoldenGate позволяет разгрузить промышленную базу данных от решения задач отчетности за счет переноса необходимых данных на более дешевые сервера в реальном времени.
- Интеграция оперативных данных. GoldenGate позволяет интегрировать оперативные данные между транзакционными системами в реальном времени. Наличие в организации SOA-инфраструктуры (построенной, например, на базе Oracle SOA Suite) позволяет обмениваться измененными данными по сервисной шине с использованием адаптеров GoldenGate.
Ключевые особенности и выгоды Oracle GoldenGate
Использование Oracle GoldenGate обеспечивает следующие возможности и преимущества:
- Данные в реальном времени. Моментальный захват, преобразование и доставка транзакционных данных в другие системы с задержкой по времени менее секунды. Это дает значительное преимущество в задачах принятия решений в масштабах всей организации.
- Поддержка различных систем. За счет подключения к информационному обмену различных баз данных и платформ сохраняются инвестиции в ИТ системы и снижается общая стоимость владения.
- Надежность. GoldenGate обеспечивает перемещение данных без необходимости остановки систем-источников и работает в условиях отсутствия специальных регламентных временных окон. GoldenGate также гарантирует передачу всех подтвержденных (committed) транзакций в целевую систему даже в случае сбоев в сети.
- Высокая производительность с минимальной нагрузкой. GoldenGate обеспечивает передачу тысяч транзакций в секунду с минимальной нагрузкой на существующие системы. Это дает возможность получать критически важную информацию в режиме реального времени, не создавая дополнительную нагрузку на промышленные сервера.
- Транзакционная целостность. GoldenGate гарантирует соблюдение требований ACID (Атомарность, Согласованность, Изоляция, Долговечность) в процессе передачи транзакционных данных между исходной и целевой системами. Это обеспечивает целостность в рамках всей топологии репликации (промышленные, резервные, отчетные базы данных).
- Интеграция. GoldenGate может быть использована в ETL-продуктах, например, Oracle Data Integrator. Использование программных адаптеров GoldenGate также позволяет передавать данные посредством сервисной шины.
- Гибкая поддержка различных топологий. GoldenGate может использоваться в различных конфигурациях: один источник и один приемник, одна приемник и несколько источников, несколько приемник и один источник, двунаправленные механизмы, каскадирование и т.д.
- Обнаружение и разрешение конфликтов. GoldenGate позволяет обнаруживать и разрешать конфликты при использовании топологии с несколькими активными базами данных.
- Маршрутизация, сжатие и шифрование данных. GoldenGate использует TCP/IP для пересылки данных и не имеет специфичных требований к расстоянию между источником и приемником. Кроме того, к данным может применяться сжатие и шифрование.
- Отложенная доставка. GoldenGate позволяет применять изменения с задержкой, заданной пользователем, без потери транзакционной целостности данных.
Oracle GoldenGate помогает организациям сохранять существующие инвестиции в ИТ и улучшать операционную деятельность бизнес-подразделений за счет обеспечения постоянного доступа к критически важной информации в режиме реального времени.
Благодаря поддержке разнообразных интеграционных сценариев, Oracle GoldenGate обеспечивает надежную основу для решения актуальных задач информационного обмена в современных организациях.
Источник: www.fors.ru
Золотые ворота: как реплицировать терабайт в час, или Опыт использования CDC на GoldenGate в ВТБ
Анализировать данные в реальном времени можно разными способами. В ВТБ мы используем технологию Change Data Capture (CDC), реализованную в инструменте Golden Gate Oracle: для нас очень важна скорость, при этом хотелось бы уменьшить объем передаваемых данных и снизить нагрузку на источник. И хотя основная сфера применения этого инструмента — репликации из Oracle и MS SQL, за несколько лет работы с CDC у нас накопилось несколько интересных кейсов, наподобие миграции данных между платформами или разными типами СУБД. Под катом мы поделимся нашим опытом работы с Golden Gate.
Зачем нам понадобилась CDC (Change Data Capture)
Повседневное применение банковских карт давно стало привычным, и люди, как правило, не задумываются, что каждое использование платежного терминала — это оперативная передача в банк определенной информации. Объемы данных растут, при этом обрабатывать их хотелось бы как можно быстрее, в том числе чтобы отправлять спецпредложения в реальном времени, ведь, как говорится, хороша ложка к обеду. И совсем не так хороши для обработки данных на лету традиционные инструменты ETL (extract, transform, load — извлечение, преобразование, загрузка). Вот одно из слабых звеньев: когда данные забираются из таблиц системы источника, необходимо выбрать только новые строки или строки с изменениями. Такой подход дополнительно нагружает систему-источник и увеличивает объем передаваемых данных.
CDC же в режиме реального времени захватывает изменения из журналов базы данных. Так источник нагружается гораздо меньше, да и объем передаваемых данных сокращается. С этой технологией мы снизили потребность в вычислительных ресурсах для систем с большим объемом транзакционных изменений: ведь для захвата данных даже для самых высоконагруженных банковских систем достаточно 1–2 ядер процессора на источнике. А если бы мы внедряли ETL, то потребовалось бы докупать процессорные емкости, чтобы вычитывать данные в параллели.
В ВТБ мы уже несколько лет используем технологии Oracle GoldenGate — инструмент CDC от Oracle. С его помощью мы наполняем оперативное хранилище данных и разносим функции информационных систем на «теплые» и «горячие» зоны. 90% применения OGG в ИТ-ландшафте банка — загрузка данных из Oracle и MS SQL, но, кроме репликации, он отлично справляется с другими задачами. Давайте рассмотрим несколько примеров из нашей практики.
