0

0

Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

php中文网

php中文网

发布时间:2016-06-07 15:01:58

|

1685人浏览过

|

来源于php中文网

原创

检查点将进程的当前读写位置存储在磁盘中用于恢复目的。检查点不仅可以真实地标记 Extract 进程捕获的要进行同步的数据变化以及 Replicat 进程应用到 target 数据库的数据变化,防止进程进行冗余的数据处理,还可以提供容错机制,防止在系统、网络或 Oracle

 

      检查点将进程的当前读写位置存储在磁盘中用于恢复目的。检查点不仅可以真实地标记 Extract进程捕获的要进行同步的数据变化以及 Replicat进程应用到 target数据库的数据变化,防止进程进行冗余的数据处理,还可以提供容错机制,防止在系统、网络或 Oracle GoldenGate进程需要重启时发生数据丢失。对于复杂的同步配置,检查点可以确保多个 ExtractReplicat进程从同一组 trail文件中进行读取操作。检查点和进程间的回执机制共同防止了网络间的信息丢失。 Oracle GoldenGate采用了一套专有的可靠信息传递技术。

 

      Extract进程创建检查点来存储其在数据源中的读取位置以及trail文件中的写入位置信息。由于 Extract进程只捕获已提交的事务,因此 Extract进程必须跟踪所有 open(未提交)事务的操作,才能实时感知这些事务的提交状态。这就要求 Extract进程记录一个检查点来表示该进程当前在事务日志中的读取位置以及最早开始的 open(未提交)事务的起始位置(可能在当前读取的事务日志中,也可能在之前的事务日志中)。为了控制 Extract进程发生中断后必须重新处理的事务日志量,Extract进程会以特定的时间间隔将正在处理的事务(包括长时间运行的事务的状态和数据)的当前状态及数据写入磁盘。当 Extract进程在这些时间间隔中任意某个间隔点停止时,Extract进程可以直接从上一个时间间隔内的某个时间点或者上一个检查点位置开始进行恢复,而不用从事务日志中最早开始的长时间运行事务的起始位置开始进行恢复。这一过程实质上就是 Extract进程的Bounded Recovery机制,详情请参考《Oracle GoldenGate 系列:Extract 进程的恢复原理》,地址:http://blog.csdn.net/xiangsir/article/details/8785484

 

      Replicat进程创建检查点来存储其在 trail文件中的读取位置。Replicat进程将其检查点信息存储在 target 数据库中的检查点表中来保护其处理的事务的提交信息以及在 trail文件中的读取位置。当数据库进行恢复后,检查点表可以保证数据的一致性,确保即使是在 Replicat进程或者数据库进程发生故障后,一个事务也只会被应用一次。为了实现报告目的,Replicat进程还会在OGG根目录下的 dirchk子目录下写一个检查点文件。对于 initial load之类的非持续性同步配置,不需要检查点机制。    

 

? Extract进程负责维护:

? 3 个输入检查点

? 1 个输出检查点

 Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

 

通过 info extractextract_name,showch命令可以查看上述检查点信息:

 

Extract进程检查点信息示例

 

GGSCI(prod.oracle.com) 11> info escott,showch

 

EXTRACT    ESCOTT   Last Started 2013-05-23 20:51  Status RUNNING

Checkpoint Lag       00:00:00 (updated 00:00:01 ago)

Log ReadCheckpoint  Oracle Redo Logs

                     2013-05-23 20:52:01  Seqno 201, RBA 352256

                     SCN 0.1649108 (1649108)

Current CheckpointDetail:

 

-----三个输入检查点

Read Checkpoint #1

  Oracle Redo Log

  Startup Checkpoint (starting position in thedata source):

    Thread #: 1

    Sequence #: 200

    RBA: 4214800

    Timestamp: 2013-05-23 17:33:36.000000

    SCN: 0.1628299 (1628299)

    Redo File:/u01/app/oracle/oradata/prod/redo02.log

 

  RecoveryCheckpoint (position of oldest unprocessed transaction in the data source):

    Thread #: 1

    Sequence #: 201

    RBA: 347152

    Timestamp: 2013-05-23 20:51:58.000000

    SCN: 0.1649106 (1649106)

    Redo File:/u01/app/oracle/oradata/prod/redo03.log

 

  CurrentCheckpoint (position of last record read in the data source):

    Thread #: 1

    Sequence #: 201

    RBA: 352256

    Timestamp: 2013-05-23 20:52:01.000000

    SCN: 0.1649108 (1649108)

    Redo File:/u01/app/oracle/oradata/prod/redo03.log

 

----一个输出检查点

Write Checkpoint #1

  GGS Log Trail

 

  CurrentCheckpoint (current write position):

    Sequence #: 30

    RBA: 1079

    Timestamp: 2013-05-23 20:52:04.923545

    Extract Trail: ./dirdat/aa

 

ExtractPump)进程检查点信息示例

 

GGSCI(prod.oracle.com) 15> info pscott,showch

 

EXTRACT    PSCOTT   Last Started 2013-05-23 21:25  Status RUNNING

Checkpoint Lag       00:00:00 (updated 00:00:06 ago)

Log ReadCheckpoint  File ./dirdat/aa000030

                     First Record  RBA 1079

Current CheckpointDetail:

Read Checkpoint #1

  GGS Log Trail

  Startup Checkpoint (starting position in thedata source):

    Sequence #: 30

    RBA: 1079

    Timestamp: 2013-05-23 20:51:22.385499

    Extract Trail: ./dirdat/aa

 

  CurrentCheckpoint (position of last record read in the data source):

    Sequence #: 30

    RBA: 1079

    Timestamp: Not Available

    Extract Trail: ./dirdat/aa

 

Write Checkpoint #1

  GGS Log Trail

  CurrentCheckpoint (current write position):

    Sequence #: 16

    RBA: 1251

字狐AI
字狐AI

由GPT-4 驱动的AI全能助手,支持回答复杂问题、撰写邮件、阅读文章、智能搜索

下载

    Timestamp: 2013-05-23 21:37:59.020538

    Extract Trail: ./dirdat/pa

 

 

     Oracle建议在 target数据库中创建检查点表,GoldenGate会同时在检查点文件和检查点表(如果存在)中维护检查点数据。

? Replicat进程负责维护2个输入检查点:

Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

 

ReplicatDelivery进程检查点信息示例

GGSCI(dss.oracle.com) 2> info rscott,showch

 

REPLICAT   RSCOTT   Last Started 2013-05-23 21:33  Status RUNNING

Checkpoint Lag       00:00:00 (updated 00:00:00 ago)

Log ReadCheckpoint  File ./dirdat/pa000016

                     First Record  RBA 1251

Current CheckpointDetail:

Read Checkpoint #1

  GGS Log Trail

  StartupCheckpoint (starting position in the data source):

    Sequence #: 16

    RBA: 1251

    Timestamp: 2013-05-23 21:26:10.516047

    Extract Trail: ./dirdat/pa

 

  CurrentCheckpoint (position of last record read in the data source):

    Sequence #: 16

    RBA: 1251

    Timestamp: Not Available

    Extract Trail: ./dirdat/pa

 

CSN stateinformation:

  CRC: 6D-46-5-9A

  Latest CSN: 1619129

  Latest TXN: 2.32.1145

  Latest CSN of finished TXNs: 1619129

  Completed TXNs: 2.32.1145

 

除了上述 infoprocess_name,showch 命令可以查看进程的详细检查点信息外,对于 Replicat进程,我们一般还会配置 checkpoint表,我们还可以在 checkpoint表中获取这些信息。

 

OGG进程的检查点文件位于 dirchk子目录下,Extract进程的检查点文件扩展名为 cpsReplicat进程的检查点文件扩展名为 cpr

 

The different OGG checkpoint files are located underthe dirchk/ location, e.g.

 

- extract related : *.cpe;

- extract pump (datapump) related : *.cpe;

- bounded recovery related : *.cpb; - refer to 'Bounded Recovery

- replicat related : *.cpr

 

源文档 http://www.manishsrivastava-dba.com/2012/11/comparison-of-golden-gate-vs-streams.html>

 

 

[oracle@proddirchk]$ ls -lt ESCOTT*

-rw-rw-r-- 1 oracleoinstall 67584 May 23 21:58 ESCOTT.cpe

 

[oracle@proddirchk]$ ls -lt PSCOTT*

-rw-rw-r-- 1 oracleoinstall 67584 May 23 21:58 PSCOTT.cpe

 

[oracle@dss dirchk]$ls -lt RSCOTT*

-rw-rw-r-- 1 oracleoinstall 22528 May 23 21:55 RSCOTT.cpr

 

对于 Replicat进程,我们一般还会配置 checkpoint表,可以直接通过查询检查点表获取进程的检查点信息:

select * fromggs.ggs_checkpoint

 

Oracle GoldenGate检查点机制工作原理详解:

 Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

 

ExtractCapture)进程如何记录检查点

 

如上图所示,源数据库中共运行了4个事务:TX1TX2TX3 TX4CaptureExtract)进程将从事务日志中捕获的最早开始运行的未提交的事务 Begin,TX1 检查点信息、从事务日志中读取的最后一条操作记录Delete,TX4的检查点信息以及按照事务提交顺序写入trail文件的最后一条commit操作 COMMIT,TX3 的检查点信息写入检查点文件(见图中的文本图标)。注意,上图虽未包含事务日志的读取起点信息,并不代表 Extract进程不会将该检查点信息写入磁盘文件。

 

 Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

 

ExtractPump)进程如何记录检查点

 

如上图所示,Pump进程将其在 Extract进程所写的 trail文件中的当前读取位置Commit,TX2以及在自己所写的 remote trail文件中的当前写入位置 Commit,TX2记录到磁盘上的检查点文件中。

 

 Oracle GoldenGate 系列:深入理解 Oracle GoldenGate 检查点机

 

ReplicatDelivery)进程如何记录检查点

 

如上图所示,Replicat进程将其在 Pump文件传送过来的 trail文件中的当前读取位置Commit,TX2写入检查点文件。


作者:xiangsir

QQ:444367417

MSN:xiangsir@hotmail.com



热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法
pixiv网页版官网登录与阅读指南_pixiv官网直达入口与在线访问方法

本专题系统整理pixiv网页版官网入口及登录访问方式,涵盖官网登录页面直达路径、在线阅读入口及快速进入方法说明,帮助用户高效找到pixiv官方网站,实现便捷、安全的网页端浏览与账号登录体验。

463

2026.02.13

微博网页版主页入口与登录指南_官方网页端快速访问方法
微博网页版主页入口与登录指南_官方网页端快速访问方法

本专题系统整理微博网页版官方入口及网页端登录方式,涵盖首页直达地址、账号登录流程与常见访问问题说明,帮助用户快速找到微博官网主页,实现便捷、安全的网页端登录与内容浏览体验。

135

2026.02.13

Flutter跨平台开发与状态管理实战
Flutter跨平台开发与状态管理实战

本专题围绕Flutter框架展开,系统讲解跨平台UI构建原理与状态管理方案。内容涵盖Widget生命周期、路由管理、Provider与Bloc状态管理模式、网络请求封装及性能优化技巧。通过实战项目演示,帮助开发者构建流畅、可维护的跨平台移动应用。

64

2026.02.13

TypeScript工程化开发与Vite构建优化实践
TypeScript工程化开发与Vite构建优化实践

本专题面向前端开发者,深入讲解 TypeScript 类型系统与大型项目结构设计方法,并结合 Vite 构建工具优化前端工程化流程。内容包括模块化设计、类型声明管理、代码分割、热更新原理以及构建性能调优。通过完整项目示例,帮助开发者提升代码可维护性与开发效率。

20

2026.02.13

Redis高可用架构与分布式缓存实战
Redis高可用架构与分布式缓存实战

本专题围绕 Redis 在高并发系统中的应用展开,系统讲解主从复制、哨兵机制、Cluster 集群模式及数据分片原理。内容涵盖缓存穿透与雪崩解决方案、分布式锁实现、热点数据优化及持久化策略。通过真实业务场景演示,帮助开发者构建高可用、可扩展的分布式缓存系统。

26

2026.02.13

c语言 数据类型
c语言 数据类型

本专题整合了c语言数据类型相关内容,阅读专题下面的文章了解更多详细内容。

29

2026.02.12

雨课堂网页版登录入口与使用指南_官方在线教学平台访问方法
雨课堂网页版登录入口与使用指南_官方在线教学平台访问方法

本专题系统整理雨课堂网页版官方入口及在线登录方式,涵盖账号登录流程、官方直连入口及平台访问方法说明,帮助师生用户快速进入雨课堂在线教学平台,实现便捷、高效的课程学习与教学管理体验。

14

2026.02.12

豆包AI网页版入口与智能创作指南_官方在线写作与图片生成使用方法
豆包AI网页版入口与智能创作指南_官方在线写作与图片生成使用方法

本专题汇总豆包AI官方网页版入口及在线使用方式,涵盖智能写作工具、图片生成体验入口和官网登录方法,帮助用户快速直达豆包AI平台,高效完成文本创作与AI生图任务,实现便捷智能创作体验。

524

2026.02.12

PostgreSQL性能优化与索引调优实战
PostgreSQL性能优化与索引调优实战

本专题面向后端开发与数据库工程师,深入讲解 PostgreSQL 查询优化原理与索引机制。内容包括执行计划分析、常见索引类型对比、慢查询优化策略、事务隔离级别以及高并发场景下的性能调优技巧。通过实战案例解析,帮助开发者提升数据库响应速度与系统稳定性。

53

2026.02.12

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
SQL 教程
SQL 教程

共61课时 | 3.9万人学习

Java 教程
Java 教程

共578课时 | 67.5万人学习

oracle知识库
oracle知识库

共0课时 | 0.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号