rmanext:从损坏的 Oracle RMAN 备份中强制提取数据文件

联系:手机/微信(+86 17813235971) QQ(107644445)QQ咨询惜分飞

标题:rmanext:从损坏的 Oracle RMAN 备份中强制提取数据文件

作者:惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.]

一个单文件 C 程序,无需安装 Oracle、无需数据库实例,直接读取 RMAN 备份片, 尽最大可能还原出可用的 Oracle 数据文件,并用日志和校验工具证明”恢复了什么、缺了什么”。

  • 作者:XiFenFei(惜分飞)
  • 网站:https://www.xifenfei.com
  • 平台:Windows / Linux
  • 依赖:不依赖任何Oracle程序,只要rmanext提取软件即可

一、它解决什么问题

RMAN 备份集损坏、控制文件/目录丢失、数据库无法启动时,常规恢复手段往往走不通:

  • RMAN RESTORE 依赖控制文件、备份集元数据,头部损坏就整体失败;
  • 备份片动辄几十 GB,损坏点之后的数据并非全部无效;
  • 想把某个数据文件单独”捞”出来做取证、比对、挂库、迁移,缺少趁手的工具。

rmanext 的思路是放弃依赖数据库和目录的完整性,直接按块理解备份片:

  1. 识别 RMAN 备份片格式与压缩类型;
  2. 在损坏区之间反复重同步,尽量不中断;
  3. 用每个数据块自身的 kcbh(rdba、块类型、尾部校验)判断它是谁、该放哪;
  4. 按绝对文件号写出 datafile_N.dbf,未恢复的位置保持稀疏/零,不伪造数据;
  5. 输出逐文件日志与汇总,告诉你覆盖率、来源备份片和大致物理位置。

一句话:能救多少救多少,并且说得清楚救了多少。


二、支持的备份与格式

类型 说明 支持情况
none 未压缩备份(RMAN HARD 格式) 支持,默认还原成数据文件原样
basic BASIC 压缩(Oracle 改造版 bzip2) 支持,含损坏流比特级重同步
medium MEDIUM 压缩(zlib) 支持解码
high HIGH 压缩(标准 bzip2) 支持解码
auto 自动探测类型 支持(邻域校验,抗误判)
LOW / LZO Oracle 旧压缩 不支持
TDE / 加密备份 加密备份集 不支持
bigfile / 多文件备份集 多数据文件、跨片 支持

块大小:默认 8192,可用 --blksz 指定 2048/4096/16384/32768;片头损坏时自动探测。


三、核心能力

1. 损坏恢复

  • 压缩流中断后按 HDR 标记重新同步,跳过损坏段继续解;
  • 单个块解码结果先校验再落盘,错误解码不会污染后续对齐;
  • none 片中被伪造成压缩标记的随机字节不会导致提前截断;
  • 自动探测块大小时结合”合法块比例 + HARD 块 rdba 逐块递增”打分。

2. 精准提取

  • --afn 指定绝对文件号(1、1,3、1-10),避免产出无关文件;
  • 目录登记块数作为块号上界,拦掉离谱 rdba 的垃圾块;
  • 目录外文件号直接丢弃,杜绝单块把文件撑到几十 GB。

3. 原样还原

  • none 备份的块默认补全每个数据块的头部信息
  • 输出可直接被 OBET、Oracle dbverify 等工具校验;
  • 需要保留备份原始字节时用 --raw-hard。

4. 并行提取

  • basic:压缩流按字节切段,各 worker 独立 HDR 重同步;
  • none:按物理块区间切分,块自描述,不依赖目录;
  • 结果与串行逐字节一致;重复副本按物理位置取最后一份,结果可重复;
  • Windows/Linux 均可用。

5. 可观测性

  • 每个 datafile_N.dbf 对应 datafile_N.log;
  • 运行结束输出恢复比例、缺失块数、垃圾/校验失败统计;
  • --manifest 可把多次运行的结果追加到同一清单,便于对账;
  • 推荐配合作者的 OBET 工具做 dbv 终检。

四、快速开始

1. 获取

如果需要软件请联系“惜分飞”进行获取

2. 准备备份片清单

list.txt,一行一个备份片路径:

D:/rman/r156ptd0.rman
D:/rman/r156ptd1.rman

同一备份集的多个片按顺序列出,会追加写入同一数据文件。

3. 提取

# basic 备份,提取全部文件,4 线程
rmanext list.txt basic D:\out -j 4

# none 备份,只提 file 1(默认还原成数据文件格式)
rmanext list.txt none D:\out --afn 1

启动时会要求输入启动密码,具体联系“惜分飞”。

4. 校验

具体参考: obet dbv功能


五、完整参数说明

rmanext <list.txt> <en_type> [outdir] [options]

位置参数

参数 说明
<list.txt> 备份片路径清单;# 开头与空行忽略;支持同一备份集多片
<en_type> none / basic / medium / high / auto
[outdir] 输出目录,默认当前目录,自动创建并做写探测

通用选项

参数 说明
-h, --help 显示功能说明、开发者信息、版本与完整帮助,不需要密码
-V, --version 只输出版本号
-f, --force 校验失败的块也写出(默认只写通过校验的块)
-v, --verbose 详细日志:跳过原因、周期性进度等
-j, --jobs N 并行线程数,默认 1;basic/none 生效,Windows/Linux 可用

提取控制

参数 说明
--afn L 只提取指定绝对文件号,如 1、1,3、1-10、7,9-12;隐含 --append
--maxblk N 指定 --afn 目标文件的块号上界,超出丢弃
--all 流式路径提取全部数据文件(不建中间 tmp)
--append 追加写,绝不清理/截断已有 datafile_N.dbf
--raw-hard 保留 none 备份中的原始 HARD kcbh 字节(默认还原成数据文件格式)
--no-bound 关闭”按目录块数做块号上界”的限制(抢救/目录不可信时慎用)
--truncate-stray 恢复旧版杂散文件收缩逻辑(默认关闭)
--range A-B 只处理片内物理块区间 [A,B);basic 流式路径或 none 扫描路径

--range 的单位是备份片物理块号,不是字节。字节范围 = 块号 × 块大小。

块大小

参数 说明
--blksz N 指定块大小:2048/4096/8192/16384/32768,其他值报错退出

优先级:显式 --blksz > 片内 OSD 头 > 首片 OSD/探测值 > 默认 8192。

中间流复用(basic)

参数 说明
--use-tmp 复用 outdir 下的 <片名>.stream/.plain,不再读原始片;仅 basic/auto,不能与 --afn/--all 组合
--regen 已存在 .stream 时不再询问,直接重新生成
--clean 该片处理完删除 .stream/.plain

统计与清单

参数 说明
--manifest F 把每个文件的 placed/present/maxblk/expected/missing 追加写入 F

六、输出文件说明

文件 内容
datafile_<afn>.dbf 提取出的数据文件,稀疏,未恢复位置为 0
datafile_<afn>.log 该文件的恢复概览(来源片、位置区间、数量、覆盖率)
rmanext_summary.log 本次运行全部文件汇总
<片名>.stream / .plain basic 中间流(可选保留/复用/清理)

datafile_N.log 示例

== rmanext 1.5.0 (2026-11-22)  run 2026-11-22 15:58:48
outdir=d:/dbf block_size=8192 file=1
expected_blocks(dir)=262144
expected_size=2.00 GB
-- sources --
piece[1] d:/r156ptd0.rman
  piece_size=15787909120 bytes  blocks=1927235  block_size=8192
  recovered=135949 blocks (1113694208 bytes)
  approx_span=[130..1927233]  (0.01% .. 100.00% of piece)
-- result --
present(distinct)=135948  placed=135949  duplicates=1
expected_blocks=262144  missing_blocks=126196
missing_ranges=2185
coverage=51.86% (present/expected)
pieces_containing_file=1
-- assessment --
- pieces containing this file: 1 (see each piece[k] approx_span)
- missing blocks are absent from output: RMAN-skipped free blocks,
  failed decode/validation, or excluded by --range/--maxblk
- suggest: obet dbv on d:/dbf/datafile_1.dbf to classify remaining blocks

字段含义:

字段 含义
piece[k] 该文件出现在哪个备份片
recovered 本片恢复的块数/字节数
approx_span 发现该文件块时的片内物理块号范围及占整片百分比(含重复副本)
present 输出中不同块号数量
placed 写入次数(重复覆盖会累加)
duplicates 重复写入块数
missing_blocks 目录应有块数 − present
missing_ranges 缺失块组成的连续区间段数
coverage present / expected
pieces_containing_file 横跨几个备份片

missing 只表示”输出中没有”,不等于损坏:可能是 RMAN 未备份的空闲块、 解码/校验失败,或被 --range/--maxblk 排除。数据质量用 dbv 判定。


七、工作流程(内部实现概览)

备份片
  │ 识别 OSD 头 / 块大小 / 压缩类型
  ▼
明文块 ── 直接按 kcbh 落位(none,HARD 规则)
压缩块 ── 拼接净负载 → 解码(basic/high/medium)
  │       损坏处 HDR 重同步 / 比特级抢救
  ▼
校验(kcbh 类型、尾部校验、XOR、目录上界、文件号)
  ▼
按 rdba 定位 (afn, bno) → 稀疏写入 datafile_afn.dbf
  ▼
统计(present/missing/span)→ 日志 / 汇总 / manifest

并行模式:

  • basic:逻辑流按字节分段,worker 独立重同步;
  • none:物理块区间分段,worker 各自扫描;
  • 每块只由起始位所属 worker 写,重复副本按物理位置取最后一份,结果与串行一致。

八、典型使用场景

  1. 备份集损坏,RMAN 无法恢复:直接按块抢救,能救多少救多少;
  2. 只想要某个数据文件:--afn 快速提取,避免几十 GB 无关输出;
  3. 备份/恢复演练与核对:与线上文件逐块比对,验证备份有效性;
  4. 取证与审计:保留原始 HARD 字节(--raw-hard)或还原态文件;
  5. 大备份分片并行:--range + 多进程/-j 提升吞吐;
  6. 跨平台环境:Windows 运维机、Linux 服务器同一套参数。

九、常见问题(FAQ)

Q1:为什么需要启动密码? 为了防止软件被非法利用,破解客户备份导致数据泄露。

Q2:输出文件为什么很大、但大部分是零? datafile_N.dbf 按数据文件原始块号定位,未恢复的位置保持稀疏/零。用 du 看实际占用,或用 dbv 区分”未备份空闲块”和”坏块”。

Q3:dbv 报大量 rdba error? 早期版本 none 输出保留备份 HARD 格式,dbv 按还原态校验会全部报错。1.4.0 起默认还原 kcbh;若用 --raw-hard,dbv 报 rdba error 属预期。

Q4:missing 块是不是坏了? 不是。missing 仅表示输出中没有:RMAN 未备份(最常见)、解码失败、或参数排除。最终以 dbv 为准。

Q5:并行结果和串行会不一样吗? 不会。样本上逐字节一致;重复副本按物理位置取最后一份,保证可重复。

Q6:支持 16K 块吗? 支持,--blksz 16384 或读取片内 OSD;片头损坏时自动探测。

Q7:--range 单位是什么? 备份片物理块号(不是字节),区间 [A,B);字节起点 = A × 块大小。

Q8:能直接挂库吗? 输出为 Oracle 数据文件格式(默认还原 kcbh),可用于 dbverify、块级分析、部分场景的挂库尝试;完整挂库仍受备份完整性、SCN、控制文件等条件约束。


十、限制与注意事项

  • 不支持 LZO(LOW) 压缩、TDE/加密备份集;
  • medium/high 解码已实现,缺少大规模真实样本交叉验证;
  • Linux 版本源码与构建脚本完备,本文实测数据来自 Windows;
  • 未备份块(含 block 0)无法恢复,任何工具都补不回;
  • 仅用于自有/授权环境的备份恢复与取证,请遵守数据安全与合规要求。

十一、版本与作者

  • 软件:rmanext(Oracle RMAN Backup Extractor)
  • 版本:1.5.0(2026-11-22)
  • 作者:XiFenFei(惜分飞)
  • 网站:https://www.xifenfei.com
  • 配套工具:OBET(Oracle Block Editor Tool),提供 dbv、块修复、文件头修复等能力