MongoDB 离线提取工具—mongoext

联系:手机/微信(+86 17813235971) QQ(107644445)QQ咨询惜分飞

标题:MongoDB 离线提取工具—mongoext

作者:惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.]

在某些情况下,由于断电、硬件故障、软件bug等导致mongodb数据库无法正常启动,甚至使用repair依然无法启动,对于这样的情况.我专门开发了mongodb离线提取工具mongoext,在离线情况下直接提取mongodb的数据
整体命令支持

G:\mongodb\mongoext>mongoext.exe -h
usage: mongoext [-h] {scan,recover,info} ...

脱机 MongoDB 数据文件提取工具

positional arguments:
  {scan,recover,info}
    scan               扫描 dbPath 并导出
    recover            恢复孤立的单个 collection 文件(无 catalog)
    info               打印 dbPath 元信息

options:
  -h, --help           show this help message and exit

scan 是基于mongodb字典直接提取数据
recover是直接恢复单个集合文件中数据
info是获取字典信息以及集合对应关系

mongoext scan 命令介绍

G:\mongodb\mongoext>mongoext.exe scan -h
usage: mongoext scan [-h] [--db DB] [--collection COLLECTION] [--include-system] [--out OUT]
                     [--format {jsonl,sql,bson,mongo}] [--uri URI] [--batch BATCH] [--no-indexes] [--ttl-indexes]
                     [--keep-existing] [--sql-dialect {postgres,mysql}] [--dedup] [--no-progress] [--dry-run]
                     [--allocation-size ALLOCATION_SIZE]
                     dbpath

positional arguments:
  dbpath                dbPath 路径

options:
  -h, --help            show this help message and exit
  --db DB               只导出指定数据库
  --collection COLLECTION
                        只导出指定集合
  --include-system      连 admin/config/local 也一起导入(默认跳过,会污染目标实例)
  --out OUT             输出目录(--format mongo 时不需要)
  --format {jsonl,sql,bson,mongo}
                        输出格式;mongo = 直接写入运行中的 mongod(BSON 类型保真)
  --uri URI             --format mongo 的目标连接串
  --batch BATCH         --format mongo 每批 insert_many 的条数
  --no-indexes          --format mongo 导入后不重建索引
  --ttl-indexes         --format mongo 连 TTL 索引也重建(默认不建:建了会立刻按过期时间删数据)
  --keep-existing       --format mongo 不 drop 目标集合,追加写入
  --sql-dialect {postgres,mysql}
                        SQL 方言
  --dedup               按 _id 去重(多版本 leaf page 残留时开启)
  --no-progress         关闭 tqdm 进度条
  --dry-run             只统计不写盘,用于核对提取完整性与文档计数
  --allocation-size ALLOCATION_SIZE
                        手工指定块对齐粒度(默认从 turtle / 元数据读,读不到才穷举探测)

mongoext-scan


mongoext recover命令介绍

G:\mongodb\mongoext>mongoext.exe recover -h
usage: mongoext recover [-h] [--orphans DBPATH] [--db DB] [--collection COLLECTION] [--meta-dir META_DIR] [--out OUT]
                        [--format {jsonl,sql,bson,mongo}] [--uri URI] [--batch BATCH] [--no-indexes] [--ttl-indexes]
                        [--keep-existing] [--sql-dialect {postgres,mysql}] [--dedup] [--no-progress] [--dry-run]
                        [--allocation-size ALLOCATION_SIZE]
                        [wt_file]

positional arguments:
  wt_file               孤立的 collection-*.wt 文件

options:
  -h, --help            show this help message and exit
  --orphans DBPATH      批量恢复该 dbPath 里 catalog 未记录的 collection 文件
  --db DB               手工指定库名(与 --collection 一起用)
  --collection COLLECTION
                        手工指定集合名(与 --db 一起用)
  --meta-dir META_DIR   伴生文件(turtle / _mdb_catalog.wt / WiredTiger.wt)所在目录,用来反查 namespace;
                        文件已拷走但原 dbPath 还在时指过去即可
  --out OUT             输出目录(--format mongo 时不需要)
  --format {jsonl,sql,bson,mongo}
                        输出格式;mongo = 直接写入运行中的 mongod(BSON 类型保真)
  --uri URI             --format mongo 的目标连接串
  --batch BATCH         --format mongo 每批 insert_many 的条数
  --no-indexes          --format mongo 导入后不重建索引
  --ttl-indexes         --format mongo 连 TTL 索引也重建(默认不建:建了会立刻按过期时间删数据)
  --keep-existing       --format mongo 不 drop 目标集合,追加写入
  --sql-dialect {postgres,mysql}
                        SQL 方言
  --dedup               按 _id 去重(多版本 leaf page 残留时开启)
  --no-progress         关闭 tqdm 进度条
  --dry-run             只统计不写盘,用于核对提取完整性与文档计数
  --allocation-size ALLOCATION_SIZE
                        手工指定块对齐粒度(默认从 turtle / 元数据读,读不到才穷举探测)

mongoext-recover


常使用命令说明

# 看库结构
mongoext.exe info DBPATH

# 只统计不写盘
mongoext.exe scan DBPATH --out ./out --dry-run --dedup

# 全库导 JSON Lines(人看 / 给别的程序吃)
mongoext.exe scan DBPATH --out ./out --format jsonl --dedup

# 全库导 BSON(给 mongorestore 用)
mongoext.exe scan DBPATH --out ./out --format bson --dedup

# 全库导 SQL
mongoext.exe scan DBPATH --out ./out --format sql --sql-dialect mysql --dedup

# 保真导入运行中的 MongoDB(推荐路径)
mongoext.exe scan DBPATH --format mongo --dedup

# 只导一个集合
mongoext.exe scan DBPATH --format mongo --db mydb --collection users --dedup

# 导到远程实例
mongoext.exe scan DBPATH --format mongo \
    --uri "mongodb://user:pass@host:27017/?authSource=admin" --dedup

# 恢复孤立的单个 collection 文件(无 dbPath / 无 catalog)
mongoext.exe recover FILE.wt --dry-run --dedup          # 先看探测结论
mongoext.exe recover FILE.wt --db mydb --collection users --format mongo --dedup
mongoext.exe recover FILE.wt --meta-dir /原/dbPath --format mongo --dedup

# 批量恢复一个 dbPath 里的孤儿文件
mongoext.exe recover --orphans DBPATH --out ./out --dedup

.bres勒索病毒加密数据库dmp文件可恢复

联系:手机/微信(+86 17813235971) QQ(107644445)QQ咨询惜分飞

标题:.bres勒索病毒加密数据库dmp文件可恢复

作者:惜分飞©版权所有[未经本人同意,不得以任何形式转载,否则有进一步追究法律责任的权利.]

近期.bres勒索病毒较多,加密文件名称一般为:原始文件名.id.bres
bres_jm


勒索信息为:id.readme文件
bres_readme

一般是勒索5000或者7500美元.通过我们对加密的oracle数据库文件和dmp的逻辑备份分析,确认该病毒对于两种类型的文件破坏比例不一样
一、对于bres勒索病毒数据库层面恢复探讨
1. 对于dbf/ora类型文件破坏比例非常大,达到1/3左右,而且还是间隔加密,对于这种情况,基于数据库文件基本上没有太大恢复价值,但是我们也遇到一些客户,由于某些原因导致这类病毒加密文件没有全部完成(数据文件被加密中途终止),这样的情况下,可以恢复没有被破坏的block中数据.
bres_dbf

2.对于exp/expdp备份出来的dmp文件,该病毒一般只是加密前面30M的block,后续其他block全部是完整的,可以恢复出来后续数据,整体数据丢失较少,如果有历史完整的备份,可以实现较为完整的恢复效果
bres2

二、病毒入侵渠道与内网扩散逻辑
.bres病毒主要有四类入侵入口,其中内网共享权限漏洞是最高发渠道。
第一,共享存储与NAS弱口令入侵。工贸企业、工程公司大量使用NAS存放图纸、合同,为方便异地办公,直接开放外网访问,账号密码长期不修改。黑客会批量扫描公网设备,尝试默认密码登录,拿到权限后植入后门程序,长期潜伏在内网。这也是.bres最标志性的入侵方式,区别于其他病毒以钓鱼邮件为主要入口。
第二,钓鱼邮件投递。伪装成供应商对账函、项目验收单、物流通知单,压缩包内放置恶意程序。员工解压运行之后,木马悄悄植入电脑,建立持久后门,为后续内网横向扩散铺路。
第三,RDP远程桌面爆破。部分小微企业为远程管理服务器,3389端口对外暴露,使用简单密码。黑客利用工具批量爆破账号密码,登陆服务器投放病毒载荷。
第四,根据我们近期恢复的一些case,大量是同一个软件厂商的软件在不同客户现场几乎同一时间被勒索加密,怀疑可能是由于应用某组件有漏洞被黑客利用进行攻击,建议加强应用版本管理,及时更新应用修复漏洞。