数据迁移所用到的实用工具

  数据迁移所用到的实用工具

  当今社会是个计算机软硬件很发达的时代,并且像IT行业面对的数据迁移问题也越来越常见了,但事实上,每一次的迁移都有可能会带来风险性问题的,在大多数情况下,迁移很难通过前期测试的,会发生很多问题,并且迁移出现的这些问题是不可逆的,如今,是个大数据的时代,很多的商业机会都藏匿子在各个类型的数据信息中,针对大数据的分析工具也逐渐成熟完善起来了,各种各样的数据源和各类型的数据分析工具结合起来,是现在企业所面临的问题所在。今天给大家讲数据迁移所用到的实用工具。

  以下是一些做数据迁移的一些好用的工具:

  1.触发器

  在数据库建立增删改的触发器。触发器将变更放到一个临时表里。 oracle同步cdc。

  优点:实时同步

  缺点:影响到业务系统,因为需要在业务系统上建立触发器。

  2.日志

  通过分析源数据库日志,来获得源数据库中的变化的数据。 oracles异步cdc

  优点:不影响业务系统

  缺点:会有一定的延时,对于没有提供日志分析接口的数据源,开发的难度比较大

数据迁移所用到的实用工具

数据迁移所用到的实用工具

  数据迁移所用到的实用工具

  3.时同戳

  在要同步的源表里有时间戳字段,每当数据发生变化,时间戳就会记录发生变化的时间。

  优点:基本不影响业务系统

  缺点:要求数据源表必须有时间放列

  4.数据比较

  通过比较两边数据源数据,来完成数据同步。一般用于实时性要求不高的场景。

  优点:基本不影响业务系统

  5.全表拷贝

  定时清空目的数据源,将源数据源的数据全盘拷贝到目的数据源。一般用于数据量不大,实时要求不高的场景。

  优点:基本不影响业务系统,开发、部署都很简单。

  1.上面五种数据同步方式,除了第五种都需要业务表有主键。

  2.对于没有触发器和日志的一些小型数据源,如txt文本,excel文件, Aceess,则只能使用这种方式。

  3.对于大型数据源。一般优先选择日志方式,如 ORCALE Asynchronized CDC,对于不通过日志来实现的情况,可以考虑第1,3,4这种方式。

0.00 平均评分 (0% 分数) – 0
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。

如需转载,请注明文章出处和来源网址:https://www.shluqu.cn/3243.html

点赞