数据迁移所用到的实用工具

　　数据迁移所用到的实用工具

　　当今社会是个计算机软硬件很发达的时代，并且像IT行业面对的数据迁移问题也越来越常见了，但事实上，每一次的迁移都有可能会带来风险性问题的，在大多数情况下，迁移很难通过前期测试的，会发生很多问题，并且迁移出现的这些问题是不可逆的，如今，是个大数据的时代，很多的商业机会都藏匿子在各个类型的数据信息中，针对大数据的分析工具也逐渐成熟完善起来了，各种各样的数据源和各类型的数据分析工具结合起来，是现在企业所面临的问题所在。今天给大家讲数据迁移所用到的实用工具。

　　以下是一些做数据迁移的一些好用的工具：

　　1.触发器

　　在数据库建立增删改的触发器。触发器将变更放到一个临时表里。 oracle同步cdc。

　　优点：实时同步

　　缺点：影响到业务系统，因为需要在业务系统上建立触发器。

　　2.日志

　　通过分析源数据库日志，来获得源数据库中的变化的数据。 oracles异步cdc

　　优点：不影响业务系统

　　缺点：会有一定的延时，对于没有提供日志分析接口的数据源，开发的难度比较大

　　数据迁移所用到的实用工具

　　3.时同戳

　　在要同步的源表里有时间戳字段，每当数据发生变化，时间戳就会记录发生变化的时间。

　　优点：基本不影响业务系统

　　缺点：要求数据源表必须有时间放列

　　4.数据比较

　　通过比较两边数据源数据，来完成数据同步。一般用于实时性要求不高的场景。

　　优点：基本不影响业务系统

　　5.全表拷贝

　　定时清空目的数据源，将源数据源的数据全盘拷贝到目的数据源。一般用于数据量不大，实时要求不高的场景。

　　优点：基本不影响业务系统，开发、部署都很简单。

　　1.上面五种数据同步方式，除了第五种都需要业务表有主键。

　　2.对于没有触发器和日志的一些小型数据源，如txt文本，excel文件， Aceess，则只能使用这种方式。

　　3.对于大型数据源。一般优先选择日志方式，如 ORCALE Asynchronized CDC，对于不通过日志来实现的情况，可以考虑第1，3，4这种方式。