数据管道
🗃️ 数据复制
2 个项目
🗃️ 数据开发
4 个项目
📄️ 数据校验
基于多种自研技术,Tapdata 可最大程度保障数据一致性。除此以外,Tapdata 还支持对数据表执行数据校验,帮助您进一步验证和确保数据流转的正确性,满足生产环境的严苛要求。本文介绍数据校验任务的配置流程。
📄️ 管理函数
函数管理主要用来对用户系统内可供用户使用的函数进行管理,函数类型主要包括:
📄️ 自定义节点
通过自定义节点功能,您可以将通用的 JS 脚本整理成可复用的处理节点,创建完成后可在数据开发任务重直接引用该节点,无需为重复编写脚本,极大地降低了开发工作量。本文介绍自定义节点的用法并提供相关案例供您参考。
📄️ 开启共享挖掘
为减轻增量时源端数据库压力,Tapdata 支持对增量日志进行共享挖掘,挖掘功能开启后并不会马上开始挖掘,而是在用户创建该数据源下所属表的任务时开启挖掘,无论挖掘任务暂停或者错误均不会影响同步任务正常运行。
📄️ 创建共享缓存
共享缓存主要是为解决部分热点数据会被多个任务调用做处理时对源库产生太大压力,所以将这些数据放到缓存里供多个任务使用。