更新日志
- 2023 年
- 2022 年
- 2021 年
20230302
新增功能
- 新增阿里云市场接入，可通过阿里云市场采购/试用 Tapdata Cloud。
问题修复
- 修复一些已知问题
20230217
新增功能
- 新增告警功能，可以针对任务设置告警策略并进行告警
- 新增自定义节点（Beta）功能，用户可以新增自定义节点，并在开发任务中使用
功能优化
- 指定 Agent 功能优化，可直接显示 Agent 的名字
问题修复
- 修复了老版本 Agent 与新版本数据源插件不匹配，导致的数据源不可用问题
- 修复了 Oracle 到 MySQL 增量同步慢最后一次 Commit 需要等很长一段时间才能同步的问题
- 修复了 Oracle 到 MySQL 的同步，Fetch size 修改不成功的问题
- 修复了 MongoDB 间数据同步时，增量期间报错 “resume point may no longer be in the oplog” 导致增量停止的问题
- 修复了其它一些已知问题
20230203
新增功能
- 新增微信通知，您可以通过微信收取通知消息
功能优化
- Agent 升级功能优化，升级时无需手动停止任务
- 产品引导页优化，新增业务场景案例
问题修复
- 修复了引擎升级后，任务历史错误邮件批量发送到用户的问题
20230113
功能优化
- 增强数据源密码加密方式
问题修复
- 修复了定期调度任务功能无法正常工作的问题
- 修复了运行监控页面，运行记录列表翻页无效的问题
- 修复了其它的一些已知问题
20221230
功能优化
- 连接测试的内容完善和优化，可对数据源的权限执行更细致的检测
- 本地日志上传功能优化
- 新增引导，当引擎服务离线后，引导用户手动进行 Agent 重启。
- 新增引擎状态检测和守护，可以自动恢复意外终止的 Java Engine。
问题修复
- 修复了 Agent 离线后，任务无法正常删除的问题
- 修复了当引擎不在线的时候，数据源会变 “无效” 的问题
- 修复了其它的一些已知问题
20221216
新增功能
- 用户可以根据需要调整目标节点建表时字段的类型、长度和精度
- 全量任务支持配置调度策略，可实现全量任务的周期性执行
- 在创建数据源时，支持设置黑名单以过滤不需要的表
- 新增 Beta 数据源 BigQuery 支持作为目标进行数据写入
- MySQL 作为源时支持指定增量同步的时间点
- 新增本地 Agent 的日志上传/下载能力
功能优化
- Agent 部署引导流程优化，新增体验示例，用户无需安装 Agent 即可体验产品能力
- 任务列表展示优化，新增展示任务的增量时间点，并支持排序
- 分类功能用户体验优化，用户选择分类后，Tapdata Cloud 会记住用户的分类选择
- 可观测日志展示方式优化，支持折叠和展开时自动格式化
- 源节点增量时间点推进逻辑优化，任务使用的表的增量时间点，随所在库的增量时间点持续推进
问题修复
- 修复了 MySQL 作为源，增量同步时报模型不存在导致解析失败的问题
- 修复了 RDS MySQL 作为源时，增量数据不同步的问题
- 修复了 MongoDB 分片集作为目标时，出现“Bulk write operation error, not find host matching read preference”报错，导致无法正常写入的问题
- 修复了 MySQL 的 Gtid 模式下，存在非监听表变更时不推进 offset 的问题
- 修复了其他的一些已知问题
20220512
更新内容
- 任务运行出错时增加任务错误信息查看入口，方便用户快速查看错误信息
- 新增阿里云PolarDB PostgreSQL作为源和目标
- 新增支持Amazon RDS for MySQL作为源和目标
- Agent部署配置优化，开放JVM参数设置，用户可以根据需要进行调整
20220422
更新内容
- 新增支持阿里云PolarDB MySQL作为源和目标
- 新增支持轻流作为目标
- 对于已经明确不支持同步的字段类型，在字段映射时默认标记为不支持
20220408
更新内容
- 新增支持数据源Apache Doris作为目标
- 新增任务日志导出功能
- 修复了其它一些已知的问题
20220330
更新内容
- 短信通知策略优化，短信通知默认关闭，用户可以根据需要自行打开
- 新增支持vika作为目标
- 字段映射新增类型批量修改能力，修改类型时可选择应用于当前任务全部表
- 支持微信扫码注册和登录
- 创建连接时支持快速搜索连接类型
20220311
更新内容
- 新增TencentDB for MySQL支持作为源和目标
- 新增TencentDB for MariaDB支持作为源和目标
- 新增TencentDB for PG支持作为源和目标
- 新增TencentDB for SQLServer支持作为源和目标
- 新增TencentDB MongoDB支持作为源和目标
- 在字段映射过程中支持修改单个表名
- 全量任务可以指定周期执行和增量任务可以设置计划运行时间
- 数据校验支持对校验不一致的表发起重新校验
20220228
新增功能
- 支持Aliyun MariaDB作为源和目标
- 支持Aliyun MongoDB作为源和目标
- 支持Aliyun RDS for SQLServer作为源和目标
- 支持Aliyun RDS for PG作为源和目标
- 支持Aliyun RDS for MySQL作为源和目标
- 新增用户中心功能
- 优化windows 版本打包和安装流程
- 在用户工作台增加任务每日数据量的趋势图和累计数据量图
问题修复
- 修复了MySQL数据库使用默认时区时，运行任务会报时区无法识别的错误问题
- 修复了加载表完成后提示表不存在的问题
- 修复了数据校验列表上的状态显示error，实际详情显示通过的问题
- 修复了oracle全量同步完成后，进入增量任务出错并停止的问题
- 修复了全量同步阶段checkpoint机制未生效，触发了全量重跑的问题
20220212
新增功能
- 增量任务可以设置增量采集时间点
- 数据连接新增MariaDB支持
- 优化编辑已运行任务的弹窗提示
20211221
新增功能
- 新增 TiDB 数据源支持
- 新增 Dummy 数据源支持
- 新增任务日志过滤筛选
- 新增批量修改表名、字段名大小写
问题修复
- 修复了sqlserver同步100个表，任务出现死锁的情况
- 修复了在目标表新增一个字段，且设置了默认值，但数据插入时，会设置为null的情况
- 修复了重置任务后报启动失败需进行字段映射的情况
- 修复了MySQL--dameng任务运行失败的情况
功能优化
- 创建连接时可选择连接类型：源或目标
- 对任务详情页进行了优化
- Oracle数据源连接测试加载模型失败提示
20211203
新增功能
- 新增 clickhouse 数据源支持
- 新增 ADB MySQL 数据源支持
- 新增 ADB PostgreSQL 数据源支持
- 新增 KunDB 数据源支持
- 新增 Hazelcast Cloud 数据源支持
问题修复
- 修复了 mysql-mysql因为连接串太长导致数据同步失败
- 修复了 oracle-oracle推演后的建表语句不对，自动建表失败
- 修复了 SQL Server配置时如果密码和用户名有特殊字符“[”会报错
- 修复了 mysql--Greenplum任务，源表字段有NULL值，任务运行失败
- 修复了 MQ作为目标时，选择表后点击下一步提示没有选择表，无法继续创建任务
功能优化
- Windows下Agent部署方式优化，可支持双击启动
- 优化Agent包，打包时去掉暂时不需要的数据库驱动jar包
- 创建任务时，数据源类型选择优化 ， 仅展示用户已创建的数据类型
20211018
新增功能
- 新增通知配置功能，支持用户自己关闭接收短信和邮件通知
- 新增greenplum数据源支持
- 新增MQ数据源支持
- 创建连接时，增加markdown指引
问题修复
- 修复了字段映射：主键被改名后，建表成功，数据同步失败的问题
- 修复了创建mongo连接时，开启ssl，首次保存为“失效”的问题
- 修复了非副本集mongo同步全量任务error的问题
- 修复了mysql--mssql：无主键同步任务，增量update不能同步的问题
- 修复了新手指引同步任务运行失败的问题
功能优化
- 工作台导航栏优化，新增问答支持和提交反馈入口
- Agent下载与安装页面优化，新增Agent文档与社群入口
- 登录页面样式优化
- 官网内容优化
- 连接列表展示优化，新增schema加载状态列展示
- 优化Agent列表版本显示，待部署Agent不再显示版本，默认部署最新版本
- 优化了当任务表数量很多，数据校验自动添加表时的页面卡顿的问题
- 前端UI优化重构
20210830
新增功能
- 新增测试Agent释放和通知策略
- 在任务配置阶段，增加加载schema设置
- 新增支持设置增量并发写入
- 新增数据校验和二次校验功能
- 新增对阿里云数仓AnalyticDB mysql支持
- 新增迁移过程中表字段类型映射功能
- 新增支持standalone模式mongodb的全量同步
问题修复
- 修复了任务同步数据统计不正确，总插入大于总输出的问题
- 修复了自动升级的下载进度要刷新页面才显示的问题
- 修复了创建连接时，表单未加载完成时先出现了测试连接按钮，点击测试连接会报错的问题
- 修复了数据校验，连接搜索页面出错，搜索无效的问题
- 修复了全量任务，增量并发数输入框不消失的问题
- 修复了通知全部已读后，系统通知铃铛上显示的1不消失的问题
- 修复了kafka同步到mysql/dameng时，因为时间类型格式转换错误导致任务运行失败的问题
- 修复了用户点击退出登录无法退出登录的问题
- 修复了其它一些已知的问题
功能优化
- Kafka作为目标时任务创建过程优化，暂时禁用删除重写模式
- Agent自动升级过程优化，自动升级时可以在Agent列表显示升级包的下载进度
- 优化了从mysql同步到mongodb时，支持将json格式的内容转换为mongodb文档
- 优化了从创建Agent到部署Agent的流程，显式引导Agent部署
- 优化了Agent的docker部署方式
- 优化Agent部署，workDIR 和应用在同一目录下
- 优化了测试任务不应调度到用户的自建实例上，自建任务不应调度到测试实例上
- 任务状态优化，全量同步时，任务完成状态时，前端识别为已完成
- token失效优化
- 性能优化，通过新手引导启动测试Agent时特别慢，需要等待差不多4分钟左右才可以变为已启动状态
20210731
新增功能
- 新增支持Kafka作为源和目标
- 新增支持dameng作为目标
- 新增新手引导过程，提供测试Agent和测试数据源给用户快速创建迁移任务验证产品能力
- 新增系统通知功能，Agent状态异常和任务异常时会有通知短信和邮件
- 新增帮助入口，用户遇到使用问题可以快速通过电话和微信获取帮助
问题修复
- 修复了点击停止Agent，提示停止成功，前端一直显示停止中的问题
- 修复了es做目标时，不支持mongo的_id字段，同步失败的问题
- 修复了pg-mongo任务，清理模式运行，会将目标的分片表的片键删除的问题
- 修复了自动升级成功后，版本还没有更新上来又出现升级的icon的问题
- 修复了mongo同构任务（迁移任务），remove事件不能同步的问题
- 修复了直接通过执行./tapdata stop命令停止Agent成功后，页面状态一直显示运行中的问题
- 修复了pg-mysql无法同步更新、删出事件，可以同步插入事件的问题
- 修复了其它一些已知的问题
功能优化
- 数据连接配置增加连接参数等关键配置信息
- 新增连接时，mongo类型增加标准配置方式
- 优化了执行“停止任务”，一直处于“停止中”，也没有超时提示的问题
- 测试连接时，会先检测Agent的状态，如果没有可用Agent时会直接提示用户
- 优化安装部署和升级时的下载进度显示一直换行的问题
- 升级检测优化，对于Agent不支持自动升级的版本，不显示自动升级按钮
- 优化了一些已知的影响用户体验的问题
20210723
新增功能
- 新增全量同步任务进度展示功能
- 新增Agent自动升级功能
- 新增支持用户创建多个Agent
- 新增Agent停止和删除操作
- 新增了Agent详情页面，可以查看Agent的详细信息
问题修复
- 修复了点击测试连接时会出现多次提示的问题
- 修复了es做目标时，不支持mongo的_id字段，同步失败的问题
- 修复了其它一些已知的问题
功能优化
- Agent部署下载页面优化
- 优化了当连接有任务在使用时无法删除成功但没有任何提示的问题
- 优化了Agent下载逻辑，用户通过Agent的部署页面可以下载到最新版本的Agent
- 优化了websocket连接不稳定的问题
- 优化了当TM宕机或者Agent无法访问TM时，Agent可以继续执行任务
- 增强了系统稳定性，解决访问系统时偶现访问出错的问题
- 优化了其它一些影响使用体验的问题
20210703
新增功能
- 新增Agent手动升级功能
- 新增操作日志查看功能
- 新增同步过程中表字段过滤及字段改名功能
问题修复
- 修复了测试连接一直启动连接中的问题
- 修复了新增表后，重新加载schema，创建任务映射设置时，选择不到该新增表的问题
- 修复了sqlserver2019，创建连接时测试成功，成功后再次测试连接失败的问题
- 修复了mysql到pg全量+增量任务报错的问题
- 修复了搜索框选择”所有状态“、”所属 Agent“ 选择一个，无法显示所有任务列表的问题
- 修复了Agent ws遇到错误后无法通讯的问题
- 修复了主键被映射成别的字段后，update、delete操作不能同步的问题
- 修复了其它一些已知的问题
功能优化
- 新建任务时当任务名称已存在，输入任务名称后会及时进行提示
- 新建连接时当连接名称已存在，输入连接名称后会及时进行提示
- 新建postgres数据源时，会默认选中第一个日志解码器
- 连接管理页面优化，取消多次loading的情况
- 创建连接时不再受Agent是否可用的影响，Agent不可用时也可以先创建连接
- 优化了连接和任务名称过长时显示不完全的问题
- 优化了其它一些影响使用体验的问题
20210623
功能优化
- 优化了【任务管理】页面加载时会出现多次loading的情况
- 优化了工作台的展示方式
问题修复
- 修复了在系统使用过程中偶现“系统处理失败:null”的问题
- 修复了正常停止Agent后，列表Agent状态还显示为“运行中”的问题
- 修复了在系统使用过程中频繁出现“服务器异常”的问题
- 修复了有时会出现连接测试无法启动的问题
- 修复了Agent的一些已知问题