谋幸福 發表於 2025-6-5 14:47:00

多源多表写入、数据格式增强,SeaTunnel 2.3.11 重磅更新来了!

<p><img alt="2.3.11" loading="lazy" src="https://img2024.cnblogs.com/other/3195851/202506/3195851-20250605144710004-1270753563.png" class="lazyload"></p>
<p>我们很高兴地宣布 Apache SeaTunnel 2.3.11 正式发布!作为一个专注于高性能、可扩展的数据集成平台,SeaTunnel 始终致力于为开发者和数据工程团队提供更强大、更灵活的异构数据处理能力。本次 2.3.11 版本在<strong>稳定性、易用性、连接器生态、数据转换能力以及引擎层面</strong>都进行了重要增强。无论是支持更多新型数据源与目标端、多表写入、复杂格式支持,还是对关键 Bug 的修复与文档优化,本次更新都体现了社区对用户反馈的快速响应和持续进化的能力。下面让我们一起来详细了解 2.3.11 的亮点内容。</p>
<h2 id="功能更新-highlights">功能更新 Highlights</h2>
<h3 id="新增连接器与功能增强">新增连接器与功能增强</h3>
<ul>
<li>
<p><strong>HTTP Sink 支持批量写入</strong>:实现了 HTTP Sink 的批量写入功能,提高了数据写入效率。</p>
</li>
<li>
<p><strong>支持多表写入功能</strong>:</p>
<ul>
<li><strong>ClickHouse</strong>:新增支持多表写入功能,提升了数据同步的灵活性。</li>
<li><strong>TDengine</strong>:新增支持多表写入功能,增强了数据处理能力。</li>
<li><strong>DataHub</strong>:新增支持多表写入功能,扩展了数据集成场景。</li>
</ul>
</li>
<li>
<p><strong>GraphQL Connector</strong>:新增支持 GraphQL 连接器,丰富了数据源类型。</p>
</li>
<li>
<p><strong>Elasticsearch Source 支持 PIT(Point-in-Time)</strong>:增强了 Elasticsearch 数据源的查询能力。</p>
</li>
<li>
<p><strong>支持 CSV 文件中不同列顺序的提取</strong>:提升了文件数据处理的灵活性。</p>
</li>
<li>
<p><strong>新增 Apache Cloudberry 支持</strong>:扩展了数据源的多样性。</p>
</li>
<li>
<p><strong>新增 Aerospike Sink Connector</strong>:丰富了数据写入目标。</p>
</li>
<li>
<p><strong>新增 Helm 测试用例</strong>:增强了部署测试能力。</p>
</li>
</ul>
<h3 id="配置与参数优化">配置与参数优化</h3>
<ul>
<li><strong>新增 <code>end_timestamp</code> 参数</strong>:在时间戳起始模式中添加了 <code>end_timestamp</code> 参数,增强了数据读取的灵活性。</li>
<li><strong>支持占位符替换</strong>:HTTP Connector 支持参数占位符替换,提升了配置的灵活性。</li>
<li><strong>新增远程主机验证选项</strong>:FTP 数据通道新增远程主机验证选项,增强了安全性。</li>
<li><strong>优化变量处理的健壮性</strong>:改进了 <code>stop-seatunnel-cluster.sh</code> 脚本中变量处理的健壮性。</li>
<li><strong>移除无用配置项</strong>:删除了 Iceberg Sink 中无用的 <code>iceberg.table.config</code> 配置项。</li>
<li><strong>优化 JDBC 方言选择逻辑</strong>:提升了 JDBC 连接器的兼容性。</li>
<li><strong>支持定义 Sink 列类型</strong>:Transform 支持定义 Sink 列类型,增强了数据转换能力。</li>
<li><strong>支持 SQL Transform 中的布尔类型</strong>:提升了 SQL 转换的表达能力。</li>
<li><strong>支持 Iceberg Source 中的过滤条件</strong>:增强了数据读取的灵活性。</li>
<li><strong>支持源/汇状态类的 serialVersionUID 检查脚本</strong>:提升了状态管理的可靠性。</li>
<li><strong>支持 Web UI 的基本认证</strong>:增强了 Web UI 的安全性。</li>
<li><strong>支持 Rest-API v2 的 HTTPS 协议</strong>:提升了 API 通信的安全性。</li>
<li><strong>新增任务运行管理页面的异常信息格式化</strong>:优化了异常信息的展示。</li>
<li><strong>优化 JDBC 的字符集分割算法</strong>:提升了数据读取的准确性。</li>
<li><strong>新增 <code>row_delimiter</code> 选项</strong>:Text File Sink 新增 <code>row_delimiter</code> 选项,增强了文件写入的灵活性。</li>
</ul>
<h2 id="bug-修复">Bug 修复</h2>
<ul>
<li>修复 SeaTunnelClient 无法正常退出的问题:增强了客户端的稳定性。</li>
<li>修复 Oracle-CDC 重命名 DDL 事件缺失列类型的问题:提升了数据同步的准确性。</li>
<li>修复 PostgreSQL Sink 尝试更新唯一键的问题:增强了数据写入的稳定性。</li>
<li><strong>修复 Hive 客户端线程不安全的问题</strong>:提升了多线程环境下的可靠性。</li>
<li><strong>修复 OceanBase MySQL JDBC Sink 创建语句错误的问题</strong>:增强了兼容性。</li>
<li><strong>修复 Kafka 枚举器分配分片时的空指针异常</strong>:提升了数据读取的稳定性。</li>
<li><strong>修复 JSON 输出中科学计数法表示的十进制数问题</strong>:确保了数据的准确性。</li>
<li><strong>修复 Parquet Int32 转换错误的问题</strong>:提升了数据类型处理的准确性。</li>
<li><strong>修复 CSV 格式分隔符的问题</strong>:增强了文件解析的稳定性。</li>
<li><strong>修复 MaxCompute Sink 写入日期小于实际日期的问题</strong>:确保了数据写入的准确性。</li>
<li><strong>修复 MongoDB 中 Long 类型无法处理科学计数法字符串的问题</strong>:提升了数据类型兼容性。</li>
<li><strong>修复 Elasticsearch 添加列事件的问题</strong>:增强了数据同步的稳定性。</li>
<li><strong>修复 SQL Server 在数据库名称包含点时创建表的问题</strong>:提升了数据库兼容性。</li>
<li><strong>修复 DateUtils 无法解析带本地时区的日期时间字符串的问题</strong>:确保了时间解析的准确性。</li>
<li><strong>修复 JDBC 默认连接参数无效的问题</strong>:增强了连接配置的可靠性。</li>
<li><strong>修复 Redis 写入失败但任务未失败的问题</strong>:提升了错误处理的准确性。</li>
</ul>
<h2 id="文档更新">文档更新</h2>
<ul>
<li>
<p><strong>新增中文文档</strong>:</p>
<ul>
<li>MySQL-CDC Connector</li>
<li>MongoDB-CDC Connector</li>
<li>HiveJdbc Connector</li>
<li>Jira Connector</li>
<li>Cloudberry Connector</li>
<li>GitHub Connector</li>
</ul>
</li>
<li>
<p><strong>文档格式与内容优化</strong>:</p>
<ul>
<li>修复了 Markdown 格式问题,统一了标题格式,删除了无效的空格和重复内容。</li>
<li>调整了 <code>explode</code> 和 <code>trim</code> 系列 SQL 函数的描述,提升了文档的准确性。</li>
<li>更新了 Kafka 文档中的 Kerberos 部分,增强了安全配置的指导性。</li>
<li>修复了死链接,提升了文档的可用性。</li>
</ul>
</li>
</ul>
<h2 id="致谢贡献者">致谢贡献者</h2>
<p>感谢@zhangshenghang对本次版本发布的指导,以及以下贡献者对本次发布的代码提交、文档撰写、问题反馈做出的宝贵贡献(按用户名排序):</p>
<p><img alt="" loading="lazy" src="https://img2024.cnblogs.com/other/3195851/202506/3195851-20250605144710355-1368312667.jpg" class="lazyload"></p>
<p>也感谢所有参与代码审核、功能测试、文档翻译和社区讨论的开发者、用户和贡献者!</p>
<h2 id="获取方式">获取方式</h2>
<ul>
<li>镜像下载:https://seatunnel.apache.org/download</li>
<li>GitHub Release 页面:SeaTunnel 2.3.11</li>
<li>Maven 依赖更新:Maven Central</li>
</ul>
<blockquote>
<p>本文由 白鲸开源 提供发布支持!</p>
</blockquote><br><br>
来源:https://www.cnblogs.com/seatunnel/p/18912370
頁: [1]
查看完整版本: 多源多表写入、数据格式增强,SeaTunnel 2.3.11 重磅更新来了!