瞬间恒 發表於 2025-5-27 18:10:00

4月报 | SeaTunnel支持TDengine的多表Sink功能

<p>各位热爱 Apache SeaTunnel 的小伙伴们,今年 4 月份月报更新啦!这里将记录 SeaTunnel 社区每月的重要更新,欢迎关注!</p>
<p>在本月的众多更新中,最令人关注的一项新特性是——TDengine 多表 Sink 功能的支持(由 @jia17 提交)。这一功能的引入,标志着 SeaTunnel 在面向时序数据库的数据写入能力上迈出了关键一步。</p>
<p>在工业物联网、智慧能源、智能制造等场景中,传感器数据往往分布在多个逻辑表中,原有的单表 Sink 显然难以满足复杂的数据落盘需求。此次更新实现了 TDengine 多表动态写入能力,用户可以灵活地根据业务逻辑将数据路由到不同的目标表中,极大提升了数据写入的灵活性与效率。</p>
<p>更重要的是,整个功能的设计兼顾了 Schema 解析、字段匹配和异常处理等细节,具有较强的工程实用性,未来也有望扩展到更多支持多表写入场景的连接器中。</p>
<p>SeaTunnel 正在不断强化与主流数据系统的融合能力,这项更新正是一次面向实际业务需求的有力回应。</p>
<h2 id="月度merge之星">月度Merge之星</h2>
<p>感谢以下小伙伴上个月为 Apache SeaTunnel 所做的精彩贡献(排名不分先后):<br>
<img alt="weekly_combined_avatars_2025-05-27" loading="lazy" src="https://img2024.cnblogs.com/other/3195851/202505/3195851-20250527181031269-130808288.png" class="lazyload"></p>
<p>@hawk9821,@eyys,@liunaijie,@corgy-w,@CosmosNi,@FrommyMind,@maozhen520,@Hisoka-X,@litiliu,@JeremyXin,@Alberne,@rbowen,@mrtisttt,@RongHaa,@misi1987107,@kehan-zhou,@ocean-zhc,@qifanlili,@jia17,@xxsc0529,@hailin0</p>
<h1 id="apacheseatunnel仓库">apache/seatunnel仓库</h1>
<h2 id="修复">修复</h2>
<ul>
<li> 修复Transform检查@hailin0</li>
<li> 在测试用例中释放文件资源@CosmosNi</li>
<li> 修复 seatunnel.yaml 中无效的遥测日志配置@mrtisttt</li>
<li> 修复检查点线程池过早关闭导致任务状态异常的问题@Hisoka-X</li>
<li> 修复配置解析中带有 <code>\"\"</code> 的错误@Hisoka-X</li>
<li> 修复 Kafka 枚举器分配拆分时的空指针异常 NPE@hailin0</li>
<li> 删除_test和_sink前的空格@kehan-zhou</li>
<li>修复Kafka数据库名称@corgy-w</li>
<li> 在HdfsStorage中不使用volatile关键字修复双重检查锁定问题@maozhen520</li>
<li> 防止 JSON 输出中的十进制数字采用科学计数法@misi1987107</li>
<li> 升级操作作业运行主机版本@Hisoka-X</li>
<li> 调整explode函数的描述@CosmosNi</li>
<li> 修复TDengine sink中当列或标签包含null值时出现的NullPointerException@jia17</li>
<li> 修复 parquet int32 转换错误@JeremyXin</li>
<li> 修复了 StarRocks 连接器中缺少的时间戳精度问题@corgy-w</li>
<li> 调整调用枚举器打开方法的时机@Hisoka-X</li>
<li> 修复MaxCompute多平行写入问题@Hisoka-X</li>
<li> OceanBase 支持简单的向量索引。@xxsc0529</li>
<li> 修复未调用 <code>SinkAggregatedCommitter</code> 的初始化方法的问题@Hisoka-X</li>
<li> 修复添加列事件@hailin0</li>
<li> 修复 CSV 格式分隔符@hailin0</li>
<li> 修复 Postgres CDC 使用 debezium_json 格式时无法解析没有小数位的数字的问题。@FrommyMind</li>
<li> 修复 <code>DateUtils</code> 无法解析带有本地时区的日期时间字符串的问题。@Hisoka-X</li>
<li> 修复SqlServer中数据库名称含点号时创建表的问题@Hisoka-X</li>
<li> Long 类型无法处理科学计数法表示的字符串值@qifanlili</li>
</ul>
<h2 id="优化">优化</h2>
<ul>
<li> Qdrant选项@liunaijie</li>
<li> 为DataHub使某些sink参数成为可选的@jia17</li>
<li> 修复架构更改事件@CosmosNi</li>
<li> 支持TDengine的多表sink功能@jia17</li>
<li> Datahub 支持多表 Sink(写入多个表)@jia17</li>
<li> support chinese 优化中文文档支持@jia17</li>
<li> support chinese 优化中文文档支持 @jia17</li>
<li> 添加日志以打印每个任务的执行位置@CosmosNi</li>
<li> 添加表格过滤转换@hailin0</li>
<li> 修复md文档格式@CosmosNi</li>
<li> 为Web UI支持基本身份验证@CosmosNi</li>
<li> 派蒙选项@liunaijie</li>
<li> OpenMLDB 选项@liunaijie</li>
<li> Milvus选项@liunaijie</li>
<li> Neo4j 选项@liunaijie</li>
<li> MaxCompute选项@liunaijie</li>
<li> Kudu选项@liunaijie</li>
<li> 统一标题格式,并修复一些格式异常的文档。@Hisoka-X</li>
<li> Elasticsearch 源支持 PIT(Point in Time)@CosmosNi</li>
<li> 在任务运行管理页面上格式化异常消息@ocean-zhc</li>
<li> 调整trim系列SQL函数的描述@Hisoka-X</li>
<li> 支持基于游标的分页 #9109@Alberne</li>
<li> 为 SQL 转换支持布尔类型@hawk9821</li>
<li> 添加检查脚本来检测源/目标状态类中缺少 <code>serialVersionUID</code>。@CosmosNi</li>
<li> 支持定义 sink 列的类型@hailin0</li>
<li> 改进的德瑞斯来源枚举器为子任务分配算法的分割算法@JeremyXin</li>
<li> 改进正在运行的任务和已完成任务的排序@ocean-zhc</li>
<li> 更新元数据转换配置继承@hailin0</li>
<li> 支持恢复执行保存模式@hailin0</li>
<li> 更新文件连接器配置@misi1987107</li>
<li> 更新Kafka文档中的Kerberos部分@Hisoka-X</li>
<li> 支持try_cast表达式@corgy-w</li>
<li> 支持 GraphQL 连接器 #8557@eyys</li>
<li> 优化JDBC中的方言选择@corgy-w</li>
</ul>
<h2 id="其他">其他</h2>
<ul>
<li> 添加Jira连接器中文文档@RongHaa</li>
<li> 在冰山来源中支持过滤条件@litiliu</li>
<li> 将 actions/cache@v2 升级到 actions/cache@v4@hailin0</li>
</ul>
<h1 id="apacheseatunnel-website仓库">apache/seatunnel-website仓库</h1>
<h2 id="修复-1">修复</h2>
<ul>
<li> 修复连接器的链接@rbowen</li>
</ul>
<h2 id="优化-1">优化</h2>
<ul>
<li> 添加名为 Chao Wang 的提交者@corgy-w</li>
</ul>
<blockquote>
<p>本文由 白鲸开源 提供发布支持!</p>
</blockquote><br><br>
来源:https://www.cnblogs.com/seatunnel/p/18899131
頁: [1]
查看完整版本: 4月报 | SeaTunnel支持TDengine的多表Sink功能