实验通过 Flink ML 在流处理中执行干扰识别演算,发现严重性能问题后转为离线训练+在线轻量推断分离架构的分析与最终決策。
-
Nginx SSL + Basic Auth 保护内网大数据 Web 管理界面
利用 Nginx 反向代理 + Let's Encrypt SSL + auth_basic 对 Flink UI 、Airflow 等内网 Web 管理界面进行认证防护。
-
ClickHouse 分层存储实践:基于 S3 宽温分离
通过 ClickHouse 原生的 XML storage_policy 配置,将不再高频查询的旧分区平滑卸载到 AWS S3,实现冷热数据分离。
-
ClickHouse 原子化表名交换与零停机表结构更新
使用 ClickHouse REPLACE TABLE 实现套表原子切换,配合 Debezium CDC 全量+增量同步模式,解决历史数据导入期间缺少结构想局的问题。
-
ClickHouse 分区管理与 System 表空间清理实践
总结在生产 ClickHouse 集群中按分区删除、迁移和归档数据的常用 DDL 操作,以及系统日志表占用空间过大的处理方法。
-
Kafka Consumer Group Offset 重置操作指南
流计算业务修复或重跑历史数据时,常需手动干预 Kafka Consumer Group 的消费位点。本文总结将 Offset 按时间回渐、清空与重置至 Earliest 三种常用递层操作。
-
Kafka Connect Task UNKNOWN 状态修复与 Flink Savepoint 恢复指南
记录 Kafka Connect 任务进入 UNKNOWN 卡死状态时的 REST API 复位操作,以及 Flink 任务基于 S3 Savepoint 的快速停启命令。
-
Flink SQL 多流 Join 背压优化与 MiniBatch 状态调优实践
生产中 Flink SQL 多流 Join 极易触发背压。本文总结了使用 LATERAL TABLE 替代多流 Join、以及开启 RocksDB MiniBatch 减少 IO 的两项优化经验。
-
ClickHouse ReplicatedMergeTree 副本数据不一致与 ZK Path 修复实践
在 ClickHouse 集群中,ReplicatedMergeTree 表的 Zookeeper 路径异常会导致副本数据不一致。本文演示从排查数据偏差、隔离差异数据,到重建表结构、回写数据的完整修复方案。
-
FlinkML 遇到的性能问题--避坑
FlinkML进行矩阵计算的遇到的性能问题,以及原因分析