Liunx 文件删除后,系统Disk空间未能释放问题排查。Liunx中如果删除一个正在被进程读写的文件时,文件描述符未关闭,导致磁盘空间未释放。
-
读取S3最新创建的文件并将其发送到Kafka
业务需读取多个账号下的S3 buket的创建的新文件(AWS Cloudfront new log)
-
Clickhouse grant add user error
Clickhouse grant add user, 遇到
ACCESS_STORAGE_READONLYerror -
Clickhouse Explain 进行SQL性能排查
使用Clickhouse Explain 进行SQL性能排查
-
Clickhouse show slow query log
Clickhouse 定位慢查询
-
clickhouse optimize turn off insert query logs
默认的情况下Clickhouse system.query_log表会记录insert log,在数据流量非常大的情况下,会增加Disk IO 压力,也浪费存储空间。
-
Kafka Connnect install and config
kakfa connect是非常好用的CDC工具,管理简单,还可以配置kafka web工具提供图形化界面,降低数据接入门槛和运维难度
-
Optimization for ZooKeeper in High Load Scenarios
Zookeeper transcation log file and snapshot file 过多导致Disk IO 出现性能问题
-
Learn "AI Scaling Law"
AI Scaling Law
-
Clickhouse config Chproxy
Clickhouse config Chproxy 便于测试环境进行使用和配置