Ordiy Blog

spark 处理大文本数据集

HBase RIT 终端导致Region Holes和meta问题，进行修复.

HBase RIT 异常问题记录

HBase系统内部设计了一张特殊的表--`hbase:meta`,用于保存Table,Region,RegionServer相关的元数据。

HBase2 Fix RIT Failed.

RegionServer 在设置Replication（Peer)集群后，主集群的WAL会通过同步/异步的方式，拷贝到Peer集群，之后Peer集群重放WAL中的WALEdit(预写日志条目)来完成。当Peer集群异常情况下，主集群会将未能完成复制的WAL放到oldWALs(WAL归档目录)。Peer集群长期异常，会导致oldWALs目录下文件无限膨胀，导致集群存储异常或者宕机。

使用FIO工具测试 HDD/SSD 读写性能。

iPerf3 工具测试TCP/UDP 对网络带宽进行基准测试。

centos7 install openssl/haproxy 支持TLS1.3 以及 HTTP2

XZ Utils are the successor to LZMA(Lempel–Ziv–Markov chain algorithm) Utils.XZ Utils create 30 % smaller output than gzip and 15 % smaller output than bzip2.