GC

【大内存服务GC实践】- “ParNew+CMS”实践案例 （一）- NameNode YGC诊断优化

范欣欣 评论
这是"大内存服务GC实践"的第三篇文章，前面两篇文章分别系统地介绍了"ParNew+CMS"组合垃圾回收器的原理以及FullGC的一些排查思路。分别见
  1. 【大内存服务GC实践】- 一文看懂”ParNew+CMS”垃圾回收器
  2. 【大内存服务GC实践】- “ParNew+CMS”实践案例 : HiveMetastore FullGC诊断优化
本篇文章重点结合生产线上NameNode RPC毛刺这个现象，分析两起严重的YGC问题。NameNode是HDFS服务最核心的组件，大数据任务读写文件都需要请求NameNode，该服务一旦出现RPC处理毛刺，就可能会引起上层大数据平台离线、实时任务的延迟甚至异常。公司内部NameNode采用"ParNew+CMS"组合垃圾回收器。

案例一 NameNode升级之后RPC大毛刺问题探究

问题背景

随着HDFS集群规模的增大，NameNode性能压力越来越大，因此我们结合社区新版本的优化进行了内部分支的优化并发布上线。上线之后观察了一周，发现上线后RPC排队毛刺明显变大变多。如下图所示

问题分析

为什么RPC排队毛刺会出现？

按照经验来看，NameNod...

继续阅读

HBase GC的前生今世 – 演进篇

范欣欣 1 条评论

最原始的HBase CMS GC相当严重，经常会因为碎片过多导致Promotion Failure，严重影响业务的读写请求。幸运的是，HBase并没有止步不前，很多优化方案相继被提出并贡献给社区，本文要介绍的就是几个比较重要的核心优化，分别是针对Memstore所作的两个优化：Thread-Local Allocation Buffer和MemStore Chunk Pool 以及针对BlockCache所作的优化：BucketCache方案。在详细介绍这几个优化之前有必要简单介绍一下HBase GC优化的目标，很直观的，第一是要尽量避免长时间的Full GC，避免影响用户的读写请求；第二是尽量减少GC时间，提高读写性能；接着分别来看HBase针对GC所做的各种优化

MemStore GC优化一 － Thread-Local Allocation Buffe

HBase数据写入操作实际上并...

继续阅读

HBase GC的前生今世 – 身世篇

范欣欣 10 条评论

在之前的HBase BlockCache系列文章中已经简单提到：使用LRUBlockCache缓存机制会因为CMS GC策略导致内存碎片过多，从而可能引发臭名昭著的Full GC，触发可怕的'stop-the-world'暂停，严重影响上层业务；而Bucket Cache缓存机制因为在初始化的时候就申请了一片固定大小的内存作为缓存，缓存淘汰不再由 JVM管理，数据Block的缓存操作只是对这篇空间的访问和覆盖，因而大大减少了内存碎片的出现，降低了Full GC发生的频率。那CMS GC策略如何导致内存碎片过多？内存碎片过多如何触发Full GC？HBase在演进的道路上又如何不断优化CMS GC？接下来这个系列《HBase GC的前生今生》将会为你一一揭开谜底，这个系列一共两篇文章，本篇文章－’身世篇’将会带你全面了解HBase的GC机制，后面一篇－’演进篇’将会给你道出HBase在发展的...

继续阅读