月: 12月 2021

【大内存服务GC实践】- 一文看懂”ParNew+CMS”垃圾回收器

范欣欣 6 条评论

因为工作的需要，笔者前前后后分别接触了HBase RegionServer、HiveServer\Metastore以及HDFS NameNode这些大内存JVM服务。 在和这些JVM系统打交道的过程中，GC优化始终是一个绕不过去的话题，有的是因为GC导致NameNode RPC请求耗时增大，有的是因为GC导致RegionServer/HiveServer/Metastore经常宕机。在优化的过程中，笔者花时间系统地学习并梳理了CMS、G1GC以及ZGC这几款垃圾回收器的原理，并基于这些原理进行了多次线上GC问题的定位以及优化。这个系列的文章初步安排了多篇

  1. 【大内存服务GC实践】- 一文看懂"ParNew+CMS"组合垃圾回收器
  2. 【大内存服务GC实践】- "ParNew+CMS"组合垃圾回收器实践案例（一
  3. 【大内存服务GC实践】- "ParNew+CMS"组合垃圾回收器实践案例（二
  4. 【大内存服务GC实践】- 一文看懂G1垃圾回收器...

继续阅读

Hello World – 大数据实践之路

范欣欣 7 条评论
HBase博客停更了很长一段时间。因为工作原因这两年时间先是研究了一段时间Iceberg数据湖技术，后来因为团队的需要开始负责网易Hadoop\Hive等组件的开发运维工作。这两年，接触的技术栈丰富了许多，对大数据基础设施各种底层技术有了更加全面深入的理解。但让我觉得最有价值的还是这两年在线上运维过程中遇到并解决的各种各样问题，以及在分析排查这些问题过程中积累的一些排查问题的工具以及方法论。
笔者觉得这些生产线上的真实案例以及附带在这些案例后面的方法论作为宝贵的资源不应被私藏，应该拿出来与大家一起来分享交流，于是就有了重新续写博客的这份心思。也因为接下来的文章基本上都是生产线上的真实案例，所以笔者就将这些文章归入"大数据实践之路"专题。

对大数据生态现状的认识

随着近两年大数据技术的蓬勃发展，很多新的发展趋势、研究热点层出不穷。因为这个专题主要是基于Hadoop生态组件的生产线实践，所以谈几个关...

继续阅读