influxdb

时序数据库技术体系 – InfluxDB TSM存储引擎之数据读取

范欣欣 22 条评论
任何一个数据库系统内核关注的重点无非数据在内存中如何存储、在文件中如何存储、索引结构如何存储、数据写入流程以及数据读取流程。关于InfluxDB存储内核，笔者在之前的文章中已经比较全面的介绍了数据的文件存储格式、倒排索引存储实现以及数据写入流程，本篇文章重点介绍InfluxDB中时序数据的读取流程。
InfluxDB支持类SQL查询，称为InfluxQL。InfluxQL支持基本的DDL操作和DML操作语句，详见InfluxQL_Spe，比如Select语句

select_stmt = "SELECT" fields from_clause [ into_clause ] [ where_clause ][ group_by_clause ] [ order_by_clause ] [ limit_clause ][ offset_clause ] [ slimit_clause ] [ soffset_clause ] .

使用InfluxQL可以非常方便、人性化地对InfluxDB中的时序数据进行多维聚合分析。那InfluxDB内部是如何处理Query请求的呢？接下来笔者结合源码对InfluxDB的查询流程做一个剖析。另外，如果看官对源码这部分感兴趣，推荐先阅读官方文档对应部分https://docs.influxdata.com/influxdb...

继续阅读

时序数据库技术体系 – InfluxDB TSM存储引擎之数据写入

范欣欣 7 条评论
之前两篇文章笔者分别从TSMFile文件存储格式、倒排索引文件存储格式这两个方面对InfluxDB最基础、最底层也最核心的存储模块进行了介绍，接下来笔者会再用两篇文章在存储文件的基础上分别介绍InfluxDB是如何处理用户的写入（删除）请求和读取请求的。在阅读这两篇文章之前，强烈建议看官先行阅读之前的多篇文章，不然可能会有一定的阅读障碍。

InfluxDB写入总体框架

InfluxDB提供了多种接口协议供外部应用写入，比如可以使用collected采集数据上传，可以使用opentsdb作为输入，也可以使用http协议以及udp协议批量写入数据。批量数据进入到InfluxDB之后总体会经过三个步骤的处理，如下图所示

1

  1. 批量时序数据shard路由：InfluxDB首先会将这些数据根据shard的不同分成不同的分组，每个分组的时序数据会发送到对应的shard。每个shard相当于HBase中regio...

继续阅读

时序数据库技术体系 – InfluxDB 多维查询之倒排索引

范欣欣 21 条评论
在时序数据库概述一文中，笔者提到时序数据库的基础技术栈主要包括高吞吐写入实现、数据分级存储｜TTL、数据高压缩率、多维度查询能力以及高效聚合能力等，上文《时序数据库技术体系 InfluxDB存储引擎TS》基于InfluxDB存储引擎TSM介绍了时序数据库的高性能写入能力以及基于列式存储的数据高压缩率实现。接下来两篇文章分别基于InfluxDB系统的倒排索引实现以及Druid系统的Bitmap索引实现介绍时序数据库的多维度查询实现原理。
InfluxDB系统TSM存储引擎个人认为有两个最核心的工作模块，其一是TSM针对时序数据在内存以及文件格式上做了针对性的优化，优雅地实现了时序数据的高效率写入以及高压缩率存储，同时文件级别的B+树索引可以有效提高时序数据根据SeriesKey查询时间序列的性能；其二是InfluxDB系统还实现了内存以及文件级别的倒排索引，有效实现了根据给定维度field...

继续阅读

时序数据库技术体系 – InfluxDB TSM存储引擎之TSMFile

范欣欣 23 条评论

为了更加系统的对时序数据库技术进行全方位解读，笔者打算再写一个系列专题（嘿嘿，好像之前事务专题还有几篇关于分布式事务的文章没有写完，后续一定会补上）－时序数据库技术专题，详细解读当前主流时序数据库中会涉及到的相关技术点。这个专题前面已经写过三篇暖场文章

时序数据库 - 为万物互联插上一双翅膀》 － 介绍时序数据库的应用场景、时序数据库关注的核心技术点以及主流的几款时序数据库调研

时序数据库技术体系 - 时序数据库存储模型设计》－介绍主流的几款时序数据库在顶层设计层面的取舍，嗯，非常重要

时序数据库技术体系 - 初识InfluxD》－介绍InfluxDB的一些基本概念、系统体系架构，为InfluxDB之后技术文章做个铺垫

接下来笔者将会用5篇左右的文章结合源码详细解读InfluxDB和Druid这两款时序数据库的核心技术实现，大体的文章脉络为

《时序数据库技术体系 - InfluxDB T...

继续阅读

时序数据库技术体系 – 初识InfluxDB

范欣欣 23 条评论

在上篇文章《时序数据库体系技术 - 时序数据存储模型设计》中笔者分别介绍了多种时序数据库在存储模型设计上的一些考虑，其中OpenTSDB基于HBase对维度值进行了全局字典编码优化，Druid采用列式存储并实现了Bitmap索引以及局部字典编码优化，InfluxDB和Beringei都将时间线挑了出来，大大降低了Tag的冗余。在这几种时序数据库中，InfluxDB无疑显的更加专业。接下来笔者将会针对InfluxDB的基本概念、内核实现等进行深入的分析。本篇文章先行介绍一些相关的基本概念。

InfluxDB 数据模型

InfluxDB的数据模型和其他时序数据库有些许不同，下图是InfluxDB中的一张示意表

11

1. Measurement：从原理上讲更像SQL中表的概念。这和其他很多时序数据库有些不同，其他时序数据库中Measurement可能与Metric等同，类似于下文讲到的Field，这点需要注意。

2. Tags：维度列

（1）上图中location和scientist分别是表中的两个Tag Key，其中location对应的维度值Tag Values为｛1, 2｝，scientist对应的维度值Tag Values为{langstroth,perpetual}，两者的组合TagSet有四种

location = 1 , scientist = langstrothlocation = 1 , scientist = perpetuallocation = 2 , scientist = langstrothlocation = 2 , scientist = perpetual

（2）在InfluxDB中，表中Tags组合会被作为记录的主键，因此主键并不唯一，比如上表中第一行和第三行记录的主键都为'location=1,scientist=langst...

继续阅读

时序数据库技术体系－时序数据存储模型设计

范欣欣 8 条评论

时序数据库技术体系中一个非常重要的技术点是时序数据模型设计，不同的时序系统有不同的设计模式，不同的设计模式对时序数据的读写性能、数据压缩效率等各个方面都有不同程度的影响。这篇文章笔者将会分别针对OpenTSDB、Druid、InfluxDB以及Beringei这四个时序系统中的时序数据模型设计进行介绍。

在详细介绍时序数据模型之前，还是有必要简单回顾一下时序数据的几个基本概念，如下图所示


td3

上图是一个典型的时序数据示意图，由图中可以看出，时序数据由两个维度坐标来表示，横坐标表示时间轴，随着时间的不断流逝，数据也会源源不断地吐出来；和横坐标不同，纵坐标由两种元素构成，分别是数据源和metric，数据源由一系列的标签（tag，也称为维度）唯一表示，图中数据源是一个广告数据源，这个数据源由publisher、advertiser、gender以及country四个维度值唯一表示，metric表示待收...

继续阅读