阴道长什么样子| 腹泻是什么原因| 风湿性关节炎用什么药效果好| 九宫八卦是什么意思| 宫保鸡丁属于什么菜系| 壶嘴为什么不能对着人| 粽子叶是什么植物的叶子| 长可以加什么偏旁| 继发性不孕是什么意思| 猪肉排酸是什么意思| 触媒是什么意思| 心肌损伤是什么意思| 双儿是什么意思| 奈何桥是什么意思| 光环是什么意思| 猪肝炒什么| 21三体高风险是什么意思| 翠色什么流| 散光和近视有什么区别| 上司是什么意思| 磕是什么意思| 1月3号什么星座| 手汗症是什么原因| 什么是非萎缩性胃炎| 七月四日是什么星座| 太平天国失败的根本原因是什么| 不让看朋友圈显示什么| balenciaga是什么牌子| 为什么不能空腹喝牛奶| 小雪时节吃什么| 刮痧有什么作用| 浣碧什么时候背叛甄嬛| 痦子是什么| 控销药品什么意思| 一带一路指的是什么| bp是什么单位| 全心增大是什么意思| 肌酸激酶偏高说明什么| 2月什么星座| 杏仁有什么好处| abob白色药片是什么药| 行房时硬度不够是什么原因| 山竹为什么那么贵| 一月十二号是什么星座| 左手中指戴戒指什么意思| 陪产假什么时候开始休| 法国铁塔叫什么| 肚脐眼周围痛挂什么科| 闭关什么意思| 腿困是什么原因引起的| 美国为什么有哥伦比亚| 摩羯座和什么座最配| 宝宝入盆有什么感觉| 种植牙为什么那么贵| penis什么意思| 万条垂下绿丝绦的上一句是什么| 马克定食是什么意思| 阿司匹林和阿莫西林有什么区别| 白内障是什么原因引起的| 中焦不通吃什么药| 姑姑的弟弟叫什么| 什么时候受孕率最高| 无法无天是什么生肖| 全身骨头疼是什么原因| 脖子粗大是什么原因| 女人脸黄是什么原因该怎么调理| 蹦蹦跳跳是什么生肖| 脖子发痒是什么原因| 牙齿出血是什么病| 韩束属于什么档次| 摩托车代表什么生肖| 咸鸭蛋不能和什么一起吃| 脾虚生痰吃什么中成药| 什么老什么老| 语迟则人贵是什么意思| 拔火罐起水泡是什么原因| 甲状腺挂什么科| 封建社会是什么意思| 肝郁症是什么病| 小孩尖叫是什么原因| 青蛙靠什么呼吸| 三观不合指的是什么| 什么样的贝壳| 爱情公寓6什么时候上映| 4个火念什么| 脸上浮肿是什么原因导致的| 头皮痒头皮屑多是什么原因| 鬼压床是什么原因造成的| 疱疹吃什么药| 嘴唇颜色深是什么原因| iod什么意思| 四什么八什么| 佩字五行属什么| 养肺补肺吃什么药最好| 常吃生花生有什么好处| 请惠存是什么意思| 股癣是什么样子的图片| 香港代表什么生肖| 为什么指甲有竖纹| 胸口疼是什么病的前兆| 月经不停吃什么药| 牙龈长期出血是什么原因| 狗取什么名字好| 唐氏综合征是什么原因造成的| 什么是三好学生| 想吐头晕是什么原因| 稷是什么意思| lca是什么意思| 鸡呜狗盗是什么生肖| 人工授精是什么意思| 去台湾需要什么证件| 过敏有什么症状表现| 黄体破裂有什么症状| 汇总压缩是什么意思| 破伤风针什么时候打| 劳改犯是什么意思| 5.5号是什么星座| 早上起来眼睛肿是什么原因| 瑕疵是什么意思| ph值高是什么原因| 试管是什么意思| 什么是低密度脂蛋白胆固醇| 什么是电商平台| 急火攻心是什么生肖| 娟五行属什么| 尿崩症吃什么药最有效| 10.21是什么星座| 翻版是什么意思| 穿模是什么意思| 市委讲师团是什么级别| 哼哼唧唧是什么生肖| 松鼠代表什么生肖| 牙痛吃什么药最有效| 医院量身高为什么会矮| 腺肌症有什么症状表现| 什么道路| 莎字五行属什么| 头好出汗是什么原因| 结界是什么意思| 手机root后有什么好处和坏处| 豆奶不能和什么一起吃| 88什么意思| 性冷淡吃什么药最好| 老年人经常头晕是什么原因造成的| 手心发热吃什么药最好| 什么药不能一起吃| 中性粒细胞偏高是什么原因| 肝囊肿是什么病| 为什么老是梦见一个人| 部分是什么意思| 提携是什么意思| 母亲属虎孩子属什么好| 猴子喜欢吃什么食物| 福利姬什么意思| 酸菜炒什么好吃| 运动后体重增加是什么原因| 特种兵是什么兵种| 手指长水泡很痒是什么原因| 痢疾吃什么药效果最好| 1.8是什么星座| 金字旁目字读什么| 前列腺肥大是什么症状| 罹患是什么意思| 突然长胖很多是什么原因| 支气管病变什么意思| 廉航是什么意思| 梅开二度的意思是什么| 做蛋糕需要什么食材| 玫瑰糠疹吃什么药最有效| 为什么会长闭口粉刺| 花旦是什么意思| c4是什么驾驶证| uspa是什么牌子| 喉咙上火吃什么药| 从什么时候开始| 尿血挂什么科| 采阴补阳是什么意思| 班草是什么意思| 女人梦见掉头发是什么征兆| 碘酒和碘伏有什么区别| 五大三粗是什么意思| 双侧乳腺小叶增生是什么意思| 什么叫酮症酸中毒| 父亲节送什么花| 取其轻前一句是什么| 气管小憩室是什么意思| 麝是什么动物| 毛肚是什么动物身上的| 中国的国菜是什么| 月球是地球的什么星| 巨蟹座男和什么座最配对| 云什么什么什么| 菲字五行属什么| 骨关节炎是什么原因引起的| 治甲沟炎用什么药膏好| 吃什么能| 咽炎是什么原因引起的| 乍一看是什么意思| 吃什么可以缓解孕吐恶心| 鼻血止不住是什么原因| 4月4日是什么日子| 冥冥之中是什么意思| 脚底板热是什么原因| 悦五行属性是什么| 口腔溃疡吃什么药好得快| 为什么趴着睡觉会胀气然后打嗝| 绝眼是什么原因引起的| 买李世民是什么生肖| 龟头脱皮是什么原因| 追溯码是什么意思| 为什么会肾虚| 正常小便是什么颜色| 佛珠什么材质的最好| 92年属什么的生肖| 薇字五行属什么| 短效避孕药什么牌子好| 异国他乡的意思是什么| 经常感觉饿是什么原因| 四九城是什么意思| 眼睛发黑是什么原因引起的| 心脏由什么组织构成| 胃寒可以吃什么水果| 天山翠属于什么玉| 姊是什么意思| 拔罐出水泡是什么原因| 白葡萄酒配什么食物| 处女座的幸运色是什么颜色| 二尖瓣反流什么意思| 吃槟榔有什么危害| 孩子满月送什么礼物| 蚯蚓可以钓什么鱼| 1959年属什么生肖| 艳羡是什么意思| 欲情故纵什么意思| 垂体瘤挂什么科| 治股癣用什么药最好| 唇炎用什么药| 赵云的马叫什么| 荨麻疹能吃什么水果| 鼻子两侧挤出来的白色东西是什么| 微创是什么| 阁下是什么意思| msv是什么单位| 淋巴结是什么引起的| 芝麻分是什么意思| 经常放屁是什么原因| 老天爷叫什么名字| 平五行属什么| 女性支原体感染有什么症状| 补中益气丸治什么病| 沙僧是什么动物| 紫苏煮水喝有什么功效| 刚字五行属什么| 尿酸高要吃什么药| 电压高是什么原因造成| 沮丧是什么意思| 心室预激是什么意思| 蓝色衬衫配什么裤子| 胆固醇高不可以吃什么| 跟着好人学好人下句是什么| 阿飘是什么意思| 脱毛膏的原理是什么| 外地车进北京有什么限制| 高质量发展是什么| 百度
BT

Facilitating the Spread of Knowledge and Innovation in Professional Software Development

Write for InfoQ

Topics

Choose your language

InfoQ Homepage News Cloudflare Chooses PostgreSQL Extension over Specialized OLAP for 100K Row/Second Analytics

车讯:2016广州车展:英菲尼迪QX30 24.98万起

Listen to this article -  0:00

In a recent article from the engineering team behind the Zero Trust product suite, Cloudflare explains why it chose TimescaleDB over ClickHouse to add analytics and reporting capabilities to its internal platform. The author highlights the "phenomenal balance" between the simplicity of storing analytical data alongside configuration data and the performance of a specialized OLAP system.

Focusing on the importance of minimalism in engineering, Cloudflare explains how it built Digital Experience Monitoring (DEX), an internal observability platform that provides visibility into device, network, and application performance across Cloudflare Zero Trust environments.

The team built a configuration plane, an interface for creating and managing synthetic tests, and an analytics plane, an ingestion pipeline that collects structured logs from WARP clients, stores them, and visualizes them in the dashboard.

While Cloudflare has been using ClickHouse since 2017, Robert Cepa, until recently a senior software engineer at Cloudflare, explains why the team chose not to use it for this project:

The default and most commonly used table engine in ClickHouse, MergeTree, is optimized for high-throughput batch inserts. It writes each insert as a separate partition, then runs background merges to keep data manageable. This makes writes very fast, but not when they arrive in lots of tiny batches, which was exactly our case with millions of individual devices uploading one log event every 2 minutes. Too many small writes can trigger write amplification, resource contention, and throttling.

To keep the initial release simple and deliver a working DEX MVP within four months, the team used PostgreSQL for both configuration data and analytical logs, handling 200 inserts per second at launch and query latencies in the hundreds of milliseconds for most customers. But PostgreSQL alone could not be the solution, as Cepa adds:

As adoption grew, we scaled to 1,000 inserts/sec, and our tables grew to billions of rows. That’s when we started to see performance degradation, particularly for large customers querying 7+ day time ranges across tens of thousands of devices.

As the project grew to billions of device logs, the team explored precomputing aggregates (downsampling) to improve performance, precomputing and storing summaries in advance rather than querying the raw data repeatedly. This improvement resulted in a 1000x increase in query performance, and charts that previously took several seconds to render could now be displayed instantly, even for 7-day views across tens of thousands of devices.

Cloudflare Dashboard

Source: Cloudflare blog

As PostgreSQL does not automatically refresh materialized views or manage table partitions, the team turned to TimescaleDB for its support of columnstore and sparse indexes. Available under an Apache 2.0 license, TimescaleDB is an open-source time-series database built as an extension to PostgreSQL, optimizing storage and querying for time-stamped data while maintaining full SQL compatibility and ACID properties.

As TimescaleDB automates aggregation and data retention through automatic partition management and downsampling, Cloudflare was able to simplify its internal infrastructure by integrating the PostgreSQL extension into its existing setup. Cepa concludes:

Not every team needs a hyper-specialized race car that requires 100 octane fuel, carbon ceramic brakes, and ultra-performance race tires: while each one of these elements boosts performance, there's a real cost towards having those items in the form of maintenance and uniqueness. For many teams at Cloudflare, TimescaleDB strikes a phenomenal balance between the simplicity of storing your analytical data under the same roof as your configuration data, while also gaining much of the impressive performance of a specialized OLAP system.

Benchmarking a TimescaleDB compressed hypertable against a PostgreSQL table, Cepa measured performance improvements of 5x to 35x, depending on the query type and time range, thanks to compression and sparse indexes. The community mainly questioned the decision not to use Clickhouse. On Hacker News, user arunmu comments:

The reason given for not using Clickhouse which they are already using for analytics was vague and ambiguous. Clickhouse does support JSON which can be rewritten into a more structured table using MV. Aggregation and other performance tuning steps are the bread and butter of using Clickhouse.

Ajay Kulkarni, cofounder of TigerData, the company behind TimescaleDB, replies:

PostgreSQL with TimescaleDB did the job. Why overcomplicate things?

Jamie Lord, solution architect at CDS UK, writes:

For teams already invested in the PostgreSQL ecosystem, this represents a compelling evolution rather than revolution. You retain all existing tooling, knowledge, and operational procedures whilst gaining analytical capabilities that rival purpose-built OLAP systems.

Cloudflare architecture

Source: Cloudflare blog

Following the implementation of the DEX project, TimescaleDB has been adopted as the aggregation layer on top of raw logs in other Cloudflare projects, such as Zero Trust Analytics & Reporting, to generate analytics and long-term reports for systems ingesting millions of rows per second.

About the Author

Rate this Article

Adoption
Style

BT
你喜欢我什么 广东是什么气候 脸上容易出油是什么原因 rp是什么意思 螺旋幽门杆菌吃什么药治疗好
牙痛吃什么 阴道松弛吃什么药 燕然未勒归无计的上一句是什么 没意思是什么意思 减肥每天吃什么三餐
拼图用什么软件 春秋是一部什么体史书 胡人是什么民族 异国他乡的异是什么意思 湿疹用什么药好得最快最有效
骨钙素低是什么原因 什么是阳虚 例假是什么 dg是什么牌子 ibs是什么单位
梦见自己会开车了是什么意思dajiketang.com 为什么有蟑螂hcv8jop9ns5r.cn 四大洋分别是什么hcv8jop8ns5r.cn 临床药学在医院干什么hcv9jop1ns8r.cn 苔藓是什么意思naasee.com
艾滋有什么症状hcv8jop3ns9r.cn 鸡蛋干配什么菜炒好吃hcv9jop4ns8r.cn 小孩咬人是什么原因hcv8jop3ns4r.cn 身上没长什么就是干痒hcv9jop6ns4r.cn 刹那芳华是什么意思hcv8jop8ns1r.cn
竹节棉是什么面料hcv7jop6ns9r.cn mm什么意思bfb118.com 为什么鼻子无缘无故流鼻血hcv8jop9ns2r.cn 德艺双馨什么意思hcv9jop6ns8r.cn 什么是频率shenchushe.com
右手发麻是什么病的前兆hcv7jop7ns0r.cn 猫咪呕吐吃什么药hcv8jop4ns2r.cn 为什么会长阴虱hcv8jop5ns6r.cn 发烧拉肚子是什么原因hcv7jop6ns4r.cn 膝关节疼是什么原因hcv9jop6ns0r.cn
百度