【携程】ClickHouse日志分析实践

ElasticSearch是一种基于Lucene的分布式全文搜索引擎,携程用ES处理日志,目前服务器规模500+,日均日志接入量大约200TB。随着日志量不断增加,一些问题逐渐暴露出来:一方面ES服务器越来越多,投入的成本越来越高;另一方面用户的满意度不高,日志写入延迟、查询慢甚至查不出来的问题一直困扰着用户;而从运维人员的角度看,ES的运维成本较高,运维的压力越来越大。

2024-08-16

【字节跳动】从 ClickHouse 到 ByteHouse:实时数据分析场景下的优化实践

作为国内规模最大的 ClickHouse 用户,目前字节跳动内部的 ClickHouse 节点总数超过 1.5W 个。综合来说,字节跳动广泛的业务增长分析很多都建立在 ClickHouse 为基础的查询引擎上。在打造ByteHouse的路程中,我们经过了多年的探索与沉淀,本文将分享字节跳动过去使用 ClickHouse 的两个典型应用与优化案例。

2024-08-16

【字节跳动】基于ClickHouse优化实践之Upsert

相信大家都对大名鼎鼎的ClickHouse有一定的了解,它强大的数据分析性能让人印象深刻。但在字节大量生产使用中,发现了ClickHouse依然存在了一定的限制。例如: 缺少完整的upsert和delete操作 多表关联查询能力弱 集群规模较大时可用性下降(对字节尤其如此) 没有资源隔离能力 因此,我们决定将ClickHouse能力进行全方位加强,打造一款更强大的数据分析平台。 本篇将详细介绍我们是如何为ClickHouse补全更新删除能力的。

2024-08-16

【B站】基于ClickHouse的海量用户行为分析应用实践

数据驱动理念已被各行各业所熟知,核心环节包括数据采集、埋点规划、数据建模、数据分析和指标体系构建。在用户行为数据领域,对常见的多维数据模型进行信息提炼和模型整合,可以形成一套常见的数据分析方法来发现用户行为的内在联系,能更好洞察用户的行为习惯和行为规律,帮助企业挖掘用户数据的商业价值。

2024-08-16

【携程】支撑 700 亿数据量的 ClickHouse 高可用架构实践

主要从这几个方面给大家分享一下 ClickHouse,为什么选择 ClickHouse?我们在实际应用中的一个高可用架构,最后就是给大家介绍 ClickHouse 的一些优点,还有现在 ClickHouse 的一些问题和我们对未来的一些展望规划。

2024-08-15