【技术分享】Clickhouse、Oracle、Spark、Hive性能对比测试

1、Clickhouse作为OLAP中的特立独行者,做数据分析真的是再合适不过了,丰富的分析函数可以节省大量时间;2、Oracle我一直以为是收费的,结果去官网一查,软件使用竟然是免费的,当然仅供学习和科研,商业还是要收费的,MySQL也被Oracle收购了,PG号称最好的关系型数据库,但明显干不过Oracle;3、Spark和Hive我放到一起说,我的建议,100亿级一下数据量,建议别上Hadoop体系,有那个资源上一套分布式Clickhouse集群,分分钟完成原来需要个把小时的计算任务。

2024-08-13

【开源】企业埋点采集体系搭建&开源数据可视化BI产品

介绍数据采集、流程规范、行为分析应用平台搭建内容,相信对在寻找如何相关平台搭建设计的同学,看完一定会有很大收获。

2024-08-13

【技术干货】基于Flink+ClickHouse打造轻量级点击流实时数仓

Flink和ClickHouse分别是实时计算和(近实时)OLAP领域的翘楚,也是近些年非常火爆的开源框架,很多大厂都在将两者结合使用来构建各种用途的实时平台,效果很好。关于两者的优点就不再赘述,本文来简单介绍笔者团队在点击流实时数仓方面的一点实践经验。

2024-08-13

【技术干货】多款OLAP选型对比,不上ClickHouse就糟蹋了

本次分享的题目为ClickHouse在有赞的实践,主要介绍:1.OLAP在有赞的发展 2.ClickHouse在有赞的平台化工具建设 3. ClickHouse在有赞的应用 4.未来规划和一些探索

2024-08-13

【埋点】今天聊:60 天急速自研-前端埋点监控跟踪系统

背景:小菜从 2014 年第一款 APP 上线,到如今将近 5 年,5 年风雨 5 年征程,虽然技术部有 80 人,前端有 20 人,我们依然对自己所研发的 8 款 APP、4 款小程序、6 款 H5 商城系统、10+ 个 PC CRM/IM/ERP/TMS 中台运营系统的用户使用情况、线上异常情况、设备分布情况、营销活动的 PV/UV 转化情况统统一无所知,因为看不见就不清楚现场,这种做法显然很不互联网,也很不符合小菜前端 “工具为王效率至上” 的技术价值观。

2024-08-13

【用户画像】从0到1,一文掌握用户画像标签体系

标签是人为设定的、根据业务场景需求,对目标对象运用一定的算法得到的高度精炼的特征标识。 标签是对对象某个维度特征的描述与刻画,是某一种用户特征的符号表示,每一种标签都规定了我们观察认识描述对象的一个角度,用于对象的标注、刻画、分类和特征提取。 现实世界中标签还有三种表现形态:实物标签、网络标签和电子标签。

2024-08-13

【技术干货】记一次ClickHouse性能测试

在工作场景中,我们会采集工厂设备数据用于智能控制,数据的存储用了 InfluxDB,随着数据规模越来越大,InfluxDB 的性能越来越差,故考虑引入 ClickHouse 分担 InfluxDB 大数据分析的压力,再加上我们业务上也用到了 MySQL ,所以本文就来对比下 MySQL、InfluxDB、ClickHouse 在千万数据量下的写入耗时、聚合查询耗时、磁盘占用等各方面性能指标。

2024-08-13

【日志系统】日志数据于可观测的意义及日志运维场景和工具实践

本文我们聚焦可观测的另一个重要支柱——日志管理,从日志的数据特点角度出发,分析日志数据在可观测体系中的意义,深度剖析日志与可观测体系融合建设的难点与思路,并分享企业日志系统设计选型思路以及落地实践参考。

2024-08-13

【日志分析】ES/ClickHouse/Loki比较与思考

ES和ClickHouse都是开源火得不行的软件,日志分析究竟该用哪个一直争论不休。这篇文章我们不比较哪个更牛,应该选哪个,而是从软件背后去分析用户需求是什么?有没有更好的方法来解这个问题。

2024-08-13

【技术干货】ClickHouse 在十亿级用户画像平台的应用实践

ClickHouse 以其卓越的分析性能、极好的线性扩容能力和丰富的功能,成为近年来开源 OLAP 数据库领域的一匹黑马。本文将与大家分享网易定位产品线基于 ClickHouse 构建用户画像平台的实践经验。

2024-08-13