软通动力信息技术(集团)股份有限 | 高级工程师 (已认证)
传统的操作型数据库主要面向业务的,所执行的操作基本上也是联机事务处理,随着企业规模的增长,历史积累的数据越来越多,如何利用历史数据来为未来决策服...
最近要搭某个业务域的数仓,本来设计规划的挺好的,该搭DIM,DWD,DWS的也都设计好了,结果一跑数仓,全是大大小小的1BUG,最后揪出来整个过程,最大的烦人东...
如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置;如果把数据看作城市的建筑,我们希望城市规划布局合理;如果把数据看作电脑文件和文件夹,我们希望...
作为一个大数据开发技术人,是不是经常被各种名词围绕,对其中很多概念认知模糊。有些词虽然只有一字之差,但是它们意思完全不同,这些名词对于理解和构建数据仓库至关重要...
在当今这个数据洪流的信息时代下,数据已跃升为企业不可或缺的核心资产。深度挖掘并提炼数据内在价值,成为支撑企业战略决策的重要依据。在此背景下,快手建立了 OLAP...
亲爱的社区小伙伴们,Apache Doris 2.1.6 版本已于 2024 年 9 月 10 日正式发布。2.1.6 版本在 Lakehouse、异步物化视图...
在我十多年的数据仓库建设经验中,ETL(Extract, Transform, Load)一直是最具挑战性的环节之一。简单来说,ETL就是将分散在各个业务系统中...
随着业务的蓬勃发展,各企业对数据处理的灵活性和可扩展性提出了更高的要求。在此背景下,JSON、XML 等半结构化数据凭借其较强的灵活性在众多企业得到广泛应用。然...
亲爱的社区伙伴们,Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Fli...
SelectDB Cloud 是基于 Apache Doris 研发的全托管实时数据仓库服务,采用全新的云原生存算分离架构。当计算层与存储层进行了分离设计后,计...
在上述目标驱使下,招联迅速定位到 Apache Doris 这一开源实时数据仓库 ,Doris 以其简洁的架构设计、丰富的数据接口、高效的查询性能以及低廉的运维...
实时数仓是数据仓库的一种形式,它能够实时处理和分析数据。相比传统数据仓库,它的优势在于能够处理流式数据(不断产生的数据流),并实时更新分析结果。这对于需要即时决...
MiniMax 是领先的通用人工智能科技公司,自主研发了不同模态的通用大模型,其中包括拥有万亿参数的 MoE 文本大模型、语音大模型以及图像大模型。MiniMa...
原始数据为一张横表,分别有三列成绩列,想要转成竖表,需要转换成三列分别为 学生id、学科、成绩,转换完成之后学生id将不再是主键。
原始数据中是一个竖表,每个学生的每个学科一行数据,对其转换成一张横表,即表中学生id为主键,包含语文、数学、英语三列,列值为对应学科分数。
根据配送订单记录表,查询出骑手id,顾客id列表,要求顾客id列表中的顺序按照送达时间早晚排序。
进入到了CMD公共数据层的结尾最后一层-DWS层了,该层基本就是直接与业务强关联,也就是说产品提出的需求,或是报表、用户画像统计好还是数据大屏都是在这一层给处理...
明细粒度事实层(DWD)在数据仓库中是非常重要的一个层次,其设计与企业的业务过程紧密相关。通过理解DWD层的特点和设计方法,可以更好地支持企业的数据分析需求。