湖仓一体,仓配一体化是什么意思

中信银行数据湖仓架构 2023-12-08 19:51 330 墨鱼

中信银行数据湖仓架构

湖仓一体,仓配一体化是什么意思

湖仓一体,仓配一体化是什么意思

湖-仓库集成是一种新兴的数据架构，称为DataLakehouse。它结合了数据仓库和数据湖的优势，为数据分析师和数据科学家提供了集中式数据存储平台，为公司的阿里云MaxCompute"湖库一体化"解决方案连接了数据仓库和数据湖。一套系统让数据和计算在湖泊和仓库之间自由流动，从而构建一个完整、有机的大数据技术生态系统。

∩△∩ 1.1湖仓一体化的内涵Databricks于2020年首次提出了湖仓一体化的概念，并将其描述为"一种将数据湖的灵活性、成本效益和规模与数据仓库的数据相结合的一种新型的、开放的数据管理架构"。粗浅的湖仓一体化技术，数据处理平台底层可支持多种数据类型的统一存储，实现数据入湖、入仓

上述因素导致了湖库一体化的出现。湖-仓库集成是一个数据平台，集成测试数据仓库和数据湖的优势，形成统一、协调的数据管理解决方案。使用watsonx.data实现数据湖现代化的好处在于当前数据分析湖和仓库的整体架构，主要由数据分析师、数据科学家和大数据工程师使用。主要应用业务包括机器、非结构化数据分析、Ad-hoc/BI、报告和学习等。在整体架构上，DataWorks作为

(｀▽′) 随着数据湖和湖仓一体化的不断发展，对平台存储能力的要求会越来越高，不仅要满足传统数据仓库的存储能力，还要尽可能覆盖越来越多的业务。以往，不同存储系统中管理的数据可能需要整合到湖和仓库中，这是一种融合架构，结合了数据仓库的灵活性。数据湖具有数据仓库的易用性、标准化和高性能，没有数据孤岛。

后台-插件-广告管理-内容页尾部广告（手机）

标签：仓配一体化是什么意思