“做就做到极致”
在本次信通院的测试中,华为GaussDB分析型数据库完成了在512节点集群规模下包括基础能力、运维能力、兼容性、安全性、高可用以及扩展能力等六项指标、51项测试项的能力测试要求。
GaussDB分析型数据库非常轻松通过了本次测试。事实上,GaussDB的集群规模最高可扩展至2048节点,业界具备这种能力的数据库产品屈指可数。
”一位华为GaussDB数据库工程师如是说。
华为GaussDB开始于2011年,是华为数据库研发团队结合数据库理论和技术发展趋势,历时多年打造出来的一款架构领先的分布式企业级数据库,包括事务型(OLTP)数据库、分析型(OLAP)数据库和混合负载(HTAP)数据库。
作为一款企业级的大规模并行处理关系型数据库,华为GaussDB采用了MPP(Massive Parallel Processing)+ShareNothing架构。众所周知,MPP架构的数据仓库因为其高性能、高可用和高扩展性的特点,具备极高的横向扩张能力和数据高可用保障机制,基于标准化硬件也可以大幅降低硬件成本,成为金融、电信等大型客户在新型数据仓库和数据分析领域的不二之选。
不过,基于MPP架构的数据仓库最大的挑战就是集群规模。“业界大部分产品都是100个节点左右规模的集群,鲜有能够达到512个节点甚至以上的。”这位工程师透露。MPP数据仓库由于采用了无共享、全并行和完全对等的架构,随着集群规模的增大,对于资源占用、通信连接占用的情况也会呈现指数级的增长,导致各种资源被占用和浪费,从而使得集群规模出现瓶颈,集群大规模通信是一个很大的问题。
为解决难题,华为GaussDB研发团队首先从操作系统入手进行攻关。“之前Linux自带的SCTP多流原生库在集群规模上去之后,稳定性和性能还是远远不够。为此,我们重新写了一套多流的SCTP通信库,采用小包合并和异步接收技术来提高通信性能和流水线效率大规模通信的问题”,这位华为数据库工程师表示。
在这位工程师看来,GaussDB的优势在于华为具备全栈技术打通的能力,从CPU、存储等硬件,到操作系统、数据库等软件,华为可以形成一体化的能力,从而让GaussDB给用户带来极致的扩展能力和极致的性能。“现在已经不能仅仅依靠一款产品来竞争了,而是软硬一体的综合竞争力,通过把每个核心环节和核心部件做强,从而为产品提供极致的能力。”
事实上,除了性能之外,华为GaussDB在可靠性方面也下足了功夫:集群的的协调节点、数据节点等逻辑组件全部采用HA设计,确保了无单节点故障。此外,GaussDB兼容标准ANSI SQL 2003,提供Oracle、Teradata语法迁移工具,并且融合Hadoop、Spark等大数据技术;而针对公有云用户群,华为云则提供基于GaussDB的DWS服务,具有支持多租户、跨数据源访问、在线扩容、在线升级、资源按需弹性伸缩等特性。
“眼睛盯着客户”
我们正身处一个数据大爆炸的时代。在中国市场,互联网和移动互联网快速发展带来了数据的爆发式增长。随着国内率先在5G、物联网等进行应用,中国各个行业的数字化进程必然会加快,也将带来更大的数据洪流。IDC在《数据时代2025》白皮书中就预测,中国会成为未来数据增长和数据量最大的国家。
具体到行业,国内的金融、电信运营商、政府等机构本身就已经积累了丰富的海量数据,并且从过去的数据源单一走向数据源多样化,对于数据分析和决策有着更加强烈的需求。“国内很多企业因为历史规划的原因,导致业务割裂情况比较明显,数据共享和使用是巨大挑战”,在这位工程师看来,数据的打通、流动、共享是大数据分析的前提条件。但现实情况却是,当前大部分数据仓库的集群规模很难做上去,导致很多大型企业在不停地规划各种小的数据仓库集群,数据共享、使用都是目前面临的棘手难题。
因此,大数据时代下的新型数据仓库需要去帮助用户解决业务割裂带来的数据共享和使用难题,并且通过强大的扩展能力和性能去支撑越来越庞大的数据规模以及实时数据分析需求——GaussDB分布式分析型数据库的价值也正在于此。
作为一款历时6年打造的新型数据仓库,GaussDB为各行业提供了PB级领先的海量数据分析解决方案,并且在金融、电信、政府等行业有着深厚的积累。
例如,中国某世界级银行已经将过去运行在各种国外品牌数据仓库一体机之上的业务全部迁移到华为GaussDB集群之上,并且GaussDB集群承载的业务规模是之前的15倍之多。据华为数据库工程师透露:“该行的这套集群主要用于数据集市,年底集群规模将扩展到480个节点。”此外,还有多家大型银行也陆续加入到GaussDB的测试和使用队列中。
除了金融、电信、政府等行业用户,华为GaussDB还在华为消费者云业务中部署了上千个节点的规模来支撑各项业务。正是多年的行业积累铸就了华为GaussDB数据库的深厚实力。“打造一款通用型数据库绝非易事,除了性能之外,易用性、可靠性和可恢复性是背后隐藏的能力,这绝非一朝一夕所能做到的。”据悉,华为GaussDB未来还会进一步完善异构计算环境,并且提升实时分析和交互式分析场景的能力。
一直以来,在数据仓库领域,尤其是在金融、电信等大型用户的场景中,绝大部分都是国际品牌的身影,鲜有中国数据库品牌的出现。华为GaussDB的厚积薄发与崛起,意味着中国数据库产品在技术和架构上已经实现了逐步领先,并且可以为用户在大数据时代下的数据分析和业务决策,带来更加贴近业务需求的安全可控方案。