云和恩墨:以鲲鹏创新,推动数据库一体机市场发展

        在最近结束的鲲鹏应用创新大赛 2023 中,云和恩墨凭借其出色的表现,成功获得了全国总决赛一体机议题金奖。在不到半年的时间里,云和恩墨成功地完成了 zData X 数据库一体机对鲲鹏架构的支持,展示了其在技术创新和产品研发方面的强大实力。

借此机会,51CTO 采访了云和恩墨数据库一体机产品总经理刘宇,他同时也是此次云和恩墨参赛团队的队长。刘宇表示,云和恩墨与华为有着多年的合作关系,在国家自主创新的大环境下,行业数字化发展迅速,云和恩墨在产品规划上也率先支持鲲鹏生态。“我们希望通过参加这次大赛来验证我们产品的能力,并通过这个平台向其他优秀的参赛团队学习。”

云和恩墨:以鲲鹏创新,推动数据库一体机市场发展插图1云和恩墨数据库一体机产品总经理刘宇(右二)上台领奖

国内数据库百花齐放,自主创新挑战多

当前,数据库产业正面临诸多挑战。首先,国内数据库市场呈现出百花齐放的态势,据墨天轮社区统计,国产数据库品类总数已近 300 个。如此众多的品类让客户在选择时遇到了极大的挑战。

其次,随着数字化转型的快速发展,在政策的驱动下,自主创新能力的需求日益凸显。然而,国产软硬件的适配过程复杂,管理成本高,且经常出现问题,导致企业用户“想要使用但不敢轻易尝试”。

第三,过去国产化数据库通常只部署在边缘业务上,很少能够直接在核心业务系统中使用。如今,国产化数据库需要满足核心业务需求,直接承载更多的任务,这给数据库提出了更高的要求,其承载环境也需要满足高性能与高可靠性的需求。

数据库一体机通过一体化的解决方案,将硬件、软件、存储和管理集于一身,大大降低了数据存储和管理的复杂性。同时,它还具备高度集成、高性能、高可靠性、高安全性和简单易用的优势,能够满足各种业务场景的需求,成为众多行业核心系统的数据库替代的最佳解决方案。

在本届鲲鹏应用创新大赛中,首次设置了“鲲鹏一体机解决方案创新赛道”,旨在广泛征集面向运营商、金融、泛政府等国计民生行业应用场景的基于行业应用软件与鲲鹏服务器深度融合的一体化交付作品。云和恩墨参赛团队由刘宇带队,他们带来了 zData X 数据库一体机的参赛作品,并在大赛中表现出色,荣获了一体机赛道的金奖。

解决之道:zData X 全栈软硬件数据库一体机

zData X 数据库一体机是基于鲲鹏底座,融合高性能计算、全闪存分布式存储、RoCE 网络、RDMA 远程直接存取和数据库管理服务的数据库一体化运行平台。其核心优势在于高性能和多元化。

刘宇强调,数据库最关键的就是性能,而 zData X 数据库一体机最大的优势也是性能,在稳定可靠、开放易用的基础条件之上,云和恩墨可以提供高性能的数据库基础设施。

zData X 数据库一体机采用了全闪存分布式存储软件 zStorage,其单节点 4KB 随机读写(7:3)能够达到大于 70 万 IOPS 的高性能,并且在 IOPS 达到峰值时平均时延小于 0.3ms。同时支持 NVMe-oF 和 RoCE 协议,通过高速协议的加持,数据传输与存取性能提升 2 倍。

为了实现如此高性能的表现,云和恩墨团队采用了全自研分布式架构,针对数据库场景进行了专门的设计和优化,相比支持多种协议的传统架构,我们对软件进行了瘦身,精简了整个代码的协议栈,从而整体提升了数据库一体机的性能。

此外,为了充分发挥鲲鹏硬件的潜能,云和恩墨还对调度框架进行了优化。为了避免 CPU资源分配不均对整体性能的影响,云和恩墨自研了调度算法,通过局部优化和多次迭代,逼近最优均衡。同时采用自动化看护方式,当资源均衡性能出现超过 3% 的偏差时,会自动触发用例重新运行并进行问题分析,确保实现效果无误。

云和恩墨公司一直以来都注重多元数据库的发展,此次推出的 zData X 数据库一体机也是基于云和恩墨产品的积累以及自身基因优势,推出的全栈国产数据库一体机。该产品真正实现了对多元数据库的支持。云和恩墨在每款数据库的兼容和调优方面都投入了大量的资源和研发力量。通过全面的自动化用例设计和全量的测试,确保了兼容问题的顺利解决。此外,云和恩墨拥有众多数据库专家,通过专家力量来解决多元数据库盲点问题,从而对多元数据库进行进一步的调优。

在诸多优化手段和技术的加持下,zData X 的存储性能超过了传统 Ceph 架构 9 倍、业界同类产品 2 倍以上。能够在更低的时延下提供更高的 IOPS 性能,满足数据库各类严苛的负载要求。

鲲鹏助力,提升开发效率和性能

云和恩墨实际上很早便与鲲鹏进行了深度合作,2020年基于openGauss企业级开源数据库发布了商业发行版数据库MogDB,并已广泛应用于金融、政府、制造业等行业用户。同时,云和恩墨也是openGauss社区首批理事会成员。基于鲲鹏在硬件市场上的出色表现,2023年初,云和恩墨推出了基于鲲鹏硬件平台的zData X全栈国产数据库一体机。

刘宇分享了他们在开发 zData X 数据库一体机过程中的一些经验。通过使用鲲鹏BoostKit 应用使能套件,针对数据库的特定场景进行优化,实现了性能提升,如使用MySQL并行查询优化技术对订单数量统计业务场景进行优化,该场景统计1亿行的订单大表(单表大小约23GB),经优化,统计效率提升30%。同时,其他重要的数据库场景都有25%以上的性能提升。

然而,从 原有架构移植到鲲鹏硬件平台并非易事,刘宇提到,这个过程会遇到许多挑战,由于架构的不同,还会导致编译问题。原有架构 的外部依赖需要进行相应的识别和解决才能在鲲鹏设备上运行。为此,鲲鹏DevKit开发套件应运而生,作为一款提供涵盖代码迁移、开发调试、编译、测试、性能调优等各环节的开发使能工具集,方便开发者快速开发出鲲鹏亲和的高性能软件。同时,鲲鹏DevKit帮助开发者加速应用迁移和算力升级,面向全研发作业流程,提升应用迁移和调优效率,加速原生开发。云和恩墨团队使用鲲鹏代码迁移工具,几个G的软件包仅用了不到1小时时间,就完成了原有架构依赖的分析,如果没有鲲鹏DevKit工具的帮助,可能需要几天才能完成,鲲鹏代码迁移工具大大提升了迁移的效率,同时,通过鲲鹏Devkit原生开发插件,一次构建生成两个架构的代码包,大大提高了开发效率。

当前zData X全栈国产数据库一体机在实际交付过程中也受到了各行业用户的良好反馈。在某卫健委,上线了zData X全栈国产数据库一体机,承载该卫健委的基卫系统,上线后,不仅满足了其自主创新的要求,系统的IO处理能力也提升了10余倍,匹配客户业务发展的性能诉求,帮助客户完成高性能国产数据库资源池的建设。

此外,某医院使用了zData X全栈国产数据库一体机后,帮助其门诊应用数据库事务插入耗时稳定在1秒以内,且未再出现高延时抖动,业务性能稳定且有显著提升。在医院的信息系统(HIS系统)有了显著的性能提升,举一个典型场景为例,zData X上线后,统计各科室药房数据的执行效率,相比原系统提升了20余倍,有效及时的反应实时信息,为提高医院管理效率带来巨大的帮助。zData X也因具备高性能、高可靠性的同时兼具灵活性,切实满足智慧医院的建设要求。

数据库一体机推动数据库产业创新发展

在数字化时代,随着数据量的爆炸式增长和业务需求的多样性,数据库管理面临着前所未有的挑战。如何高效、安全、可靠地存储和管理海量数据成为行业亟待解决的问题。而数据库一体机,作为一种专为高性能数据库管理设计的设备,逐渐展现出其在行业中的巨大价值。

数据库一体机市场的一大趋势是开放多元。这种趋势不仅体现在对多种数据库类型的支持上,还体现在对不同硬件架构的兼容性上。云和恩墨 zData X 数据库一体机不仅支持多种数据库产品,还能根据用户需求进行匹配,提供个性化的解决方案。这种开放多元的特点使得数据库一体机在市场上具有更强的竞争力,更容易满足用户需求。

其次,云和恩墨的数据库一体机实现了全栈国产化,基于鲲鹏+欧拉满足自主创新需求。这种全栈自主创新的模式提高了产品的性能和可靠性,使云和恩墨在市场上占据更有优势的位置。

第三,数据库一体机的核心诉求是高性能和高可靠性。zData X 数据库一体机采用先进的存储技术和优化算法,快速处理和分析海量数据,提高数据处理效率。同时,它还具备高度可靠性,能在不同应用场景下稳定运行,保障数据的安全和可靠性。

云和恩墨与鲲鹏生态的深度合作构建了一个强大的生态系统,由软硬件组成。在这个系统中,鲲鹏硬件的算力得到充分发挥,为数据库一体机的卓越性能提供坚实基础。而云和恩墨的软件和服务则进一步提升系统的稳定性和可靠性,确保用户数据的安全和业务高效运行。

这种框架式的推广合作模式不仅促进云和恩墨和鲲鹏生态共同推动国产数据库产业的发展,还让用户享受更全面、高效、可靠的数据存储和管理服务。未来,云和恩墨将继续深化与鲲鹏生态的合作,推动数据库技术的创新和发展,为用户创造更多价值。

未来发展

随着数字化时代的到来,数据规模呈现爆炸式增长,数据库市场前景广阔。在这个背景下,云和恩墨积极布局数据库一体机市场,通过横向和纵向的产品演进,不断推动数据库一体机技术的发展。在横向方面,会支持更多的数据库协议,为客户提供更丰富的选择;在纵向方面,云和恩墨将基于 openGauss推出一款数据库一体机,通过数据库与存储的联动,实现 1+1>2 的效果。

在数字化时代,数据库作为核心的数据存储和管理工具,其性能和可靠性对于各行业的业务连续性和发展至关重要,云和恩墨深知这一点。刘宇表示,未来,云和恩墨会发挥数据库产业优势,充分发挥鲲鹏硬件算力,助力鲲鹏生态攻占数据库产业价值高地,通过自己的贡献助力国产数据库产业

本文来源于互联网,如若侵权,请联系管理员删除,本文链接:https://www.9969.net/26587.html

沫沫沫沫
上一篇 2024年7月23日 16:38
下一篇 2024年7月23日 16:38

相关推荐