购物、出行、旅游……人们产生的每一条数据,都存储在数据库里。数据库和芯片、操作系统并列现代信息技术领域的三大核心基础。“数字时代,数据是生存要素,数据库是基础支撑。”11月16日,在OceanBase2023年度发布会上,中国工程院院士沈昌祥表示,数据库的安全、稳定、可靠、性能、容量等对国计民生有根本性影响,也直接影响数字经济发展和数字化转型进程。
在OceanBase2023年度发布会上,OceanBase CEO杨冰推出了分布式数据库性能新标准、容灾新标准、高可用新标准及架构新标准这四项新标准。
OceanBase是由蚂蚁集团完全自主研发的国产原生分布式数据库,始创于2010年。根据《2022—2023中国平台软件市场研究年度报告》,在平台软件需求增长最快的金融行业,OceanBase在国产分布式数据库市场占有率上位列第一。“唯有完全自研才能真正掌握核心代码,主导产品发展,建成国际一流的数据库系统。”OceanBase首席科学家阳振坤表示。
需求牵引OceanBase自主研发
作为技术开发的重要领域,数据库具有诸多细分类别:关系型数据库、非关系型数据库、分布式数据库等。“数据库本身是一个场景驱动的技术。使用场景上没有形成代际跃迁的变化,也就无法对现有数据库的能力提升和架构升级产生太大推动力。”杨冰解释道。
在中国,移动互联网技术的发展带来前所未有的海量数据和高并发场景。这催生了国内对分布式数据库的巨大需求,也为科技企业创造了打磨数据库产品的机会。
时间回到2009年,“双十一”开幕,指数级增长的成交额给支撑用户抢购的交易系统带来了严峻的压力。这要求数据库不仅需要应对流量峰值、保障系统平稳运行,更要在降本增效的同时服务业务发展。当时,支付宝原本的集中式数据库系统已不足以应对上述情况,自研一款弹性伸缩、高可用的分布式数据库迫在眉睫。
2010年,OceanBase研发项目正式启动。这个为支撑“双十一”爆炸式增长的海量数据而生的数据库,在十三年的自研过程中不断优化增强,在性能、高可用、性价比和单机分布式一体化架构上达到技术新高度。
2022年,OceanBase发布业内首个单机分布式一体化架构的数据库——小鱼,这意味着用户不再需要在集中式和分布式数据库中“二选一”。小到个人站点、大到银行核心系统、巨型电商网站,用户都可以在业务发展的不同阶段选择适配自身的高性价比数据库方案。
杨冰回忆,2020年是OceanBase商业化的第一年,那时,OceanBase只有18个客户。现在,70%的千亿资产规模以上的银行、75%的头部证券机构、65%的头部保险机构、45%的头部基金公司都选择了OceanBase进行核心系统升级。
同时,OceanBase的应用场景也从金融行业向千行百业迈进。2021年12月28日,江西省成为全国首个接入养老保险全国统筹信息系统的省份,这背后就有OceanBase核心数据库的支撑。如今,江西省全省机关养老、企业养老、工伤保险等都在OceanBase上稳定运行。
标准助推数据库能力升级
“我们正在迈向基于数据的智能时代。这个过程中,数据的业务化是核心,数据库升级是关键。”国际数据公司(IDC)中国副总裁兼首席分析师武连峰表示。他分享了一组数据:到2027年全球新产生的数据将达到291ZB,80%的企业要管理10种类型的数据,全球每年因数据丢失和宕机导致的损失达到2万亿美元,100%的企业遇到数据库转移兼容问题……在武连峰看来,对下一代数据库至少有七大方面要求:弹性扩展、稳定可靠、极致性能、融合分析、平滑迁移、多模能力、AI融合。
杨冰表示,中国数字经济的蓬勃发展催生了对分布式数据库的强大需求。这种需求牵引了OceanBase的自主研发,从而推动四项新标准的树立,以满足中国场景对分布式数据库的需求。
在性能标准方面,OceanBase通过技术创新,使得数据库发生故障时的恢复时间短于8秒,让故障恢复进入秒级时代,并且能够做到数据不丢失。
在容灾标准方面,OceanBase通过“三地五中心”的模式(即在三座城市部署五个机房,一旦其中一个或两个机房发生故障,底层技术系统会将故障城市的流量全部切换到运行正常的机房),可以在一分钟内自动恢复任意机房/城市级故障,做到零数据丢失。
在高可用标准方面,OceanBase可以在高并发场景下按需实现不停机、不改应用的扩缩容和性能的线性增长,同时实现一份数据同时支持事务处理与实时分析。据了解,OceanBase也是首个刷新TPC-C、TPC-H“数据库世界杯”测试纪录的分布式数据库。
在架构标准方面,OceanBase首创的单机分布式一体化架构,可使数据库满足用户在不同阶段的需求,减轻企业在业务发展过程中切换数据库的麻烦,一个数据库用到底。
在数字化热潮中迎来新机遇
在数据库的实际应用中,用户往往面临着业务规模增长、业务场景变多、IT架构应用日益复杂的情况,这会造成数据库越用越多、越用越复杂的后果。而一体化设计的数据库有望解决相关问题。
杨冰介绍,一体化设计追求的是数据库在分布式架构下的极致性能与最佳成本。这种设计下的数据库,既能在同等硬件条件下拥有比主流单机数据库更好的性能,也能在分布式架构下达到事务处理和实时分析的最佳性能。此外,统一的技术栈也大大降低了管理、架构、存储、运维等成本。
从2010年起,OceanBase就在逐步进行工程一体化、单机分布式一体化等一体化设计。现在,OceanBase可满足用户80%的数据库场景需求。OceanBase2023年度发布会上,OceanBase还发布了一体化数据库的首个长期支持版本OceanBase4.2.1LTS,这标志着OceanBase一体化数据库进入可规模化上线使用的长期支持阶段。(具体见下文)
国际咨询机构Forrester在《OceanBase总体经济影响报告》中发布的数据显示,采用OceanBase后,企业数据存储空间可节省约70%、服务器资源可节省约85%、平均每注册用户数据库成本可节省约50%。
始于20世纪末的中国数据库产业,在近十年快速发展,并伴随数字化热潮迎来新机遇。《数据库发展研究报告(2023年)》显示,从市场来看,2022年全球数据库市场规模为833亿美元,其中中国数据库市场规模为59.7亿美元,折合人民币约为403.6亿元,占全球的7.2%。
当下,人工智能爆火,海量数据价值的挖掘和应用,成为推动创新的重要力量。这对数据存储和计算的性能成本提出更高要求。
“数据库既要功能强大,又要简单好用,还要有可扩展性。当然,最重要的是稳定,最好还能兼容。”在武连峰看来,基于数据的智能时代对数据库的要求越来越苛刻,这对国内数据库产品和数字科技企业来说既是挑战,更是前所未有的发展机遇。
相关阅读:
OceanBase 4.2.1:一体化数据库技术栈
11月16日,OceanBase举办了2023年度发布会,公布了一体化数据库的首个长期支持版本OceanBase 4.2.1 LTS。从OceanBase的脚步中,我们清晰地看到了数据库一体化的图景,并对企业自身是否应该转向一体化数据库技术栈有了客观的认知。
如果要总结OceanBase 4.2.1 LTS版本的主要特性,抛开性能登顶等领先优势,最重要的一条就是完整的OLTP支持。这一点意味着企业可以在OLTP场景中完全放心使用OceanBase,不用担心任何核心功能缺失。至少在OLTP这个层面,数据库运维团队可以真正实现一体化,只对一个技术栈负责。如果说数据库一体化是一株不断生长的大树,那么OLTP的完整支持意味着OceanBase已经有了可以并值得信任的坚实主干。
OceanBase 4.2.1的一体化能力,具体体现在三个层面:单机分布式一体化、数据库引擎一体化,以及云上云下一体化。
所谓单机分布式一体化,是指用户无需关心单体或分布式的技术底层,OceanBase可以根据业务量变化,平滑地在单机和多机乃至超大规模分布式集群之间扩缩容,一套数据库就能满足企业的业务成长和变化需求。发布会上提到一点,目前单机模式已经具备高可用能力,从主备模式到数据强一致的仲裁模式。同时,还在现场演示甚至可以实现OceanBase 4.2.1 LTS基于树莓派的单机主备库秒级切换能力。
数据库引擎一体化,则包括了一体化的存储、事务和SQL引擎。OceanBase采用了Shared Nothing多副本架构来支持OLTP+轻量OLAP场景,也可以支持多副本不同存储格式,某一个备副本用列存格式来支持OLTP+中度OLAP场景。SQL引擎方面,OceanBase采用推拉结合模式,简单查询拉数据,复杂查询推执行计划,很好地融合了简单和复杂查询。
最后,OceanBase的底层存储引擎是LSM-Tree,将数据分为基线和增量类别,这样多副本基线数据部署到多云基础设施时可以只有接近一份的成本,可以实现Shared Nothing与云端常用的Shared Storage架构完美融合。另外值得一提的是,OceanBase解决了数据压缩对性能的影响问题,这也是使用LSM-Tree的一大收益,使得存储成本可以大幅降低。
有了一体化的产品架构,OceanBase 4.2.1 LTS进一步加强了一体化的产品能力,包括混合负载和多模态能力。该版本还支持Auto DOP自动设置并行度SPM SQL执行计划管理,支持KV和Json,并将LOB上限提升到了512 MB。该版本的一体化SQL和事务能力实现了事务大小无限制,并支持全功能DDL。
此外,该版本还提升了高可用能力,既能支持与传统单体数据库完全对标的主备库方式,也可以通过仲裁的方式,以接近两个副本的成本实现RPO等于零。工具能力方面,OceanBase 4.2.1的OMS支持双向同步一键逃生,还内建企业级协同开发平台ODC,以及支持全场景管控的OCP,实现智能诊断自制服务的OAS。当然,OceanBase在一致性、安全性、合规认证等层面的传统优势在新版本中也得到了继续强化。在所有这些能力的支持下,企业就可以放心地将关键业务场景完整迁移到这个LTS版本上。
解决了OLTP场景的完整需求,OceanBase的下一步就是补足OLAP的能力。本次发布会上,OceanBase展示了列存实验室版本的性能预览,可以看到大宽表场景中其性能已经媲美ClickHouse。预计明年4月发布的4.3版本就会包含新的列存支持,而明年10月发布的4.4版本则会引入备受关注的存算分离能力。
纵观OceanBase 4.2.1 LTS的特性与未来版本的更新计划,可以发现OceanBase的发展理念就是稳扎稳打,一步一个脚印,每一次更新做好几项改进,目标一直都是为用户带来功能覆盖更加全面、更加稳定、可用的数据库产品。无论如何,这一次发布的LTS版本是OceanBase数据库一体化长期目标的关键里程碑,也意味着面对数据库选型犹疑不决的企业、技术领导层终于可以下定决心,对一体化技术栈All in。
来源:科技日报、 InfoQ
文章内容来自网络,如有侵权,联系删除、联系电话:023-85238885
参与评论
请回复有价值的信息,无意义的评论将很快被删除,账号将被禁止发言。
评论区