盘古开源深入布局分布式存储，助力新基建- 工业快报

盘古开源深入布局分布式存储，助力新基建

新基建 / 来源：工业快报 / 作者：工业快报 / 发布时间：2020-08-09

521次 0条

随着5G、人工智能、物联网等技术的持续进步,全球数据量呈几何级增长,国家“新基建”战略全速推进,海量数据时代悄然到来。

有人将数据比作“21世纪的石油资源”,在被分析、挖掘之中创造出无限价值。从去年以来,阿里云加码2000亿用于云操作系统、服务器、芯片、网络等重大核心技术研发攻坚和面向未来的数据中心建设,腾讯云乘胜追击狂砸5000亿,华为云拟投入4亿元引入世界先进分布式存储技术搭建……海量数据的产生,对数据存储与管理提出巨大挑战,如果说时代催生了数据战场,那么存储技术便是这场“战争”的核心制胜空间。

以前以中心化存储较为广泛,但当一定数值超过设定负荷时,中心化存储会出现网络拥堵或宕机的情况。对此,由美国斯坦福大学旗下胡安实验室提出了一套分布式存储IPFS的协议,先将文件碎片化成很多个小片段,分布在不同服务器上进行存储,最后访问时,如同在图书馆寻找书籍一样,通过检索目录找到不同的片段,从而同时多通道下载不同片段,最后在访问端汇总还原成原来的文件,继而实现更快的下载,同时保证隐私性的存储。不难看出,分布式存储对于下载速度方面的价值将会形成一个质的突破。