8月26日,主题为“强基赋能 开启数据新纪元”的2020(第五届)大数据产业生态大会在北京举行。
这场中国大数据产业最盛大、最具专业性及深度的行业聚会,成为了中国前沿的数据黑科技产品名副其实的大秀场,也是行业专家、企业领袖、知名投资人汇聚一堂,深入探讨技术与产业发展的高端平台。
华为云亮相大会,全面展示了其在大数据领域的创新。会上,组委会权威揭晓"2020中国大数据企业50强"榜单,华为大数据连续四年位于榜首。这也是业界对华为在大数据领域持续技术创新、实践应用等方面成绩的再度肯定。
计算存储分离,华为打造最优秀的大数据存储底座
华为海量存储领域副总裁徐强在接受中国软件网采访时表示,5G、云、AI正加速行业数字化转型,海量数据时代已来。海量数据,使能企业从数据管理走向数据运营。
目前,海量数据分析面临的三大挑战:一是成本高,存不下,如资源利用率低,存储效率低,运维成本高;二是效率低,流不动,如数据难共享,分析效率低,业务上线时间长;三是自动化差,管不好,如多种类型存储设备并存,缺少数据生命周期管理,自动化运维能力差。
徐强认为,从大数据架构演进看计算存储“分离”发展已成事实,计算层逐渐轻量化、容器化,与数据解耦;存储层一方面在引入外部存储,另一方面在尝试EC方案,增强大数据存储底座能力,大数据正基于计算存储分离架构,逐步向数据湖演进。
另外,随着近年来大数据应用的广泛普及,传统的存算一体模式弊端逐步凸显。比如多副本的存储技术带来的高昂的数据存储成本问题,过低的存储密度带来的机房、功耗、制冷等运维成本居高不下问题,计算存储紧耦合形成的数据孤岛问题。基于存算分离架构的大数据方案,已成为客户的新选择。
华为于今年5月28发布了全新一代海量数据存储OceanStor Pacific系列,致力于打造最优秀的大数据存储底座,也吹响了华为打造海量存储高端系列的冲锋号。
在演讲中,徐强展示了基于华为海量存储OceanStor Pacific系列的大数据存算分离方案的优势:
大幅降低TCO
·计算存储分离,按需扩展,实现精准投资;
·采用EC方案替代Hadoop多副本的存储模式,存储资源利用率提升1.75倍,降低硬件采购成本;
提升分析效率
·全分布式的NameNode架构,单NameSpace提供百亿的文件存储,提高数据管理效率;
·多协议融合,一份数据同时支持文件、大数据接口访问,免数据迁移,缩短分析路径,分析效率提升30%以上;
·一套存储同时支持多厂家、多版本大数据集群,共享存储资源,消除数据孤岛,加速数据流动。
提升可靠性
·多故障域,每个故障域均允许多节点同时故障,数据可靠性成倍提升;
·亚健康监测,提前识别风险硬件,自动隔离,避免多点故障;
·精细化流量控制,结合快速数据重构能力,快速恢复数据冗余机制。
基于华为OceanStor Pacific系列的大数据存算分离方案,在运营商、安平、金融、政府、互联网已经有近百个案例。在联通集团通过部署存算分离方案,整体大数据平台TCO下降30%以上,节省近千万的投资;存算协同带来分析效率提升20%以上,收入增长数千万;引入存储层的数据保护技术,可靠性也有30倍以上的提升。