) 冯丹教授:近数据处理新型盘框等技术创新,加速数据中心向Diskless架构演进_每日快报_热讯制鞋网

冯丹教授:近数据处理新型盘框等技术创新,加速数据中心向Diskless架构演进_每日快报

首页>焦点 > 正文
2023-04-21 02:29:10

来源:通信世界全媒体

(CWW)日前,在中国深圳举办的第 20 届华为全球分析师大会,长江学者特聘教授、华中科技大学计算机科学与技术学院院长冯丹对数据中心 Diskless 架构及近数据处理发展趋势做出了权威解读,为传统云存储、大数据等计算域和存储域不完全分离造成的资源浪费,提出了一个新的技术解决方向,帮助云和互联网数据中心降本增效,实现数据中心高质量演进。

冯丹教授提到,传统存算融合架构下,企业通常采用应用与本地盘耦合的服务器一体化架构,存在存力效率低、无效数据迁移、资源浪费等典型问题:


(资料图片仅供参考)

1.计算域和存储域未彻底分离,仍各自存在独立的本地存储,往往按照最大容量预设配置,存力利用率低;

2.采用通用算力进行数据处理,IO 效率低,存储域仍以 CPU 为中心,存取性能无法充分发挥;

3.数据从盘到计算域 CPU, 需要 8 次以上数据搬迁,无效搬迁带来了网络和算力资源的浪费;

4.在存算融合的上千节点大规模集群中,算力、容量空间配比无法均衡,扩容时需要额外迁移数据,不仅带来现有业务风险,还会浪费投资;

5.数据爆发增长,面向结构化数据的数据缩减策略不完全适用于非结构化场景。

随着算力多样化、高性能网络和存储介质的发展,数据中心架构从以 CPU 中心朝着以数据为中心的 Diskless 架构演进。Diskless 架构下,单一 CPU 算力发展到 GPU、DPU、XPU 等多样算力,算力效率得以充分发挥;网络从 IP、NOF 发展到高通量的 CXL,为算力和存力等硬件解耦奠定了基础;存力也从传统 HDD 到 SSD,性能、功耗实现全面提升。在 Intel、华为、KIOXIA、阿里云等业界芯片、存储、云和互联网厂商的积极推进下,Diskless 架构借助专用 DPU / IPU 等数据处理芯片和 OceanDisk 等专用存储模块,进一步提升数据处理和存储的效能,充分调动数据中心资源。

冯丹教授表示,资源池化共享的 Diskless 架构应具备以下关键技术:

1.网存协同,DPU 硬件卸载加速,数据高效协同处理。通过 DPU 等专有数据处理模块,使服务器 CPU 全为应用服务,基础设施与应用任务解耦,将 VirtIO、NVMe-oF 等 CPU 计算效率低任务转移到 DPU 的专用加速器执行,实现资源弹性扩展。

2.数控分离 + IO 直通,实现控制流与 IO 流分离,IO 直通到存储介质,进一步提升存储效率。通过数控分离,可达到极致 IO 访问时延,通过存储域 IO 读写数据流与 IO 控制处理的分离,使得读写 IO 直通到存储介质中,减少 IO 处理路径,降低处理复杂度,极大提升存储域访问性能。计算域则可以借助 DPU bypass CPU,减少数据拷贝开销,提升 IO 访问性能。

3.盘控协同,盘芯片与控制器芯片配合,提升集成度,达到最佳成本和能耗。盘控协同技术的关键是要实现高性能、低成本的大盘,通过硬件对盘控系统内的算法进行加速,比如利用 FPGA 实现 FTL / DIF / 在线压缩 / 加密 / EC / GC 等硬化,提升性能;盘内和框内的各类驱动和缓存层合一,实现盘框一体,构建极致成本和能耗的大盘存储。

4.算子卸载,EC、数据缩减等算法通过硬件卸载到存储端,实现近数据处理。通过计算语义的卸载,存储直出语义接口,主机侧软件栈打薄,减少 80% 的 IO 交互次数,实现对整系统的 CPU 和网络带宽节省。同时,在大数据 / 数据仓库场景,可以利用引擎的下推接口,下推谓词和投影等运算操作到存储资源池,减少无效数据的搬移。

冯丹教授表示:“从技术趋势来看,高性能异构算力、高速网络、大存力新型盘框、算子卸载等技术的发展,带来了数据中心架构的变革,加速了以 CPU 为中心的耦合架构走向彻底存算分离、资源池化共享的以数据为中心的 Diskless 架构,这种架构进一步简化了数据中心基础设施构建,能够实现存力和算力资源的集约高效发展,已经成为大规模数据中心发展的重要技术趋势。”

华为去年发布的 OceanDisk 智能盘框产品,是一个标准的大存力新型盘框产品。OceanDisk 通过 NoF + 高速网络连接 Diskless 服务器,实现计算和存储独立弹性扩展,帮助客户提高资源利用率,机柜空间和设备功耗分别降低 40%;内置 FlashLink® 智能盘框协同算法等软硬结合技术,带来最大 250 万 IOPS,50GB / s 带宽的高性能;依托华为多年存储研发实力,OceanDisk 智能盘框提供硬盘亚健康管理、智能慢盘优化等技术,保持大规模数据中心 10 万级硬盘的性能稳定,大幅降低运维难度。OceanDisk 作为业界首个面向 Diskless 架构的新型盘框,将以高性能、高可靠、绿色集约重新定义下一代云和互联网数据中心存储架构。


标签:

THE END
免责声明:本文系转载,版权归原作者所有;旨在传递信息,不代热讯制鞋网的观点和立场。

相关热点

新华社电 上海市文化和旅游局近日发布《上海市密室剧本杀内容备案管理规定(征求意见稿)》,并截至12月8日面向社会公众广泛征求意见。这
2021-11-19 13:46:03
《中国证券报》17日刊发文章《备战2022 基金经理调仓换股布新局》。文章称,距离2021年结束仅剩一个多月,基金业绩分化明显。部分排名靠前
2021-11-19 13:46:03
交通运输部办公厅 中国人民银行办公厅 中国银行保险监督管理委员会办公厅关于进一步做好货车ETC发行服务有关工作的通知各省、自治区、直
2021-11-19 13:45:58
新华社北京11月17日电 题:从10月份市场供需积极变化看中国经济韧性新华社记者魏玉坤、丁乐读懂中国经济,一个直观的视角就是市场供需两端
2021-11-19 13:45:58
全国教育财务工作会议披露的消息称,2020年,中国国家财政性教育经费投入达4 29万亿元,占GDP总量的4 206%,我国国家财政性教育经费支出占G
2021-11-19 13:45:48
如果你也热爱“种草”,前方高能预警!让你心心念念、“浏览”忘返的网络平台,可能早已成为一块块“韭菜地”。近日,据《半月谈》报道,有...
2021-11-19 13:45:48
日前,工业和信息化部印发《“十四五”信息通信行业发展规划》(以下简称《规划》),描绘了未来5年信息通信行业的发展趋势。《规划》指出...
2021-11-19 13:45:40
本报讯(中青报·中青网记者 周围围)2021年快递业务旺季正式拉开帷幕。国家邮政局监测数据显示,仅11月1日当日,全国共揽收快递包裹5 69
2021-11-19 13:45:40
人民网曼谷11月17日电 (记者赵益普)17日上午,中国援柬埔寨第七批200万剂科兴新冠疫苗抵达金边国际机场。当天,柬埔寨政府在机场举行了
2021-11-19 13:45:35
金坛压缩空气储能国家试验示范项目主体工程一角受访者供图依托清华大学非补燃压缩空气储能技术,金坛压缩空气储能项目申请专利百余项,建立
2021-11-19 13:45:35
视觉中国供图42亿立方米据有关部门预计,今年山西煤炭产量有望突破12亿吨,12月份山西外送电能力将超过900万千瓦,今冬明春煤层气产量将达4
2021-11-19 13:44:34
14省份相继发布2021年企业工资指导线——引导企业合理提高职工工资今年以来,天津、新疆、内蒙古、陕西、西藏、山东、江西、山西、福建、四
2021-11-19 13:44:34
中新网客户端北京11月18日电 (记者 谢艺观)“一条路海角天涯,两颗心相依相伴,风吹不走誓言,雨打不湿浪漫,意济苍生苦与痛,情牵天下喜
2021-11-19 13:44:31
近日,交通运输部等三部门发布《关于进一步做好货车ETC发行服务有关工作的通知》。通知提到,对不具备授信条件的用户,商业银行可在依法合
2021-11-19 13:44:31
欧莱雅面膜陷优惠“年度最大”风波 涉及该事件集体投诉超6000人次美妆大牌双十一促销翻车?近日,因预售价格比双十一现货贵出66%,欧莱雅
2021-11-19 13:44:13
43 6%受访者会在工作两三年后考虑跳槽54 3%受访者认为跳槽对个人职业发展有利有弊如今对不少年轻人来说,想对一份工作“从一而终”不太容易
2021-11-19 13:44:13
超八成受访青年表示如有机会愿意开展副业 规划能力最重要64 4%受访青年指出做副业跟风心态最要不得如今,“身兼数职”已成为年轻人当中的
2021-11-19 13:44:01
发展氢能正当其时【科学随笔】氢能是一种二次能源,它通过一定的方法利用其他能源制取,具有清洁无污染、可储存、与多种能源便捷转换等优点
2021-11-19 13:44:01
“千杯不醉”的解酒“神药”能信吗?专家:网红“解酒药” 其实不算药俗话说,“酒逢知己千杯少”,酒一直是国人饭桌上至关重要的存在。尽...
2021-11-19 13:43:57
最新文章

相关推荐