侵權投訴

存儲與GPU性能皆已成倍增長,IO表現為何遲遲不見好轉?

E4Life 2021-07-09 17:10 次閲讀
存儲與GPU性能皆已成倍增長,IO表現為何遲遲不見好轉?

伴隨着HPC、自動駕駛深度學習VR/AR需求的不斷增加,IO性能也在逐步凸顯瓶頸,尤其是GPU與存儲之間的讀寫。處理器速度已經從KHz進化至了GHz,VRAM從KB進化至了GB,IO速度也從KB/s進化至了GB/s,然而GB/s的大幅度改善從直觀角度來看依然像是MB/s。

比如在有線連接的VR應用中,圖形需要經過電腦進行處理,再經有線傳輸顯示在VR屏幕上,這就引發了高延遲和長讀取時間等問題。這不禁讓人開始遐想,在CPU、GPU和存儲都已經革新換代的情況下,我們是否真正有效地應用了硬件性能?為此微軟和英偉達都提出了直接存儲的概念來改善IO的現狀。

微軟:Windows上的DirectStorage

微軟在不久前的Windows 11發佈會上重點提到了DirectStorage技術,這是一個最初為主機設計的DirectX API,如今微軟也將把這一技術帶到PC上。

在當前NVMe SSD和PCIe技術的演進下,存儲帶寬遠超舊式的硬盤存儲技術,過去10MB每秒的速度已經達到數GB每秒。但PC上的圖形工作量也在逐步進化,數據量的增加對於讀取提出了更高的要求。過去大量數據的讀取只需要少量的IO請求,但如今的圖形渲染會將材質等資源分成小塊,只有在場景提出要求時載入所需的部分,如此一來雖然提高了效率,卻引入了更多IO請求。

當前的GPU資源讀取流程 / 微軟

而目前的存儲API並沒有對大量IO請求作出優化,因此拖累了NVMe,使得讀寫瓶頸愈發明顯。即便採用高端的PC硬件,也無法飽和利用存儲帶寬優勢。除此之外,這些數據往往需要經過壓縮傳輸下一個環節,傳入內存後,還要CPU進行一部分解壓工作,最後再傳入GPU顯存裏,這樣一來每個節點都存在效率損失。

而DirectStorage採用了全新的路徑,從存儲讀取的數據傳給內存後,直接傳給GPU顯存。而GPU對於這些數據的解壓速度遠快於CPU,所以極大地優化了IO性能。

英偉達:RTX IO和Magnum IO GPUDirect Storage

英偉達在RTX 30系列顯卡上引入了RTX IO,面向消費市場,提升遊戲場景下的讀取速度。英偉達稱RTX IO將與微軟的DirectStorage結合,與傳統硬盤下的存儲API相比,可將IO性能提高百倍。過去需要數十個CPU內核的工作全部交由RTX GPU來處理。

值得一提的是,英偉達的RTX IO雖然也用到了微軟的DirectStorage,但該技術並沒有將數據傳輸到內存,而是直接由SSD轉向GPU。微軟一名圖形開發者在GSL 2021大會上表示,未來DirectStorage的目標也是繞過系統內存。

GDS技術 / 英偉達

除了消費市場外,英偉達在HPC市場也推出了對應的直接存儲技術,Magnum IO GPUDirect Storage(GDS)。GDS技術同樣是一個繞過CPU的技術,與消費級GPU不同,HPC場景下往往要用到多塊GPU,如此一來受IO延遲和CPU的影響更大。GDS在本地存儲與GPU顯存之間建立直接的數據通道,消除了CPU引入的延遲和讀寫瓶頸。

GDS與CPU傳輸至GPU讀取性能對比 / 英偉達

在運用GDS後,帶寬提升達到1.5倍,與傳統CPU回彈緩衝的數據路徑相比,CPU利用率也有2.8倍的提升。

目前英偉達已經將這一技術加入到其HGX AI超算中,DDN、VAST和WEKA三家公司已經開始了相關產品的量產,而IBM、美光等五家廠商也在積極引入這一技術。三星、鎧俠、西數和戴爾等廠商也開始了GDS的早期集成與認證計劃。

小結

直接存儲技術進一步放大了GPU廠商與存儲廠商的優勢,目前HPC市場前景巨大,英偉達在相關業務上的盈利已經讓其看到了商機。不僅是GPU,英偉達採用Arm架構的Grace CPU同樣引入了NVLink這樣的數據傳輸改善方案。在這樣的性能改善下,即便存儲方案不同,英偉達的GPU也很可能成為HPC應用的首選。
收藏 人收藏
分享:

評論

相關推薦

美國5G消費升温 Verzion首席執行官談最新三個轉變

據美國CNBC報道,Verizon 首席執行官漢斯·韋斯特伯格 (Hans Vestberg) 週三....
的頭像 章鷹 發表於 07-08 09:25 1776次 閲讀
美國5G消費升温 Verzion首席執行官談最新三個轉變

怎麼更新到Windows11?Windows11更新了什麼內容?

隨着Windows11的發佈,相信大家都迫不及待的想知道如何才能更新Windows11吧,下面小編為....
的頭像 Les 發表於 07-07 15:11 722次 閲讀
怎麼更新到Windows11?Windows11更新了什麼內容?

摩爾線程自主可控GPU攜手浩辰CAD助力國產工業軟件發展

摩爾線程與浩辰軟件作為GPU和國內CAD軟件領域的龍頭企業,於近期強強聯合,構建生態合作伙伴關係。基....
發表於 07-06 15:06 53次 閲讀
摩爾線程自主可控GPU攜手浩辰CAD助力國產工業軟件發展

全球主要IDM企業都面臨着各自領域的挑戰和機遇

上週,在接受CNBC採訪時,英特爾新任CEO Gelsinger表示:“我們是無可置疑的計算領導者,....
的頭像 半導體科技評論 發表於 07-05 16:58 282次 閲讀
全球主要IDM企業都面臨着各自領域的挑戰和機遇

歐洲研究團隊推出全新3D成像技術

據麥姆斯諮詢介紹,快速、高分辨率、低噪聲的3D成像技術在空間成像、生物醫學顯微鏡、智慧安防、工業檢測....
的頭像 萊特波特LitePoint 發表於 07-05 15:36 132次 閲讀
歐洲研究團隊推出全新3D成像技術

計算機領域三巨頭聯手再發萬字長文

極市導讀2018圖靈獎獲得者Yoshua Bengio, Yann LeCun和Geoffrey H....
的頭像 新機器視覺 發表於 07-05 10:07 153次 閲讀
計算機領域三巨頭聯手再發萬字長文

HPC市場再度爆發,下一個風向在超算和存儲上

Hyperion Research發佈了其2021年度的HPC(高性能計算機羣)市場調查,簡要概括了....
的頭像 E4Life 發表於 07-03 10:01 2310次 閲讀
HPC市場再度爆發,下一個風向在超算和存儲上

Kria K26 SOM性能解決方案的對比分析

與數據流固定的 GPU 不同,賽靈思硬件提供了靈活性用來專門地重新配置數據路徑,從而實現最大吞吐量並....
的頭像 FPGA乾貨 發表於 07-02 14:13 143次 閲讀
Kria K26 SOM性能解決方案的對比分析

特斯拉已經在其部分電動汽車中逐步淘汰雷達傳感器

據悉,特斯拉已經全力推進僅視覺自動駕駛,甚至在其部分電動汽車中逐步淘汰雷達傳感器。據TechCrun....
的頭像 開關電源芯片 發表於 07-02 09:02 359次 閲讀
特斯拉已經在其部分電動汽車中逐步淘汰雷達傳感器

賽靈思Kria K26 SOM應運而生為ML邊緣應用開發提供了更加理想的選擇

隨着人工智能和機器學習算法取得一系列新進展 眾多高計算強度的應用正在被部署到邊緣設備上 當下,業界迫....
的頭像 Xilinx賽靈思官微 發表於 07-01 11:52 286次 閲讀
賽靈思Kria K26 SOM應運而生為ML邊緣應用開發提供了更加理想的選擇

下一代英特爾至強可擴展處理器將集成高帶寬內存(HBM)。

內置 HBM 的 Sapphire Rapids 提高了性能標準;英特爾的 GPU、網絡和存儲功能增....
的頭像 存儲加速器 發表於 07-01 10:05 4872次 閲讀
下一代英特爾至強可擴展處理器將集成高帶寬內存(HBM)。

Windows 11棄用移除的win10功能盤點

Windows 11棄用移除的win10功能盤點
發表於 07-01 09:42 28次 閲讀
Windows 11棄用移除的win10功能盤點

升級Windows 11的硬件基本要求配置

升級Windows 11的硬件基本要求配置
發表於 07-01 09:39 254次 閲讀
升級Windows 11的硬件基本要求配置

win10和win11操作系統有什麼區別?

win10和win11操作系統有什麼區別?
發表於 07-01 09:36 119次 閲讀
win10和win11操作系統有什麼區別?

XS GPU是什麼?XS GPU的主要特性包括哪些?

請問一下XS GPU是什麼?XS GPU的主要特性包括哪些?XS GPU具備哪些功能?主要應用於哪些領域?...
發表於 07-01 06:55 0次 閲讀
XS GPU是什麼?XS GPU的主要特性包括哪些?

楊暘博士:要能夠洞悉需求,隨時做好準備擁抱變化

加速推動數字化轉型,已經成為全球各地、各行各業的共識。疫情更推動了數字技術發展,企業在應對挑戰、恢復....
的頭像 微軟科技 發表於 06-30 16:48 363次 閲讀
楊暘博士:要能夠洞悉需求,隨時做好準備擁抱變化

win10系統升級到win 11,將會棄用及移除哪些功能

系統升級到win 11棄用及移除的win10功能 在從 Windows 10 升級到 Windows....
發表於 06-30 16:29 340次 閲讀
win10系統升級到win 11,將會棄用及移除哪些功能

深度剖析STM32的“GPU”—DMA2D實例詳

前言 GPU即圖形處理器,是現代顯卡的核心。在沒有GPU的時代,所有圖形的繪製都是由CPU來完成的,....
的頭像 利爾達物聯網 發表於 06-30 14:50 276次 閲讀
深度剖析STM32的“GPU”—DMA2D實例詳

英偉達收購安謀(Arm)獲全球3大芯片製造商支持

根據彭博社報導,全球3大芯片製造商已經表態支持英偉達(Nvidia)以400億美元收購安謀(Arm)....
的頭像 電子工程世界 發表於 06-30 11:51 400次 閲讀
英偉達收購安謀(Arm)獲全球3大芯片製造商支持

為何CPU主頻比FPGA快還要説可以幫助CPU加速?

主頻只是影響計算速度的一個因素,並不是全部。在執行一些計算密集型的任務場景中,FPGA的計算速度是更....
的頭像 FPGA開源工作室 發表於 06-30 10:57 224次 閲讀
為何CPU主頻比FPGA快還要説可以幫助CPU加速?

看微軟低代碼平台如何助力轉型?

2021年6月19日,由低碼時代、RPA 中國聯合主辦的「低代碼應用與發展論壇」在北京 The Fu....
的頭像 微軟科技 發表於 06-30 10:12 157次 閲讀
看微軟低代碼平台如何助力轉型?

IBM拓展對Verizon和Telefonica服務內容 新增雲端平台5G與AI

【順豐收費內地】英偉達以400億美元價格收購芯片設計公....
的頭像 半導體產業基金 發表於 06-30 10:01 262次 閲讀
IBM拓展對Verizon和Telefonica服務內容 新增雲端平台5G與AI

Arction圖表控件LightningChart振動分析可以檢測什麼

LightningChart是優化了GPU加速,硬件性能的製圖組件,用於實時呈現超過10億個數據點的海量數據。同時LightningChart是為...
發表於 06-30 07:44 0次 閲讀
Arction圖表控件LightningChart振動分析可以檢測什麼

黃仁勳:我們正處在行業高性能計算革命的開端

AI 與加速計算和高性能計算相結合,形成了推動超指數級進步的數字飛輪 黃仁勳稱:“得益於各種進步,我....
的頭像 新材料在線 發表於 06-29 09:53 266次 閲讀
黃仁勳:我們正處在行業高性能計算革命的開端

VIDIA宣佈在AI超級計算平台中加入融合了AI與高性能計算的新技術

NVIDIA A100 80G PCIe、NVIDIA NDR 400G InfiniBand和NV....
的頭像 新材料在線 發表於 06-29 09:50 519次 閲讀
VIDIA宣佈在AI超級計算平台中加入融合了AI與高性能計算的新技術

基於雲的AI超級計算機正世界上最強大的計算機的榜單上蓄勢待發

基於雲的 AI 超級計算機(包括 Microsoft Azure 和劍橋大學的新系統)正在世界上最強....
的頭像 新材料在線 發表於 06-29 09:44 363次 閲讀
基於雲的AI超級計算機正世界上最強大的計算機的榜單上蓄勢待發

NVIDIA宣佈將與谷歌雲合作打造業內首個AI-on-5G創新實驗室

聯合創新實驗室可以支持供應商在谷歌私有云和公有云中協同構思、測試、優化以及驗證AI-on-5G 網絡....
的頭像 新材料在線 發表於 06-29 09:36 287次 閲讀
NVIDIA宣佈將與谷歌雲合作打造業內首個AI-on-5G創新實驗室

三大芯片廠商支持英偉達收購Arm,但是中國的“民意”可能很弱

近日,英媒《THE TIMES》報道稱,博通、聯發科和美滿電子已經表態支持英偉達以400億美元收購A....
的頭像 芯鏈 發表於 06-29 08:03 1864次 閲讀
三大芯片廠商支持英偉達收購Arm,但是中國的“民意”可能很弱

Windows 11正式布居然可以運行安卓App!

作者 | 換新言 來源 | 愛範兒(ID:ifanr) 微軟這幾天過得太刺激了。 先是 Window....
的頭像 普象工業設計小站 發表於 06-28 18:07 1768次 閲讀
Windows 11正式布居然可以運行安卓App!

Excel真的可以調用HFSS?

學個Antenna是以天線仿真和調試為主,理論原理為輔的乾貨天線技術專欄,包括天線入門知識以及各類天....
的頭像 硬件攻城獅 發表於 06-28 15:34 140次 閲讀
Excel真的可以調用HFSS?

被寄予厚望的Windows 11帶來了什麼?

2021 年 6 月 24 日,Windows 11,降臨。 經歷了約 1 個月的預熱、啞謎、鏡像泄....
的頭像 潮庫 發表於 06-28 11:33 915次 閲讀
被寄予厚望的Windows 11帶來了什麼?

果裏果氣的Windows11兼容安卓App終於來了

Windows11悄悄地來了! 沒熱搜,沒熱議。六年磨一升級,還真有點小悲涼。 新系統嘛。。。。。。....
的頭像 TeacherGaoFPGAHub 發表於 06-27 10:26 713次 閲讀
果裏果氣的Windows11兼容安卓App終於來了

微軟:這次VS Code升級是性能最強的Python編輯體驗

微軟已發佈2021年5月針對 Visual Studio Code 的 Python 擴展更新,此次....
的頭像 C語言專家集中營 發表於 06-26 16:04 326次 閲讀
微軟:這次VS Code升級是性能最強的Python編輯體驗

Google Brain和DeepMind聯手發佈可以分佈式訓練模型的框架

【順豐收費內地】AI模型進入大數據時代,單機早已不能滿足訓練模型的要求,最近Google Brain和Dee....
的頭像 通信首條 發表於 06-26 15:42 345次 閲讀
Google Brain和DeepMind聯手發佈可以分佈式訓練模型的框架

Windows 11牽着安卓的手如期而至

「Windows 10 將是 Windows 的最後一個版本,」2015 年微軟高管的話言猶在耳。但....
的頭像 5G網通信 發表於 06-26 15:16 209次 閲讀
Windows 11牽着安卓的手如期而至

微軟Visual Studio 2022將在今年夏天發佈

首先,我們要感謝正在閲讀這篇文章的你,我們所有的產品開發都始於你也止於你,無論你是在開發者社區上發帖....
的頭像 5G網通信 發表於 06-26 14:59 345次 閲讀
微軟Visual Studio 2022將在今年夏天發佈

微軟Windows11正式發佈 網友吐槽一股Mac味

一個月前,微軟 CEO 薩提亞・納德拉(Satya Nadella)首次提到了下一代 Windows....
的頭像 中科院半導體所 發表於 06-26 09:17 480次 閲讀
微軟Windows11正式發佈 網友吐槽一股Mac味

特斯拉推出搭載NVIDIA A100 GPU頂尖自動駕駛汽車訓練超級計算機

“不可思議”的GPU集羣賦能Autopilot系統及全自動駕駛的AI開發工作。 為了應對這項有史以來....
的頭像 新材料在線 發表於 06-25 15:41 1018次 閲讀
特斯拉推出搭載NVIDIA A100 GPU頂尖自動駕駛汽車訓練超級計算機

蘋果M1的繼任者將會是M1X 最高版本顯卡性能媲美RTX3070

從目前的信息來看,蘋果M1的繼任者將會是M1X。M1X將會有兩個版本,區別在於集成的顯卡核心數量,當....
的頭像 廣東省電子信息行業協會 發表於 06-25 14:58 346次 閲讀
蘋果M1的繼任者將會是M1X 最高版本顯卡性能媲美RTX3070

微軟正式推出Windows 11系統

昨日早些時候,微軟公司通過線上發佈會正式發佈了新一代Windows 11系統,這也是微軟公司繼Win....
的頭像 lhl545545 發表於 06-25 09:34 1820次 閲讀
微軟正式推出Windows 11系統

原生支持安卓應用,大變樣的Windows 11你願意升級嗎?

6月24日晚11點,微軟正式發佈了下一代操作系統,Windows 11。不少人都已經看到了此前偷跑鏡....
的頭像 E4Life 發表於 06-25 09:18 5124次 閲讀
原生支持安卓應用,大變樣的Windows 11你願意升級嗎?

使用UMC 28HPC工藝進行MC仿真有什麼問題嗎?

最近在使用UMC 28HPC工藝進行MC仿真,發現兩個問題: 1. MC仿真結果的std(標準差)和實測結果不match,實測結果大概...
發表於 06-25 06:40 0次 閲讀
使用UMC 28HPC工藝進行MC仿真有什麼問題嗎?

Red Hat攜手NVIDIA打造更安全的組合式AI基礎設施

現代數據中心和 IT 環境需要加強裸金屬和 Kubernetes 部署中的威脅檢測和策略管理。因此,....
的頭像 安森美半導體 發表於 06-24 17:38 461次 閲讀
Red Hat攜手NVIDIA打造更安全的組合式AI基礎設施

支持併發訪問可動態更新的GPU無鎖跳步哈希表

支持併發訪問可動態更新的GPU無鎖跳步哈希表
發表於 06-24 11:44 71次 閲讀
支持併發訪問可動態更新的GPU無鎖跳步哈希表

獲得GPU存儲性能的四種方法

支持AI人工智能和ML機器學習部署的數據中心依靠基於圖形處理單元(GPU)的服務器為其計算密集型架構....
發表於 06-23 10:10 29次 閲讀
獲得GPU存儲性能的四種方法

網絡硬件加速器在自動駕駛計算平台的作用

近幾十年來,圖形處理器(GPU)已從最初作為大型電玩的視頻顯示適配器演進為一個強大的計算中心,並且正....
發表於 06-23 09:48 23次 閲讀
網絡硬件加速器在自動駕駛計算平台的作用

GPU和虛擬化技術對ADAS平台的重要性

近幾十年來,圖形處理器(GPU)已從最初作為大型電玩的視頻顯示適配器演進為一個強大的計算中心,並且正....
發表於 06-23 09:27 29次 閲讀
GPU和虛擬化技術對ADAS平台的重要性

如何通過代碼導航來快速編碼?

毫無疑問,微軟的 VS Code是最好的開源代碼編輯器之一[1]。它與傳説中的 Vim 不同,VS ....
的頭像 阿銘linux 發表於 06-22 17:03 142次 閲讀
如何通過代碼導航來快速編碼?

微軟即將公佈下一代Windows系統Windows 11

微軟此前宣佈將於美國東部時間 6 月 24 日舉辦 Microsoft Event 活動,屆時將公佈....
的頭像 潮庫 發表於 06-22 15:17 426次 閲讀
微軟即將公佈下一代Windows系統Windows 11

自動駕駛靠計算和傳感器還不夠,英偉達收購高精地圖創企DeepMap意欲為何?

眾所周知,英偉達的自動駕駛計算平台在近期發佈的高端車型中已經比比皆是,NVIDIA DRIVE AG....
的頭像 E4Life 發表於 06-21 08:30 4474次 閲讀
自動駕駛靠計算和傳感器還不夠,英偉達收購高精地圖創企DeepMap意欲為何?

關於現代顯卡GPU pixel shader的小程序你想知道的都在這

關於現代顯卡GPU pixel shader的小程序你想知道的都在這...
發表於 06-01 07:08 0次 閲讀
關於現代顯卡GPU pixel shader的小程序你想知道的都在這

求大佬分享一種基於GPU的Voronoi圖並行柵格生成算法

本文重點研究了Voronoi圖的柵格生成方法,首先比較了常見的柵格方法生成Voronoi圖的優缺點,然後結合CUDA的出現,提出一種...
發表於 06-01 06:44 0次 閲讀
求大佬分享一種基於GPU的Voronoi圖並行柵格生成算法

如何讓計算機視覺更進一步接近人類視覺?

如何讓計算機視覺更進一步接近人類視覺?
發表於 06-01 06:27 101次 閲讀
如何讓計算機視覺更進一步接近人類視覺?

gpu工作原理是什麼?

gpu工作原理是什麼?
發表於 05-31 06:17 0次 閲讀
gpu工作原理是什麼?

功耗成為HPC和Networking的關鍵設計挑戰

功耗成為HPC和Networking的關鍵設計挑戰
發表於 05-21 06:32 0次 閲讀
功耗成為HPC和Networking的關鍵設計挑戰

請問GPU與DSP、CPU區別在哪裏?

GPU工作原理是什麼? GPU主要作用有哪些?GPU與DSP區別在哪裏?   GPU和CPU的區別是什麼?&nbs...
發表於 04-19 09:16 101次 閲讀
請問GPU與DSP、CPU區別在哪裏?

請問Mali GPU的並行化計算模型是怎樣構建的?

Mali T604 GPU的結構是由哪些部分組成的? Mali T604 GPU的編程特性有哪些? Mali GPU的並行化計算模型是怎樣構...
發表於 04-19 08:06 0次 閲讀
請問Mali GPU的並行化計算模型是怎樣構建的?