[教學影片] 雲端 GPU/TPU 運算服務價格比較:AWS, Azure, Alibaba Cloud, TWCC 台灣 AI 計算雲, Google Colab, IBM Cloud, Oracle Cloud

 

講師: 李明達老師

 

 

NVIDIA TESLA V100.png

 

供應商 產品型號 三年成本(新台幣) 三年每小時成本(新台幣) GPU GPU/TPU memory CUDA/TPU core CPU core 主記憶體 虛擬機造成效能下降
AWS g4dn.xlarge (三年保留) 長期租用雲端服務價格約16萬 6 NVIDIA Tesla T4 16GB 2560 4 (2.x GHz) 16GB
AWS p3.2xlarge (三年保留) 長期租用雲端服務價格約83萬 32 NVIDIA Tesla V100 16GB 5120 8 (2.x GHz) 61GB
Azure NC6s v3 (一年保留3) 長期租用雲端服務價格約126萬 48 NVIDIA Tesla V100 網站沒寫 5120 6 (2.x GHz) 112GB
Alibaba Cloud ecs.gn6v-c8g1.2xlarge (訂閱一年) 長期租用雲端服務價格約108萬 41 NVIDIA Tesla V100 16GB 5120 8 (2.x GHz) 32GB
TWCC 台灣 AI 計算雲 c.super (網站只有註明短期租用價格,需另外聯繫客服人員 才能取得長期租用報價) 短期租用雲端服務價格約215萬 82 NVIDIA Tesla V100 32GB 5120 4 (3.0 GHz) 90GB
Google Colab TPU v3-8 (preemptible price) 長期租用雲端服務價格約208萬 78 Google TPU (運算精度較低) 網站沒寫 8 網站沒寫 128GB 不確定
Google Colab NVIDIA Tesla T4 (長租三年) 長期租用雲端服務價格約13萬 5 NVIDIA Tesla T4 16GB 2560 網站沒寫 網站沒寫
Google Colab NVIDIA Tesla V100 (長租三年) 長期租用雲端服務價格約88萬 33 NVIDIA Tesla V100 16GB 5120 網站沒寫 網站沒寫
IBM Cloud NVIDIA Tesla V100 (短租一個月) 短期月租雲端服務價格約241萬 93 NVIDIA Tesla V100 16GB 5120 網站沒寫 網站沒寫
Oracle Cloud VM.GPU3.1 (短租) 短租雲端服務價格約232萬 88 NVIDIA Tesla V100 16GB 5120 6 (2.0 GHz) 90GB
LEADERG LEADERG AI RENT (短租) 短租雲端服務價格約108萬 41 NVIDIA Titan RTX 24GB 4608 8 (3.5 GHz) 64GB
LEADERG LEADERG-19 人工智慧工作站 (三年保固) 購買實體機器及電費價格約80萬 30 NVIDIA Quadro GV100 32GB 5120 8 (3.7 GHz) 128GB
LEADERG LEADERG-20-2U 人工智慧伺服器 (三年保固) 購買實體機器及電費價格約100萬 38 NVIDIA Tesla V100 32GB 5120 16 (3.5 GHz) 128GB

 

製表時間: 2020年3月12日

 

 

Q2 2019 Cloud Computing Market Share.png

 

 

結論:

 

1. 如果需要長期使用 GPU 做 AI 訓練,租用雲端服務不如購買實體機器。

 

2. 短期租用雲端服務非常貴,短期租用每小時的平均價格是長期租用三年的兩倍。

 

3. 雲端虛擬機的性能比實體機器差,用 AI 訓練進行實測,雲端虛擬機系統效能大約會比實體機器慢 10% ~ 30%,各個雲端供應商下降的速度不同。

 

4. 如果對於 GPU 運算效能及記憶體需求較低,例如:架設雲端 API 做推論,長期租用 NVIDIA Tesla T4 虛擬機很划算。

 

5. Google TPU 的運算精度較低,如果 AI 模型需要較高精度之 FP32 浮點數運算則不適合。

 

6. 大部分雲端服務的 NVIDIA Tesla V100 只有 16GB 顯示卡記憶體。

 

7. 大部分 AI 訓練及推論只使用一顆 CPU 搭配 GPU 進行運算,但是大部分雲端服務的 CPU 時脈只有 2.x GHz,造成整體效能變低。

 

8. 短期使用才會覺得租用雲端虛擬機划算,但是短租不如長租,長租不如買斷。半年的雲端服務費用可以買一台新的相同性能電腦。

 

 

PS: 國網中心 TWCC 台灣 AI 計算雲、 IBM Cloud 、 Oracle Cloud 的長租優惠價格要個別跟業務另外談。

 

 

聯絡我們及購買方式


請參閱以下網址:

https://tw.leaderg.com/article/index?sn=11056


感謝客戶們的支持

臺灣大學、清華大學、陽明交通大學、成功大學、臺北醫學大學、臺北護理健康大學、中興大學、暨南大學、宜蘭大學、聯合大學、淡江大學、逢甲大學、長庚大學、義守大學、實踐大學、大同大學、中原大學、臺科大、北科大、臺中科大、雲林科大、勤益科大、虎尾科大、屏東科大、高雄科大、朝陽科大、明志科大、南臺科大、亞東科大、中國科大、國防大學、海軍軍官學校、陸軍專科學校、鼓山高中、臺大醫院、榮民總醫院、長庚醫院、慈濟醫院、義大醫院、中山科學研究院、國防部軍備局、法務部調查局、工研院、資策會、原子能委員會核能研究所、農業委員會特有生物研究保育中心、勞動部勞動研究所、紡織研究所、金屬工業研究發展中心、台灣儀器科技研究中心、車輛測試中心、台灣自來水公司、台積電、聯電、南亞科、華邦電子、精材科技、華信光電、友達光電、群創光電、瀚宇彩晶、台塑、台塑網、南亞塑膠、台灣化學纖維、中國石油、羅技電子、義隆電子、隆達電子、達方電子、鴻海、大聯大 - 世平興業、盟立自動化、迅得機械、南茂科技、順達科技、致伸科技、英特盛、豐興鋼鐵、中宇環保工程、竹陞科技、研揚科技、敦陽科技、竑騰科技、先豐通訊、神達電腦、神通電腦、百佳泰、科音國際、峰安車業、鴻鵠國際、藍海智能等。