Tech
[问与答] 求一個完全解耦的 ai infra 基礎設施。難點在 gpu 資源租賃
code 在一臺 vps 上
data 在 s3 上
gpu 在 cloud 上
將他們完全解耦,關鍵點在 gpu 的資源租賃和調用方式,是否能支持這種構架?
模擬極端環境,三者全部都在不同機房,不同國家,不同綫路。全部只能走公網,最多組内網。
特別對於視頻生成的應用,租一臺 gpu 的服務器容易,但我對 gpu 的理解是用完即焚,不用長時間保活。主要是開銷能降到最低,特別是做一些 dev 階段時,沒有預算全額租賃。
現在最優解是 gpu 提供商提供數據盤,數據盤可以保活。gpu 不用可以停機。用來跑一些偶發性的 task 是 ok 的,比如漫畫上色,有用戶提交,才開 gpu ,沒提交就 unmount 掉 gpu ,回收資源。因爲是測試階段,只考慮并發需求,而不考慮持久性。比如開多個 gpu ,并行處理 user 的請求。要求是快。但閑置時損耗肯定很大,寫 cron 能解決。
所以我想找個解耦的,主要是 gpu 和數據盤一個供應商,掣肘很大,不利於施展構架的自由,比如多機集群等。一般大廠沒所謂,比如 scaleway 這類。有投資了,肯定會考慮走大廠,畢竟現在燒自己錢...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX