Tech
[程序员] 分享一个用 Rust 写的分布式缓存/存储项目 Curvine,内存占用极低,顺便聊聊大家在 AI/大数据场景下的缓存选型
V 友们好,
最近在研究和参与 AI 训练加速以及大数据场景的存储优化,关注到了一个挺有意思的开源分布式缓存系统 Curvine ,试用和压测下来效果不错,分享给有类似需求的朋友们。
👉 项目地址 : https://github.com/CurvineIO/curvine
💡 它解决什么痛点?
大家在做 AI 训练(比如 Agent 频繁读写小文件、模型权重分发)或者大数据 Shuffle / 热表读取时,如果直接读写云上的对象存储( S3 / OSS / GCS ),通常会有两个痛点:
API 费用高 + 延迟大 (特别是频繁读写小文件)。
现有的缓存方案(比如 JVM 系的 Alluxio ,或者某些 Go 实现)在极高并发和小文件场景下, GC 开销和内存占用居高不下 ,元数据也容易遭遇瓶颈。
Curvine 是用 Rust + Tokio 重新写的一套分布式文件语义缓存层,主打的就是把性能和资源利用率做到极致。
🛠️ 觉得比较亮点的技术特性
Rust 无 GC & 内存极省 :基于 Tokio 异步...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX