驱动AI变革长江存储PE501 61.44TB QLC企业级SSD评测_第5页_PCEVA,PC绝对领域,探寻真正的电脑知识

驱动AI变革长江存储PE501 61.44TB QLC企业级SSD评测

2026-6-23 15:48| 发布者: Essence| 查看: 76069| 评论: 4|原作者: Essence

摘要：前言和拆解 AI人工智能如今已经深度渗透到各行各业，而AI的本质就是应用GPU服务集群、高速网络与高性能分布式存储，通过高度并行化扩展吞吐量。百万Token级的上下文长度下，KV Cache规模远超HBM容量，在AI推理阶段， ...

DeepSeek V4模型加载

我们使用2位量化版的DeepSeek V4 Flash模型，测试长江存储PE501 61.44TB的模型加载性能。模型体积大约86.7GB，需要至少128GB内存的工作站或服务器平台才能加载。Llama.cpp加载模型用时60秒完成：

在长上下文对话中，KV缓存对推理速度产生明显影响。与紧缺的显存相比，SSD更适合用来保存KV缓存。下图的演示中我们使用ds4开源项目，在长江存储PE501上创建了80GB容量的KV缓存：

本文版权归 PCEVA,PC绝对领域,探寻真正的电脑知识原作者所有转载请注明出处