理解大型语言模型推理的总成本

理解大型语言模型推理的总成本 Understanding the Total Cost of Large Language Model Inference

页面：10,作者/机构:Dell Technologies

简介:这份来自Dell Technologies的白皮书深入探讨了大型语言模型（LLM）推理的总成本，特别关注了Dell Technologies本地解决方案与基于公共云或基于Token的API的比较。

该报告揭示了本地LLM推理的显著成本效益，特别是对于参数规模达数十亿的大型模型。对于需要大量推理的组织而言，这尤其有价值，因为它提供了更大的成本确定性和潜在的成本节约。

该报告还深入探讨了成本差异背后的原因，并提供了对不同部署模型的全面分析，包括本地、公共云和基于API的解决方案，并为组织提供了宝贵的见解，使他们能够就最符合其特定需求和预算限制的推理基础设施做出明智的决策。

报告重点

本地LLM推理的成本效益：与公共云或基于Token的API相比，Dell Technologies的本地解决方案对于中型和大型LLM（分别为7B和70B参数）的成本效益分别高出2倍和8倍。
固定成本结构：本地解决方案提供固定的成本结构，这意味着无论进行多少次查询，成本都保持一致，这与公共云或基于Token的API形成对比，后者成本随使用量的增加而增加。
部署模型的比较：白皮书比较了不同的LLM推理部署模型，包括本地、公共云和基于API的解决方案，突出了每种方法的优缺点。
数据治理的重要性：强调了数据治理在LLM推理中的重要性，特别是对于使用敏感数据的组织，强调了安全措施、数据沿袭和审计跟踪的必要性。
戴尔科技的全面解决方案：重点介绍了戴尔科技为LLM推理提供的全面解决方案，包括硬件、软件、服务以及云原生和生态系统合作伙伴关系，旨在简化采用、优化成本效益、提高性能并确保安全性和可靠性。

参考图示

下载链接

扫描二维码关注微信，回复报告或者 baogao ，即可获取密码