llm

3 篇文章

火山引擎 DeepSeek R1 满血 API 白嫖指南
2025-02-20
从注册实名、开通模型到创建APIKey与推理点,手把手接入火山引擎DeepSeekR1满血API。每模型赠50万Token,3万RPM/500万TPM不限速,稳定省心,还附客户端实践。
871 字
|
4 分钟
DeepSeek-r1:671b满血版在K8S+SGLang架构下的多节点GPU私有化实践
解析K8S+SGLang部署DeepSeek-r1-671B:以LWS+Volcano编排多机多卡弹性推理,KV复用与监控体系保障生产SLA,并给出与Ollama的选型对比及环境落地指南。
2156 字
|
11 分钟
Ubuntu 22.04+8*A800 Ollama 运行deepseek-r1
2025-01-21
基于Ubuntu22.04与8×A800,实测用Ollama跑通deepseek‑r1617B。详解硬件配置、安装脚本、模型目录与环境变量配置、服务放行与远程访问等步骤,手把手完成大模型部署。
805 字
|
4 分钟