分类: LLM

4 篇文章

thumbnail
火山引擎 DeepSeek R1 满血 API 白嫖指南
DeepSeek 官方 API 一直提示系统繁忙,原因是限制了每个账户一段时间只能请求一次满血模型。现在市面上类似的产品也多,要么不是满血的模型,要不也存在繁忙的问题。火山背靠字节提供 DeepSeek 每个模型 50W Token 的免费推理额度且支持3万RPM和500万TPM不限速,相比硅基什么的更稳定更好用。同样,字节属于国内平台,实名无可避…
thumbnail
DeepSeek-r1:671b满血版在K8S+SGLang架构下的多节点GPU私有化实践
应用前景 随着DeepSeek-r1千亿级大模型在代码生成、数学推理等复杂任务中的突破性表现,企业级私有化部署需求呈现指数级增长。当前市场中,Ollama凭借轻量化架构和跨平台兼容性(支持NVIDIA/AMD全系GPU及主流大模型格式),为开发者提供了开箱即用的本地调试方案。但其单节点架构与朴素的调度策略,在面对生产级高并发推理场景时,吞吐量相较v…
Grok AI 冲五刀赠送150刀
Grok3今天也要发布了,马斯克又开始送钱了。 首先注册账户 https://accounts.x.ai/sign-in 有两种方式,分别是Twitter 和 Google,这部没啥难度。 2 绑定支付方式银行卡 https://console.x.ai 由于注册人多,貌似现在必须绑定支付方式和银行卡才能得到API权限 我是之前马斯克刚发布那会就注…
Ubuntu 22.04+8*A800 Ollama 运行deepseek-r1
发现 deepseek-r1 的 617B 我的机器刚好满足条件,本着闲着也是闲着,测试一下。 系统硬件介绍 Processor : 2*Intel(R) Xeon(R) Platinum 8362 CPU @ 2.80GHz Num of Core : 128 Core Memory : 1024 GB Storag…