开发 GPU Fits —— 我的显卡能跑这个 LLM 吗？
我一直在问自己同一个问题：我的显卡到底能不能跑这个模型？ 不是理论上，而是实际上。我有一张 RTX 4090，想跑 Llama 3.3 70B。需要再买一张卡吗？该妥协用 Q4 量化吗？把上下文窗口拉到 32K 还能装得下吗？ 用搜索引擎找到的不是答案互相矛盾的 Reddit 帖子，就是只能告诉你一...
标签：LLM
共 1 篇文章
共 1 篇文章
我一直在问自己同一个问题：我的显卡到底能不能跑这个模型？ 不是理论上，而是实际上。我有一张 RTX 4090，想跑 Llama 3.3 70B。需要再买一张卡吗？该妥协用 Q4 量化吗？把上下文窗口拉到 32K 还能装得下吗？ 用搜索引擎找到的不是答案互相矛盾的 Reddit 帖子，就是只能告诉你一...