大家帮忙看看跑本地大模型哪个方法更好点, 以及云端调用 api 的方法.
方法一:cherry studio 对接本地 Ollama 跑的大模型, 突破只能聊天的限制
方法二:AnythingLLM+llama.cpp ，可以自己配 gpu 和 CPU 分配。且占用资源少。
第二个问题:
一个任务最后如何做到 80%用本地模型, 最后 20%高精度/高密度的工作才扔给云端来最后进行收尾?
第三个问题:
如何薅羊毛使用云端 api, 比如通过注册机 24 小时产号, 然后本地搭建 sub2api 之类的调用 openai 之类的 token
P.S: 各位能推荐一个注册机吗?
还是大家直接用 cc-switch 呢?
期待各位指点, 不胜感谢.
via V2EX - 技术 (author: Hermitist)
方法一:cherry studio 对接本地 Ollama 跑的大模型, 突破只能聊天的限制
方法二:AnythingLLM+llama.cpp ，可以自己配 gpu 和 CPU 分配。且占用资源少。
第二个问题:
一个任务最后如何做到 80%用本地模型, 最后 20%高精度/高密度的工作才扔给云端来最后进行收尾?
第三个问题:
如何薅羊毛使用云端 api, 比如通过注册机 24 小时产号, 然后本地搭建 sub2api 之类的调用 openai 之类的 token
P.S: 各位能推荐一个注册机吗?
还是大家直接用 cc-switch 呢?
期待各位指点, 不胜感谢.
via V2EX - 技术 (author: Hermitist)
