请教下跑 openclaw 对接本地大模型的时候, 又没用过 omlx 进行加速?
https://github.com/jundot/omlx
有人说这个可以加速 3 倍, 特别是对首字节, 希望有人试下并反馈.
为什么我自己不试呢, 因为我的笔记本太垃圾了, 我还特意买了 32G 内存的, 现在跑了个千问 3.5-9B 的, 内存已经爆表了.
via V2EX - 技术 (author: Hermitist)
https://github.com/jundot/omlx
有人说这个可以加速 3 倍, 特别是对首字节, 希望有人试下并反馈.
为什么我自己不试呢, 因为我的笔记本太垃圾了, 我还特意买了 32G 内存的, 现在跑了个千问 3.5-9B 的, 内存已经爆表了.
via V2EX - 技术 (author: Hermitist)
