Skip to main content

指挥 AI 做了一个 LLM API 网关现在只想到了路由配置、APIKEY 配置、token 统计与限制、限速与并发控制、自动化的封禁规则和监控

  1. 指挥 AI 做了一个 LLM API 网关

    现在只想到了路由配置、APIKEY 配置、token 统计与限制、限速与并发控制、自动化的封禁规则和监控。

    还有哪些功能能够添加进去?

    Token 统计

    via V2EX - 技术 (author: midraos)
👀 open eyes to see the world. 丨 site views: -