Skip to content
View original post on X: meng shao
Published
23/100

Enterprise AI teams route Claude traffic through relay gateways to cut costs

AIMeng Shao argues that enterprise AI products use Claude only partly because it is too expensive and rate-limited, so teams add relay gateways for cost control and backup. He suggests the open-source Langfuse AI Gateway, now in public beta, to extend Agent tracing, and asks readers to recommend relay services beyond OpenRouter.
meng shaoVerified on X
@shao__meng
View on X

剥开 Agent 所有的伪装,最后只剩下赤裸裸的 Token ...

任 Prompt Engineering、Context Engineering、Harness Engineering、Loop、Goal 讲的天花乱坠,卖课无数 ... 最后回到企业产品中,保证产品能力的前提下,怎么把成本压到最低,可能才是那个永恒的旋律!

做过企业产品的朋友们可能都有感受,即便 Claude 模型是最强的,产品中也不可能 100% 使用,一是太贵,二是要做好被限制的准备。所以多多少少都要接一些中转站,作为降本和 backup 的必要手段。

网关可能还好,大家的方案整体都比较相似,如果开源更好,可以根据实际业务分类和需求等做改造。Langfuse 之前团队一直用来做 Agent trace,再加上 Gateway,可以进一步扩大跟踪决策范围,这个可以有!
https://langfuse.com/blog/introducing-gateway

现在更大的混乱还是中转站,实在太多了,也不容易在不实测之前判断好坏。稳定性、模型真实度等等很多问题。也想求助大家,除 OpenRouter 这个大家都知道的选项外,还有哪个中转站可以推荐?

Ding@dingyi
Langfuse 也推出了 AI Gateway 公开测试版,所有公司最终解决方案都是中转站和网关。 https://langfuse.com/blog/introducing-gateway
View quoted post on X
Source details

meng shao · x.comPublished · added here

Original title: 剥开 Agent 所有的伪装,最后只剩下赤裸裸的 Token ...