要約
私たちはもはやモデルルーティングを信じていません。ほとんどのユースケースにおいて、実績のある単一のモデルを使用することが最良の選択であると考えています。最近、AIモデルルーターに関する盛り上がりがあり、リクエストに応じてモデルを選択する新たな試みが多く見られましたが、私たちはそのルーターを廃止しました。
背景として、私たちは3月にManifest LLMルーターを立ち上げ、6月にはその機能を廃止し、9月1日には完全にシャットダウンしました。このルーターは、リクエストを4つの複雑さの層に分類していましたが、7000人のクラウドユーザーによる4ヶ月間の使用後、混合した結果と多くの問題が浮上しました。
主な問題点として、プロンプトからは複雑さを正確に判断できないこと、キャッシュの方がコスト削減において有効であること、そしてルーターが行動の一貫性を破壊することが挙げられます。結論として、私たちの経験からは、ほとんどのユースケースにおいてLLMルーティングは価値がないと判断しました。コスト削減の裏には、他の見えないコストが存在するからです。
元記事: https://manifest.build/blog/why-we-deprecated-our-llm-router/
公開日: Fri, 31 Jul 2026 18:06:39 +0000
この記事はAIアシスト編集により作成されています。
📰 元記事: 元記事を読む