Strands Agents チームから、判定モデル（decision model）の Strands Decider 2B が公開されました。LLM のように文章を生成するのではなく、与えた選択肢から答えを選び、選択肢ごとの確率を返す 20 億パラメータのモデルです。
Agent のツール呼び出しの直前に挟む検査など、LLM の呼び出しを置きにくい箇所にも置ける速さが特徴です。自作のアプリからも Bedrock のように API で呼べると便利なので、AWS の GPU インスタンスでセルフホストして、実際のレイテンシと、同時にリクエストを送ったときの処理量を測ってみました。
先に結論を記載すると、以下のとおりです。
- g6.xlarge（NVIDIA L4）で JevBench の公開セットを流すと、レイテンシは p50 が 76 ms、p95 が 447 ms でした。正答率は 168/231 で、Strands の公表値と一致します
- VPC 内から NLB を直接呼ぶと遅延の増分は約 2 ms、IAM 認証の API Gateway を経由すると約 14 ms です
- 公式のサーバーはリクエストを 1 本ずつ送る使い方を前提にした作りで、同時 16 本で送ると処理量は毎秒 14.9 件から 8.5 件になりました。手前に GPU へ 1 本ずつ通すゲートを置くと、同時に送っても毎秒約 14.6 件で安定しました
