プロダクトにおいて、どの生成リクエストを同期処理にするか、バックグラウンドジョブとして処理すべきかの判断ができません。

この機能は、生成リクエストを同期（即時応答）で実行すべきか、バックグラウンドジョブとして非同期で実行すべきかを判断するのに役立ちます。ユーザー体験、システムの信頼性、およびさまざまなワークロード下でのパフォーマンスを向上させるための明確なガイダンスを提供します。

この機能は、生成リクエストをいつ同期的に処理し、いつキューに入れてバックグラウンドで処理すべきかを明確にします。予想されるレイテンシ、ペイロードサイズ、計算コスト、ユーザーのインタラクションパターンに基づいてリクエストを評価するのに役立ちます。ユーザーが即座に期待する高速で軽量な生成については、フローの応答性を維持するために同期処理を推奨します。長時間実行される、またはリソースを大量に消費する生成については、タイムアウトを防ぎ、アプリを安定させるためにバックグラウンドジョブを推奨します。この機能は、進捗インジケーター、ジョブステータスのポーリング、完了通知など、一貫したUXパターンの設計をサポートします。また、重い処理をWebスレッドで占有するのではなく、キューとワーカーを通じてルーティングすることで、トラフィックの急増に対する計画を立てるのにも役立ちます。この意思決定プロセスを明示的にすることで、チームはエンドポイント全体で実装を標準化し、場当たり的な処理を回避できます。これにより、長い待ち時間、リクエストの失敗、予測不可能な応答時間によって引き起こされる、ユーザー体験の低下のリスクを軽減します。その結果、パフォーマンス特性とユーザーの期待を一致させた、よりスケーラブルなアーキテクチャが実現します。