Hindi ko matukoy kung aling mga request para sa generation ang dapat maging synchronous o iproseso bilang background job sa aking produkto.

Tinutulungan ka ng feature na ito na magpasya kung ang isang generation request ay dapat tumakbo nang synchronous (agarang tugon) o asynchronously bilang isang background job. Nagbibigay ito ng malinaw na gabay upang mapabuti ang karanasan ng user, pagiging maaasahan ng system, at performance sa ilalim ng iba't ibang workload.

Nililinaw ng feature na ito kung kailan dapat iproseso ang mga generation request nang synchronous kumpara sa pag-queue at paghawak sa mga ito sa background. Tinutulungan ka nitong suriin ang mga request batay sa inaasahang latency, laki ng payload, computational cost, at mga pattern ng pakikipag-ugnayan ng user. Para sa mabilis at magaan na generation na inaasahan ng mga user na maging instant, inirerekomenda nito ang synchronous na paghawak upang mapanatiling responsive ang mga daloy. Para sa mas matagal o resource-intensive na generation, inirerekomenda nito ang mga background job upang maiwasan ang mga timeout at mapanatiling stable ang iyong app. Sinusuportahan ng feature ang pagdidisenyo ng mga pare-parehong pattern ng UX gaya ng mga progress indicator, pag-poll sa status ng job, at mga notification para sa mga nakumpletong resulta. Tinutulungan ka rin nitong magplano para sa mga biglaang pagdami ng traffic sa pamamagitan ng pag-ruta ng mabibigat na gawain sa mga queue at worker sa halip na gamitin ang mga web thread. Sa paggawa ng prosesong ito ng pagpapasya na maging malinaw, maaaring gawing standard ng mga team ang implementasyon sa mga endpoint at maiwasan ang ad-hoc na paghawak. Binabawasan nito ang panganib ng hindi magandang karanasan ng user na dulot ng mahabang paghihintay, mga nabigong request, o hindi mahuhulaang oras ng pagtugon. Ang resulta ay isang mas scalable na arkitektura na tumutugma sa mga katangian ng performance sa mga inaasahan ng user.