Le streaming comme sur ChatGPT

Attendre 10 secondes pour une réponse complète est ennuyeux. Le Streaming permet à l'IA d'envoyer le texte mot par mot au fur et à mesure de sa génération.

Avantages :

• Performance perçue (l'application semble plus rapide).
• Les utilisateurs peuvent commencer la lecture immédiatement.

Mise en œuvre :

Nous utiliserons stream: true dans la configuration de l'API et manipulerons les morceaux de données (chunks) à mesure qu'ils arrivent du serveur.