Depuis plusieurs mois, on attendait l’arrivée de GPT-5, annoncé comme LE nouveau modèle surpuissant, nous rapprochant de l’AGI (la superintelligence).
Spoiler : on en est encore loin
Avant de vous partager ma déception, je tenais à revenir 8 mois en arrière, fin 2024.
À ce moment-là, les premiers modèles de raisonnement commençaient à sortir. Des modèles très puissants, capable de prendre le temps de la réflexion (raisonner) pour générer des réponses plus fiables en mobilisant plus de ressources.
Le gap entre les modèles comme GPT-4 et GPT-o1 était énorme en termes de performance. Ça nous a permis d’avoir beaucoup plus de cas d’usages (et débloquer des cas d’automatisations qui nécessitaient des vérifications assez lourdes).
Cette logique de raisonnement avant réponse a changé beaucoup de choses, et personnellement, c’est ce type de modèle que j’utilisais constamment.
(→ concernant l’image, les conversations chatGPT partagées (en public) ne sont plus indexés sur Google)
Les nouveautés
Et le gros changement, c’est l’unification des modèles de raisonnement avec les modèles classiques. Cela met fin à l’explosion des modèles, une bonne chose plutôt que d’avoir : 4o, o1, o3, 4.1, etc
1 seul modèle qui décide Comment Répondre (et quel outil utiliser)
En plus de ça, les news en vrac :
- L’accès des nouveaux modèles pour TOUS les utilisateurs
- GPT-5 Auto, Fast (=gpt-4o) et Thinking (=oX)
- GPT-4o pour les utilisateurs payants (ancien modèle)
- Un modèle plus rapide, plus puissant et avec moins d’hallucinations
- Un style de réponses (écriture) plus “humain”
- Et une fenêtre d’exécution des scripts
La déception…
Et c’est justement cette approche qui impacte les power user, ceux qui basculaient entre plusieurs modèles en fonction de la manière, on veut que le modèle réponde.
Pour moi, c’est une perte de contrôle énorme, car le modèle décide de la complexité du prompt, en mobilisant soit le modèle rapide (question simple) ou le modèle de raisonnement (question complexe).
Mais dans certains cas, je souhaite que le modèle soit plus complet pour une question simple. Un peu comme si je ne voulais pas me louper… Mais forcément, ça a l’inconvénient de couter plus cher pour OpenAI…
Astuce : vous pouvez explicitement préciser de “réfléchir avant de répondre” pour inciter à activer le mode Thinking (raisonnement)
J’utilise 90% du temps OpenAI plutôt qu’un autre LLM, principalement, car c’est l’écosystème le plus avancé → on retrouve les meilleurs modèles et les dernières fonctionnalités (deep research, chatGPT Agent, génération d’images, etc).
À chaque annonce, c’est souvent spectaculaire. Mais pas ce coup-ci (dans mon cas).
Même si pour la plupart des utilisateurs, GPT-5 va leur permettre de découvrir les modèles de raisonnement (réservé à ceux qui changeait volontairement le modèle par défaut), et donc d’avoir une expérience largement meilleure.
Et dans tous les cas, le modèle est plus rapide, et les benchmarks le montrent plus performant.
Rupture de confiance ?
Dans certains cas, je me suis retrouvé dans une situation embarrassante où le modèle GPT-5 hallucinait totalement sur des questions basiques. Ici, un exemple :
L’erreur du modèle venait principalement de l’utilisation du “.” plutôt que de “,”. Mais le modèle Thinking était capable de trouver la bonne réponse.
Depuis, ce type d’erreur a été corrigé. Mais cela a la particularité de provoquer une perte de confiance, un doute constant qui me pousse à continuer de privilégier le mode Thinking de raisonnement.
Ethan Mollick soulevait que l’on pouvait avoir des écarts de performance non négligeable sur le mode Auto de GPT-5 et tomber parfois sur de bons résultats et parfois sur de moins bons résultats.
La personnalisation des modèles
Quand il y a un changement de modèle comme ici, ce qui peut être frustrant, c’est le décalage de style rédactionnel qu’il peut y avoir. Même si on peut aller plus loin avec les instructions personnalisées.
Beaucoup d’utilisateurs l’ont fait sut GPT-4o pour avoir un style plus personnel, en phase avec leurs attentes.
Qui dit changement de modèle, dit changement de comportement.
Et ça peut être difficile de retrouver le style que l’on avait créé, et de retrouver, d’une certaine manière, le modèle qui avait été façonné.
Même si les modèles ne s’améliorent pas plus vous les utiliser, des éléments de contexte sont stockés en mémoire, permettant aux modèles de récupérer certains éléments quand c’est pertinent.
Cette tendance de la mémoire inter-chats + personnalisation d’un profil devient tendance pour la plupart des modèles. Claude l’a annoncé il y a peu (voir plus bas) et Gemini vient de s’y mettre également.
