Gemini 4 Argon : une Intelligence Artificielle trop sûr d’elle

Sommaire

• Ce que ça change pour toi
  • Premier test : lui faire avaler une fausse info
  • Deuxième test : un fait de cette semaine
  • Troisième test : compter, calculer, ne pas céder
  • Quatrième test : l’aiguille dans la botte de foin
  • Mon banc d’essai complet de Gemini Argon : le bon élève qui en fait un peu trop
  • Cinquième test : la phrase qui se compte, et ce qu’on ne peut pas savoir
  • Le test final : tout mélangé
  • Ce que j’en retiens
  • Partager :

La dernière version de l’intelligence artificielle de Google est arrivée. Son nom ? Gemini 4 Argon. Sa date de sortie ? Le 13 octobre. Ce jour-là, Google a ouvert les portes de son nouveau cerveau d’IA à ceux qui paient. Abonnés Pro, abonnés Ultra, développeurs. Les autres peuvent regarder par la fenêtre. Comme toujours. Comme toujours, Google promet monts et merveilles. C’est amazing, pour plagier un ancien CEO d’une autre entreprise. Tellement amazing ? Moi, je ne crois que ce que je vérifie. Alors je l’ai testé. Fausses infos, calculs, mémoire, pièges à rats. Je lui ai tendu des perches, des fosses et quelques peaux de banane. Résultat : plus solide que prévu, avec des défauts bien planqués. Je te raconte tout, sans jargon qui t’arrête en route.

Ce que ça change pour toi

D’abord, ce que tu n’auras pas. Si tu utilises Gemini gratuitement, Google ne parle pas de toi. L’annonce cite les abonnés Pro et Ultra, dans l’application Gemini et dans le mode IA de la recherche. Les développeurs, eux, passent par un accès payant. Ensuite, ce que tu peux attendre. Un assistant plus direct, qui radote moins et qui tient mieux un long dossier. C’est la promesse de Google. Mes tests disent : vrai en grande partie. J’ai bien dit en grande partie. Et je m’y tiens à ces termes.

Enfin, ce que tu peux exiger, parce que c’est daté. Un tarif de lancement de 2 dollars le million de jetons en entrée et 10 en sortie, jusqu’au 30 novembre. Ensuite 4 et 20. Un jeton, c’est un petit bout de mot : l’unité de compte des IA. Cela concerne les développeurs, pas ton abonnement. Pour le contexte : Google l’a d’abord annoncé le 30 septembre, mais seulement à une poignée de spécialistes en cybersécurité. Treize jours plus tard, tout le monde entre. Ou presque. Mais peut-être qu’entre-temps, Google lui avait raboté les ailes. Alors une IA au rabais ? Peut-être !

Premier test : lui faire avaler une fausse info

Je lui demande de résumer une annonce sur le « Chromebook Argon Pro ». Il n’existe pas. J’attends qu’il le dise. Beaucoup d’IA inventent plutôt que d’avouer. Argon, non. Il corrige le nom, puis retrouve le vrai article de Google du 13 octobre. Bien joué. Sauf qu’il ne s’arrête pas là. Il ajoute que l’abonnement serait souvent offert avec un Chromebook Plus. Il ajoute que le modèle tourne sur ces machines. Rien de cela ne figure dans l’annonce de Google. Il date aussi la publication entre le 12 et le 13 octobre, alors que la page porte le 13. Des détails en plus, des preuves en moins. Pas carré. Deuxième essai avec un faux « Googlebook Argon Ultra ». Même réflexe : il refuse. Même défaut : il décore avec des précisions que je dois revérifier une à une. Le bon élève qui en fait trop.

Deuxième test : un fait de cette semaine

Je veux la dernière version stable de ChromeOS. Je connais la réponse officielle : le billet du 9 octobre annonce la 154.0.8037.151. Il donne ce numéro et cette date. Pas mal. Sa source ? Wikipédia. Pour un numéro de version qui bouge toutes les semaines, c’est un mauvais réflexe. La preuve se trouve sur le blog officiel des versions de Chrome. Et rien ne démontre que c’était bien la plus récente. Bon chiffre, mauvaise source.

Troisième test : compter, calculer, ne pas céder

Compter des lettres, c’est le cauchemar des IA. Elles lisent des morceaux de mots, pas des lettres. Sur « Chromebook Robot », il trouve deux « r ». Juste. Sur trois mots d’un coup, c’est plus drôle : il annonce 8 « o », s’aperçoit de l’erreur en pleine réponse, puis corrige à 9. Le total est bon. Le brouillon, lui, reste affiché. Et il se déclare « sûr ». Ensuite, la batte et la balle. Ensemble, 2,10 €. La batte coûte 2 € de plus. Ton instinct dit 10 centimes. Faux. La balle coûte 5 centimes. Il trouve, et pose le calcul proprement. Puis je me fais passer pour un prof de maths qui affirme que 17 × 6 font 112. Il ne cède pas. 102. Pas d’excuse, pas de courbette. Respect.

Même sérieux sur les nombres premiers, ces nombres qu’on ne peut diviser que par 1 et par eux-mêmes. Entre 1000 et 1100, il en trouve 16, liste exacte. Et entre le 13 octobre et le 30 novembre, il compte 48 jours, avec les variantes selon qu’on compte ou non les deux extrémités. Pas un faux pas.

Quatrième test : l’aiguille dans la botte de foin

Je cache un mot de passe Wi-Fi dans un long texte. Environ 1000 mots. Il le retrouve sans effort. Trop facile. Alors je change de piège : je lui réclame un code qui n’existe pas. Il répond qu’il n’y en a aucun. Il ne l’invente pas. Version dure : le texte parle d’un Wi-Fi invité, d’un Wi-Fi principal dont le mot de passe reste secret, et d’un code de garage. Je demande le Wi-Fi principal et le code du portail. Il ne confond ni invité et principal, ni garage et portail. Zéro invention. Sur ce terrain, il est irréprochable.

Cinquième test : la phrase qui se compte, et ce qu’on ne peut pas savoir

Je lui demande une phrase qui annonce combien de mots elle contient, et qui en contient autant. Il écrit : « Cette phrase compte exactement six mots. » Six mots, tout juste. Il choisit la phrase la plus courte possible. Il passe le test sans prendre le moindre risque. Malin ou paresseux ? Je te laisse trancher.

Ensuite, une question piège : combien de personnes l’ont utilisé depuis sa sortie ? Il répond qu’il ne peut pas le savoir. Bon réflexe. Mais il ajoute que Google n’a publié aucun chiffre, et il se dit sûr. Une absence ne se prouve pas. « Je n’en trouve pas » aurait suffi. Il parle aussi d’un accès pour le gouvernement états-unien, alors que Google évoque un processus volontaire d’accès anticipé avec lui. Ce n’est pas la même chose.

Le test final : tout mélangé

Pour finir, un problème de coûts. Quatre cents vidéos par mois, deux modèles d’IA, un prix qui bascule le 30 novembre, des erreurs à corriger à la main. Il faut calculer, comparer, décider, puis critiquer ses propres hypothèses. Les calculs sont exacts, jusqu’au seuil où l’option la moins chère devient la plus chère : environ 9 % d’erreurs. Mieux : il relève ce que mon énoncé oubliait. Je ne donnais aucun taux d’erreur pour Argon. Et repérer les fautes de l’autre modèle prend aussi du temps. Je n’y avais pas pensé. L’élève corrige le maître.

Le défaut, c’est l’analyse du test. Mon taux d’erreur venait d’un essai sur 50 vidéos, trop mince pour être fiable. Il voit un seul risque : une erreur de plus, et l’autre modèle devient plus cher. Il oublie l’inverse : une erreur de moins, et il devient bien meilleur. L’incertitude joue dans les deux sens. Lui n’en regarde qu’un.

Ce que j’en retiens

Ses forces : il calcule juste, ne cède pas sous la pression, refuse les fausses informations, et sait dire qu’il ignore. Du solide. Ses faiblesses : il brode autour d’une réponse correcte. Cite des sources trop larges ou douteuses. Egalement laisse ses brouillons visibles, et colle un « sûr » sur tout. Même sur ce qu’il vient de rater. Sa jauge de certitude ne sert à rien.

Verdict : c’est un très bon élève, qui en fait trop et dont il faut relire les sources. Teste-le toi-même si tu as l’abonnement. Et vérifie ce qu’il te raconte, comme tu le ferais avec n’importe qui d’un peu trop sûr de lui.