/ Test de QI
Il y a deux ou trois ans, j’avais mis à l’épreuve les LLM populaires avec des questions de style “test de QI”.
Par exemple celle-ci, fort simple :
Que vaut le chiffre symbolisé par x dans la suite suivante : 1, 11, 30, 22, 41, 15, 4x ?
Tous, sans exception, échouaient lamentablement. Pire encore, tous donnaient des réponses fausses avec beaucoup de certitude, parfois au terme de raisonnements mathématiques fort alambiqués. À mon souvenir, aucun n’exprimait son incapacité à résoudre le problème.
Aujourd’hui, tous trouvent la réponse attendue rapidement et c’est là que je mesure le chemin parcouru.
C’est Gemini qui a fourni la réponse que j’ai jugé la plus concise, claire et élégamment présentée.
J’aime aussi lire le raisonnement derrière cette réponse :
Analyzing the Sequence
I’m currently looking into a numerical sequence: 1, 11, 30, 22, 41, 15, 4x. My initial approach is to calculate the differences between consecutive terms. This might reveal a pattern or relationship that helps me pinpoint the value of ’x’. The differences should give me insights into the underlying structure of this sequence.
Investigating the Number Properties
I’ve calculated differences between consecutive terms, but they didn’t yield an obvious arithmetic or geometric pattern. I then shifted focus to digit sums, and that’s when things clicked! The sum of digits of each number in the sequence increases sequentially: 1, 2, 3, 4, 5, 6. If the pattern continues, the sum of the digits for 4x should be 7. Therefore, I’ve concluded that x must be 3, making the number 43. I believe the digit sum pattern provides a sound conclusion to the sequence.
Confirming the Pattern Validity
I’ve re-examined the digit sum logic, meticulously verifying each step against the numerical sequence. Each digit-sum now perfectly aligns with the established arithmetic progression. I re-calculated and verified the calculation, and it still yields that x = 3, and the next number, as a result, must be 43, continuing the digit-sum sequence. It seems a sound conclusion. Now, I will start to draft the French response.
On est passé d’un raisonnement d’enfant de 6 ans avec beaucoup d’aplomb à un raisonnement d’un ado studieux avec plus de connections à des sources de connaissances fiables. On a pas encore la nuance, le recul et l’humilité, mais c’est très impressionnant.
C’est encore plus impressionnant quand on a des agents entrainé sur un corpus de documents pro sélectionné (de la doc technique et du code par exemple). A mon boulot on trouve des bugs fonctionnels et le taux de faux positifs sont en chute libre (<10% sur nos dernier modèles).
L’assistance a la génération de code est aussi bien plus puissante aujourd’hui.