Puis, cette semaine, une IA m’a fait passer une entrevue.
Je n’ai pas réussi sa certification. lol !
Je m’étais déjà présentée à plusieurs entrevues d’embauche, mais aucune ne m’avait préparée à celle-ci. Cette fois, je ne savais pas comment l’IA allait évaluer mes réponses, ce que l’expérience allait révéler de ma façon de communiquer ni quel effet le fait de me sentir jugée par une machine aurait sur moi. C’était précisément pour cela que j’ai voulu essayer. Rien de mieux que la réalité pour tester.
Je voulais tester l’IA. Mais finalement, c’est elle qui m’a testée.
L’offre avait de quoi m’intéresser au minimum : évaluer des réponses produites par l’IA, repérer les incohérences, améliorer des documents et affiner des prompts. Du travail très proche de ce que je fais déjà.
Mais il y avait autre chose qui m’attirait : l’entrevue elle-même serait menée par une IA.
Comment allais-je réagir? Est-ce que j’allais lui parler comme à un recruteur? Comme aux outils que j’utilise tous les jours? Et qu’allait-elle retenir de mes réponses?
Ma curiosité de R&D était bien réveillée. J’ai enregistré l’expérience pour pouvoir y revenir. Je voulais observer chaque détail : la formulation des questions, les silences, la façon dont l’IA relancerait mes réponses. Peu importe le résultat, j’allais en tirer quelque chose.
Au début, je me sentais presque en terrain connu. J’analysais déjà l’entrevue pendant qu’elle se déroulait. Je cherchais les biais, les critères implicites, les indices qui révéleraient la logique du système. J’étais là pour tester l’IA, après tout.
Puis j’ai commencé à sentir le poids de la caméra, de l’enregistrement, de chaque phrase prononcée.
Je savais que mes réponses seraient enregistrées et analysées. OMG, j’aime pas trop ce feeling, mais dans le fond, c’est pas mal comme dans toutes les situations. Mais là, la différence, c’est que la machine ne peut pas oublier ni retenir uniquement les détails qu’elle aime bien. Et je ne pouvais pas lire son visage, interpréter un sourire ou me raccrocher à un signe d’encouragement.
Ma curiosité professionnelle pour l’outil était très allumée, mais plus les questions avançaient, plus elle se transformait en surveillance de moi-même. Je ne me demandais plus seulement ce que l’IA comprenait : je me demandais ce qu’elle allait conclure de ma voix, de mon rythme, de mes mots.
J’avais l’impression d’être un sujet d’étude en plus de devoir performer.
Une partie de moi essayait de réussir l’entrevue. Elle cherchait la bonne réponse, le bon ton, la bonne longueur. L’autre observait ce que cette situation me faisait, notait mes réactions et tentait de rester lucide. Beaucoup de détails à intégrer : je pense que j’ai atteint une limite d’overload au milieu de l’entretien. Il y avait bien trop d’axes.
Au fil des questions, j’ai compris : la structure des questions était très importante, le format de la réponse aussi, et la consigne encore plus. Enfin, c’est ce que je pense! Et là, une question de 2 min de long… Incroyable! Comment tout retenir? Je comprends à peine à quoi il faut répondre. Mon cerveau a clairement dépassé un cap de capacité d’analyse. Du coup, j’ai testé l’IA, mais elle m’a surtout testée. J’ai trouvé une limite.
Je connaissais le sujet. J’avais oublié la question.
Les questions étaient en anglais, longues et pleines de vocabulaire spécialisé. Mais ce qui me compliquait vraiment la tâche, c’était le nombre de choses à faire dans une seule réponse.
Il ne suffisait pas d’expliquer comment je prendrais une décision avec peu de données. Il fallait donner mes trois premières décisions et justifier les compromis. Une autre question demandait un indicateur principal, des garde-fous et des cas particuliers à tester.
J’avais l’impression de devoir faire une dissertation à chaque réponse. Pendant que je répondais à une partie, je me rendais compte que ça pourrait aussi faire partie de la prochaine partie de la question. Et là, merde, c’est quoi la troisième partie de la question…
J’avais des choses pertinentes à dire. Des exemples, des nuances, des expériences auxquelles me raccrocher. Mais je ne retenais plus exactement toutes les pièces de la commande.
J’ai donc choisi de raisonner à voix haute après quelques questions. Je me suis dit : au moins, l’IA va comprendre comment je réfléchis.
Je savais entrer dans le problème. J’y entrais même avec enthousiasme.
Mais la consigne demandait aussi de sélectionner les cinq problèmes les plus importants et de réécrire la conclusion. En revenant sur l’entrevue, je pouvais voir la différence : avoir beaucoup de choses justes à dire et livrer exactement ce qui est demandé, ce n’est pas la même chose.
J’écris des prompts toute la journée. Cette fois, j’étais la réponse.
Un prompt, c’est une consigne donnée à une IA. On lui précise le contexte, la tâche et le résultat attendu.
Je fais ça constamment. Et quand l’IA oublie une partie de ma demande, je le remarque très vite.
Cette fois, c’était moi qui oubliais une partie de la demande.
Le renversement m’a fait sourire après coup. Je sais demander un résultat précis. Mais recevoir une longue consigne à l’oral, la garder en mémoire et y répondre clairement sous pression, c’est une autre compétence.
Mon réflexe de R&D n’arrangeait pas toujours les choses. Face à un problème, j’ai envie d’explorer. Je cherche ce qui manque, les exceptions, les liens avec d’autres situations. Parfois, c’est en parlant que je trouve la meilleure manière de poser le problème.
Cette créativité m’est utile dans mon travail. Mais pendant cette entrevue, elle pouvait aussi m’éloigner du livrable demandé.
On me demandait cinq points. J’ouvrais cinq pistes.
Je ne connais pas la pondération utilisée. Je ne peux donc pas affirmer que ma façon de répondre explique le résultat. En revanche, l’enregistrement m’a permis de repérer quelque chose de très concret : mes idées étaient parfois plus faciles à suivre pour moi que pour quelqu’un qui attendait une réponse précise.
Le retour tenait en quelques lignes. La suite m’a fait réfléchir.
Le message final indiquait que je n’avais pas satisfait aux critères de certification. MAIS, un gros MAIS : ils ont pris le temps d’ajouter que plusieurs de leurs meilleurs talents avaient réussi après avoir réessayé.
Sérieusement, je comprends pourquoi.
Je ne sais pas ce que ces personnes ont travaillé entre deux tentatives. Mais je vois très bien ce que je pourrais apprendre entre les miennes, sans acquérir un seul diplôme supplémentaire.
Comprendre le rythme. Repérer les différentes demandes.
Ce message a rejoint une intuition que j’avais depuis longtemps et qui est bien présentée dans le livre AI 2041 : à mesure que nous construisons des systèmes qui se basent sur l’IA, qui a été promptée avec des rubriques, nous devons aussi apprendre à naviguer à l’intérieur de ces systèmes et à répondre à ces rubriques!
Cette fois, je n’observais pas le phénomène chez un client. J’étais dedans.
Note : Dans ce contexte, les rubriques forment simplement une grille d’évaluation : elles précisent les éléments attendus dans une réponse et la façon dont celle-ci sera jugée. D’ailleurs, intégrer une telle grille au prompt afin de guider, d’évaluer et d’améliorer le travail des agents est une pratique de plus en plus courante en IA — voir les références au bas de l’article.
C’est quand même drôle : ça ressemble à mon premier métier, ingénieure en développement de processus manufacturiers. Ça fait des mois que je veux écrire un article sur les similarités entre les deux métiers. Je pense que je vais le faire bientôt. Cette entrevue sur l’IA m’a bien stimulée !
Mon expertise ne suffit plus.
Je ne suis pas parfaite, j’ai mes limitations. Je développe de nouvelles technologies depuis plus de 20 ans et je travaille en IA depuis presque 10 ans. J’ai développé une expertise, j’ai du bagage, des expériences assez uniques et, en plus, une belle carrière, quoi. MAIS! Ici, c’était pas assez. Vraiment pas. Je me donne au maximum une note de 6/10.
Ma conclusion : je dois devenir meilleure pour expliquer mes idées d’une façon structurée, en suivant des rubriques, un peu comme l’IA doit le faire avec moi quand je la prompte. C’est clairement un talent que je veux développer. Pas pour réussir une prochaine entrevue. Mais bien pour que mes clients, mes équipes et mes lecteurs puissent suivre plus facilement ce que je comprends et ce que je suis capable d’architecturer pour les aider à atteindre leurs objectifs.
La prochaine fois, je veux essayer trois choses simples :
- Faire ressortir la consigne pour bien l’ancrer.
- Annoncer mon chemin, pour structurer la pensée.
- Terminer avec une phrase courte qui conclut l’idée générale.
Je pense que j’aurai besoin d’un papier et d’un crayon pour commencer. Les faire en direct, en anglais et sous pression, c’est là que la pratique commence.
J’avais 25 ans d’expérience pour m’aider. Et ceux qui commencent?
Pendant l’entrevue, quand une question devenait abstraite, je pouvais aller chercher une situation vécue : un procédé de fabrication, une équipe de recherche, un client, un compromis entre performance et risque.
Je pense maintenant aux jeunes qui arrivent sur le marché du travail.
Si ce type d’entrevue se généralise, ils devront apprendre à comprendre des consignes complexes et à structurer leur discours en direct, tout en construisant l’expérience qui leur permettra de répondre avec profondeur.
Moi, je peux travailler la façon d’exprimer ce que je sais déjà. Eux devront souvent développer les deux en même temps.
C’est beaucoup demander.
Les entrevues humaines demandaient déjà de savoir se présenter. Ce que cette expérience m’a fait sentir, c’est à quel point changer l’interlocuteur et le format pouvait changer ma propre façon de fonctionner. Même sur un sujet familier.
Alors, comment préparer ceux qui débutent? Leur apprendre leur métier, certainement. Mais aussi leur donner des occasions de s’exercer à expliquer, à répondre à une consigne, à demander une clarification et à organiser leurs idées sous pression. Du coup, le métier, oui, mais pas que : il faut être en mesure de le présenter à une IA avec des rubriques derrière.
On entraîne les IA. Mais finalement, c’est l’IA qui est en train de nous entraîner.
Quand nous parlons de la transition vers l’IA, nous parlons beaucoup de ce qu’elle fera pour nous : rédiger, analyser, automatiser, nous faire gagner du temps.
Cette entrevue m’a montré l’autre côté : ce que son arrivée va nous demander d’apprendre.
Nous créons les outils. Nous les améliorons. Nous leur confions une place dans notre travail. Puis leur fonctionnement nous amène à modifier le nôtre.
Et peut-être plus profondément encore : leur regard finit par entrer dans le nôtre.
Pendant l’entrevue, je ne cherchais plus seulement à répondre. Je m’écoutais déjà comme la machine pouvait m’écouter. J’anticipais ses critères. J’essayais de devenir lisible pour elle.
À force d’être évalués par des systèmes, nous commençons à nous regarder avec leurs yeux. Nous ajustons notre façon de parler, de réfléchir et de nous présenter à ce qu’ils sont capables de reconnaître et de mesurer.
Je pensais tester un nouveau mode de recrutement. Je suis repartie avec un exercice très personnel : apprendre à mieux expliquer mes idées quand ce n’est plus moi qui choisis la forme de la conversation.
Je suis experte en IA. J’ai échoué mon entrevue avec une IA. Et j’ai envie de recommencer pour voir ce que j’aurai appris.
Nous apprenons aux machines à répondre à nos consignes. Maintenant, leurs consignes nous apprennent quelque chose sur nous.
La transition vers l’IA ne va pas seulement changer ce que nous faisons. Elle va aussi changer ce que nous devrons savoir faire — et peut-être même la façon dont nous nous regardons.
Références :
https://developers.openai.com/api/docs/guides/agent-evals
https://developers.openai.com/api/docs/guides/evaluation-best-practices
