J'étudie le génie électrique à l'Université de Sydney. On pourrait croire que si je suis encore sur mon téléphone après minuit, je pense au moins au labo de demain. En général, ce n'est pas le cas. En général, j'ai du Juice WRLD dans le casque, quelque chose d'inachevé sur mon ordinateur portable, et je me dis que je vais vérifier X une dernière fois avant de dormir.
C'est comme ça que je suis tombé sur AirJelly.
Plus précisément, sur un article de blog de son fondateur. Je l'ai lu et je lui ai envoyé un message. Certaines idées me semblaient intéressantes et je voulais en discuter. Quelque part dans cette conversation, j'ai découvert qu'ils exploraient le matériel d'IA.
Et j'ai pensé, attends. C'est en fait pertinent pour mon diplôme.
C'était l'occasion de prendre une partie de ce que j'étudiais et d'en faire quelque chose qu'on pourrait emporter partout. Je n'avais pas encore déterminé exactement comment cela devait s'intégrer dans la vie de quelqu'un. Mais je voulais aider à le construire, alors je me suis impliqué.
Il n'y a pas eu de grand moment cinématographique. Je n'ai pas fermé mon ordinateur portable, regardé Sydney au loin et décidé de me consacrer à l'avenir. Je crois que j'ai juste répondu à quelques messages et réalisé que je prenais toute cette affaire assez au sérieux.
Chaque fois que j'utilisais l'IA, je devais d'abord expliquer le contexte. Qui j'étais, sur quoi je travaillais, pourquoi je posais la question. Parfois, j'arrivais à mi-chemin et je trouvais ça un peu drôle. Elle semblait connaître quelque chose sur presque tout, mais très peu sur la personne assise devant elle.
Pour être juste, je ne lui donnais pas grand-chose. Quelques messages, deux ou trois fichiers, une question que j'avais déjà suffisamment nettoyée pour la poser.
Tout le reste était encore là, en train de se passer. Ce que j'écoutais en marchant vers la gare de Redfern. Une conversation avec un ami qui s'était égarée quelque part d'inattendu. Ma décision de me coucher tôt, prise après être mort bien trop de fois dans Elden Ring la veille.
Rien de tout cela ne semble particulièrement important en soi. Mais c'est la majeure partie de ce qu'une journée ressemble réellement.
Je pense que c'est là que mon intérêt pour l'IA a commencé à un peu vagabonder. J'y pensais en faisant mes travaux universitaires, puis en écoutant de la musique, et surtout en jouant. Finalement, tout cela a retrouvé son chemin vers le matériel sur lequel je travaillais.
Ce qui est logique, évidemment.
Tu sais, je suis ingénieur matériel.
1. L'IA peut faire la musique. Nous apportons le sens
Tu sais, je suis ingénieur matériel, donc naturellement je passe beaucoup de temps à penser à l'IA et au hip-hop.
La logique est un peu douteuse. Heureusement, ce n'est pas quelque chose que je vérifie habituellement en écoutant de la musique.
Sur le chemin de l'université à Redfern, je mets souvent Juice WRLD. Parfois XXXTENTACION. Ça dépend si je veux que ma tête se calme ou que quelqu'un d'autre fasse le bruit pendant un moment. Parfois, une seule chanson fait les deux. Plutôt efficace.
Certaines chansons mettent du temps à vous atteindre. À la première écoute, vous aimez la mélodie. Puis vous la réécoutez un après-midi et une phrase vous touche soudain. Rien de particulièrement dramatique ne s'est produit. Peut-être que le labo s'est mal passé, qu'il y a un message auquel vous ne savez pas comment répondre, ou que Sydney a décidé de pleuvoir après que vous avez fait confiance au soleil en sortant.
Même chanson. Vous avez rempli le contexte vous-même.
Alors quand je pense à l'IA et à la musique, l'une des premières choses que je me demande, c'est ce que je ressentirais en entendant une voix familière chanter quelque chose que cette personne n'a jamais réellement chanté.
Disons qu'il y a un morceau généré par IA qui ressemble à Juice. La mélodie fonctionne. L'émotion semble familière. Même cette petite coupure dans un mot sonne juste. Je pourrais sincèrement l'aimer. Parfois, votre corps y arrive avant votre opinion. Vous êtes encore en train de déterminer ce que vous ressentez à propos de tout ça et vous hochez déjà la tête en rythme.
Puis quelque chose vous rattrape.
Cette phrase qui semble douloureuse ne vient pas d'une nuit particulière de sa vie. Cette respiration n'était pas une qu'il avait réellement besoin de prendre. J'entends la forme d'une expression familière, mais il ne l'a jamais produite.
Quand la voix appartient à quelqu'un qui est mort, cela semble plus difficile à ignorer.
Bien sûr, vous voulez en entendre plus. Quand vous aimez la musique de quelqu'un, il y a toujours une partie de vous qui espère faire défiler et trouver un morceau de plus que vous n'avez pas entendu. Mais vouloir une autre chanson ne semble pas être une raison suffisante pour décider ce que cette personne devrait dire ensuite.
À ce stade, je commence à me demander si je ne prends pas tout cela trop au sérieux. Je n'enquête pas sur l'histoire créative de chaque chanson que je mets. Parfois les batteries sont bonnes, la basse sonne juste, et je marche en rythme, brièvement convaincu que prendre un train mérite une équipe de tournage.
Et je suis intéressé par faire de la musique avec l'IA.
Il y a quelque chose d'attrayant à avoir une mélodie coincée dans la tête, à la fredonner maladroitement, et à pouvoir dire : « Donne un peu plus d'espace à ça. Fais entrer les batteries plus tard. Un peu comme Parramatta Road la nuit, mais en fait je suis de bonne humeur. »
Comme brief d'ingénierie, ça serait probablement renvoyé. Comme description d'un son, ça me parle parfaitement.
Si l'IA pouvait faire quelque chose avec ça, me donner quelque chose que je pourrais réellement écouter, j'aurais un endroit où aller ensuite. Enlève un son. Laisse un peu de bruit. Réécoute la partie que je pensais être fausse. Peut-être que ça finit par être la partie que j'aime le plus.
J'aime l'idée qu'une pensée à moitié formée puisse devenir audible avant que je l'aie complètement comprise.
Il y a un hic, cependant. Si chaque idée vague reçoit une réponse polie immédiatement, je me demande si j'arrêterais d'essayer de comprendre ce que je voulais vraiment dire.
Quelque chose qui sonne bien est facile à accepter. Surtout quand on est fatigué, qu'on a cours demain, et que la version trois est honnêtement plutôt correcte. Bon. Version trois.
Pendant ce temps, l'idée plus étrange avec laquelle j'avais commencé — celle que je n'arrivais pas tout à fait à expliquer — pourrait avoir discrètement disparu.
Je pense que je voudrais que l'IA m'aide à rester avec cette idée un peu plus longtemps. Rendre les choses plus faciles à essayer, sans me précipiter vers un verdict sur ce qui sonne bien. Me donner assez d'espace pour dire : « Ouais, ça marche. Ce n'est toujours pas ce que je cherche. »
Cela dit, quand j'écoute Juice ou X, je ne cherche pas toujours quelque chose de nouveau.
Parfois je veux un morceau précis. Je sais quand la ligne suivante arrive. Je sais où la batterie s'arrête. Je me souviens encore d'un bout de trottoir où je l'écoutais en boucle. La chanson s'est attachée à quelques journées ordinaires. Un mix plus propre ou une meilleure voix ne lui apporteraient pas nécessairement grand-chose.
Même si je pouvais générer quelque chose parfaitement adapté à mon humeur quand je veux, je pense que je reviendrais quand même à ces vieux morceaux. Mettre quelque chose qui ne correspond pas tout à fait à aujourd'hui. Le laisser m'emmener ailleurs pendant quelques minutes, puis revenir.
On peut continuer à rafraîchir la musique. Les gens sont un peu plus désordonnés.
Je viens de réaliser que j'étais censé écrire sur l'IA, et j'ai passé la majeure partie de ce texte à essayer d'expliquer pourquoi j'écoute de la musique.
Peut-être que je dois d'abord comprendre ça.
Avant de demander à l'IA de m'en donner plus, je veux comprendre ce pour quoi je ne cesse de revenir.
2. Je veux l'IA à mes côtés. Je veux quand même essayer moi-même
Tu sais, je suis ingénieur matériel, donc naturellement je m'intéresse à ce que l'IA pourrait faire dans Baldur's Gate et Elden Ring.
Plus précisément, je veux savoir si une IA mourrait vingt fois d'affilée et déciderait qu'elle devrait probablement prendre une douche.
Moi, oui. J'ai juste tendance à lui donner dix autres tentatives d'abord.
Je rentre de l'université, je pose mon sac et je lance un jeu pour un moment. « Un moment » signifie clairement quelque chose de différent ici que quand je travaille sur un rapport de labo. Il fait encore jour quand je commence. La prochaine fois que je remarque la fenêtre, je peux voir mon propre reflet dedans.
Je n'ai pas beaucoup progressé. Je suis devenu extrêmement familier avec un endroit particulier du sol.
C'est généralement à ce moment-là que je pense que ce serait bien que l'IA puisse m'aider à jouer.
J'imagine quelque chose qui peut réellement regarder l'écran, comprendre ce qui se passe, essayer une entrée et s'ajuster en fonction du résultat. J'ai déjà lu les conseils. Je comprends « attends que l'attaque se termine avant de riposter ». La version de moi qui comprend cette phrase et la version qui tient la manette travaillent apparemment dans des services différents.
Donner les commandes à l'IA serait intéressant. Elle devrait transformer ce qu'elle voit en action, puis gérer ce qui se passe ensuite. Un pas en avant l'engage à être là. Une esquive précoce reste une esquive précoce. Dire « je devrais être plus patient ici » est facile. Attendre réellement la prochaine tentative demande autre chose.
J’aimerais voir comment il apprend ça. Remarque-t-il l’erreur qu’il ne cesse de commettre ? Essaie-t-il quelque chose de différent ? Après un échec spectaculaire, peut-il expliquer ce qui s’est réellement passé ? Ou produit-il un récit très convaincant qui s’effondre à la seconde où l’on regarde le replay ?
C’est l’étudiant ingénieur en moi, apparemment. Une minute, je cherche quelque chose pour souffrir à ma place. La suivante, je me demande comment tester s’il sait ce qu’il fait.
Mais disons qu’il devienne bon.
Un soir, je lui cède le contrôle, et il esquive l’attaque qui me piège sans cesse, trouve une ouverture et termine le combat. Un boss sur lequel je suis bloqué depuis des jours est soudain vaincu.
Ma première pensée serait probablement : enfin.
Puis : attends, comment tu as fait ce passage-là ? Montre-moi encore.
Et ensuite, je voudrais probablement réessayer moi-même.
Ça m’étonne un peu. Je pensais vouloir juste passer ce combat. Dès que quelque chose d’autre peut le faire pour moi, je commence à me soucier du mouvement que je n’ai toujours pas appris. Peut-être que l’aide que je veux change à mesure que l’IA devient plus capable. D’abord, je veux qu’elle prenne le relais. Ensuite, je veux qu’elle s’entraîne avec moi. Finalement, je voudrais peut-être juste qu’elle s’éclaircisse la gorge quand je suis sur le point de devenir trop gourmand.
Je tenterais probablement le coup supplémentaire quand même.
Dans Baldur’s Gate, je voudrais quelque chose d’assez différent.
Je peux imaginer avoir une IA dans l’équipe, qui participe vraiment au chaos. Qui aide à décider si on devrait passer par cette porte, qui devrait y aller en premier, si cette offre ressemble suspectement à un piège. Il faudrait qu’elle se souvienne de ce qu’on a déjà fait. Il faudrait aussi qu’elle supporte que j’abandonne un plan parfaitement sensé parce qu’une idée stupide vient de me traverser l’esprit.
Elle finit d’expliquer les risques, et je lance : « Et si on piquait ça ? »
J’aimerais au moins qu’elle demande pourquoi.
Transformer immédiatement mon impulsivité en plan d’action efficace me semble inutile. Je suis déjà tout à fait capable de faire un désastre.
Si elle savait que je ne peux pas laisser un coffre suspect tranquille, ou que je prendrais un combat difficile pour garder un personnage particulier en vie, elle pourrait en tenir compte dans ses décisions. De même en sachant que « je prends cette partie au sérieux » laisse encore largement la place pour errer sur tous les chemins secondaires.
Elle pourrait aussi avoir ses propres opinions. Suggérer quelque chose que je n’avais pas envisagé. Insister pour un choix dont je n’étais pas sûr. On aurait peut-être à en parler. Finalement, il se pourrait que j’aie raison, et je m’en souviendrais très longtemps.
Si elle s’avérait avoir raison, je dirais probablement juste : « Ouais, d’accord. Continuons. »
La mémoire entre compagnons de jeu n’a jamais été entièrement équilibrée.
Bien sûr, une IA qui connaît toujours le meilleur coup pourrait rendre toute l’expérience un peu étrange. Je pourrais finir par la consulter avant chaque conversation, chaque combat, chaque tournant du chemin. Toujours en train de vérifier que je ne rate rien.
À la fin, j’aurais été partout sans passer beaucoup de temps à me sentir incertain.
Et les moments dont je finis par parler avec des amis sont souvent les plus incertains. Une réponse qui sonnait faux à la seconde où je l’ai dite. Quelqu’un qui agit avant qu’on ait convenu d’un plan. Un plan qu’on avait bien convenu, puis collectivement oublié trois minutes plus tard.
Donc je pense qu’un compagnon de jeu IA aurait besoin d’un certain sens de quand je veux vraiment de l’aide et quand je me fourre joyeusement dans les ennuis.
Si je demande : « Je peux faire ce saut ? », il devrait probablement savoir que parfois je pose une question, et parfois j’ai déjà appuyé sur le bouton.
Les jeux commencent à ressembler à un endroit plutôt utile pour tirer tout ça au clair. L’IA a-t-elle compris l’environnement ? Se souvient-elle de ce qui vient de se passer ? Peut-elle transformer une suggestion en action ? Peut-elle percevoir comment j’ai réellement envie de jouer ce soir ?
Quelques bonnes réponses ne me diront pas tout ça. Le jeu continue d’avancer. Il faut découvrir ce qui se passe ensuite.
J’aurais aussi une meilleure idée de ce que je suis content de déléguer. Aller d’un endroit à un autre, probablement. Les passages répétitifs, bien sûr. Quand je suis bloqué, on peut s’y atteler ensemble. Certaines décisions, je voudrais encore les prendre moi-même, même si je les regrettais aussitôt.
Je ne lance pas nécessairement un jeu parce que je veux accomplir quelque chose efficacement.
Parfois le labo est fini, ma tête tourne encore, et je veux passer un moment ailleurs. Avoir quelque chose là qui peut suivre ce qui se passe, aider occasionnellement, et compliquer occasionnellement toute la situation me semble plutôt bien.
Quant à savoir si elle peut battre ce boss pour moi —
Si elle peut, ne l’achève pas tout de suite.
Laisse un peu de vie. Je veux réessayer.
3. Pour mieux me comprendre, l’IA a besoin d’un contexte au-delà du chat
Vous savez, je suis ingénieur matériel, donc naturellement je m’intéresse à la relation entre l’IA et le matériel.
Enfin. Quelque chose de pertinent pour le diplôme.
Après tout ce temps dans mes playlists et les Terres Intermédiaires, me revoilà à mon bureau. Le même café inachevé. Les mêmes câbles en désordre. Quelque chose d’ouvert sur mon portable que je préférerais traiter plus tard. Un pote m’envoie un texto pour demander où je suis.
« J’arrive. »
Je n’ai pas encore trouvé mes clés.
Si une IA me demandait si j’avais besoin d’aide à ce moment-là, je dirais probablement non.
Il y a des preuves du contraire.
Plus j’utilise l’IA, plus je remarque tout le travail qui se fait avant que je lui demande quoi que ce soit. Je dois déterminer ce dont j’ai besoin, me souvenir des éléments pertinents et les mettre en mots. Parfois je dois expliquer pourquoi ça m’importe, pour commencer.
« Aide-moi à répondre à ce message », par exemple.
Ça semble simple. Mais qui l’a envoyé ? Comment s’est passée notre dernière conversation ? Est-ce qu’ils poursuivent une blague ? Pourquoi ai-je tapé une réponse trois fois et l’ai-je effacée ?
Tout ça se trouve juste en dehors de la boîte de chat.
Ce que j’envoie finalement est une version assez compressée de moi-même.
En tant qu’étudiant en génie électrique, je devrais probablement être attentif à la perte d’information. D’habitude, pourtant, je n’ai tout simplement pas envie de taper deux paragraphes de contexte supplémentaires.
Une fois que je me suis impliqué avec AirJelly, j’ai commencé à réfléchir plus sérieusement à donner à ce contexte un autre moyen d’entrer.
J’aide à concevoir un appareil portable qui peut capturer des fragments de la vie quotidienne via des photos et de l’audio. L’idée part de quelque chose d’assez ordinaire : les gens qu’on rencontre, les conversations qu’on a, les choses qu’on remarque. Une partie de tout ça pourrait aider l’IA à mieux nous comprendre, mais beaucoup a déjà filé au moment où on ouvre un chat.
Disons que tu quittes le campus et que tu vas à Newtown avec un pote pour trouver à manger. Vous parlez tout le long sans que rien d’évidemment digne d’un calendrier ne se produise. Il mentionne un entretien la semaine prochaine qui le stresse. Tu remarques une affiche de concert et tu dis que ça a l’air bien. Puis la conversation passe à autre chose.
Quelques jours plus tard, tu as ce vague sentiment qu’il y avait quelque chose que tu voulais lui demander.
Les choses deviennent importantes après le moment où tu aurais pu penser à les sauvegarder.
C’est une grande partie de ce qui m’intéresse dans cet appareil. Une photo ou un bout d’audio pourrait laisser quelque chose à retrouver. Ça pourrait aussi donner un peu plus de matière à l’IA quand j’ai besoin d’aide plus tard. Peut-être que je n’aurais pas à commencer autant de conversations par : « Attends, laisse-moi t’expliquer depuis le début. »
C’est la direction que je veux explorer. Il y a beaucoup à régler entre capturer des fragments d’une journée et les rendre utiles.
Pour commencer, avoir un enregistrement ne signifie pas comprendre ce qui s’est passé.
Je souris sur une photo. Quelqu’un vient peut-être de raconter une blague nulle. Je dis : « Peu importe, ça me va. » Peut-être que je le pense. Peut-être que je suis trop fatigué pour prendre une autre décision concernant le dîner. Les mêmes quelques mots peuvent signifier des choses assez différentes selon les jours.
Je me trompe aussi moi-même. Quelque chose semble urgent à minuit, puis beaucoup moins après un peu de sommeil. J’écoute un morceau toute la semaine et soudain je ne veux plus l’entendre. Une IA avec un plus long historique de ma vie pourrait devenir de plus en plus confiante à propos d’une opinion qui n’est plus vraie.
J’aimerais qu’elle laisse un peu de place à ça.
« Tu semblais assez enthousiaste à ce sujet avant. Toujours intéressé ? »
Je serais heureux de répondre à ça.
« D’après ton comportement passé, voici le genre de personne que tu es » me donnerait envie de l’éteindre. Je reconnais à peine la bio que j’ai écrite pour moi-même l’année dernière.
On parle de vouloir que l’IA se souvienne de nous. Mais être mémorisé peut sembler très différent selon la façon dont quelqu’un s’y prend. Un ami qui se souvient de quelque chose que tu n’aimes pas, c’est attentionné. Un ami qui te définit par une chose que tu as dite il y a trois mois, ça lasse assez vite.
Je pense qu’un appareil doit te laisser la place de corriger les choses, de t’expliquer et de changer d’avis. Certains moments valent la peine d’être gardés. D’autres, je serais content de les laisser passer. Ça devrait être une décision facile à appliquer. Je ne devrais pas avoir à fouiller dans plusieurs menus pour dire à quelque chose que je porte sur moi : « Ne garde pas ce passage. »
Et la vie quotidienne implique d’autres personnes.
Un ami assis en face de moi à dîner ne s'est pas automatiquement porté volontaire pour devenir matière à mon projet. Si je construis quelque chose pour aider à capturer le contexte personnel, je dois réfléchir à ce que cela fait ressentir à toutes les personnes autour. Peuvent-elles dire ce qu'il fait ? Peuvent-elles dire non confortablement ? Qu'est-ce qui est conservé ensuite ?
Ces questions influencent si je l'emporterais avec moi tout court. Aussi astucieux soit-il, si je dois donner une longue explication chaque fois que je m'assois avec des amis, je commencerai probablement à le laisser à la maison.
C'est là que le matériel devient très concret.
Est-ce que je veux vraiment le porter tous les jours ? Est-ce que l'utiliser semble naturel ? Est-ce que cela rend une conversation parfaitement normale légèrement gênante ? Quelque chose qui fonctionne sur l'établi doit encore passer un jeudi ordinaire.
Je pourrais venir de quitter un labo, encore en train de penser à un problème que je n'arrivais pas à résoudre, et me dépêcher vers la gare. À ce moment-là, la facilité d'utilisation de l'objet compte bien plus que l'impression qu'il donnait sur une page produit.
C'est en partie ce que j'aime dans la fabrication de matériel. Finalement, il faut le mettre dans une vraie journée. Le mettre dans son sac. Marcher quelque part. S'asseoir avec un ami. Voir si on veut encore l'avoir avec soi. Beaucoup d'idées ne commencent vraiment à répondre qu'une fois qu'on fait cela.
Avec la musique, je revenais sans cesse à ce qui se cache derrière une voix. Avec les jeux, je voulais savoir si l'IA pouvait suivre ce qui se passait et comprendre pourquoi je voulais jouer d'une certaine manière.
Travailler sur cet appareil amène ces questions dans ma propre vie. Une conversation aujourd'hui. Une pensée que je n'ai pas terminée hier. Quelqu'un que je vois tout le temps et qui n'est jamais apparu dans aucune de mes discussions avec l'IA. Ces détails pourraient-ils l'aider à faire moins de suppositions quand j'ai besoin de quelque chose ? Pourraient-ils m'épargner un peu d'explications ?
Je ne sais pas encore jusqu'où nous irons. Mais c'est quelque chose à quoi je veux consacrer du temps.
Quand j'ai trouvé pour la première fois cet article de blog sur X et entendu qu'ils exploraient le matériel d'IA, ma réaction a été en gros : ça correspond à mon diplôme.
Ce qui m'a fait continuer à y penser depuis, c'est un ensemble de choses bien moins académiques. Pourquoi une chanson me touche un jour particulier. Pourquoi je veux encore terminer un combat moi-même. Pourquoi quelque chose qu'un ami a mentionné en passant me revient plus tard.
À ce moment-là, mon téléphone sonnerait probablement encore.
« Tu es enfin parti ? »
Si l'IA finit par me connaître assez bien, j'espère qu'elle entendra « j'arrive » et me rappellera de trouver mes clés.
