← ブログ
ひらめき約 16 分で読めます

ご存じのとおり、私はハードウェアエンジニアです

音楽、ゲーム、そしてチャットウィンドウの先にある日常の文脈:私たちを理解しつつ、自分らしくいられる余地を残すAIを作ることについての、あるハードウェアエンジニアの考え。

Translated by AI

私はシドニー大学で電気工学を学んでいます。深夜過ぎまでスマホをいじっているなら、せめて明日の実験のことを考えているくらいだろうと思うでしょう。たいていはそうじゃありません。たいていはヘッドホンからJuice WRLDが流れ、ノートPCには未完成の何かがあって、寝る前にもう一度Xをチェックしようと自分に言い聞かせているところです。

そうやってAirJellyに出会いました。

もっと正確に言えば、創業者が書いたブログ記事です。読んでメッセージを送りました。いくつか面白いアイデアがあると思って話がしたかったんです。そのやり取りのどこかで、彼らがAIハードウェアを探求していることを知りました。

そして思いました、ちょっと待てよ。それって実は自分の学位に関係あるぞ、と。

これまで勉強してきたことを、持ち歩ける何かに変えるチャンスでした。それが人の生活にどう馴染むべきか、正確には分かっていませんでした。でも作るのを手伝いたかったので、関わることにしました。

大げさな映画みたいな瞬間があったわけではありません。ノートPCを閉じてシドニーを見渡し、未来に身を捧げようと決めたわけじゃない。ただ何通か返信して、自分がこのことをかなり真剣に受け止めていることに気づいた、という感じです。

AIを使うたびに、まず背景を説明しなければなりませんでした。自分が誰で、何に取り組んでいて、なぜ尋ねているのか。途中まで話して、少しおかしくなることもありました。ほとんどすべてのことについて何か知っているようで、目の前に座っている人のことだけはほとんど知らない。

公平に言えば、私もあまり与えていませんでした。いくつかのメッセージ、二、三のファイル、聞くために十分に整理した質問。

それ以外のすべては、まだ外で起きていました。Redfern駅までの道を歩きながら聴いていたもの。思いがけない方向へそれていった友人との会話。前の晩にElden Ringで何度も死んだ末に決めた、早めに寝ようという決断。

どれも単体では特に重要には聞こえません。でも、一日が実際にどんな感じかという大半はそこにあります。

AIへの興味が少しずつ彷徨い始めたのは、たぶんその頃です。大学の課題をしながら考え、音楽を聴きながら考え、特にゲームをしながら考えました。結局、そのすべてが自分が取り組んでいるハードウェアへと戻ってきました。

当然といえば当然です。

ご存じのとおり、私はハードウェアエンジニアです。

1. AIは音楽を作れる。意味は私たちが持ち込む

ご存じのとおり、私はハードウェアエンジニアなので、当然AIとヒップホップについて考える時間がたくさんあります。

論理は少し怪しい。幸いなことに、音楽を聴いているときにそれを確認することはあまりありません。

大学からRedfernまでの道では、よくJuice WRLDをかけます。XXXTENTACIONのときもあります。頭を静めたいのか、誰かにしばらく騒いでもらいたいのかによります。たまに一曲で両方やってくれます。なかなか効率的です。

曲によっては、届くまでに時間がかかります。最初に聴いたときはメロディがいい。それからある午後にまた聴くと、突然ある一節が刺さる。特に劇的なことは起きていない。実験がうまくいかなかったとか、どう返せばいいか分からないメッセージがあるとか、出かけるときに晴れを信じたのにシドニーが雨に決めたとか。

同じ曲。背景は自分で埋めている。

雨の日のRedfern駅近くの散歩で音楽を聴くMercerのクラゲ。

だからAIと音楽について考えるとき、最初に浮かぶことの一つは、その人が実際には歌っていない何かを、聞き慣れた声が歌うのを聴いたらどう感じるだろう、ということです。

Juiceのように聞こえるAI生成の曲があるとします。メロディは成立している。感情も聞き慣れている。言葉のあの小さな途切れさえ正しく聞こえる。本当に好きになるかもしれません。ときには意見より先に体が反応する。このこと全体についてどう感じるかまだ考えているのに、もう首を縦に振っている。

それから、何かが追いついてきます。

痛々しく聞こえるあの一節は、彼の人生のある夜から出たものではない。あの息は、彼が実際に吸う必要があったものではない。聞き慣れた表現の形を聴いているけれど、彼はそれを決して作っていない。

その声が亡くなった人のものなら、なおさら見過ごすのは難しい。

もちろん、もっと聴きたくなる。誰かの音楽を愛していると、スクロールしてまだ聴いていない曲をもう一本見つけたいと願う部分が常にある。でも、もう一曲欲しいというだけでは、その人が次に何を言うべきかを決める理由としては足りない気がする。

そこで、自分はこれを深刻に受け止めすぎているのだろうかと考え始める。かける曲すべての創作の歴史を調べるわけではない。ドラムが良くて、ベースの感じが合っていて、ビートに合わせて歩いていて、電車に乗ることにカメラクルーが必要な気が一瞬する。

そして私はAIで音楽を作ることにも興味があります。

メロディが頭から離れず、下手に鼻歌を歌いながら、「ここにもう少し余白を。ドラムはもっと後で入れて。夜のParramatta Roadみたいな感じ、でも実際は結構いい気分」と言えたらいいな、というのは魅力的です。

エンジニアリングの要件としては、たぶん差し戻されるでしょう。音の描写としては、私には完全に通じます。

AIがそれで何かできて、実際に聴けるものを出してくれたら、次に進む場所ができます。音を一つ抜く。ノイズを少し残す。間違っていると思った部分をもう一度聴く。もしかしたらそれが一番好きな部分になるかもしれない。

半分しか形になっていない考えが、完全にまとまる前に音として聞こえるようになる、というアイデアが好きです。

ただし落とし穴があります。曖昧なアイデアすべてにすぐ洗練された答えが返ってきたら、自分が本当は何を言いたかったのかを考えようとしなくなるのではないか、と思います。

いい音がするものには賛成しやすい。特に疲れていて、明日は授業があって、バージョン3が正直かなりいい出来のときは。よし、バージョン3で。

一方で、最初にあった奇妙なアイデア――うまく説明できなかったもの――は、静かに消えていたかもしれません。

AIには、そのアイデアにもう少し留まれるよう手伝ってほしいと思います。何がいい音かという判定へ急かすことなく、試すことをもっと簡単にしてほしい。「うん、それでいける。でもまだ探しているものとは違う」と言える余地を十分に。

とはいえ、JuiceやXを聴くとき、いつも新しいものを探しているわけではありません。

ときには特定の一曲が欲しい。次の一節がいつ入るか分かっている。ビートが抜ける場所も分かっている。繰り返し聴いていた歩道の一区間を今でも覚えている。その曲はいくつかのありふれた日に結びついている。 cleanerなミックスや betterなボーカルが必ずしもその曲に何かをもたらすわけではない。

気分に完璧に合うものをいつでも生成できたとしても、私はやっぱりあの古い曲に戻るだろうと思います。今日にはあまり合わない何かをかける。数分だけどこか別の場所へ連れて行ってもらって、それから戻ってくる。

音楽はいくらでも更新できる。人間のほうがもう少し雑然としている。

今気づいたのですが、AIについて書くつもりだったのに、この文章の大半をなぜ自分が音楽を聴くのかの説明に使ってしまいました。

たぶん、まずそれを整理する必要があるのでしょう。

AIにもっとくれと頼む前に、自分が何を求めて戻ってきていたのかを理解したい。

ヘッドホン、マイク、レコード、そして音波を伴うMercerのクラゲ。

2. AIには隣にいてほしい。でも自分でもやってみたい

ご存じのとおり、私はハードウェアエンジニアなので、当然Baldur's GateやElden RingでAIが何をできるかに興味があります。

具体的には、AIが20回連続で死んで、そろそろシャワーを浴びるべきだと判断するのか知りたい。

私はそうする。ただ、その前にあと10回は試す傾向があります。

大学から帰って、バッグを置いて、少しゲームをします。ここの「少し」は、実験レポートをやっているときの「少し」とは明らかに意味が違います。始めるときはまだ外は明るい。次に窓に気づいたときには、そこに自分の姿が映っています。

あまり進んでいない。床のとある一区画と極めて親しくなった。

たいていそこで、AIがプレイを手伝ってくれたらいいのになと思います。

実際に画面を見て、何が起きているかを把握し、入力を試し、結果に応じて調整できるものを想像しています。アドバイスはもう読んだ。「攻撃が終わるまで待ってから反撃しろ」は理解している。その文を理解している自分と、コントローラーを握っている自分は、どうやら別の部署で働いているらしい。

AIに操作を任せるのは面白いでしょう。見たものを行動に変え、その後に起きることに対処しなければならない。一歩前に進めば、そこにいることにコミットする。早めの回避はやはり早めの回避。 「ここはもっと辛抱すべきだ」と言うのは簡単です。実際に次の試行で待つのは、また別の何かが必要です。

それがどう学習するのか見てみたいんだ。自分が繰り返しているミスに気づいているのか?違うことを試みるのか?壮絶な失敗の後、実際に何が起きたのかを説明できるのか?それとも、リプレイを見た瞬間に崩れ去る、ものすごく説得力のある説明を生み出すのか?

どうやらそれが私の中の工学部の学生なんだろうね。ある瞬間には自分を代わりに苦しめてくれる何かを探している。次の瞬間には、それが自分のやっていることを分かっているかどうかをどうやってテストしようかと考えている。

でも、それが上達したとしよう。

ある夜、私は操作を任せる。すると、私がいつも引っかかっている攻撃をかわし、隙を見つけ、戦いを終わらせる。何日も足止めされていたボスが、突然片付くんだ。

最初に浮かぶのは、たぶん「やっと」だ。

それから、「待って、その部分どうやったの?もう一回見せて」となる。

そしてたぶん、自分でももう一回やりたくなる。

それは少し自分でも驚きだ。ただ戦いを突破したいだけだと思っていた。他の何かがそれを代わりにできるようになると、まだ覚えていない動きが気になり始める。AIがもっと有能になるにつれて、私が求める助けも変わるのかもしれない。最初は任せたい。次は一緒に練習したい。最終的には、私が欲張ろうとしたときに咳払いしてくれたらいいな、くらいに。

たぶん余計な一撃を狙いに行くんだろうけどね。

Mercerのクラゲと、ファンタジーゲームでそびえ立つボスに立ち向かうAIの相棒。

Baldur’s Gateでは、私はかなり違うものを求めただろう。

AIがパーティにいて、実際にこの混沌に参加する姿が想像できる。あの扉を通るべきか、誰が先に行くべきか、その申し出は罠っぽく聞こえないか、なんてことを一緒に決めるのを手伝ってくれる。すでにやったことを覚えている必要もある。それに、馬鹿げたアイデアがふと浮かんだせいで、完璧に理にかなった計画を私が捨てるのにも対応しなきゃいけない。

リスクの説明を終えたところで、私が「あれをくすねたらどう?」と言う。

せめて理由を聞いてほしいな。

私の衝動を即座に効率的な行動計画に変えるのは、不要に思える。私はもう十分に混乱を生み出せる。

怪しい宝箱を放っておけないとか、特定のキャラクターを生かすためなら難しい戦いも引き受けるとか、それを知っていれば判断に活かせる。『今回は真剣にプレイする』と言っても、あらゆる寄り道をぶらぶら歩く余地は十分にある、と分かっているのと同じだ。

自分なりの意見を持っていてもいい。私が考えもしなかったことを提案する。私が確信を持てなかった選択を後押しする。話し合う必要があるかもしれない。最終的に私が正しかったと判明することもあるだろう。それは長いこと覚えているだろうね。

それが正しかったと分かったら、たぶん「ああ、そうだね。続けよう」と言うだけだ。

Mercerのクラゲと、冒険パーティと一緒に宝箱を探索するAIの相棒。

ゲーム仲間同士の記憶は、決して完全にバランスが取れていたわけではない。

もちろん、常に最善手を知っているAIは、体験全体を少し奇妙なものにするかもしれない。あらゆる会話、あらゆる戦闘、道のあらゆる分岐の前に、それに確認を取ることになりかねない。何かを見落としていないか、いつも確かめながら。

最後には、ほとんど不確かさを感じることなく、あらゆる場所に行っていただろう。

そして友人と話すことになる部分は、たいてい不確かなものだ。言った瞬間に間違っていると分かった答え。計画に合意する前に動いた誰か。合意したのに、3分後に全員が忘れてしまった計画。

だからAIのゲーム仲間には、私が本当に助けを求めているのか、それとも喜んで自分をトラブルに巻き込んでいるのかを見極める感覚が必要だと思う。

「あのジャンプできる?」と聞いたとき、それが単なる質問のときもあれば、もうボタンを押してしまっているときもある、と分かっているべきだ。

ゲームは、こうしたことを全部整理するのにかなり役立つ場所に見え始める。AIは環境を理解したか?直前の出来事を覚えているか?提案を行動に変えられるか?今夜は私がどんなふうに遊びたいのかを察知できるか?

いくつかの良い答えだけでは、そのすべては分からない。ゲームは動き続ける。次に何が起きるかを見つけなければならない。

何を喜んで任せられるかも、もっとよく分かるだろう。ある場所から別の場所へ移動すること、たぶんね。繰り返しの部分は、もちろん。行き詰まったときは、一緒に取り組める。それでも自分で決めたい選択もある。たとえすぐ後悔したとしても。

効率的に何かを片付けたくてゲームを起動するわけではない。

実験室での仕事が終わっても頭が回り続けていて、どこか別の場所でしばらく過ごしたいことがある。そこで起きていることを追い、時々助け、時々状況全体をより複雑にしてくれる何かがあるのは、かなりいいと思う。

あのボスを倒してくれるかどうかは――

もし倒せるなら、まだとどめは刺さないで。

体力を少し残しておいて。もう一回やりたいんだ。

Mercerのクラゲがコントローラーを持ち、AIの相棒と倒されたボスのそばにいる。

3. 私をよりよく理解するために、AIにはチャットを超えた文脈が必要だ

知っての通り、私はハードウェアエンジニアだから、当然AIとハードウェアの関係に興味がある。

やっと。学位に関係ある話だ。

あれだけプレイリストと狭間の地に費やした後、私は机に戻ってきた。同じ飲みかけのコーヒー。同じ絡まったケーブル。ノートPCには、できれば後で対処したいものが開いている。友人からどこにいるのかとメッセージが来る。

「もうすぐ着くよ」

まだ鍵を見つけていない。

その瞬間にAIが助けが必要かと聞いてきたら、たぶんノーと答えるだろう。

それに反する証拠はある。

AIを使えば使うほど、何かを尋ねる前にどれだけの作業が起きているかに気づく。自分が何を必要としているかを把握し、関連する部分を思い出し、それを言葉にしなければならない。時には、そもそもなぜ気にかけているのかを説明しなければならない。

たとえば「このメッセージへの返信を手伝って」。

簡単に聞こえる。でも誰が送ってきたのか?前回の会話はどうだったか?相手は冗談を続けているのか?なぜ私は返信を3回打っては消したのか?

そうしたすべては、チャットボックスのすぐ外に横たわっている。

結局送るのは、かなり圧縮された自分自身だ。

電気工学の学生として、情報の損失には警戒すべきなんだろう。でもたいていは、背景をもう2段落打ち込むのが面倒なだけだ。

AirJellyに関わるようになってから、その背景を別の方法で取り込むことをもっと真剣に考えるようになった。

私は、写真と音声で日常の断片を記録できるポータブルデバイスの設計を手伝っている。発想はかなり普通のことから始まる。出会う人々、交わす会話、気づくこと。その一部はAIが私たちをよりよく理解する助けになるかもしれないが、チャットを開く頃には多くがすでに流れ去っている。

たとえば、キャンパスを出て友人とNewtownへ何か食べるものを探しに行くとしよう。カレンダーに明らかに載るようなことは何も起きないまま、道中ずっと話す。友人は来週の面接が不安だと話す。あなたはライブのポスターに気づき、良さそうだと言う。そして会話は次へ移る。

数日後、その友人に何か聞こうとしていた気がする、という漠然とした感覚がある。

物事は、保存しようと思えたかもしれない瞬間の後に、重要になる。

それがこのデバイスに私が惹かれる大きな理由だ。写真や少しの音声が、後で戻ってこられる何かを残せる。後で助けが必要なときに、AIにもう少し手がかりを与えることもできる。もしかしたら、「待って、最初から説明させて」で始まる会話を、それほど多くしなくて済むかもしれない。

それが私が探求したい方向だ。一日の一部を記録することと、それを役立つものにすることの間には、解決すべきことがたくさんある。

まず、録音があるからといって、何が起きたかを理解しているわけではない。

写真の中で私は笑っている。誰かがひどいジョークを言ったところかもしれない。私は「なんでもいいよ」と言う。本心かもしれない。夕食についてまた決断するには疲れすぎているだけかもしれない。同じ少しの言葉でも、日によってかなり違う意味になる。

自分自身のことも間違える。真夜中には緊急に感じたことが、眠った後にはずっと緊急でなくなる。一週間ずっと聴いていた曲を、急に聴きたくなくなる。私の人生をより長く記録したAIは、もはや真実ではない意見について、ますます自信を持つようになるかもしれない。

それには少し余地を残してほしい。

「以前はこれにかなり前向きだったようだけど。まだ興味ある?」

それには喜んで答えたい。

「過去の行動に基づくと、あなたはこういう人です」と言われたら、電源を切りたくなる。「去年の自分で書いたプロフィールを、ほとんど自分だと認識できない。

私たちはAIに自分を覚えていてほしいと話す。でも、覚えられているという感覚は、相手がどうやって覚えているかで大きく変わる。友人があなたの嫌いなものを覚えているのは思いやりだ。友人が3か月前に言った一つのことであなたを定義するのは、すぐにうんざりする。

デバイスには、訂正し、説明し、考えを変える余地を与える必要があると思う。残す価値のある瞬間もある。通り過ぎてよかったと思える瞬間もある。それは簡単に実行できる判断であるべきだ。持ち歩いているものに「これは残さないで」と伝えるのに、いくつものメニューを掘り下げる必要はないはずだ。

そして日常生活には他の人々が関わっている。

夕食の席で向かいに座っている友人は、自動的に私のプロジェクトの素材になることを申し出たわけではない。個人の文脈を記録するための何かを作っているなら、その周りにいる全員にとってそれがどう感じられるかを考えなければならない。何をしているのか分かるだろうか?快く断れるだろうか?その後、何が保存されるのか?

そうした問いは、そもそもそれを外に持ち出すかどうかに影響する。どんなに賢くても、友人と座るたびに長々と説明しなければならないなら、おそらく家に置いていくようになるだろう。

ここでハードウェアがとても現実的になる。

本当に毎日持ち歩きたいと思うだろうか?使うのは自然に感じられるだろうか?ごく普通の会話を少し気まずくしてしまうだろうか?ベンチの上で動くものは、ありふれた木曜日を乗り切らなければならない。

私はちょうど研究室を出て、解決できなかった問題のことを考えながら、駅へ急いでいるところかもしれない。その時点では、そのものが使いやすいかどうかは、製品ページでどれほど印象的に聞こえたかよりもずっと重要だ。

それがハードウェアを作ることの好きなところの一部だ。結局のところ、実際の一日の中に置かなければならない。かばんに入れる。どこかを歩く。友人と座る。それでもまだ一緒にいたいと思うか確かめる。多くのアイデアは、そうして初めて本当に応答を返し始める。

音楽では、声の背後に何があるのかに何度も立ち返った。ゲームでは、AIが起きていることを追い、なぜ私が特定の遊び方をしたいのかを理解できるのか知りたかった。

このデバイスに取り組むことは、そうした問いを私自身の生活に引き込む。今日の会話。昨日終わらせなかった考え。AIとのチャットには一度も現れたことのない、いつも会っている誰か。そうした細部は、何かが必要なときにAIが推測を減らす助けになるだろうか?説明の手間を少し省いてくれるだろうか?

どこまで進めるのかはまだ分からない。でも、時間をかけて取り組みたいことだ。

Xでそのブログ記事を最初に見つけ、AIハードウェアを探求していると聞いたとき、私の反応は基本的にこうだった:それは私の学位にぴったりだ。

それ以来ずっと考え続けているのは、ずっと学術的でない事柄の集まりだ。なぜある歌が特定の日に心に響くのか。なぜ今でも自分で戦いを終わらせたいのか。なぜ友人が何気なく言ったことが後になって戻ってくるのか。

このあたりで、おそらく私の電話がまた鳴るだろう。

「もう本当に出たの?」

もしAIが最終的に私のことを十分に知るなら、「もうすぐ着く」と聞いて、鍵を見つけるように促してくれるといい。

AIのコンパニオンがテーブルに置き忘れた鍵を指し示す中、出発するマーサーのクラゲ。