← 部落格
靈感閱讀約 16 分鐘

你知道的,我是一名硬體工程師

音樂、遊戲,以及聊天視窗之外的日常情境:一位硬體工程師對於打造能理解我們、同時留出空間讓我們做自己的 AI 的想法。

Translated by AI

我在雪梨大學攻讀電機工程。你可能會以為,如果我過了午夜還拿著手機,至少是在想明天的實驗課。通常我不是。通常我耳機裡放著 Juice WRLD,筆電上有個還沒完成的東西,而我正告訴自己睡前再看一次 X。

我就是這樣偶然發現 AirJelly 的。

更確切地說,是它的創辦人寫的一篇部落格文章。我讀了之後傳了訊息給他。我覺得其中一些想法很有意思,想聊聊。在那段對話的某個地方,我發現他們正在探索 AI 硬體。

然後我心想,等等。這其實跟我的學位有關。

這是一個機會,可以把我一直在學的一些東西,變成你能隨身攜帶的東西。我還沒想清楚它究竟該如何融入一個人的生活。但我想幫忙把它打造出來,所以我加入了。

沒有什麼盛大的電影般時刻。我沒有闔上筆電、眺望雪梨,然後決定把自己奉獻給未來。我想我只是回了幾則訊息,然後意識到我對這件事相當認真。

每次我用 AI,我都得先解釋背景。我是誰、我在做什麼、我為什麼要問。有時候我講到一半,會覺得有點好笑。它似乎對幾乎所有事情都略知一二,卻對坐在它面前的那個人所知甚少。

平心而論,我也沒給它多少東西。幾則訊息、幾個檔案、一個我已經整理到足以問出口的問題。

其他一切仍然在外面發生著。我走去 Redfern 車站路上聽的東西。和朋友一場聊到某個意想不到地方的對話。我決定早點睡,那是在前一晚《艾爾登法環》裡死太多次之後做的決定。

這些單獨聽起來都不特別重要。但這正是一天實際感受的大部分。

我想那就是我對 AI 的興趣開始有點游移的時候。我會在做大學作業時想到它,然後在聽音樂時想到它,尤其是在打電動時。最後,這一切都繞回了我正在做的硬體。

這當然說得通。

你知道的,我是一名硬體工程師。

1. AI 可以做出音樂。意義由我們帶來

你知道的,我是一名硬體工程師,所以自然會花很多時間思考 AI 和嘻哈。

這邏輯有點可疑。幸好,我聽音樂時通常不會去檢查這個。

從大學走到 Redfern 的路上,我常會放 Juice WRLD。有時是 XXXTENTACION。取決於我是想讓腦袋安靜下來,還是想讓別人替我製造一點噪音。偶爾,一首歌兩者兼具。挺有效率的。

有些歌需要一點時間才能打動你。第一次聽,你喜歡那個旋律。然後某個下午你再聽一次,某句歌詞突然就擊中了你。沒發生什麼特別戲劇性的事。也許是實驗課搞砸了、有一則你不知道該怎麼回的訊息,或者雪梨在你出門時相信了陽光之後,決定下雨。

同一首歌。背景是你自己填上的。

Mercer 的水母在 Redfern 車站附近雨中散步時聽音樂。

所以當我想到 AI 和音樂,我首先好奇的事情之一,是當我聽到一個熟悉的聲音唱著那個人從未真正唱過的東西時,我會有什麼感覺。

假設有一首 AI 生成的歌,聽起來像 Juice。旋律行得通。情感感覺很熟悉。甚至某個字裡那個小小的斷點聽起來都對。我可能真的會喜歡它。有時候你的身體比你的意見先到。你還在釐清自己對整件事的感受,卻已經跟著點頭了。

然後有什麼東西追上了你。

那句聽起來很痛的話,從來不是來自他生命中的某個特定夜晚。那口氣不是他真正需要吸的。我聽到的是某種熟悉表達的形狀,但他從未做出來過。

當那個聲音屬於一個已經離世的人,這就更難輕易帶過了。

你當然會想聽更多。當你愛上一個人的音樂,總有一部分你希望往下滑,找到一首你還沒聽過的歌。但想要另一首歌,似乎不足以成為決定那個人接下來該說什麼的理由。

到這裡,我開始懷疑自己是不是把整件事看得太認真了。我不會去研究我放的每首歌的創作歷史。有時候鼓很好、貝斯感覺對了,我踩著節拍走著,短暫地確信趕一班火車值得出動一組攝影團隊。

而我對用 AI 做音樂是有興趣的。

有個旋律卡在腦子裡、哼得五音不全,然後能夠說:「給這個多一點空間。鼓晚一點進來。有點像晚上的 Parramatta Road,但我其實心情還不錯。」這挺吸引人的。

作為一份工程需求書,這大概會被退回。作為對一種聲音的描述,我完全懂。

如果 AI 能對這個做點什麼,給我一些我真的能聽的東西,我就有下一步可走了。拿掉一個聲音。留一點噪音。再聽一次我以為是錯的那個部分。也許最後那反而成了我最喜歡的部分。

我喜歡這樣的想法:一個半成形的念頭,在我完全想清楚之前,就能變成聽得見的東西。

不過有個問題。如果每個模糊的想法都立刻得到一個打磨過的答案,我懷疑我還會不會繼續試著弄清楚自己到底是什麼意思。

聽起來好聽的東西很容易讓人同意。尤其當你累了、明天有課,而第三版老實說還挺不錯的。好吧。第三版。

與此同時,我一開始那個比較奇怪的想法——那個我沒辦法好好解釋的想法——可能已經悄悄消失了。

我想我會希望 AI 幫我在那個想法上多停留一會兒。讓嘗試變得更容易,而不是急著逼我對什麼聽起來好聽下結論。給我足夠的空間說:「對,這樣行得通。但它還是不是我要找的。」

話說回來,當我聽 Juice 或 X 時,我並不總是在尋找新的東西。

有時候我只想要某一首歌。我知道下一句什麼時候進來。我知道節拍在哪裡消失。我還記得某一段人行道,我以前會在那裡把它重複播放。這首歌已經和幾個平凡的日子綁在一起了。更乾淨的混音或更好的歌聲,未必能為它加分。

即使我隨時都能生成完全符合我心情的東西,我想我還是會回去聽那些老歌。放一首今天不太合拍的歌。讓它帶我去別的地方幾分鐘,然後再回來。

你可以不斷更新音樂。人比較雜亂一點。

我剛意識到我本來應該寫 AI 的,而我大部分時間都在試著解釋我為什麼聽音樂。

也許我得先弄清楚這件事。

在我要求 AI 給我更多之前,我想先理解我一直回來是為了什麼。

Mercer 的水母戴著耳機、拿著麥克風、一張唱片和聲波。

2. 我想要 AI 在我身邊。我還是想自己試一試

你知道的,我是一名硬體工程師,所以自然對 AI 在《柏德之門》和《艾爾登法環》裡能做什麼感興趣。

具體來說,我想知道一個 AI 會不會連續死二十次,然後決定它大概該去洗個澡。

我會。我只是傾向先再試個十次。

我從大學回來,丟下包包,開個遊戲玩一下。「一下」在這裡的意思,顯然跟我寫實驗報告時的「一下」不一樣。我開始的時候外面還亮著。下次我注意到窗戶時,已經能在裡面看到自己的倒影了。

沒什麼進展。倒是對某塊地板變得極度熟悉。

那通常就是我會想,如果 AI 能幫我玩就好了的時候。

我想像的是某種能真正看著螢幕、判斷發生了什麼、嘗試一個輸入,並根據結果調整的東西。我已經讀過那些建議了。我懂「等攻擊結束再反擊」。懂這句話的我,和拿著手把的我,顯然分屬不同部門。

把控制權交給 AI 會很有意思。它得把看到的東西轉化成一個動作,然後應付接下來發生的一切。往前一步就意味著它得待在那裡。太早閃避就是太早閃避。說「我這裡應該更有耐心」很容易。真正在下一輪嘗試中等待,需要的是別的東西。

我想看看它是怎麼學會這件事的。它會注意到自己一直犯的錯嗎?它會嘗試不一樣的做法嗎?在一次慘烈的失敗之後,它能解釋到底發生了什麼事嗎?還是它會給出一套非常有說服力的說法,卻在你重看一遍的當下就徹底崩解?

看來這就是我內心那個工程系學生的本色。前一秒我還在找個東西來替我受苦,下一秒我就在想該怎麼測試它到底知不知道自己在做什麼。

但假設它真的變好呢。

某天晚上我交出控制權,它閃過了我老是被打中的那記攻擊,找到破綻,結束了戰鬥。卡了我好幾天的頭目,突然就解決了。

我的第一個念頭大概是:終於啊。

然後:等等,那一段你是怎麼做到的?再示範一次給我看。

接著我大概會想自己再試一次。

這讓我有點意外。我以為我只是想快點打完這場戰鬥。一旦有別的東西能替我做到這件事,我就開始在意那個我還沒學會的招式。也許隨著 AI 越來越強,我想要的幫助也會跟著改變。一開始我想讓它接手。接著我想讓它陪我練習。到最後,我可能只希望在我快要貪心的時候,它咳一聲提醒我。

我大概還是會選擇多打一下。

Mercer 的水母和一個 AI 夥伴在奇幻遊戲中面對高聳的頭目。

在《柏德之門》裡,我想要的東西相當不同。

我可以想像隊伍裡有個 AI,實際參與這團混亂。幫忙決定我們該不該穿過那扇門、誰該先走、那個提議聽起來是不是可疑得像個陷阱。它得記住我們已經做過的事。它也得應付我因為突然冒出個蠢點子,就拋棄一個完全合理的計畫。

它解釋完風險,然後我說:「如果我們把那東西順手牽羊呢?」

我希望它至少會問為什麼。

立刻把我的衝動轉化成有效率的行動計畫似乎沒必要。我已經很擅長把事情搞得一團亂了。

如果它知道我没法放過一個可疑的箱子,或者知道我為了讓某個特定角色活下來會去打一場硬仗,它就能把這些帶進它的決策裡。同樣地,知道「我這次玩得很認真」仍然留有充足的空間,讓我每條岔路都去晃一晃。

它也可能會有自己的意見。提出一些我沒考慮過的事。力推一個我原本不太確定的選擇。我們可能得好好討論一下。到最後,也許證明我是對的,而這件事我會記得很久很久。

如果最後證明它是對的,我大概只會說:「嗯,有道理。繼續吧。」

Mercer 的水母和一個 AI 夥伴,跟著他們的冒險隊伍一起探索寶箱。

遊戲夥伴之間的記憶從來就不是完全對等的。

當然,一個永遠知道最佳走法的 AI,可能會讓整個體驗變得有點奇怪。我可能到最後每次對話、每場戰鬥、路上的每一個轉彎前,都要先跟它確認一下。總是要確保自己沒有漏掉什麼。

到最後,我大概會什麼地方都去過了,卻沒花多少時間真正感到不確定。

而我最後會跟朋友聊起的片段,往往都是那些不確定的時刻。一個我一說出口就覺得不對勁的答案。有人在我們還沒講好計畫前就先行動了。一個我們確實講好的計畫,然後三分鐘後大夥兒一起忘了。

所以我覺得,一個 AI 遊戲夥伴得要有點sense,知道什麼時候我是真的想要幫忙,什麼時候我是樂在其中地把自己搞進麻煩裡。

如果我問:「我跳得過去嗎?」,它大概該知道,有時候我是在問問題,有時候我早就按下按鈕了。

遊戲開始看起來是個相當有用的地方,可以把這些事都弄清楚。AI 有理解環境嗎?它記得剛剛發生了什麼嗎?它能把建議變成行動嗎?它能察覺我今晚實際上想怎麼玩嗎?

幾個好答案沒辦法告訴我這一切。遊戲一直在往前走。我們得看看接下來會發生什麼。

我也會更清楚自己樂意交出哪些東西。從一個地方到另一個地方,大概吧。重複的部分,當然。當我卡住的時候,我們可以一起想辦法。有些決定我還是想自己做,即使我馬上就後悔了。

我打開遊戲,未必是因為我想有效率地完成某件事。

有時候實驗室的事忙完了,腦子還在轉,我就想在某個別的地方待上一陣子。有個東西能跟上正在發生的事、偶爾幫點忙,偶爾把整個局面搞得更複雜,聽起來挺不錯的。

至於它能不能幫我打贏那個頭目――

如果它能,先別急著把它解決掉。

留點健康。我還想再來一次。

Mercer 的水母拿著控制器,旁邊是 AI 夥伴和一個被打敗的頭目。

3. 為了更了解我,AI 需要聊天之外的脈絡

你知道,我是硬體工程師,所以自然對 AI 和硬體之間的關係感興趣。

終於。總算有跟學位相關的東西了。

在播放清單和交界地待了那麼久之後,我回到書桌前。同一杯沒喝完的咖啡。同樣散亂的線材。筆電上開著某個我寧願晚點再處理的東西。朋友傳訊息問我在哪。

「快到了。」

我還沒找到鑰匙。

如果那一刻有 AI 問我需不需要幫忙,我大概會說不用。

有證據顯示事實正好相反。

我用 AI 越久,就越注意到在我開口問它任何事之前,有多少工作已經先發生了。我得先想清楚自己需要什麼、記住相關的細節,再把它們化成文字。有時候我還得先解釋自己為什麼在意。

比如說,「幫我回這則訊息。」

聽起來很簡單。但訊息是誰傳的?我們上次聊得怎麼樣?他們是在延續一個玩笑嗎?為什麼我打了三次回覆又刪掉?

這些全都擱在聊天框外面。

我最後送出的,是一個相當壓縮版的自己。

身為電機工程系的學生,我大概應該對資訊流失保持警覺。不過通常,我只是懶得再打兩段背景說明。

一頭栽進 AirJelly 之後,我開始更認真地思考,要怎麼用另一種方式把那些背景送進去。

我在幫忙設計一款可攜式裝置,能透過照片和音訊捕捉日常生活的片段。這個想法始於一件相當普通的事:我們遇見的人、我們進行的對話、我們注意到的事物。其中有些能幫 AI 更了解我們,但等到我們打開聊天視窗時,很多都已經溜走了。

假設你離開校園,跟朋友一起去 Newtown 找點東西吃。你們一路聊個不停,卻沒發生什麼明顯該記進行事曆的事。他們提到下週有個面試,讓他們很緊張。你注意到一張演出海報,說看起來不錯。然後話題就轉走了。

幾天後,你有一種模糊的感覺,覺得有件事你本來想問他們。

事情往往是在你原本有機會想到要保存的那一刻之後,才變得重要。

這正是這款裝置吸引我的很大一部分原因。一張照片或一小段音訊,可以留下某個能回頭再看的東西。它也能在我之後需要幫忙時,給 AI 多一點依據。也許我就不必那麼常在一開始就說:「等等,讓我從頭解釋一下。」

這就是我想探索的方向。從捕捉一天中的片段,到讓這些片段變得有用,中間還有許多要解決的問題。

首先,有了一段錄音,不代表你就了解發生了什麼事。

我在照片裡笑著。可能只是有人剛講了一個爛笑話。我說:「都可以,沒差。」也許我是真心的。也許我只是累到不想再為晚餐做另一個決定。同樣幾個字,在不同的日子裡可以有相當不同的意思。

我也會誤解自己。有些事在午夜時感覺很急,睡一覺之後就沒那麼急了。我整整一週都在聽某首歌,然後突然就不想聽了。一個握有我更長人生紀錄的 AI,可能會對一個早已不再成立的看法越來越有信心。

我會希望它能留點餘地。

「你之前好像對這個挺有興趣的。還想繼續嗎?」

我很樂意回答這個問題。

「根據你過去的行為,你就是這種人」這種話會讓我想把它關掉。我幾乎認不出自己去年寫的個人簡介。

我們常說希望 AI 記得我們。但被記得的感觉,會因為對方怎麼做而有很大的不同。朋友記得你不喜歡什麼,是體貼。朋友用你三個月前說過的一句話來定義你,很快就會讓人受不了。

我認為一款裝置需要給你空間去更正、解釋自己,還有改變心意。有些時刻值得留下。其他的,我很樂意讓它過去。這應該是個容易付諸行動的決定。我不該為了告訴一個隨身攜帶的東西「這段不要留」,還得翻遍好幾層選單。

而且日常生活還牽涉到其他人。

晚餐時坐在我對面的朋友,並沒有自動自發地自願成為我專案的素材。如果我在打造某個用來捕捉個人情境脈絡的東西,我就得思考,對周遭每一個人來說,那會是什麼感受。他們能看得出它在做什麼嗎?他們能自在地說不嗎?之後又會留下哪些東西?

這些問題會影響我到底願不願意把它帶出門。不管它多聰明,如果我每次和朋友坐下來都得花一大段時間解釋,我大概就會開始把它留在家裡。

這正是硬體變得非常真實的地方。

我真的想每天帶著它嗎?用起來感覺自然嗎?它會不會讓一段再正常不過的對話變得有點尷尬?在實驗桌上行得通的東西,還是得撐過一個平凡的星期四。

我可能才剛離開實驗室,腦子裡還想著一個解不開的問題,正趕著去車站。這個時候,這東西好不好用,遠比它在產品頁面上聽起來多厲害來得重要。

這也是我喜歡做硬體的原因之一。到最後,你總得把它放進真實的一天裡。放進包包裡。走一段路。和朋友坐下來。看看自己是不是還想把它帶在身邊。很多想法,只有在你真的這麼做之後,才會開始回應你。

做音樂時,我不斷回到一個問題:聲音背後究竟是什麼。做遊戲時,我想知道 AI 能不能跟上當下發生的事,並且理解我為什麼想用某種特定方式來玩。

投入這款裝置的開發,讓這些問題走進了我自己的生活。今天的一場對話。昨天沒能想完的一個念頭。一個我經常見到、卻從未出現在我任何與 AI 對話中的人。這些細節,能不能讓它在我需要什麼的時候,少猜一點?能不能替我省下一些解釋的功夫?

我還不知道我們能走到多遠。但這是我想要花時間去做的事。

當我第一次在 X 上看到那篇部落格文章,聽說他們正在探索 AI 硬體時,我的反應基本上是:這正好符合我的學位。

從那之後一直讓我反覆思索的,是一堆遠沒那麼學術的東西。為什麼某首歌會在某一天特別打動我。為什麼我還是想自己把一場架打完。為什麼朋友隨口提到的一件事,之後會又回到我腦海裡。

大概就在這個時候,我的手機八成又會響起來。

「你到底出門了沒?」

如果 AI 最終夠了解我,我希望它聽到「快到了」時,會提醒我去找鑰匙。

Mercer 的水母正要出門,而一個 AI 夥伴正指著留在桌上的鑰匙。