← Blog
Ideas16 min de lectura

Sabes que soy ingeniero de hardware

Música, videojuegos y el contexto cotidiano más allá de una ventana de chat: las reflexiones de un ingeniero de hardware sobre construir una IA que nos entienda y a la vez nos deje espacio para ser nosotros mismos.

Translated by AI

Estudio ingeniería eléctrica en la Universidad de Sídney. Uno pensaría que si sigo con el teléfono después de medianoche, al menos estaría pensando en el laboratorio de mañana. Normalmente no. Normalmente tengo a Juice WRLD en los auriculares, algo sin terminar en el portátil, y me estoy diciendo que voy a revisar X una vez más antes de dormir.

Así fue como me topé con AirJelly.

Más concretamente, con una entrada de blog de su fundador. La leí y le envié un mensaje. Algunas de las ideas me parecieron interesantes y quise charlar. En algún punto de esa conversación, descubrí que estaban explorando el hardware de IA.

Y pensé, espera. Eso es realmente relevante para mi carrera.

Ahí tenía la oportunidad de tomar parte de lo que había estado estudiando y convertirlo en algo que pudieras llevar contigo. No había resuelto exactamente cómo debería encajar en la vida de alguien. Pero quería ayudar a construirlo, así que me involucré.

No hubo un gran momento cinematográfico. No cerré el portátil, miré hacia Sídney y decidí dedicarme al futuro. Creo que simplemente respondí a unos cuantos mensajes y me di cuenta de que me estaba tomando todo aquello bastante en serio.

Cada vez que usaba la IA, tenía que explicar primero el contexto. Quién era, en qué estaba trabajando, por qué preguntaba. A veces me quedaba a medio camino y me parecía un poco gracioso. Parecía saber algo sobre casi todo, pero muy poco sobre la persona sentada frente a ella.

Para ser justos, no le daba mucho. Unos cuantos mensajes, un par de archivos, una pregunta que ya había pulido lo suficiente como para formularla.

Todo lo demás seguía ahí fuera, pasando. Lo que fuera que estaba escuchando de camino a la estación de Redfern. Una conversación con un amigo que se desvió hacia algún lugar inesperado. Mi decisión de acostarme temprano, tomada después de morir demasiadas veces en Elden Ring la noche anterior.

Nada de eso suena particularmente importante por sí solo. Pero es la mayor parte de lo que realmente se siente un día.

Creo que fue entonces cuando mi interés por la IA empezó a desviarse un poco. Pensaba en ello mientras hacía trabajos de la universidad, luego mientras escuchaba música, y especialmente mientras jugaba. Con el tiempo, todo eso encontró su camino de vuelta al hardware en el que estaba trabajando.

Lo cual tiene sentido, obviamente.

Ya sabes, soy ingeniero de hardware.

1. La IA puede hacer la música. Nosotros aportamos el significado

Ya sabes, soy ingeniero de hardware, así que naturalmente paso mucho tiempo pensando en la IA y el hip-hop.

La lógica es un poco cuestionable. Por suerte, eso no es algo que suela comprobar mientras escucho música.

De camino de la universidad a Redfern, suelo poner a Juice WRLD. A veces a XXXTENTACION. Depende de si quiero que mi cabeza se calme o de si prefiero que otro haga el ruido un rato. De vez en cuando, una canción hace ambas cosas. Bastante eficiente.

Algunas canciones tardan en llegarte. La primera vez que la escuchas, te gusta la melodía. Luego la oyes de nuevo una tarde y de repente una frase te impacta. No ha pasado nada particularmente dramático. Quizá el laboratorio salió mal, hay un mensaje que no sabes cómo responder, o Sídney ha decidido llover después de que confiaras en el sol al salir.

La misma canción. Tú mismo has rellenado el contexto.

La medusa de Mercer escuchando música en un paseo lluvioso cerca de la estación de Redfern.

Así que cuando pienso en la IA y la música, una de las primeras cosas que me pregunto es cómo me sentiría al oír una voz familiar cantar algo que esa persona nunca cantó realmente.

Digamos que hay una pista generada por IA que suena como Juice. La melodía funciona. La emoción resulta familiar. Incluso esa pequeña pausa en una palabra suena bien. Podría gustarme de verdad. A veces tu cuerpo llega antes que tu opinión. Todavía estás procesando cómo te sientes al respecto y ya estás asintiendo con la cabeza.

Entonces algo te alcanza.

Esa frase que suena dolorosa nunca salió de una noche concreta de su vida. Ese respiro no fue uno que él realmente necesitara tomar. Estoy oyendo la forma de una expresión familiar, pero él nunca la hizo.

Cuando la voz pertenece a alguien que ha muerto, eso parece más difícil de pasar por alto.

Claro que quieres oír más. Cuando amas la música de alguien, siempre hay una parte de ti que espera desplazarte hacia abajo y encontrar una canción más que no hayas escuchado. Pero querer otra canción no parece razón suficiente para decidir qué debería decir esa persona a continuación.

Y entonces empiezo a preguntarme si me estoy tomando todo esto demasiado en serio. No investigo la historia creativa de cada canción que pongo. A veces la batería está bien, el bajo suena bien, y voy caminando al ritmo, brevemente convencido de que coger un tren merece un equipo de cámara.

Y me interesa hacer música con IA.

Hay algo atractivo en tener una melodía atascada en la cabeza, tararearla mal, y poder decir: «Dale un poco más de espacio. Mete la batería más tarde. Algo así como Parramatta Road de noche, pero en realidad estoy de buen humor».

Como brief de ingeniería, probablemente te lo devolverían. Como descripción de un sonido, para mí tiene todo el sentido.

Si la IA pudiera hacer algo con eso, darme algo que realmente pudiera escuchar, tendría por dónde seguir. Quita un sonido. Deja un poco de ruido. Vuelve a escuchar la parte que creía que estaba mal. Quizá resulte ser la parte que más me gusta.

Me gusta la idea de que un pensamiento a medio formar pueda convertirse en algo audible antes de que lo haya resuelto del todo.

Sin embargo, hay un problema. Si cada idea vaga recibe una respuesta pulida de inmediato, me pregunto si dejaría de intentar averiguar qué quería decir realmente.

Algo que suena bien es fácil de aceptar. Sobre todo cuando estás cansado, tienes clase mañana y la versión tres es sinceramente bastante decente. Vale. Versión tres.

Mientras tanto, la idea más extraña con la que empecé —esa que no lograba explicar del todo— podría haber desaparecido en silencio.

Creo que querría que la IA me ayudara a quedarme con esa idea un poco más de tiempo. Que me facilitara probar cosas, sin apresurarme hacia un veredicto sobre qué suena bien. Dame espacio suficiente para decir: «Sí, eso funciona. Pero sigue sin ser lo que busco».

Aunque, por otro lado, cuando escucho a Juice o a X, no siempre estoy buscando algo nuevo.

A veces quiero una canción concreta. Sé cuándo entra la siguiente frase. Sé dónde se corta la base. Todavía puedo recordar un tramo de acera donde solía ponerla en bucle. La canción se ha quedado pegada a unos cuantos días corrientes. Una mezcla más limpia o una voz mejor no le aportarían necesariamente mucho.

Incluso si pudiera generar algo perfectamente adaptado a mi estado de ánimo cuando quisiera, creo que seguiría volviendo a esas viejas canciones. Poner algo que no encaja del todo con el día de hoy. Dejar que me lleve a otro sitio unos minutos, y luego volver.

Puedes seguir renovando la música. La gente es un poco más desordenada.

Acabo de darme cuenta de que se suponía que estaba escribiendo sobre IA, y he pasado la mayor parte de esto intentando explicar por qué escucho música.

Quizá necesito resolver eso primero.

Antes de pedirle a la IA que me dé más de eso, quiero entender por qué he estado volviendo.

La medusa de Mercer con auriculares, un micrófono, un disco y ondas sonoras.

2. Quiero la IA a mi lado. Pero sigo queriendo intentarlo yo

Ya sabes, soy ingeniero de hardware, así que naturalmente me interesa lo que la IA podría hacer en Baldur's Gate y Elden Ring.

En concreto, quiero saber si una IA moriría veinte veces seguidas y decidiría que probablemente debería ducharse.

Yo lo haría. Simplemente tiendo a darle otros diez intentos primero.

Vuelvo de la universidad, dejo la mochila y cargo un juego un rato. «Un rato» claramente significa algo distinto aquí que cuando estoy trabajando en un informe de laboratorio. Todavía hay luz fuera cuando empiezo. La próxima vez que me fijo en la ventana, puedo ver mi propio reflejo en ella.

No he avanzado mucho. Me he familiarizado muchísimo con un trozo de suelo en particular.

Suele ser entonces cuando pienso que estaría bien que la IA me ayudara a jugar.

Me imagino algo que pueda ver realmente la pantalla, deducir qué está pasando, probar una entrada y ajustarse según el resultado. Ya he leído los consejos. Entiendo «espera a que termine el ataque antes de contraatacar». La versión de mí que entiende esa frase y la versión que sostiene el mando aparentemente trabajan en departamentos distintos.

Darle los controles a la IA sería interesante. Tendría que convertir lo que ve en una acción y luego lidiar con lo que pase después. Un paso adelante la compromete a estar ahí. Una esquiva temprana sigue siendo una esquiva temprana. Decir «debería tener más paciencia aquí» es fácil. Esperar de verdad al siguiente intento requiere otra cosa.

Me gustaría ver cómo aprende eso. ¿Se da cuenta del error que sigue cometiendo? ¿Prueba algo diferente? Después de un fracaso espectacular, ¿puede explicar qué pasó realmente? ¿O produce una versión muy convincente que se desmorona en el momento en que ves la repetición?

Eso es el estudiante de ingeniería que llevo dentro, al parecer. Un minuto estoy buscando algo que sufra en mi lugar. Al siguiente me pregunto cómo comprobar si sabe lo que está haciendo.

Pero supongamos que se vuelve bueno.

Una noche le cedo el control, y esquiva el ataque que siempre me atrapa, encuentra un hueco y termina la pelea. Un jefe con el que llevaba días atascado, de repente, resuelto.

Mi primer pensamiento probablemente sería: por fin.

Y luego: espera, ¿cómo hiciste esa parte? Muéstramelo otra vez.

Y después probablemente querría intentarlo otra vez yo mismo.

Eso me sorprende un poco. Pensaba que solo quería pasar la pelea. En cuanto algo más puede hacerlo por mí, empiezo a interesarme por el movimiento que todavía no he aprendido. Quizá la ayuda que quiero cambia a medida que la IA se vuelve más capaz. Primero quiero que se haga cargo. Luego quiero que practique conmigo. Con el tiempo, quizá solo quiera que carraspee cuando estoy a punto de volverme codicioso.

Probablemente iría a por el golpe extra de todos modos.

La medusa de Mercer y un compañero de IA enfrentándose a un jefe imponente en un juego de fantasía.

En Baldur's Gate, querría algo bastante diferente.

Puedo imaginar tener una IA en el grupo, participando de verdad en el caos. Ayudando a decidir si deberíamos cruzar esa puerta, quién debería ir primero, si esa oferta suena sospechosamente a trampa. Tendría que recordar lo que ya habíamos hecho. También tendría que lidiar con que yo abandone un plan perfectamente sensato porque se me acaba de ocurrir una idea estúpida.

Termina de explicar los riesgos, y yo suelto: «¿Y si nos lo llevamos?».

Me gustaría que al menos preguntara por qué.

Convertir mi impulso en un plan de acción eficiente al instante me parece innecesario. Ya soy bastante capaz de armar un desastre.

Si supiera que no puedo dejar en paz un cofre sospechoso, o que aceptaría una pelea difícil para mantener vivo a cierto personaje, podría llevar eso a sus decisiones. Lo mismo con saber que «me estoy tomando esta partida en serio» deja mucho margen para recorrer cada camino secundario.

También podría tener opiniones propias. Sugerir algo que no había considerado. Insistir en una elección sobre la que no estaba seguro. Quizá tendríamos que hablarlo. Con el tiempo, podría resultar que yo tenía razón, y lo recordaría durante mucho tiempo.

Si resultara que tiene razón, probablemente solo diría: «Sí, justo. Sigamos».

La medusa de Mercer y un compañero de IA explorando un cofre del tesoro con su grupo de aventureros.

La memoria entre compañeros de juego nunca ha sido del todo equilibrada.

Claro que una IA que siempre sabe el mejor movimiento podría hacer que toda la experiencia fuera un poco extraña. Podría acabar consultándola antes de cada conversación, cada pelea, cada giro del camino. Asegurándome siempre de no perderme nada.

Al final, habría estado en todas partes sin pasar mucho tiempo sintiéndome inseguro.

Y las partes de las que acabo hablando con amigos suelen ser las inciertas. Una respuesta que sonó mal en el momento en que la dije. Alguien actuando antes de que hubiéramos acordado un plan. Un plan que sí acordamos y luego olvidamos colectivamente tres minutos después.

Así que creo que un compañero de juego con IA necesitaría cierto sentido de cuándo quiero ayuda de verdad y cuándo me estoy metiendo felizmente en problemas.

Si pregunto: «¿Puedo hacer ese salto?», probablemente debería saber que a veces estoy haciendo una pregunta, y a veces ya he pulsado el botón.

Los juegos empiezan a parecer un lugar bastante útil para resolver todo esto. ¿Ha entendido la IA el entorno? ¿Recuerda lo que acaba de pasar? ¿Puede convertir una sugerencia en una acción? ¿Puede captar cómo me apetece jugar esta noche?

Unas cuantas buenas respuestas no me dirán todo eso. El juego sigue avanzando. Tenemos que descubrir qué pasa después.

También tendría una mejor idea de qué me parece bien ceder. Ir de un sitio a otro, probablemente. Las partes repetitivas, claro. Cuando estoy atascado, podemos trabajarlo juntos. Algunas decisiones seguiría queriendo tomarlas yo mismo, aunque me arrepintiera de inmediato.

No necesariamente abro un juego porque quiera hacer algo de forma eficiente.

A veces el laboratorio ha terminado, mi cabeza sigue dándole vueltas, y quiero pasar un rato en otro sitio. Tener algo ahí que pueda seguir lo que pasa, ayudar de vez en cuando y complicar ocasionalmente toda la situación suena bastante bien.

En cuanto a si puede derrotar a ese jefe por mí...

Si puede, no lo remates todavía.

Déjale algo de salud. Quiero intentarlo otra vez.

La medusa de Mercer sosteniendo un mando junto a un compañero de IA y un jefe derrotado.

3. Para entenderme mejor, la IA necesita contexto más allá del chat

Ya sabes, soy ingeniero de hardware, así que naturalmente me interesa la relación entre la IA y el hardware.

Por fin. Algo relevante para la carrera.

Después de todo ese tiempo en mis listas de reproducción y en las Tierras Intermedias, vuelvo a mi escritorio. El mismo café sin terminar. Los mismos cables sueltos. Algo abierto en mi portátil que preferiría dejar para luego. Un amigo me escribe para preguntar dónde estoy.

«Casi llego».

Todavía no he encontrado las llaves.

Si una IA preguntara si necesito ayuda en ese momento, probablemente diría que no.

Hay pruebas de lo contrario.

Cuanto más uso la IA, más me doy cuenta de cuánto trabajo ocurre antes de que le pregunte algo. Tengo que averiguar qué necesito, recordar los detalles relevantes y ponerlos en palabras. A veces tengo que explicar por qué me importa en primer lugar.

«Ayúdame a responder a este mensaje», por ejemplo.

Suena sencillo. Pero ¿quién lo envió? ¿Cómo fue nuestra última conversación? ¿Está siguiendo un chiste? ¿Por qué he escrito una respuesta tres veces y la he borrado?

Todo eso está justo fuera de la caja de chat.

Lo que finalmente envío es una versión bastante comprimida de mí mismo.

Como estudiante de ingeniería eléctrica, probablemente debería estar atento a la pérdida de información. Normalmente, sin embargo, no me apetece escribir otros dos párrafos de contexto.

Cuando me involucré con AirJelly, empecé a pensar más seriamente en dar a ese contexto otra vía de entrada.

Estoy ayudando a diseñar un dispositivo portátil que puede capturar fragmentos de la vida cotidiana mediante fotos y audio. La idea empieza con algo bastante común: las personas que conocemos, las conversaciones que tenemos, las cosas que notamos. Parte de eso podría ayudar a la IA a entendernos mejor, pero mucho ya se ha escapado para cuando abrimos un chat.

Digamos que sales del campus y te diriges a Newtown con un amigo a buscar algo de comer. Habláis todo el camino sin que ocurra nada que obviamente pertenezca a un calendario. Menciona una entrevista la próxima semana que le pone nervioso. Ves un cartel de un concierto y dices que tiene buena pinta. Luego la conversación sigue adelante.

Unos días después, tienes esa vaga sensación de que había algo que querías preguntarle.

Las cosas se vuelven importantes después del momento en que podrías haber pensado en guardarlas.

Eso es gran parte de lo que me interesa del dispositivo. Una foto o un poco de audio podrían dejar algo a lo que volver. También podría darle a la IA un poco más en qué basarse cuando necesite ayuda más adelante. Quizá no tendría que empezar tantas conversaciones con «Espera, déjame explicarte esto desde el principio».

Esa es la dirección que quiero explorar. Hay mucho que resolver entre capturar partes de un día y hacerlas útiles.

Para empezar, tener una grabación no significa entender lo que pasó.

Salgo sonriendo en una foto. Puede que alguien acabe de contar un chiste malísimo. Digo: «Lo que sea está bien». Quizá lo digo en serio. Quizá estoy demasiado cansado para tomar otra decisión sobre la cena. Las mismas pocas palabras pueden significar cosas bastante distintas en días distintos.

También me equivoco conmigo mismo. Algo parece urgente a medianoche, y mucho menos urgente después de dormir. Escucho una canción toda la semana y de repente no quiero oírla. Una IA con un registro más largo de mi vida podría volverse cada vez más segura de una opinión que ya no es cierta.

Me gustaría que dejara algo de margen para eso.

«Parecías bastante interesado en esto antes. ¿Sigues interesado?».

Me encantaría responder a eso.

«Según tu comportamiento pasado, este es el tipo de persona que eres» me haría querer apagarla. Apenas reconozco la biografía que escribí para mí el año pasado.

Hablamos de querer que la IA nos recuerde. Pero que te recuerden puede sentirse muy distinto según cómo lo haga alguien. Que un amigo recuerde algo que no te gusta es un detalle. Que un amigo te defina por una cosa que dijiste hace tres meses cansa bastante rápido.

Creo que un dispositivo necesita darte espacio para corregir cosas, explicarte y cambiar de opinión. Algunos momentos merecen guardarse. Otros me alegraría dejar pasar. Esa debería ser una decisión fácil de ejecutar. No debería tener que rebuscar en varios menús para decirle a algo que llevo encima: «No guardes esta parte».

Y la vida cotidiana implica a otras personas.

Un amigo sentado frente a mí en la cena no se ha ofrecido automáticamente a convertirse en material para mi proyecto. Si estoy construyendo algo para ayudar a capturar el contexto personal, tengo que pensar en cómo se siente para todos los que están alrededor. ¿Pueden saber qué está haciendo? ¿Pueden decir que no cómodamente? ¿Qué se guarda después?

Esas preguntas afectan si lo llevaría conmigo. Por muy ingenioso que sea, si tengo que dar una explicación larga cada vez que me siento con amigos, probablemente empezaré a dejarlo en casa.

Aquí es donde el hardware se vuelve muy real.

¿Realmente quiero llevarlo conmigo todos los días? ¿Usarlo se siente natural? ¿Hace que una conversación perfectamente normal sea un poco incómoda? Algo que funciona en el banco de trabajo todavía tiene que sobrevivir a un jueves cualquiera.

Puede que acabe de salir de un laboratorio, todavía pensando en un problema que no pude resolver, y vaya con prisa a la estación. En ese momento, si la cosa es fácil de usar importa mucho más que lo impresionante que sonaba en una página de producto.

Eso es parte de lo que me gusta de construir hardware. Al final, tienes que ponerlo en un día real. Meterlo en tu bolsa. Caminar a algún sitio. Sentarte con un amigo. Ver si todavía lo quieres contigo. Muchas ideas solo empiezan a responder de verdad cuando haces eso.

Con la música, volvía una y otra vez a lo que hay detrás de una voz. Con los juegos, quería saber si la IA podía seguir lo que estaba pasando y entender por qué quería jugar de una manera concreta.

Trabajar en este dispositivo trae esas preguntas a mi propia vida. Una conversación de hoy. Un pensamiento que no terminé ayer. Alguien a quien veo todo el tiempo y que nunca ha aparecido en ninguna de mis conversaciones con IA. ¿Podrían esos detalles ayudarla a hacer menos conjeturas cuando necesito algo? ¿Podrían ahorrarme un poco de explicaciones?

Todavía no sé hasta dónde llegaremos. Pero es algo en lo que quiero pasar tiempo trabajando.

Cuando encontré por primera vez esa entrada de blog en X y oí que estaban explorando hardware de IA, mi reacción fue básicamente: eso encaja con mi carrera.

Lo que me ha mantenido pensando en ello desde entonces ha sido un conjunto de cosas mucho menos académicas. Por qué una canción me llega en un día concreto. Por qué todavía quiero terminar una pelea yo mismo. Por qué algo que un amigo mencionó de pasada vuelve a mí más tarde.

Llegados a este punto, probablemente mi teléfono volvería a sonar.

«¿Ya has salido de verdad?»

Si la IA llega a conocerme lo suficientemente bien, espero que oiga «casi llego» y me recuerde que busque mis llaves.

La medusa de Mercer se marcha mientras un compañero de IA señala unas llaves dejadas sobre la mesa.