CrecerLAB · UNIBE

Escanea para ver la explicación

Oír y ver

Percepción multimodal

¿Cómo puede una máquina oír y ver?

La idea

Para una computadora, tu voz y tus fotos son solo números. Con esos números puede reconocer sonidos y formas.

OírVer

Cómo probarlo

  1. 1Toca «Activar micrófono» y di «aaa».
  2. 2Mira los colores: así ve la computadora tu voz.
  3. 3Abajo, enciende la cámara y mira cómo marca los bordes.

Tu voz en colores

Experimento 1

Di «aaa» y luego «iii». Cada sonido deja un dibujo de colores distinto: así la computadora distingue lo que oye.

¿Qué tan fuerte hablas?

BajitoFuerte

¿Voz grave o aguda?

GraveAguda

Arriba, la onda tal como entra por el micrófono. Abajo, el espectrograma: el tiempo avanza hacia la derecha y la altura son las frecuencias.

La cámara encuentra los bordes

Experimento 2

La computadora compara cada punto de la imagen con sus vecinos. Donde hay un cambio fuerte de claro a oscuro, dibuja una línea: eso es un borde.

Ver detalles técnicos

Filtro 3×3

-1
-1
-1
-1
8
-1
-1
-1
-1

Cada píxel nuevo es la suma de sus nueve vecinos multiplicados por estos números. Eso es una convolución.

Guía en vivo

Pregúntale a Aurora

Estoy viendo lo que haces en este experimento. Pregúntame lo que quieras: puedo explicarte qué está pasando en pantalla, paso por paso.