Estación 01 / 06
CrecerLAB · UNIBE

Escanea para ver la explicación

Oír y ver

Percepción multimodal

¿Cómo puede una máquina oír y ver?

Principio

El sonido se muestrea y se convierte en un espectrograma. Las imágenes se representan como matrices de números; los filtros de convolución detectan bordes, formas y letras.

Voz y visiónFourier y convolución

Espectrograma en vivo

Experimento 1

Activa el micrófono y sostén la vocal «a». Captúrala. Luego sostén la «i» y captúrala también: las dos vocales dejan huellas de frecuencia distintas.

Muestreo

16 000 muestras/s

Energía

0%

Frecuencia dominante

0 Hz

Arriba, la onda tal como entra por el micrófono. Abajo, el espectrograma: el tiempo avanza hacia la derecha y la altura son las frecuencias.

Una foto hasta sus píxeles

Experimento 2

Toca cualquier parte de la foto para ampliar esa zona hasta sus píxeles.

Matriz de píxeles · 9×9 · brillo 0-255

Detección de bordes con la cámara

Experimento 3

Filtro 3×3

-1
-1
-1
-1
8
-1
-1
-1
-1

Cada píxel nuevo es la suma de sus nueve vecinos multiplicados por estos números. Eso es una convolución.

Guía en vivo

Pregúntale a Aurora

Estoy viendo lo que haces en este experimento. Pregúntame lo que quieras: puedo explicarte qué está pasando en pantalla, paso por paso.