La IA de voz cabe en 470 KB en un RP2350 de 80 céntimos

Moonshine Micro es una versión de código abierto del kit de herramientas Moonshine Voice diseñada para microcontroladores y DSP, tomando como plataforma de referencia el RP2350 de Raspberry Pi. Ese chip se vende por 80 céntimos, y la demo completa —detección de actividad de voz, reconocimiento de voz y síntesis neural de texto a voz— puede ejecutarse con tan solo 470 KB de RAM.

El proyecto está dirigido a desarrolladores que crean agentes y aplicaciones de voz en tiempo real para hardware con recursos muy limitados. En la demo para RP2350, la pila completa usa aproximadamente 3.6 MiB de memoria flash y ~468 KiB de SRAM provisionada, con los componentes ejecutándose secuencialmente en lugar de todos a la vez.

Aquí está el desglose de memoria y cómputo de la demo:

• VAD (Detección de actividad de voz): ~89 KiB flash, ~36 KiB SRAM, ~0.8 MMAC/trama (~25 MMAC/s)
• STT (SpellingCNN de voz a texto): ~1.3 MiB flash, ~346 KiB SRAM, ~36 MMAC/s
• TTS (sintetizador neural de dífonos a 16 kHz): ~1.8 MiB paquete de voz, ~340 KiB SRAM, ~37 MMAC respuesta típica (~65 MMAC/s de salida)
• Pila total de la demo: ~3.6 MiB flash, ~468 KiB SRAM, ~0.7–1.0 s para clasificar y hablar

Según la documentación del proyecto, VAD, STT y TTS neural comparten una sola arena de TensorFlow Lite Micro de ~384 KiB, por lo que el uso de SRAM no es acumulativo. La fuente también señala que ~468 KiB es la RAM total provisionada en el RP2350 de 520 KiB, o ~491 KiB con wifi_hardware.

El código se publica bajo la licencia MIT para uso comercial, excepto el software en third-party/, que mantiene sus licencias de código abierto originales. El repositorio también incluye un ejemplo de extremo a extremo para configurar una conexión Wi-Fi por voz en un MCU RP2350.

Recomendado

El trío retro de 8BitDo clava el aspecto de la NES