Um LLM com 28,9M de parâmetros, a correr num microcontrolador $8 ESP32.

O que isto realmente significa:
> o ESP32 é o chip dentro de gadgets IoT baratos, não uma placa de desenvolvimento com uma GPU
> 28,9M de parâmetros é minúsculo pelos padrões de laboratório, mas enorme para uma peça com alguns kilobytes de RAM de folga
> inferência completa no dispositivo, sem chamadas para a nuvem, sem ida e volta pela rede
A Edge AI está cada vez mais a ser enquadrada como silício caro. Esta é a outra direção. O patamar agora é dinheiro de almofada do sofá.