Una placa para modelos en local

La AI HAT+ 2 supone un salto respecto a su predecesora, lanzada hace poco más de un año. Mientras que la AI HAT+ original se centraba exclusivamente en tareas de visión artificial, como detección de objetos, estimación de poses o segmentación de escenas, este nuevo modelo busca cubrir un interés cada vez más creciente por ejecutar modelos de lenguaje en local y sin necesidad de estar conectado a internet.

Según Raspberry Pi, la placa ofrece 40 TOPS de rendimiento de inferencia (en INT4) gracias al chip Hailo-10H. La incorporación de 8 GB de RAM LPDDR4X en la propia placa es la novedad más destacada, ya que libera al procesador y la memoria RAM de la Raspberry Pi 5 para otras tareas mientras el acelerador neuronal se encarga del procesamiento de IA.

En el lanzamiento estarán disponibles varios modelos de lenguaje de entre 1 y 1,5 mil millones de parámetros, incluyendo DeepSeek-R1-Distill, Llama 3.2, y diferentes versiones de Qwen. La compañía asegura que próximamente añadirán modelos más grandes y que los usuarios podrán ajustar estos modelos a casos de uso específicos mediante técnicas como LoRA (Low-Rank Adaptation).

Más allá del papel

Junto a las bondades que promete la placa complementaria, viene bien saber que el chip Hailo 10H que incorpora está limitado a una potencia de 3W, lo que quiere decir que, aunque se traduzca en una mejor eficiencia energética si lo comparamos con el chip que incluye la propia Raspberry Pi 5, esa limitación de potencia hace que la placa complementaria ofrezca menor rendimiento bruto que la propia Raspberry Pi 5.

Además, si bien los 8 GB de RAM adicionales son tremendamente útiles, cabe destacar que la versión de 16 GB de la propia placa Raspberry Pi 5 también supera a la placa complementaria en este aspecto. Debemos tener en cuenta que muchos modelos de lenguaje cuantizados y de tamaño medio suelen utilizar más de 10 GB de RAM, por lo que la AI HAT+ 2 quedaría limitada a modelos más pequeños. 

Sin embargo, se trata de una solución muy interesante para hacer que la Raspberry Pi 5 utilice el rendimiento de la placa complementaria para ejecutar modelos mientras se utilizan los recursos de la placa principal para cualquier otra tarea.

En Xataka

Reino Unido necesita calefacción más barata, así que está sustituyendo calderas de gas por servidores de Raspberry Pi

¿Para quién está pensada?

La AI HAT+ 2 mantiene las capacidades de visión artificial de su predecesora y, según Raspberry Pi, puede ejecutar simultáneamente modelos de visión y de lenguaje. La placa podría encontrar su nicho en aplicaciones con restricciones de energía que necesiten combinar procesamiento de visión e inferencia de modelos de lenguaje, como sistemas de automatización industrial o dispositivos IoT.

También puede resultar útil como kit de desarrollo para empresas que planeen integrar el chip Hailo-10H en sus propios productos.

Para usuarios que simplemente busquen ejecutar modelos de lenguaje localmente en una Raspberry Pi, la opción más práctica sigue siendo adquirir una Raspberry Pi 5 con 16 GB de RAM.

Precio y disponibilidad

La Raspberry Pi AI HAT+ 2 ya está disponible por 130 dólares, aunque para comprarla en España dependerá del precio de los distribuidores oficiales. Además, en el repositorio de GitHub de Hailo y en su Developer Zone se pueden encontrar ejemplos, tutoriales y documentación para sacarle partido a la placa.