¡Hola! Soy Lorenzo y esto es Atareao con Linux. Bienvenidos al episodio número 789, un episodio que marca el inicio de una aventura que me tiene especialmente emocionado: vamos a montar nuestro propio laboratorio de Inteligencia Artificial en local.
Durante los últimos meses, y gracias a las "pullas" constructivas de amigos como Carlos Castillo de Reflex, RedFone o incluso mi archienemigo favorito Rafa de Leña al Mono, no he parado de darle vueltas a cómo exprimir la IA. Pero hay algo que me inquietaba: casi todo lo que hacía dependía de la nube. Por eso, tras cerrar el ciclo de Podman, he decidido que es el momento de tomar las riendas de nuestra soberanía digital y traernos los modelos de lenguaje a casa.
¿Por qué quieres una IA local?
Seguro que te lo has preguntado. ¿Para qué complicarse la vida si ya tienes Gemini o ChatGPT? Pues bien, en este episodio te cuento las tres razones fundamentales que me han llevado a este "cacharrreo" intensivo:
Privacidad absoluta.
Control de costes.
Inmediatez.
El Stack Técnico: Podman, Quadlets y Ollama
No esperes que te enseñe a instalar cosas "a lo bruto" en tu sistema operativo. Fiel a mi estilo, vamos a usar contenedores, pero con un giro de tuerca profesional. Te explico por qué he elegido Podman sobre Docker para este proyecto, centrándome en la seguridad del modo rootless y la limpieza que nos ofrece. Además, profundizamos en el uso de Quadlets para que nuestra IA sea un servicio más de Linux, perfectamente integrado con Systemd.
Una serie para dominarlos a todos
Este no es un episodio aislado. Hoy inauguramos una serie de 32 capítulos donde iremos de cero a cien. No me interesan los tutoriales de "IA en 5 minutos" que no enseñan nada. Aquí vamos a profundizar en:
Crear un cerebro digital usando RAG (Generación Aumentada por Recuperación) con nuestros propios archivos Markdown.
Desarrollar agentes y skills que realicen tareas por nosotros.
Integrar el stack con hardware NVIDIA para sacar hasta el último teraflop de potencia.
Automatizarlo todo con scripts en Rust, Python y mi querido shell Fish.
Si te apasiona el open source y quieres dejar de ser un mero espectador de la IA para convertirte en el dueño de tu propia tecnología, este es tu sitio. ¡Prepárate porque nos lo vamos a pasar pipa!
Contenido detallado del episodio:
00:00:00 Introducción y el fin de la era Podman
00:01:21 El empujón de Slimbook y el Linux Center
00:02:15 El problema de depender exclusivamente de la nube
00:03:15 El plan maestro: 32 episodios de IA práctica
00:05:33 Tres razones para la IA local: Privacidad, pasta y latencia
00:07:25 Filosofía "Juan Palomo": Exprimir los modelos con scripts
00:08:08 El stack técnico: ¿Por qué Podman y no Docker?
00:09:40 Ventajas del rootless y la seguridad en IA
00:10:59 Quadlets: Integración total con Systemd
00:11:53 Herramientas: Fish shell, Rust y Go al servicio de la IA
00:13:20 Creando nuestra propia memoria digital (RAG)
00:14:00 Estructura de directorios y repositorio Git
00:15:37 El truco de los enlaces simbólicos para Quadlets
00:16:02 Hardware: NVIDIA y el aprovechamiento de la GPU
00:16:40 Desmenuzando el contenedor de Ollama
00:17:54 QCTL: Mi herramienta para gestionar Quadlets fácilmente
00:20:20 Comprobando que Ollama responde (CURL y API)
00:21:15 Monitorización con NVTOP y VTOP
00:22:13 Despedida y próximos pasos en el laboratorio local
Más información y enlaces en las notas del episodio
🌐 Aquí lo puedes encontrar todo 👉 https://atareao.es
✈️ Telegram (el grupo) 👉 https://t.me/atareao_con_linux
✈️ Telegram (el canal) 👉 https://t.me/canal_atareao
🦣 Mastodon 👉 https://mastodon.social/@atareao
🐦 Twitter 👉 https://twitter.com/atareao
🐙 GitHub 👉 https://github.com/atareao
Colombia