¡Hola! Soy Lorenzo y esto es Atareao con Linux. Bienvenidos al episodio número 790, la segunda entrega de nuestra serie dedicada a montar nuestro propio laboratorio de Inteligencia Artificial local.
Antes de meternos en harina, quiero darte las gracias de todo corazón. El primer episodio de esta serie ha tenido una acogida espectacular, y eso me llena de satisfacción y me da muchísima energía para seguir compartiendo contigo todo este camino. Parece que no soy el único que tiene ganas de recuperar el control de sus datos y de jugar con estos modelos de lenguaje sin depender de servicios externos.
En el episodio anterior estuvimos centrados en la infraestructura: montamos Ollama usando Quadlets y dejamos todo listo para empezar a funcionar. Pero hoy vamos a cambiar el tercio. Hoy vamos a dejar de hablar de configuraciones de sistemas para empezar a hablar, literalmente, con la inteligencia. Y lo vamos a hacer de la forma más pura y directa posible: a través de la terminal.
Seguramente te preguntarás: "¿Pero Lorenzo, para qué voy a usar la terminal si ya hay interfaces web que son una maravilla?". Pues te lo cuento con todo el entusiasmo del mundo: para entender qué está pasando de verdad. En este episodio vamos a exprimir Ollama desde la línea de comandos, bajando al barro, porque hay opciones y configuraciones que en las interfaces gráficas a veces quedan ocultas o simplificadas. Si queremos ser verdaderos "cacharreros" de la IA, tenemos que saber qué pasa bajo el capó.
Hardware y monitorización en tiempo real
En este episodio te cuento cómo estoy viviendo la experiencia con mi hardware. Estoy utilizando una tarjeta Nvidia GeForce RTX 4060 en un equipo Slimbook que va como un tiro. Te explico cómo monitorizo el uso de la GPU y cómo puedes ver, de forma casi mágica, el momento exacto en el que el modelo se carga en los 16 GB de memoria y empieza a consumir recursos. Es fascinante ver cómo el uso de la tarjeta pasa del 0% al 100% mientras la IA genera una respuesta para nosotros. Entender esta relación entre el hardware y el software es fundamental para saber qué modelos podemos ejecutar y cuáles nos van a mandar a "freír espárragos".
Dominando los meta-comandos de Ollama
A lo largo del audio, vamos a desgranar una serie de comandos que te van a convertir en un maestro de la IA local:
Información detallada
Personalidad y roles.
Rendimiento puro.
Creatividad bajo control.
Capítulos del episodio:
00:00:00 - Bienvenida y agradecimientos por la acogida
00:00:40 - El laboratorio de IA: Recapitulando el episodio anterior
00:01:34 - ¿Por qué bajar al barro con la terminal?
00:03:31 - Preparando el entorno y monitorizando la GPU Nvidia
00:05:00 - Flujo de trabajo: Arrancar el contenedor y el modelo
00:05:35 - Comandos de ejecución, Podman y atajos útiles
00:06:40 - Regalo: Una chuleta (cheat-sheet) para dominarlos a todos
00:07:48 - Hablando con Ollama de forma interactiva
00:08:24 - Meta-comandos: Descubriendo las tripas del modelo
00:09:12 - Licencias y parámetros técnicos del modelo
00:10:05 - Configurando el rol de experto desarrollador
00:11:15 - Midiendo el rendimiento: Tokens por segundo
00:12:00 - Modo silencioso y generación de scripts
00:12:55 - Atajos de teclado y ayuda rápida
00:13:35 - Ajustando la temperatura y la creatividad
00:14:40 - Cómo guardar y cargar tus modelos personalizados
00:15:20 - Poniendo a prueba a la IA: Verificación de código
00:16:15 - Monitorización en tiempo real de CPU y GPU
00:17:40 - Cómo elegir el modelo ideal según tu hardware
00:19:08 - Próximos pasos: La REST API de Ollama
00:20:30 - Despedida y consejos de vida
Más información y enlaces en las notas del episodio
🌐 Aquí lo puedes encontrar todo 👉 https://atareao.es
✈️ Telegram (el grupo) 👉 https://t.me/atareao_con_linux
✈️ Telegram (el canal) 👉 https://t.me/canal_atareao
🦣 Mastodon 👉 https://mastodon.social/@atareao
🐦 Twitter 👉 https://twitter.com/atareao
🐙 GitHub 👉 https://github.com/atareao
Colombia