Crawl4AI: qué es y cómo convertir webs en texto para IA (2026)
La librería abierta que abre una web con un navegador de verdad y te la devuelve en texto limpio para un modelo de IA. Revisado en septiembre de 2026 con la versión 0.9 y medido en mi Raspberry Pi 5.
Lo esencial
Si necesitas que una IA lea páginas web y no quieres pagar por página, Crawl4AI es hoy la opción gratuita más sólida: se instala con pip, no pide clave y funciona incluso en una placa de 8 GB.
Datos clave: 84.440 estrellas en GitHub · versión 0.9.4 (23-sep-2026) · 2,86 s de mediana por página · ~160 MB de RAM · 0 € por página frente a 83 $/mes de Firecrawl Standard.
¿Qué es Crawl4AI?
Crawl4AI es una librería de Python de código abierto que visita páginas web y te devuelve su contenido en Markdown, el formato de texto con títulos y listas que un modelo de lenguaje entiende sin tener que tragarse el HTML entero. Por debajo usa Playwright, así que la página se abre en un navegador real y el JavaScript se ejecuta igual que en tu ordenador.
El proyecto lo mantiene el desarrollador conocido como unclecode, tiene licencia Apache 2.0 y, a 29 de septiembre de 2026, el repositorio en GitHub suma 84.440 estrellas y 8.728 bifurcaciones. Cuando escribí la primera versión de este artículo, en julio, eran unas 74.000: más de 10.000 estrellas nuevas en dos meses.
Para qué sirve, dicho en cristiano: alimentar a una IA con información de la web. Un sistema RAG que responde con tu documentación, un agente que tiene que leer cinco noticias antes de escribir un resumen o un script que vigila precios. Todos necesitan pasar de "URL" a "texto útil", y ese es exactamente el paso que hace Crawl4AI.
¿Qué ha cambiado en 2026?
Dos cosas que la mayoría de guías en español todavía no recogen.
- Versión 0.9. La última publicada es la 0.9.4, del 23 de septiembre de 2026, disponible en PyPI y como imagen Docker. Pide Python 3.10 o superior. Yo tengo la 0.9.2 y todo lo que mido abajo sale de esa.
- Ya existe una versión de pago. La documentación oficial anuncia Crawl4AI Cloud: el mismo motor alojado por ellos, sin navegador ni proxies que mantener, con un primer paquete de 10 dólares gratis hasta el 31 de diciembre de 2026 (luego 5 dólares para empezar) y servidor MCP para conectarlo a Claude Code o Cursor. La librería sigue siendo gratis y el proyecto promete que lo será siempre.
Lo segundo cambia un poco la conversación. Antes Crawl4AI era "la alternativa gratuita a Firecrawl". Ahora es también competidor directo en la nube. Para quien lo ejecuta en casa, no cambia nada.
¿Cómo funciona por dentro?
Cada llamada hace cuatro cosas en orden:
- Abre la URL con un Chromium sin ventana, gestionado por Playwright.
- Espera y renderiza el contenido que carga JavaScript.
- Convierte el HTML a Markdown y separa enlaces internos, externos e imágenes.
- Opcionalmente filtra el ruido (menús, pies de página) con lo que ellos llaman fit markdown, o extrae datos estructurados con selectores CSS o con un LLM.
El código mínimo cabe en seis líneas:
¿Cuánto tarda y cuánta memoria gasta? Lo medí
Crawl4AI está instalado en la Raspberry Pi 5 que sirve esta web, dentro del script que usa mi pipeline editorial para leer fuentes antes de escribir. Esta mañana lo lancé contra cinco páginas reales, una detrás de otra, y apunté lo que devolvía:
| Página | Tiempo | HTML original | Markdown | Reducción |
|---|---|---|---|---|
| docs.python.org (asyncio) | 1,08 s | 25.399 caracteres | 10.481 caracteres | 59 % |
| Xataka (portada) | 1,47 s | 212.809 | 75.654 | 64 % |
| The Verge (portada) | 2,86 s | 921.382 | 62.731 | 93 % |
| Ars Technica (portada) | 3,12 s | 354.273 | 45.138 | 87 % |
| GitHub (repo de Crawl4AI) | 3,32 s | 536.700 | 46.071 | 91 % |
Las cinco salieron bien. El navegador tardó 0,77 s en arrancar, la mediana fue 2,86 s por página y el pico de memoria rondó los 147 MB del proceso de Python más unos 159 MB del navegador. En la primera versión de este artículo hablaba de 300 MB y "1-2 segundos". Con las portadas pesadas de los medios, lo honesto son 3 segundos.
Lo que más me importa de esa tabla es la última columna. The Verge pesa 921.382 caracteres de HTML y se queda en 62.731 de texto. Si ese texto va a un modelo que cobra por token, pasar por Crawl4AI es la diferencia entre mandar una página o mandar quince.
Probé también el filtro fit markdown (PruningContentFilter con umbral 0,48): recortó otro 52 % en The Verge y un 32 % en la documentación de Python, pero en Ars Technica solo un 29 %. Ayuda, pero no hace milagros con portadas llenas de titulares.
Crawl4AI vs Firecrawl vs Diffbot: ¿cuál conviene?
Precios consultados hoy en las páginas oficiales de Firecrawl y Diffbot:
| Herramienta | Gratis | Primer plan de pago | Dónde corre | Código abierto |
|---|---|---|---|---|
| Crawl4AI | Sin límite (en tu máquina) | Cloud: 10 $ de regalo, luego desde 5 $ | Tu ordenador o su nube | Sí, Apache 2.0 |
| Firecrawl | 1.000 páginas/mes | Hobby: 16 $/mes anual (19 $ mensual), 5.000 páginas | Su nube | Parcial |
| Firecrawl Standard | — | 83 $/mes anual, 100.000 páginas | Su nube | Parcial |
| Diffbot | 10.000 créditos/mes, 5 peticiones/min | Startup: 299 $/mes, 250.000 créditos | Su nube | No |
| BeautifulSoup | Sin límite | — | Tu ordenador | Sí (no ejecuta JavaScript) |
Mi criterio es sencillo. Si vas a leer menos de 1.000 páginas al mes y no quieres instalar nada, el plan gratis de Firecrawl te sobra. En cuanto pasas de unos pocos miles de páginas, o quieres que tus datos no salgan de tu máquina, Crawl4AI gana por goleada: con la Raspberry Pi que ya tenía encendida, extraer 100.000 páginas me cuesta electricidad, no 83 dólares. Diffbot juega en otra liga: su valor está en el grafo de conocimiento, no en scrapear.
¿Cómo se instala?
Son tres comandos, según la guía oficial de instalación:
En una Raspberry Pi con Raspberry Pi OS me funcionó a la primera. Si vas a montarlo en casa, la placa que uso es una Raspberry Pi 5 de 8 GB; con 4 GB también arranca, pero el navegador y cualquier otro servicio acaban peleándose por la memoria.
¿Qué límites tiene?
Los banners de cookies y privacidad acaban dentro del texto. En julio escribí que el problema eran los medios españoles. Lo he vuelto a medir y no es tan simple: hoy Xataka salió limpio y fue Ars Technica la que coló su aviso de privacidad al principio del Markdown. Depende de cada web y cambia con el tiempo. Si una fuente te importa, revisa las primeras líneas de lo que devuelve.
No es un antibloqueo mágico. Tiene modo navegador "no detectado" y soporte de proxies, pero una web que bloquea bots te va a seguir bloqueando. La versión Cloud existe precisamente para eso.
Va rápido, pero no en tiempo real. Tres segundos por portada está bien para investigar o para un RAG que se actualiza por la noche. Para miles de páginas por minuto hay que paralelizar con arun_many() y una máquina con más núcleos.
Actualiza a menudo. Entre el 18 de junio y el 23 de septiembre de 2026 salieron cinco versiones de la rama 0.9, de la 0.9.0 a la 0.9.4. Fija la versión en producción (crawl4ai==0.9.4) y actualiza cuando lo decidas tú.
Si quieres ver cómo se comporta con volumen, en mi prueba con 500 páginas de documentación están las tasas de éxito, y en la guía para agentes y RAG la configuración paso a paso.
Preguntas frecuentes
¿Qué es Crawl4AI?
Una librería de Python de código abierto (Apache 2.0) que abre páginas web con un navegador real y devuelve su contenido en Markdown, listo para que lo lea un modelo de IA.
¿Crawl4AI es gratis?
La librería sí, sin clave ni límite de peticiones. Crawl4AI Cloud, la versión alojada, es de pago, con 10 dólares de regalo hasta el 31 de diciembre de 2026.
¿Qué diferencia hay entre Crawl4AI y Firecrawl?
Hacen lo mismo, pero Crawl4AI lo ejecutas tú sin coste por página y Firecrawl es un servicio que cobra por créditos: 1.000 páginas gratis al mes y 83 $/mes por 100.000 en el plan Standard.
¿Funciona en una Raspberry Pi?
Sí. En una Pi 5 de 8 GB medí 0,77 s de arranque, 2,86 s de mediana por página y unos 160 MB de memoria.
¿Qué necesito para instalarlo?
Python 3.10 o superior y tres comandos: pip install -U crawl4ai, crawl4ai-setup y crawl4ai-doctor.
Mi opinión después de dos meses
Lo que me convence de Crawl4AI no es que sea gratis, es que el coste no crece con el uso. Con un servicio de pago cada fuente extra que lees tiene precio, y acabas leyendo menos de lo que deberías. Con esto instalado, leer diez fuentes en vez de cinco solo cuesta unos segundos más.
La pega es que te toca mantenerlo: cinco versiones en tres meses, banners que se cuelan y webs que un día te bloquean. Si eso te da pereza, la nube de Firecrawl o la del propio Crawl4AI están para eso. Yo prefiero pelearme con un navegador en mi placa antes que ver una factura que crece.