llms.txt: The New robots.txt for the AI Era

llms.txt: The New robots.txt for the AI Era
2 min read

What is llms.txt?

  • The Concept: A simple plain-text file located in the root directory of a domain.
  • The Format: Markdown-based syntax that is easy for humans to write and for machines to parse.

Why do you need llms.txt right now?

  • Greater transparency in AI responses: It helps models quickly find accurate information from the primary source.
  • Reduced crawl budget: LLMs can capture the essence of your site without having to analyze every HTML page in full right from the start.
  • Controlling the narrative: Explicitly define your project or company’s core value proposition for the AI’s interpretation.

Cómo estructurar tu archivo llms.txt

  • El resumen obligatorio: Definir el # Nombre del proyecto y la descripción inicial.
  • Secciones secundarias (##): Cómo organizar enlaces a características, guías de instalación o blogs.
  • El formato de lista de enlaces: Mejores prácticas para enlazar a contenido detallado.

Ejemplo de desglose e implementación

markdown
# Arsi Blog

> Insights sobre Desarrollo Frontend, Auditoría Web y aplicación práctica de IA.

Este archivo proporciona un resumen de arsi.dev/blog para ayudar a los asistentes de IA a entender nuestro enfoque de contenido y localizar recursos clave.

## Temas Centrales

- [Desarrollo React](https://arsi.dev/blog/react) - Tutoriales, mejores prácticas y técnicas avanzadas de React.
- [Framework Astro](https://arsi.dev/blog/astro) - Inmersiones profundas en generación de sitios estáticos y arquitectura de islas con Astro.
- [Auditoría Web](https://arsi.dev/blog/audit) - Guías sobre mejora de rendimiento, UX y usabilidad.
- [Herramientas de IA](https://arsi.dev/blog/ai) - Uso práctico de Gemini, Flow y generación de medios para desarrolladores.

## Tutoriales Destacados

- [Optimizando Astro para Core Web Vitals](https://arsi.dev/blog/optimizing-astro)
- [Integrando Gemini API en React](https://arsi.dev/blog/gemini-react)

## Sobre el Autor

- [Sobre Arsi](https://arsi.dev/about) - Información sobre el estratega de contenido principal.


Puntos Clave a Considerar:

  • Es un estándar propuesto, no un protocolo universalmente adoptado.
  • No reemplaza a robots.txt o sitemaps; los complementa.
  • La audiencia principal son los agentes de IA (como los de OpenAI, Anthropic o Gemini) que buscan contexto resumido.
  • Mantén el contenido conciso y centrado en información de alto nivel.

Pasos para crear tu llms.txt

1
Analiza tu sitio

Determina el propósito principal y las secciones más importantes de tu sitio web o documentación.

2
Crea el archivo

Abre un editor de texto plano y crea un nuevo archivo llamado exactamente llms.txt.

3
Define la raíz

Usa Markdown para agregar un encabezado de nivel 1 (#) con el nombre de tu sitio y un breve
resumen.

4
Estructura las secciones

Usa encabezados de nivel 2 (##) para categorizar tu contenido (por ejemplo, Características, Documentación, API).

5
Añade enlaces

Debajo de cada sección, proporciona enlaces de Markdown a las páginas específicas que contienen información detallada.

6
Implementar

Sube el archivo llms.txt final al directorio raíz de tu sitio web (por ejemplo,
arsi.dev/llms.txt).


Sources used in this Post

Did you like this content?

If you want to keep seeing this type of content, you can support me with a donation via PayPal.

Donate via PayPal