¿Cómo crear un archivo robots.txt? Guía paso a paso
Para crear un archivo robots.txt, escribe las reglas en un archivo de texto sin formato con codificación UTF-8, llámalo robots.txt y súbelo a la raíz de tu sitio, por ejemplo https://www.ejemplo.com/robots.txt. Después, comprueba en el informe de robots.txt de Search Console que Google lo lee sin errores. Este archivo sirve para gestionar el rastreo. En cambio, no sirve para sacar una página de Google.
¿Qué es el archivo robots.txt y para qué sirve?
El archivo robots.txt es un archivo de texto que indica a los rastreadores de los buscadores a qué URL de tu sitio pueden acceder. Según la introducción a los archivos robots.txt del Centro de la Búsqueda de Google, su uso principal es gestionar el tráfico de los rastreadores para que no sobrecarguen el servidor.
Sin embargo, el archivo robots.txt no es un mecanismo para impedir que una página aparezca en Google. Una URL bloqueada puede seguir en los resultados, aunque sin descripción, si otras páginas la enlazan con texto descriptivo. Por eso, para sacar una página de Google conviene usar la etiqueta noindex o proteger la página con una contraseña.
- 1 archivoPor sitio, ubicado en la raíz y llamado exactamente robots.txt.
- 500 KiBTamaño máximo que procesa Google; el contenido que supera ese límite se ignora.
- 24 horasTiempo habitual que Google guarda el archivo en caché antes de volver a leerlo.
Fuente: Centro de la Búsqueda de Google, «Cómo interpreta Google la especificación robots.txt» y «Crear y enviar un archivo robots.txt»; consulta: 20 de octubre de 2026.
Cómo crear un archivo robots.txt paso a paso
Crear el archivo toma pocos minutos. Lo importante es respetar el formato y la ubicación, porque un error pequeño puede bloquear todo el sitio. Sigue estos cinco pasos en orden.
- Abre un editor de texto sin formato. Usa el Bloc de notas o TextEdit en modo texto. Evita los procesadores de texto, porque añaden comillas curvas que confunden a los rastreadores.
- Escribe las reglas. Cada grupo empieza con la línea user-agent, que indica a qué rastreador se aplica, y sigue con sus reglas disallow o allow.
- Guarda el archivo como robots.txt. Elige la codificación UTF-8 y escribe el nombre en minúsculas.
- Súbelo a la raíz del dominio. Hazlo por FTP, desde el administrador de archivos de tu alojamiento o desde el editor de archivos de Yoast SEO en WordPress.
- Comprueba que funciona. Abre la URL del archivo en una ventana privada y revisa el informe de robots.txt de Search Console.
Ejemplo de archivo robots.txt para WordPress
Este ejemplo deja rastrear todo el sitio, excepto el panel de administración. Además, permite el archivo que WordPress necesita para funciones dinámicas e indica la ubicación del sitemap.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.ejemplo.com/sitemap_index.xmlCambia el dominio del ejemplo por el tuyo. Si usas Yoast SEO, la dirección del sitemap suele ser /sitemap_index.xml. Para revisar ese archivo, consulta nuestra guía sobre cómo crear un sitemap eficaz.
Las reglas del archivo robots.txt y qué hace cada una
El archivo admite pocas reglas, y cada una cumple una función concreta. Ten en cuenta que, en las rutas, Google distingue entre mayúsculas y minúsculas: la regla disallow: /file.asp no bloquea /FILE.asp.
| Regla | Qué hace | Ejemplo |
|---|---|---|
| user-agent | Indica a qué rastreador se aplica el grupo de reglas. El asterisco incluye a todos. | User-agent: * |
| disallow | Impide rastrear una ruta. Si va vacía, no bloquea nada. | Disallow: /privado/ |
| allow | Permite rastrear una ruta dentro de otra bloqueada. | Allow: /privado/publico/ |
| sitemap | Indica la URL completa del sitemap. Es opcional y puede repetirse. | Sitemap: https://www.ejemplo.com/sitemap.xml |
| # | Marca un comentario. Los rastreadores ignoran el resto de la línea. | # Bloqueo temporal |
Robots.txt o noindex: cuál usar en cada caso
Las dos herramientas se confunden a menudo, pero resuelven problemas distintos. El archivo robots.txt controla el rastreo. En cambio, la etiqueta noindex controla la aparición en los resultados.
| Criterio | Archivo robots.txt | Etiqueta noindex |
|---|---|---|
| Objetivo | Gestionar qué URL rastrea Google | Retirar una página de los resultados |
| Dónde se configura | Un archivo en la raíz del dominio | Una metaetiqueta en la página o un encabezado HTTP |
| ¿La página puede salir en Google? | Sí, si otras páginas la enlazan | No, una vez que Google la vuelve a rastrear |
| Requisito clave | Estar en la raíz y en UTF-8 | Que la página no esté bloqueada en robots.txt |
Combinar ambas herramientas en la misma URL es un error frecuente. Según la guía de Google sobre noindex, si el rastreador no puede acceder a la página, no ve la regla noindex. Por lo tanto, la página puede seguir apareciendo en los resultados.
Errores frecuentes al crear el archivo robots.txt
La mayoría de los problemas nacen de reglas copiadas sin revisar. Revisa esta lista antes de publicar cualquier cambio.
- Bloquear los archivos CSS y JavaScript. Google los necesita para ver la página como la ve una persona.
- Dejar la regla Disallow: / después de una migración. Esa línea bloquea todo el sitio y suele quedar olvidada tras salir de un entorno de pruebas.
- Guardar el archivo en una subcarpeta. Los rastreadores solo lo buscan en la raíz.
- Usarlo para ocultar páginas. Para eso existe la etiqueta noindex.
- Bloquear URL duplicadas en lugar de consolidarlas. Es mejor resolver el contenido redundante que daña tu SEO con redirecciones o etiquetas canónicas.
Cuándo revisar el archivo robots.txt
Revisa el archivo después de cada rediseño, migración o cambio de plugin de SEO. También conviene revisarlo cuando Search Console muestre páginas bloqueadas que deberían rastrearse. Como Google suele guardar el archivo en caché un máximo de 24 horas, los cambios no se aplican al instante.
El archivo robots.txt es solo una pieza del rastreo y la indexación. Para revisar el resto, consulta los elementos más importantes del SEO técnico. Si prefieres que un equipo lo revise por ti, conoce nuestro servicio de agencia de posicionamiento SEO en Perú.
Preguntas frecuentes sobre el archivo robots.txt
¿Dónde se coloca el archivo robots.txt?
En la raíz del dominio. Por ejemplo, si tu sitio es www.ejemplo.com, el archivo debe responder en www.ejemplo.com/robots.txt. Si lo guardas en una subcarpeta, los rastreadores no lo buscan allí. Además, cada combinación de protocolo y host necesita su propio archivo, así que un subdominio requiere el suyo.
¿El robots.txt sirve para que una página no aparezca en Google?
No. Según Google, el archivo robots.txt no es un mecanismo para impedir que una página aparezca en los resultados. Una URL bloqueada puede seguir apareciendo, aunque sin descripción, si otras páginas la enlazan. Para retirarla, usa la etiqueta noindex y deja que Google rastree la página, o protégela con una contraseña.
¿Cuánto tarda Google en ver los cambios del robots.txt?
Normalmente, un máximo de 24 horas. Google suele guardar el archivo en caché durante ese tiempo, aunque puede conservarlo más si no logra actualizarlo por errores del servidor. Si necesitas acelerar el proceso, el informe de robots.txt de Search Console permite solicitar que Google vuelva a rastrear el archivo.
¿Qué pasa si mi sitio no tiene archivo robots.txt?
Google rastrea el sitio con normalidad. Si no hay reglas que bloqueen rutas, los rastreadores pueden acceder a todas las páginas. Además, WordPress genera un archivo robots.txt virtual básico cuando no existe un archivo físico. Por eso, solo necesitas crear uno propio si quieres limitar el rastreo o indicar tu sitemap.
¿Cómo edito el robots.txt en WordPress?
Con Yoast SEO, entra en Yoast SEO, luego en Herramientas y después en Editor de archivos. Desde ahí puedes crear o modificar el archivo sin acceder al servidor. Si tu alojamiento no permite editar archivos, súbelo por FTP o desde el administrador de archivos del panel. Después, abre la URL del archivo en una ventana privada.
¿Debo bloquear los archivos CSS y JavaScript?
No. Google necesita acceder a los archivos CSS y JavaScript para representar la página como la ve un usuario. Si los bloqueas, Google puede interpretar mal el diseño y el contenido, sobre todo en móviles. Por eso, revisa que ninguna regla disallow afecte a las carpetas de estilos y scripts del tema.
