Medimos el archivo que producción entrega, no solo la plantilla. Google documenta un límite de 500 KiB para robots.txt; el contenido posterior al límite puede no procesarse.
Mantenemos UTF-8 predecible
Evitamos codificaciones heredadas y bytes inválidos. Con rutas no ASCII comprobamos tanto el texto como el escape de URL utilizado en las reglas.
Reducimos repetición
Un robots.txt enorme suele contener listas por URL, comentarios generados o grupos duplicados. Preferimos reglas de ruta mantenibles antes que miles de excepciones.
No sacrificamos claridad por tamaño
Reducir líneas no sirve si una wildcard demasiado amplia cambia el comportamiento. Después de cada simplificación usamos el validator y probamos URLs reales.
Comprobamos entrega HTTP
Un archivo pequeño y válido también puede fallar por CDN, redirects o una respuesta distinta en producción. El checker confirma tamaño, estado y contenido público.
Nuestro checklist cubre bytes reales, 500 KiB, UTF-8, grupos, validación, pruebas por crawler y verificación del archivo desplegado.
