El fichero robots.txt es una herramienta esencial para controlar cómo los buscadores indexan tu portal. Permite a los bots instrucciones sobre qué páginas de tu web pueden ser rastreadas y cuáles no deben ser ignoradas . Una configuración del robots.txt puede mejorar tu visibilidad en los SERP y prevenir problemas de indexación no planificado