El Crawl Budget y como afecta al SEO hará que tu web sea indexada rápidamente, por eso necesitas entender el significado del presupuesto de rastreo (Crawl Budget) para que puedas sacarle el máximo rendimiento.
El presupuesto de rastreo afecta a todos los sitios grandes y pequeños. Pero a menudo, los sitios grandes, los sitios con errores técnicos o los sitios con características únicas de generación de URL realmente necesitan prestar atención aquí.
Todo lo que necesita saber sobre el Crawl Budget para SEO
El concepto de presupuesto de rastreo (Crawl Budget) fue una vez un juego de adivinanzas entre los SEOs.
En este artículo, cubriremos todo lo que necesita saber sobre el presupuesto de rastreo y te ofreceremos algunos consejos de optimización.
¿Qué es un presupuesto de rastreo o Crawl Budget?
Antes de que puedas entender el concepto de presupuesto de rastreo para el SEO, primero tendrás que familiarizarse con otro término: Googlebot.
Googlebot es el nombre que se le da al robot de Google que se desplaza por tu sitio web en busca de páginas para añadirlas a su índice.
Puedes pensar en él como un navegador web digital.
Dado que hay billones y billones de páginas en la web, no sería práctico para Googlebot rastrearlas cada segundo de cada día. Hacerlo consumiría un valioso ancho de banda en línea, lo que resultaría en sitios web de menor rendimiento.
Google asigna un presupuesto de rastreo para cada sitio web.
Ese presupuesto determina la frecuencia con la que Googlebot rastrea el sitio en busca de páginas para indexar.
Google define la misión del presupuesto de rastreo de la siguiente manera:
«Dar prioridad a lo que se debe rastrear, a cuándo y a cuántos recursos puede asignar el servidor que aloja el sitio web al rastreo es más importante para los sitios web más grandes o para los que generan páginas automáticamente en función de los parámetros de la URL, por ejemplo».
¿Por qué es importante la optimización del Crawl Budget para el SEO?
La respuesta a esto es fundamental y simple.
Cuanto mejor se optimice el presupuesto de un rastreo para indexar una página, mejor será tu posición en Google (mejora el posicionamiento de tu página web).
Es crucial asegurarse de que si tienes un sitio grande, específicamente de comercio electrónico, o has añadido muchas páginas o tienes muchas páginas redirigidas, tengas la capacidad de rastrear el presupuesto para manejarlo.
Sin embargo, esto no debería ser una gran preocupación, ya que Google rastrea las páginas indexadas de forma eficiente, pero es algo que sin duda hay que tener en cuenta.
Límite de la tasa de rastreo
El límite de la tasa de rastreo es un poco diferente del presupuesto de rastreo. Define el número de conexiones simultáneas que Googlebot utiliza para rastrear un sitio y el tiempo que esperará antes de buscar otra página.
Recuerda que Google se basa en la experiencia del usuario.
La razón por la que su robot utiliza un límite de velocidad de rastreo es para evitar que un sitio sea invadido por agentes automatizados hasta tal punto que los usuarios humanos tengan problemas para cargar el sitio en sus navegadores.
Aquí hay un par de factores que afectan la tasa de arrastre:
- Velocidad del sitio web – Si un sitio responde rápidamente al Googlebot, entonces Google aumentará la tasa límite de rastreo. Por otro lado, Google reducirá la tasa de rastreo para los sitios web lentos.
- Configuración en la Consola de Búsqueda – Los webmasters también pueden configurar el límite de rastreo en la Consola de Búsqueda. Si bien no pueden aumentar la tasa de rastreo, pueden reducirla si creen que Google está realizando demasiado rastreo en su servidor.
Ten en cuenta que, aunque una tasa de rastreo saludable puede hacer que las páginas se indexen más rápido, una tasa de rastreo más alta no es un factor de clasificación en los resultados de búsquedas.
Demanda de rastreo – Presupuesto de Crawl Budget para SEO
Incluso si no se alcanza el límite de rastreo, Google puede reducir el número de páginas que el robot rastrea.
La disminución de la actividad del bot se denomina reducción de la demanda de rastreo.
¿Qué afecta a la demanda de rastreo? Hay un par de cosas:
- Popularidad – Las páginas que son más populares (es decir, que se comparten mucho en los medios sociales y reciben enlaces de otros sitios web) tienden a ser rastreadas más a menudo.
- Estancamiento – Google intenta evitar que las URLs se vuelvan «rancias» en su índice.
Además, los eventos en todo el sitio (como un traslado del sitio) pueden resultar en un aumento de la demanda de rastreo. Esto se debe a que Google necesita reindexar el contenido con las nuevas URL.
¿Qué afecta al presupuesto de rastreo?
Básicamente, el presupuesto de rastreo es una combinación de la tasa de rastreo y la demanda de rastreo.
Afortunadamente, Google ha identificado exactamente los factores que afectan al presupuesto de rastreo. Aquí tiene una lista de ellos, clasificados por orden de importancia:
- Parámetros de la URL – A menudo ocurre que una URL base (por ejemplo, «http://miweb.com») añadida con parámetros (por ejemplo, «http://miweb.com?id=3») devuelve exactamente la misma página. Ese tipo de configuración podría dar lugar a que numerosas URL únicas cuenten para el presupuesto de rastreo, aunque todas esas URL devuelvan la misma página.
- Contenido duplicado: en algunos casos, las URL pueden ser totalmente únicas sin parámetros de solicitud y aún así devolver el mismo contenido. Esto también afectará negativamente al presupuesto de rastreo y al SEO.
- Páginas de error – Las páginas de error 404 (páginas no encontradas) también afectan el presupuesto de rastreo. Afortunadamente, también se informan en la consola de búsqueda.
- Páginas pirateadas: los sitios que han sido víctimas de piratas informáticos pueden ver limitado su presupuesto de rastreo.
- Espacios infinitos: los sitios con enlaces ilimitados (como los calendarios en los que los usuarios pueden hacer clic en un día, un mes o un año) se darán cuenta de que Googlebot malgasta su presupuesto de rastreo en enlaces que podrían carecer de importancia.
- Contenido de baja calidad: si el sitio tiene una calidad deficiente, es probable que Google limite el presupuesto de rastreo.
Cómo optimizar el Crawl Budget
Ahora que ya conoce el concepto de presupuesto de rastreo para el SEO, es hora de optimizar tu sitio en consecuencia.
Aquí hay varias maneras de hacer eso.
- Uso de herramientas gratuitas: tanto la Consola de Búsqueda de Google como las Herramientas para webmasters de Bing le ofrecen mucha información sobre los problemas que podrían afectar negativamente a su presupuesto de rastreo. Asegúrate de utilizarlas y de configurarlas para todos los sitios que estés monitorizando.
Entonces, comprueba de vez en cuando con esas herramientas si tus sitios tienen algún problema.
Por ejemplo, si la Consola de búsqueda informa de que uno de sus sitios tiene algunos errores 404, asegúrate de solucionar ese problema inmediatamente.
Recuerda, tanto Google como Microsoft quieren que tengas éxito online. Es por eso que proporcionan esas herramientas de forma gratuita.
- Asegúrese de que tus páginas sean rastreables: es tentador aprovechar las maravillas de la tecnología moderna hasta tal punto que dificulta que Googlebot rastree tu sitio. Resista esa tentación.
Por ejemplo, una tecnología como AJAX (Asynchronous JavaScript and XML) carga el contenido para que los usuarios no tengan que actualizar la página.
Sin embargo, el contenido cargado por AJAX podría no ser accesible por el Googlebot. así que lo guardaremos para otra publicación.
Además, usa un mapa del sitio (XML) y asegúrate de que esté siempre actualizado. Afortunadamente, los sistemas de gestión de contenidos como WordPress hacen que sea fácil hacerlo.
- Limitar los redireccionamientos: cada vez que una de las páginas de su sitio se redirecciona a otra página (con un redireccionamiento 301 o 302), utiliza una pequeña parte de tu presupuesto de rastreo. Esto significa que si tienes muchas redirecciones, tu presupuesto de rastreo podría agotarse antes de que Googlebot rastree la página que desea indexar.
Elimina los enlaces rotos: si tienes muchos enlaces rotos en tu sitio, deberás limpiarlos y corregirlos si deseas maximizar tu presupuesto de rastreo.
Afortunadamente, es fácil encontrar enlaces rotos con una herramienta como «Screamig Frog». Además, asegúrate de consultar de vez en cuando la Consola de Búsqueda de Google y las Herramientas para webmasters de Bing.
- Evitar el uso de parámetros de URL: como hemos visto, puedes consumir una parte significativa de tu presupuesto de rastreo con diferentes parámetros de URL que apuntan a la misma página. Puedes eliminar ese problema, por supuesto, eliminando completamente los parámetros de la URL.
Por ejemplo, si tienes un sitio de comercio electrónico, puedes utilizar la siguiente URL para mostrar un producto específico: http://miweb.com/shop?productId=5. En su lugar, cambia esa URL a http://mysite.com/shop/productId5 o algo así. Al hacerlo, eliminarás al menos un parámetro de la solicitud.
Si debes utilizar parámetros de solicitud, asegúrate de indicar a Google cómo manejar esos parámetros en la Consola de Búsqueda. Sólo tienes que hacer clic en «Crawl» en la barra lateral izquierda y seleccionar «Parámetros de URL» en el menú que aparece.
En esa página, puedes editar sus sugerencias y añadir nuevos parámetros para que Google no indexe páginas duplicadas.
Esto cambiará tu Crawl Budget (presupuesto de rastreo) para el SEO.
Pero ten mucho cuidado con esto, un parámetro erróneo puede destruir tu sitio web.
- Usar enlaces internos: se puede decir que uno de los aspectos más descuidados de la optimización de los motores de búsqueda hoy en día es la vinculación interna (interlinking). Ten en cuenta, sin embargo, que normalmente es mejor enlazar internamente a tus páginas más rentables. De esa manera, el Googlebot verá esas páginas con más frecuencia.
- Usar enlaces externos: Un estudio reciente muestra que hay una correlación entre los enlaces externos y el número de veces que Googlebot rastrea un sitio. Por eso es importante que los enlaces externos apunten a tu sitio.
- Mejora la velocidad de tu servidor: es importante realizar una investigación de preventa antes de seleccionar un proveedor de alojamiento (hosting). Debes tener un hosting que responda muy rápidamente a las solicitudes del servidor.
Cuanto más rápido responda tu servidor a una solicitud de página, más páginas rastreará Googlebot.
- Cachear tus páginas… Hablando de velocidad, es una gran idea cachear tus páginas web. Se cargarán más rápido no solo para los usuarios, sino también para Googlebot, lo que dará a tu sitio un impulso en el límite de la tasa de rastreo.
Afortunadamente, es fácil almacenar en caché las páginas en una plataforma de WordPress con el plugin «WP Rocket», «W3 Total Cache» o el plugin «Super Cache».
- Optimizar la velocidad de carga de las páginas: Una vez que hayas puesto tu sitio en un servidor rápido y hayas almacenado tus páginas en caché, puede que no hayas terminado con la optimización de la velocidad. Dirígete a la herramienta PageSpeed Insights y comprueba lo que piensa Google sobre la velocidad de tu página.
Es posible que descubras que todavía hay algunos problemas en tu sitio que impiden que tus páginas se carguen lo más rápido posible.
Afortunadamente, Google no sólo le indica qué es lo que está mal en su sitio, sino también cómo solucionar los problemas que ha identificado.
Envolviendo el Crawl Budget para el SEO
Ahora sabes un poco más sobre los presupuestos de rastreo, la optimización de los motores de búsqueda y cómo afecta a tu sitio.
¿Por qué no te tomas un tiempo hoy para poner en marcha un plan de acción para optimizar tu presupuesto de rastreo?
Esto puede ser muy útil para los sitios web grandes y a menudo conduce a la fijación de muchos otros problemas fuera del rastreo.