presupuesto de rastreo - crawl budget

 

El Crawl Budget y como afecta al SEO har√° que tu web sea indexada r√°pidamente, por eso necesitas entender el significado del presupuesto de rastreo (Crawl Budget) para que puedas sacarle el m√°ximo rendimiento.

El presupuesto de rastreo afecta a todos los sitios grandes y peque√Īos. Pero a menudo, los sitios grandes, los sitios con errores t√©cnicos o los sitios con caracter√≠sticas √ļnicas de generaci√≥n de URL realmente necesitan prestar atenci√≥n aqu√≠.

Todo lo que necesita saber sobre el Crawl Budget para SEO

El concepto de presupuesto de rastreo (Crawl Budget) fue una vez un juego de adivinanzas entre los SEOs.

En este artículo, cubriremos todo lo que necesita saber sobre el presupuesto de rastreo y te ofreceremos algunos consejos de optimización.

¬ŅQu√© es un presupuesto de rastreo o Crawl Budget?

Antes de que puedas entender el concepto de presupuesto de rastreo para el SEO, primero tendrás que familiarizarse con otro término: Googlebot.

Googlebot es el nombre que se le da al robot de Google que se desplaza por tu sitio web en busca de p√°ginas para a√Īadirlas a su √≠ndice.

Puedes pensar en él como un navegador web digital.

Dado que hay billones y billones de páginas en la web, no sería práctico para Googlebot rastrearlas cada segundo de cada día. Hacerlo consumiría un valioso ancho de banda en línea, lo que resultaría en sitios web de menor rendimiento.

Google asigna un presupuesto de rastreo para cada sitio web.

Ese presupuesto determina la frecuencia con la que Googlebot rastrea el sitio en busca de p√°ginas para indexar.

Google define la misión del presupuesto de rastreo de la siguiente manera:

“Dar prioridad a lo que se debe rastrear, a cu√°ndo y a cu√°ntos recursos puede asignar el servidor que aloja el sitio web al rastreo es m√°s importante para los sitios web m√°s grandes o para los que generan p√°ginas autom√°ticamente en funci√≥n de los par√°metros de la URL, por ejemplo”.

¬ŅPor qu√© es importante la optimizaci√≥n del Crawl Budget para el SEO?

crawl budget googlebot

La respuesta a esto es fundamental y simple.

Cuanto mejor se optimice el presupuesto de un rastreo para indexar una página, mejor será tu posición en Google (mejora el posicionamiento de tu página web).

Es crucial asegurarse de que si tienes un sitio grande, espec√≠ficamente de comercio electr√≥nico, o has a√Īadido muchas p√°ginas o tienes muchas p√°ginas redirigidas, tengas la capacidad de rastrear el presupuesto para manejarlo.

Sin embargo, esto no debería ser una gran preocupación, ya que Google rastrea las páginas indexadas de forma eficiente, pero es algo que sin duda hay que tener en cuenta.

Límite de la tasa de rastreo

El l√≠mite de la tasa de rastreo es un poco diferente del presupuesto de rastreo. Define el n√ļmero de conexiones simult√°neas que Googlebot utiliza para rastrear un sitio y el tiempo que esperar√° antes de buscar otra p√°gina.

Recuerda que Google se basa en la experiencia del usuario.

La razón por la que su robot utiliza un límite de velocidad de rastreo es para evitar que un sitio sea invadido por agentes automatizados hasta tal punto que los usuarios humanos tengan problemas para cargar el sitio en sus navegadores.

Aquí hay un par de factores que afectan la tasa de arrastre:

  • Velocidad del sitio web – Si un sitio responde r√°pidamente al Googlebot, entonces Google aumentar√° la tasa l√≠mite de rastreo. Por otro lado, Google reducir√° la tasa de rastreo para los sitios web lentos.
  • Configuraci√≥n en la Consola de B√ļsqueda – Los webmasters tambi√©n pueden configurar el l√≠mite de rastreo en la Consola de B√ļsqueda. Si bien no pueden aumentar la tasa de rastreo, pueden reducirla si creen que Google est√° realizando demasiado rastreo en su servidor.

Ten en cuenta que, aunque una tasa de rastreo saludable puede hacer que las p√°ginas se indexen m√°s r√°pido, una tasa de rastreo m√°s alta no es un factor de clasificaci√≥n en los resultados de b√ļsquedas.

Demanda de rastreo – Presupuesto de Crawl Budget para SEO

Incluso si no se alcanza el l√≠mite de rastreo, Google puede reducir el n√ļmero de p√°ginas que el robot rastrea.

La disminución de la actividad del bot se denomina reducción de la demanda de rastreo.

¬ŅQu√© afecta a la demanda de rastreo? Hay un par de cosas:

  • Popularidad – Las p√°ginas que son m√°s populares (es decir, que se comparten mucho en los medios sociales y reciben enlaces de otros sitios web) tienden a ser rastreadas m√°s a menudo.
  • Estancamiento – Google intenta evitar que las URLs se vuelvan “rancias” en su √≠ndice.

Adem√°s, los eventos en todo el sitio (como un traslado del sitio) pueden resultar en un aumento de la demanda de rastreo. Esto se debe a que Google necesita reindexar el contenido con las nuevas URL.

¬ŅQu√© afecta al presupuesto de rastreo?

que es el crawl budget

Básicamente, el presupuesto de rastreo es una combinación de la tasa de rastreo y la demanda de rastreo.

Afortunadamente, Google ha identificado exactamente los factores que afectan al presupuesto de rastreo. Aquí tiene una lista de ellos, clasificados por orden de importancia:

  • Par√°metros de la URL – A menudo ocurre que una URL base (por ejemplo, “http://miweb.com”) a√Īadida con par√°metros (por ejemplo, “http://miweb.com?id=3”) devuelve exactamente la misma p√°gina. Ese tipo de configuraci√≥n podr√≠a dar lugar a que numerosas URL √ļnicas cuenten para el presupuesto de rastreo, aunque todas esas URL devuelvan la misma p√°gina.
  • Contenido duplicado: en algunos casos, las URL pueden ser totalmente √ļnicas sin par√°metros de solicitud y a√ļn as√≠ devolver el mismo contenido. Esto tambi√©n afectar√° negativamente al presupuesto de rastreo y al SEO.
  • P√°ginas de error¬†– Las p√°ginas de error 404 (p√°ginas no encontradas) tambi√©n afectan el presupuesto de rastreo. Afortunadamente, tambi√©n se informan en la consola de b√ļsqueda.
  • P√°ginas pirateadas: los sitios que han sido v√≠ctimas de piratas inform√°ticos pueden ver limitado su presupuesto de rastreo.
  • Espacios infinitos: los sitios con enlaces ilimitados (como los calendarios en los que los usuarios pueden hacer clic en un d√≠a, un mes o un a√Īo) se dar√°n cuenta de que Googlebot malgasta su presupuesto de rastreo en enlaces que podr√≠an carecer de importancia.
  • Contenido de baja calidad: si el sitio tiene una calidad deficiente, es probable que Google limite el presupuesto de rastreo.

Cómo optimizar el Crawl Budget

Ahora que ya conoce el concepto de presupuesto de rastreo para el SEO, es hora de optimizar tu sitio en consecuencia.

Aquí hay varias maneras de hacer eso.

  • Uso de herramientas gratuitas: tanto la Consola de B√ļsqueda de Google como las Herramientas para webmasters de Bing le ofrecen mucha informaci√≥n sobre los problemas que podr√≠an afectar negativamente a su presupuesto de rastreo. Aseg√ļrate de utilizarlas y de configurarlas para todos los sitios que est√©s monitorizando.

Entonces, comprueba de vez en cuando con esas herramientas si tus sitios tienen alg√ļn problema.

Por ejemplo, si la Consola de b√ļsqueda informa de que uno de sus sitios tiene algunos errores 404, aseg√ļrate de solucionar ese problema inmediatamente.

Recuerda, tanto Google como Microsoft quieren que tengas éxito online. Es por eso que proporcionan esas herramientas de forma gratuita.

  • Aseg√ļrese de que tus p√°ginas sean rastreables: es tentador aprovechar las maravillas de la tecnolog√≠a moderna hasta tal punto que dificulta que Googlebot rastree tu sitio. Resista esa tentaci√≥n.

Por ejemplo, una tecnología como AJAX (Asynchronous JavaScript and XML) carga el contenido para que los usuarios no tengan que actualizar la página.

Sin embargo, el contenido cargado por AJAX podría no ser accesible por el Googlebot. así que lo guardaremos para otra publicación.

Adem√°s, usa un mapa del sitio (XML) y aseg√ļrate de que est√© siempre actualizado. Afortunadamente, los sistemas de gesti√≥n de contenidos como WordPress hacen que sea f√°cil hacerlo.

  • Limitar los redireccionamientos: cada vez que una de las p√°ginas de su sitio se redirecciona a otra p√°gina (con un redireccionamiento 301 o 302), utiliza una peque√Īa parte de tu presupuesto de rastreo. Esto significa que si tienes muchas redirecciones, tu presupuesto de rastreo podr√≠a agotarse antes de que Googlebot rastree la p√°gina que desea indexar.

Elimina los enlaces rotos: si tienes muchos enlaces rotos en tu sitio, deber√°s limpiarlos y corregirlos si deseas maximizar tu presupuesto de rastreo.

Afortunadamente, es f√°cil encontrar enlaces rotos con una herramienta como “Screamig Frog”. Adem√°s, aseg√ļrate de consultar de vez en cuando la Consola de B√ļsqueda de Google y las Herramientas para webmasters de Bing.

  • Evitar el uso de par√°metros de URL: como hemos visto, puedes consumir una parte significativa de tu presupuesto de rastreo con diferentes par√°metros de URL que apuntan a la misma p√°gina. Puedes eliminar ese problema, por supuesto, eliminando completamente los par√°metros de la URL.

Por ejemplo, si tienes un sitio de comercio electrónico, puedes utilizar la siguiente URL para mostrar un producto específico: http://miweb.com/shop?productId=5. En su lugar, cambia esa URL a http://mysite.com/shop/productId5 o algo así. Al hacerlo, eliminarás al menos un parámetro de la solicitud.

Si debes utilizar par√°metros de solicitud, aseg√ļrate de indicar a Google c√≥mo manejar esos par√°metros en la Consola de B√ļsqueda. S√≥lo tienes que hacer clic en “Crawl” en la barra lateral izquierda y seleccionar “Par√°metros de URL” en el men√ļ que aparece.

En esa p√°gina, puedes editar sus sugerencias y a√Īadir nuevos par√°metros para que Google no indexe p√°ginas duplicadas.

Esto cambiar√° tu Crawl Budget (presupuesto de rastreo) para el SEO.

Pero ten mucho cuidado con esto, un parámetro erróneo puede destruir tu sitio web.

bot googlebot

  • Usar enlaces internos: se puede decir que uno de los aspectos m√°s descuidados de la optimizaci√≥n de los motores de b√ļsqueda hoy en d√≠a es la vinculaci√≥n interna (interlinking). Ten en cuenta, sin embargo, que normalmente es mejor enlazar internamente a tus p√°ginas m√°s rentables. De esa manera, el Googlebot ver√° esas p√°ginas con m√°s frecuencia.
  • Usar enlaces externos:¬†Un estudio reciente muestra que hay una correlaci√≥n entre los enlaces externos y el n√ļmero de veces que Googlebot rastrea un sitio. Por eso es importante que los enlaces externos apunten a tu sitio.
  • Mejora la velocidad de tu servidor: es importante realizar una investigaci√≥n de preventa antes de seleccionar un proveedor de alojamiento (hosting). Debes tener un hosting que responda muy r√°pidamente a las solicitudes del servidor.

Cuanto m√°s r√°pido responda tu servidor a una solicitud de p√°gina, m√°s p√°ginas rastrear√° Googlebot.

  • Cachear tus p√°ginas… Hablando de velocidad, es una gran idea cachear tus p√°ginas web. Se cargar√°n m√°s r√°pido no solo para los usuarios, sino tambi√©n para Googlebot, lo que dar√° a tu sitio un impulso en el l√≠mite de la tasa de rastreo.

Afortunadamente, es f√°cil almacenar en cach√© las p√°ginas en una plataforma de WordPress con el plugin “WP Rocket”, “W3 Total Cache” o el plugin “Super Cache”.

  • Optimizar la velocidad de carga de las p√°ginas: Una vez que hayas puesto tu sitio en un servidor r√°pido y hayas almacenado tus p√°ginas en cach√©, puede que no hayas terminado con la optimizaci√≥n de la velocidad. Dir√≠gete a la herramienta PageSpeed Insights y comprueba lo que piensa Google sobre la velocidad de tu p√°gina.

Es posible que descubras que todavía hay algunos problemas en tu sitio que impiden que tus páginas se carguen lo más rápido posible.

Afortunadamente, Google no sólo le indica qué es lo que está mal en su sitio, sino también cómo solucionar los problemas que ha identificado.

Envolviendo el Crawl Budget para el SEO

Ahora sabes un poco m√°s sobre los presupuestos de rastreo, la optimizaci√≥n de los motores de b√ļsqueda y c√≥mo afecta a tu sitio.

¬ŅPor qu√© no te tomas un tiempo hoy para poner en marcha un plan de acci√≥n para optimizar tu presupuesto de rastreo?

Esto puede ser muy √ļtil para los sitios web grandes y a menudo conduce a la fijaci√≥n de muchos otros problemas fuera del rastreo.

Abrir chat