Cuando nos ponemos manos a la obra para mejorar nuestro SEO, por lo general siempre nos viene a la cabeza aspectos como el uso de las keywords, los enlaces y demás factores, olvidándonos del protagonista del post de hoy: el crawl budget.
Y es que, en resumidas cuentas, en lo primero que solemos pensar es en elementos relacionados con la intención de búsqueda, dejando de lado aspectos muy importantes como es la optimización del crawl budget que los buscadores nos asignan.
Al ser un aspecto SEO en el que muchos a veces no nos percatamos, es importante que recordemos que, si para que nuestra Web o blog esté bien posicionado en Google, debemos optimizar nuestros contenidos precisamente para los robots de este buscador, que será quien lo indexe y rastree.
Pero al ser éste un concepto algo técnico y no demasiado conocido sobre todo por los profesionales que recién comienzan, me gustaría definirte con precisión de qué se trata esto del «crawl budget».
Menú temático del contenido
¿Qué es un «crawler»?
Antes de que conozcas qué es el «crawl budget», creo importante definir qué es un «crawler», para que así lo comprendas todo mejor.
El crawler no es más que un software, cuyo cometido principal es el de explorar y analizar todas las Webs y sus correspondientes URL’s de manera automática.
En ocasiones, dentro del ámbito del SEO, lo escucharás bajo el nombre de «araña«.
¿Qué es el «crawl budget»?
El «Crawl Budget» es elpresupuesto de tiempo de rastreo que invierte el crawler o araña de Google en rastrear un sitio Web determinado, mediante el cual analiza todo el contenido presente en ella.
Cuando digo todo el contenido, me refiero a todo lo que esté bajo ese dominio de Internet: imágenes, textos, enlaces internos, vídeos, etc.
Por ello, podrás deducir de esta definición que se trata básicamente de la cantidad de tiempo que pasa Google dentro de tu Web o blog.
Dicho esto, puede estar preguntándote en qué interviene de cara al SEO que esta cantidad de tiempo sea mayor o menor, ¿verdad?
Lo cierto es que, aunque hace unos años se le daba mucha mayor importancia de la que hoy en día se le otorga, tener un alto «crawl budget» se considera como un aspecto positivo para el SEO de una página Web.
Si aún no acabas de aclararte con este término, a continuación te lo analizo más detalladamente:
¿Por qué asignan crawl budgets a los sitios Web?
Probablemente, aunque hayas entendido su significado, te explicaré el sentido que tiene la asignación de este tiempo de rastreo.
Simplemente, es debido a que Google no dispone de recursos ilimitados y, dada la cantidad de sitios que hay hoy en día en Internet (y los que se crean cada día), no puede mantener la atención sobre las mismas Webs.
Por tanto, debe distribuir su tiempo productivo conforme a este criterio, para que sus «arañas» tengan unas directrices claras de cuánto merece la pena quedarse en cada uno de estos sitios.
En otras palabras, el crawl budget marcará las prioridades a la hora de visitar todas estas páginas.
Ante todo debo indicarte, para tu tranquilidad, que este factor SEO tan desconocido a veces por muchas personas, adquiere mayor protagonismo en sitios de gran envergadura y con una gran cantidad de URL’s.
Éstas pueden ser del tipo tiendas Online o marketplaces con bastantes años de andadura profesional.
Por ello, si tienes un blog o Web corporativa con pocos meses, no deberías tener demasiados motivos para preocuparte por ello.
¿Por qué es tan importante para el SEO tener un crawl budget alto?
Anteriormente dijimos que lo ideal para un site es que este factor de medida en Internet debía ser cuánto más alto posible mejor, para que así beneficie a nuestro posicionamiento orgánico.
Algunas de las razones son:
» Indexará nuestro contenido más rápidamente
Teniendo en mente que tenemos un blog donde periódicamente publicamos contenidos nuevos, es evidente que pretendemos que Google Bot los posicione cuanto antes mejor.
A partir de ahí, le damos la posibilidad al buscador que analice nuestro contenido, lo valore y, en consecuencia, nos otorgue un mejor o peor Posicionamiento SEO para las palabras clave que hemos trabajado.
Sin embargo, si el crawl budget es escaso, es muy probable que éste salga de nuestra Web antes de que logre indexar este nuevo contenido.
Por ello, al no indexarlo en el presente rastreo, deberemos esperar a que pase en la siguiente ocasión para poder posicionar el contenido de nuestro interés.
» Evitar que indexe contenidos copiados antes que el nuestro (original)
Otro de los motivos por los que nos interesa incrementar este factor es una consecuencia que, en más de una ocasión, ha dado algún disgusto a profesionales del Marketing Digital.
Se trata del «contenido duplicado«, algo que ninguno de los profesionales que generamos semanalmente artículos originales y de cierta calidad deseamos sufrir.
Por ello, si suponemos que tenemos un blog en el que hemos creado un post que aporta mucho valor y muy trabajado y, por tener un bajo tiempo de rastreo el Google Bot no lo ha detectado, otra Web puede copiárnoslo.
Así, si la Web «plagiadora» tiene la suerte de que Google sí se lo indexe, su URL será la primera indexada para este contenido.
Por ello, cuando pase por nuestro contenido, al ver que éste es idéntico al anterior, entenderá que el nuestro es el duplicado.
¿Cómo puedo saber cuál es el crawl budget de mi Web o blog?
Es normal que, teniendo en cuenta todo lo anteriormente dicho, quieras conocer el tiempo que invierte la araña del buscador en rastrear tus contenidos.
Por te mostraré cómo hacerlo, ya que es muy sencillo, rápido e intuitivo:
1. Da de alta a tu Web en Search Console
Lo primero que debes hacer es dar de alta a tu dominio en la plataforma «Google Search Console«.
Éste debería ser un paso obligatorio siempre que inicias un proyecto en Internet. En caso de que ya tengas acceso, pasa directamente al siguiente paso.
2. Abre las opciones de rastreo
Inicia sesión en tu cuenta y ve a la opción «Rastreo > Estadísticas de rastreo«. Justo aquí verás la pantalla donde, de manera gráfica, podrás conocer estos tiempos:
¿Cómo puedo optimizar el Crawl Budget de mi página?
Una vez tenemos todas las herramientas para conocer los datos más importantes, el siguiente paso «casi obligado» será optimizarlo, ya que en la mayoría de los casos, el crawl budget será mejorable.
Por ello, debemos atacar a todas las URL’s de nuestro sitio que contengan errores que hagan no aportar valor real a nuestro proyecto y, por tanto, den señales a Google de que no merece la pena invertir demasiado crawl budget en ella.
1. Evitar la canibalización
Como ya pudiste comprender en un anterior post de este blog donde te contaba la importancia de la canibalización de palabras clave, éste es básicamente un mal que afecta a dos contenidos de un mismo sitio Web que apuntan a la misma intención de búsqueda.
Por ello, además de poder ser motivo de penalización o bajada en los rankings de búsqueda, si tienes 2 URL’s que atienden a la misma ‘query’, el crawler deberá rastrear ambas páginas.
Esto hará que pierda ese intervalo de tiempo (por ínfimo que sea) en pasar por ambas, cuando con tal de que pasara por una de ellas, sería suficiente para que Google sepa que quieres posicionar las keywords de ese contenido.
2. No indexando las búsquedas de los usuarios
Normalmente, ya sea que tengas una Web corporativo, blog o eCommerce, es frecuente que se disponga de un buscador interno, para que nuestros lectores puedan localizar el contenido deseado.
El problema es cuando permitimos la indexación de esas búsquedas. Esto supondría que el Google Bot tenga que invertir más tiempo en explorar esa cantidad de búsquedas realizadas.
- Éstas son del tipo:https://webescuela.com/?s=curso+de+community+manager (poniendo el ejemplo que la búsqueda haya sido «curso de community manager»).
3. No indexar las URL’s de errores 3XX ó 4XX
Del mismo modo que el ejemplo anterior, puede ser que, según la configuración de tu sitio, tengas habilitada alguna opción que haga que se indexen todos aquellos errores de páginas no encontradas, redirecciones mal hechas, etc.
Esto provocará que, igualmente, se incremente notablemente el número de páginas totales de tu dominio y, por ende, el crawl budget total.
Sino, ¿qué sentido tendría indexar URL’s de este tipo?
4. No generar contenidos «al peso»
Hay sitios que generan una cantidad de contenido masivo y/o abusivo, tan sólo por tener algo que publicar cada día.
En la mayoría de estos casos, un gran porcentaje de éstos son de escaso valor o sin pretensiones de ser posicionados y tan sólo son creados tan sólo por tener algo que compartir con su supuesta audiencia.
Cada uno de ellos generará una URL que, sumados, darán como consecuencia un gran número de URL’s que obviamente hará «entretenerse» demasiado tiempo a Google Bot, haciendo que su crawl budget aumente inútilmente.
5. Optimiza tu velocidad de carga
Es evidente que, puestos a ahorrar URL’s, tiempo de lectura al crawler de Google y, en definitiva, ponerle las cosas más fáciles, la velocidad de carga de cada una de tus páginas juega un papel importante.
Por ello, deberás asegurarte de que todas y cada una de tus URL’s tiene una velocidad de carga lo más baja posible, optimizando para ello cada uno de los factores necesarios para tener un óptimo WPO (Web Performance Optimization).
Para que puedas tener una referencia de este factor, se considera una página «lenta» toda aquella que supere los 3 segundos, aunque obviamente, cuanto más consigamos bajar de esta cifra, mucho mejor.
6. Estructura de enlaces coherente
Del mismo modo, otro de los factores que incidirá en aumentar gravemente este factor del que hoy te hablo es el hecho de tener una estrategia de enlaces internos algo irregular o con poco sentido.
Esto se debe a que, en nuestro intento por añadir en nuestros contenidos cuanto más enlaces internos posible para mejorar nuestro SEO, podemos causar el efecto contrario, al implementarlos sin ningún criterio ni estrategia.
¿Cómo aumentar el presupuesto de rastreo (crawl budget)de mi Web?
Del mismo modo que podemos arreglar algunos de los errores anteriormente descritos, también podemos de igual forma impulsar nuestro tiempo de rastreo, para que este se incremente.
Estas son algunas de las acciones que te recomiendo:
1. Publicar contenidos periódicamente
Si Google es hoy en día lo que es, es obviamente porque está hecho en base a un algoritmo de búsqueda muy bien creado y pensado para que en el TOP10 de la SERP únicamente estén los que verdaderamente son los mejores.
Por ello, si detecta que tu ritmo de publicaciones es irregular o que, para más «inri», tus contenidos son bastante antiguos y llevas tiempo sin actualizarlos ni mejorarlos, te será difícil que tu crawl budget aumente.
2. Aumentar tu autoridad
Seguro que te será familiar la famosa métrica de la autoridad de dominio (DA) que, hasta hace poco tiempo, se usaba en SEO para medir, en cierta manera, la «calidad» que MOZ otorgaba a una Web.
A día de hoy, personalmente me guío bastante más de la autoridad que nos indican herramientas como Ahrefs.
Y una de las maneras de conseguirlo es teniendo una buena estrategia de Linkbuilding.
De esta forma, si conseguimos una gran cantidad de backlinks de calidad hacia nuestro dominio, lograremos dar señales a Google de que «merecemos» que invierta más tiempo en nuestro sitio.
Conclusión
Como has podido comprobar, existen multitud de factores que hacen que el crawl budget de tu sitio Web no sea el más óptimo.
Además, como te he mostrado, el hecho de conseguir aumentar este presupuesto temporal hace que Google nos tenga más consideración y, por ende, a cada una de las URL’s de nuestro dominio al completo.
Por ello te animo a que sigas estas recomendaciones para que la araña se sienta «como en casa» dentro de tu Web.
¿Conoces ya cuál es el crawl budget de tu proyecto digital y cómo puedes mejorarlo?
Imágenes principales (computación) de Freepik.
Cuéntame tu experiencia y si conoces alguna otra técnica para mejorar este factor en los comentarios.
