Añádelo como fuente preferida en Google
El tráfico de bots está cobrando cada vez más importancia en la web y se está convirtiendo en un factor clave para cualquiera que gestione un sitio web. Esto quedó patente en el análisis de Kinsta de más de 10.000 millones de solicitudes en un año en el que, según los datos, el tráfico de bots impulsado por IA aumentó alrededor de un 300 %.
Con el aumento del tráfico automatizado, la gestión de bots debería ser proactiva siempre que sea posible, antes de que una actividad inusual afecte al rendimiento del sitio o consuma demasiados recursos. Pero eso no significa que haya que bloquear todos los bots. Parte del tráfico automatizado, como los rastreadores de búsqueda y las herramientas de monitorización, resulta beneficioso, mientras que otros bots pueden consumir recursos sin tener intenciones maliciosas.
En el otro extremo del espectro, parte del tráfico de bots puede provocar graves problemas de rendimiento o seguridad, por lo que hay que detenerlo rápidamente. El reto consiste en averiguar a qué te enfrentas y elegir la respuesta adecuada.
Es mejor planificar que entrar en pánico
La mejor respuesta no es entrar en pánico ni bloquearlo todo. En lugar de eso, puedes seguir este proceso que puedes repetir:
- Evalúa el impacto. Averigua qué está pasando y qué tráfico es el responsable.
- Estabiliza el sitio rápidamente si es necesario.
- Elabora un plan de gestión a más largo plazo decidiendo qué permitir, qué someter a verificación o qué bloquear.
- Monitoriza los resultados, haz los ajustes que sean necesarios y documéntalos para el futuro.
Vamos a verlo con más detalle. Al final, te daremos un checklist que te puede servir.
1. Averigua qué está pasando: ¿es un problema de bots o un ataque real?
Antes de tomar cualquier medida respecto al tráfico de bots, es importante que entiendas qué está pasando en tu sitio:
- ¿Tu sitio tiene los típicos problemas con los bots que, aunque es importante abordarlos de forma proactiva, no son emergencias graves?
- ¿Tu sitio está sufriendo un ataque activo por parte de alguien con malas intenciones? O, si no es algo intencionado, ¿hay algún tipo concreto de tráfico automatizado que esté consumiendo demasiados recursos y causando problemas graves?
Si determinas que se trata de un ataque deliberado, o de algún otro tipo de problema grave, tu primera prioridad debería ser estabilizar tu sitio web lo antes posible. A continuación te explicamos cómo hacerlo.
Sin embargo, si el tráfico de bots que llega a tu sitio no es un problema ahora mismo, es mejor gestionar los bots de forma proactiva en lugar de reactiva. Este enfoque te permite ocuparte de los bots antes de que empiecen a afectar al tráfico legítimo de tu sitio.
Las analíticas de tráfico de bots de Kinsta pueden ayudarte a entender qué tipos de bots están accediendo a las distintas secciones de tu sitio. Puedes usar esta información para entender qué está pasando y cómo gestionar los diferentes tipos de tráfico de bots.
Las analíticas de Desglose de las solicitudes te muestran el tráfico de tu sitio desglosado por diferentes categorías:
- Probablemente humanos
- Bots verificados (según Cloudflare)
- Probablemente bots
- Rastreadores de IA
- Rastreadores de IA con frecuencia excesiva
- Tráfico sin clasificar
- Tráfico automatizado
- Tráfico malicioso
- Reglas personalizadas configuradas para tu sitio web por Kinsta
- Automatizaciones de WP
Si te desplazas hacia abajo hasta el recuadro Tráfico principal, podrás ver las rutas, los agentes de usuario, los países y las direcciones IP más frecuentes para las diferentes clasificaciones de tráfico.
Aquí puedes ver qué tipos de bots — e incluso qué bots concretos — están accediendo a diferentes partes de tu sitio web. Usa esta información para decidir si tu sitio está recibiendo tráfico legítimo de bots o si se trata de algún tipo de ataque malicioso.
¿Está el sitio bajo presión?
Que tu sitio web esté o no bajo presión es uno de los factores más importantes a la hora de evaluar la gravedad de lo que está pasando.
Comprueba si se da alguna de las siguientes situaciones:
- Carga de páginas más lenta o errores
- Aumento del uso del servidor, PHP o la base de datos
- Picos de tráfico que no se corresponden con visitantes o métricas legítimas
- Gran cantidad de solicitudes dirigidas a las mismas URLs
Si te encuentras con estos problemas, es probable que tu sitio esté sometido a cierta presión. Es importante que lo sepas, ya que estos problemas afectarán negativamente al tráfico legítimo y requieren una solución rápida.
2. Estabiliza el sitio si es necesario
Si los visitantes legítimos ya se están viendo afectados, no hace falta que hagas una investigación completa antes de tomar medidas. Primero, estabiliza el sitio para que funcione bien para los visitantes legítimos. Después, ajusta tus reglas una vez que la situación de emergencia esté bajo control.
Por otro lado, si tu sitio web no tiene problemas ahora mismo y solo estás abordando de forma proactiva el tráfico de bots, puedes saltarte esta parte y pasar directamente a un enfoque más detallado para gestionar el tráfico de bots.
Para problemas graves que requieran una estabilización inmediata, deberías tener en cuenta lo siguiente:
- Aumenta temporalmente la protección contra los bots. Usa herramientas como la Protección contra Bots de Kinsta para proteger rápidamente tu sitio de los bots.
- Bloquea el tráfico claramente abusivo. Esto te permite detener a los peores infractores antes de que lleguen a tu sitio web.
- Desafía el tráfico sospechoso. En el caso del tráfico que te genere dudas, puedes añadir desafíos para asegurarte de que es legítimo. En la siguiente sección explicaremos con más detalle qué significa «desafiar».
- Mantén el acceso para los rastreadores e integraciones esenciales. Así te aseguras de que las funciones clave del sitio web y las métricas de negocio (como el posicionamiento en las búsquedas de Google) no se vean afectadas.
La protección contra bots de Kinsta ofrece una forma rápida de estabilizar tu sitio web, a la vez que te da la flexibilidad de crear una estrategia optimizada para ese sitio.
Kinsta ya bloquea el tráfico clasificado como malicioso a través de sus protecciones de seguridad básicas, pero unos niveles más estrictos de protección contra bots pueden ayudar con el tráfico automatizado que no está necesariamente clasificado como malicioso.
Por ejemplo, podrías desafiar a todos los bots no verificados o a todo el mundo.
Aunque estos enfoques son más agresivos de lo que la mayoría de los sitios necesitan a largo plazo, son una forma estupenda de estabilizar rápidamente tu sitio y tener todo bajo control mientras desarrollas una estrategia más refinada.
3. Decide qué permitir, desafiar o bloquear
Cuando estés seguro de que tu sitio funciona bien, puedes desarrollar una estrategia a más largo plazo para gestionar el tráfico de bots.
Puedes crear esta estrategia eligiendo si quieres permitir, desafiar o bloquear diferentes tipos de bots.
Esto es lo que significan esos términos:
- Permitir: permite que la solicitud acceda a tu sitio web.
- Desafiar: requiere que la solicitud pase por un paso de verificación adicional antes de acceder al sitio. Con Kinsta, un visitante que supere con éxito el desafío no suele tener que volver a pasar por él durante al menos 10 días mientras utilice el mismo navegador y la misma dirección IP.
- Bloquear: impide que la solicitud acceda a tu sitio web.
A la hora de decidir si permites, desafías o bloqueas distintos tipos de bots, deberías tener en cuenta el siguiente framework:
- ¿Aporta algo el bot? Por ejemplo, los rastreadores de los motores de búsqueda ayudan a que tu sitio reciba tráfico procedente de búsquedas orgánicas, y algunos rastreadores de IA pueden contribuir a la visibilidad o a las citas en respuestas generadas por IA. Por otro lado, un scraper que no envía tráfico a tu sitio puede que no aporte nada.
- ¿Cuánto te está costando el tráfico de bots? Analiza cuánto te está costando el tráfico de bots en términos de recursos del servidor (procesamiento, ancho de banda y consultas a la base de datos) y en el rendimiento para los visitantes legítimos. Recuerda que no todas las solicitudes son iguales: un bot que accede a una entrada de blog en la caché suele «costar» mucho menos que uno que accede a una página dinámica (como el carrito de WooCommerce).
- ¿Qué pasa si bloqueas el bot? Ten en cuenta las consecuencias de bloquearlo. Por ejemplo, bloquear a Googlebot puede impedir que Google rastree e indexe correctamente tu contenido, lo que puede perjudicar gravemente tu visibilidad en la Búsqueda de Google. Por otro lado, puedes bloquear muchos otros bots sin que ello tenga consecuencias para tu sitio web.
Así es como podrían plantearse estas cuestiones:
- Permitir: plantéate esta opción cuando el tráfico sea legítimo y valioso.
- Bloquear: plantéate esta opción cuando el tráfico sea claramente no deseado, abusivo o genere un coste desproporcionado.
- Desafiar: plantéatelo en situaciones en las que no tengas claro cuál es la respuesta adecuada.
Es importante destacar que no tienes por qué aplicar estas reglas de forma universal en todo tu sitio web. Quizás quieras permitir un tipo de bots para cierto contenido de tu sitio, pero desafiarlos o bloquearlos para otro contenido.
La protección contra bots de Kinsta te ayuda a implementar estas reglas flexibles añadiendo excepciones basadas en la dirección IP, la ruta, el agente de usuario o el país.
Consejos para hacer frente a situaciones concretas relacionadas con el tráfico de bots
Para que te hagas una idea de cómo podrías aplicar estos frameworks a un sitio web de WordPress, vamos a ver algunos casos habituales relacionados con los bots y cómo podrías responder a ellos.
Esta no es una lista exhaustiva de todas las situaciones. Se trata más bien de algunos ejemplos comunes para que te hagas una idea de cómo podrían funcionar estos principios en una web real.
Un rastreador de un motor de búsqueda está generando mucho tráfico
Si un rastreador de un motor de búsqueda está generando muchas solicitudes y te preocupa la carga del servidor, aquí te explicamos cómo podrías solucionarlo.
Primero, responde a las siguientes preguntas:
- ¿Qué URLs se están rastreando?
- ¿El rastreador está encontrando contenido útil e indexable?
- ¿Se queda atascado en parámetros, filtros o endpoints dinámicos? Básicamente, URLs que no deberían indexarse.
- ¿Se está viendo realmente afectado el rendimiento legítimo?
En función de esas respuestas, podrías actuar de las siguientes maneras:
- No bloquees automáticamente al rastreador. Investiga los problemas y las ineficiencias del rastreo en lugar de bloquearlo por completo.
- Prioriza mantener el acceso al contenido valioso que se puede indexar.
- Limita o evita que se rastreen las variaciones dinámicas innecesarias de las URLs.
Los rastreadores de IA consumen muchos recursos
Los rastreadores de IA pueden generar muchas solicitudes, pero puede resultar difícil evaluar si aportan valor.
Aquí tienes algunas preguntas que pueden ayudarte a aclararlo:
- ¿Valoras la visibilidad o las citas generadas por la IA?
- ¿El rastreador te envía tráfico de referencia relevante?
- ¿Se dedica principalmente a recopilar contenido sin un beneficio evidente? Hay una diferencia entre ayudar a entrenar un modelo de IA de forma gratuita y potenciar tu visibilidad o citas relacionadas con la IA.
- ¿El tráfico está consumiendo muchos recursos de infraestructura?
Recuerda que no tienes por qué tratar a todos los rastreadores de IA por igual. Puede que algunos te aporten más valor que otros, y es útil tenerlo en cuenta a la hora de responder. Las herramientas de protección contra bots de Kinsta te pueden ayudar a crear reglas distintas para cada rastreador.
Una vez que hayas respondido a esas preguntas, puedes plantearte responder así:
- Permite el acceso a los rastreadores de IA valiosos si su acceso se ajusta a tus objetivos.
- Desafía o restringe a los rastreadores agresivos.
- Bloquea los rastreadores de IA si el tráfico aporta poco valor y genera unos costes de recursos considerables.
Los bots están accediendo a endpoints dinámicos muy caros
Las visitas de los bots a endpoints dinámicos pueden consumir muchos más recursos que las visitas a páginas estáticas almacenadas en la caché.
Algunos ejemplos de estos endpoints en WordPress pueden ser páginas como carritos de la compra, procesos de pago, búsquedas, inicios de sesión, etc. Esto suele ocurrir a menudo en tiendas de WooCommerce, aunque también afecta a otros tipos de sitios web.
Aunque este tráfico de bots no es necesariamente malicioso, resulta problemático por varias razones:
- Las solicitudes pueden saltarse la caché.
- Se requiere procesamiento PHP.
- Pueden ejecutarse consultas a la base de datos.
- Los clientes legítimos compiten por los mismos recursos.
Si te encuentras con este tipo de solicitudes, aquí tienes algunas formas de responder:
- Protege los endpoints específicos que consumen muchos recursos.
- Evita que los rastreadores accedan innecesariamente a las funciones del carrito o de pago.
- No bloquees los rastreadores de búsqueda en todo el sitio, ya que normalmente querrás que puedan acceder al resto del contenido.
- Investiga la proliferación de parámetros en las URLs y los bucles de rastreo.
- Monitoriza el rendimiento del servidor después de aplicar el cambio.
Un rastreador desconocido está rastreando miles de URLs
En algunas situaciones, puede que te encuentres con un bot no identificado que está rastreando de forma agresiva y que no aporta ningún valor evidente a tu sitio web.
Que un bot sea desconocido no significa automáticamente que sea malicioso, pero sí que merece que lo investigues más a fondo. Esto es especialmente cierto si el bot es «caro» y consume muchos recursos.
Aquí tienes una forma equilibrada de responder:
- Comprueba su agente de usuario, direcciones IP, rutas y comportamiento de las solicitudes.
- Averigua si se trata de una integración de la que realmente dependes.
- Ponlo a prueba si no estás seguro.
- Bloquéalo si el tráfico es claramente no deseado y está causando problemas.
- Estate atento a cualquier problema en tu sitio web (por si acaso resulta ser el bot que está detrás de un servicio o integración importante).
- Estate atento a la rotación de identidades o a cambios en los patrones de solicitud.
4. Monitoriza los resultados y haz ajustes si es necesario
Después de poner en marcha tu estrategia para gestionar los bots, es importante monitorizar los resultados para asegurarte de que tu estrategia funciona como esperabas.
Presta atención a los datos clave, como las analíticas de tráfico, el uso de recursos, la visibilidad en los buscadores, las citas y referencias de IA, y otras métricas empresariales relevantes.
Aquí tienes algunas preguntas concretas en las que debes centrarte al monitorizar tu sitio web:
- ¿Ha disminuido el tráfico no deseado?
- ¿Ha mejorado el rendimiento del servidor?
- ¿Siguen funcionando los rastreadores legítimos?
- ¿Se ha estropeado alguna integración?
- ¿Has bloqueado sin querer tráfico valioso?
En función de las respuestas a estas preguntas, podrás decidir si necesitas tomar medidas adicionales:
- Todo está bien: puedes dejar tus reglas tal y como están. Sigue echando un vistazo de vez en cuando para asegurarte de que nada ha cambiado.
- Sigues teniendo problemas con los bots: quizá tengas que ajustar aún más las reglas de tu sitio para que sean más estrictas a la hora de bloquear, desafiar y/o limitar el tráfico de bots.
- Los visitantes legítimos o los bots «buenos» están teniendo problemas: puede que tengas que añadir excepciones específicas o ajustar las reglas de tu sitio para que sean más flexibles.
En resumen: checklist de respuesta ante bots
Para resumir lo que hemos visto, vamos a terminar con una lista clara de verificación sobre cómo responder a los bots que puedes usar para gestionar los bots en tu sitio.
Lo ideal es que sigas estos pasos de forma proactiva antes de que los bots se conviertan en un problema, pero esta lista de comprobación también te sirve si tienes que reaccionar ante un problema urgente.
Cuando detectes por primera vez un tráfico inusual
- ¿Está el sitio web experimentando realmente problemas de rendimiento?
- ¿El tráfico es de personas, automatizado, malicioso o una combinación de todo ello?
- ¿Qué URLs están recibiendo el tráfico?
- ¿Esas URLs están almacenadas en caché o se generan dinámicamente?
- ¿Qué agentes de usuario, direcciones IP y tipos de tráfico son los responsables?
Si el sitio está saturado
- Primero, estabiliza el sitio.
- Aumenta la protección contra bots si es necesario.
- Filtra o bloquea el tráfico que está causando el problema inmediato.
- Mantén los rastreadores e integraciones esenciales siempre que puedas.
Una vez que el sitio esté estable
- Averigua si el tráfico aporta valor al negocio.
- Revisa el coste de su infraestructura.
- Decide si lo permites, lo desafías o lo bloqueas.
- Haz cambios específicos.
- Protege los endpoints de alto valor.
Después del incidente
- Monitoriza los resultados.
- Ajusta las reglas según sea necesario, ya sea añadiendo excepciones, endureciéndolas, etc.
- Documenta lo que ha pasado.
- Revisa la política de vez en cuando.
Kinsta puede ayudarte con la nueva normalidad
El tráfico de bots ya forma parte de lo habitual en el funcionamiento de una web. Sin embargo, como algunos bots desempeñan funciones esenciales y aportan un valor real a tu web, «bloquear todos los bots» no es una estrategia realista ni recomendable para gestionar el tráfico de bots en una web.
En su lugar, desarrolla una estrategia proactiva que tenga en cuenta el valor y el coste de los distintos bots en las diferentes secciones de tu sitio.
Las herramientas y las analíticas de protección contra bots de Kinsta ofrecen a los propietarios de sitios de WordPress y a las agencias de WordPress la visibilidad y los controles necesarios para gestionar el tráfico automatizado sin tratar a todos los bots por igual. Si quieres probarlas por ti mismo, descubre hoy mismo más sobre los planes de alojamiento de Kinsta.
Steve Bonisteel es un Editor Técnico de Kinsta que comenzó su carrera de redactor como periodista de prensa escrita, persiguiendo ambulancias y camiones de bomberos. Lleva tratando temas relacionados con la tecnología de Internet desde finales de la década de 1990.
