Pregunton.Org

934 Preguntas , 2.618 Respuestas , 5 Usuarios conectados

BingBot inunda mi página de peticiones, ¿qué hago?

Mi servidor web está teniendo problemas de sobrecarga debido a que un robot identificado como BingBot no para de realizar peticiones, hasta varias por segundo en algunos casos. ¿Qué puedo hacer para frenarlo un poco? ¿Es conveniente frenarlo?

 
Preguntado por MacroE
    Share on Google+        

Respuesta:

Yo tengo el mismo problema con Googlebot y con Baidu.

Hay un parámetro llamado "Crawl-delay" que se puede incluir en el fichero robots. txt precisamente para evitar este problema.

El asunto es que muchos robots no respetan este parámetro.
http://en.wikipedia.org/wiki/robots_exclusion_standard#crawl-delay_directive
 
Respondido por josean

Añade aquí tu propia respuesta:

 
Respondido por Anónimo el
 

 

 

Pueblos | Compra Venta | Genealógico | Foro Común | Tú Opinas | IberBase
Móvil | Escritorio | Privacidad | LOPD | Contactar | © Proyectos IP
Preguntar

 

 

bingbot frenarlo robots parametro robot sobrecarga peticiones web servidor respetan incluir fichero asunto precisamente delay txt conveniente pagina inunda teniendo identificado baidu googlebot crawl