3/08/2019, 6:41:57 PM
(3/08/2019, 6:33:52 PM)face escribió: Te consulto lo siguiente, hay dos formas de evitar el crawler una es poniendo en el enlace ?refer=psuv.org también eliminado el nofollow de .htdocs y también depurando el sitemap.xml, eso es lo que hacen sitios como camwhores y camgirls, puede ser que el bbcode sea editables al menos el de mega para forzar el refer
El crawler llega a Mega, y ellos almacenan en sus log los datos de los refer. Si modificamos el bbcode bloqueamos el embed. No dejara conectar. Igual si hacemos la petición desde un proxy o redireccionamos el dominio. La forma es que no lo encuentren desde mega con los scrapebox. Dificilmente llegaran aqui a no ser que sea por mega o cualquier filehost que se use.
![[-]](https://www.ultraforos.net/foros/images/collapse.png)
