Lo que puede hacer es comprobar lo que es un rastreador ve desde su sitio.
Como ya se mencionó, los rastreadores no son seres humanos y no ven las imágenes, películas Flash, JavaScript, marcos, páginas protegidas por contraseña y directorios, así que si usted tiene un montón de ellos en su sitio, es mejor que correr el Spider Simulador
abajo para ver si estas golosinas se pueden ver por la araña. Si no están visibles, no se spidered, no indexados, no procesados, etc - en una palabra que será inexistente para los motores de búsqueda
.