robot.txtにspider、botのクロール拒否する文言を追加してみます
Agent xxx-spider Disallow: / |
robot.txtが効かない場合、.htaccessに拒否の文言を追加します
SetEnvIfNoCase Referer xxx-spide.com reject=yes Order allow,deny Allow from all Deny from env=reject |
あるいは、
RewriteCond %{HTTP_USER_AGENT} xxx-spider RewriteRule ^.*$ http: //127.0.0.1 [R,L] |
2015年6月30日追記
spamアクセス禁止は、.htaccessにて対応できます。
RewriteCond %{HTTP_REFERER} 100dollars-seo\.com [NC,OR] RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR] RewriteCond %{HTTP_REFERER} buttons\- for \-website\.com [NC,OR] RewriteCond %{HTTP_REFERER} 10 \. 161 \. 84 \. 231 [OR] RewriteCond %{HTTP_REFERER} semaltmedia\.com [NC,OR] RewriteCond %{HTTP_REFERER} pizza-tycoon\.com [NC,OR] RewriteCond %{HTTP_REFERER} hvd-store\.com [NC,OR] RewriteCond %{HTTP_REFERER} baltkurs\.com [NC] RewriteRule .* – [F] |