robot.txtにspider、botのクロール拒否する文言を追加してみます
Agent xxx-spider
Disallow: /
robot.txtが効かない場合、.htaccessに拒否の文言を追加します
SetEnvIfNoCase Referer xxx-spide.com reject=yes
Order allow,deny
Allow from all
Deny from env=reject
あるいは、
RewriteCond %{HTTP_USER_AGENT} xxx-spider
RewriteRule ^.*$ http://127.0.0.1 [R,L]
2015年6月30日追記
spamアクセス禁止は、.htaccessにて対応できます。
RewriteCond %{HTTP_REFERER} 100dollars-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} 10\.161\.84\.231 [OR]
RewriteCond %{HTTP_REFERER} semaltmedia\.com [NC,OR]
RewriteCond %{HTTP_REFERER} pizza-tycoon\.com [NC,OR]
RewriteCond %{HTTP_REFERER} hvd-store\.com [NC,OR]
RewriteCond %{HTTP_REFERER} baltkurs\.com [NC]
RewriteRule .* – [F]
ロボット・ドローン部品お探しなら
