spider、botのクロール、spamアクセスを拒否する

robot.txtにspider、botのクロール拒否する文言を追加してみます

Agent xxx-spider
Disallow: /

robot.txtが効かない場合、.htaccessに拒否の文言を追加します

SetEnvIfNoCase Referer xxx-spide.com reject=yes

Order allow,deny
Allow from all
Deny from env=reject

あるいは、

RewriteCond %{HTTP_USER_AGENT} xxx-spider
RewriteRule ^.*$ http://127.0.0.1 [R,L]

２０１５年６月３０日追記
spamアクセス禁止は、.htaccessにて対応できます。

RewriteCond %{HTTP_REFERER} 100dollars-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons\-for\-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} 10\.161\.84\.231 [OR]
RewriteCond %{HTTP_REFERER} semaltmedia\.com [NC,OR]
RewriteCond %{HTTP_REFERER} pizza-tycoon\.com [NC,OR]
RewriteCond %{HTTP_REFERER} hvd-store\.com [NC,OR]
RewriteCond %{HTTP_REFERER} baltkurs\.com [NC]
RewriteRule .* – [F]