트래픽초과가 자꾸 생겨서 원인을 파악해 보니 구글ip과 거의 50%를 가져 가길래,
로봇전체 차단을 선택하지 않고 구글봇만 차단하니
왠만한 방문자수에는 트래픽이 차단이 되지를 않는군요.
저번에는 방문자수가 150정도만 되어도 트래픽차단이 되던 것이
지금은 방문자수사 230정도 되어도 트래픽의 80%가 되지를 않는군요.

[설정방법]
robots.txt를 아래의 내용으로 만들어서 상위폴더에 올리면 됩니다.

여기서 Googlebot 이자리에 ip검색을 하여서 로봇의 이름을 적으면 됩니다.

참고 : 주로 쓰는 로봇의 이름만 알려드리면...
구글: Googlebot
구글 이미지 : googlebot-image
네이버 : cowbot
야후 : Slurp
야후 이미지 : Yahoo-MMCrawler
엠파스봇 : empas
MSN : MSNBot
첫눈: 1Noonbot 1.0

robots.txt 자세한 내용보기