728x90
웹 사이트에서 구글이나 웹 로봇들이 크롤링(스파이더링) 하는것을 막기위해 robots.txt 를 많이 이용한다.
그런데, wget 에서 robots.txt 를 방지하는 옵션이 있다. (v1.12 에서 이 옵션으로 정상작동하는 것을 확인하였다.)
#wget -e robots=off --wait 1 http://your.site.here
'Engineering > Etc' 카테고리의 다른 글
| 이상한 이름을 가진 파일을 지울때 (in Linux) (0) | 2010.08.19 |
|---|---|
| 트위터 버튼 달기 (0) | 2010.08.18 |
| MySQL Injection - load_file() (0) | 2010.07.30 |
| 워드문서내 가로 세로 혼용 문서 만들기 (0) | 2010.07.29 |
| linux 명령어 watch - 주기적으로 실행 결과 표시 (0) | 2010.07.20 |