Robots.txt 자세한설명, 설정 예제
로봇 배제 표준[Robots exclusion standard] Rotobs.txt는 도메인을 가지고 있는 웹 사이트의 콘텐츠(contents)를 로봇이 접근하여 크롤링하는 것을 방지하기 위한 규약을 기술해 놓은 파일이다. 1994년 6월에 만들어 졌지만 이 규약은 권고안이기 때문에 접근 방지 설정을 하더라도 강제성이 없으며 실제 접근이 가능하다. 파일의 위치는 도메인의 root폴더에 위치한다. 예를들어, 나의 티스토리 도메인은 http://devlinker.tistory.com 이며, 브라우저에서 http://devlinker.tistory.com/robots.txt 입력하면 확인가능하다. 예제> 1. 사이트내에 모든 문서를 모든 로봇에게 접근 허용 User-agent: *
WWW
2017. 3. 21. 23:59
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- signtool
- SW대회
- 타임스탬프
- 프로그래밍대회
- WSS
- 디지털서명
- 관련사이트
- 온라인저지
- qwebview
- Python
- stamp
- Android
- .svn
- ORACLE 프로시져생성
- 명령어
- 리눅스
- websocket
- 서버주소
- 코드스쿨
- 프로젝트관리전문가
- 파이썬
- 안드로이드 화면 밝기 조절
- 사용법
- 소프트웨어대회
- IT-PMP
- 파이썬프레임워크
- 자유한국당
- setup.py
- 더불어 민주당
- PyQt
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함