로봇 배제 표준[Robots exclusion standard] Rotobs.txt는 도메인을 가지고 있는 웹 사이트의 콘텐츠(contents)를 로봇이 접근하여 크롤링하는 것을 방지하기 위한 규약을 기술해 놓은 파일이다. 1994년 6월에 만들어 졌지만 이 규약은 권고안이기 때문에 접근 방지 설정을 하더라도 강제성이 없으며 실제 접근이 가능하다. 파일의 위치는 도메인의 root폴더에 위치한다. 예를들어, 나의 티스토리 도메인은 http://devlinker.tistory.com 이며, 브라우저에서 http://devlinker.tistory.com/robots.txt 입력하면 확인가능하다. 예제> 1. 사이트내에 모든 문서를 모든 로봇에게 접근 허용 User-agent: *
WWW
2017. 3. 21. 23:59
공지사항
최근에 올라온 글
최근에 달린 댓글
- Total
- Today
- Yesterday
링크
TAG
- 파이썬프레임워크
- 사용법
- 파이썬
- 프로젝트관리전문가
- 리눅스
- Python
- 관련사이트
- 코드스쿨
- PyQt
- ORACLE 프로시져생성
- Android
- 안드로이드 화면 밝기 조절
- 디지털서명
- setup.py
- 명령어
- 온라인저지
- 프로그래밍대회
- qwebview
- 서버주소
- stamp
- signtool
- 소프트웨어대회
- websocket
- 더불어 민주당
- IT-PMP
- .svn
- 자유한국당
- WSS
- 타임스탬프
- SW대회
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | |||||
3 | 4 | 5 | 6 | 7 | 8 | 9 |
10 | 11 | 12 | 13 | 14 | 15 | 16 |
17 | 18 | 19 | 20 | 21 | 22 | 23 |
24 | 25 | 26 | 27 | 28 | 29 | 30 |
31 |
글 보관함