- 모든 로봇을 배제하고 싶은 경우
User-agent : *
Disalow: /
- 모든 로봇에게 서버의 일부분만을 제한하고 싶은 경우
User-agent:
Disalow: /my_photo/
Disalow: /my_daily/
(로봇은 my_photo와 my_daily폴더에 속한 웹문서에 접근할 수 없습니다.)
- 특정로봇만 제외하고 싶은 경우
User-agent: Evilrobot
Disalow: /
- 특정로봇만 접근을 허용하고 싶은 경우
User-agent: Cowbot
Disalow:
User-agent: *
Disalow : /
(Cowbot만이 웹문서를 수집해 갈 수 있습니다.)
부가 서비스
구글캐쉬를 통한 개인정보노출 삭제 방안
