무료 Robots.txt 생성기 - AI 봇, ChatGPT 및 스크래퍼 차단

Robots.txt 생성기

이 도구는 모든 크롤러에 적용할 기본 규칙, 차단할 경로 목록, 선택적인 크롤링 지연과 사이트맵 줄, 그리고 두 그룹으로 나뉜 19개의 이름이 지정된 AI 크롤러 및 스크레이퍼 체크리스트로 robots.txt 파일을 만듭니다. 변경할 때마다 미리보기가 즉시 갱신되며, 완성된 파일은 복사하거나 robots.txt로 다운로드할 수 있습니다.

파일이 구성되는 방식

robots.txt 파일은 위에서 아래로 읽히는 User-agent와 지시어 쌍의 단순한 목록입니다. 도구는 항상 User-agent: *로 시작하고, 기본값이 모두 차단이면 Disallow: /가, 모두 허용이면 제한된 경로에 입력한 각 경로마다 Disallow: 줄이 추가됩니다(경로가 없으면 대신 Allow: /가 적힙니다). 선택적인 크롤링 지연은 요청 사이의 대기 시간을 초 단위로 지정하며, 어떤 기본값을 선택했든 추가되지만 모든 크롤러가 이를 따르지는 않습니다. 구글의 크롤러는 크롤링 지연을 완전히 무시하는 반면, 빙을 비롯한 일부는 이 값을 읽습니다. AI 봇 보호에서 체크박스를 선택하면 해당 크롤러의 실제 식별자를 사용한 별도의 User-agent 블록이 추가되는데, 예를 들어 Claude 모델 학습용 크롤러에는 ClaudeBot, 게시판과 포럼을 수집하는 크롤러에는 Omgilibot이 쓰이며 각각 자체 Disallow: /가 뒤따릅니다. 목록 위의 단일 토글로 모든 봇을 한 번에 선택하거나 해제할 수 있고, 이미 전부 선택되어 있으면 전부 해제됩니다. 입력한 주소를 가리키는 Sitemap: 줄은 값이 있을 때만 마지막에 추가됩니다.

예시

기본값을 모두 허용으로 두고, 제한된 경로에 /admin과 /cart를 입력하고, 크롤링 지연을 4로 설정하고, AI 봇 보호에서 ClaudeBot과 Omgilibot을 선택하고, 사이트맵으로 https://example.kr/sitemap.xml을 입력한 사이트를 예로 들어 보겠습니다. 출력은 User-agent: *와 Crawl-delay: 4로 시작해 /admin과 /cart를 차단하고, ClaudeBot과 Omgilibot 각각에 대한 블록을 추가해 둘 다 /를 차단하며, Sitemap 줄로 끝납니다.

출력 예시

# Robots.txt generated by ToolsOfEverything

User-agent: *
Crawl-delay: 4
Disallow: /admin
Disallow: /cart

# AI 봇 보호
User-agent: ClaudeBot
Disallow: /

User-agent: Omgilibot
Disallow: /


Sitemap: https://example.kr/sitemap.xml