무료 변환기
로봇.txt 발전기
귀하의 웹사이트에 대한 robots.txt 파일을 즉시 생성하세요. 사용자 에이전트 규칙, 경로 허용/금지, 크롤링 지연 및 사이트맵 URL을 추가합니다. 무료 실시간 robots.txt 생성기.
귀하의 웹사이트에 대한 robots.txt 파일을 즉시 생성하세요. 사용자 에이전트 규칙, 경로 허용/금지, 크롤링 지연 및 사이트맵 URL을 추가합니다. 무료 실시간 robots.txt 생성기.
robots.txt는 크롤러에게 방문할 수 있는 경로와 피해야 할 경로를 알려주는 웹사이트 루트에 있는 일반 텍스트 파일입니다. 이 형식은 1994년에 만들어졌으며 거의 모든 검색 엔진과 제대로 작동하는 크롤러에서 지원됩니다. 파일은 권고 사항이므로 악의적인 크롤러는 이를 무시하지만 합법적인 크롤러(Google, Bing 등)는 해당 지시문을 안정적으로 따릅니다.
일반적인 용도: 관리 영역(/wp-admin/, /admin/)에서 크롤러를 차단하고, 중복 콘텐츠를 생성하는 패싯 검색 URL 매개변수를 제외하고, 준비 또는 개발 경로의 색인 생성을 방지하고, 사이트맵 위치를 선언하고, 다른 사용자 에이전트를 차단하면서 특정 사용자 에이전트를 허용합니다. 각 크롤링 세션이 시작될 때 파일을 읽습니다.
이 생성기는 양식 입력에서 구문적으로 올바른 robots.txt를 작성합니다. 일반적인 패턴(모두 허용, 모두 차단, 특정 경로 차단)은 템플릿입니다. 사용자 에이전트별로 사용자 정의 규칙을 추가할 수 있습니다. 출력은 사이트 루트의 /robots.txt로 이동됩니다.
손으로 쓰는 robots.txt는 오류가 발생하기 쉽습니다. 구문 실수(대소문자 구분, 정확한 경로 일치, 규칙 순서)는 자동으로 잘못된 동작을 생성합니다. 차단하려는 경로는 크롤링 상태로 유지되거나 색인화하려는 경로는 제외됩니다. 올바른 구문을 생성하는 생성기는 이러한 함정을 방지합니다.
robots.txt는 또한 다른 SEO 도구와 미묘한 상호 작용을 합니다. robots.txt의 경로를 허용하지 않아도 해당 경로가 검색결과에 표시되는 것을 방지할 수는 없습니다. Google에서는 URL을 크롤링하지 않고 색인을 생성할 수 있습니다. 메타 NOINDEX를 사용하려면 페이지를 먼저 크롤링해야 합니다. 어떤 의도에 어떤 도구를 사용해야 하는지 아는 것이 중요합니다. 발전기가 당신을 안내할 수 있습니다.
템플릿을 선택하고 사용자 정의하고 배포하세요.
형식: User-agent: <name> 뒤에 Allow/Disallow 지시어가 옵니다. *는 모든 봇과 일치합니다. 특정 이름(Googlebot, Bingbot)은 특정 크롤러를 대상으로 합니다. 여러 사용자 에이전트 블록은 규칙을 쌓을 수 있습니다.
허용 안 함: <path>는 지정된 접두사로 시작하는 경로를 차단합니다. Disallow: / 전체 사이트를 차단합니다. 허용하지 않음: /admin/은 /admin/ 아래의 모든 항목을 차단합니다. 후행 슬래시가 중요합니다. 허용하지 않음: /admin(슬래시 없음)도 /administrator와 일치합니다.
크롤링 지연(초)은 더 느린 크롤링을 요청합니다. 사이트맵(절대 URL)은 사이트맵 위치를 선언합니다. # 주석 라인을 시작합니다.