구글 애드센스 광고 크롤러 오류 robots.txt 문제 이렇게 해결하세요

크롤로 오류 해결방법

 

어느 날 갑자기 구글 애드센스 상단에 없었던 글들이 보인다.

 

광고 수익도 없었는데 거기다 크롤로 오류 문제로 수익에 지장을 초래할 수 있다니 겁이 덜컥 난다.

 

크롤로 오류란 로봇이 구글. 네이버, 다음 등 검색 플랫폼에서 검색자의 요청에 있으면 인터넷상에 있는 관련 정보를 수집해서 보여주게 된다.

 

이때 정보 수집이 안 되는 경우를 말한다. 

 

 

 

 

 

당황하지 말고 네이버 웹마스터 도구를 검색해 들어간다. (NAVER Search Advisor /네이버 회원이라면 바로 접속 가능)

 

네이버 웹마스터 도구는 본인이 운영하는 웹사이트의 검색 수집, 색인 반영 현황을 제공하고 검색에 친화적인 사이트로 관리하는데 필요한 진단 리포트를 제공하는 서비스 검색 엔진이다,

 

블로그를 처음 만들었을 때는 내 블로그가 검색이 잘 되도록 이곳에 내 블로그 URL을 등록해 놓는 것이 바람직하다.

 

자 그럼 지금부터 본격적으로 크롤러 오류 robots.txt 문제를 해결해 보자

 

 

네이버 웹마스터 도구 사용방법

 

1. 웹마스터 도구를 클릭 → 처음 가입해 내 블로그 URL 등록이 안돼 있을 때는 주소를 삽입하고 붉은색 원을 클릭해 등록해준다.

 

2. 사이트 목록에서 내 URL 주소를 클릭→ 새로운 창이 열림

 

3. 좌측 카테고리 중 검증 V 클릭 →  robots.txt 클릭→  우측 창에서 3번째에 위 그림과 같이 robots.txt 간단 생성 타이틀이 보임

 

네이버 검색 로봇 우측 ▼ ←을 클릭해서 모든 검색 로봇으로 바꿔 준다음 4. 다운로드 실행 

 

내 PC 다운로드 창에서 확인해보면 메모장에 robots.txt 파일이 보인다.

 

티스토리 블로그 관리자에서 robots.txt 파일 등록방법

 

티스토리 블로그 관리자 페이지로 이동

 

이렇게 만들어진 파일을 티스토리 블로그 관리자 페이지로 접속해 등록해 주어야 한다. 

 

1, 관리자 페이지 좌측 카테고리 중 스킨 편집 클릭 

 

반응형

 

2. HTML 편집 클릭 상단에서 → 3. 파일 업로드 클릭→ 4. 제일 하단으로 쭈욱 내려서 +파일 추가 클릭 (다운로드하였던 파일 등록)

 

5. 적용 클릭, 내 사이트에 이제 robots.txt 파일이 등록된 것이다.

 

이것이 끝 아니다. 다시 네이버 웹마스터로 돌아가서 검색해도 좋다는 마무리를 해주러 가자.

 

 

최종 마무리 진행방법

다시 네이버 웹마스터로 들어와 1번과 같이 수정되었음을 알리면 새롭게 2번 창이 뜬다. 확인 후에 3번과 같이

 

다시 한번 확인을 해 주어야 완벽한 처리가 된다.