티스토리 블로그 2차도메인 bingbot 크롤링 403 forbidden 오류, 어찌 해결해야 하나

 티스토리 블로그 2차도메인 bingbot 크롤링 403 오류


티스토리 블로그 2차 도메인을 사용 중이다 그런데 MS 빙봇(bingbot) 얘가 작년 9월경부터 말썽을 부리고 있는데 이유는 뭔지 나두 모른다 그때 당시에 티스토리 네임서버 변경이 있었기도 했지만,

빙 검색에 색인이 잘 되어 쓰고 있던 상황이였는데 말이다 2016년 9월 까지만 해도

그 이후 부터 크롤링 403 오류 건 MS 메일이 계속 날라 온다


꽤 오랜동안 해결 위해 나름대로 시도 해 보고 포기, 걍 빙 웹마스터 도구에서 등록된 사이트를 제거 했는데 메일이 오니 상당히 거슬린다

블로그 사이트 맵을 만들어 등록하려고 하다 너무 오랜 시간 소요 2시간 40분 지나도 끝나지 않아 포기 다음 요청메일 보내 오류 해결 해볼까


빙(bing) 웹마스터도구에 사이트 맵을 등록하지 않고 블로그 글 색인이 잘 반영 되었는데

이런... 


서버에서 bingbot에 대한 페이지 액세스를 거부하고 있습니다 란 메시지 이게 뭔소리 헐~!




티스토리에서 전혀 빙봇 (bingbot) 차단하는 내용이 없는데 이게 뭔 말두 안되는 소린지!


티스토리 robots.txt 파일 상태


User-agent: *

Disallow: /owner

Disallow: /admin

Disallow: /oldadmin

Disallow: /search

Disallow: /m/search

Disallow: /m/admin

Allow: /


User-agent: Mediapartners-Google

Allow: /





빙 웹마스터 도구에서 블로그 페이지를 가져오기를 해보면 403 Frobidden 으로 블로그 글을 가져오면 아래처럼 접근(permission) 할수 없다는 오류가 나온다


정확한 해결책은 모르겠지만 apache 서버의 charset  iso-8859-1 그러나 블로그는 utf-8 차이 이부분이 문제일까?


http 403 forbidden 




2블로그 티스토리 네임서버 작동은 잘되고 있다 : nslookup 블로그url



다음 검색과 네이버 사이트맵 등록하지 않고도 검색봇이 블로그 색인을 잘 해 가는데 

MS 빙 검색 엔진은 이렇게 허접 한건지 아니면 내 내공 부족으로 미해결

신고