티스토리 블로그에서 모든 검색엔진 봇이 뭘 가져갈까? robots.txt 관계 살펴보기

티스토리 블로그 접근한 모든 검색엔진 접근과 robots.txt 관계 살펴보기

티스토리블로그 운영하는 분만관련이 있는 내용으로 물론 티스토리 2차 도메인에 연결되어 있는 분들도 해당되는 내용인데요 예전엔 티스토리블로그에 robots.txt 가 정의 되어 있지 않았었는데 작년에 우연히 확인하던 차에 티스토리에서 블로그에 검색엔진 접근을 제어하는 robots.txt 를 만들어 뒀나 봅니다

 

모든 검색엔진 검색봇이 접근 user-agent: * 별표로 표시 되죠

아래 보면 disallow는 접근을 할수 없도록 설정이 되어 있는 상태

Allow는 검색봇이 접근하는 상태라 보면 됩니다

 

즉 요약하면, 모든 검색봇이 티스토리 홈페이지에 접근을 하되,  tistory.com/m, tistory.com/login, tistory.com/gateway  3곳은 검색봇이 접근할수 없다라고 보면 됩니다

 

 

▲티스토리 robots.txt

 

 

 

그러면 티스토리를 운영하는 개인블로그와 2차도메인에는  검색봇이  robots.txt 어떻게 접근하는지 살펴 보겠습니다

 

 

티스토리 블로그의 robots.txt는  검색봇의 접근허용과 제한

티스토리 블로그 html소스에 메타태그(metatag)로 별도로 추가, index, follow 등록을 해 놓은들(없는거 보단 해 놓는게 좋다) 검색봇이 robots.txt에 먼저 블로그 접근제어를 확인하므로
티스토리 URL의 /owner / admin /serarch /tag 는 검색엔진이 방문하지 않아 색인을 하지 않게 됩니다 아마 눈치 빠른 분들은 구글의 분석기 기타 도구에서 확인을 해 보면 이부분은 특히 tag 크롤링 오류 확인해 보셨을 겁니다

 

블로그내에 태그 tag지정된 곳은 검색봇이 접근을 못한다는 소리입니다 그러면 검색엔진이 뭘 가지고 가서 블로그에 방문자들이 올까?  블로그내의 컨텐츠 내용과 제목이 아닐까 싶은데요 그만큼 블로그내의 콘텐츠 내용이 최고 중요하겠죠

 

블로그 글이 적고 이미지 위주가 된다면 검색엔진은 별로 가져갈게 없어서 그런블로그는 검색엔진으로부터 좋아하지 않을겁니다 내용을 충실하게 적어둬야 한다는 점이죠

 

 

티스토리 블로그 2차 도메인에 접근하는 검색봇은 기본적으로 접근하도록 되어 있고

 

 

아래 내용을 살펴 보면 rdsong.com/owner, rdsong.com/admin, rdsong.com/search, rdsong.com/tag는 검색봇이 접근이 되지 않으며 그외의 모든 부분은 검색봇이 모든 내용을 살펴서 검색엔진에 색인을 한다는 것이죠

 

 

그런데 tag는 왜 근접하지 못하도록 했을까? 인데요 아마도 짧은 소견으로는

tag를 검색엔진에 색인하면 중복되는 태그도 있을 터이고 기타 요인으로 인해 검색에 패널티를 먹기 때문일수도...

 

 

 

▲티스토리 블로그 검색봇 접근제어 robots.txt

 

 

 

 

티스토리 블로그에 검색엔진이 어떻게 접근하여 뭘 색인하는지 이 정도만 살펴 봤습니다 robots.txt 파일은 오직 티스토리 관리운영하는 분만 파일을 만들어 올릴 수 있기 때문에  블로그 운영자는 수정 할 수는 없습니다

 

 

검색봇 제어 하는 내용을 자세히 보려면 이페이지에서 확인하면 됩니다

블로그 운영하면서 티스토리에 모든 검색봇 제어가 어떻게 되는지 이정도는 알아야 하지 않을까요?

 

 

• 신호위반 청구서 내역- 스미싱 문자 의심- 관련 링크를 열지 마세요!
• 윈도우7 파일공유 및 폴더공유 방법 - 윈도우8.1에서 윈도우7의 공유파일 접근방법
• 구글 에릭 슈미트씨가 서울대에서 뭔 대화를 했나?
• 구글 웹마스터 도구-사이트에 심각한 상태 문제가 발생했습니다 사이트상태 문제 해결 하기
• 블로그스킨을 바꾸면 생기는 변화는? 티스토리 스킨변경시 체킹포인트