robots.txt 크롤링1

• 

  robots.txt 파일 이란? robots.txt 파일 이란? 무엇일까 알아봅시다. robots.txt 파일이 하는 역할은 구글이나 네이버, 다음 등과 같은 대형 포털의 검색로봇이 내 웹사이트 혹은 티스토리 및 블로그에 접근할 때 접근할 수 있는 권한을 주는 파일입니다. robots.txt 파일에다가 구글 로봇은 오지 마.. 혹은 특정 폴더는 검색하지 마. 이런 이야기를 적으면 로봇들이 해당 웹사이트를 볼 수 없게 됩니다. 로봇들이 웹사이트들의 내용을 수집하는 과정을 크롤링이라고 표현하는데 이 크롤링을 제어할 수 있게 됩니다. 구글에서 정의한 robots.txt 파일 내용을 살펴봅니다. https://developers.google.com/search/docs/advanced/robots/robots-faq?hl=ko#h01 robo.. 티스토리 세팅 2022. 10. 22.