크롤링(crawling) 가능 여부 확인
2023. 2. 23. 18:03ㆍ개발/토막난 상식
반응형
크롤링 가능 여부를 확인하는 방법은 사이트명 뒤에 /robots.txt를 붙여 확인하면 된다.
Disallow라고 명시되어 있는 디렉토리 및 파일에 대해서는 크롤링을 할 수 없다.
반응형
'개발 > 토막난 상식' 카테고리의 다른 글
| none null 0 undefined (0) | 2023.02.23 |
|---|---|
| 파이썬 BeautifulSoup 에서 .get_text() .string 차이점 (0) | 2023.02.23 |
| 파이썬 (0) | 2023.02.23 |
| 총 몇줄 썻는지 비쥬얼 스튜디오로 확인하는방법 (0) | 2023.02.03 |
| [React] useLocation 사용시 state 값이 null로 들어오는 문제 (0) | 2023.01.18 |