[파이썬] 크롤링 속도 개선 방법

파이썬 크롤링을 더 빠르게 수행하는 몇 가지 방법을 제안해 드리겠습니다.

1. 비동기 처리(Asynchronous Processing) 사용: 비동기 처리는 코드를 실행하는 동안 다른 코드 실행을 중단하지 않고도 병렬로 작업을 처리할 수 있도록 하는 기술입니다. 비동기 처리를 사용하면 더 빠르게 웹 사이트에서 데이터를 가져올 수 있습니다. 예를 들어, asyncio와 aiohttp 모듈을 사용하여 비동기 HTTP 요청을 처리할 수 있습니다.
2. 멀티스레딩 또는 멀티프로세싱 사용: 멀티스레딩 또는 멀티프로세싱을 사용하여 CPU 및 I/O 바운드 작업을 병렬로 처리할 수 있습니다. CPU 바운드 작업은 계산 집약적 작업으로서, 멀티프로세싱을 사용하여 처리할 수 있습니다. I/O 바운드 작업은 네트워크 또는 디스크 I/O에 대한 작업으로, 멀티스레딩을 사용하여 처리할 수 있습니다.
3. 캐싱 사용: 캐싱은 이전에 검색한 결과를 저장하고, 동일한 검색 결과가 나올 경우, 다시 요청하지 않고 저장된 결과를 반환합니다. 이를 통해 불필요한 네트워크 연결을 줄일 수 있습니다. 예를 들어, Redis나 Memcached와 같은 인메모리 캐시를 사용하여 성능을 개선할 수 있습니다.
4. 파싱 속도 개선: 크롤링에서 가장 시간이 오래 걸리는 부분은 HTML 파싱입니다. 따라서, 빠른 파싱 라이브러리를 사용하거나 BeautifulSoup 등의 라이브러리의 파서를 변경하여 파싱 속도를 개선할 수 있습니다.
5. User-Agent 헤더 설정: User-Agent 헤더는 웹 브라우저에서 사용하는 값으로, 웹 사이트에서 요청을 받을 때, 요청이 브라우저에서 발생한 것인지, 스크립트에서 발생한 것인지 판단합니다. 일부 웹 사이트는 스크립트에서의 요청을 차단하기도 하므로, User-Agent 헤더를 설정하여 브라우저에서 요청한 것으로 인식하도록 설정할 수 있습니다.
6. HTTP 헤더 설정: HTTP 요청을 보낼 때, Accept-Encoding, Accept-Language 등의 헤더를 설정하여 불필요한 데이터를 받지 않고, 필요한 데이터만 받도록 설정할 수(HTTP Header Setting) 있습니다. 이를 통해 네트워크 대역폭을 줄이고, 응답 시간을 단축할 수 있습니다.
7. 불필요한 요청 제거: 불필요한 요청을 제거하여 네트워크 대역폭을 줄이고, 응답 시간을 단축할 수 있습니다. 예를 들어, robots.txt 파일에 의해 크롤링이 금지된 페이지에 대해서는 요청을 보내지 않아야 합니다. 또한, 로봇 방지 헤더가 설정된 페이지도 요청을 보내지 않아야 합니다.
8. 데이터베이스 사용: 크롤링한 데이터를 파일에 저장하는 것보다 데이터베이스에 저장하는 것이 빠르고 효율적입니다. 데이터베이스를 사용하면, 검색과 필터링도 빠르고 효율적으로 처리할 수 있습니다. 데이터베이스는 MySQL, PostgreSQL, MongoDB, Redis 등 다양한 종류가 있습니다.
9. 적절한 대기 시간 설정: 너무 빠르게 요청을 보내면 웹 사이트에서 스크래핑을 감지하고, IP 주소를 차단할 수 있습니다. 이를 방지하기 위해서는 적절한 대기 시간을 설정해야 합니다. 대기 시간은 요청 사이에 무작위로 시간을 끼워넣는 것이 좋습니다.

이러한 방법들을 적절히 활용하면 파이썬 크롤링 속도를 개선할 수 있습니다.

 

 

1. requests.get 헤더 추가(User-Agent, Connection)

headers = {
    "User-Agent": "Mozilla/5.0 (X11; CrOS x86_64 12871.102.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.141 Safari/537.36",
    "Connection": "close"}

response = requests.get(url_text, headers=headers)

헤더유무	Process 수	소요시간
No header	process=4	2376초 (39분)
Yes header	process=4	1650초 (26분)

 

2. 멀티프로세싱 적용

if __name__ == '__main__':

     # 프로세스 수 조정
    pool = multiprocessing.Pool(processes=4)
    
    # data_collect는 str 한개씩 받아서 처리한다 / out_list의 데이터를 하나씩 넘겨준다
    pool.map(data_collect, out_list)
    pool.close()
    pool.join()

process 수	소요시간
4	1650초(26분)
8	632초  (10분)
32	177초  (3분)
60	120초  (2분)

 

* 주의사항

크롤링 대상에서 네트워크 보안장비 존재하여 일시 또는 영구적 차단이 될 수 있으므로 적절한 요청 빈도 및 프로세스 수를 설정해야 함

빠른속도로 인하여 requests 누락되는 건이 있으므로 3번정도는 중복체크하여 다시돌려야 함