[Python] 크롤링 멀티프로세싱 예제
·
카테고리 없음
import multiprocessing import os import time import requests def data_collect(url): start_time = time.time() # 시작 시간 기록 # URL을 파일 이름으로 변환 file_name = url.split("//")[1].replace("/", "_").replace(".", "_") file_path = f"./datas/{file_name}.txt" # 파일이 이미 존재하는 경우 if os.path.isfile(file_path): print(f"Detected [{round(time.time() - start_time, 4)}s] Url: {url}") else: now = time.strftime("%Y-%m-%d %..