파일의 인코딩을 utf-8로 변환하는 함수이다. chardet 패치키 설치가 필요하다 import chardet # 패키지 설치 필요 # file_path -> Encoding Type def is_encoded(file_path: str): rawdata = open(file_path, mode='rb').read() data = chardet.detect(rawdata) result = data['encoding'] return result # File_path, Encoding_Type -> Change Files encoding type def to_utf8(file_path: str, encoding_in: str): try: with open(file_path, 'r', encoding=enc..

크롤링 시 User-Agent 및 Cookie를 설정한다. 막히게 되면 Cookie 값을 갱신해주자 headers = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/102.0.5005.63 Safari/537.36", 'Cookie': 'GSP=A=7_cV4w:CPTS=1654785473:LM=1654785473:S=n9a7P7syvEx3nONo; NID=511=MyGhFfwN2Y_7VS3Uf5iH34nuwysQS2BKgP5rIg3unnXniEC0D96W480QTrgX5u0ZpK85OrRfTt4-qvX_gcM11bpdbxPN0ApykvA3t_PBg14yAx0QrRhv..

Python Functions: Advanced Concepts • Python Land Tutorial Python Functions: Advanced Concepts Do you know all about Python functions? These advanced functions concepts will surely teach you something new and help you improve your code. python.land https://wikidocs.net/109303 029 순서대로 좌표를 정렬하려면? ― functools.cmp_to_key functools.cmp_to_key(func)는 sorted()와 같은 정렬 함수의 key 매개변수에 함수(func)를 전달할 때 사용하는..

https://youtu.be/RMkPGjGhzxg

https://victorydntmd.tistory.com/313 [Elasticsearch] 입문하기(3) - 다양한 검색 방법 ( Search API ) ES는 검색 엔진인 만큼 다양한 검색 API를 제공하며, 이를 잘 알아야 ES를 효과적으로 사용할 수 있을 것이라 생각합니다. 이번 글에서는 Search API에 대해 알아보겠습니다. 다음 글 Query DSL을 다루기 victorydntmd.tistory.com http://labs.brandi.co.kr/2021/07/08/leekh.html AWS Elasticsearch + Python을 활용한 '검색' 도전기 Overview labs.brandi.co.kr https://db-engines.com/en/ranking/search+engine..

파이썬 크롤링을 더 빠르게 수행하는 몇 가지 방법을 제안해 드리겠습니다. 비동기 처리(Asynchronous Processing) 사용: 비동기 처리는 코드를 실행하는 동안 다른 코드 실행을 중단하지 않고도 병렬로 작업을 처리할 수 있도록 하는 기술입니다. 비동기 처리를 사용하면 더 빠르게 웹 사이트에서 데이터를 가져올 수 있습니다. 예를 들어, asyncio와 aiohttp 모듈을 사용하여 비동기 HTTP 요청을 처리할 수 있습니다. 멀티스레딩 또는 멀티프로세싱 사용: 멀티스레딩 또는 멀티프로세싱을 사용하여 CPU 및 I/O 바운드 작업을 병렬로 처리할 수 있습니다. CPU 바운드 작업은 계산 집약적 작업으로서, 멀티프로세싱을 사용하여 처리할 수 있습니다. I/O 바운드 작업은 네트워크 또는 디스크 I..

파이썬으로 Process List, PID 와 Process Kill (tistory.com) 파이썬으로 Process List, PID 와 Process Kill 특정 악성코드는 자신의 악성행위를 하기 위해 현재 시스템의 프로세스의 리스트를 얻어오고, 종료하기를 한기를 한다. 예를 들어 AV프로그램을 찾거나 악성행위에 종속성을 가진 프로세스를 c0mb.tistory.com

보호되어 있는 글입니다.

Python Requests 모듈을 사용할 때 예외처리 대상 리스트는 다음과 같습니다. ConnectionError: 서버에 연결할 수 없거나, DNS 조회에 실패하는 경우 발생합니다. Timeout: 요청 시간 초과가 발생한 경우 발생합니다. TooManyRedirects: 리디렉션 횟수가 너무 많은 경우 발생합니다. HTTPError: HTTP 응답 코드가 400 이상인 경우 발생합니다. RequestException: Requests 모듈에서 발생하는 모든 예외의 기본 클래스입니다. 이러한 예외들을 처리하기 위해서는 try-except 블록을 사용하여 예외 처리를 해주어야 합니다. 예를 들어, 다음과 같이 코드를 작성할 수 있습니다. import requests url = "https://www.e..

예외처리 추가 except requests.exceptions.SSLError: 헤더추가 requests.packages.urllib3.disable_warnings(requests.packages.urllib3.exceptions.InsecureRequestWarning) request에 varify=False 추가 response = requests.get(url=line, timeout=1, verify=False)