[Python] 크롤링 멀티프로세싱 예제
·
카테고리 없음
import multiprocessing import os import time import requests def data_collect(url): start_time = time.time() # 시작 시간 기록 # URL을 파일 이름으로 변환 file_name = url.split("//")[1].replace("/", "_").replace(".", "_") file_path = f"./datas/{file_name}.txt" # 파일이 이미 존재하는 경우 if os.path.isfile(file_path): print(f"Detected [{round(time.time() - start_time, 4)}s] Url: {url}") else: now = time.strftime("%Y-%m-%d %..
[PEP8] Comments 주석 스타일 정리
·
카테고리 없음
https://www.techtarget.com/whatis/definitions/S S - S to SAP | WhatIs.com - Search Results | {1} Meet The Editor Browse our tech-specific sites or tell us about a new term. Have some feedback? See a definition that needs updating? Let me know! www.techtarget.com https://m.blog.naver.com/headfat1218/221890373644 PEP8 Comments - 주석 Comments 이번 포스팅은 파이썬에서 주석에 관한 스타일가이드 입니다. 코드와 모순된 주석은 주석이 없는... bl..
[팁] 멀티프로세싱 멀티스레드
·
카테고리 없음
Python 멀티프로세스 멀티스레드로 크롤러 성능 올리기. python 크롤러를 개발하면서, 멀티스레드와 멀티프로세스를 동시에… | by Key Kim | Medium Python 크롤러 멀티프로세스 멀티스레드로 성능 쥐어짜기 python 크롤러를 개발하면서, 멀티스레드와 멀티프로세스를 동시에 사용해 성능 개선을 해본 과정을 정리해봤다. keyhyuk-kim.medium.com https://beomi.github.io/2017/07/05/HowToMakeWebCrawler-with-Multiprocess/ 나만의 웹 크롤러 만들기(6): N배빠른 크롤링, multiprocessing! - Beomi's Tech blog 2017-07-05 나만의 웹 크롤러 만들기(6): N배빠른 크롤링, multipr..
eta
·
카테고리 없음
보호되어 있는 글입니다.
[모의해킹] 메타익스플로잇 프름 정리
·
카테고리 없음
https://jdh5202.tistory.com/619 메타스플로잇(Metasploit)을 활용한 취약점 공격 이 내용을 악용하여 다른 시스템에 적용하지 않습니다. 그로 인한 법적인 책임은 본인에게 있습니다. 자신이 운영하는 시스템의 보안 취약점을 찾아내는 용도로만 사용하세요. ி 용어 정리 Meta jdh5202.tistory.com
[인텔리제이] build 시 파일명 변경
·
카테고리 없음
[Gradle] IntelliJ의 Gradle에서 빌드하여 생성하는 jar 파일명 변경하기 (tistory.com) [Gradle] IntelliJ의 Gradle에서 빌드하여 생성하는 jar 파일명 변경하기 IntelliJ의 Gradle에서 빌드하여 생성하는 jar 파일명 변경하기 인텔리제이에서 스프링부트 프로젝트를 배포할 때 빌드툴인 Gradle을 사용해서 jar 파일을 생성하는 방식을 많이 사용합니다. 이때 scshim.tistory.com
[파이썬] 프로세스 핸들링
·
🐞프로그래밍
파이썬으로 Process List, PID 와 Process Kill (tistory.com) 파이썬으로 Process List, PID 와 Process Kill 특정 악성코드는 자신의 악성행위를 하기 위해 현재 시스템의 프로세스의 리스트를 얻어오고, 종료하기를 한기를 한다. 예를 들어 AV프로그램을 찾거나 악성행위에 종속성을 가진 프로세스를 c0mb.tistory.com
[기타] 프로그래밍 네이밍
·
카테고리 없음
자바(JAVA) 코딩가이드(파일명, 메소드명, 코딩규칙) :: effortDev (tistory.com) 자바(JAVA) 코딩가이드(파일명, 메소드명, 코딩규칙) 1. 파일 명명 규칙(File Name Convention Rule) JAVA 소스 개발 표준안을 수립하고 통일된 작성 규칙을 통해서 가독성을 증가시키고 좋은 품질을 유지할 수 있다. 업무 프로젝트를 구현하기 위해서 각 Layer shlee0882.tistory.com
[기타] 파일 네이밍, 폴더 네이밍
·
카테고리 없음
https://51293.tistory.com/48 폴더정리 방법 | 파일분류 | 네이밍규칙 | 버전관리 폴더정리하는 방법 알아보기 회사 업무용 PC나 개인PC 정리하는 것이 참 어려운게 현실이다 직장생활을 하면 할수록 익숙해지는 것이 아니라 업무양이 많아지면 질수록 정리해야하는 것이 많아 51293.tistory.com https://kuljp.tistory.com/244 효과적인 컴퓨터 파일 정리법 12가지 컴퓨터 파일 정리, 왜 필요할까? 내가 좋아하는 영드 '셜록'에 보면 셜록이 자신의 머릿속에서 정보를 꺼내 추리하는 장면이 나온다. 이는 '마인드팰리스'라는 기억법인데 마음속 궁전을 짓고 그 kuljp.tistory.com http://www.openads.co.kr/content/contentD..
[취약점진단] 모바일 보안취약점 점검 가이드(행정안전부)
·
카테고리 없음
Part 1 개요 Part 2 기능 보안취약점 진단 방법 제1절 설치 및 삭제 제2절 동작 제3절 플랫폼 제4절 식별 인증 및 암호 제5절 수입 활용 및 배포 Part 3 소스코드 보안약점 진단 방법 제1절 입력데이터 검증 및 표현 제2절 보안기능 제3절 시간 및 상태 제4절 에러처리 제5절 코드오류 제6절 API 오용 제7절 모바일 환경 툭화 Part 4 앱 개발자를 위한 보안공통기반 제공 부록 부록 1. 모바일 보안취약점 점검 도구 부록 2. 안드로이드 접근권한 목록(Permission List) 참고 1. 기능보안취약점 진단 환경 구축 참고 2. 단말기 프록시 환경 설정 참고 3. 앱 플레이어 진단 환경 설정(Android)