Llama 3.3 70B를 기준으로 작성된 의견 입니다. 70B의 LLM을 동작시키기 위해서는 정확도 지표(양자화)에 따라서 아래와 같이 필요한 GPU의 수가 달라지게 됩니다. FP16(140GB/GPU 8대) - INT8(70GB/GPU 4대) - INT4(35GB/GPU 2대) Llama 70B와 같은 대형 모델은 FP16으로 학습되며, 사용할 때 INT8 양자화 시 정확도는 약 1% 내외로만 감소시키면서도, 메모리 사용량은 50%나 줄이고 속도는 최대 2배까지 향상시킬 수 있습니다. RTX 4090 4대 구성은 메모리 총량(96GB)이 INT8 양자화된 70B 모델(약 70GB 필요)을 충분히 수용할 수 있으며, LoRA와 같은 PEFT 기법을 사용하면 추가 학습도 효율적으로 수행할 수 있습니다. ..

CloudFlare -> 프록시 서버 -> 서비스문제점일반사용자는 CloudFlare를 통해서 프록시 서버의 도움을 받아 서비스에 접근한다.해당 서비스에서는 자체적으로 사용중인 SSL인증서가 존재한다.CloudFlare는 프록시서버를 통하여 서비스에 접근하기에 자체적 서명된 인증서는 신뢰를 할 수 없다.그렇기에 프록시 서버 자체에서 해당 서비스의 인증서에 대한 신뢰성을 적용하여 CloudFlare에게 응답해야한다.즉, 신뢰관계 부족으로 인한 현상  cloudflared가 Harbor 서버의 인증서를 신뢰하지 않기 때문입니다. 이런 상황이 발생하는 이유는:자체 서명된 인증서: Harbor는 일반적으로 설치 과정에서 자체 서명된 인증서를 생성합니다. 이런 인증서는 공인된 인증 기관(CA)에서 서명하지 않았기..

이번에 'RAG 기반 AI 검색 시스템' 프로젝트 진행간에 만든 백서를 공유 합니다.  📌 RAG 시스템의 실행 흐름 (검색 & 응답 프로세스) 💡 실제 검색이 어떻게 진행되는지 단계별 설명 1️⃣ 사용자가 질문 입력 → LLM이 답변 가능 여부 판단 LLM이 기존 지식만으로 답변 가능하면 바로 응답 필요하면 외부 검색(벡터DB + SERP API) 요청 2️⃣ 벡터DB에서 유사한 문서 검색벡터DB에 저장된 데이터 중 가장 유사한 데이터를 검색 3️⃣ 벡터DB에 없으면 SERP API로 실시간 검색 검색된 웹사이트에서 관련 정보를 가져옴 크롤링하여 텍스트를 추출 4️⃣ 검색된 데이터를 벡터DB에 저장 벡터DB에 새로운 데이터를 추가하여 다음번에 더 빠른 검색 가능 5️⃣ LLM에게 검색된 데이터 전달..

어느 뉴스의 내용에 대해서 한 사용자가 의문을 제기한 댓글이다. AI LLM로 구현 가능한 범위라서 맞다고 생각이 된다. 최근 RAG 및 AI Agent에 대한 프로젝트 의뢰가 들어와서 검토중에 있다. 우리 일상속에 알게 모르게 여론 조성에 정교하게 만들어진 프로그램과 비정형의 데이터를 만드는 AI가 합하여 우리의 일상에 스며들어 있다.

불편함을 해소하기 위하여 시작했던 일을 돈을 벌 아이템에 AI를 활용하여 첫매출을 일으키게 되었습니다. 그 불편함은 '미국주식이 미래다' 카페에서 스팸 게시물과의 싸움에서부터 시작했습니다. 실시간으로 카페의 게시글 및 댓글 데이터를 수집 및 가공하여 스팸 게시물이면 즉시 답글로 사람들에게 경고하며 공익제보 게시판에 해당 위반 유저를 신고하는 프로그램이었습니다. 아울러 그 이전에 카페의 게시물들을 수집해서 해당 게시글이 Feer and Greed Index의 어느 구간에서 자주 발현되는 성향의 게시물인지 평가하는 AI 모델을 적용한 경험이 있습니다. 이러한 데이터를 참고하여 사용자들의 최신 트랜드를 알고 민감하게 반응하는 '핵심 유저'를 발견하고 이에대한 타겟 마케팅을 하면 좋겠다고 생각을 했습니다. 주어..

https://gchq.github.io/CyberChef/#recipe=Generate_QR_Code('PNG',5,4,'Medium')&input=aHR0cHM6Ly93d3cuY3liZXItbHVuYS5jb20

1. smnp v1 string 메시지에서 서비스 정보 확인2. 서비스의 로그인 페이지 확인 후 기본 계정 입력3. 저장된 계정의 해시정보 확인4. SSH 정보와 같다는 가정하에 로그인5. 계정의 sudo 권한 확인6. mosh-server 관련 Privileges Escalation 이용

1. 정보수집2. 웹서비스 파일 다운로드 취약점 확인 및 /etc/passwd 다운로드3. 웹서비스 서브도메인 정보수집 및 Gitea 서비스 데이터베이스 다운로드4. DB user 테이블 계정 비밀번호 크랙 및 SSH 접속 시도5. 스크립트 구문에서 magick 관리자 권한으로 실행 확인 및 취약점 이용  1. 외부정보수집nmap 후 80포트에서 웹서비스가 동작함을 확인했다.2.서비스정보수집서비스의 취약점 정보를 수집하였으나 확인된 사항은 없다(apache 2.4.52) 3.웹서비스정보수집웹 서비스의 기능을 확인하여 서버로 침투 포인트를 탐색한다. 해당 사이트는 웹사이트에서 예약할 수 있는 기능을 제공한다. [예약기능]동작확인1. 정보 기입 후 Submit을 누르면 POST로 정보를 서버에서 보낸다.2...

환경적인 요인을 제외하고 인생의 선택을 돈을 벌기위해 직업을 선택한다고 말을 들었는데 상당히 놀라웠다. 나는 일을 즐거운 퀴즈풀기로 대하고 있어서 감사하게 생각한다.

우리나라의 정보보안 분야는 다음과 같이 볼 수 있다.법적 조건에 의해 필요한 직업.즉, 기업의 서비스가 일정규모 개인정보 취급자 수 또는 인증심사를 받기위한 보조 분야로서 이루어 진다.기업보안담당자 중에서도 취약점 점검 파트의 속성이 오펜시브가 많이 들어 갔느냐에 따라서 많이 갈릴 것 같다. 재미가 상대적으로 없는 인프라취약점의 경우 처음의 입문과정에서는 재미있을지만 추후에는 기존 상황에서 많이 벗어나지 않는 업무 범위를 보이는 것 같다. 내가 끌렸던 분야에 몰입을 해봐야겠다. 레드를 동경하며 왔지만 블루의 세계를 즐기다가 이제는 퍼플의 세계로 진하게 갈 수 있을 것 같다. ps. 보통 흥미를 가지는 해커의 이미지는 해외 및 오펜시브 시큐리티를 전문적으로 하는 곳을 가야한다. 그렇게 되면 전문지식으로 기..