🐞프로그래밍

Llama 3.3 70B를 기준으로 작성된 의견 입니다. 70B의 LLM을 동작시키기 위해서는 정확도 지표(양자화)에 따라서 아래와 같이 필요한 GPU의 수가 달라지게 됩니다. FP16(140GB/GPU 8대) - INT8(70GB/GPU 4대) - INT4(35GB/GPU 2대) Llama 70B와 같은 대형 모델은 FP16으로 학습되며, 사용할 때 INT8 양자화 시 정확도는 약 1% 내외로만 감소시키면서도, 메모리 사용량은 50%나 줄이고 속도는 최대 2배까지 향상시킬 수 있습니다. RTX 4090 4대 구성은 메모리 총량(96GB)이 INT8 양자화된 70B 모델(약 70GB 필요)을 충분히 수용할 수 있으며, LoRA와 같은 PEFT 기법을 사용하면 추가 학습도 효율적으로 수행할 수 있습니다. ..

이번에 'RAG 기반 AI 검색 시스템' 프로젝트 진행간에 만든 백서를 공유 합니다.  📌 RAG 시스템의 실행 흐름 (검색 & 응답 프로세스) 💡 실제 검색이 어떻게 진행되는지 단계별 설명 1️⃣ 사용자가 질문 입력 → LLM이 답변 가능 여부 판단 LLM이 기존 지식만으로 답변 가능하면 바로 응답 필요하면 외부 검색(벡터DB + SERP API) 요청 2️⃣ 벡터DB에서 유사한 문서 검색벡터DB에 저장된 데이터 중 가장 유사한 데이터를 검색 3️⃣ 벡터DB에 없으면 SERP API로 실시간 검색 검색된 웹사이트에서 관련 정보를 가져옴 크롤링하여 텍스트를 추출 4️⃣ 검색된 데이터를 벡터DB에 저장 벡터DB에 새로운 데이터를 추가하여 다음번에 더 빠른 검색 가능 5️⃣ LLM에게 검색된 데이터 전달..

어느 뉴스의 내용에 대해서 한 사용자가 의문을 제기한 댓글이다. AI LLM로 구현 가능한 범위라서 맞다고 생각이 된다. 최근 RAG 및 AI Agent에 대한 프로젝트 의뢰가 들어와서 검토중에 있다. 우리 일상속에 알게 모르게 여론 조성에 정교하게 만들어진 프로그램과 비정형의 데이터를 만드는 AI가 합하여 우리의 일상에 스며들어 있다.

불편함을 해소하기 위하여 시작했던 일을 돈을 벌 아이템에 AI를 활용하여 첫매출을 일으키게 되었습니다. 그 불편함은 '미국주식이 미래다' 카페에서 스팸 게시물과의 싸움에서부터 시작했습니다. 실시간으로 카페의 게시글 및 댓글 데이터를 수집 및 가공하여 스팸 게시물이면 즉시 답글로 사람들에게 경고하며 공익제보 게시판에 해당 위반 유저를 신고하는 프로그램이었습니다. 아울러 그 이전에 카페의 게시물들을 수집해서 해당 게시글이 Feer and Greed Index의 어느 구간에서 자주 발현되는 성향의 게시물인지 평가하는 AI 모델을 적용한 경험이 있습니다. 이러한 데이터를 참고하여 사용자들의 최신 트랜드를 알고 민감하게 반응하는 '핵심 유저'를 발견하고 이에대한 타겟 마케팅을 하면 좋겠다고 생각을 했습니다. 주어..

https://gchq.github.io/CyberChef/#recipe=Generate_QR_Code('PNG',5,4,'Medium')&input=aHR0cHM6Ly93d3cuY3liZXItbHVuYS5jb20

한국투자증권 API를 사용하여 실시간 잔고 조회 페이지를 만들었다. 여기서 제공하는 정보를 가지고 시스템 트레이딩을 만들어 보고자 한다. https://stock.mezoo.me/ 퍼그가 미래다 투자현황미국주식이 미래다 지수로 이동 퍼그가 미래다의 계좌 10:57 기준 내 투자 $ 1,064.80 22.62 ( -2.1% ) AST 스페이스모바일 25 주stock.mezoo.me

후기CPU 대비 GPU는 진짜 100배는 체감상 빠른 속도로 학습 처리가 된다.메모리에 데이터를 올려서 진행하는 중인데 GPU는 순간 순간 많이사용된다. CNN 공포탐욕지수를 일자별로 세팅하여 그 기간에 발생한 게시물의 제목을 해당 가중치로 적용하였다. 즉 특정 문장이 등장하면 공포장이라던가 탐욕장에서 자주 보였던 게시글로 보아 호들갑 또는 다음장을 예측하는 인간 지표로 만들 수 있을 것이다.  전체 데이터 학습인 Epoch는 50회로 설정하였고 정확도는 점점 향상되는 양상을 보인다. 총 학습 시킨 데이터는 5만건으로 네이버의 무한스크롤 시 사용되는 API를 활용했다. 한번 호출 시 50개의 데이터를 확보할 수 있었으며 최대 1000페이지까지 조회 사이클이 도는 것으로 보아서 카페 하나당 5만건 획득이 ..

인공지능 모델을 적용하여 공포 탐욕 구간에서의 게시글의 상관관계를 통하여 자체 지수를 만들었다. 백엔드 파이썬 api에 엔드포인트 설정하여 학습 및 질의를 할 수 있도록 하였다.피그마를 통하여 디자인을 수정하고 SVG에 바늘의 좌표를 측정하여 변수에 맞게 rotate를 적용했고 해당 칸에 진입하면 tailwindcss animate로 반짝 효과를 주었다. 12시간 정도 소요된 것 같다. 앞으로 할 일은 공포 탐욕 인덱스 수치에 맞춰서 카페 게시글을 수집하여 학습 후 신규 데이터에 대해서 그 결과를 반영하는 것이 남아있다.  맨아래 AI에게 학습 시킬 수 있다. https://www.mezoo.me/ 미주미 지표 - mezoo.me인간지표를 추종합니다.www.mezoo.me

CNN에서 사용하는 공식 데이터 호출 로직입니다. 브라우저로 접속시 데이터 확인 가능하며, 크롤링을 방지하기 위해서 418 I'm a teapot을 띄우기 때문에 User-Agent를 추가하여 호출했습니다. const data = await fetch("https://production.dataviz.cnn.io/index/fearandgreed/graphdata", { headers: { "Content-Type": "application/json", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.30..

원인캐싱 현상npm run dev에서는 findMany시 새로고침(router.refresh() 등) 시 데이터 갱신이 잘 되었으나 프로덕션 환경에서 데이터가 갱신되지 않음 해결방법page 또는 layout 에서 다음을 삽입한다.export const revalidate = 0; api 에서는 다음을 삽입한다.export const dynamic = 'force-dynamic';