태태코딩

태태코딩 - Vllm \ mlx_lm 에 대하여

현재 회사에서 모델을 갈아끼우는 작업을 하면서 VLLM에 대해서 접하게 되었다. VLLM VLLM은 모델을 올려서 OPENAI의 모듈을 사용할 수 있는 방법이다. 보통 이런 것을 모델 서빙 이라고한다. Window, linux환경에서는 docker를 통해 vllm 이미지를 다운받아서 사용해야한다.docker run -d \ --name vllm-server-multi \ --runtime nvidia \ --gpus '"device=0,1"' \ -p 8000:8000 \ --ipc=host \ -v ~/.cache/huggingface:/root/.cache/huggingface \ -e HF_TOKEN="hf_xxxxxxxxxxxxxxxxxxxxx" \ vllm/vllm-openai:..

도구가 왜 필요할까LLM은 학습한 내용 안에서만 답할 수 있다. 그래서 이런 질문에는 답하지 못한다.지금 몇 시야? → 현재 시각을 모름이 웹페이지에 뭐 있어? → 인터넷에 접속 못 함우리 DB에 이번 달 데이터 몇 건이야? → 내 시스템에 접근 못 함이 한계를 넘게 해주는 게 도구(Tool)다. 내가 만든 파이썬 함수를 LLM이 필요할 때 불러 쓸 수 있게 해주는 기능이고, OpenAI에서는 Function Calling이라고 부른다.가장 중요한 사실: LLM은 도구를 직접 실행하지 않는다LLM은 OpenAI 서버에서 돌고, 내 함수는 내 컴퓨터에 있다. LLM은 내 코드를 볼 수도, 실행할 수도 없다.LLM이 하는 일은 "이 도구를 이 값으로 실행해줘"라는 요청서를 돌려주는 것까지다. 실제 실행은 내..

방학동안 투자운용자산가 자격증에 몰두하느라 오랜만에 다시 AI 글로 돌아왔다. Q. Skip-gram 을 하는데 Self-attention을 왜 굳이 하는가?내가 이해한부분:빈도수를 사용해서 희귀벡터(sparse vector)를 만들어서 임베딩 하게된다면 문제점이있다. 1. 벡터의 크기가 사전의 수와 같아져서 기하급수적으로 커진다.2. 문장사이의 맥락을 이해할 수 없게된다. 그렇기에 한 벡터에 분포를 통해서 다의어를 사용하는 Dense vector를 사용한다는 것 까진 이해했다. Q1. 맥락을 파악하기 위해서 dense vector를 만들었는데 왜 self-attetion 이라는 개념이 또 필요한가 여기서 중요한 부분은 Static-embedding 이다. 덴스벡터라도, 다의어를 분포로 나타냈지만, ..

Prompting문장생성을 가이드하기 위한것, LLM만이 아닌 pre-trained 된 모델에게도 사용할 수 있다. * 파인튜닝 없이 파라메트릭 작업 없이, 우리 출력을 입맛대로 적용할 수 있는 기법이다 * Prompt Engineering 원하는 결과를 얻기 위해서 표현 하나하나를 수정하며 instruct를 찾는 기법이다. Prompt Tuning model tuning과 학습가능한 벡터를 통한 벡터(soft vector)를 통한 튜닝, 자연어로 된 instruction(hard prompt)를 가진 튜닝 이렇게 3가지로 나뉜다. 벡터를 통한 벡터를 통한 튜닝은, 역전파를 통해서 성능을 높혀 나간다. PEFT아예 파라메타를 건들지 안고 튜닝하는 방법이다. 델타 Wx를 특정 모듈로 만들어서..

Clustering Methods비지도 학습의 가장 기초적인 테스크로, label이 되어있지 않는 클래스를 나누는 역할, 유사도를 통해서 분류한다. * 기준에 따라 결과 값이 달라진다. 그중 대표적으로 k-means clustering이 있다. K-means Clustering 각각의 중앙값에 가까운것으로 분류를 한다. 장점: k-means clustering은 단순하고 빠르게 처리가 가능한 기법이다. 위의 식을 해석해보자면,1. Rnk는 0과 1로 나누어져있어서 k에 속하면 1 아니면 0을 반환한다.2. rnk의 옆은 중심값에 비해서 얼마나 떨어져있는 가를 나타낸다. 1번과 2번을 각각 번갈아 가면서 J를 최소화 하는 문제로 바뀌게 된다. 뮤(2번) 을 고정하고 rnk를 우선 찾는다...

RAG의 필요성기존의 AI 모델들은 수많은 지식을 스스로의 파라미터에 저장하고 있지만, 새로운 지식을 업데이트하기 어렵고, 사실이 아닌 내용을 진짜처럼 말하는 '환각(Hallucination) 현상'을 겪는다는 단점이 있었다. 이를 해결하기 위해 외부 백과사전 같은 곳에서 지식을 가져와 사용하는 기술이 등장했는데, 기존 모델들은 단순히 문서에서 답이 될 만한 부분을 '추출(Extract)'하는 데 그쳤다. RAG는 여기서 한 발 더 나아가, 정보를 찾아온 뒤 아예 새로운 문장으로 '생성(Generate)'하는 방식을 도입했다. RAG의 동작방법사용자가 질문을 한다.검색기 (Retriever - DPR 모델 사용): 사용자가 질문을 던지면, 외부 문서 창고에서 질문과 가장 관련이 높은 문서 몇 개를 찾아..

rag를 사용하면서, retriever가 문서의 어디를 참조했는지, 실제 내가 넣은 벡터DB를 참조했는지가 궁금했다. LANG SMITH LangSmith는 LLM 애플리케이션 개발, 모니터링 및 테스트 를 위한 플랫폼이다. LangSmith API Key 발급https://smith.langchain.com/ 으로 접속하여 회원가입왼쪽 톱니바퀴(Setting) - 가운데 "Personal" - "Create API Key" 를 눌러 API 키를 발급 받습니다. import osos.environ["LANGCHAIN_TRACING_V2"] = "true"os.environ["LANGCHAIN_ENDPOINT"] = "https://api.smith.langchain.com"os.environ["LANGC..

CHAT GPT API 사용from langchain_openai import ChatOpenAIfrom langchain_core.prompts import ChatPromptTemplatefrom langchain_core.output_parsers import StrOutputParseruser_input = "뉴턴의 만유인력이 뭐야?"user_input2 = "뉴턴의 캐플러법칙은 뭐야?"user_input3 = "뉴턴의 가속도의 법칙은 뭐야?"llm = ChatOpenAI(model_name="gpt-5", temperature=0)prompt = ChatPromptTemplate.from_messages( [ ("system", "꼭 충청도 사투리로 답해."), (..

머신러닝 기법 성능 평가 Predicted Class : 예측한 결과Actual Class : 실제 결과TP : Positive로 예측했는데 맞을 경우FN: Nagative로 예측했을 때 틀린경우FP: Postiave로 예측했는데 틀릴경우TN: Nagative로 예측했는데 맞을경우 위의 결과를 통해서 혼동행렬을 나타낼 수 있다.정확도 (Accuracy) = (TP + TN) / (TP + TN + FP + FN)정밀도 (Precision) = TP / (TP + FP)재현율 (Recall) = TP / (TP + FN)특이도 (Specificity) = TN / (TN + FP)F1-Score = 2 * (Precision * Recall) / (Precision + Recall)위양성률 (FPR)..

쿼드란트 Vector DB 구축 1. Qdrant GitHub Releases 페이지에서 맞는 릴리즈 버전 다운로드 2. 원하는 위치에 압축풀기 3. qdrant.exe 로 실행하기 4. 하면 http://localhost:6333/dashboard 들어가면 아무것도 안뜬다. 5. https://github.com/qdrant/qdrant-web-ui/releases 여기서 최신 ui 버전 받고 qudrant가 들어있는 폴더안에 파일을 다옮겨야 그래야 ui버전이 뜬다. Releases · qdrant/qdrant-web-uiSelf-hosted web UI for Qdrant. Contribute to qdrant/qdrant-web-ui development by creating an account o..