태태개발일지 - lang smith 분석법

rag를 사용하면서, retriever가 문서의 어디를 참조했는지, 실제 내가 넣은 벡터DB를 참조했는지가 궁금했다.

 

LANG SMITH

LangSmith는 LLM 애플리케이션 개발, 모니터링 및 테스트 를 위한 플랫폼이다.

 

LangSmith API Key 발급

1. https://smith.langchain.com/ 으로 접속하여 회원가입
2. 왼쪽 톱니바퀴(Setting) - 가운데 "Personal" - "Create API Key" 를 눌러 API 키를 발급 받습니다.

 

import os

os.environ["LANGCHAIN_TRACING_V2"] = "true"
os.environ["LANGCHAIN_ENDPOINT"] = "https://api.smith.langchain.com"
os.environ["LANGCHAIN_PROJECT"] = "LangChain 프로젝트명"
os.environ["LANGCHAIN_API_KEY"] = "LangChain API KEY 입력"

 

를 통해서 렝스미스 설정을 한다.

 

LANG SMITH Analy

 

 토큰과, 비용을 찾을 수 있다.

'Waterfall' 

• VectorStoreRetriever (1.14s): 질문을 받고 PDF에서 관련 있는 내용을 찾아오는 데 걸린 시간이다. 
• ChatOpenAI (5.39s): 찾아온 내용을 바탕으로 GPT가 답변을 작문하는 데 걸린 시간이다.

 

Retriever(검색기) 결과 확인 (가장 중요!)

• 거기를 클릭하면 오른쪽에 "AI가 PDF에서 실제로 어떤 문장들을 발췌해 왔는지"가 뜬다.
• 체크 포인트: AI가 답변을 이상하게 한다면, 여기서 엉뚱한 페이지를 읽어왔을 확률이 99%이다.

 

 

meta data에는 총 page와 어떤 page에서 어떤 content를 가져왔는지 확인할 수 있다.

입력(Input)과 출력(Output) 사이의 "Prompt".

• 왼쪽에서 ChatOpenAI를 클릭하면, 우리가 설정한 프롬프트 템플릿에 검색된 Context가 합쳐진 "최종 프롬프트"를 볼 수 있다.
• 팁: AI가 왜 이런 톤으로 말하는지, 내가 준 지시사항을 잘 지켰는지 모니터링할 때 봅니다.