태태코딩

쿼드란트 Vector DB 구축 1. Qdrant GitHub Releases 페이지에서 맞는 릴리즈 버전 다운로드 2. 원하는 위치에 압축풀기 3. qdrant.exe 로 실행하기 4. 하면 http://localhost:6333/dashboard 들어가면 아무것도 안뜬다. 5. https://github.com/qdrant/qdrant-web-ui/releases 여기서 최신 ui 버전 받고 qudrant가 들어있는 폴더안에 파일을 다옮겨야 그래야 ui버전이 뜬다. Releases · qdrant/qdrant-web-uiSelf-hosted web UI for Qdrant. Contribute to qdrant/qdrant-web-ui development by creating an account o..

지난 글에 언어모델에 Dense vector 가 왜 언어모델에서 쓰이는지에 대하여 글을 작성했다. 기존 언어모델의 문제점word-embedding은 context에 independent 하다.단순히 짧은 맥락 말고, 멀리있어도 인지하고 싶다.ex) apple은 과일일 수도있고, 회사이름일 수 있는데 판별하지 못한다. FFN(MLP)Feedforward network로 다층퍼셉트론을 이용한 모델이다. input = x= [x1,x2,x3...]1layer =hidden layer = h = sigmoid(wx + b)2layer = z =UH3layer = y = softmax(z)loss function = cross-entropy FFN을 통한 simple neural language model..

SVM 파라메타가 필요한 여백을 최소화 하는 알고리즘이다. 두 클래스를 잘 나누는 w와 b를 구하겠다. sigmoid 함수로 보았을 때 각 양끝단으로 갔을 때 즉 w를 가중했을 때 클래스가 분리될 확률이 높아진다. Functional Margin𝒘𝑇𝒙 + 𝑏 = 0 의 선을 그리고, 선에서 더 멀리 떨어질 수 록, 클래스를 분리하는데 확률이 높아진다. 기능적 마진을 구하는 공식이다.하지만, 2𝑥1 + 3𝑥2 + 1 = 0 and 4𝑥1 + 6𝑥2 + 2 = 0. 같은 선이라도, 위의 functional margin의 식을 대입하면, 값이 다르게 나온다는 함정이있다. 이를 w의 절댓값으로 나누어주는 식이나오게되었다. Geometric Margin 가장 작은 기하학적 Magin을 최대..