태태코딩

태태개발일지 - 자연어처리(FFN, RNN 등장)

지난 글에 언어모델에 Dense vector 가 왜 언어모델에서 쓰이는지에 대하여 글을 작성했다. 기존 언어모델의 문제점word-embedding은 context에 independent 하다.단순히 짧은 맥락 말고, 멀리있어도 인지하고 싶다.ex) apple은 과일일 수도있고, 회사이름일 수 있는데 판별하지 못한다. FFN(MLP)Feedforward network로 다층퍼셉트론을 이용한 모델이다. input = x= [x1,x2,x3...]1layer =hidden layer = h = sigmoid(wx + b)2layer = z =UH3layer = y = softmax(z)loss function = cross-entropy FFN을 통한 simple neural language model..

태태개발일지 - 기계학습(SVM)

SVM 파라메타가 필요한 여백을 최소화 하는 알고리즘이다. 두 클래스를 잘 나누는 w와 b를 구하겠다. sigmoid 함수로 보았을 때 각 양끝단으로 갔을 때 즉 w를 가중했을 때 클래스가 분리될 확률이 높아진다. Functional Margin𝒘𝑇𝒙 + 𝑏 = 0 의 선을 그리고, 선에서 더 멀리 떨어질 수 록, 클래스를 분리하는데 확률이 높아진다. 기능적 마진을 구하는 공식이다.하지만, 2𝑥1 + 3𝑥2 + 1 = 0 and 4𝑥1 + 6𝑥2 + 2 = 0. 같은 선이라도, 위의 functional margin의 식을 대입하면, 값이 다르게 나온다는 함정이있다. 이를 w의 절댓값으로 나누어주는 식이나오게되었다. Geometric Margin 가장 작은 기하학적 Magin을 최대..

태태개발일지 - 기계학습(배깅,랜덤포레스트,부스팅)

전에 의사결정 트리에 대해서 다뤘는데 추가 개념을 정리해보고자 한다. Baggingbootstrap 방식으로 복원추출로 데이터를 랜덤으로 추출하여, 데이터를 병렬적으로 트리에 제공해준다. random forest 의사결정 트리를 여러개 이용하여, 랜덤으로 분류해 나간다. 여기서 Bagging과 random forest의 관계를 알아보면 도움이된다. Bagging의 알고리즘을 구현한것이 random forest이다?맞는 말이지만, 구별이 필요하다.bagging의 정의처럼 데이터를 추출할 때 bootstrap방식으로 복원추출하여, 랜덤 데이터를 병렬적으로 트리에 제공해주는 것은 bagging 의사결정 트리라고한다. random forest 는 위와 같은 방식으로 데이터를 추출하여, 병렬적으로 트리에 제..

KNN & 의사결정나무 머신러닝 모델은 크게 특정 함수 형태(예: 선형 방정식)를 미리 가정하는 모수적(Parametric) 모델과, 그렇지 않은 비모수적(Non-parametric) 모델로 나뉜다.KNN(K-Nearest Neighbors)과 의사결정나무(Decision Tree)는 대표적인 비모수적 모델입니다.이들은 고정된 매개변수 개수를 갖지 않으며, 학습 데이터가 많아질수록 모델의 복잡도도 함께 증가하여 데이터 자체의 형태에 유연하게 대응한다는 특징이 있습니다. KNN (K-Nearest Neighbors)KNN은 데이터 분류에 있어서 가장 직관적인 알고리즘이다. "입력 공간에서 서로 가까이 있는 데이터들은 같은 정답(클래스)을 가질 확률이 높다" 새로운 데이터가 들어오면, 미리 정해둔 거리..

지난 글들을 요약하자면 이렇다. 언어 모델의 시초: 초기의 언어 모델은 문장의 확률을 구하기 위해 첫 단어부터 n번째 단어까지의 모든 연쇄 확률을 계산해야 했다.마르코프 가정의 도입: 하지만 문장이 길어질수록 계산량이 기하급수적으로 늘고 데이터 부족(희소성) 문제가 심각해져, 최근 N-1개의 단어만 참고하자는 N-gram 방식이 표준이 되었다.N-gram의 종류: 이에 따라 직전 단어 하나만 보는 바이그램(Bigram), 두 개를 보는 트라이그램(Trigram) 등 참고할 단어의 개수를 정하는 모델들이 발전했다.앙상블 기법: 모델의 성능을 높이기 위해 여러 N값을 가진 모델들을 섞어서 사용하는 보간(Interpolation) 방식이 발달했다.백오프(Back-off): 고차원 N-gram(예: 트라이그램)..

Supervised Learing input과 output의 관계를 파악하고 새로운 Data를 예측한다. 치역의 성질을 따라서 classfication/ regression 문제로 나눌 수 있다. classfication 분류선을 그리는 regression예측선을 그리는 Linear Regression 수식 : y=w0 + w1x1+ w2x2 ....... wdxdd : vector의 차원 위의 식은f(x) = 시그마 i=0~d w의 T 즉 전치행렬과 X의 내적으로 표현할 수 있다. 학습:y와 x를 이미 알고있기 때문에, 모델의 실제값과 예측값의 차이를 통해서 W를 임의로 조정하고 다시 구하는 방식을 반복하게 된다. h(x) = redisual(실제값과 예측값의 차이) 의 제곱을 모두 더한다.G..

자연어처리모델 단어의 의미를 정확하게 하는 것이 가장 중요하다. 유의어ex) happy & joyful반의어ex) hot & cold포함ex) rose [ flower다의어ex) mouse - 쥐, 기계 Lemmas각 단어를 대표하는 표제형ex) better,best => good 실제 LLM 자연어 처리할 때 명시적으로 사용하지는 않지만 tokenizer 시 사용한다고 한다. 유의,반의,포함,다의어 모두 긍정부정, 맥락 언어는 다양하다.그렇다면 자연어는 어떻게 처리하는가? WordNet 단어의 의미를 나타내기 위해 학자들이 만든 언어사전*문장이들어오면 각 단어가 wordnet을 통해서 여러가지 의미로 구분되고, 가장 빈번하게 나타나는 단어를 체택한다. 단점: 그냥 통계적인 기법이기 때문에, ..

Language Model단어를 얻을 확률을 구하는 것 NLP의 궁극적인 task는 다음 단어가 올 확률을 구하는 것이다. 과거의 언어모델p(x) = p(x1)*p(x2|x1)*p(x3|X1,X2) => 한 단어의 확률을 예측할 때 전의 모든 단어의 확률을 곱하여 사용했다. rulep(xi) >=0모든 확률의 합은 =1[BOS]시 문장시작 [EOS]시 문장종료 모델의 역사before 2000s : n-gram 2000s-2018s: Rnns,Cnns 여러 task가 있었으면 각각 그에 맞게 만들었다.2018s-2022s: transformer(bert,gpt-2) bert라는 언어모델을 공개하였고, bert를 가져와서 재조정하여 쓸 수 있었다. 근간이 되는 model이 있고, 이를 미세조정하여 사용하..

AI 인간의 지능을 모방한것 Expert System과거 Machine learing 이 유행하기전에는 Expert System(전문가 시스템) 이 유행했다.Expert System?실제 전무가를 모시고 if-then 구조를 통해서rule-base로 도메인을 구현하는 것이다. Expert System's limt유연성이 부족하다(domain에서 일정 부분이 바뀌거나, 크게 변화가있을 때 변화가 어렵다)이미 Rule이 fix 되어있다.new 환경이 된다면, 바꾸기 어렵다 => 1번과 동일Domain이 복잡해질 수 록 구현이 어렵다. Machine learningData를 기반으로 학습하다.machine learing의 3요소Data(경험)Algorithm(학습방식(목적성))model(함수) x를 y에 m..

아직 다 읽지는 못했지만, 책에 대해서 리뷰하고자한다. 개발자를 위한 AI 알고리즘 “개발자를 위한 AI 알고리즘”은 AI 시대에 개발자가 반드시 갖춰야 할 알고리즘 사고력을 한 권에 정리한 실전 가이드로, 전통적인 알고리즘부터 최신 머신러닝·LLM까지 폭넓은 스펙트럼을 다룬다. ​ 책의 구성과 범위 이 책은 크게 3부로 나뉘며, 1부에서는 알고리즘 기초(빅오, 자료 구조, 정렬·탐색·그래프 등)를 다지고, 2부에서 머신러닝·딥러닝 알고리즘(분류, 회귀, 클러스터링, 신경망 등)을, 3부에서는 자연어 처리, 트랜스포머, LLM, 대규모 시스템 알고리즘까지 확장한다. 특히 LLM의 핵심인 어텐션, 트랜스포머, Seq2Seq 등을 알고리즘 관점에서 깊이 있게 설명해, 챗GPT 같은 생성형 AI가 어떻게 작동..