Language Model단어를 얻을 확률을 구하는 것 NLP의 궁극적인 task는 다음 단어가 올 확률을 구하는 것이다. 과거의 언어모델p(x) = p(x1)*p(x2|x1)*p(x3|X1,X2) => 한 단어의 확률을 예측할 때 전의 모든 단어의 확률을 곱하여 사용했다. rulep(xi) >=0모든 확률의 합은 =1[BOS]시 문장시작 [EOS]시 문장종료 모델의 역사before 2000s : n-gram 2000s-2018s: Rnns,Cnns 여러 task가 있었으면 각각 그에 맞게 만들었다.2018s-2022s: transformer(bert,gpt-2) bert라는 언어모델을 공개하였고, bert를 가져와서 재조정하여 쓸 수 있었다. 근간이 되는 model이 있고, 이를 미세조정하여 사용하..
