태태코딩

아직 다 읽지는 못했지만, 책에 대해서 리뷰하고자한다. 개발자를 위한 AI 알고리즘 “개발자를 위한 AI 알고리즘”은 AI 시대에 개발자가 반드시 갖춰야 할 알고리즘 사고력을 한 권에 정리한 실전 가이드로, 전통적인 알고리즘부터 최신 머신러닝·LLM까지 폭넓은 스펙트럼을 다룬다. ​ 책의 구성과 범위 이 책은 크게 3부로 나뉘며, 1부에서는 알고리즘 기초(빅오, 자료 구조, 정렬·탐색·그래프 등)를 다지고, 2부에서 머신러닝·딥러닝 알고리즘(분류, 회귀, 클러스터링, 신경망 등)을, 3부에서는 자연어 처리, 트랜스포머, LLM, 대규모 시스템 알고리즘까지 확장한다. 특히 LLM의 핵심인 어텐션, 트랜스포머, Seq2Seq 등을 알고리즘 관점에서 깊이 있게 설명해, 챗GPT 같은 생성형 AI가 어떻게 작동..

트랜스포머(Transformer)1. self-Atteion2. multi-head-attention3. positional encoding4. encoder/decoder 트랜스포머는 RNN과 달리 순차적 구조 없이 문장을 병렬로 처리할 수 있는 모델이다.Self-Attention은 한 문장 내 단어들 사이의 관련성을 계산해 각 단어의 문맥을 파악한다.Multi-head-Attention 여러 어텐션을 병렬로 수행하여 다양한 의미 관계를 동시에 학습한다.Positional Encoding은 순서정보가 없는 프랜스포머에 위치정보를 부여한다.트랜스포머는 인코더와 디코더 구조로 이루어지며, 번역, 요약 등 시퀀스- 시퀀스 작업에 강하다.RNN에 비해 병렬처리 가능성과 장기 의존성 학습에서 우위를 가진다...

지도학습과 비지도학습의 차이를 설명하고 각각 예를 드시오 지도학습과 비지도학습은 데이터의 정답(label)의 유무에 따라 구분된다. 지도학습(Supervised Learning) 입력 데이터에 대한 정답 레이블이 주어진 상태에서 모델을 학습시키는 방법이다.데이터 (X, y) 에서 함수 f: X → y 를 학습하며, 새로운 입력에 대해 올바른 출력을 예측하는 것이 목표이다. ex)모의고사와 정답지를 보며 채점 기준을 익히는 공부로지스틱/선형회귀,결정트리,SVM 비지도학습(Unsupervised Learning) 입력 데이터에 대한 정답(label)없이 데이터의 구조나 패턴을 학습하는 방식이다.즉 주어진 데이터 X만으로 데이터 간의 유사성, 군집 구조, 저차원 표현 등을 찾아낸다. ex)정답지 없이 문제..

JSP우선 JSP를 통해서 사진을 받을 코드를 작성한다. 사진 업로드 사진 선택 업로드 사진을 넣으면 /upload로 multipart/form-data로 image가 전달된다. Springboot에서 JSP를 사용하려면 설정이필요하다.https://taetaecoding.tistory.com/347 태태개발일지 - SpringBoot에서 JSP사용하는 방법문제 springboot에서 jsp를 사용하려고 하니깐, 문제가 생겼다. 해결 1. /src/main/webapp/WEB-INF/views/**.jsp 이와같은 경로 아래 jsp 파일들을 둔다.2. build.gradle file에 jasper 의존성을 둔다.implementation 'org.apache.taetaecoding.t..

프롬프트 엔지니어링 프롬프트 엔지니어링은 AI언어 모델에게 원하는 결과를 얻기 위해 입력(프롬프트)를 설계하는 기술이다. 중요한이유같은 요청이라도 물어보는 방식에 따라 답변의 품질이 크게 바뀐다.GPT-4 API로 LLM 학습데이터를 만들 때 중요하다.LLAMA나 여러가지 파인튜닝할때도 프롬프트 엔지니어링이 중요하다. 프롬프트 엔지니어링 기초 프롬프트 엔지니어링의 기본적인 원칙은 사람에게 설명하듯 잘 설명해줘야한다. 1.명확한 지시사항ex)"다음 텍스트를 3개의 핵심 포인트로 요약해줘"(o)"다음텍스트를 요약해줘"(X) 2.컨텍스트 제공(배경 정보와 상황 설명을 주거나 예시작성)ex)"예시를 줄게~ 예시는 다음과같아 ex) {~~~~}""너는 과학기술에서 뛰어난 학자야 ~~답변해줘"3. 형식의 제약ex)..

언어모델의 역사 언어모델 언어모델은 가장 자연스러운 다음 단어를 예측하는 모델.정의에 따르면 딥러닝일 필요는 없다.다만 요즘 딥러닝으로 구현하는 추세일 뿐이다. 모델의 역사 통계적언어모델 ➡ RNN 언어모델 ➡ 트랜스포머 ➡ BERT Vs GPT Vs T5 ➡ GPT의 잠재능력 LLM 트랜스포머 구글에서 AI번역기를 만들기 위해서 트랜스포머 구조를 제안 트랜스포머는 인코더-디코더로 구성된 아키텍쳐번역하고자하는 문장이 인코더로 입력되면, 디코더로 번역되어 출력된다. 인코더 ➡ 자연어의 이해디코더 ➡ 자연어의 생성 동작과정 인코더로 데이터가 들어가게되면, 디코더로 이동을하고 디코더의 값 하나하나가 다시 디코더의 입력으로 들어가서 생성 bertbert는 기존 트랜스포머 아키텍쳐에서 인코더만 추출하여 사..