태태코딩

아직 다 읽지는 못했지만, 책에 대해서 리뷰하고자한다. 개발자를 위한 AI 알고리즘 “개발자를 위한 AI 알고리즘”은 AI 시대에 개발자가 반드시 갖춰야 할 알고리즘 사고력을 한 권에 정리한 실전 가이드로, 전통적인 알고리즘부터 최신 머신러닝·LLM까지 폭넓은 스펙트럼을 다룬다. ​ 책의 구성과 범위 이 책은 크게 3부로 나뉘며, 1부에서는 알고리즘 기초(빅오, 자료 구조, 정렬·탐색·그래프 등)를 다지고, 2부에서 머신러닝·딥러닝 알고리즘(분류, 회귀, 클러스터링, 신경망 등)을, 3부에서는 자연어 처리, 트랜스포머, LLM, 대규모 시스템 알고리즘까지 확장한다. 특히 LLM의 핵심인 어텐션, 트랜스포머, Seq2Seq 등을 알고리즘 관점에서 깊이 있게 설명해, 챗GPT 같은 생성형 AI가 어떻게 작동..

JSP우선 JSP를 통해서 사진을 받을 코드를 작성한다. 사진 업로드 사진 선택 업로드 사진을 넣으면 /upload로 multipart/form-data로 image가 전달된다. Springboot에서 JSP를 사용하려면 설정이필요하다.https://taetaecoding.tistory.com/347 태태개발일지 - SpringBoot에서 JSP사용하는 방법문제 springboot에서 jsp를 사용하려고 하니깐, 문제가 생겼다. 해결 1. /src/main/webapp/WEB-INF/views/**.jsp 이와같은 경로 아래 jsp 파일들을 둔다.2. build.gradle file에 jasper 의존성을 둔다.implementation 'org.apache.taetaecoding.t..

프롬프트 엔지니어링 프롬프트 엔지니어링은 AI언어 모델에게 원하는 결과를 얻기 위해 입력(프롬프트)를 설계하는 기술이다. 중요한이유같은 요청이라도 물어보는 방식에 따라 답변의 품질이 크게 바뀐다.GPT-4 API로 LLM 학습데이터를 만들 때 중요하다.LLAMA나 여러가지 파인튜닝할때도 프롬프트 엔지니어링이 중요하다. 프롬프트 엔지니어링 기초 프롬프트 엔지니어링의 기본적인 원칙은 사람에게 설명하듯 잘 설명해줘야한다. 1.명확한 지시사항ex)"다음 텍스트를 3개의 핵심 포인트로 요약해줘"(o)"다음텍스트를 요약해줘"(X) 2.컨텍스트 제공(배경 정보와 상황 설명을 주거나 예시작성)ex)"예시를 줄게~ 예시는 다음과같아 ex) {~~~~}""너는 과학기술에서 뛰어난 학자야 ~~답변해줘"3. 형식의 제약ex)..

언어모델의 역사 언어모델 언어모델은 가장 자연스러운 다음 단어를 예측하는 모델.정의에 따르면 딥러닝일 필요는 없다.다만 요즘 딥러닝으로 구현하는 추세일 뿐이다. 모델의 역사 통계적언어모델 ➡ RNN 언어모델 ➡ 트랜스포머 ➡ BERT Vs GPT Vs T5 ➡ GPT의 잠재능력 LLM 트랜스포머 구글에서 AI번역기를 만들기 위해서 트랜스포머 구조를 제안 트랜스포머는 인코더-디코더로 구성된 아키텍쳐번역하고자하는 문장이 인코더로 입력되면, 디코더로 번역되어 출력된다. 인코더 ➡ 자연어의 이해디코더 ➡ 자연어의 생성 동작과정 인코더로 데이터가 들어가게되면, 디코더로 이동을하고 디코더의 값 하나하나가 다시 디코더의 입력으로 들어가서 생성 bertbert는 기존 트랜스포머 아키텍쳐에서 인코더만 추출하여 사..

GPT 파인 튜닝컬럼명을 자동완성 시키는데 AI를 활용해보자는 의견을 받았고,import openaiopenai.api_key = "" # 1. 파일 업로드file_response = openai.files.create( file=open("./sample_data/training.jsonl", "rb"), purpose="fine-tune")file_id = file_response.id# 2. 파인튜닝 작업 생성job = openai.fine_tuning.jobs.create( training_file=file_id, model="gpt-3.5-turbo" # 또는 사용 가능한 최신 모델명)print("파인튜닝 작업 ID:", job.id)print("파인튜닝 작업 ID:", ..

넘파이(Numpy)수치해석용 파이썬 패키지이다. numpy 가상환경에 다운로드 하기pip install numpy import numpy as npa = [0,1,2,3,4,5]type(a) => listar = np.array(a)type(ar)=>numpy.ndarray numpy는 배열로 취급되기 때문에 모두 같은 타입이여야한다. ar는 벡터이고, 2*ar을 하면 리스트가 두배가되는것이아니라, 값이 두배가 된다. np.array를 해서 나오는 벡터에 연산은 모두 값을 기준으로 연산을 시행하게 된다. shap을 통해 차원을 보기.c =np.array([[0,1,2],[3,4,5]])c.shape => 차원을 튜플형태로 나타낸다. 1차원 => 벡터2차원 => 행렬 (matriex)..

내가 궁금했던점과 답에대해서 적어보겠다. 1. 기존에 GPT가 제일 잘 나온 모델인데 굳이 생성형 AI 인재들을 뽑아서 기본 모델을 학습하는 것을 배우는 이유가 무엇인지? 그냥 GPT API 가져와서 쓰면 되지않을까?? 1.1 성능만 놓고 보면 chatGPT api쓰는게 정답일 수 있습니다. 하지만 api는 비용이 있습니다. 1.2 만약에 어떤 기업에서 LLM기반 서비스를 한다고 할 때, chatGPT api로 구현하면 서비스 구현은 정말 쉽겠지만, 1.3그만큼 트래픽이 상승할수록 api비용도 증가할 것입니다. (매출 원가) 1.4 그렇다면 해당 서비스는 api 비용을 상쇄하고 남을만한 비용을 사용자에게 청구해야하는데요. 1.5 이런 서비스는 아주 소수의 사용자에게 비싼 유료 서비스를 팔게하는 ..