YOOZI

이미지와 언어의 경계를 허물다   오늘은 자연어 이미지 멀티모달 - 이미지 생성, Image Captioning 알아보자.오늘의 배움멀티모달 학습의 기본 개념과 원리이미지 캡셔닝(Image Captioning)의 작동 방식텍스트-이미지 생성 기술과 대표 모델들01. 자연어-이미지 멀티모달 정의: 텍스트와 이미지라는 서로 다른 형태(모달리티)의 데이터를 함께 처리하고 이해하는 AI 학습 방법한 줄 요약: "보는 것과 읽는 것을 동시에 이해하고 연결하는 AI의 능력"특징:단일 모달리티보다 풍부한 정보 처리 가능상호보완적 학습 효과인간의 다감각적 인지 능력에 더 가까운 접근필요성:실제 세계의 정보는 대부분 여러 형태로 존재이미지만으로 설명하기 어려운 맥락 정보 보완텍스트만으로 표현하기 어려운 시각적 요소 보완..

PEFT로 AI 모델 효율적으로 학습하기   오늘은 PEFT 알아보자.오늘의 배움파라미터 효율적 미세조정(PEFT) 개념LoRA, Q-LoRA, DoRA 기법Soft Prompts 기법1. PEFT (Parameter Efficient Fine-Tuning) 정의: 모델 전체를 재학습하지 않고, 일부 파라미터만 조정하여 학습 비용을 줄이는 방법한 줄 요약: 대규모 AI 모델을 적은 자원으로 특정 작업에 맞게 효율적으로 조정하는 기술특징:전체 모델 중 일부 파라미터만 업데이트메모리와 계산 비용 대폭 감소기존 모델의 지식 유지하며 새로운 작업 수행 가능필요성:대규모 모델 전체 재학습 시 막대한 자원 소요제한된 하드웨어로 최신 모델 활용 필요다양한 도메인별 맞춤형 모델 구축 요구장점/단점:장점: 학습 비용 절..

250310 ~ 250316 SK캠프 9기 13주 차 회고 일지 내용금주 주요 성과- 벡터 데이터베이스, 프롬프트 엔지니어링보완해야할 점- 응용 기술 학습한 주 동안...LLM 주요 파라미터벡터 데이터베이스프롬프트 엔지니어링 응용 - langchain 프롬프트 엔지니어링 응용 - RAG 프롬프트 엔지니어링 응용 - CoT파인튜닝 KPT Keep프롬프트 엔지니어링을 통해 결과를 개선할 수 있다.​이번 주는 LLM의 주요 파라미터, 벡터 데이터베이스, 프롬프트 엔지니어링, RAG, CoT, 그리고 파인튜닝까지 다양한 주제를 학습하였다. 특히 LLM을 실제 프로젝트에 적용할 때 중요한 요소들을 깊이 이해하고 실험해볼 수 있었던 점이 좋았다. 벡터 데이터베이스를 활용한 문서 검색 시스템을 직접 구현해보면서 의미..

250303 ~ 250309 SK캠프 9기 12주 차 회고 일지 내용금주 주요 성과자연어 처리 핵심 응용보완해야할 점자연어 처리 학습 정리한 주 동안..자연어 딥러닝 응용 - attention자연어 딥러닝 응용 - 신경망 기계번역자연어 딥러닝 응용 - 전이학습LLM 개요KPT Keep수업시간 중 실습으로 이해해보자.​어텐션 매커니즘부터 신경망 기계번역, 전리학습 등 자연어 처리를 집중하여 학습했다. 임베딩의 모델, 트랜스 포머 모델들을 공부. 이번에도 이론적 개념과 실제 적용 실습을 하며 개념에 대해 접근해본다.​ Problem개념과 실제 구현은 다르다.​다양한 고급 개념을 한번에 학습하다보니 각 주제의 깊이 있는 이해가 부족하다. 실제 구현 및 실험을 통한 경험적 학습이 제한적이다. 어렵다 어려워.....

250224 ~ 250302 SK캠프 9기 11주 차 회고 일지 내용금주 주요 성과자연어 처리를 위한 딥러닝 기술보완해야할 점자연어 처리 요약 정리한 주 동안..자연어 딥러닝 기초 - GRU자연어 딥러닝 기초 - 텍스트 분류자연어 딥러닝 기초 - 언어 모델링자연어 딥러닝 응용 - seq2seqKPT Keep일단 따라가보자.​이론과 실습을 함께하며 개념을 명확히 이해하려고 노력한다. 집에서 복습하면서 요약정리하는게 조금이나마 도움이 되길 바라본다... LLM을 드디어 하고 있다. MLDL보단 개념을 생각하는게 보다 흥미롭긴 하나 어려운건 그대로 인 것 같다 ㅎㅎ... ​ Problem많은 개념들이 머릿속에 입력되지 않았다.​아무래도 짧은 시간에 많은 모델의 개념을 학습하다보니 각 모델의 세부 구현에 대한 ..

효과적인 프롬프트 설계와 API 활용    오늘은 LLM(Large Language Model)의 사용 알아보자.오늘의 배움프롬프트 설계 기법과 중요성LLM의 다양한 활용 사례API를 통한 LLM 호출 방식1. LLM이란?정의: LLM(Large Language Model)은 대량의 텍스트 데이터를 학습하여 다양한 자연어 처리(NLP) 작업을 수행할 수 있는 AI 모델이다.한 줄 요약: 인간과 자연스럽게 대화하거나 텍스트 생성, 요약, 번역 등을 수행하는 대규모 인공지능 모델.특징:방대한 학습 데이터로 훈련됨다양한 자연어 작업 수행 가능입력된 프롬프트에 따라 출력이 달라짐필요성: 고객 응대, 콘텐츠 생성, 번역, 법률 검토 등 다양한 분야에서 자동화 및 생산성 향상이 가능함.장점:다양한 텍스트 작업 자동..

인공지능과 대화하는 시대의 핵심기술   오늘은 LLM(Large Language Model) 알아보자.오늘의 배움LLM의 개념과 역사적 발전LLM의 작동원리와 학습방식LLM의 종류와 활용사례1. LLM이란?정의: 대규모 데이터를 기반으로 학습된 초거대 언어 모델로, 자연어 생성, 번역, 요약 등 다양한 언어 관련 작업을 수행할 수 있는 딥러닝 모델이다.한 줄 요약: 방대한 텍스트 데이터로 학습하여 인간과 유사한 언어를 이해하고 생성할 수 있는 AI 모델이다.특징:수천억 개의 파라미터를 가진 초대형 모델이다.자기지도학습(Self-supervised learning) 방식으로 학습한다.다양한 언어 관련 작업을 단일 모델로 처리할 수 있다.별도의 학습 없이도 다양한 과제를 수행할 수 있는 인컨텍스트 러닝(In..

언어 모델의 진화와 혁신   오늘은 자연어처리의 전이학습에 대해 알아보자.오늘의 배움자연어처리의 전이학습 개념문맥 기반 임베딩의 발전과정Transformer 아키텍처의 핵심 구성요소1. 전이학습이란? 정의: 하나의 문제를 해결하기 위해 학습한 지식을 다른 관련 문제 해결에 적용하는 기계학습 방법이다.한 줄 요약: "배운 지식을 새로운 과제에 재활용하는 효율적인 학습 방식이다."특징:사전 훈련된 모델의 가중치를 활용한다소량의 데이터로도 좋은 성능을 낸다학습 시간과 자원을 절약한다필요성: 모든 NLP 작업마다 처음부터 학습하기에는 비용과 시간이 많이 소요된다.장점/단점:장점: 학습 효율성 증가, 적은 데이터로도 높은 성능단점: 도메인 차이에 따른 성능 저하 가능성, 모델 크기가 커질수록 자원 소모 증가예시:..

기계가 더 자연스럽게 언어를 생성하는 방법   오늘은 Input Feeding에 대해 알아보자.오늘의 배움Input Feeding 기법의 개념과 작동 방식자기회귀 속성과 Teacher Forcing 훈련 방법디코더의 탐색(추론) 알고리즘과 전략1. Input Feeding 정의: Input Feeding은 디코더에서 이전 시간 단계의 어텐션 정보와 현재 입력을 결합해 더 풍부한 문맥 정보를 제공하는 기법이다.한 줄 요약: 과거의 주목했던 정보를 기억하며 더 일관성 있는 번역을 생성하는 방법이다.특징:이전 시점의 컨텍스트 벡터를 현재 입력과 결합한다디코더가 과거 결정을 고려하며 새로운 단어를 생성한다문맥 정보가 시간에 따라 누적되는 구조이다⇒ Input Feeding은 디코더의 성능을 개선해 더 자연스러운..

집중하는 인공지능의 비밀   오늘은 자연어처리의 '어텐션 메커니즘'에 대해 알아보자.오늘의 배움어텐션 메커니즘의 기본 개념기존 RNN 모델의 한계점어텐션의 작동 원리와 계산 방법트랜스포머 모델에서의 어텐션 종류1. 어텐션 메커니즘정의: 어텐션은 입력 시퀀스의 중요한 부분에 가중치를 부여해 번역 품질을 향상시키는 딥러닝 기법이다.한 줄 요약: 인공지능이 사람처럼 중요한 정보에 '집중'하여 더 효과적으로 언어를 이해하고 번역하는 기술이다.특징:입력 시퀀스의 모든 단어를 동시에 고려한다출력의 각 단계마다 입력의 어떤 부분이 중요한지 동적으로 결정한다가중치(Attention 점수)를 통해 입력의 중요도를 계산한다필요성:RNN 기반 모델의 정보 손실 문제 해결긴 문장 처리 시 초반 정보가 소실되는 현상 개선문맥을..