자연어 처리를 위한 딥러닝¶
강의 설명¶
자연어 처리(NLP)를 위한 딥러닝 과정은 대학생들이 딥러닝을 사용하여 자연어 처리 문제에 대한 첨단 기술을 이해하고 적용할 수 있는 필수 기술과 지식을 갖추도록 하기 위한 전문 과정이다. 이 과정은 큰 언어 모델, 변환기, 주의 메커니즘, 토큰화, 미세 조정 등에 대한 기초 이론과 실용적인 응용을 다룬다. 실습과 학기 프로젝트를 통하여 학생들은 다양한 NLP 작업을 위한 딥러닝 모델을 개발하고 평가하는 방법을 배운다.
학습 목표¶
본 과정을 마치면 학생들은 다음과 같은 능력을 갖게 된다.
- NLP에 적용되는 딥러닝의 기본 원칙을 이해한다.
- 주요 딥러닝 라이브러리와 프레임워크를 숙지한다.
- 다양한 NLP 작업을 위해 큰 언어 모델을 개발하고 훈련한다.
- 제로샷 학습, 프롬프트 엔지니어링, 주의 아키텍처와 같은 기술을 적용한다.
- BERT 및 GPT와 같은 사전 훈련된 모델을 특정 용도로 구현한다.
- 적절한 토큰화, 사전 훈련, 미세 조정과 함께 사용자 지정 모델을 설계하고 평가한다.
- 큰 언어 모델에서 강화 학습의 응용 프로그램을 탐구한다.
- ChatGPT와 같은 대화형 AI 모델을 이해하고 구축한다.
- NLP와 특정 NLP 도전 과제를 위한 AI 에이전트를 개발한다.
성적 평가¶
- 참여: 10%
- 중간고사: 30%
- 학기 프로젝트: 60%
최종 프로젝트¶
최종 프로젝트에서 학생들은 실제 NLP 문제에 대해 작업하고 이를 해결하기 위한 딥러닝 모델을 개발한다. 프로젝트는 데이터셋의 전처리, 사전 훈련된 모델의 미세 조정 또는 사용자 지정 모델의 개발, 모델 성능의 평가를 포함한다. 프로젝트 보고서는 연구 논문 형식으로 제시된다.
강의 개요¶
1주: 서론¶
- NLP 소개
- 딥러닝의 NLP 적용 개요
- 실제 응용 및 도전 과제
2주: 딥러닝 라이브러리 시작¶
- TensorFlow와 PyTorch와 같은 라이브러리 소개
- 기본 신경망 구성 요소
- 간단한 모델 구현
3주: 큰 언어 모델¶
- 거대 언어 모델 이해
- 사전 훈련된 모델 훈련 및 사용
- 응용 및 한계
4주: 제로샷, 프롬프트, 검색 전략¶
- NLP에서 제로샷 학습
- 프롬프트 기반 학습 기술
- 모델에서 검색 전략
5주: 프롬프트 엔지니어링¶
- 효과적인 프롬프트 제작
- 프롬프트와 함께 미세 조정
- 텍스트 생성에서의
응용
6주: 주의 아키텍처¶
- 주의 메커니즘 이해
- 구현 및 사용 사례
- 다중 모달 주의 모델
7주: 변환기¶
- 변환기 아키텍처 소개
- 자기 주의와 인코더-디코더 모델
- 라이브러리에서 변환기 구현
8주: BERT: 양방향 인코더 표현 변환기¶
- BERT 이해
- BERT 훈련 및 미세 조정
- BERT의 NLP 응용
9주: GPT: 생성적 사전 훈련 변환기¶
- GPT 소개
- 다양한 GPT 세대 작업
- 미세 조정 및 응용
10주: 토큰화¶
- NLP에서 토큰화의 기본
- 하위 단어 토큰화 기술
- 구현 및 도전
11주: 사전 훈련¶
- NLP를 위한 사전 훈련 기술
- 특정 데이터와 함께 사용자 지정 사전 훈련
- 사전 훈련된 모델 활용
12주: 미세 조정¶
- 미세 조정 전략
- NLP에서의 전이 학습
- 사례 연구 및 모범 사례
13주: LLM을 위한 강화 학습¶
- NLP에서 강화 학습 소개
- 강화 학습을 사용한 모델 훈련
- 고급 전략 및 응용
14주: ChatGPT: 대화형 AI¶
- ChatGPT를 사용한 대화형 AI 구축
- 대화 모델 사용자 지정 및 배포
- 윤리 고려 사항 및 공정성
15주: NLP 및 NLP를 위한 AI 에이전트의 벡터 데이터¶
- 언어 모델에서 벡터 데이터 작업
- NLP 도전 과제를 위한 AI 에이전트 구축
- 강의 복습 및 최종 프로젝트 지침
추가 자료¶
강의 기간 동안 연구 논문, 튜토리얼 및 보충 강의와 같은 추가 자료가 제공된다. 학생들은 이러한 자료를 사용하고 수업 토론 및 포럼에서 적극 참여하도록 권장된다.