대형언어모델의 기초

강의상세

이 교과목은 대형언어모델의 기본 개념을 시작으로 트랜스포머 라이브러리를 사용하여 대형언어모델을 원하는 목적에 맞게 사용하는 바업에 대해 다룬다.

트랜스포머모델 기초

1.	트랜스포머모델 기초	자연어처리 이해 및 파이프라인 의 종류 및 파이프라인 라이브러리로 작업하기
	트랜스포머모델 학습	트랜스포머 모델을 이해하고 전이학습, 미세조정에 대해 학습한다. 트랜스포머 모델을 작업에 따라 구별하고 선택하는 방법을 살펴본다.
	트랜스포머사용법	파이프라인 내부 세부 동작을 이해하고 토크나이저, 모델, 후처리과정을 이해한다.
2.	토크나이저	토크나이저의 세부 동작, 종류에 대해 학습하며 트랜스포머 라이브러리를 사용하여 토크나이저, 다중 시퀀스 처리 방법에 대해 살펴본다.
	데이터세트 처리	데이터 세트를 다운로드하고 업로드하는 방법을 학습하며 데이터 세트 전처리, 동적 패딩에 대해 이해한다.
	사전학습모델 미세조정	TrainerAPI 및 학습 루프를 통한 모델 미세조정을 학습하고 Accelerate 라이브러리를 사용한 분산학습 방법을 알아본다.