LLM 썸네일형 리스트형 1/14, 서른 일곱 번째 날의 TIL(KoGPT-2) 챌린지 학습반에서 프로젝트를 하는데, 해리포터 데이터와 성격을 파인튜닝한 캐릭터 채팅AI를 만들어보고 있다. 처음에는 GPT 2.0모델을 불러와서 한국어 학습 -> 채팅 학습 -> 캐릭터 학습 과정으로 진행하려고 했으나 실제로 한국어 학습을 시키려고 해보니 방대한 데이터 양 때문에 개인으로 하기에는 쉽지 않다는 것을 알게 되었다. 따라서 기존에 SKT에서 GPT 2.0 모델을 바탕으로 한국어 학습을 시킨 KoGPT-2 모델을 HuggingFace에서 불러와서 사용을 하기로 하였고, 처음에 한국어 성능을 확인하려고 테스트 문장을 하나 넣어봤는데 모델이 한국어를 거의 못했다. 대규모 데이터셋으로 한국어를 학습시켰을 텐데 왜 성능이 안좋지..? 했지만 알아본 결과 토크나이저가 달라서였다. 예를 들어, KoGP.. 더보기 이전 1 다음