NLP 썸네일형 리스트형 1/16, 서른 아홉 번째 날의 TIL(NLP) Django로 간단한 블로그 만들기는 오늘 모두 완료했다. 에러가 매우 많이 떴지만, 하나하나 해결해가는 재미가 있었던 것 같다. 그리고 그 후에, NLP에 대한 내용을 공부하며 정리해봤다.서브워드 토크나이저모르는 단어로 인해 문제를 푸는 것이 까다로워지는 상황을 OOV(Out-Of-Vocabulary) 문제서브워드 분리 : 하나의 단어를 여러 서브워드로 분리해서 단어를 인코딩 및 임베딩하는 전처리 작업OOV나 희귀 단어, 신조어와 같은 문제를 완화시킬 수 있음바이트 페어 인코딩(Byte Pair Encoding, BPE)BPE기존의 BPE : aaabdaaabac → ZabdZabac → ZYdZYac → XdXacZ : aa, Y : ab, X : ZY위처럼 연속적으로 가장 많이 등장한 글자의 쌍을 .. 더보기 1/2, 스물 아홉 번째 날의 TIL 오늘은 RNN과 워드 임베딩에 대해 공부했다. RNN(순환 신경망)이란 입력과 출력을 시퀀스 단위로 처리하는 모델로, 번역기나 감성 분류, 챗봇 같은 다양한 문제에 활용될 수 있다. RNN은 은닉층에서 이전 상태를 기억하며, 입력 벡터와 은닉 상태를 기반으로 새로운 출력을 생성한다. 특히, 입력과 출력의 길이를 다르게 설정할 수 있어 유연한 활용이 가능하다. 하지만 기본적인 RNN(바닐라 RNN)은 장기 의존성 문제를 겪는다. 이를 해결하기 위해 **LSTM(Long Short-Term Memory)**과 GRU(Gated Recurrent Unit) 같은 개선된 모델들이 등장했다. LSTM은 입력 게이트, 삭제 게이트, 출력 게이트를 추가하여 불필요한 정보를 제거하고, 중요한 정보를 효율적으로 기억한다.. 더보기 이전 1 다음
