Bart 썸네일형 리스트형 2/6, 쉰 네 번째 날의 TIL(인코더-디코더 모델) 인코더와 디코더, 그리고 그 둘을 같이 사용하는 모델에 대해서 조사해보았다. 인코더와 디코더 각각 기능이 있는데 이 둘을 합치면 더 좋은 시너지가 날 것이므로 나중에 모델을 만들 때 둘을 같이 사용하는 모델을 만들어봐야겠다.인코더와 디코더인코더 BERT와 디코더 GPTAttention 논문에서 제안되었던 초기 트랜스포머는 인코더-디코더 구조를 가짐인코더는 일반적으로 자연어 이해 능력이 뛰어남인코더는 입력 문장을 모든 토큰을 동시에 고려하며, 문맥(Context)을 최대한 압축하여 벡터로 변환하는 역할을 함대표적인 구조는 BERT처럼 양방향(Bidirectional) 어텐션을 활용하여 문장의 모든 단어가 서로 영향을 주고받을 수 있음이 덕분에 문장의 의미, 문맥, 관계를 깊이 이해할 수 있어 문장 분류, .. 더보기 이전 1 다음