* 2022 데이터청년캠퍼스 한국외대 자연어처리과정 논문세미나 진행하며 사용했던 발표 자료입니다. model architecture설명부분의 모든 이미지 자료들을 직접 제작했습니다. 자연어처리 분야에서 상당히 중요한 논문인 에서 제안된 Transformer model 을 리뷰해보자 2017년 구글이 발표한 논문인 에서 제안된 Transformer는 기존의 seq2seq구조의 인코더 디코더 포맷을 따르면서도 어텐션만으로 구현된 모델 구조를 갖는다. 기존에 널리 사용되던 RNN을 사용하지 않고 더 좋은 성능을 보여주었다는 점에서 NLP분야에서 일종의 game changer가 되었다. 논문이 발표되기 전까지 기존의 언어모델들은 RNN기반의 혹은 CNN기반의 seq2seq모델을 채택해왔다. 이러한 모델은 seq..
