Encode-Decode

* 2022 데이터청년캠퍼스 한국외대 자연어처리과정 논문세미나 진행하며 사용했던 발표 자료입니다. model architecture설명부분의 모든 이미지 자료들을 직접 제작했습니다. 자연어처리 분야에서 상당히 중요한 논문인 에서 제안된 Transformer model 을 리뷰해보자 2017년 구글이 발표한 논문인 에서 제안된 Transformer는 기존의 seq2seq구조의 인코더 디코더 포맷을 따르면서도 어텐션만으로 구현된 모델 구조를 갖는다. 기존에 널리 사용되던 RNN을 사용하지 않고 더 좋은 성능을 보여주었다는 점에서 NLP분야에서 일종의 game changer가 되었다. 논문이 발표되기 전까지 기존의 언어모델들은 RNN기반의 혹은 CNN기반의 seq2seq모델을 채택해왔다. 이러한 모델은 seq..

6/30 언어공학 수업 Martin F.Porter가 1980년 착안한 stemming 알고리즘 python으로 구현해보기 Stemming = 영어단어에서 접사(affix)를 제거하고 핵심적인 의미를 가지는 어간(stem)을 추출하는 과정 Porter의 algorithm for suffix stripping 에 나오는 단어의 consonant와 vowel의 연속개수를 counting 하고 단계적으로 규칙을 적용하여 stem을 추출하는 아이디어를 코드로 구현해보자 def VC_count (stem): vowel = ['a','e','i','o','u'] consonant = ['b','c','d','f','g','h','j','k','l','m','n','p','q', 'r','s','t','v','w',..