Attention 메커니즘1 [논문리뷰] Attention is All you need(Transformer), NIPS 2017 Abstract sequence modeling 시퀀스 데이터 모델링은 어떠한 시퀀스를 가지는 데이터로 부터 또 다른 시퀀스를 처리하는 데티터를 생성하는 tasK이다. 대표적인 예로는 기계 번역, 챗봇 등이 있다. 대부분 시퀀스 모델링은 RNN, CNN을 이용하였다. 이 모델들의 문제점은 모든 데이터를 한 번에 처리하는 것이 아니라 시퀀스 순서에 따라서 순차적으로 입력을 넣어준다. 이를 보완하기 위해서 Sequence to Sequence 모델을 사용한다. Sequence to Sequence model 사진 출처 : https://yjjo.tistory.com/35 기계번역 task를 예시로 seq2seq모델을 설명해보자면 인코더, 디코더 구조로 이루어져 있으며 인코더의 최종 출력(소스 문장의 최종 히.. 2022. 12. 27. 이전 1 다음
