Transformer의 특징

위치정보를 가지고 있기 때문에 순차적 처리가 필요 없고 병렬처리가 가능하다

 

 

Positional Encoding

 

 

 

Transformer의 가장 큰 특징 중 하나는 바로 **"위치 정보(Position Information)를 활용하면서도 순차적 처리가 필요 없고, 병렬 처리가 가능하다"**는 점이다. 이 점이 RNN과의 주요 차이점이다.

Transformer의 주요 특징

1. 위치 정보(Position Encoding):
   • Transformer는 시퀀스 내의 각 단어의 순서를 알기 위해 위치 정보를 추가한다. 이 위치 정보는 위치 인코딩(Position Encoding)이라고 불리며, 각 단어의 위치를 나타내는 벡터로 변환되어 모델에 입력된다.
   • 이 위치 인코딩 덕분에, Transformer는 단어들의 순서를 인식하면서도 각 단어를 독립적으로 처리할 수 있다.
2. 병렬 처리:
   • RNN은 시퀀스를 순차적으로 처리해야 하므로, 이전 상태를 계산한 후에야 다음 상태를 계산할 수 있다. 이 때문에 계산 속도가 느리고 병렬 처리가 어렵다.
   • 반면, Transformer는 모든 단어를 동시에 처리할 수 있다. 각 단어의 위치 인코딩과 함께, Attention 메커니즘을 사용해 단어들 간의 관계를 한 번에 계산한다. 이로 인해 병렬 처리가 가능하고, 학습 속도가 훨씬 빠르다.
3. Self-Attention:
   • Transformer의 또 다른 중요한 특징은 Self-Attention 메커니즘이다. 이를 통해 각 단어가 시퀀스 내의 다른 모든 단어와의 관계를 고려할 수 있게 된다.
   • Self-Attention은 시퀀스의 길이와 상관없이 모든 단어를 한 번에 참조할 수 있어, 긴 시퀀스에서도 효과적으로 정보를 처리할 수 있다.

핵심 요약

• RNN은 순차적으로 데이터를 처리하므로, 계산이 느리고 병렬 처리가 어렵다.
• Transformer는 위치 정보를 활용하면서 병렬 처리가 가능하다. 이 때문에 계산 속도가 빠르고, 긴 시퀀스에서도 성능이 뛰어나다.

이 차이점 때문에, Transformer는 최근 자연어 처리(NLP)와 같은 분야에서 RNN을 대체하며 널리 사용되고 있다.