보기에도 상당히 복잡한 트랜스포머는 사실 하나씩 분리해 보면 간단하다.
먼저 크게는 인코더-디코더의 구조를 하고 있다. 이는 좌측에서는 입력 시퀀스가 들어가고, 우측에서는 출력 시퀀스가 나오는 것을 보면 쉽게 알 수 있다. 입럭 시퀀스는 Input Embedding, 출력 시퀀스는 Output Embedding으로 들어가는데, 여기서 Embedding은 입력 시퀀스를 벡터로 바꿔주는 역할을 한다(더 자세하게 말하면 입력 텍스트가 작은 단위의 토큰들로 쪼개져 숫자들로 변환되고, 토큰들이 다시 숫자들의 집합인 벡터로 변환된다).- P155
