Transformer Encoder와 Decoder 차이 탐구
Transformer 모델의 구조적 차이 탐구 최근 NLP 분야에서 Transformer 기반 모델을 다루다 보니, GNN(Graph Neural Network)에서 SBERT 임베딩의 효과성에 대한 궁금증이 생겼다. 이를 계기로 BERT의 임베딩 과정과 Transformer의 Encoder-Decoder 구조를 깊이 파고들었다. 이 포스트에서는 그 과정을 정리하며, 핵심 인사이트를 공유한다. 초기 궁금증: GNN과 SBERT 임베딩의 적합성 처음 질문은 Knowledge Graph(KG)의 SPO(Subject-Predicate-Object) 구조에서 SBERT 임베딩이 효과적인가였다. KG는 주어-목적어-동사 형태의 짧은 삼중항으로 구성되는데, BERT의 Transformer 구조가 긴 문장에서 빛을 발휘하는 만큼, 짧은 입력에서 과잉일 수 있다는 우려였다. ...