챗GPT(ChatGPT), 제미나이(Gemini)와 같은 생성형 AI는 이제 일상적인 도구가 되었습니다. 질문을 입력하면 자연스러운 문장을 만들어내기 때문에 마치 인간처럼 이해하고 사고하는 것처럼 보입니다. 하지만 실제로 AI는 단어를 의미 그대로 이해하기보다, 텍스트를 수치 데이터로 변환해 확률적으로 처리합니다.
이번 글에서는 생성형 AI의 핵심 구조인 토큰(Token) 개념과, 문맥을 파악하는 기반 기술인 트랜스포머(Transformer) 구조의 원리를 정리해 보겠습니다.
1. AI의 기본 단위: 토큰화(Tokenization)
AI 모델은 입력된 문장을 그대로 처리하지 않습니다. 먼저 문장을 일정한 단위로 분해하는데, 이를 토큰화(Tokenization)라고 합니다. 토큰은 단어 전체일 수도 있고, 단어의 일부 음절이나 문자 조합일 수도 있습니다.
예를 들어 “안녕하세요”라는 문장은 하나의 토큰이 될 수도 있고, 여러 개의 하위 단위로 나뉠 수도 있습니다. 이는 모델이 사용하는 토큰화 방식에 따라 달라집니다.
대표적인 방식으로는 BPE(Byte Pair Encoding)나 유사한 서브워드(subword) 알고리즘이 있습니다. 자주 등장하는 문자 조합을 하나의 단위로 묶어 효율적으로 표현하는 방식입니다. 이렇게 분해된 토큰은 각각 고유한 숫자 ID로 변환되고, 다시 벡터(vector)라는 수치 표현으로 바뀝니다.
결국 생성형 AI는 텍스트를 직접 이해한다기보다, 벡터 공간에서 숫자 간 관계를 계산하여 다음에 올 가능성이 높은 토큰을 예측하는 구조로 작동합니다.
2. 문맥을 이해하는 구조: 어텐션(Attention) 메커니즘
생성형 AI의 핵심 기술은 트랜스포머(Transformer) 아키텍처입니다. 이 구조의 중심에는 어텐션(Attention) 메커니즘이 있습니다.
어텐션은 문장 안에서 각 단어(토큰)가 다른 단어와 얼마나 관련이 있는지를 계산하는 방식입니다. 예를 들어 다음 문장을 보겠습니다.
“그는 사과를 먹으러 과수원에 갔다. 그것은 매우 달콤했다.”
이 문장에서 “그것”이 무엇을 가리키는지 파악하려면 앞 문장의 정보와 연결해야 합니다. 어텐션 메커니즘은 이런 관계를 수치적으로 계산하여, 문맥상 관련성이 높은 토큰에 더 높은 가중치를 부여합니다.
이 과정이 여러 층(layer)을 거쳐 반복되면서 문장의 구조적 의미가 정교하게 반영됩니다. 다만 이는 인간처럼 의미를 ‘이해’한다기보다, 학습된 패턴을 기반으로 확률적으로 계산하는 과정에 가깝습니다.
3. 컨텍스트 윈도우와 연산 자원
생성형 AI에서 자주 언급되는 개념 중 하나가 컨텍스트 윈도우(Context Window)입니다. 이는 모델이 한 번에 처리할 수 있는 최대 토큰 길이를 의미합니다.
컨텍스트 윈도우가 클수록 더 긴 대화나 문서를 참고할 수 있지만, 그만큼 연산량도 증가합니다. 어텐션 계산은 토큰 수가 늘어날수록 계산 복잡도가 커지는 구조이기 때문에, 모델 설계에서는 효율성과 성능 사이의 균형이 중요합니다.
이러한 이유로 AI 서비스는 토큰 수를 기준으로 사용량을 관리하거나, 대화 기록을 요약해 유지하는 방식 등을 활용합니다. 기술적 구조와 서비스 정책은 밀접하게 연결되어 있습니다.
4. 멀티모달 모델의 확장
최근에는 텍스트뿐 아니라 이미지, 음성, 영상까지 함께 처리하는 멀티모달(Multimodal) 모델이 발전하고 있습니다. 이 경우 이미지나 오디오 역시 일정한 단위로 분해되어 수치 벡터로 변환된 뒤, 텍스트와 유사한 방식으로 통합 처리됩니다.
즉, 데이터 형태는 다르지만 최종적으로는 모두 수학적 표현으로 변환되어 하나의 모델 안에서 계산됩니다. 이를 통해 사진을 설명하거나 음성을 텍스트로 이해하는 기능이 가능해졌습니다.
5. 확률 기반 계산이 만들어내는 언어 생성
생성형 AI는 언어의 의미를 인간처럼 직관적으로 이해한다기보다, 방대한 데이터에서 학습한 패턴을 바탕으로 다음 토큰을 예측하는 확률 모델입니다. 토큰화, 어텐션, 벡터 연산과 같은 기술이 결합되어 자연스러운 문장이 만들어집니다.
이러한 구조를 이해하면 AI의 한계와 가능성을 보다 균형 있게 바라볼 수 있습니다. 디지털 환경에서 AI를 활용하려면 결과만 소비하기보다, 그 작동 원리를 이해하는 태도가 중요합니다.
다음 글에서는 소셜 미디어 알고리즘의 구조를 중심으로, 인스타그램 피드가 어떻게 사용자에게 맞춤 콘텐츠를 추천하는지 살펴보겠습니다.