분야
docxGPT-2, GPT-3, GPT-4는 모두 OpenAI에서 개발한 대규모 언어 모델(LLM)입니다. GPT는 Generative Pre-trained Transformer의 약자입니다. GPT-2는 15억개(1.5B), GPT-3는 1750억개(175B), GPT-4는 1조개(1T)의 매개변수를 가지고 있습니다. 매개변수 수는 LLM의 크기와 복잡성을 나타낸다고 보면 됩니다.
LLM이란
대규모 언어 모델(Large Language Model, LLM)은 자연어 처리 및 인공 지능 분야에서 중요한 역할을 하는 기술입니다. LLM은 많은 양의 텍스트 데이터를 학습하여 언어 이해, 생성, 번역 등의 다양한 작업을 수행할 수 있는 능력을 갖추고 있습니다. 이 모델은 주로 딥 러닝 알고리즘과 큰 규모의 컴퓨팅 자원을 사용하여 학습됩니다.
