[생성형 AI] ChatGPT

ChatGPT 개요

ChatGPT가 만든 변화

• Google is done: 영국 일간 인디펜던트가 2022년 12월 올린 기사의 제목
• 일주일 만에 100만, 40일만에 1천만명 돌파
• 두 달 만에 월 사용자 1억명 돌파

ChatGPT를 만든 OpenAI

• 테슬라의 일론 머스크, 와이콤비네이터의 샘 알트만, 링크드인의 리드 호프먼 등 IT 업계의 거물들이 힘을 합쳐 만듦
• 2015년 12월에 비영리 기업으로 시작 -> 2019년 MS 투자 영리&비영리 -> 2018년 GPT-1 -> 2019년 GPT-2 -> 2020년 GPT-3

ChatGPT란?

• 언어모델(Language Model) GPT: Generative Pre-trained Transformer, 사전 훈련된 생성 변환기
• 검색 엔진: 구글 검색 vs 생성 모델: ChatGPT
• 검색 엔진: 키워드 또는 문장을 입력 받아 관련된 결과를 반환
• 생성 모델: 대부분 훈련된 데이터를 바탕으로 새로운 문장, 이미지, 음성 등을 생성

ChatGPT의 특징

• 일반 머신러닝: 문제 정의 -> 모델 선정/설계 -> 데이터 학습 -> 수치 예측, 범주 분류
• ChatGPT: 응답 문장 생성 -> Transformer 기반 -> 문장 추론, Chatbot 사용
• ChatGPT 모델 != 데이터 암기, = 추상화된 학습 데이터
• ChatGPT 사용: AutoRegression
• 글을 쓰기 위한 AI(언변이 좋음)
• 지시문을 사실로 인지
• 창의적인 상상력(실행할 때마다 말을 바꾼다)
• 외부와 단절됨(인터넷 검색을 못한다)

ChatGPT 연령 제한 방침

• OpenAI - ChatGPT, DALLE: 최소 만 13세 이상/단, 18세 미만 부모 동의
• Bing Chat 스마트폰 앱: 구글플레이스토어 3세 이상, 애플스토어 17세 이상

ChatGPT 활용 업무 효율화

• 2023.01.27. 정책 방향 업무보고: ChatGPT를 사용해서 업무를 효율화하라.
• 내용이 뻔한데 잘 떠오르지 않아 어려운 글쓰기를 할 때 활용하기 좋음
• 사실성이 중요하거나 즉시성이 중요한 일, 숫자 계산에는 활용 금지

---

ChatGPT 이론

seq-to-seq 모델(2014)

• 단어 -> (Word embedding을 통해) 벡터 -> 벡터 -> 단어
• 단어를 숫자화 해서 번역한 후 단어로 번역(ex. 불어 -> 영어)
• 병목현상: 장기 의존성 문제

Word Embedding

• Semantle: Word Embedding 단어 맞추기

Attention(2014)

• 어떤 hidden state가 이 단어를 결정하는지 평가

트랜스포머

• seq-to-seq에서 Attention이 추가된 것이라고 생각하면 됨

트랜스포머 기반 인공지능 언어모델

• 언어이해 모델: BERT
• 언어생성 모델: GPT-2

자기지도 학습-자기회귀

• 자기지도학습(Self-supervised Learning): 본문 중 일부 단어를 가리고 맞추는 학습
• 학습: 입력을 받아 연결된 1750억개 숫자들로 계산을 한 결과가 정답과 비슷한 답을 내도록 숫자들을 조정
• 자기회귀(Auto Regression): 앞 단어를 기준으로 뒤 단어를 확률적으로 생성
  • 답변 신뢰성: 학습된 데이터를 기반으로 다음 단어를 추정, 생성하므로 어느정도 신뢰성이 있으나, 외부 정보를 검색하거나 가져오는 기능이 없기 때문에 사실성/즉시성이 중요한 업무에는 사용불가
  • 답변 다양성: 답변 후보들의 확률 차이를 조정하거나 후보군의 범위를 조정하여 답변 다양성을 조정하며, 웹 환경에서는 조정 불가능하나 챗GPT의 API 버전에서는 설정 가능

파라미터수와 능력

• 모두 학습하지 않아도 파라미터가 커질 수록 새로운 능력을 가지게 된다.

---

할루시네이션

확률적 앵무새: Stochastic Parrots

• 의미를 되새길 필요없이 다음 단어를 예측하는 모델이 무슨 인공지능인가?

할루시네이션: ChatGPT의 그럴듯한 거짓말

할루시네이션의 개선 시도(GPT-4.0)

• 여전히 신뢰할 수 없으나, 3.5에 비해 40% 개선됨

---

정보 보호

사람은 ChatGPT를 구분할 수 있을까?

• 사람은 ChatGPT를 구분할 수 없음
• 표절검사기도 구분할 수 없음

ChatGPT가 논문을 쓴다면?

• LLM을 연구 논문의 저자로 인정하지 않는다: 네이처/사이언스
• 저자는 논문 작업에 대한 책임을 져야 하지만 AI는 그럴 수 없기 때문

저작권

• 인간이 작업하지 아니한 모든 것들에 대한 저작권이 인정되지 않음
• AI가 생성한 결과물에 사람이 추가적인 작업을 하고 기여도를 명확히 증빙 했을 때, 저작권을 인정받을 수 있음

데이터 무단 수집

• 정보 유출 사고 발생

ChatGPT 악용

• 학생들이 과제 대필
• CyberCriminals
• 피싱메일
• 랜섬웨어
• 디도스