ChatGPT가 기존 딥러닝과 무슨 차이가 있는걸까?

Gen AI의 대표주자인 ChatGPT가 기존의 딥러닝 모델기반의 서비스/플랫폼과 무엇이 다른걸까? 이런 생각이 들었고, 한참 검색을 했습니다.

긴 내용을 정리하면, 5~6년전만해도 CNN/RNN 같은 신경망 딥러닝 모델이 대세였고, 최근에 Transformer가 등장하면서 많은 영역에서 기존 모델을 대체했다는 것입니다. 기존의 기계학습에는 대규모 데이터세트에 정답지(labeling)를 달아서 학습을 해야 했는데, Transformer는 패턴을 수학적으로 찾기때문에 labeling이 필요없고, 게다가 연산의 병렬 프로세싱에 적합하여 성능도 좋다고 하네요. 그러니 더 대량의 데이터 학습에 장점이 생긴것 같습니다.

사실 이 Transformer의 시작은 Google 직원이 "Attention Is All You Need" 라는 논문에서 시작되었습니다.

https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf

자세한 내용은 다음 페이지를 참고하세요. https://blogs.nvidia.co.kr/2022/04/01/what-is-a-transformer-model/

Transformer의 장점은 위에서 설명했고, 그러면 단점은 무엇인가? 그리고, CNN/RNN은 안쓰는 것인가? 아직도 이미지 프로세싱 같은 경우는 CNN처럼 신경망 모델을 잘 사용합니다. 제가 확인한 유일한 단점은 모델 학습을 위해서 엄청난 리소스가 필요하고, 모델이 무겁다는 것입니다.

다음 글은 Transformer를 통해 만든 모델의 fine tuning 관련해서 정리해보려 합니다.