2021년 뜨고 있는 인공지능 기술 9가지

최근 더욱 성능이 좋아진 인공지능 기술 9가지를 소개한다. (NIA 자료 참조)

1) GPT-3 : 언어모델의 스케일 업 -> 빅테크 기업 모델 개발 및 유료 API 서비스 제공
2) Transformer(트렌스포머) : 병렬 처리 기술 -> 컴퓨터비전 분야에도 트랜스포머 기술이 도입 예정
3) Self Supervised Learning(자기지도학습) : 데이터 라벨링의 한계를 극복 -> 초대규모 원시 데이터 구성

4) Federated Learning(연합학습) : 민감정보가 보호되는 분산AI 학습 -> 병원 등 민감데이터 활용 협업
5) Edge(에지) AI : 온디바이스 AI를 위한 모델 경량화 -> 클라우드 활용없이 스마트폰 등 단말 내 AI 실행
6) Transfer Learning(전이학습) : 누구나 딥러닝을 할 수 있도록 지원 -> 사전 학습된 모델 활용 맞춤형 모델 재생산

7) Generative(생성적) AI : 인식(판별)을 위한 AI를 넘어 창조하는 AI -> 데이터 증강 활용 원본데이터 보충
8) Auto ML : AI도 AI가 만들어 낸다 -> 인공지능 모델 개발 시 반복, 비효율적인 작업 인공지능 활용
9) System2(시스템2) AI : 단순 이해를 넘어 인과적 관계를 이해 -> 직관적 사물 인식 넘어 맥락 이해

 

이 중에 가장 핵심은 GPT-3라고 생각한다. 크롤링으로 수집한 단어만 4100억개. 위키피디아 통계 정보에 따르면 한글로된 위키피디아 문서의 전체 단어 수가 10년 전 쯤에 10만 단어 였는데, 지금은 1억 3천만 단어 정도다. 10년만에 1300백가 늘어 났다. 엄청난 양이다. 

그렇다면 이런 한글 위키피디아 데이터가 4100개가 있다는 말이다. 10년 전 성능 좋은 PC 1대에서 모델을 돌렸는데, 지금은 어림도 없다. 클라우드에 올려 엄청난 메모리와 CPU연산을 통해 학습 모델을 만든다. 모델링 한번에 수십억원의 HW 자원을 사용한다. 모델링을 처음부터 끝까지 하는데 사용하는 비용이 아니다. 단 한번의 모델링을 하는데 수십억원이다. 대략 생각해보아도 몇 번만 모델링을 돌려도 수 백 억원의 비용이 발생한다. 

이 정도면 카카오나 네이버 급 기업이 아니고서는 시작도 해 볼 수 없다. '방대한 데이터 + 거대한 컴퓨터 리소스 자원 -> 초대규모 자연어 처리 인공지능 모델'이 탄생했다. 아직 인간의 뉴런에 비하면 작은 규모이지만 몇 년 후 지금의 GPT-3보다 수백배의 큰 모델이 나온다면 인간의 뉴런을 정말로 똑같이 모방할 지도 모르겠다.