[NLP] 자연어 처리의 역사

들어가며

ml/dl 이전에 존재하던 규칙(rule) 기반 자연어 처리 방법론과 통계 기반 자연어 처리 방법론에 대한 설명은 생략하겠다.

대표적인 ML 접근법으로는 supervised learning과 unsupervised learning 기법이 있다. 이때 전자는 가령 번역 task의 경우 pair로 데이터셋이 존재한다. i.e) (안녕-hello) 후자의 경우는 사용자들이 만든 문장들 자체를 학습한다.

 

뉴럴 심볼릭 기반 자연어 처리

: 사전에 구축된 상식 정보를 학습한다. 당연히 전문가들에 의해서 만들어진 정보이기 떄문에 supervised로 분류된다. 

 

pre-train fin-tuning 기반 자연어 처리

pretrain(supvervised learning) + fintuning(Unsupervised learning)의 합으로 학습을 진행한다. 다량의 user가 만든 문서를 먼저(pre) 학습하고 task에 맞춰서 fintuning을 한다. 비유를 하자면 고교수준으로 만드는 부분이 pretrain 부분이고 대학 전공을 가르치는 것이 fintuning이다.

 

cf) gpt 1,2가 pretrain-fintuning 기법으로 만들어졌다.

 

LLM 기반 자연어 처리

2020년 openAI에서 발표한 역사적인 논문 "Scaling Laws for Neatural Learning Model"에서 최초 도입된 방법론으로 scaling law 즉 학습 파라미터를 키우는 것에 비례하여 모델의 성능이 증가한다는 법칙이다.

 

 

continual 기반 자연어 처리

: LLM으로 만든 모델을 baseline 모델로 사용하고 실무에 특화된 지식들을 계속(continue) 학습시키는 방법론이다. 특정 task에 특화된 모델로 실질적인 수익을 창출해낼 수 있다. 

 

Ethics & Fairness

혐오발언, 문화적 차이, 사회적 인식 편향 등등을 고려한 답변이 생성되어야 한다. 나는 별로 관심 없는데 이런 분야를 Fairness AI라고 하고 이러한 문제를 해결하기 위해 치명적 오류 감지(CED, Critical Error Detection) 연구가 활발히 진행중이라고 한다.