언어 연구에서 딥러닝의 몇 가지 활용 사례

박진호 (서울대학교)

유사표현들의 사용 조건에 어떤 차이가 있는지는 언어 연구 및 언어 교육에서 중요한 주제라 할 수 있다. '오히려', '차라리', '도리어'도 그러한 유사표현의 사례이다. 29억 어절 규모의 한국어 말뭉치에서 추출한 이 세 부사의 용례 89만개를 가지고 딥러닝을 통해 신경망을 학습시켰다. 그 결과 인간보다 우수한 약 90%의 정확도를 보였다. heatmap을 통해 신경망이 이 세 부사의 판단에 사용한 단서를 조사해 보니, 노이즈도 들어 있지만, 인간 연구자가 미처 생각하지 못한 것들도 포함되어 있었다.

두번째로, 연대가 알려져 있는 국어사 자료를 가지고 신경망을 학습시켜 연대 미상의 국어사 자료의 연대를 추정할 수 있는 모델을 만들었다. 유사표현 판단이 분류 문제라면, 연대 추정은 회귀 문제이다. 유사표현 판단에서는 형태소 단위의 embedding을 사용했는데, 여기서는 글자 단위의 embedding을 사용했다. 신경망 학습시 각 샘플의 크기가 길수록, 그리고 샘플의 수가 많을수록 학습에 유리한데, 국어사 자료의 총량이 정해져 있으므로 샘플의 길이와 수는 trade-off 관계에 있다. 여러 조건으로 실험해 본 결과 샘플 길이 300자일 때 가장 좋은 결과를 낳았다. 모니터링할 metric으로 MSE를 사용했을 때보다는 MAE를 사용했을 때 결과가 더 좋았고, CNN의 모델을 몇 가지로 해 본 결과