자연어 처리

자연어 처리(NLP)란 인간의 언어 현상을 컴퓨터와 같은 기계를 이용해서 모사 할 수 있도록 연구하고 이를 구현하는 인공지능의 주요 분야 중 하나다. 자연어 처리는 연구대상이 언어학과 언어 현상의 내적 기재를 탐구하는 언어 인지 과학과 연관이 있다. 구현을 위해 수학적 통계적 도구가 많이 활용되며, 기계 학습 도구가 많이 사용된다.

개념

각종 문서나 뉴스, SNS 등 온오프라인을 가리지 않고 자연어는 많은 곳에서 각기 다른 난이도를 가진채 존재한다. 바로 이 자연어를 컴퓨터가 읽고 처리할 수 있도록 만드는 것이 자연어 처리이다. 인간의 언어를 이해하기 위해 머신러닝 기술을 적용하여 데이터를 처리하면 과거의 전통적인 방식과는 달리 좀 더 손쉽고 신속하게 정보를 얻어낼 수 있다. 따라서 자연어 처리는 정보검색, 자동통역, 문서작성, 요약분류, 철자 오류 수정 등 다양한 곳에서 널리 사용되고 있다. 대표적인 자연어 처리 서비스로는 구글 홈, 구글 어시스턴스, 워드렌즈, 왓슨, 코타나, 스카이프 트랜스레이터, 그래머리, 진저 등이 있다. 핵심기술로는 형태소 분석 기술, 구문 분석 기술, 의미 분석 기술, 담화 분석 기술, 단어 및 문장 생성 기술이 있다. 분석은 자연언어 문장에서 형태소 분석, 구문 분석, 의미 분석, 화용 분석 단계를 거쳐 결과를 도출한다.

자연어를 효율적으로 처리하기 위해선 딥러닝이 사용된다. 중의성이 있는 단어, 동음이의어의 경우에는 머신러닝 기법을 통해 해결할 수 있다. 애피어의 인공지능 과학자 민선 박사는 기계가 인간의 언어를 효율적으로 이해하고 번역하기 위해서는 인간이 단어 간의 관계를 명확히 밝혀줘야한다고 말했다. 여기서 딥러닝이 사용된다면, 인공지능은 딥러닝을 통해서 단어와 구문이 상황에 따라 어떻게 사용되고 있는지 의미를 학습하는게 가능하다. 즉, 누군가 인공지능에 미리 정의된 내용을 입력하지 않았고, 인간이 그 사이에 개입해서 관계를 정의하지 않아도, 인공지능 스스로 단어나 구문의 의미를 파악하고 기능을 수행할 수 있게된다.

같이보기

이 문서는 사진이 필요합니다.