Text Data prep(텍스트 데이터 전처리)을 위해 왜 언어 전문가가 필요할까? 효율적인 자연어처리(Natural Language Processing)를 위해 꼭 필요하지만, 아무나 접근할 수 없는 부분이 있습니다. 바로 'Data Preparation(이하 prep)' 과정입니다. 국내 유일의 언어전문가 그룹 TEXTNET이 정의하는 언어전문가는 누구인지,그리고 왜 언어전문가가 필요한지, 주로 어떤 작업들을 진행하고 있는지에 대해 간단히 다뤄보고자 합니다. 이번 글을 통해서는 TEXTNET이 정의하는 언어전문가는 누구인지에 대해 소개해 드리겠습니다. TEXTNET은 통상 아래 3가지 요소로 나누어 언어전문가를 정의하고 평가합니다. 어학지식: 문법적 요소 문학지식: 표현적 요소 도메인 지식: 언어사용 맥락에 맞는 변화요소 1번(어학지식)과 2번(문학지식)의 경우에는 언어 관련 전공인국어국문학, 언어학, 문예창작학 등을 전공했다면 익숙하게 느껴질 것입니다.하지만 지식의 익숙함에만 집중하는 것이 아니라, Partner가 원하는 방식에 따라 다양한 요소를 반영할 수 있어야 합니다. 언어는 똑같은 의미를 담고 있더라도 언어 사용의 주체, 목적, 맥락 등에 따라 표현이 달라져야 전달이 매끄러워지기 때문이죠.이것이 3번(도메인 지식)에 해당합니다. 당연하게도 TEXTNET의 전문가들이 세상에 존재하는 모든 상황에 대한 경험을 보유하고 있지는 못합니다.앞으로도 의뢰받는 모든 상황에 대한 경험을 가지고 있지 못할 것입니다. 따라서 TEXTNET의 언어전문가로 거듭나기 위해서는어학/문학적 지식을 바탕으로 도메인 지식을 카멜레온처럼 반영할 수 있는 언어적 감각을 갖추어야 합니다. 하지만 언어 사용은 태어나서부터 수십년간 자주 사용하던 습관 등의 관성이 있기 때문에요구사항에 따라 자유자재로 바꾸는 것은 결코 쉽지는 않습니다. TEXTNET은 깊이 있는 전문 지식을 Partner 및 처한 상황에 따라 변형시키는 지식 활용 센스를 겸비한 분들을 언어 전문가로 정의하고,Client가 요청한 Document의 특징에 부합하는 인력을 맞춤형으로 투입하고 있습니다. 그럼 언어 전문가들을 통해 할 수 있는 작업들은 무엇이 있을까요?이후 글들을 통해 조금씩 다뤄보겠습니다.
