Text Data prep(텍스트 데이터 전처리)을 위해 왜 언어 전문가가 필요할까? (1) 효율적인 자연어처리(Natural Language Processing)를 위해 꼭 필요하지만 아무나 할 수 없는 부분이"Data Preparation(이하 prep)" 과정입니다. 국내 유일한 언어 전문가 그룹 TextNet이 정의하는 언어 전문가는 누구인지,그리고 왜 언어 전문가가 필요한지, 주로 어떤 작업들을 진행하고 있는지 몇차례에 걸쳐 연재 해보고자 합니다. 👉 이번 글은 TextNet이 정의하는 언어 전문가는 누구인지에 대한 내용을 다뤄보고자 합니다. TextNet은 통상 아래 3가지 요소로 나누어 "언어 전문가"를 정의하고 평가합니다. 어학지식: 문법적 요소 문학지식: 표현적 요소 도메인 지식: 언어사용 맥락에 맞는 변화요소 1번(어학지식)과 2번(문학지식)의 경우, 국어국문 혹은 문예창작을 전공했다면 익숙한 영역입니다.하지만, Partner가 원하는 방식에 따라 다양한 요소를 반영해야 합니다. 언어라는 것이, 똑같은 의미라도 언어 사용의 주체, 목적, 맥락 등에 따라 표현이 달라야 전달이 매끄러워지기 때문이죠.이것이 3번 도메인 지식에 해당합니다. 당연하게도, TextNet의 전문가들이 세상에 존재하는 모든 상황에 대한 경험을 보유하고 있지는 못하고,앞으로도 그럴 것임이 확실합니다. 💡따라서 TextNet의 언어 전문가가 되기 위해서는,"어학/문학적 지식을 바탕으로 도메인 지식을, 카멜레온처럼 반영할 수 있는 언어적 감각을 갖추어야 합니다." 하지만 언어 사용은 태어나서부터 수십년간 익혀왔던 습관 등의 관성이 있기 때문에,요구사항에 따라 자유자재로 바꾸는 것은 결코 쉽지는 않습니다. TextNet은 이러한 지식적 + 활용적 센스를 겸비한 분들을 언어 전문가로 정의하고,Client가 요청한 Document의 특징에 부합하는 인력을 맞춤형으로 투입하고 있습니다. 그럼 언어 전문가들을 통해 할 수 있는 작업들은 무엇이 있을까요?이후 글들을 통해 조금씩 다뤄보겠습니다.
