데이터 분석 기술은 단순화 될 것, 도메인 지식이 더 중요

 시대적으로 분석 과정의 자동화와 접근성이 높아지는 반면, 분석 결과를 해석하고 실제로 활용하는 데 필요한 도메인 지식의 중요성이 상대적으로 증가할 것이라는 전망이 있다. 재직 중인 회사에서도 비슷한 느낌을 받고 있는데, 몇 년 전까지의 데이터 본부 인력들은 목에 힘이 많았다. 비즈니스 현업/사업부에서 말하는 바를 배우고 깊이 이해할 생각 없이, 본인들이 배우고 쌓은 내용만으로 단방향적인 산출물을 제시했었다. 도메인 지식이 없는 결과물에 무슨 공감이 이뤄지도 유의미한 인사이트가 있었을까? 겉으로 보기에는 그럴싸해 보여도 '자, 그래 알겠어. 그러면 그 이유는 뭘까? 그리고 개선하려면 어떻게 하면 좋을까?'라는 질문을 받는 순간 애매해지는 경우가 대부분이었다.

 막무가내로 정확도가 엄청난 Forecasting을 해달라는 현업은 거의 없다. 다만 적어도 데이터 분석가의 결과라면 '왜?그래서 어떻게?'와 같은 깊이 있는 논의가 이어지기를 원하게 된다. 단순히 발생한 데이터/현상만 가지고 각종 분석 결과를 가져오는 것은 의미가 없으니까. 그런데 비즈니스 도메인을 모른다면? 그 사업의 생리와 체계를 모른다면? 가치도/재미도 없는 보고 자리로 정리될 뿐이다. 개발자건 데이터 분석가건 뭐건, 내가 속한 기업의 비즈니스 도메인 지식은 필히 알아야 한다.

---

1. 데이터 분석 기술의 단순화

1. 자동화와 편리성의 진화
   • AutoML(Automated Machine Learning)
     : 데이터 전처리, 모델 선택, 하이퍼파라미터 튜닝 등 기존에 복잡했던 작업들이 AutoML 플랫폼을 통해 자동화됨
     > 예: 구글 Cloud AutoML, H2O.ai.
   • 노코드/로코드 플랫폼
     : 프로그래밍 경험이 부족한 사용자도 데이터 분석과 시각화를 쉽게 수행할 수 있는 도구가 급속히 발전
     > 예: Tableau, MS Power BI, Alteryx.
   • AI 기반 데이터 통찰
     : 자연어 처리 기술로 사용자가 질문만 잘하면 데이터를 분석해 결과를 제공하는 기능이 대중화
     >예: ChatGPT, Tableau GPT.
2. 기술 장벽 감소
   • 클라우드 컴퓨팅과 API 사용으로 복잡한 데이터 분석 환경 구축 없이도 데이터를 분석하고 결과를 얻을 수 있음
   • 데이터 분석과 머신러닝 관련 튜토리얼, 교육 플랫폼(예: Coursera, Udemy)의 확산으로 기술 습득이 용이해짐
3. 데이터 사이언티스트의 재정의
   • 과거에는 전문 분석가/데이터 사이언티스트가 꼭 필요했던 작업을, 이제는 비전문가도 툴 사용법 학습 하에 다룰 수 있게 됨
   • 이로 인해 기술 자체보다는, 분석된 데이터를 실제 현장에 접목해 활용하는 능력이 중요해짐

---

2. 도메인 지식의 중요성 증가

1. 분석 결과의 해석
   • 데이터 분석 결과를 이해하고 이를 현실에 적용하려면 해당 산업이나 분야에 대한 심도 있는 도메인 지식이 필요
   • 예를 들어 의료 AI가 암을 예측했더라도, 데이터를 해석하고 임상적으로 적용해야 의미 있는 결과를 낼 수 있음
   • 결국 '도메인에 대해서 아는 만큼 보이고 들리는 것'
2. 문제 정의와 가설 수립
   • 데이터 분석의 출발점은 올바른 질문/가설을 설정하는 것인데, 이는 도메인 지식 없이는 불가능
   • 예시로 유통업에서 매출 증대를 목표로 하는 분석은 MD/매장/고객/물류 등 실제 도메인 전문성이 근간
3. AI 시스템의 한계 이해
   • AI가 제공하는 결과는 근본적으로 훈련 데이터에 의존하며, 결과의 맥락을 이해하려면 도메인 지식이 필수
   • 예를 들면 금융 AI가 위험 평가를 자동화 분석하더라도, 규제 준수/도덕적 리스크를 고려할 수 있는 도메인 전문가가 중요함
4. 현장 적용/실행 가능성
   • 분석 결과가 실행 가능한 전략으로 전환되려면 해당 비즈니스 환경과 프로세스에 대한 이해가 중요함
   • 데이터 분석가가 제안한 전략이 실현 가능한지는 도메인 전문가가 판단

AI 시대의 데이터 분석 기술은 지속 발전하며 더 많은 Non-IT들에게 접근 가능해질 것이다. 좋아하는 용어는 아니지만 Citizen-Data Scientist가 많이 양성될 것이다. 도구의 사용은 편하고 나날이 더 자동화되겠지만, 그 분석 결과의 유의미성과 이행 가능성은 결국 도메인 지식에 크게 의존된다. 도메인 지식은 AI가 제공하는 데이터를 현실과 연결하는 가교 역할을 하므로, 기술과 도메인 지식을 융합한 '협업 능력'이 기업의 비즈니스 성공의 핵심 역량으로 부각될 것이다.

 

DALL-E 생성 : AI 기반의 편리한 데이터 분석 Scene