왜 데이터 분석가는 엔지니어링을 학습하는가?
Why do analysts start to learn data engineering?
데이터 분석가는 ‘이해’를 원한다.
How the AI era changes the scope of analytics
AI 시대에 접어들면서, 데이터 분석가는 더 이상 데이터를 해석하고 시각화하는 역할을 자연스럽게 넘어섰다. 몇년 전만 하더라도 분석가의 업무는 요청한 데이터 내에서만 분석 리포트를 작성하거나 비즈니스 인사이트를 보고하는 것에 그쳤다. 하지만, 최근에는 오히려 데이터 전체를 이해하는 데이터 리터러시 역량이 그 어느 때보다 중요해지고 있다.
특히 대기업과 같은 환경에서는 데이터가 다양한 시스템에 분산되어 있고, 정리되지 않은 상태로 존재하는 경우가 많아 이러한 데이터가 어떻게 흘러오는지를 파악하는 것이 중요하다. 기업이 저장하고 활용하는 데이터의 규모가 폭발적으로 증가하면서 실제 문제를 하나의 데이터셋만으로는 해결하기 어려워졌기 때문이다.
이러한 상황 속에서 점점 더 많은 분석가들이 “어디서 어떻게 이 데이터가 생성되었는가?”라는 질문을 던지기 시작한다. 이 데이터가 어디에서 왔고, 어떤 시스템에서 생성되었는지를 모르는 상태에서 단순히 주어진 데이터만 해석하는 것은 한계에 부딪히기 쉽기 때문이다.
예를 들어 ‘기업 매출 지표’과 같은 단순해보이는 지표라도 서로 다른 시스템으로 인해 측정값이 왜곡되는 경우가 있다. 그렇다면 아무리 정교한 분석을 수행하더라도 의미가 없어진다. 따라서 분석가는 점차 데이터를 검증하는 영역에 관심을 가지게 되고, 데이터의 흐름을 직접 이해하고 통제하려는 방향으로 자연스럽게 나아가게 된다.
현상을 이해할 수 있을 때 모든 것들은 변화할 수 있다.
신뢰할 수 있는 데이터를 책임지는 사람
Data Experts build the credibility first
데이터 분석가가 데이터 엔지니어링으로 이동하게되는 가장 큰 이유는 다음과 같다.
먼저 데이터의 신뢰성에 대한 부분이 점점 더 커지고 있기 때문이다. 데이터의 규모가 크고 디지털화된 기업일수록 데이터가 얼마나 정확한지와 일관되는지가 곧 비즈니스의 성과로 연결된다. 특히 정확한 수치를 만들어야 하는 데이터 분석을 진행할 때, 데이터 오류, 누락, 중복 등의 문제가 빈번하게 발생하게 되는데, 90% 이상 이러한 문제는 분석 과정에서가 아닌 데이터 수집 및 처리 과정에서 발생한다.
이러한 문제들이 반복되다 보면 분석가는 단순히 “데이터가 잘못되었다”고 보고하는 역할에 머무르기보다는, 데이터 문제를 직접 추적하고 해결하는 역할을 하게 된다.
예를 들어 가장 빈번한 상황은 특정 지표가 갑자기 급변하는 때에 발생하게 된다. 이 때 실제로 지표의 변화가 비즈니스의 변화 때문인지 아니면 데이터 처리/계산 과정의 오류 때문인지를 판단해야 한다. 이를 추적하는 과정에서 데이터 엔지니어링의 영역인 ETL(추출, 변환, 적재) 과정, 데이터 스키마, 웨어하우스 등에 대한 이해가 필요하게 된다. 결과적으로 분석가는 점점 더 데이터 엔지니어와 유사하게 데이터 시스템에 대한 이해도를 가지게 되며, 데이터 품질을 검증하기 위한 다양한 기술적인 역량을 자연스럽게 익히게 된다.
엔지니어링은 확장 가능한 반복된 업무를 설계하는 과정이다.
새로운 수요와 직무의 등장
New data expertise emerges with needs
다른 산업 분야들처럼 데이터 분야 역시 점점 명확한 역할/직무를 구분하는 것이 모호해지고 있다. 과거에는 데이터 직무를 이야기 할 때 데이터 분석가, 데이터 엔지니어, 데이터 과학자처럼 비교적 명확하게 나뉘어 있었지만, 현재는 각 직무들을 모두 커버하는 하이브리드형 직무가 등장하기 시작했다. 특히 “애널리틱스 엔지니어(Analytics Engineer)”와 같은 새로운 역할이 등장하면서, 분석과 엔지니어링을 동시에 수행할 수 있는 인재에 대한 수요가 증가하고 있는 것이다.
이러한 변화는 기술의 발전으로 인한 조직 구조와 업무 방식의 변화로 이어진 것이다. 더 많은 데이터를 확보하게 된 기업은 더 유연하고 효율적으로 데이터를 활용하기를 원하며, 이를 위한 다양한 분석 및 엔지니어링 업무를 확장적으로 수행할 수 있기를 기대하게 된다. 따라서 데이터 분석가가 회사 규모가 확장되면서 데이터 엔지니어링에 대해 배우는 것은 사내의 커리어 경쟁력을 높이기 위한 자연스러운 선택이기도 하다. 다양한 기술 스택을 이해하고 활용할 수 있는 인재는 자연스럽게 더 큰 프로젝트에 참여하게 되며, 조직 내에서도 중요한 의사 결정권자로 위치할 수 있게 된다.
AI시대에는 여러가지 역할을 동시에 수행할 수 있는 Generalist들이 더 많이 등장하게 된다.
데이터를 넘어서 임펙트를 추구하자
Beyond the metrics, pursue the business impact
이전에도 그랬고 앞으로도 데이터 분석가는 비즈니스와 기술을 연결하는 핵심 역할을 수행하게 될 것이다. 하지만 데이터를 보고 해석하는 방법에만 그치면 안된다. 그와 관련된 데이터를 어떻게 설계하고, 어떻게 저장하며, 어떻게 활용할 것인지에 대한 전반적인 이해를 바탕으로 할 때 분석가는 더 큰 영향력을 가지며, 조직의 데이터 활용 수준을 한 단계 끌어올리는 중요한 역할을 수행하게 될 것이다.
따라서 데이터 엔지니어링을 배우는 것은 단순한 선택이 아니라, 빠르게 변화하는 환경에 적응하기 위한 진화 과정이라고 볼 수 있다. 엔지니어링은 임팩트를 원하는 분석가들에게 그 날개를 달아줄수 있는 수단이기 때문이다.
기업도 하나의 생태계이므로 적자 생존에 유리한 방식을 추구해야 한다.