기업의 채용 공고나 채용 관련 기사를 보면 눈에 띄게 수요가 높아진 직업이 있습니다. 바로 빅데이터 관련 직업인데요. 빅데이터를 활용한 서비스나 상품들이 출시되고 있는 데다 데이터를 기반으로 의사결정을 내리는 기업이 많아지면서 데이터 관련 업무를 수행할 인력의 수요도 자연스럽게 늘고 있습니다. 요즘 HOT하다는 데이터 관련 직업엔 어떤 것들이 있는지 함께 살펴볼까요?
빅데이터 관련 직업이 떠오르게 된 배경은?
이전에는 제품이 생산되는 대로 판매되어 소품종 대량 생산이 가능했으나 이제는 소비자들의 취향과 가치관이 다양해졌고 수요보다 더 많은 공급이 이루어지고 있습니다. 기업은 소비자의 선택을 받기 위해 경쟁력을 갖춰야 하는 시대가 되었죠.
빅데이터는 그 경쟁력을 갖추기 위한 재료가 되고 있습니다. 빅데이터를 통해 시장의 흐름이나 고객의 취향을 파악하여 제품이나 서비스를 출시하고, 사람이 담당했던 업무를 자동화하고 있습니다. 불확실한 환경을 제거하거나 예측하기 어려운 위험을 최소화하는 것도 가능해졌죠.
4차 산업혁명 시대에 접어들면서 인공지능, 사물인터넷(IoT), 자율주행과 같은 키워드를 자주 볼 수 있는데요. 빅데이터는 이러한 기술을 가능하게 하는 기술이라는 점에서 더 많은 주목을 받고 있습니다.
빅데이터와 관련된 직업엔 어떤 것들이 있나요?
이처럼 데이터 산업 시장이 성장하면서 데이터 관련 직업도 주목받고 있습니다. 데이터 직군은 기업이 속한 도메인의 성격이나 기업에 따라 업무 구분과 명칭이 조금씩 다를 수 있습니다. 조직의 규모나 산업에 따라 업무가 겹칠 수도 있죠. 보편적으로 데이터 엔지니어(Data Engineer), 데이터 애널리스트(Data Analyst), 데이터 사이언티스트(Data Scientist)로 구분됩니다. 직업별로 어떤 일을 하는지 살펴볼까요?
데이터 분석 환경을 만드는 데이터 엔지니어
어떤 일을 하나요?
데이터 엔지니어(Data Engineer, DE)는 데이터를 관리하는 직업입니다. 기업 내부 데이터는 물론 외부 데이터까지 수집하고 불완전하거나 부정확한 데이터를 정제하는 작업을 합니다. 이후 데이터를 취합하고 적재하는 일을 하죠. 이러한 일련의 과정을 '데이터 파이프 라인을 구축한다.'라고도 합니다. 이렇게 구축된 데이터를 유지 및 보수하며, 경우에 따라 데이터를 쉽게 빠르게 활용할 수 있는 분석 서비스 플랫폼을 개발하거나 운영하기도 합니다.
쉽게 말해, 데이터 엔지니어는 데이터 분석가나 데이터 사이언티스트가 데이터를 활용해서 데이터 분석, 머신러닝 모델 구현 등을 편하게 할 수 있도록 환경을 만듭니다. 데이터를 잘 가져와 잘 사용할 수 있게 정리하는 직업인 것이죠.
필요한 역량은 어떻게 되나요?
우선 파이프 라인 구축을 위한 컴퓨터과학(Computer Science, CS) 지식이 필요합니다. 또한, SQL, 파이썬(Python)과 같은 프로그래밍 언어도 다룰 줄 알아야 합니다. AWS, GCP, Azure 등 퍼블릭 클라우드 이용하여 빅데이터를 처리하는 경우도 많으므로 회사에서 사용하는 프로그램에 대해 충분히 이해할 필요가 있습니다.
데이터 분석으로 의사결정에 도움을 주는 데이터 애널리스트
어떤 일을 하나요?
데이터 애널리스트(Data Analyst, DA)는 데이터를 통해 더 나은 비즈니스 결정을 할 수 있도록 돕는 일을 합니다. 먼저, 수많은 데이터를 가공하고, 유용한 정보를 추출합니다. 그리고 데이터 분석에 기반한 결정을 내려서 인사이트를 도출하는 것이죠.
예를 들어, 기업이 새로운 제품이나 서비스를 개발하려고 할 때 데이터 애널리스트는 어떤 데이터를 수집할 것인지를 결정합니다. 그중 유용한 데이터들을 고르고 분석하여, 인사이트를 도출하죠. 또한 구성원들이 인사이트를 쉽게 파악할 수 있도록 시각화한 리포트를 제공합니다. 출시 이후에도 성과를 측정하고 이용자들의 특성이나 상품의 효율성을 분석합니다.
필요한 역량은 어떻게 되나요?
데이터를 추출하고 분석하는 SQL, R, 파이썬(Python), 구글 애널리틱스와 같은 툴을 능숙하게 다룰 줄 알아야 합니다. 데이터 애널리스트는 분석 결과를 데이터 이해도가 낮은 부서나 직군에 설명해야 할 일이 많은데요. 다른 데이터 직군보다도 결과를 쉽고 정확하게 리포팅하는 능력도 갖춰야 합니다.
데이터를 통해 미래를 예측하는 데이터 사이언티스트
어떤 일을 하나요?
데이터 사이언티스트(Data Scientist, DS)는 수집한 데이터에서 패턴이나 추세를 발견하여 비즈니스를 예측하고 성장시키는 일을 합니다.
데이터 애널리스트와 마찬가지로 데이터를 통해 인사이트를 도출한다는 면에서는 비슷해 보일 수 있는데요. 데이터 애널리스트는 데이터를 분석해 현재 의사결정에 도움을 주는 반면, 데이터 사이언티스트는 데이터를 기반으로 미래를 예측한다는 측면에서 다릅니다. 이를 위해 머신러닝이나 딥러닝 모델을 개발하고요.
예를 들어, A병원에서 환자의 질병을 예측하고자 합니다. A병원의 데이터 사이언티스트는 환자의 진단정보, 의료 차트 및 기록 등 다양한 의료 데이터를 분석하여 질병을 예측하는 머신러닝 모델을 개발합니다. 그리고 병원에선 이를 활용해 보다 환자에게 적합한 치료를 할 수 있죠.
필요한 역량은?
기본적으로 딥러닝이나 머신러닝 분야에 대한 지식이 필요합니다. 또한 데이터 전처리 및 모델링을 위한 코딩 능력이나 데이터 분석을 위한 수학과 통계 지식과 역량을 요구하는 경우가 많습니다. 데이터 사이언티스트는 모델 개발에 상당한 시간을 쏟는데요. DataRobot 같은 머신러닝/딥러닝 모델의 개발을 자동화해주는 AutoML 플랫폼을 활용하면 보다 생산성을 높일 수 있습니다.
DataRobot 기능 자세히 알아보기
이를 정리하면 데이터 애널리스트는 기획자 성향이 강한 반면, 데이터 사이언티스트는 연구자 성향을 가지고 있습니다. 데이터 엔지니어는 '개발자' 직군에 해당한다는 사실은 말 안 해도 아시겠죠?
데이터에 대한 역량 강화는 필수
4차 산업혁명 시대에 접어들고 있는 지금, 전문가들은 앞으로 데이터를 잘 다루는 이가 승자가 될 것이라고 말합니다.
이에 데이터에 대한 역량 강화는 개인적인 차원에서도 중요하지만, 기업 차원에서도 중요한 과제가 되고 있습니다. 개인에게 해당되는 미션이 데이터에 대한 훌륭한 역량을 갖추는 거라면, 기업의 과제는 역량 있는 데이터 전문가를 알아보고 보다 데이터를 잘 사용할 수 있는 환경을 만드는 거겠죠? DataRobot과 같이 데이터 업무에 도움이 되는 프로그램 지원 등으로 인적 자원을 효율적으로 활용할 수 있는 환경을 구축하여 경쟁력을 갖춰나가시기를 바랍니다.
머신러닝 자동화 플랫폼 SK㈜ C&C DataRobot(데이터로봇)
- 전 데이터 분석 과정을 End-to-End로 지원
- 단 몇 번의 클릭만으로 AutoML 진행 가능
