데이터 분석 목표과 절차

이번 편에서는 데이터 분석 필요성을 먼저 알아본 후, 데이터 분석 절차에 대해 다룬다. 

본 편 마지막에는 데이터 분석을 하며 느꼈던 주관적인 의견도 짤막하게 추가하였다. 

 

1. 데이터 분석 이란

1-1. 데이터 분석이란 무엇인가

데이터 분석은 수많은 데이터를 수집하고 정제한 후, 이를 분석하여 유용한 인사이트를 도출하는 과정을 말한다. 

1-2. 데이터 분석의 필요성

데이터 분석을 통해 조직이나 개인은 데이터에 기반해 더 객관적이고 효과적인 의사결정을 내려, 문제를 해결 및 설정한 목표를 달성에 도움을 줄 수 있다. 구체적으로 아래 사례들을 비롯해 다양한 측면에서 데이터 분석이 필요하다.

 

데이터 분석 활용 사례

• 인사이트 도출: 데이터 분석을 통해 기존에 인식하지 못했던 패턴이나 관계를 발견하고 유용한 정보를 찾아내고 업무에 활용함
  • 예시: 판매량 데이터를 분석하여 향후 수요를 예측하고 재고를 관리할 때 활용할 수 있음 
• 의사 결정 지원: 기업이나 조직 내에서 데이터를 기반으로 전략을 수립하고 비즈니스 방향성을 결정함
  • 예시: 재무 데이터 분석을 통해 투자 전략을 결정하거나 경영진이 비즈니스 전략을 수정하는 데 도움을 받을 수 있음
• 고객 이해: 고객의 행동과 선호도를 분석하여 제품 판매를 촉진하고 서비스의 품질을 높임 
  • 예시: 온라인 쇼핑 플랫폼에서 사용자들의 검색어와 구매 이력을 분석하여 어떤 제품이 인기 있는지 파악할 수 있음. 이를 통해 해당 제품을 더 많이 홍보하거나 관련 상품을 추천함으로써 매출을 높임
• 효율적인 운영: 프로세스의 병목 현상이나 비효율적인 부분을 식별하고 개선함. 이를 통해 운영 비용을 절감하고 효율성을 높임 
  • 예시: 생산 공정 데이터를 분석하여 생산 라인의 효율성을 높임데이터 분석을 통해 프로세스를 최적화함

 

2. 데이터 분석 절차

데이터 분석은 아래와 같은 일련의 절차를 따라 수행된다. 

Source: https://blog.dataiku.com/2019/07/04/fundamental-steps-data-project-success

1. 문제 정의 및 목표 설정
데이터 분석의 시작은 분석하려는 문제나 목표를 명확하게 정의하는 것부터 시작된다. 어떤 질문에 대한 답을 찾고자 하는지, 어떤 목표를 달성하고자 하는지를 이해하며 시작된다.

2. 데이터 수집
내부 시스템, 외부 데이터베이스, 온라인 소스 등을 통해 데이터를 수집한다. 필요에 따라 데이터 결합을 통해 더욱 풍부한 분석이나 성능이 좋은 모델을 만들어낼 수 있다.

3. 데이터 전처리
결측 값 처리, 중복 제거, 이상치 처리 등을 수행하며 데이터를 정제하고 필요한 형식으로 가공한다. 데이터 전처리는 후속 편에서도 다룰 예정이다.

4. 탐색적 데이터 분석 (EDA - Exploratory Data Analysis)
그래프나 통계량을 생성하여 데이터의 기본 특성을 탐색하며 데이터 내부의 패턴이나 관계를 파악한다. 

5. 데이터 모델링 및 분석
문제를 풀어내기 적절한 분석 기법을 활용하여 데이터 분석을 수행하여 데이터 내의 패턴이나 관계를 알아본다. 위 그림에선 Deploy Machine Learning 이라고 나타나있지만 Machine Learning 외에도 Ad-hoc 한 분석도 많고 분석 기법들도 회귀 분석, 분류, 군집화 등 매우 다양하며 차후 블로그에 하나씩 작성할 예정이다.

6. 모델 평가 및 검증
선택한 모델의 성능을 평가하고 검증합니다. 예측 모델이었다면 예측 결과를 실제 데이터와 비교하여 모델의 정확성을 평가할 수 있고 분석 및 모델에 따라 평가나 검증하는 절차에 차이가 있다.
 
7. 결과 해석 및 활용
분석 결과를 해석하여 인사이트를 도출하고 의사 결정에 활용할 수 있도록 제시한다. 

8. 반복과 개선
데이터 분석에 대해 지속적인 피드백을 통해 분석 접근 방식을 조정하고 개선하여 더 나은 결과를 얻을 수 있도록 반복적으로 작업한다.

3. 데이터 분석 회고

현재까지 다양한 데이터 분석을 수행하며 스스로에 대한 반성을 포함해 몇가지 느낀점들이 있다. 

 

느낀점 1. 분석 목표 & Contribution 을 명확하게 이해하고 분석에 돌입해야 한다.

데이터가 있어야 데이터 분석을 할 수 있는 것은 맞다. 

하지만 분석 목표와 분석 결과의 Contribution 을 설정하는 것에 앞서서 '데이터가 필요해' 라는 생각에 너무 치중했던 적이 있다.

 

이는 데이터 분석에 있어 다음의 오류들을 발생하게 만들었다.

 

1) 분석의 목표와 Contribution이 명확하지 않고 가진 데이터 내에서 의미를 얻어내려 하니 실질적 가치를 제공하지 못하는 '분석을 위한 분석'이 될 위험을 겪었다.

2) '데이터를 보면 아이디어가 떠오르겠지'라는 안일한 생각에 빠졌고, 더 나아가 '분석을 실제로 수행하기 위해선 어짜피 있는 데이터로 해야하잖아?' 라는 생각을 했다. 

 

위와 같은 오류들을 직접 겪으며, 분석의 목표와 가치가 명확해야 분석의 의미가 더해지고 실질적인 가치를 제공할 수 있다는 사실을 깨달았다. 또한, 데이터가 당장은 없어도 수집이 가능하다면 수집을 해서 얻을 수 있고, 주어진 데이터가 아니더라도 외부 데이터를 결합해 필요한 데이터를 얻을 수 있는 방법 등 다양하기 때문에 조금 더 천천히 & 제대로 분석할 수 있는 방안을 고민해야겠다는 것을 느꼈다.

 

느낀점 2. 귀차니즘을 버려라!

데이터 분석은 파고 들수록 분석의 질이 높아지는 것 같다. EDA과정에서 시각화를 다양한 방법으로 했다면, 카테고리별로 시각화를 해봤다면, 다른 기법을 써봤다면 등 데이터 분석엔 변수가 많고 이를 해석해서 가치로 제시하기 위해선 분석가가 스스로 수행한 분석에 대한 확신이 있어야 한다고 느꼈다. 따라서 내가 이 주제에 대해선 제일 잘 아는 전문가라는 마음으로 귀차니즘을 버리고 면밀한 검토와 분석을 수행하는것이 분석가의 자질로써 꼭 필요하다고 생각했다.

 

계속해서 멈추지 않고 발전하는 데이터 분석가가 되자! 화이팅!

---

3장 데이터 분석 회고 파트는 철저히 주관적인 경험을 바탕으로 작성한 내용입니다 :) 데이터 분석 회고 파트를 포함해 다른 의견이나 피드백들은 댓글로 달아주시면 언제든 대 환영입니다!