Top > Info > Data Mining > 1-3. Data Mining을 성공적으로 구현하기 위해 고려해야 할 요건
Data Mining을 성공적으로 구현하기 위해 고려해야 할 요건
한국 SAS 컨설팅부 교육팀 김지은
지금 현 시대는 시장의 변화가 빠르게 진행되면서, 경쟁이 갈수록 심화되는 환경에 처해있다. 이러한 상황에서 기업이 살아남기 위한 방안으로 정보기술을 활용한 전략적인 의사결정이 그 어느 때보다 중요한 이슈가 되고 있다. 즉, 기업 내 축적된 데이터베이스를 효과적으로 활용하여 보다 나은 의사결정을 위한 전략정보를 추출하는 것이 중요한 사안이라 할 수 있겠다. 지금까지는 query 혹은 reporting 도구들을 이용하여 정보들을 도출하였으나, 이것은 고급정보의 창출이라기보다는 현황분석 또는 보고서용 등으로 정보 제공 범위가 국한되어 있다.
이에 반해 Data Mining은 이 보다 한층 진보된 숨어있는 정보들을 얻는데 사용되어 진다. 예를 들면 '어느 지역, 어느 시기, 어떤 제품이 매출이 저조한가? 하는 질문에는 query 나 reporting 도구로 해결이 가능하자만, '왜 그런 현상이 일어났는지?, 우리 제품을 떠나는 고객들의 특징 및 패턴은 무엇인지?' 라는 질문에는 Data Mining을 이용해 해결할 수 있는 것이다.
이처럼 Data Mining은 산업 전반에 걸쳐 여러 가지 비즈니스 문제들을 해결하고 그에 맞는 전략 수립에도 도움이 되는 정보기술로 이미 많은 기업들이 적용하고 있고, 도입을 검토 중에 있는 추세이다. 그러나 여기저기에서 Data Mining에 관한 선전이 과대해지면서 Data Mining에 관한 환상을 가지게 되는 경우가 많은데, 이제는 이러한 환상보다는 실질적인 접근에 대해 생각해보고 성공적인 Data Mining 작업을 위해 필요한 요소들을 점검해봐야 할 것이다. 이제 Data Mining Tool만 이용하면 모든 비즈니스 문제가 해결될 수 있을 거라는 생각은 버리도록 하자.
Data Mining의 성공요인으로는 크게 3가지를 언급할 수 있겠다.
첫째는 명확한 비즈니스 문제 정의와, 정의된 비즈니스 문제 해결을 위한 Data Warehouse 혹은 Database 구축이라 할 수있다. Data Mining은 다른 프로젝트보다도 사전계획과 준비가 무엇보다도 중요하다. Data Mining의 필요성을 충분히 인식하고 현 비즈니스 문제에 대해 잘 이해하고 목적이 무엇인지를 확고히 가져야만 Data Mining의 결과로부터 얻어진 정보를 실제 업무에 충분히 적용하여 활용할 수 있는 것이다. 또한 Mining을 수행하기 위한 양질의 데이터가 준비되어야 한다. 오류가 있는 데이터에는 아무리 훌륭한 방법을 적용한다고 해도 얻어진 결과에 대해서는 신뢰성을 가질 수 없다.
일반적으로 기업이 가지고 있는 데이터들은 다양한 운영계 시스템으로부터 여러 가지 형태로 모아지므로 각기 다른 형식과 코드를 가지고 있을 수 있고, 따라서 서로 일치하지 않거나 부정확한 값을 가지고 있는 경우가 많다. 그러므로 먼저 이러한 문제들이 해결되어 양질의 데이터가 보장된 후에야 비로서 효과적인 Data Mining을 수행할 수 있을 것이다.
둘째는 Data Mining 작업을 지원해주는 우수한 제품과 Mining 프로젝트 경험이 풍부한 인력자원이다. Data Mining Tool 이 갖추어야 할 기본 요소로는 사용자 편의성, 특정 하드웨어에 종속되지 않는 개방성, 다양한 DB Access 기능, 다양한 모델링 기법등을 들 수 있겠다. SAS Enterprise Miner는 이러한 요소들을 충분히 충족시켜 주는 Tool이다. 실제 구현된 사이트에서도 증명된 바 있고 또한 프랑스 소프트웨어 평가 기관인 'Yphise'에서 실시한 평가(사용자 환경, 데이터 관리, 기술적 모델, 탐색적 모델, 예측적 모델, Application 통합 부문 등)의 모든 분야에서 1위를 차지한 제품이다.
SAS Enterprise Miner는 기본적으로 제공하는 기능별 작업 Tool을 작업의 순서와 동일하게 drag and drop 방식으로 늘어 놓음으로써 PFD(Process Flow Diagram)를 구성하고 작업의 전체 과정을 한 화면에서 제어, 관리할 수 있다. 또한 Client/Server환경을 지원하여 대용량 데이터의 모델링 작업을 위한 원격지 수행(Remote Processing)이 가능하며 다양한 DB를 Access하여 사용할 수 있다. 모델링 기법도 Neural Network, Decision Trees, Regression, Forecasting 등 전통적인 통계 분석 방법뿐만 아니라 최근에 등장한 다양한 Mining 기법을 제공하고, 사용에 따라서는 현업 사용자가 정의한 모델을 이용할 수도 있다. 이러한 SAS Enterprise Miner의 특징 중에서 가장 두드러지는 것은 Mining 과정에서 구축된 두 개 이상의 모형을 그래프화하여 시각적으로 비교, 평가할 수 있는 Lift Chart, ROI Chart, Profit Chart등을 제공한다는 것이다. 이를 이용하면, 구축된 모형 중 성능이 가장 좋은 모형을 손쉽게 선택할 수 있다.
또한 데이터추출에서 결과까지 전과정이 프로그램 코드로 생성되어 언제든지 대상집단에 대해 적용이 가능하다. 이렇게 다양한 기능을 가진 Tool이 지원된다 하더라도 Tool의 기능을 효율적으로 사용할 수 있고, 또한 폭넓은 Mining 프로젝트 경험을 가진 인력이 지원되어야만 성공적인 프로젝트를 진행할 수 있는 것이다.
Mining 프로젝트는 우수한 제품과 더불어 중요한 요인 중의 하나가 산업별 전문 분석가(Miner)이다. 산업별 다양한 비즈니스 상황에 적용될 수 있기 때문에, 산업별 경험과 노하우를 지닌 전문 Miner가 필요하다. 이에 한국 SAS는 이미 통신, 보험, 카드, 유통 등 다양한 사업분야에서 Mining 프로젝트를 구현한 Consultant들을 보유하고 있다.
지금까지 Data Mining의 성공요인으로 명확한 비즈니스 문제 정의와 Data Warehouse 구축, 그리고 Data Mining 제품의 기능 및 지원 인력에 대해 알아보았다.
마지막으로 Data Mining 프로젝트를 성공적으로 이끌기 위해 가장 중요한 요소로는 조직간 Co-work 이라 할 수 있겠다.
Data Mining 작업은 어느 특정 부서에 국한되는 것이 아니고, 비즈니스 욕구를 해결하기 위해 현업, 전산, 분석가(Miner)등이 하나의 목적을 위해 서로 조화와 협력을 통해 한걸음씩 나아가야 하는 것이다. 아직까지는 이 부분에 있어서 현업담당자들은 전산담당자들을 , 또한 전산담당자들은 현업담당자들을 이해하는데 부족한 면이 있지만, 꾸준한 Communication을 통해 서로의 업무를 이해해 나간다면 Data Mining 프로젝트를 성공적으로 이끌어 나갈 수 있고, 전사적으로 Mining 결과를 활용하는 측면에서도 효과적일 것이다.
Data Mining 작업에 있어서 중요한 요소를 다시 한번 요약하면, 데이터를 분석하기 위한 데이터, 데이터를 분석한 도구, 데이터를 분석하는 사람, Data Mining 결과 적용을 위한 유기적인 조직체 등을 들 수 있는데, 이중 무엇보다도 중요한 것은 데이터를 분석하는 사람이라고 할 수있다. 왜냐하면 분석을 하고 분석한 결과를 비교 평가하고 이를 업무에 어떻게 활용할 것인가를 판단하는 것은 바로 사람이기 때문이다.
이제 Data Mining 툴이 모든 비즈니스 문제를 해결해 줄 수 있을거라는 환상에서 벗어나 위에서 언급한 Mining 프로젝트 진행시 고려해야 할 요소들을 점검해 가며 마이닝 프로젝트를 시작하자.
Top > Info > Data Mining > 1-3. Data Mining을 성공적으로 구현하기 위해 고려해야 할 요건