상위 질문
타임라인
채팅
관점

데이터 마이닝

대규모 저장된 데이터안 체계적, 자동적으로 통계적 규칙, 패턴을 분석하여 가치있는 정보를 추출하는 과정 위키백과, 무료 백과사전

데이터 마이닝
Remove ads

데이터 마이닝(data mining)은 기계 학습, 통계학, 데이터베이스 시스템이 교차하는 지점의 방법을 활용하여 대규모 데이터 집합에서 패턴을 추출하고 발견하는 과정이다.[1] 데이터 마이닝은 컴퓨터 과학과 통계학의 학제간 하위 분야로, 데이터 집합에서 정보를 (지능적인 방법으로) 추출하고, 이 정보를 추가 활용을 위해 이해 가능한 구조로 변환하는 것을 목표로 한다.[1][2][3][4] 데이터 마이닝은 "지식 발견" 과정(KDD)의 분석 단계이다.[5] 이 분석 단계 외에도, 데이터베이스 및 데이터 관리, 데이터 전처리, 통계 모델 및 추론, 흥미도 지표, 계산 복잡도, 발견된 구조의 사후 처리, 데이터 및 정보 시각화(영어판), 온라인 업데이트 등이 포함된다.[1]

"데이터 마이닝"이라는 용어는 실제로 데이터 자체를 추출(채굴)하는 것이 아니라, 대량의 데이터에서 패턴과 지식을 추출하는 것이 목적이기 때문에 오해의 소지가 있다.[6] 또한 이 용어는 버즈워드로, 대규모 데이터 또는 정보 처리(데이터 수집, 정보 추출, 저장, 분석, 통계) 전반, 그리고 의사결정 지원 시스템의 모든 응용(예: 인공지능 및 비즈니스 인텔리전스)에도 자주 사용된다. 실제 방법을 가리킬 때는 데이터 분석, 애널리틱스, 인공지능, 기계 학습 등이 더 적합할 때가 많다.

실제 데이터 마이닝 작업은 대량의 데이터를 반자동 또는 자동으로 분석하여, 이전에 알려지지 않았던 흥미로운 패턴(예: 데이터 레코드의 그룹(클러스터 분석), 이상치(이상 감지), 의존성(연관 규칙 학습, 순차 패턴 마이닝(영어판)))을 추출하는 것이다. 이를 위해 보통 공간 인덱스 공간 인덱스(영어판)등 데이터베이스 기법이 활용된다. 이렇게 발견된 패턴은 입력 데이터의 요약으로 볼 수 있으며, 추가 분석이나 기계 학습, 예측 분석 등에 활용될 수 있다. 예를 들어, 데이터 마이닝 단계에서 여러 그룹을 식별하면, 의사결정 지원 시스템을 통해 더 정확한 예측 결과를 얻는 데 사용할 수 있다. 데이터 수집, 데이터 준비, 결과 해석 및 보고는 데이터 마이닝 단계에 포함되지 않지만, 전체 KDD 과정의 추가 단계에 해당한다.

데이터 분석과 데이터 마이닝의 차이는, 데이터 분석은 데이터 집합에서 모델과 가설을 검증하는 데 사용되는 반면(예: 마케팅 캠페인의 효과 분석), 데이터 마이닝은 기계 학습 및 통계 모델을 활용해 대량 데이터에서 숨겨진 패턴을 찾아낸다는 점이다.[7]

관련 용어인 자료 긁어내기, 데이터 피싱, 자료 캐고들기은 데이터 마이닝 방법을 이용해 모집단 데이터 집합의 일부만을 샘플링하여 신뢰할 수 없는 통계적 추론을 하는 행위를 말한다. 하지만 이러한 방법은 더 큰 데이터 모집단에 대해 검증할 새로운 가설을 만드는 데 사용할 수 있다.

Remove ads

어원

1960년대에 통계학자와 경제학자들은 데이터 피싱이나 자료 캐고들기과 같은 용어를, 사전 가설 없이 데이터를 분석하는 잘못된 관행을 지칭하는 데 사용했다. "데이터 마이닝"이라는 용어도 1983년 경제학자 마이클 로벨(영어판)이 리뷰 오브 이코노믹 스터디즈에 발표한 논문에서 비판적으로 사용했다.[8][9] 로벨은 이 관행이 "실험(긍정적)"부터 "피싱"이나 "캐고들기"(부정적)까지 다양한 이름으로 위장한다고 언급했다.... "데이터 마이닝"이라는 용어는 1990년대 데이터베이스 커뮤니티에서 긍정적인 의미로 사용되기 시작했다. 1980년대에는 "데이터베이스 마이닝"이라는 표현이 잠시 사용되었으나, 이는 HNC라는 회사의 상표로 등록되어 있었기 때문에 연구자들은 결국 데이터 마이닝이라는 용어를 채택했다.[10] 이외에도 데이터 고고학, 정보 수집, 정보 검색, 지식추출 등의 용어가 사용되었다. 그레고리 피아테츠키-샤피로(영어판)는 1989년 KDD 워크숍에서 "지식 발견(데이터베이스에서 지식 검색)"이라는 용어를 처음 사용했고, 이 용어는 AI와 기계 학습 커뮤니티에서 더 널리 쓰이게 되었다. 그러나 "데이터 마이닝"이라는 용어가 비즈니스와 언론에서는 더 대중적으로 자리 잡았다.[11] 현재는 데이터 마이닝과 지식 검색이 혼용되어 사용된다.

Remove ads

배경

데이터에서 패턴을 수작업으로 추출하는 일은 수세기 전부터 이루어져 왔다. 데이터에서 패턴을 식별하는 초기 방법으로는 베이즈 정리(1700년대), 회귀 분석(1800년대) 등이 있다.[12] 컴퓨터 기술의 확산과 성능 향상으로 데이터 수집, 저장, 조작 능력이 크게 증가했다. 데이터 집합의 크기와 복잡성이 커지면서, 직접적인 "손으로 하는" 데이터 분석은 간접적이고 자동화된 데이터 처리로 점차 대체되었고, 특히 기계 학습 분야의 인공 신경망, 클러스터 분석, 유전 알고리즘(1950년대), 의사결정 트리와 의사결정 규칙(1960년대), 서포트 벡터 머신(1990년대) 등이 발전했다. 데이터 마이닝은 이러한 방법을 적용해 숨겨진 패턴을 찾아내는 과정이다.[13] 데이터 마이닝은 응용 통계학과 인공지능(수학적 배경 제공)에서 데이터베이스 관리로 이어지며, 데이터베이스에 저장·색인되는 방식을 활용해 실제 학습 및 발견 알고리즘을 더 효율적으로 실행할 수 있게 하여, 점점 더 큰 데이터 집합에도 적용할 수 있게 한다.

Remove ads

과정

요약
관점

데이터베이스 내 지식 발견(KDD) 과정은 일반적으로 다음과 같은 단계로 정의된다:

  1. 선택
  2. 전처리
  3. 변환
  4. 데이터 마이닝
  5. 해석/평가[5]

하지만 이와 유사한 여러 변형이 존재한다. 예를 들어, 산업 간 데이터 마이닝 표준 프로세스(영어판)(CRISP-DM)는 여섯 단계를 정의한다:

  1. 비즈니스 이해
  2. 데이터 이해
  3. 데이터 준비
  4. 모델링
  5. 평가
  6. 배포

또는 (1) 전처리, (2) 데이터 마이닝, (3) 결과 검증과 같은 단순화된 과정도 있다.

2002년, 2004년, 2007년, 2014년에 실시된 설문조사에 따르면, CRISP-DM 방법론이 데이터 마이닝 실무자들이 가장 많이 사용하는 방법론임이 나타났다.[14][15][16][17]

이 설문조사에서 언급된 유일한 다른 데이터 마이닝 표준은 SEMMA(영어판)였다. 하지만 CRISP-DM을 사용한다고 답한 사람이 SEMMA의 3~4배에 달했다. 여러 연구팀이 데이터 마이닝 프로세스 모델에 대한 리뷰 논문을 발표했으며,[18] Azevedo와 Santos는 2008년에 CRISP-DM과 SEMMA를 비교한 연구를 수행했다.[19]


데이터 마이닝

데이터 마이닝에는 여섯 가지 주요 작업이 있다:[5]

  • 이상 감지(outlier/change/deviation detection) – 비정상적 데이터 레코드를 식별한다. 이는 흥미로운 데이터일 수도 있고, 추가 조사가 필요한 데이터 오류일 수도 있다.
  • 연관 규칙 학습(dependency modeling) – 변수 간의 관계를 찾는다. 예를 들어, 슈퍼마켓은 고객의 구매 습관 데이터를 수집하여, 어떤 상품이 함께 자주 구매되는지 알아내고 이를 마케팅에 활용할 수 있다. 이를 시장 바구니 분석(market basket analysis)이라고도 한다.
  • 클러스터 분석 – 데이터 내에서 "유사한" 그룹과 구조를 발견한다. 사전에 알려진 구조를 사용하지 않는다.
  • 분류 – 알려진 구조를 일반화하여 새로운 데이터에 적용한다. 예를 들어, 이메일 프로그램이 이메일을 "정상" 또는 "스팸"으로 분류하는 것과 같다.
  • 회귀 분석 – 데이터 또는 데이터 집합 간의 관계를 추정하는 함수를 찾는다.
  • 요약 – 데이터 집합을 더 간결하게 표현한다. 시각화 및 보고서 생성도 포함된다.

결과 검증

Thumb
통계학자 Tyler Vigen이 운영하는 봇이 데이터 드레징을 통해 생산한 데이터 예시로, 미국에서 스펠링비 대회 우승 단어와 독거미에 물려 사망한 사람 수 사이에 밀접한 상관관계가 있는 것처럼 보인다.

데이터 마이닝은 의도치 않게 잘못 사용될 수 있는데, 이는 실제로 미래 행동을 예측하지 못하거나 새로운 데이터 샘플에서 재현되지 않는, 의미 있어 보이지만 쓸모 없는 결과를 낳을 수 있다. 이는 너무 많은 가설을 검증하거나 적절한 통계적 가설 검정을 수행하지 않을 때 발생한다. 기계 학습에서 이 문제의 단순한 형태는 과적합(overfitting)으로 알려져 있다.[20]

데이터로부터 지식을 발견하는 마지막 단계는 데이터 마이닝 알고리즘이 생성한 패턴이 전체 데이터 집합에서도 나타나는지 확인하는 것이다. 모든 패턴이 반드시 유효한 것은 아니다. 데이터 마이닝 알고리즘이 학습 집합(training set)에서는 나타나지만, 전체 데이터 집합에는 없는 패턴을 찾는 경우가 흔하다. 이를 과적합이라고 한다. 이를 방지하기 위해, 데이터 마이닝 알고리즘이 학습되지 않은 테스트 집합을 사용해 평가한다. 예를 들어, "스팸"과 "정상" 이메일을 구분하는 알고리즘은 샘플 이메일의 학습 집합에서 학습한 뒤, 학습되지 않은 테스트 집합에 적용해 정확도를 측정한다. 여러 통계적 방법(예: ROC 곡선)을 사용해 알고리즘을 평가할 수 있다.

학습된 패턴이 원하는 기준을 충족하지 못하면, 전처리 및 데이터 마이닝 단계를 재검토해야 한다. 기준을 충족하면, 마지막으로 학습된 패턴을 해석해 지식으로 전환한다.

연구

이 분야의 대표적인 전문 단체는 ACM의 지식 발견 및 데이터 마이닝 특별 관심 그룹(SIGKDD(영어판))이다.[21][22] 1989년부터 이 SIG는 매년 국제 학술대회를 개최하고 논문집을 발간해왔으며,[23] 1999년부터는 연 2회 "SIGKDD 탐색"라는 학술지를 발간하고 있다.[24]

컴퓨터 과학 분야의 데이터 마이닝 관련 주요 학회로는 다음이 있다:

  • CIKM 학회(영어판) – ACM 정보 및 지식 관리 학회(영어판)
  • 유럽 기계 학습 및 데이터베이스에서의 지식 발견 원리 및 실제 학회(영어판)
  • KDD 학회(영어판) – ACM SIGKDD 지식 발견 및 데이터 마이닝 학회(영어판)

데이터 마이닝 주제는 ICDE, SIGMOD, Very Large Data Bases 국제 학회(영어판) 등 다양한 데이터베이스 학회에서도 다뤄진다.

Remove ads

표준

데이터 마이닝 프로세스를 위한 표준을 정의하려는 여러 시도가 있었다. 예를 들어, 1999년 유럽의 산업 간 데이터 마이닝 표준 프로세스(영어판)(CRISP-DM 1.0)와 2004년 자바 데이터 마이닝(영어판) 표준(JDM 1.0)이 있다. 이들 프로세스의 후속 버전(CRISP-DM 2.0과 JDM 2.0)은 2006년까지 활발히 개발되었으나, 그 이후로는 중단되었다. JDM 2.0은 최종 초안에 이르지 못한 채 철회되었다.

추출된 모델을 교환하기 위한 표준, 특히 예측 분석에서 중요한 표준은예측모델 마크업 언어(영어판)(PMML)이다. PMML은 데이터 마이닝 그룹(DMG)이 개발한 XML 기반 언어로, 많은 데이터 마이닝 애플리케이션에서 교환 형식으로 지원된다. 이름에서 알 수 있듯이, 이 표준은 예측 모델, 즉 비즈니스 응용에서 매우 중요한 특정 데이터 마이닝 작업만을 다룬다. 그러나 (예를 들어) 부분공간 클러스터링(영어판)을 다루기 위한 확장안도 DMG와 별도로 제안된 바 있다.[25]

Remove ads

주요 활용

디지털 데이터가 존재하는 곳이라면 어디에서든 데이터 마이닝이 활용된다. 대표적인 데이터 마이닝의 예시(영어판)는 비즈니스, 의학, 과학, 금융, 건설, 감시 등 다양한 분야에서 찾아볼 수 있다.

프라이버시와 윤리

요약
관점

"데이터 마이닝"이라는 용어 자체는 윤리적 함의를 내포하지 않지만, 실제로는 사용자 행동(영어판)(윤리적이든 아니든)과 관련된 정보의 마이닝과 자주 연관된다.[26]

데이터 마이닝이 사용되는 방식에 따라 프라이버시, 합법성, 윤리와 관련된 문제가 제기될 수 있다.[27] 특히, 총 정보 인식(영어판) 프로그램이나 ADVISE(영어판)처럼 국가 안보 또는 법 집행 목적으로 정부나 기업 데이터셋을 마이닝하는 경우 프라이버시 논란이 크다.[28][29]

데이터 마이닝에는 데이터 준비 과정이 필요하며, 이 과정에서 기밀성과 프라이버시 의무를 위반할 수 있는 정보나 패턴이 드러날 수 있다. 가장 흔한 예는 데이터 집계(영어판)를 통한 것이다. 데이터 집계(영어판)는 여러 출처의 데이터를 결합해 분석을 용이하게 하지만, 이로 인해 익명화된 데이터에서 개인을 식별할 수 있게 될 수도 있다.[30] 이는 데이터 마이닝 그 자체라기보다는, 분석 목적의 데이터 준비 과정에서 발생하는 결과이다. 데이터가 한 번 집계되고 나면, 데이터 마이너나 해당 데이터셋에 접근할 수 있는 누구든 원래 익명화된 데이터에서 특정 개인을 식별할 수 있게 될 위험이 있다.[31]

데이터는 익명화되어 개인이 쉽게 식별되지 않도록 수정될 수도 있다.[30] 하지만 "익명화(영어판)"된 데이터셋도 충분한 정보가 포함되어 있다면 개인을 식별할 수 있는 경우가 있다. 예를 들어, AOL에서 실수로 공개한 검색 기록을 바탕으로 기자들이 여러 개인을 찾아낸 일이 있었다.[32]

개인 식별 정보가 우발적으로 드러나 제공자가 공정 정보 관행을 위반하는 경우, 이는 재정적, 정서적, 신체적 피해로 이어질 수 있다. 예를 들어, 2011년 Walgreens 고객들이 회사가 처방 정보를 데이터 마이닝 회사에 판매하고, 이 데이터가 제약회사에 제공된 것에 대해 소송을 제기한 사례가 있다.[33]

유럽의 상황

유럽은 비교적 강력한 프라이버시 법률을 갖추고 있으며, 소비자 권리를 더욱 강화하려는 노력이 진행 중이다. 그러나 1998~2000년에 개발된 미국-유럽 세이프 하버 원칙(영어판)으로 인해, 현재는 유럽 사용자가 미국 기업에 의해 프라이버시 침해를 당할 위험이 있다. 에드워드 스노든의 글로벌 감시 폭로 이후, 이 협정을 폐기하려는 논의가 증가했으며, 미국과의 합의 시도는 실패했다.[34]

특히 영국에서는 기업들이 데이터 마이닝을 이용해 특정 고객 집단에 불공정하게 높은 가격을 부과한 사례가 있었다. 이런 집단은 디지털 시장에서 착취당하는 방법을 잘 모르는 사회경제적 약자일 때가 많다.[35]

미국의 상황

미국에서는 의회가 HIPAA(영어판)와 같은 규제 법률을 제정해 프라이버시 문제를 다루고 있다. HIPAA는 개인이 제공하는 정보와 그 사용 목적에 대해 "정보에 입각한 동의"를 요구한다. Biotech Business Week 기사에 따르면, "실제로 HIPAA는 연구 분야의 기존 규정보다 더 큰 보호를 제공하지 않는다"고 미국 학술보건센터(AAHC)는 말한다. 더 중요한 것은, 이 규정이 보호를 위해 추구하는 '정보에 입각한 동의'가 평균적인 개인에게는 사실상 이해 불가능한 수준이라는 점이다.[36] 이는 데이터 집계 및 마이닝에서 데이터 익명화의 필요성을 강조한다.

미국의 정보 프라이버시 관련 법률(HIPAA, FERPA(영어판))은 각 분야에만 적용된다. 미국 내 대부분 기업의 데이터 마이닝은 별도의 법적 규제를 받지 않는다.

Remove ads

저작권법

유럽의 상황

유럽 저작권(영어판) 데이터베이스 지침(영어판)에 따르면, 저작권이 있는 작품(예: 웹 마이닝)을 저작권자의 허가 없이 마이닝하는 것은 불법이다. 데이터베이스가 순수 데이터인 경우 저작권이 없을 수 있으나, 데이터베이스 권리가 존재할 수 있으므로 데이터 마이닝은 지적 재산권 소유자의 권리에 종속된다. 하그리브스 보고서의 권고에 따라, 영국 정부는 2014년 저작권법을 개정해 콘텐츠 마이닝을 제한과 예외(영어판)로 허용했다.[37] 영국은 2009년 일본에 이어 세계에서 두 번째로 데이터 마이닝 예외를 도입했다. 그러나 정보사회 지침(영어판)(2001)의 제한으로, 영국 예외는 비상업적 목적에만 적용된다. 영국 저작권법은 계약 조항으로 이 규정을 무효화할 수 없도록 한다. 2020년부터 스위스도 연구 목적에 한해 데이터 마이닝을 허용하도록 규정하고 있다.[38]

유럽연합 집행위원회는 2013년 "Licences for Europe"이라는 이름으로 텍스트 및 데이터 마이닝에 대한 이해관계자 논의를 주도했다.[39] 이 논의에서 라이선스 중심의 해결책에 반발해 대학, 연구자, 도서관, 시민단체, 오픈 액세스 출판사 등이 2013년 5월 대화에서 이탈했다.[40]

미국의 상황

미국 저작권법(영어판), 특히 공정 이용 조항은 미국과 이스라엘, 대만, 대한민국 등 공정 이용 국가에서 콘텐츠 마이닝의 합법성을 인정한다. 콘텐츠 마이닝은 원본 저작물을 대체하지 않고 변형적이기 때문에 공정 이용으로 간주된다. 예를 들어, 구글 북 검색(영어판)판결에서, 담당 판사는 저작권이 있는 책의 디지털화 프로젝트가 변형적 용도(텍스트 및 데이터 마이닝 등)를 보였으므로 합법임을 인정했다.[41]

Remove ads

소프트웨어

요약
관점

무료 오픈소스 데이터 마이닝 소프트웨어 및 애플리케이션

다음 애플리케이션들은 무료/오픈소스 라이선스로 제공된다. 소스 코드에 대한 공개 접근도 가능하다.

  • 캐럿2(영어판): 텍스트 및 검색 결과 클러스터링 프레임워크.
  • 케미컬라이즈(영어판): 화학 구조 마이닝 및 웹 검색 엔진.
  • ELKI(영어판): 자바로 작성된 고급 클러스터 분석 및 이상치 탐지 방법을 제공하는 대학 연구 프로젝트.
  • GATE(영어판): 자연어 처리 및 언어 엔지니어링 도구.
  • 나임(KNIME)(영어판): 사용하기 쉽고 포괄적인 데이터 분석 프레임워크(콘스탄츠 정보 마이너).
  • MEPX(다중 표현 프로그래밍)(영어판): 유전 프로그래밍 변형 기반의 회귀 및 분류 문제용 크로스플랫폼 도구.
  • mlpack(영어판): C++로 작성된 기계학습 알고리즘 모음.
  • NLTK(자연어 툴킷)(영어판): 파이썬용 상징적 및 통계적 자연어 처리(NLP) 라이브러리 및 프로그램 모음.
  • 오픈NN(영어판): 오픈소스 인공 신경망 라이브러리.
  • 오렌지(Orange): 파이썬으로 작성된 컴포넌트 기반 데이터 마이닝 및 머신러닝 소프트웨어 모음.
  • PSPP: GNU 프로젝트의 데이터 마이닝 및 통계 소프트웨어로, SPSS와 유사함.
  • R: 통계 계산, 데이터 마이닝, 그래픽을 위한 프로그래밍 언어 및 소프트웨어 환경. GNU 프로젝트의 일부.
  • 토치(Torch)(영어판): Lua 기반의 오픈소스 딥러닝 라이브러리 및 과학 컴퓨팅 프레임워크로, 다양한 머신러닝 알고리즘 지원.
  • UIMA(비정형 정보 관리 아키텍처)(영어판): IBM에서 개발한 비정형 콘텐츠(텍스트, 오디오, 비디오 등) 분석용 컴포넌트 프레임워크.
  • 웨카(Weka): 자바로 작성된 머신러닝 소프트웨어 애플리케이션 모음.

상용 데이터 마이닝 소프트웨어 및 애플리케이션

다음 애플리케이션들은 상용 라이선스로 제공된다.

  • 앙고스(Angoss)(영어판): KnowledgeSTUDIO: 데이터 마이닝 도구.
  • 라이언솔버(LIONsolver)(영어판): 데이터 마이닝, 비즈니스 인텔리전스, 모델링을 위한 통합 소프트웨어로 LION(학습 및 지능형 최적화) 접근법 구현.
  • 폴리아널리스트(PolyAnalyst)(영어판): Megaputer Intelligence에서 제공하는 데이터 및 텍스트 마이닝 소프트웨어.
  • 마이크로소프트 분석 서비스(영어판): 마이크로소프트에서 제공하는 데이터 마이닝 소프트웨어.
  • 넷아울(NetOwl)(영어판): 데이터 마이닝을 지원하는 다국어 텍스트 및 엔터티 분석 제품군.
  • 오라클 데이터 마이닝(영어판): 오라클에서 제공하는 데이터 마이닝 소프트웨어.
  • 피세븐(PSeven)(영어판): DATADVANCE에서 제공하는 엔지니어링 시뮬레이션 및 분석, 다분야 최적화, 데이터 마이닝 자동화 플랫폼.
  • 큐루코어(Qlucore)(영어판) Omics Explorer: 데이터 마이닝 소프트웨어.
  • SPSS 모델러(영어판): IBM에서 제공하는 데이터 마이닝 소프트웨어.
  • 스태티스티카(STATISTICA)(영어판) Data Miner: StatSoft에서 제공하는 데이터 마이닝 소프트웨어.
  • 타나그라(Tanagra)(영어판): 시각화 중심 데이터 마이닝 소프트웨어, 교육용으로도 사용.
  • 버티카(Vertica)(영어판): Hewlett-Packard에서 제공하는 데이터 마이닝 소프트웨어.

같이 보기

방법론


응용 분야
응용 예시
관련 주제

데이터에서 정보를 "분석"이 아닌 "추출"하는 것에 대한 더 많은 정보는 다음을 참고:

기타 자료
  • 국제 데이터 웨어하우징 및 마이닝 저널(영어판)
Remove ads

각주

추가 읽을거리

외부 링크

Loading related searches...

Wikiwand - on

Seamless Wikipedia browsing. On steroids.

Remove ads
Remove ads