KR20070022427A - 중복 데이터 병합 정리 장치 및 그 장치를 이용한 병합방법 - Google Patents

중복 데이터 병합 정리 장치 및 그 장치를 이용한 병합방법 Download PDF

Info

Publication number
KR20070022427A
KR20070022427A KR1020050076617A KR20050076617A KR20070022427A KR 20070022427 A KR20070022427 A KR 20070022427A KR 1020050076617 A KR1020050076617 A KR 1020050076617A KR 20050076617 A KR20050076617 A KR 20050076617A KR 20070022427 A KR20070022427 A KR 20070022427A
Authority
KR
South Korea
Prior art keywords
data
duplicate
customer information
unit
information
Prior art date
Application number
KR1020050076617A
Other languages
English (en)
Other versions
KR100693370B1 (ko
Inventor
김성민
Original Assignee
(주)공영디비엠
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)공영디비엠 filed Critical (주)공영디비엠
Priority to KR1020050076617A priority Critical patent/KR100693370B1/ko
Publication of KR20070022427A publication Critical patent/KR20070022427A/ko
Application granted granted Critical
Publication of KR100693370B1 publication Critical patent/KR100693370B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G06F3/0641—De-duplication techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

고객정보 데이터를 병합하여 정리하기 위한 방법에 있어서, 상기 고객정보 데이터를 고객정보 필드 레퍼런스/패턴 데이터베이스 및 음성사전 데이터베이스를 기반으로 중복 데이터를 추출하는 제1단계와 상기 제1단계에서 추출된 중복 데이터를 병합하기 위하여 중복로직을 정의하는 제2단계와 상기 제2단계에서 중복로직 정의에 따라 중복데이터를 유일 데이터로 식별하는 제3단계와 상기 제3단계에서 유일 데이터로 식별하여 식별결과를 통합하여 정리하는 제4단계와 상기 제4단계에서 정리된 데이터를 통합하여 결과물을 생성하는 제5단계로 이루어진다.
고객정보, 데이터베이스, 중복 데이터, 병합

Description

중복 데이터 병합 정리 장치 및 그 장치를 이용한 병합 방법{Duplicated database merge purge arrangement apparatus and the Method Thereof}
도1은 본 발명에 따른 중복 데이터 병합 정리 장치를 나타낸 구성도이다.
도2는 본 발명에 따른 중복 데이터 병합 방법을 나타낸 흐름도이다.
도3은 본 발명에 따른 남길 데이터와 삭제할 데이터 식별 방법을 나타낸 흐름도이다.
도4는 상기 도3에 따라 남길 데이터의 통합방법을 나타낸 흐름도이다.
※ 도면의 주요부분에 대한 부호의 설명 ※
100: 웹서버부 200: 정제서버부
202: 고객정보 데이터베이스부 204: 중복조건 설정부
206: 중복식별부 208: 추출부
300: 메인서버부
본 발명은 고객정보관리에 있어서 중복 데이터를 정제하기 위한 것으로서, 보다 상세하게는 중복된 고객정보에 대하여 병합정리 할 수 있는 중복 데이터 병합 정리 장치 및 그 장치를 이용한 병합 방법에 관한 것이다.
일반적으로 기업들의 고객정보 데이터베이스는 개별 고객을 인지할 수 있는 유일한 키값인 주민등록번호가 없거나 주민등록번호가 존재하더라도 실명확인이 되지 않았을 경우 다량의 중복된 고객정보를 보유하게 된다.
이러한 중복된 고객정보를 보유하는 경우, 고객성향분석이나 고객정보 기반의 다양한 분석 시에 정보의 정확도를 떨어뜨리게 되며, 시스템이 아닌 다른 경로인 이벤트 행사 등을 통한 고객정보를 확보한 경우 중복검사가 진행되지 못하는 문제점이 있다.
상기 중복된 데이터 관리로 인하여 관리비용이 증가되며, 거주 세대를 식별하지 못하여 거주 세대별로 중복 우편물을 발송하게 되어 우편물 발송 비용이 증가하는 문제점이 있었다.
상기의 문제점을 해결하기 위하여 본 발명은 중복된 고객의 정보를 유일고객 정보로 정리하여 발송비 절감 및 정보 신뢰도를 향상시킬 수 있는 중복 데이터 병 합 정리 장치 및 그 장치를 이용한 병합 방법을 제공하는 것이다.
또한, 고객정보 내에 중복된 고객정보에 대하여 최신정보를 식별하여, 최신정보를 중심으로 유일고객 데이터 생성 및 병합정리 결과 파일을 생성할 수 있는 자동화된 중복자료 병합 정리 장치 및 그 병합 방법을 제공하는 것이다.
본 발명은 기업내 보유하고 있는 고객정보를 표준적인 정보로 재구성하여 이를 기반으로 유일고객정보를 검색하며, 상기 유일고객정보를 발견시 중복된 정보중에 최신정보를 식별하여 이를 중심으로 중복된 정보의 병합을 통한 유일고객 데이터 생성 및 병합정리 결과를 생성하여 관련정보를 정리하는 것으로 이루어진다.
중복 데이터를 병합하여 정리하기 위한 장치에 있어서, 상기 중복 데이터를 실시간 저장하며, 매핑 및 정제서비스를 요청하는 웹서버부(100)와 상기 매핑 및 정제서비스를 요청 받아 실시간 데이터 중복검사를 수행하는 정제서버부(200)와 상기 중복검사 후 정제된 정보를 출력 및 파일로 저장하는 메인서버부(300)로 이루어진다.
이하, 본 발명의 구체적인 구성을 첨부된 도면에 의해 상세히 설명하면 다음과 같다.
도1은 본 발명에 따른 중복 데이터 병합 정리 장치를 나타낸 구성도이다.
도 1을 참조하면, 상기 중복 데이터를 실시간 저장하며, 매핑 및 정제서비스를 요청하는 웹서버부(100)와 상기 매핑 및 정제서비스를 요청 받아 실시간 데이터 중복검사를 수행하는 정제서버부(200)와 상기 중복검사 후 정제된 정보를 출력 및 파일로 저장하는 메인서버부(300)로 이루어진다.
상기 정제서버부(200)는 고객정보를 조건에 따라 저장하는 고객정보 데이터베이스부(202)와 상기 고객정보 데이터베이스부(202)에 저장된 정보로 중복된 데이터를 추출하기 위하여 중복조건을 선택하는 중복조건 설정부(204)와 상기 중복조건 설정부(204)에서 설정된 조건에 데이터를 매핑 및 정제하여 데이터의 동일성을 판단하는 중복식별부(206)와 상기 중복식별부(206)에서 동일한 정보로 판단되는 경우, 중복으로 처리하여 정제된 고객정보 데이터를 추출하는 추출부(208)로 이루어진다.
또한, 상기 메인서버부(300)는 정제된 데이터를 엑셀파일 형태로 저장한다.
아래 표1은 고객정보 중에서 필요한 정보로 재구성하는 분류표이다.
구분 정제 및 표준화 내용
전화번호 국번, DDD DB ⑩ 자체 구축한 국번변경 DB를 활용한 전화번호 국번, 표준화 ⑩ 숫자 및 자리수 유효성 체크를 통한 표준화
고객명/법인명 ⑩ 공백 및 특수기호 등을 치환/변경/삭제 등을 통합 표준화
주민등록번호 /사업자등록번호 ⑩자리수 및 유효성 체크를 통한 표준화
날짜 ⑩ 날짜 유효성 체크를 통한 표준화
이메일주소 ⑩ 이메일주소 작성 규칙에 따른 유효성 체크를 통한 표준화
집단건물 DB ⑩ 집단건물 표준화 및 집단건물 번지 부가
주소 DB ⑩ 주소 누락부분 표준화
우편번호 DB ⑩ 신 우편번호 변환
행정법정 DB ⑩ 행정동, 법정동 부가
상기 고객정보 중에서 접촉정보에 해당하는 정보를 대상으로 비(非) 정형화된 데이터를 정제하여 표준화된 정보로 재구성한다.
도2는 본 발명에 따른 중복 데이터 병합 방법을 나타낸 흐름도이다.
고객정보 데이터를 병합하여 정리하기 위한 방법에 있어서, 상기 고객정보 데이터를 고객정보 필드 레퍼런스/패턴 데이터베이스 및 음성사전 데이터베이스를 기반으로 중복 데이터를 추출하는 제1단계와 상기 제1단계에서 추출된 중복 데이터를 병합하기 위하여 중복로직을 정의하는 제2단계와 상기 제2단계에서 중복로직을 정의에 따라 중복데이터를 유일 데이터로 식별하는 제3단계와 상기 제3단계에서 유일 데이터로 식별하여 식별결과를 통합하여 정리하는 제4단계와 상기 제4단계에서 정리된 데이터를 통합하여 결과물을 생성하는 제5단계로 이루어진다.
상기 제1단계에서 중복 데이터를 추출 시 필드값이 공백인 경우 별도로 걸러지는 제6단계를 더 포함한다.
상기 제1단계에서 중복 데이터를 추출하는 방법에 있어서, 고객정보 필드 레퍼런스/패턴 데이터베이스 및 음성사전 등을 기반으로 고객정보 필드의 오타가 추정되는 중복고객 데이터를 추출하거나,
고객정보의 키 필드가 없는 경우 고객명, 직장명, 핸드폰번호, e-mail, 집전화번호 등 고객정보 데이터 중복이라고 판단할 확률이 높은 고객정보 데이터를 중복고객 데이터로 추출하거나,
중복 데이터 병합 정리 장치의 설정에 의하여 중복로직을 정의하여 중복처리한다.
이는 고객사마다 고객정보 데이터의 특성이 다른 경우가 있고, 여러 출처에서 들어온 고객정보의 필드가 상이한 경우에 설정에 의하여 중복고객 데이터를 추출한다.
도3은 본 발명에 따른 남길 데이터와 삭제할 데이터 식별 방법을 나타낸 흐름도이며, 도4는 상기 도3에 따라 남길 데이터의 통합방법을 나타낸 흐름도이다.
상기 제4단계는 식별결과를 통합하여 정리하는데 남길 데이터와 삭제할 데이터를 식별하는 제7단계 및, 상기 제7단계에서 남길 데이터로 필요한 정보만 통합하는 제8단계를 포함하여 이루어진다.
상기 중복고객 데이터 중 최종변경 시간이 최근인 데이터를 마스터 고객데이터로 설정하고 과거 데이터를 서브 고객데이터로 설정한다. 상기 고객데이터의 각 항목의 정확성이 유효한 항목을 기준으로 남길 데이터와 삭제할 데이터를 판단한다.
이상에서 살펴본 바와 같이, 본 발명에 의하여 기업이 보유하고 있는 비정형화 및 중복된 고객정보를 정형화된 표준고객정보로 재구성하여 중복된 고객정보를 식별하고, 중복 고객정보 중에서 최신정보를 식별하여 이를 중심으로 중복된 정보의 병합을 통한 유일고객 데이터 생성 및 중복정리 결과를 생성하는 효과가 있다.
또한, 중복된 고객정보를 제거함으로써 기업에서는 대량 우편물 발송, 텔레마케팅, 이메일 발송비용을 절감할 수 있는 효과가 있다.
마지막으로, 병합 데이터 관리 비용 절감 및 병합 데이터의 충실도가 향상되면서 데이터 분석의 정확도가 향상되는 효과가 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재된 특허청구범위의 균등범위내에 다양한 수정 및 변형이 가능하다.

Claims (6)

  1. 중복 데이터를 병합하여 정리하기 위한 장치에 있어서,
    상기 중복 데이터를 실시간 저장하며, 매핑 및 정제서비스를 요청하는 웹서버부(100);
    상기 매핑 및 정제서비스를 요청 받아 실시간 데이터 중복검사를 수행하는 정제서버부(200); 및
    상기 중복검사 후 정제된 정보를 출력 및 파일로 저장하는 메인서버부(300)를 포함하는 것을 특징으로 하는 중복 데이터 병합 정리 장치.
  2. 제 1 항에 있어서,
    상기 정제서버부(200)는
    고객정보를 조건에 따라 저장하는 고객정보 데이터베이스부(202);
    상기 고객정보 데이터베이스부(202)에 저장된 정보로 중복된 데이터를 추출하기 위하여 중복조건을 선택하는 중복조건 설정부(204);
    상기 중복조건 설정부(204)에서 설정된 조건에 데이터를 매핑 및 정제하여 데이터의 동일성을 판단하는 중복식별부(206); 및
    상기 중복식별부(206)에서 동일한 정보로 판단되는 경우, 중복으로 처리하여 정제된 고객정보 데이터를 추출하는 추출부(208)를 포함하는 것을 특징으로 하는 중복 데이터 병합 정리 장치.
  3. 제 1 항에 있어서,
    상기 메인서버부(300)는 정제된 데이터를 엑셀파일 형태로 저장하는 것을 더 포함하는 것을 특징으로 하는 중복 데이터 병합 정리 장치.
  4. 고객정보 데이터를 병합하여 정리하기 위한 방법에 있어서,
    상기 고객정보 데이터를 고객정보 필드 레퍼런스/패턴 데이터베이스 및 음성사전 데이터베이스를 기반으로 중복 데이터를 추출하는 제1단계;
    상기 제1단계에서 추출된 중복 데이터를 병합하기 위하여 중복로직을 정의하는 제2단계;
    상기 제2단계에서 중복로직을 정의에 따라 중복데이터를 유일 데이터로 식별하는 제3단계;
    상기 제3단계에서 유일 데이터로 식별하여 식별결과를 통합하여 정리하는 제4단계; 및
    상기 제4단계에서 정리된 데이터를 통합하여 결과물을 생성하는 제5단계를 포함하는 것을 특징으로 하는 중복 데이터 병합 정리 방법.
  5. 제 4 항에 있어서,
    상기 제1단계에서 중복 데이터를 추출 시 필드값이 공백인 경우 별도로 걸러지는 제6단계를 더 포함하는 것을 특징으로 하는 중복 데이터 병합 정리 방법.
  6. 제 4 항에 있어서,
    상기 제4단계는
    식별결과를 통합하여 정리하는데 남길 데이터와 삭제할 데이터를 식별하는 제7단계; 및
    상기 제7단계에서 남길 데이터로 필요한 정보만 통합하는 제8단계를 포함하는 것을 특징으로 하는 중복 데이터 병합 정리 방법.
KR1020050076617A 2005-08-22 2005-08-22 중복 데이터 병합 정리 장치 및 그 장치를 이용한 병합방법 KR100693370B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050076617A KR100693370B1 (ko) 2005-08-22 2005-08-22 중복 데이터 병합 정리 장치 및 그 장치를 이용한 병합방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050076617A KR100693370B1 (ko) 2005-08-22 2005-08-22 중복 데이터 병합 정리 장치 및 그 장치를 이용한 병합방법

Publications (2)

Publication Number Publication Date
KR20070022427A true KR20070022427A (ko) 2007-02-27
KR100693370B1 KR100693370B1 (ko) 2007-03-09

Family

ID=41622882

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050076617A KR100693370B1 (ko) 2005-08-22 2005-08-22 중복 데이터 병합 정리 장치 및 그 장치를 이용한 병합방법

Country Status (1)

Country Link
KR (1) KR100693370B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100871392B1 (ko) * 2007-11-13 2008-12-02 (주)소만사 이-디스커버리를 위한 아카이빙 시스템에서의 메시지 관리방법
KR101103729B1 (ko) * 2009-07-23 2012-01-11 (주)공영디비엠 회사명 데이터 표준화 관리 장치 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100368921B1 (ko) * 2000-06-05 2003-01-24 이상건 인터넷을 이용한 신용정보 관리서비스 제공방법
KR20030014011A (ko) * 2001-08-10 2003-02-15 (주)프리즘엠아이텍 이종의 데이터 베이스 자동 병합 시스템 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100871392B1 (ko) * 2007-11-13 2008-12-02 (주)소만사 이-디스커버리를 위한 아카이빙 시스템에서의 메시지 관리방법
KR101103729B1 (ko) * 2009-07-23 2012-01-11 (주)공영디비엠 회사명 데이터 표준화 관리 장치 및 방법

Also Published As

Publication number Publication date
KR100693370B1 (ko) 2007-03-09

Similar Documents

Publication Publication Date Title
CN101222348B (zh) 统计网站真实用户的方法及***
JP5193061B2 (ja) 顧客駆動型クエリからの照合を強化するための方法およびシステム
CA2707278C (en) Synthesis of mail management information from physical mail data
CN106815326B (zh) 一种检测无主键数据表一致性的***及方法
CN108595563A (zh) 一种数据质量管理方法及装置
CN107357940A (zh) 一种不动产数据整合的方法和设备
CN107798541B (zh) 一种用于在线业务的监控方法及***
CN113868289A (zh) 一种适应于智慧物联体系的标识解析***及方法
CN105827706A (zh) 消息推送装置及方法
CN102044018A (zh) 一种用于产品可靠性设计的知识收集模板及准则提取方法
KR100693370B1 (ko) 중복 데이터 병합 정리 장치 및 그 장치를 이용한 병합방법
CN105827873B (zh) 一种解决异地客户业务办理受限的方法及装置
CN106156046B (zh) 一种信息化管理方法、装置、***及分析设备
KR100921217B1 (ko) 소득추정 시스템 및 그 방법
JP3662866B2 (ja) 名寄せ処理方法及び名寄せ処理プログラム
CN113868601A (zh) 一种数据资产切分校验方法及设备
CN116303392B (zh) 关于不动产登记数据的多源数据表管理方法
JP2020035276A (ja) 情報処理装置及び情報処理方法
CN110704421A (zh) 数据处理方法、装置、设备和计算机可读存储介质
JP2012230582A (ja) 企業グループ間での取引整合性の確認方法およびプログラム
JP2002032254A (ja) 情報整合性管理システム
KR20100064732A (ko) 우편 서비스 제공 장치 및 방법
CN113011831A (zh) 用于数据审计的***以及数据审计的方法
CN117785861A (zh) 一种多源异构数据的处理方法及***
CN118378864A (zh) 适用于核工程设计数字化标准体系建设方法和***

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20111223

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee