KR20220012673A - Method for selecting promotion target and apparatus therefor - Google Patents

Method for selecting promotion target and apparatus therefor Download PDF

Info

Publication number
KR20220012673A
KR20220012673A KR1020200091748A KR20200091748A KR20220012673A KR 20220012673 A KR20220012673 A KR 20220012673A KR 1020200091748 A KR1020200091748 A KR 1020200091748A KR 20200091748 A KR20200091748 A KR 20200091748A KR 20220012673 A KR20220012673 A KR 20220012673A
Authority
KR
South Korea
Prior art keywords
promotion
customer
artificial intelligence
intelligence model
customer data
Prior art date
Application number
KR1020200091748A
Other languages
Korean (ko)
Other versions
KR102414960B1 (en
Inventor
이성훈
장동진
조창기
Original Assignee
삼성카드 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성카드 주식회사 filed Critical 삼성카드 주식회사
Priority to KR1020200091748A priority Critical patent/KR102414960B1/en
Publication of KR20220012673A publication Critical patent/KR20220012673A/en
Application granted granted Critical
Publication of KR102414960B1 publication Critical patent/KR102414960B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Software Systems (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

Disclosed are a method for selecting a promotion target and an apparatus therefor. The apparatus for selecting a promotion target trains a first artificial intelligence model that outputs a prediction value of a response using first training data generated based on customer data including a response of a customer for a promotion, calculates a contribution level indicating an effect of the promotion on the response of the customer based on a difference between values obtained by inputting customer data including a value for the promotion and customer data including a value for the promotion into the first artificial intelligence model, and then trains a second artificial intelligence model using second training data labelled as a contribution level of the customer data. In addition, the apparatus for selecting a promotion target inputs a member list into the second artificial intelligence model to grasp a reaction score that the promotion affects the customer, and extracts a promotion target customer based on the reaction score from the member list. The present invention can maximize a promotional effect.

Description

프로모션 대상 선별 방법 및 그 장치{Method for selecting promotion target and apparatus therefor}Method for selecting promotion target and apparatus therefor

본 발명의 실시 예는 프로모션 대상을 선별하는 방법 및 그 장치에 관한 것으로, 보다 상세하게는 인공지능모델을 이용하여 최적의 프로모션 대상을 선별하는 방법 및 그 장치에 관한 것이다.An embodiment of the present invention relates to a method and an apparatus for selecting a promotion target, and more particularly, to a method and an apparatus for selecting an optimal promotion target using an artificial intelligence model.

고객의 성별, 나이, 지역 등의 다양한 변수의 조합을 이용하여 만든 모델을 이용하여 프로모션 대상을 선정할 수 있다. 그러나 마케터가 프로그래밍에 대한 전문지식이 없다면 프로모션 대상을 선정하기 위한 모델의 개발은 모델 개발 전문가의 도움이 필요하며, 프로모션 기획부터 모델 개발까지 많은 시간이 소요되는 단점이 존재한다. 또한 종래의 프로모션 대상 선정을 위한 모델은 프로모션에 반응하는 고객과 프로모션에 반응하지 않는 고객을 구분하지 못한다. 예를 들어, A,B 두 사람에게 동일 상품에 대한 프로모션을 한 경우에, A는 프로모션에 반응하여 상품을 구매하고, B는 프로모션과 관계없이 상품을 구매하거나 구매하지 않을 수 있다. 즉, B는 프로모션에 반응하지 않으므로 B에게는 프로모션을 할 필요가 없으나 종래 모델은 프로모션에 반응이 없는 고객을 구별하지 못한다.A promotion target can be selected using a model created using a combination of various variables such as gender, age, and region of the customer. However, if the marketer does not have expertise in programming, the development of a model to select a promotion target requires the help of a model development expert, and there is a disadvantage that it takes a lot of time from promotion planning to model development. In addition, the conventional model for selecting a promotion target does not distinguish between a customer who responds to the promotion and a customer who does not respond to the promotion. For example, if two people A and B are promoted for the same product, A may purchase the product in response to the promotion, and B may or may not purchase the product regardless of the promotion. That is, since B does not respond to the promotion, there is no need for promotion to B, but the conventional model does not distinguish customers who do not respond to the promotion.

본 발명의 실시 예가 이루고자 하는 기술적 과제는, 인공지능모델을 이용하여 프로모션에 반응하는 고객과 반응하지 않는 고객을 구별하여 선별할 수 있는 프로모션 대상 선별 방법 및 그 장치를 제공하는 데 있다.The technical problem to be achieved by the embodiment of the present invention is to provide a promotion target screening method and apparatus capable of distinguishing and selecting customers who respond to the promotion and customers who do not respond by using an artificial intelligence model.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 프로모션 대상 선별 방법의 일 예는, 프로모션에 대한 고객의 반응여부를 포함하는 고객데이터를 기초로 생성된 제1 학습데이터를 이용하여 반응여부의 예측값을 출력하는 제1 인공지능모델을 학습시키는 단계; 프로모션에 대한 값을 포함하는 고객데이터와 프로모션에 대한 값을 포함하지 않는 고객데이터를 각각 상기 제1 인공지능모델에 입력하여 얻은 값의 차이를 기초로 프로모션이 고객 반응에 미치는 영향을 나타내는 기여도를 산출하는 단계; 고객데이터를 상기 기여도로 라벨링한 제2 학습데이터를 이용하여 제2 인공지능모델을 학습시키는 단계; 회원리스트를 상기 제2 인공지능모델에 입력하여 프로모션이 고객에게 영향을 미치는 반응점수를 파악하는 단계; 및 상기 회원리스트에서 상기 반응점수를 기초로 프로모션 대상 고객을 추출하는 단계;를 포함한다.In order to achieve the above technical task, an example of a method for selecting a promotion target according to an embodiment of the present invention is a reaction using the first learning data generated based on customer data including whether the customer responds to the promotion training a first artificial intelligence model to output a predicted value of whether or not; Based on the difference between the values obtained by inputting customer data including a value for promotion and customer data not including a value for promotion into the first artificial intelligence model, respectively, a contribution rate indicating the effect of promotion on customer response is calculated to do; learning a second artificial intelligence model using second learning data in which customer data is labeled as the contribution degree; inputting the member list into the second artificial intelligence model to determine the reaction score that the promotion affects the customer; and extracting a promotion target customer based on the reaction score from the member list.

상기의 기술적 과제를 달성하기 위한, 본 발명의 실시 예에 따른 프로모션 대상 선별 장치의 일 예는, 프로모션에 대한 고객의 반응여부를 포함하는 고객데이터를 저장하는 데이터베이스; 고객데이터를 프로모션에 대한 고객의 반응여부로 라벨링한 제1 학습데이터로 학습된 제1 인공지능모델; 고객데이터를 기여도로 라벨링한 제2 학습데이터로 학습된 제2 인공지능모델; 및 회원리스트를 상기 제2 인공지능모델에 입력하여 얻은 반응점수를 기초로 상기 회원리스트에서 프로모션 대상 고객을 추출하는 제어부;를 포함하고, 상기 기여도는 프로모션에 대한 값을 포함하는 고객데이터와 프로모션에 대한 값을 제외한 고객데이터를 각각 상기 제1 인공지능모델에 입력하여 얻은 값의 차이를 기초로 산출된다.In order to achieve the above technical problem, an example of a promotion target selection device according to an embodiment of the present invention is a database for storing customer data including whether or not the customer responds to the promotion; a first artificial intelligence model trained with first learning data that labels customer data as the customer's response to the promotion; a second artificial intelligence model trained with second learning data in which customer data is labeled as contribution degrees; and a control unit that extracts a promotion target customer from the member list based on the reaction score obtained by inputting the member list into the second artificial intelligence model, wherein the contribution is customer data including a value for promotion and promotion It is calculated based on the difference in values obtained by inputting customer data excluding the value for each into the first artificial intelligence model.

본 발명의 실시 예에 따르면, 프로모션에 반응할 가능성이 높은 고객에게 프로모션을 진행하여 프로모션 효과를 극대화할 수 있다. 또한, 전문적인 지식이 없는 마케터도 다양한 프로모션에 대한 대상을 선별할 수 있는 모델을 용이하게 만들 수 있다. According to an embodiment of the present invention, the promotion effect can be maximized by conducting the promotion to customers who are highly likely to respond to the promotion. In addition, marketers without specialized knowledge can easily create a model that can select targets for various promotions.

도 1은 본 발명의 실시 예에 따른 프로모션 대상 선정을 위한 전체 시스템의 개략적인 구조의 예를 도시한 도면,
도 2는 본 발명의 실시 예에 따른 프로모션 대상 선별 방법의 일 예를 도시한 흐름도,
도 3은 본 발명의 실시 예에 따른 고객데이터의 일 예를 도시한 도면,
도 4는 본 발명의 실시 예에 따른 제1 인공지능모델의 일 예를 도시한 도면,
도 5는 본 발명의 실시 예에 따른 기여도를 산출하는 방법의 일 예를 도시한 도면,
도 6은 본 발명의 실시 예에 따른 제2 인공지능모델의 일 예를 도시한 도면,
도 7은 본 발명의 실시 예에 따른 제2 인공지능모델을 이용하여 프로모션 대상을 추출하는 방법의 일 예를 도시한 도면, 그리고,
도 8은 본 발명의 실시 예에 따른 프로모션대상선별장치의 일 예의 구성을 도시한 도면이다.1 is a view showing an example of a schematic structure of an overall system for selection of a promotion target according to an embodiment of the present invention;
2 is a flowchart illustrating an example of a method for selecting a promotion target according to an embodiment of the present invention;
3 is a view showing an example of customer data according to an embodiment of the present invention;
4 is a view showing an example of a first artificial intelligence model according to an embodiment of the present invention;
5 is a diagram illustrating an example of a method for calculating a contribution degree according to an embodiment of the present invention;
6 is a view showing an example of a second artificial intelligence model according to an embodiment of the present invention;
7 is a diagram illustrating an example of a method of extracting a promotion target using a second artificial intelligence model according to an embodiment of the present invention;
8 is a diagram showing the configuration of an example of a promotion target selection device according to an embodiment of the present invention.

이하에서, 첨부된 도면들을 참조하여 본 발명의 실시 예에 따른 프로모션 대상 선별 방법 및 그 장치에 대해 상세히 설명한다.Hereinafter, a method for selecting a promotion target and an apparatus therefor according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시 예에 따른 프로모션 대상 선정을 위한 전체 시스템의 개략적인 구조의 예를 도시한 도면이다.1 is a diagram illustrating an example of a schematic structure of an overall system for selection of a promotion target according to an embodiment of the present invention.

도 1을 참조하면, 프로모션대상선별장치(이하, '장치'라고 함)(120)는 고객데이터(110)를 기초로 프로모션 대상 선별을 위한 모델(130)을 생성한다. 장치(120)는 단순히 변수의 조합을 이용한 통계적 모델을 생성하는 것이 아니라 머신러닝 기반으로 프로모션에 대한 고객의 반응 정도를 예측하는 모델(130)을 생성한다. Referring to FIG. 1 , a promotion target selection device (hereinafter, referred to as a 'device') 120 generates a model 130 for promotion target selection based on customer data 110 . The device 120 does not simply generate a statistical model using a combination of variables, but generates a model 130 that predicts the customer's response to the promotion based on machine learning.

본 실시 예에서, 프로모션은 물건이나 서비스 등의 판매를 위한 다양한 형태의 광고나 판촉활동 등을 의미하며, 어느 하나의 예로 한정되는 것은 아니다. 예를 들어, 카드나 보험, 예금 등의 금융상품에 대한 프로모션 등이 본 실시 예에 적용될 수 있다. In this embodiment, promotion means various types of advertisements or promotional activities for the sale of goods or services, and the like, and is not limited to any one example. For example, promotions for financial products such as cards, insurance, and deposits may be applied to the present embodiment.

고객데이터(110)는 과거에 프로모션을 진행했던 고객에 대한 데이터로서 프로모션 여부에 대한 정보와 해당 프로모션에 대한 고객의 반응여부에 대한 정보 등을 포함하는 데이터이다. 고객데이터(110)의 일 예가 도 3에 도시되어 있다. 장치(120)는 머신러닝 기반으로 모델(130)을 자동 생성하며, 고객데이터(110)는 머신러닝을 위한 학습데이터로 사용된다. 모델(130) 생성의 구체적인 방법에 대해서는 도 2 이하에서 다시 살펴본다.The customer data 110 is data about a customer who has conducted a promotion in the past, and is data including information on whether or not the promotion is performed and information on whether the customer responds to the promotion. An example of the customer data 110 is shown in FIG. 3 . The device 120 automatically creates the model 130 based on machine learning, and the customer data 110 is used as training data for machine learning. A detailed method of generating the model 130 will be reviewed again in FIG. 2 or less.

모델(130)이 생성되면 장치(120)는 회원리스트(140)를 모델(130)에 입력하여 프로모션 대상(150)을 선별한다. 여기서 회원리스트(140)는 프로모션 대상을 선별하기 위한 모집단을 의미한다. 모집단은 회원으로 가입한 전체 고객이거나 나이, 성별, 지역 등의 각 조건을 기초로 추출한 일정 그룹의 고객 집합일 수 있다. 예를 들어, 카드회사나 보험회사, 은행 등의 금융회사는 회원으로 가입된 전체 고객들을 프로모션 대상 선별을 위한 모집단으로 하거나 이들 중 일정 조건으로 추출한 고객들의 집합을 모집단으로 할 수 있다. 장치(120)는 모델(130)을 통해 모집단(즉, 회원리스트(140))에서 프로모션에 대한 반응 가능성이 높은 고객을 프로모션 대상(150)으로 선별한다.When the model 130 is generated, the device 120 selects the promotion target 150 by inputting the member list 140 into the model 130 . Here, the member list 140 refers to a population for selecting a promotion target. The population may be all customers who have joined as members or a set of customers of a certain group extracted based on each condition such as age, gender, and region. For example, a credit card company, an insurance company, a financial company, such as a bank, may use all customers who are members as a population for selection of promotion targets, or a set of customers extracted under certain conditions from among them as a population. The device 120 selects, as the promotion target 150 , a customer having a high probability of responding to the promotion from the population (ie, the member list 140 ) through the model 130 .

데이터베이스(100)는 고객데이터(110) 및 회원리스트(140)를 포함한다. 다른 실시 예로, 고객데이터(110) 및 회원리스트(140)는 서로 다른 데이터베이스에 저장 관리될 수 있다. 데이터베이스(100)는 이 외에도 본 실시 예를 위한 다양한 종류의 데이터를 저장하고 관리할 수 있다.The database 100 includes customer data 110 and a member list 140 . In another embodiment, the customer data 110 and the member list 140 may be stored and managed in different databases. In addition to this, the database 100 may store and manage various types of data for the present embodiment.

본 실시 예에서, 장치(120)는 모델(130)을 머신러닝 기반으로 자동 생성하므로 사용자(예를 들어, 마케터 등)는 프로그래밍이나 모델 개발 등에 대한 전문적인 지식이 없어도 모델을 만들 수 있다. 예를 들어, 사용자는 현재 진행할 프로모션과 동일 또는 유사한 프로모션을 진행했던 고객에 대한 데이터, 즉 고객데이터(110)를 데이터베이스(100)에 선택하는 것만으로 모델을 생성할 수 있다. 이를 위하여 사용자에게 데이터베이스(100)에 저장된 다양한 프로모션에 대한 고객데이터(110)를 검색하고 선택할 수 있는 사용자 인터페이스가 제공될 수 있다. 사용자 인터페이스는 별도의 장치가 제공하거나 본 실시 예의 장치(120)가 제공할 수 있다. 사용자는 생성된 모델(130)에 회원리스트(140)를 입력하여 원하는 프로모션 대상(150)을 선별할 수 있다. In this embodiment, the device 120 automatically generates the model 130 based on machine learning, so a user (eg, a marketer, etc.) can create a model without specialized knowledge about programming or model development. For example, the user may create a model only by selecting data about a customer who has performed a promotion identical to or similar to the promotion to be conducted, ie, customer data 110 in the database 100 . To this end, a user interface may be provided for the user to search for and select customer data 110 for various promotions stored in the database 100 . The user interface may be provided by a separate device or may be provided by the device 120 of the present embodiment. The user may select a desired promotion target 150 by inputting the member list 140 into the generated model 130 .

도 2는 본 발명의 실시 예에 따른 프로모션 대상 선별 방법의 일 예를 도시한 흐름도이다.2 is a flowchart illustrating an example of a method for selecting a promotion target according to an embodiment of the present invention.

도 1 및 도 2를 함께 참조하면, 장치(120)는 고객데이터(110)를 기초로 생성된 제1 학습데이터를 이용하여 제1 인공지능모델을 학습시킨다(S200). 제1 학습데이터는 고객데이터(110)에 존재하는 프로모션에 대한 고객의 반응여부에 대한 정보(예를 들어, 반응이 존재하면 '1', 반응이 없으면 '0')를 기초로 라벨링하여 생성된다. 따라서 학습이 완료된 제1 인공지능모델은 고객데이터를 입력받으면 고객의 반응여부의 예측값(예를 들어, 0~1사이의 값)을 출력한다. 제1 인공지능모델에 대한 예가 도 4에 도시되어 있다.1 and 2 together, the device 120 trains the first artificial intelligence model using the first learning data generated based on the customer data 110 (S200). The first learning data is generated by labeling based on information on whether or not the customer responds to the promotion existing in the customer data 110 (eg, '1' if there is a response, '0' if there is no response) . Therefore, when the first artificial intelligence model that has been trained receives customer data, it outputs a predicted value (eg, a value between 0 and 1) of whether the customer will respond. An example of the first artificial intelligence model is shown in FIG. 4 .

제1 인공지능모델은 고객의 반응이 프로모션으로 인한 반응인지 아니면 프로모션에 관계없는 반응인지 구별하지는 못한다. 예를 들어, 복수의 고객에 대하여 프로모션을 진행하고 이들 중 A,B,C가 상품을 구매하였다고 하자. A는 상품을 구매할 의사가 이미 존재하고 있으며 상품 구매 시점에 때마침 프로모션이 진행되었던 것 뿐이고, B,C는 프로모션에 반응하여 상품을 구매할 수 있다. 이 경우 A는 프로모션에 반응하지 않는 자이므로 A에게는 프로모션이 필요없고 B,C에 대해서만 프로모션이 진행되면 된다. 그러나, 고객데이터(110)에 포함된 반응여부는 고객 반응이 프로모션에 때문인지 구분하지 못하며, 따라서 이러한 고객데이터(110)를 기초로 학습된 제1 인공지능모델도 고객의 반응이 프로모션에 의한 것인지를 구분하지 못한다. The first AI model cannot distinguish whether a customer's response is a response from a promotion or a response that is not related to the promotion. For example, suppose that a promotion is conducted for a plurality of customers, and A, B, and C among them purchase a product. A already has the intention to purchase the product, and the promotion has just been carried out at the time of purchase, and B and C can purchase the product in response to the promotion. In this case, since A does not respond to the promotion, A does not need the promotion and only B and C need to be promoted. However, the response included in the customer data 110 does not distinguish whether the customer response is due to the promotion, and therefore the first artificial intelligence model learned based on the customer data 110 is also whether the customer response is due to the promotion. cannot distinguish

장치(120)는 프로모션이 고객의 반응에 영향을 미치는 정도를 파악하기 위하여 제1 인공지능모델을 이용하여 기여도를 산출하는 과정(S120)을 수행한다. 제1 인공지능모델에 입력하는 고객데이터(110)는 복수의 변수에 대한 값으로 구성되며, 이들 각 값들이 제1 인공지능모델의 출력값(즉, 고객 반응여부의 예측값)에 기여하는 정도는 서로 다를 수 있다. The device 120 performs a process ( S120 ) of calculating the contribution by using the first artificial intelligence model in order to determine the degree to which the promotion affects the customer's response. The customer data 110 input to the first artificial intelligence model consists of values for a plurality of variables, and the degree to which each of these values contributes to the output value of the first artificial intelligence model (that is, the predicted value of customer response) is different from each other. can be different.

예를 들어, 고객데이터가 x1,x2,x3의 세 변수로 구성된 경우에 x1의 값만 제1 인공지능모델에 입력하였을 때의 출력값과, x1,x2를 제1 인공지능모델에 입력하였을 때의 출력값과, x1,x2,x3를 제1 인공지능모델에 입력하였을 때의 출력값을 서로 다를 수 있다. 이러한 원리에 기초하여, 장치(120)는 프로모션에 대한 값을 포함하는 고객데이터와 프로모션에 대한 값을 포함하지 않는 고객데이터를 각각 상기 제1 인공지능모델에 입력하여 얻은 값의 차이를 기초로 프로모션이 고객 반응에 미치는 영향을 나타내는 기여도를 산출한다. 기여도를 산출하는 방법의 일 예가 도 5에 도시되어 있다. For example, when customer data consists of three variables x1, x2, and x3, the output value when only the value of x1 is input to the first AI model, and the output value when x1, x2 is input to the first AI model and output values when x1, x2, and x3 are input to the first artificial intelligence model may be different from each other. Based on this principle, the device 120 enters customer data including a value for promotion and customer data not including a value for promotion into the first AI model, respectively, and promotes based on the difference in values obtained Contributions are calculated that represent the impact of this on customer response. An example of a method of calculating the contribution is shown in FIG. 5 .

장치(120)는 고객데이터(110)와 기여도를 기초로 생성된 제2 학습데이터를 이용하여 제2 인공지능모델을 학습시킨다(S220). 제2 학습데이터는 고객데이터(110)의 기여도를 기초로 라벨링하여 생성된다. 제2 인공지능모델의 일 예가 도 6에 도시되어 있다.The device 120 trains the second artificial intelligence model using the customer data 110 and the second learning data generated based on the contribution (S220). The second learning data is generated by labeling based on the contribution of the customer data 110 . An example of the second artificial intelligence model is shown in FIG. 6 .

제2 인공지능모델의 학습이 완료되면, 장치(120)는 회원리스트(140)를 제2 인공지능모델에 입력하여 회원리스트에 포함된 각 고객에 대한 프로모션의 반응점수를 파악한다(S230). 그리고 장치(120)는 반응점수를 기초로 회원리스트(140)에서 프로모션 대상을 추출한다(S230). 제2 인공지능모델을 이용하여 프로모션 대상을 추출하는 방법의 예가 도 7에 도시되어 있다.When the learning of the second artificial intelligence model is completed, the device 120 inputs the member list 140 into the second artificial intelligence model to determine the reaction score of the promotion for each customer included in the member list (S230). And the device 120 extracts a promotion target from the member list 140 based on the reaction score (S230). An example of a method of extracting a promotion target using the second artificial intelligence model is shown in FIG. 7 .

도 3은 본 발명의 실시 예에 따른 고객데이터의 일 예를 도시한 도면이다.3 is a diagram illustrating an example of customer data according to an embodiment of the present invention.

도 3을 참조하면, 고객데이터(300)는 고객정보(310), 프로모션 여부(320), 반응 여부(330) 등을 포함한다. 고객정보(310)는 고객의 성별, 나이, 지역, 직업, 취미 등 적어도 하나 이상의 고객 개인 정보를 포함한다. 프로모션 여부(320)는 해당 고객에게 프로모션을 진행하였는지 여부를 나타내고, 반응여부(330)는 프로모션에 대하여 고객이 반응하였는지 여부를 나타낸다. 반응여부(330)는 다양한 방법으로 측정되어 고객데이터에 저장될 수 있다. 예를 들어, 문자나 전화 등의 광고를 통한 금융상품 프로모션에서, 고객이 해당 금융상품을 구매하였다면 반응여부에 대한 정보에 '1'이 저장되고, 반응하지 않았다면 '0'이 저장될 수 있다. Referring to FIG. 3 , customer data 300 includes customer information 310 , whether promotion 320 , and whether response 330 . The customer information 310 includes at least one or more customer personal information such as the customer's gender, age, region, occupation, and hobbies. Whether the promotion 320 indicates whether a promotion has been performed on the corresponding customer, and the response 330 indicates whether the customer has responded to the promotion. The response 330 may be measured in various ways and stored in customer data. For example, in the promotion of financial products through advertisements such as text messages or phone calls, '1' may be stored in the response information if the customer purchases the corresponding financial product, and '0' may be stored if there is no response.

본 실시 예는 설명의 편의를 위하여 고객의 성별, 나이 등의 각종 정보를 통틀어 고객정보(310)라고 도시하고 있으나, 고객정보(310)에 포함되는 복수의 정보는 각 변수로 구별될 수 있다. 즉, 고객데이터(300)는 n개의 변수로 정의될 수 있다. 이하에서는 설명의 편의를 위하여 고객데이터(300)가 곧 제1 학습데이터인 경우를 가정하여 설명한다. In this embodiment, for convenience of explanation, the customer information 310 is shown as the customer information 310, but a plurality of pieces of information included in the customer information 310 may be distinguished by each variable. That is, the customer data 300 may be defined by n variables. Hereinafter, for convenience of explanation, it is assumed that the customer data 300 is the first learning data.

도 4는 본 발명의 실시 예에 따른 제1 인공지능모델의 일 예를 도시한 도면이다.4 is a diagram illustrating an example of a first artificial intelligence model according to an embodiment of the present invention.

도 4를 참조하면, 제1 인공지능모델(400)은 고객데이터를 기초로 생성된 제1 학습데이터(410)를 이용하여 학습한다. 일 실시 예로, 도 3에서 살핀 고객데이터(300)가 그대로 제1 인공지능모델(400)의 제1 학습데이터(410)로 이용될 수 있다. 다른 실시 예로, 고객데이터(300)에 포함된 다양한 변수 중 일부를 선택하여 제1 인공지능모델(400)의 학습데이터(410)로 이용할 수 있다. 예를 들어, 고객데이터가 x1,..,xn의 n개의 변수로 구성된 경우에, 사용자는 원하는 변수를 선택할 수 있다. 장치(120)는 사용자가 선택한 변수의 값들로 구성된 제1 학습데이터(410)를 생성할 수 있다. Referring to FIG. 4 , the first artificial intelligence model 400 learns using the first learning data 410 generated based on customer data. As an embodiment, the customer data 300 salpin in FIG. 3 may be used as the first learning data 410 of the first artificial intelligence model 400 as it is. In another embodiment, some of the various variables included in the customer data 300 may be selected and used as the learning data 410 of the first artificial intelligence model 400 . For example, when customer data is composed of n variables of x1, .., xn, the user can select a desired variable. The device 120 may generate the first learning data 410 including values of variables selected by the user.

다른 실시 예로, 장치(120)는 제1 학습데이터(410)에서 이상치(outlier)를 제거하는 전처리 과정을 포함할 수 있다. 이 외에도 종래의 학습데이터의 전처리 방법이 본 실시 예에 적용될 수 있다.In another embodiment, the apparatus 120 may include a preprocessing process of removing an outlier from the first training data 410 . In addition to this, a conventional pre-processing method of learning data may be applied to this embodiment.

제1 학습데이터(410)는 고객데이터(300)에 포함된 반응여부(330)를 기초로 라벨링된다. 제1 인공지능모델(400)은 반응여부(예를 들어, 반응 존재 '1', 무반응 '0')로 라벨링된 제1 학습데이터(410)를 입력받으면, 고객반응의 예측값(예를 들어, 0~1 사이의 값)(420)을 출력한다. 그리고, 제1 인공지능모델(400)은 고객반응의 예측값(420)과 제1 학습데이터(410)에 포함된 실제 반응여부의 값을 비교하여 내부 파라메터 등을 조정하는 학습과정을 수행한다. 제1 인공지능모델(400)은 종래의 다양한 머신러닝 알고리즘으로 구현될 수 있으며, 일 예로 XGboost(eXtreme Gradient Boost)로 구현될 수 있다. The first learning data 410 is labeled based on the response 330 included in the customer data 300 . When the first artificial intelligence model 400 receives the first learning data 410 labeled with response (eg, response presence '1', non-response '0'), the predicted value of customer response (eg, , a value between 0 and 1) 420 is output. Then, the first artificial intelligence model 400 performs a learning process of adjusting internal parameters by comparing the predicted value 420 of the customer response with the value of the actual response included in the first learning data 410 . The first artificial intelligence model 400 may be implemented with various conventional machine learning algorithms, for example, it may be implemented with XGboost (eXtreme Gradient Boost).

도 5는 본 발명의 실시 예에 따른 기여도를 산출하는 방법의 일 예를 도시한 도면이다.5 is a diagram illustrating an example of a method of calculating a contribution degree according to an embodiment of the present invention.

도 5를 참조하면, 장치(120)는 학습이 완료된 제1 인공지능모델(400)을 이용하여 기여도(520)를 산출한다. 기여도(520)는 프로모션에 대하여 각 고객이 반응하는 정도를 수치로 나타낸 값이다. Referring to FIG. 5 , the device 120 calculates a contribution 520 using the first artificial intelligence model 400 that has been trained. The contribution level 520 is a numerical value indicating the degree of each customer's response to the promotion.

제1 인공지능모델(400)은 도 4에서 살핀 바와 같이 고객데이터에 포함된 복수의 값들을 입력받으면 고객반응의 예측값을 출력한다. 이때 고객반응의 예측값(510,512)은 고객데이터(500,502)에 포함된 값의 종류에 따라 다를 수 있다. 따라서 장치(120)는 고객데이터의 변수의 값들 중 프로모션 변수의 값이 제1 인공지능모델(400)의 출력값에 미치는 영향을 파악하여 기여도(520)를 산출할 수 있다.The first artificial intelligence model 400 outputs a predicted value of a customer response when receiving a plurality of values included in customer data as salvaged in FIG. 4 . In this case, the predicted values 510 and 512 of the customer response may vary depending on the type of values included in the customer data 500 and 502 . Accordingly, the device 120 may calculate the contribution 520 by determining the effect of the promotion variable among the customer data variable values on the output value of the first artificial intelligence model 400 .

일 실시 예로, 장치(120)는 프로모션에 대한 값을 포함하는 고객데이터(500)를 제1 인공지능모델(400)에 입력하여 제1 고객반응의 예측값(510)을 파악한다. 또한 장치(400)는 프로모션에 대한 값을 제외한 고객데이터(502)를 제1 인공지능모델(400)에 입력하여 제2 고객반응 예측값(512)을 파악한다. 장치(120)는 제1 고객반응의 예측값(510)과 제2 고객반응의 예측값(512)의 차이를 기여도(520)로 출력한다.In one embodiment, the device 120 inputs the customer data 500 including the value for the promotion into the first artificial intelligence model 400 to determine the predicted value 510 of the first customer response. In addition, the device 400 inputs the customer data 502 excluding the value for the promotion into the first artificial intelligence model 400 to determine the second customer response predicted value 512 . The device 120 outputs the difference between the predicted value 510 of the first customer response and the predicted value 512 of the second customer response as the contribution 520 .

다른 실시 예로, 장치(120)는 고객데이터를 구성하는 값들의 다양한 조합에 대하여 프로모션에 대한 값이 고객반응의 예측값에 기여하는 정도를 파악할 수 있다. 예를 들어, 장치(120)는 고객데이터를 구성하는 복수의 값들의 다양한 조합을 구한 후 프로모션에 대한 값을 포함하는 조합을 제1 인공지능모델(400)에 입력하여 얻은 출력값과 프로모션에 대한 값을 포함하지 않는 조합을 제1 인공지능모델(400)에 입력하여 얻은 출력값 사이의 차이를 파악하는 과정을 각 조합에 대하여 수행한다. 그리고, 장치(120)는 각 조합에 대하여 구한 제1 인공지능모델(400)의 출력값의 차이를 평균하여 기여도(520)를 산출할 수 있다.In another embodiment, the device 120 may determine the degree to which the value for promotion contributes to the predicted value of the customer response with respect to various combinations of values constituting the customer data. For example, the device 120 obtains various combinations of a plurality of values constituting the customer data, and then inputs a combination including a value for promotion into the first artificial intelligence model 400, and the output value and the value for promotion A process of identifying a difference between output values obtained by inputting a combination that does not include a into the first artificial intelligence model 400 is performed for each combination. Then, the device 120 may calculate the contribution 520 by averaging the difference between the output values of the first artificial intelligence model 400 obtained for each combination.

예를 들어, 고객데이터가 x1,x2,x3의 세 개의 변수의 값으로 구성되고, x2가 프로모션 변수인 경우에, 고객데이터의 값들의 조합을 통해 기여도를 산출하는 예를 설명하면 다음과 같다. 여기서, 어느 한 고객의 x1,x2,x3의 각 변수의 값이 각각 A,B,C라고 가정한다.For example, when customer data consists of values of three variables, x1, x2, and x3, and x2 is a promotion variable, an example of calculating the contribution through a combination of values of customer data will be described as follows. Here, it is assumed that the values of each variable of x1, x2, and x3 of one customer are A, B, and C, respectively.

제1 인공지능모델에 입력할 수 있는 고객데이터의 조합은 (입력없음), (A) (B), (C), (A,B), (A,C), (B,C), (A,B,C) 등 8가지 경우가 존재한다. 장치(120)는 이들 각 조합을 제1 인공지능모델(400)에 입력하여 반응여부의 예측값을 구한다. 설명을 위하여 8가지 조합에 대한 제1 인공지능모델(400)의 반응여부의 예측값이 표 1과 같다고 하자.The combinations of customer data that can be input to the first AI model are (no input), (A) (B), (C), (A,B), (A,C), (B,C), ( There are 8 cases such as A, B, C). The device 120 inputs each of these combinations into the first artificial intelligence model 400 to obtain a predicted value of whether to respond. For explanation, it is assumed that the predicted values of the response of the first artificial intelligence model 400 to the eight combinations are shown in Table 1.

입력값input 출력값output 입력없음no input 00 AA 0.10.1 BB 0.30.3 CC 0.050.05 A,BA, B 0.50.5 A,CA, C 0.40.4 B,CB, C 0.350.35 A,B,CA, B, C 1.01.0

제1 인공지능모델에 입력값이 입력되는 순서를 고려하면, (A,B,C), (A,C,B), (B,A,C), (B,C,A), (C,A,B), (C,B,A) 등 6가지의 종류가 존재한다. 입력값의 입력순서를 고려하여, 장치(120)는 프로모션 변수에 대한 값인 B가 제1 인공지능모델(400)의 출력값에 미치는 영향을 파악할 수 있으며, 이를 정리하면 표 2와 같다. Considering the order in which the input values are input to the first AI model, (A,B,C), (A,C,B), (B,A,C), (B,C,A), (C ,A,B), (C,B,A), etc. There are 6 types. In consideration of the input order of the input values, the device 120 can determine the effect of the value B for the promotion variable on the output value of the first artificial intelligence model 400, which is summarized in Table 2.

입력값의 순서order of input values 프로모션에 대한 값의 기여도Contribution of value to promotion A,B,CA, B, C A,B 입력시 출력값 - A 입력시 출력값
= 0.5-0.1 = 0.4Output value when input A, B - Output value when input A
= 0.5-0.1 = 0.4 A,C,BA, C, B A,C,B 입력시 출력값 - A,C 입력시 출력값
= 1.0-0.4 = 0.6Output value when input A, C, B - Output value when input A, C
= 1.0-0.4 = 0.6 B,A,CB, A, C B 입력시 출력값 - 입력이 없는 경우 출력값
= 0.3-0 = 0.3Output value when input B - Output value when there is no input
= 0.3-0 = 0.3 B,C,AB, C, A B 입력시 출력값 - 입력이 없는 경우 출력값
= 0.3-0 = 0.3Output value when input B - Output value when there is no input
= 0.3-0 = 0.3 C,A,BC, A, B C,A,B 입력시 출력값 - C,A 입력시 출력값
= 1.0-0.4 = 0.6Output value when inputting C,A,B - Output value when inputting C,A
= 1.0-0.4 = 0.6 C,B,AC, B, A C,B 입력시 출력값 - C 입력시 출력값
= 0.35-0.05 = 0.3Output value when inputting C,B - Output value when inputting C
= 0.35-0.05 = 0.3 평균average (0.4 + 0.6 + 0.3 + 0.3 + 0.6 + 0.3)/6 = 0.4167(0.4 + 0.6 + 0.3 + 0.3 + 0.6 + 0.3)/6 = 0.4167

[표 2]를 참조하면, 프로모션이 고객 반응에 미치는 기여도는 0.4167이다. Referring to [Table 2], the contribution of promotion to customer response is 0.4167.

고객데이터를 구성하는 다양한 값들의 조합을 통해 기여도를 산출하는 방법을 SHAP(Shapley Additive exPlanations)를 이용하여 구현할 수 있으며 이를 수학식으로 정리하면 다음과 같다.A method of calculating the contribution through a combination of various values constituting customer data can be implemented using SHAP (Shapley Additive exPlanations).

Figure pat00001
Figure pat00001

여기서,

Figure pat00002
는 고객데이터의 i번째 변수의 값에 대한 기여도, n은 전체 변수의 개수, S는 전체 변수의 값에서 i 번째 변수의 값을 제외한 모든 부분집합, v(s)는 i번째 변수의 값을 제외한 나머지 부분집합을 제1 인공지능모델(400)에 입력하여 얻은 예측값, v(S∪{i})는 i번째 변수의 값을 포함한 부분집합을 제1 인공지능모델(400)에입력하여 얻은 예측값을 나타낸다.here,
Figure pat00002
is the contribution of the customer data to the value of the i-th variable, n is the total number of variables, S is all subsets of the total variable except the value of the i-th variable, and v(s) is the value of the i-th variable except for the value of the i-th variable. The predicted value obtained by inputting the remaining subset into the first artificial intelligence model 400, v(S∪{i}) is the predicted value obtained by inputting the subset including the value of the i-th variable into the first artificial intelligence model 400 indicates

세 개의 변수로 구성된 [표 2]의 기여도 산출을 수학식1을 이용하여 정리하면 다음과 같다.The contribution calculation of [Table 2] composed of three variables is summarized using Equation 1 as follows.

Figure pat00003
Figure pat00003

여기서, R은 각 변수의 값들의 순서 조합을 의미한다. 즉, R = {x1,x2,x3},{x1,x3,x2},{x2,x1,x3},{x2,x3,x1},{x3,x1,x2},{x3,x2,x1}이다. P2 R은 각 변수의 값에서 2번째 변수의 값 이전의 원소의 집합을 의미한다. 즉 P2 R={1},{3},{}{},{3,1},{3}을 의미한다.Here, R means an order combination of values of each variable. That is, R = {x1,x2,x3},{x1,x3,x2},{x2,x1,x3},{x2,x3,x1},{x3,x1,x2},{x3,x2,x1 }to be. P 2 R means the set of elements before the value of the second variable in the value of each variable. That is, it means P 2 R ={1},{3},{}{},{3,1},{3}.

[표 1] 및 [표 2]에서 설명한 기여도 계산 방법은 본 실시 예의 이해를 돕기 위하여 하나의 예일 뿐 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 다양한 조합이 아닌 (A,B,C)에 대한 제1 인공지능모델(400)의 출력값에서 (A,C)에 대한 제1 인공지능모델(400)의 출력값을 차감한 값만을 B의 기여도로 산출할 수 있는 등 다양하게 변형 가능하다.The contribution calculation method described in [Table 1] and [Table 2] is only an example to help the understanding of the present embodiment, and the present invention is not limited thereto. For example, only the value obtained by subtracting the output value of the first artificial intelligence model 400 for (A, C) from the output value of the first artificial intelligence model 400 for (A, B, C), not for various combinations It can be modified in various ways, such as it can be calculated with the contribution of B.

도 6은 본 발명의 실시 예에 따른 제2 인공지능모델의 일 예를 도시한 도면이다.6 is a diagram illustrating an example of a second artificial intelligence model according to an embodiment of the present invention.

도 6을 참조하면, 제2 인공지능모델(600)은 제2 학습데이터(610)를 이용하여 학습한다. 제2 학습데이터(610)는 고객데이터와 함께 도 5에서 살펴본 기여도(520)를 기초로 생성된다. 예를 들어, 장치(120)는 고객데이터를 기여도로 라벨링하여 제2 학습데이터(610)를 생성할 수 있다. 장치(120)는 고객데이터의 기여도(520)가 기 정의된 크기 이상이면 '1'로 라벨링하고, 기여도(520)가 기 정의된 크기 미만이면 '0'으로 라벨링할 수 있다. Referring to FIG. 6 , the second artificial intelligence model 600 learns using the second learning data 610 . The second learning data 610 is generated based on the contribution 520 shown in FIG. 5 together with the customer data. For example, the device 120 may generate the second learning data 610 by labeling the customer data as a contribution degree. If the contribution 520 of the customer data is greater than or equal to a predefined size, the device 120 may label it as '1', and if the contribution 520 is less than the predefined size, it may label it as '0'.

제2 인공지능모델(600)은 제2 학습데이터(610)를 입력받으면 기여도가 0~1 사이 중 어느 정도일지 예측한 값(즉, 반응점수)(620)를 출력한다. 제2 인공지능모델(600)은 출력한 반응점수(620)와 제2 학습데이터(610)에 존재하는 실제 기여도를 비교하여 파라메타 등을 조정하는 학습과정을 수행한다. 제2 인공지능모델(600)은 'Random Forest', 'XGboost', 'Light GBM', 'Linear Blending', ' Non-Linear Blending', 'Score Average', 'Rank Average' 등의 다양한 머신러닝 알고리즘으로로 구현될 수 있다. When the second artificial intelligence model 600 receives the second learning data 610, it outputs a value (ie, a reaction score) 620 that predicts the degree of contribution between 0 and 1. The second artificial intelligence model 600 performs a learning process of adjusting the parameters by comparing the output reaction score 620 with the actual contribution present in the second learning data 610 . The second artificial intelligence model 600 is various machine learning algorithms such as 'Random Forest', 'XGboost', 'Light GBM', 'Linear Blending', 'Non-Linear Blending', 'Score Average', 'Rank Average' can be implemented as

다른 실시 예로, 서로 다른 머신러닝 알고리즘으로 구현된 복수 개의 인공지능모델을 제2 학습데이터(610)를 이용하여 학습시킬 수 있다. 예를 들어, 제2-1 인공지능모델은 Random Forest로 구현되고, 제2-2 인공지능모델은 XGboost로 구현될 수 있다. 장치(120)는 복수의 인공지능모델을 학습시킨 후 기 정의된 평가방법으로 각 인공지능모델을 평가하여 이중 성능이 가장 우수한 모델을 선택할 수 있다. 인공지능모델을 평가하는 종래의 다양한 방법이 본 실시 예에 적용될 수 있다.In another embodiment, a plurality of artificial intelligence models implemented with different machine learning algorithms may be trained using the second learning data 610 . For example, the 2-1 AI model may be implemented as a random forest, and the 2-2 AI model may be implemented as XGboost. After learning a plurality of artificial intelligence models, the device 120 may evaluate each artificial intelligence model by a predefined evaluation method to select a model with the best performance among them. Various conventional methods for evaluating an artificial intelligence model can be applied to this embodiment.

도 7은 본 발명의 실시 예에 따른 제2 인공지능모델을 이용하여 프로모션 대상을 추출하는 방법의 일 예를 도시한 도면이다.7 is a diagram illustrating an example of a method of extracting a promotion target using a second artificial intelligence model according to an embodiment of the present invention.

도 7을 참조하면, 장치(120)는 프로모션 대상 선별을 위한 제2 인공지능모델(600)을 생성한다. 장치(120)는 사용자로부터 회원리스트(700)를 입력받으면 이를 제2 인공지능모델(600)에 입력하여 회원리스트(700)에 포함된 각 고객의 반응점수(710)를 파악한다. 반응점수(710)는 프로모션이 각 고객에게 미치는 영향을 파악한 값이다. 반응점수가 높을 수록 고객이 프로모션에 반응할 가능성이 높다는 것을 의미한다.Referring to FIG. 7 , the device 120 generates a second artificial intelligence model 600 for selecting a promotion target. When the device 120 receives the member list 700 from the user, it inputs it to the second artificial intelligence model 600 to determine the response score 710 of each customer included in the member list 700 . The reaction score 710 is a value obtained by determining the effect of the promotion on each customer. A higher response score means that the customer is more likely to respond to the promotion.

장치(120)는 반응점수(710)를 기초로 회원리스트(700)에서 상위 일정 그룹의 고객을 추출하여 프로모션 대상으로 선별(720)할 수 있다. 또는 장치(120)는 반응점수(710)를 포함한 다양한 값의 조건들을 조합하여 회원리스트(700)에서 일정 그룹의 고객을 선별할 수 있다. 예를 들어, 반응점수 0.7이상, A 지역 등의 조건을 사용자로부터 입력받으면, 장치(120)는 회원리스트(700)에서 A 지역에 거주하는 고객 중 반응점수가 0.7 이상인 고객의 리스트를 추출하여 프로모션 대상으로 제공할 수 있다.The device 120 may extract a customer of a higher predetermined group from the member list 700 based on the reaction score 710 and select 720 as a promotion target. Alternatively, the device 120 may select a group of customers from the member list 700 by combining conditions of various values including the reaction score 710 . For example, when a condition such as a reaction score of 0.7 or more and area A is input from the user, the device 120 extracts a list of customers with a reaction score of 0.7 or higher among customers residing in area A from the member list 700 and promotes it target can be provided.

도 8은 본 발명의 실시 예에 따른 프로모션대상선별장치의 일 예의 구성을 도시한 도면이다.8 is a diagram showing the configuration of an example of a promotion target selection device according to an embodiment of the present invention.

도 8을 참조하면, 장치(120)는 데이터베이스(800), 제1 인공지능모델(810), 제2 인공지능모델(820) 및 제어부(830)를 포함한다.Referring to FIG. 8 , the device 120 includes a database 800 , a first artificial intelligence model 810 , a second artificial intelligence model 820 , and a controller 830 .

데이터베이스(800)는 프로모션 대상 선별을 위한 모델 생성에 사용되는 고객데이터와, 현 프로모션을 위한 대상 선별을 위한 모집단인 회원리스트 등을 포함한다.The database 800 includes customer data used to generate a model for selection of promotion targets, and a member list that is a population for selection of targets for the current promotion.

제1 인공지능모델(810)은 고객데이터를 기초로 생성된 제1 학습데이터를 이용하여 학습된 모델이다. 제1 인공지능모델(810)은 고객데이터를 입력받으면 고객의 프로모션 반응여부의 예측값을 출력한다. 제1 인공지능모델(810)의 일 예가 도 4에 도시되어 있다.The first artificial intelligence model 810 is a model trained using first learning data generated based on customer data. When the first artificial intelligence model 810 receives customer data, it outputs a predicted value of whether the customer responds to the promotion. An example of the first artificial intelligence model 810 is shown in FIG. 4 .

제2 인공지능모델(820)은 고객데이터와 기여도를 기초로 생성된 제2 학습데이터를 이용하여 학습된 모델이다. 즉, 제2 학습데이터는 고객데이터를 기여도로 라벨링하여 생성될 수 있다. 기여도는 제1 인공지능모델을 이용하여 산출될 수 있으며, 그 예가 도 5에 도시되어 있다. 제2 인공지능모델(820)의 일 예는 도 6에 도시되어 있다.The second artificial intelligence model 820 is a model learned using the second learning data generated based on customer data and contribution. That is, the second learning data may be generated by labeling customer data as a contribution degree. The contribution may be calculated using the first artificial intelligence model, an example of which is shown in FIG. 5 . An example of the second artificial intelligence model 820 is shown in FIG. 6 .

제어부(830)는 사용자로부터 고객데이터를 입력받으면, 이를 기초로 제1 인공지능모델(810)을 학습시킨다. 또한, 제어부(830)는 학습완료된 제1 인공지능모델(810)을 이용하여 기여도를 산출한 후 기여도를 기초로 제2 학습데이터를 생성한다. 그리고, 제어부(830)는 제2 학습데이터를 이용하여 제2 인공지능모델(820)을 학습시킨다.When receiving customer data from the user, the control unit 830 learns the first artificial intelligence model 810 based on this. In addition, the control unit 830 calculates the contribution by using the learned first artificial intelligence model 810 and then generates second learning data based on the contribution. Then, the control unit 830 learns the second artificial intelligence model 820 by using the second learning data.

제2 인공지능모델(820)의 학습이 완료되면, 제어부(830)는 회원리스트를 제2 인공지능모델(820)에 입력하여 프로모션 대상 선별을 위한 반응점수를 파악하고, 그 반응점수를 기초로 회원리스트에서 프로모션 대상을 선별한다.When the learning of the second artificial intelligence model 820 is completed, the control unit 830 inputs the member list into the second artificial intelligence model 820 to determine a reaction score for selecting a promotion target, and based on the reaction score Select the promotion target from the member list.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, HDD(Hard disk drive), SSD(solid state drive), USB, 광데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The present invention can also be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, hard disk drive (HDD), solid state drive (SSD), USB, optical data storage, and the like. In addition, the computer-readable recording medium is distributed in a network-connected computer system so that the computer-readable code can be stored and executed in a distributed manner.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been looked at with respect to preferred embodiments thereof. Those of ordinary skill in the art to which the present invention pertains will understand that the present invention can be implemented in a modified form without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments are to be considered in an illustrative rather than a restrictive sense. The scope of the present invention is indicated in the claims rather than the foregoing description, and all differences within the scope equivalent thereto should be construed as being included in the present invention.

Claims (8)

프로모션에 대한 고객의 반응여부를 포함하는 고객데이터를 기초로 생성된 제1 학습데이터를 이용하여 반응여부의 예측값을 출력하는 제1 인공지능모델을 학습시키는 단계;
프로모션에 대한 값을 포함하는 고객데이터와 프로모션에 대한 값을 포함하지 않는 고객데이터를 각각 상기 제1 인공지능모델에 입력하여 얻은 값의 차이를 기초로 프로모션이 고객 반응에 미치는 영향을 나타내는 기여도를 산출하는 단계;
고객데이터를 상기 기여도로 라벨링한 제2 학습데이터를 이용하여 제2 인공지능모델을 학습시키는 단계;
회원리스트를 상기 제2 인공지능모델에 입력하여 프로모션이 고객에게 영향을 미치는 반응점수를 파악하는 단계; 및
상기 회원리스트에서 상기 반응점수를 기초로 프로모션 대상 고객을 추출하는 단계;를 포함하는 것을 특징으로 하는 프로모션 대상 선별 방법.training a first artificial intelligence model for outputting a predicted value of whether or not a response is made by using first learning data generated based on customer data including whether or not the customer responds to the promotion;
Based on the difference between the values obtained by inputting customer data including a value for promotion and customer data not including a value for promotion into the first artificial intelligence model, respectively, a contribution rate indicating the effect of promotion on customer response is calculated to do;
learning a second artificial intelligence model using second learning data in which customer data is labeled as the contribution degree;
inputting the member list into the second artificial intelligence model to determine the reaction score that the promotion affects the customer; and
Extracting a promotion target customer based on the reaction score from the member list; Promotion target selection method comprising the. 제 1항에 있어서, 상기 기여도를 산출하는 단계는,
고객데이터를 구성하는 복수의 값들의 다양한 조합을 구하는 단계;
프로모션에 대한 값을 포함하는 조합을 상기 제1 인공지능모델에 입력하여 얻은 출력값과 프로모션에 대한 값을 포함하지 않는 조합을 상기 제1 인공지능모델에 입력하여 얻은 출력값 사이의 차이를 파악하는 단계; 및
각 조합에 대하여 구한 상기 제1 인공지능모델의 출력값의 차이를 평균하여 상기 기여도를 산출하는 단계;를 포함하는 것을 특징으로 하는 프로모션 대상 선별 방법.The method of claim 1, wherein calculating the contribution comprises:
obtaining various combinations of a plurality of values constituting customer data;
identifying a difference between an output value obtained by inputting a combination including a value for promotion into the first AI model and an output value obtained by inputting a combination not including a value for promotion into the first AI model; and
and calculating the contribution by averaging the difference between the output values of the first artificial intelligence model obtained for each combination. 제 1항에 있어서, 상기 제2 인공지능모델을 학습시키는 단계는,
기여도가 기 정의된 크기 이상인 고객데이터를 '1'로 라벨링하고, 기여도가 기 정의된 크기 미만인 고객데이터를 '0'으로 라벨링한 제2 학습데이터를 생성하는 단계;를 포함하는 것을 특징으로 하는 프로모션 대상 선별 방법.According to claim 1, wherein the step of learning the second artificial intelligence model,
A promotion comprising a; labeling customer data having a contribution greater than or equal to a predefined size as '1' and generating second learning data in which customer data having a contribution less than a predefined size is labeled as '0'; Target screening methods. 제 1항에 있어서, 상기 제2 인공지능모델을 학습시키는 단계는,
서로 다른 머신러닝 알고리즘으로 구현된 복수의 제2 인공지능모델을 제2 학습데이터를 이용하여 학습시키는 단계; 및
상기 복수의 제2 인공지능모델 중 기 정의된 평가 방법에 따라 측정된 성능이 가장 우수한 모델을 선택하는 단계;를 포함하는 것을 특징으로 하는 프로모션 대상 선별 방법.According to claim 1, wherein the step of learning the second artificial intelligence model,
learning a plurality of second artificial intelligence models implemented with different machine learning algorithms using second learning data; and
Selecting a model having the best performance measured according to a predefined evaluation method from among the plurality of second artificial intelligence models; Promotion target selection method comprising: a. 프로모션에 대한 고객의 반응여부를 포함하는 고객데이터를 저장하는 데이터베이스;
고객데이터를 프로모션에 대한 고객의 반응여부로 라벨링한 제1 학습데이터로 학습된 제1 인공지능모델;
고객데이터를 기여도로 라벨링한 제2 학습데이터로 학습된 제2 인공지능모델; 및
회원리스트를 상기 제2 인공지능모델에 입력하여 얻은 반응점수를 기초로 상기 회원리스트에서 프로모션 대상 고객을 추출하는 제어부;를 포함하고,
상기 기여도는 프로모션에 대한 값을 포함하는 고객데이터와 프로모션에 대한 값을 제외한 고객데이터를 각각 상기 제1 인공지능모델에 입력하여 얻은 값의 차이를 기초로 산출되는 것을 특징으로 하는 프로모션 대상 선별 장치.a database for storing customer data including whether or not the customer responds to the promotion;
a first artificial intelligence model trained with first learning data that labels customer data as whether or not the customer responds to the promotion;
a second artificial intelligence model trained with second learning data in which customer data is labeled as a contribution degree; and
A control unit for extracting a promotion target customer from the member list based on the reaction score obtained by inputting the member list into the second artificial intelligence model;
The contribution level is a promotion target selection device, characterized in that calculated based on the difference between the values obtained by inputting customer data including the promotion value and customer data excluding the promotion value into the first artificial intelligence model, respectively. 제 5항에 있어서, 상기 제어부는,
고객데이터를 구성하는 복수의 값들의 다양한 조합에 대하여, 프로모션에 대한 값을 포함하는 조합을 상기 제1 인공지능모델에 입력하여 얻은 값과 상기 조합에서 프로모션에 대한 값을 제외하여 상기 제1 인공지능모델에 입력하여 얻은 값 사이의 차이를 누적 평균하여 파악하는 것을 특징으로 하는 프로모션 대상 선별 장치.According to claim 5, wherein the control unit,
For various combinations of a plurality of values constituting customer data, a value obtained by inputting a combination including a value for promotion into the first artificial intelligence model and a value for promotion from the combination are excluded from the first artificial intelligence Promotion target selection device, characterized in that the difference between the values obtained by input to the model is recognized by cumulative average. 제 5항에 있어서,
상기 제2 학습데이터는 기여도가 기 정의된 크기 이상인 고객데이터를 '1'로 라벨링하고, 기여도가 기 정의된 크기 미만인 고객데이터를 '0'으로 라벨링하여 생성되는 것을 특징으로 하는 프로모션 대상 선별 장치.6. The method of claim 5,
The second learning data is a promotion target selection device, characterized in that the contribution is generated by labeling customer data having a contribution greater than or equal to a predefined size as '1', and labeling customer data having a contribution less than a predefined size as '0'. 제 1항 내지 제 5항 중 어느 한 항에 기재된 방법을 수행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium in which a program for performing the method according to any one of claims 1 to 5 is recorded.
KR1020200091748A 2020-07-23 2020-07-23 Method for selecting promotion target and apparatus therefor KR102414960B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200091748A KR102414960B1 (en) 2020-07-23 2020-07-23 Method for selecting promotion target and apparatus therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200091748A KR102414960B1 (en) 2020-07-23 2020-07-23 Method for selecting promotion target and apparatus therefor

Publications (2)

Publication Number Publication Date
KR20220012673A true KR20220012673A (en) 2022-02-04
KR102414960B1 KR102414960B1 (en) 2022-06-30

Family

ID=80268513

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200091748A KR102414960B1 (en) 2020-07-23 2020-07-23 Method for selecting promotion target and apparatus therefor

Country Status (1)

Country Link
KR (1) KR102414960B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624176B1 (en) * 2023-03-30 2024-01-11 주식회사 어시스트핏 Server and method for providing sales management strategy for fitness center

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009539189A (en) * 2006-05-30 2009-11-12 ザラコム テクノロジーズ インコーポレーテッド Artificial intelligence analyzer and generator
KR20170079159A (en) * 2015-12-30 2017-07-10 주식회사 솔리드웨어 Target information prediction system using big data and machine learning and method thereof
KR102091529B1 (en) * 2019-09-03 2020-03-23 (주)빅인사이트 Method and apparatus for training AI model using user's time series behavior data
KR20200054353A (en) * 2018-11-02 2020-05-20 포에스비 주식회사 A Customized Campaign Management System And Method Using customer segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009539189A (en) * 2006-05-30 2009-11-12 ザラコム テクノロジーズ インコーポレーテッド Artificial intelligence analyzer and generator
KR20170079159A (en) * 2015-12-30 2017-07-10 주식회사 솔리드웨어 Target information prediction system using big data and machine learning and method thereof
KR20200054353A (en) * 2018-11-02 2020-05-20 포에스비 주식회사 A Customized Campaign Management System And Method Using customer segmentation
KR102091529B1 (en) * 2019-09-03 2020-03-23 (주)빅인사이트 Method and apparatus for training AI model using user's time series behavior data

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624176B1 (en) * 2023-03-30 2024-01-11 주식회사 어시스트핏 Server and method for providing sales management strategy for fitness center

Also Published As

Publication number Publication date
KR102414960B1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US10565602B1 (en) Method and system for obtaining leads based on data derived from a variety of sources
Jain et al. Transforming marketing with artificial intelligence
US11074537B2 (en) Candidate answer fraud for worker assessment
JP4218099B2 (en) Database, customer information search method, and customer information search device
US10380609B2 (en) Web crawling for use in providing leads generation and engagement recommendations
US7328218B2 (en) Constrained tree structure method and system
Ha Applying knowledge engineering techniques to customer analysis in the service industry
US11004005B1 (en) Electronic problem solving board
US20100228595A1 (en) System and method for scoring target lists for advertising
Duncan et al. Probabilistic modeling of a sales funnel to prioritize leads
Chitra et al. Customer retention in banking sector using predictive data mining technique
US20230351471A1 (en) Selling system using correlation analysis network and method therefor
US20200273064A1 (en) Generating Campaign Datasets for Use in Automated Assessment of Online Marketing Campaigns Run on Online Advertising Platforms
WO2018042550A1 (en) Annual salary proposal system, annual salary proposal method and program
Sakib ARTIFICIAL INTELLIGENCE IN MARKETING
CN112819024A (en) Model processing method, user data processing method and device and computer equipment
Michel et al. Effective customer selection for marketing campaigns based on net scores
Singh et al. Anticipating movie success through crowdsourced social media videos
KR102414960B1 (en) Method for selecting promotion target and apparatus therefor
Malik et al. When does beauty pay? A large-scale image-based appearance analysis on career transitions
US8000995B2 (en) System and method for assessing customer segmentation strategies
Kumar et al. It takes two to tango: Statistical modeling and machine learning
Garver A maximum difference scaling application for customer satisfaction researchers.
Chashmi et al. Predicting customer turnover using recursive neural networks
US11144940B2 (en) Methods and apparatus to generate highly-interactive predictive models based on ensemble models

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant