JP6804562B2 - Proposal system, proposal method, server and computer program - Google Patents

Proposal system, proposal method, server and computer program Download PDF

Info

Publication number
JP6804562B2
JP6804562B2 JP2018562480A JP2018562480A JP6804562B2 JP 6804562 B2 JP6804562 B2 JP 6804562B2 JP 2018562480 A JP2018562480 A JP 2018562480A JP 2018562480 A JP2018562480 A JP 2018562480A JP 6804562 B2 JP6804562 B2 JP 6804562B2
Authority
JP
Japan
Prior art keywords
data
contour
image data
terminal device
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018562480A
Other languages
Japanese (ja)
Other versions
JPWO2018135665A1 (en
Inventor
智 荒木
智 荒木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RASYSA.COM CORPORATION
Original Assignee
RASYSA.COM CORPORATION
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RASYSA.COM CORPORATION filed Critical RASYSA.COM CORPORATION
Publication of JPWO2018135665A1 publication Critical patent/JPWO2018135665A1/en
Application granted granted Critical
Publication of JP6804562B2 publication Critical patent/JP6804562B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing

Landscapes

  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Theoretical Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、ユーザの顔の輪郭線に応じて、適切なヘアスタイル、化粧、服装を提案することができる提案システム、提案方法、サーバ及びコンピュータプログラムに関する。 The present invention relates to a proposal system, a proposal method, a server, and a computer program capable of proposing appropriate hairstyles, makeup, and clothes according to the contour line of the user's face.

ユーザが自分に似合うヘアスタイルであるか否かを目視で確認するために、画像を用いたシミュレーションシステムが多数開発されている。例えば、特許文献１では、メイクアップやヘアスタイル等をシミュレーションし、シミュレーション後の結果を並べて表示することができる美容シミュレーションシステムが開示されている。 Many simulation systems using images have been developed in order to visually confirm whether or not the hairstyle suits the user. For example, Patent Document 1 discloses a beauty simulation system that can simulate make-up, hairstyle, and the like, and display the results after the simulation side by side.

従来のヘアスタイルのシミュレーションでは、システムが網羅的にヘアスタイルをシミュレーションしてユーザが好みのヘアスタイルを選択する。したがって、多くのヘアスタイルの中からユーザが好みのヘアスタイルを選択することができる。 In conventional hairstyle simulation, the system comprehensively simulates the hairstyle and the user selects the desired hairstyle. Therefore, the user can select a favorite hairstyle from many hairstyles.

特開２０１３−１７８７８９号公報Japanese Unexamined Patent Publication No. 2013-178789

しかし、ヘアスタイルを類別するだけでも、その数は膨大になる。また、ユーザによって似合うヘアスタイルもあれば、似合わないヘアスタイルもある。それらが網羅的に表示される場合、ユーザは、自分がどのヘアスタイルを選択すればいいのか迷いが生じることが多く、最初に目に留まったヘアスタイルを妥協的に選択することが多いという問題点があった。 However, just by categorizing hairstyles, the number is enormous. Also, some hairstyles look good on some users, while others don't. When they are displayed comprehensively, the problem is that users are often confused about which hairstyle to choose, and often compromise the hairstyle that first catches their eye. There was a point.

また、ヘアスタイルが似合うか否かは、人の顔の輪郭線の形状、例えば顔の形が丸型、卵型、ベースボール型等により一定の傾向が出やすい。また、目、鼻、口等のパーツの大きさや位置、顔全体とのバランスによっても似合うヘアスタイルに一定の傾向が見られる。したがって、これらの輪郭データを取得することにより、より似合う可能性の高いヘアスタイルを提案できるようにすることが望ましい。 In addition, whether or not the hairstyle suits is likely to have a certain tendency depending on the shape of the contour line of the human face, for example, the shape of the face is round, egg-shaped, baseball-shaped, or the like. In addition, there is a certain tendency for hairstyles that look good depending on the size and position of parts such as eyes, nose, and mouth, and the balance with the entire face. Therefore, it is desirable to be able to propose a hairstyle that is more likely to suit by acquiring these contour data.

また、化粧の施し方、服装についても、似合うか似合わないかは、人の顔の輪郭線の形状や、目、鼻、口等のパーツの大きさや位置、顔全体とのバランスによって大きく変わる。したがって、化粧の施し方や服装についても、より似合う可能性の高いものを提案することが好ましい。 Also, regarding how to apply makeup and how to dress, whether it suits or does not suit depends greatly on the shape of the outline of the human face, the size and position of parts such as eyes, nose, and mouth, and the balance with the entire face. Therefore, it is preferable to propose a method of applying makeup and clothes that are more likely to suit.

本発明は上記事情に鑑みてなされたものであり、ユーザの顔の輪郭線に応じて、適切なヘアスタイル、化粧、服装を提案することができる提案システム、提案方法、サーバ及びコンピュータプログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and provides a proposal system, a proposal method, a server, and a computer program capable of proposing appropriate hairstyles, makeup, and clothes according to the contour line of the user's face. The purpose is to do.

上記目的を達成するために第１発明に係る提案システムは、複数の端末装置と一又は複数のサーバとで構成されており、前記端末装置は、ユーザ自身の顔を撮像する撮像手段と、撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段とを有し、前記サーバは、記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段とを有し、前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムにおいて、前記端末装置は、表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける選択受付手段を備え、前記サーバは、前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段を備え、前記端末装置は、撮像された顔の画像データの入力を受け付ける画像データ受付手段を備え、前記サーバは、前記輪郭データ抽出手段により、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段を備え、前記サーバの前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、前記端末装置の前記合成画像表示手段は、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする。 In order to achieve the above object, the proposed system according to the first invention is composed of a plurality of terminal devices and one or a plurality of servers, and the terminal device includes an imaging means for imaging the user's own face and imaging. The server has a contour data extraction means that extracts contour data which is information about a feature point indicating a contour line of a face portion from the image data of the face and transfers the contour data to the server for storage. The contour line of the face part is imaged by matching the contour line with a matching means that matches the contour line of the face part extracted from the model image data indicating the hairstyle stored in advance. The terminal device has a composite image generation means for generating a first composite image by superimposing a face portion of face image data and a hair portion of model image data, and the terminal device is generated by the server. In a proposed system having a composite image display means for acquiring a first composite image and displaying it on a touch display, the terminal device is one of the plurality of displayed first composite images to be the first composite image. The server is provided with a selection receiving means for receiving the selection of the above, and when the server receives the selection of the first composite image in the terminal device, it becomes the basis of the first composite image that has received the selection. The terminal device includes model image data storage means for storing the model image data and contour data in association with each other, the terminal device includes image data receiving means for receiving input of image data of the captured face, and the server includes the above-mentioned server. The server is provided with a contour data search means for searching a plurality of previously stored contour data close to the contour data extracted from the face image data input received by the terminal device by the contour data extraction means. The composite image generation means is based on the model image data stored in association with each of the searched plurality of contour data, and the plurality of first composite image data synthesized with the face image data received by the terminal device. 2. The composite image of 2 is generated, and the composite image display means of the terminal device acquires the second composite image generated by the server and displays it on a touch display.

また、第２発明に係る提案システムは、第１発明において、前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことが好ましい。 Further, in the proposed system according to the second invention, in the first invention, it is preferable that the contour data includes not only the contour line of the face portion but also the contour lines of the eyes, nose, and mouth.

また、第３発明に係る提案システムは、第１又は第２発明において、前記モデル画像データ記憶手段は、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることが好ましい。 Further, in the proposed system according to the third invention, in the first or second invention, the model image data storage means includes the contour data and a plurality of makeup pattern data in which makeup applied to the face is patterned according to an image. Is stored in association with each other.

また、第４発明に係る提案システムは、第１乃至第３発明のいずれか１つにおいて、前記モデル画像データ記憶手段は、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることが好ましい。 Further, in the proposed system according to the fourth invention, in any one of the first to third inventions, the model image data storage means corresponds to the contour data and a plurality of fashion data including image data of clothes. It is preferable to attach and memorize it.

また、第５発明に係る提案システムは、第１乃至第４発明のいずれか１つにおいて、前記端末装置は、ユーザの属性を示す属性情報を取得する属性取得手段を備え、前記サーバの前記モデル画像データ記憶手段は、前記端末装置で取得された前記属性情報と対応付けて、前記端末装置で選択を受け付けた一の第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶することが好ましい。 Further, in the proposed system according to the fifth invention, in any one of the first to fourth inventions, the terminal device includes an attribute acquisition means for acquiring attribute information indicating a user's attribute, and the model of the server. The image data storage means stores the model image data and the contour data that are the basis of the first composite image that has been selected by the terminal device in association with the attribute information acquired by the terminal device. It is preferable to do so.

また、第６発明に係る提案システムは、第５発明において、前記サーバの前記輪郭データ検索手段は、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、前記属性情報に応じて検索することが好ましい。 Further, in the proposed system according to the sixth invention, in the fifth invention, the contour data search means of the server obtains contour data close to the contour data extracted from the image data of the face that has received input by the terminal device. , It is preferable to search according to the attribute information.

次に、上記目的を達成するために第７発明に係る提案方法は、複数の端末装置と一又は複数のサーバとで構成されており、前記端末装置は、ユーザ自身の顔を撮像する撮像手段と、撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段とを有し、前記サーバは、記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段とを有し、前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムで実行することが可能な提案方法において、前記端末装置は、表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける工程を含み、前記サーバは、前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶する工程を含み、前記端末装置は、撮像された顔の画像データの入力を受け付ける工程を含み、前記サーバは、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する工程を含み、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする。 Next, in order to achieve the above object, the proposed method according to the seventh invention is composed of a plurality of terminal devices and one or a plurality of servers, and the terminal device is an imaging means for imaging the user's own face. The server has contour data extraction means that extracts contour data, which is information about feature points indicating the contour line of the face portion, from the image data of the captured face, transfers the contour data to the server, and stores the contour data. By matching the contour line with the matching means that matches the contour line of the stored face part with the contour line of the face part extracted from the model image data indicating the hairstyle stored in advance, The terminal device includes a composite image generation means for generating a first composite image by superimposing a face portion of the captured face image data and a hair portion of the model image data, and the terminal device is the server. In a proposed method that can be executed in a proposed system having a composite image display means that acquires the generated first composite image and displays it on a touch display, the terminal device is the plurality of displayed first composite images . The server includes a step of accepting the selection of one of the first composite images from the composite image of the above, and the server accepts the selection at the time when the terminal device receives the selection of the first composite image . The terminal device includes a step of associating and storing model image data and contour data which are the basis of the first composite image, and the terminal device includes a step of accepting input of image data of an imaged face, and the server. Includes a step of searching for a plurality of previously stored contour data close to the contour data extracted from the face image data input received by the terminal device, and for each of the searched plurality of contour data. Based on the model image data stored in association with each other, a plurality of second composite images synthesized with the face image data received by the terminal device are generated, and the second composite image generated by the server is generated. It is characterized in that a composite image of is acquired and displayed on a touch display.

また、第８発明に係る提案方法は、第７発明において、前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことが好ましい。 Further, in the proposed method according to the eighth invention, in the seventh invention, it is preferable that the contour data includes not only the contour line of the face portion but also the contour lines of the eyes, nose and mouth.

また、第９発明に係る提案方法は、第７又は第８発明において、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることが好ましい。 Further, in the proposed method according to the ninth invention, in the seventh or eighth invention, the contour data and a plurality of makeup pattern data in which the makeup applied to the face is patterned according to an image are stored in association with each other. Is preferable.

また、第１０発明に係る提案方法は、第７乃至第９発明のいずれか１つにおいて、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることが好ましい。 Further, in the proposed method according to the tenth invention, in any one of the seventh to ninth inventions, the contour data and a plurality of fashion data including the image data of clothes are stored in association with each other. preferable.

また、第１１発明に係る提案方法は、第７乃至第１０発明のいずれか１つにおいて、前記端末装置は、ユーザの属性を示す属性情報を取得する工程を含み、前記サーバは、前記端末装置で取得された前記属性情報と対応付けて、前記端末装置で選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶することが好ましい。 Further, in the proposed method according to the eleventh invention, in any one of the seventh to tenth inventions, the terminal device includes a step of acquiring attribute information indicating a user's attribute, and the server is the terminal device. It is preferable to store the model image data and the contour data that are the basis of the first composite image that has been selected by the terminal device in association with the attribute information acquired in.

また、第１２発明に係る提案方法は、第１１発明において、前記サーバは、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、前記属性情報に応じて検索することが好ましい。 Further, in the proposed method according to the twelfth invention, in the eleventh invention, the server responds to the attribute information by providing contour data close to the contour data extracted from the image data of the face that has received the input by the terminal device. It is preferable to search by.

次に、上記目的を達成するために第１３発明に係るサーバは、外部の端末装置とデータ通信することが可能に接続されており、前記端末装置から、撮像された顔の画像データから抽出された、顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを受信して記憶する輪郭データ記憶手段と、記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と、生成した第１の合成画像を前記端末装置へ送信する合成画像送信手段を有するサーバにおいて、前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段と、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段とを備え、前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、前記合成画像送信手段は、生成された前記第２の合成画像を前記端末装置へ送信することを特徴とする。 Next, in order to achieve the above object, the server according to the thirteenth invention is connected so as to be capable of data communication with an external terminal device, and is extracted from the image data of the face captured from the terminal device. In addition, a contour data storage means that receives and stores contour data, which is information about feature points indicating the contour line of the face part, and a hairstyle in which the stored contour line of the face part is stored in advance. By matching the contour line with the matching means for matching with the contour line of the face part extracted from the model image data showing, the face part of the imaged face image data and the hair part of the model image data In a server having a composite image generation means for generating a first composite image by superimposing the above and a composite image transmission means for transmitting the generated first composite image to the terminal device, the first one in the terminal device . When the selection of the composite image is accepted, the model image data storage means for storing the model image data and the contour data, which are the basis of the first composite image for which the selection is accepted, in association with each other, and the terminal. The composite image generation means is searched for, comprising a contour data search means for searching a plurality of previously stored contour data close to the contour data extracted from the face image data input received by the apparatus. Based on the model image data stored in association with each of the plurality of contour data, a plurality of second composite images combined with the face image data received by the terminal device are generated, and the composite is performed. The image transmitting means is characterized in that the generated second composite image is transmitted to the terminal device.

また、第１４発明に係るサーバは、第１３発明において、前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことが好ましい。 Further, in the thirteenth invention, the server according to the fourteenth invention preferably includes not only the contour lines of the face portion but also the contour lines of the eyes, nose, and mouth.

また、第１５発明に係るサーバは、第１３又は第１４発明において、前記モデル画像データ記憶手段は、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることが好ましい。 Further, in the thirteenth or fourteenth invention, the server according to the fifteenth invention uses the model image data storage means to store the contour data and a plurality of makeup pattern data in which the makeup applied to the face is patterned according to an image. It is preferable to store them in association with each other.

また、第１６発明に係るサーバは、第１３乃至第１５発明のいずれか１つにおいて、前記モデル画像データ記憶手段は、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることが好ましい。 Further, in any one of the thirteenth to fifteenth inventions, the server according to the sixteenth invention associates the contour data with a plurality of fashion data including the image data of clothes in the model image data storage means. It is preferable to remember.

また、第１７発明に係るサーバは、第１３乃至第１６発明のいずれか１つにおいて、前記モデル画像データ記憶手段は、前記端末装置で取得されたユーザの属性を示す属性情報と対応付けて、前記端末装置で選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶することが好ましい。 Further, in any one of the thirteenth to sixteenth inventions, the server according to the seventeenth invention has the model image data storage means associated with the attribute information indicating the user's attribute acquired by the terminal device. It is preferable to store the model image data and the contour data that are the basis of the first composite image that has been selected by the terminal device.

また、第１８発明に係るサーバは、第１７発明において、前記輪郭データ検索手段は、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、前記属性情報に応じて検索することが好ましい。 Further, in the 17th invention, the server according to the 18th invention uses the contour data search means to obtain contour data close to the contour data extracted from the image data of the face received by the terminal device, and obtains the attribute information. It is preferable to search according to.

次に、上記目的を達成するために第１９発明に係るコンピュータプログラムは、外部の端末装置とデータ通信することが可能に接続されており、前記端末装置から、撮像された顔の画像データから抽出された、顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを受信して記憶する輪郭データ記憶手段と、記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と、生成した第１の合成画像を前記端末装置へ送信する合成画像送信手段を有するサーバで実行することが可能なコンピュータプログラムにおいて、前記サーバを、前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段、及び前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段として機能させ、前記合成画像生成手段を、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成する手段として機能させ、前記合成画像送信手段を、生成された前記第２の合成画像を取得して前記端末装置へ送信する手段として機能させることを特徴とする。 Next, in order to achieve the above object, the computer program according to the nineteenth invention is connected so as to be capable of data communication with an external terminal device, and is extracted from the image data of the face captured from the terminal device. A contour data storage means that receives and stores contour data, which is information about a feature point indicating the contour line of the face part, and a hair that stores the stored contour line of the face part in advance. By matching the contour line with the matching means that matches the contour line of the face part extracted from the model image data showing the style, the face part of the imaged face image data and the hair part of the model image data In a computer program that can be executed by a server having a composite image generation means for generating a first composite image by superimposing the above and a composite image transmission means for transmitting the generated first composite image to the terminal device. When the server accepts the selection of the first composite image by the terminal device, the model image data and the contour data on which the selection is accepted as the basis of the first composite image are input. A contour data search that searches for a plurality of previously stored contour data that are close to the contour data extracted from the model image data storage means that is stored in association with each other and the face image data that has received input from the terminal device. It functions as a means, and the composite image generation means is synthesized with the image data of the face that has received the input by the terminal device based on the model image data stored in association with each of the plurality of searched contour data. It is characterized in that it functions as a means for generating a plurality of second composite images, and the composite image transmission means functions as a means for acquiring the generated second composite image and transmitting it to the terminal device. To do.

また、第２０発明に係るコンピュータプログラムは、第１９発明において、前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことが好ましい。 Further, in the computer program according to the twentieth invention, in the nineteenth invention, it is preferable that the contour data includes not only the contour line of the face portion but also the contour lines of the eyes, nose, and mouth.

次に、上記目的を達成するために第２１発明に係る提案システムは、複数の端末装置と一又は複数のサーバとで構成されており、前記端末装置は、ユーザ自身の顔を撮像する撮像手段と、撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段とを有し、前記サーバは、記憶されている顔の部分の輪郭線を、事前に記憶してある顔に施される化粧をイメージ別にパターン化した複数の化粧パターンを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの顔の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段とを有し、前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムにおいて、前記端末装置は、表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける選択受付手段を備え、前記サーバは、前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段を備え、前記端末装置は、撮像された顔の画像データの入力を受け付ける画像データ受付手段を備え、前記サーバは、前記輪郭データ抽出手段により、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段を備え、前記サーバの前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、前記端末装置の前記合成画像表示手段は、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする。 Next, in order to achieve the above object, the proposed system according to the 21st invention is composed of a plurality of terminal devices and one or a plurality of servers, and the terminal device is an imaging means for imaging a user's own face. The server has contour data extraction means that extracts contour data, which is information about feature points indicating the contour line of the face portion, from the image data of the captured face, transfers the contour data to the server, and stores the contour data. , The contour line of the memorized face part is the contour line of the face part extracted from the model image data showing a plurality of makeup patterns in which the makeup applied to the face memorized in advance is patterned for each image. A composite image generation that generates a first composite image by superimposing the face part of the imaged face image data and the face part of the model image data by matching the contour lines with the matching means for matching processing. The terminal device is displayed in a proposed system having means and a composite image display means in which the terminal device acquires a first composite image generated by the server and displays it on a touch display. A selection receiving means for receiving selection of one of the first composite images from a plurality of the first composite images is provided, and the server receives the selection of one of the first composite images at the terminal device. The terminal device includes a model image data storage means for storing the model image data on which the selection is accepted and the contour data which is the basis of the first composite image in association with each other, and the terminal device is an image of the captured face. The server is provided with an image data receiving means for receiving data input, and the server stores in advance that the contour data is close to the contour data extracted from the face image data for which the input is received by the terminal device. The terminal includes contour data search means for searching a plurality of contour data, and the composite image generation means of the server is based on model image data stored in association with each of the searched plurality of contour data. A plurality of second composite images synthesized with the face image data received by the device are generated, and the composite image display means of the terminal device acquires the second composite image generated by the server. It is characterized in that it is displayed on a touch display.

また、第２２発明に係る提案システムは、第２１発明において、前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことが好ましい。 Further, in the proposed system according to the 22nd invention, in the 21st invention, it is preferable that the contour data includes not only the contour line of the face portion but also the contour lines of the eyes, nose and mouth.

また、第２３発明に係る提案システムは、第２１又は第２２発明において、前記モデル画像データ記憶手段は、前記輪郭データと、ヘアスタイルを示すモデル画像データとを対応付けて記憶していることが好ましい。 Further, in the proposed system according to the 23rd invention, in the 21st or 22nd invention, the model image data storage means stores the contour data and the model image data indicating the hairstyle in association with each other. preferable.

また、第２４発明に係る提案システムは、第２１乃至第２３発明のいずれか１つにおいて、前記モデル画像データ記憶手段は、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることが好ましい。 Further, in the proposed system according to the 24th invention, in any one of the 21st to 23rd inventions, the model image data storage means corresponds to the contour data and a plurality of fashion data including the image data of clothes. It is preferable to attach and memorize it.

次に、上記目的を達成するために第２５発明に係る提案システムは、複数の端末装置と一又は複数のサーバとで構成されており、前記端末装置は、ユーザ自身の顔を撮像する撮像手段と、撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段とを有し、前記サーバは、記憶されている顔の部分の輪郭線を、事前に記憶してある服装を示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの服装の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段とを有し、前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムにおいて、前記端末装置は、表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける選択受付手段を備え、前記サーバは、前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段を備え、前記端末装置は、撮像された顔の画像データの入力を受け付ける画像データ受付手段を備え、前記サーバは、前記輪郭データ抽出手段により、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段を備え、前記サーバの前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、前記端末装置の前記合成画像表示手段は、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする。 Next, in order to achieve the above object, the proposed system according to the 25th invention is composed of a plurality of terminal devices and one or a plurality of servers, and the terminal device is an imaging means for imaging a user's own face. The server has contour data extraction means that extracts contour data, which is information about feature points indicating the contour line of the face portion, from the image data of the captured face, transfers the contour data to the server, and stores the contour data. , By matching the contour line with the matching means that matches the contour line of the stored face part with the contour line of the face part extracted from the model image data indicating the clothes stored in advance, It has a composite image generation means for generating a first composite image by superimposing a face portion of the face image data and a clothing portion of the model image data, and the terminal device is generated by the server. In the proposed system including the composite image display means for acquiring the first composite image and displaying it on the touch display, the terminal device is one of the first composite images displayed . The server includes a selection receiving means for accepting the selection of the composite image, and the server receives the selection of the first composite image when the terminal device receives the selection of the first composite image. The terminal device includes a model image data storage means for storing the model image data and the contour data in association with each other, the terminal device includes an image data receiving means for receiving input of image data of the captured face, and the server A contour data search means for searching a plurality of previously stored contour data close to the contour data extracted from the face image data input received by the terminal device by the contour data extraction means is provided. The composite image generation means of the server is a plurality of composite image data synthesized with the face image data received by the terminal device based on the model image data stored in association with each of the plurality of searched contour data. The second composite image is generated, and the composite image display means of the terminal device acquires the second composite image generated by the server and displays it on a touch display.

また、第２６発明に係る提案システムは、第２５発明において、前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことが好ましい。 Further, in the proposed system according to the 26th invention, in the 25th invention, it is preferable that the contour data includes not only the contour line of the face portion but also the contour lines of the eyes, nose and mouth.

また、第２７発明に係る提案システムは、第２５又は第２６発明において、前記モデル画像データ記憶手段は、前記輪郭データと、ヘアスタイルを示すモデル画像データとを対応付けて記憶していることが好ましい。 Further, in the proposed system according to the 27th invention, in the 25th or 26th invention, the model image data storage means stores the contour data and the model image data indicating the hairstyle in association with each other. preferable.

また、第２８発明に係る提案システムは、第２５乃至第２７発明のいずれか１つにおいて、前記モデル画像データ記憶手段は、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることが好ましい。 Further, in the proposed system according to the 28th invention, in any one of the 25th to 27th inventions, the model image data storage means has a plurality of patterns of the contour data and the makeup applied to the face for each image. It is preferable to store the makeup pattern data in association with the above.

第１発明、第７発明、第１３発明及び第１９発明では、端末装置は、表示されている複数の第１の合成画像から一の第１の合成画像の選択を受け付ける。サーバは、端末装置で一の第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶する。端末装置は、撮像された顔の画像データの入力を受け付け、サーバは、端末装置で入力を受け付けた顔の画像データから抽出された複数の輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する。検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、端末装置のタッチディスプレイに表示する。これにより、ユーザが、好みであるヘアスタイルに対応するモデル画像データ、似合うと判断したヘアスタイルに対応するモデル画像データを、ユーザの輪郭データと対応付けて記憶することができるので、類似している輪郭データを有する他のユーザに対して、よく好まれるヘアスタイル、似合うと判断されるヘアスタイル等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなくヘアスタイルを選択することが可能となる。 In the first, seventh, thirteenth, and nineteenth inventions, the terminal device accepts the selection of one first composite image from the plurality of displayed first composite images. When the server accepts the selection of the first composite image in the terminal device, the server stores the model image data and the contour data, which are the basis of the first composite image for which the selection is accepted, in association with each other. .. The terminal device accepts the input of the image data of the captured face, and the server is close to the plurality of contour data extracted from the image data of the face received by the terminal device, and a plurality of stored in advance. Search for contour data. Based on the model image data stored in association with each of the plurality of searched contour data, a plurality of second composite images synthesized with the face image data received by the terminal device are generated, and the terminal is used. Display on the touch display of the device. As a result, the model image data corresponding to the hairstyle that the user likes and the model image data corresponding to the hairstyle determined to be suitable can be stored in association with the contour data of the user. It is possible to preferentially display a composite image generated using model image data corresponding to a hairstyle that is often preferred, a hairstyle that is judged to be suitable, etc. to other users who have contour data. You will be able to choose a hairstyle without hesitation and without regrets.

第２発明、第８発明、第１４発明及び第２０発明では、輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むので、顔の外形だけではなく、目、鼻、口の配置が類似している他のユーザに好まれる、あるいは似合うと判断されるヘアスタイル等に相当するモデル画像データを用いて生成された合成画像を優先して表示することが可能となる。 In the second invention, the eighth invention, the fourteenth invention and the twentieth invention, the contour data includes not only the contour line of the face part but also the contour lines of the eyes, nose and mouth, so that not only the outer shape of the face but also the outer shape of the face. It is possible to preferentially display a composite image generated using model image data corresponding to a hairstyle or the like that is preferred or judged to be suitable by other users with similar eye, nose, and mouth arrangements. It will be possible.

第３発明、第９発明及び第１５発明では、輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶しているので、類似している輪郭データを有する他のユーザに対して、よく好まれる化粧パターン、似合うと判断される化粧パターン等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなく化粧パターンを選択することが可能となる。 In the third invention, the ninth invention and the fifteenth invention, since the contour data and a plurality of makeup pattern data in which the makeup applied to the face is patterned according to the image are stored in association with each other, similar contours are stored. It is possible to preferentially display a composite image generated using model image data corresponding to a makeup pattern that is often preferred, a makeup pattern that is judged to suit, etc. to other users who have the data, and it is confusing. It is possible to select a makeup pattern without and without regrets.

第４発明、第１０発明及び第１６発明では、輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶しているので、類似している輪郭データを有する他のユーザに対して、よく好まれる服装、似合うと判断される服装等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなく服装を選択することが可能となる。 In the fourth, tenth, and sixteenth inventions, the contour data and a plurality of fashion data including the image data of clothes are stored in association with each other, so that other users having similar contour data can use the data. On the other hand, the composite image generated by using the model image data corresponding to the clothes that are often liked and the clothes that are judged to suit can be displayed with priority, and the clothes can be displayed without hesitation and without regret. It becomes possible to select.

第５発明、第１１発明及び第１７発明では、端末装置は、ユーザの属性を示す属性情報を取得し、サーバは、端末装置で取得された属性情報と対応付けて、端末装置で選択を受け付けた一の第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶するので、属性情報に応じて合成画像として表示されるヘアスタイルを更新することが可能となる。ここで、属性情報とは、性別、年齢、肌の色、登録時期、国籍や出身地等に関する情報である。 In the fifth, eleventh and seventeenth inventions, the terminal device acquires the attribute information indicating the user's attribute, and the server accepts the selection in the terminal device in association with the attribute information acquired by the terminal device. Since the model image data and the contour data that are the basis of the first composite image are stored, it is possible to update the hairstyle displayed as the composite image according to the attribute information. Here, the attribute information is information on gender, age, skin color, registration time, nationality, birthplace, and the like.

第６発明、第１２発明及び第１８発明では、サーバは、端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、属性情報に応じて検索するので、属性情報に合致するヘアスタイルに相当するモデル画像データを用いて生成された合成画像を優先して表示することが可能となる。 In the sixth, twelfth and eighteenth inventions, the server searches for contour data close to the contour data extracted from the image data of the face that has received input by the terminal device according to the attribute information. It is possible to preferentially display a composite image generated by using model image data corresponding to a hairstyle that matches the information.

第２１発明では、サーバは、記憶されている顔の部分の輪郭線を示す輪郭データを、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンを示すモデル画像データと対応付けて記憶してある。端末装置は、表示されている複数の第１の合成画像から一の第１の合成画像の選択を受け付け、サーバは、端末装置で一の第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶する。端末装置は、撮像された顔の画像データの入力を受け付け、サーバは、端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する。サーバは、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、端末装置は、サーバで生成された第２の合成画像を取得してタッチディスプレイに表示する。これにより、ユーザが、好みである化粧パターンに対応するモデル画像データ、似合うと判断した化粧パターンに対応するモデル画像データを、ユーザの輪郭データと対応付けて記憶することができるので、類似している輪郭データを有する他のユーザに対して、よく好まれる化粧パターン、似合うと判断される化粧パターン等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなく化粧パターンを選択することが可能となる。 In the 21st invention, the server stores the contour data indicating the contour line of the stored face portion in association with the model image data showing a plurality of makeup patterns in which the makeup applied to the face is patterned for each image. It is done. The terminal device accepts the selection of the first composite image from the plurality of displayed first composite images, and the server selects the selection when the terminal device accepts the selection of the first composite image. The model image data that is the basis of the first composite image that received the above and the contour data are stored in association with each other. The terminal device accepts the input of the image data of the captured face, and the server is close to the contour data extracted from the image data of the face received by the terminal device, and a plurality of previously stored contour data. To search for. The server generates a plurality of second composite images synthesized with the image data of the face received by the terminal device based on the model image data stored in association with each of the plurality of searched contour data. Then, the terminal device acquires the second composite image generated by the server and displays it on the touch display. As a result, the model image data corresponding to the favorite makeup pattern and the model image data corresponding to the makeup pattern determined to suit the user can be stored in association with the contour data of the user. It is possible to preferentially display a composite image generated by using model image data corresponding to a makeup pattern that is often preferred, a makeup pattern that is judged to be suitable, etc. to other users who have contour data. It is possible to select a makeup pattern without hesitation and without regrets.

第２２発明では、輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むので、顔の外形だけではなく、目、鼻、口の配置が類似している他のユーザに好まれる、あるいは似合うと判断される化粧パターン等に相当するモデル画像データを用いて生成された合成画像を優先して表示することが可能となる。 In the 22nd invention, since the contour data includes not only the contour line of the face part but also the contour lines of the eyes, nose and mouth, not only the outer shape of the face but also the arrangement of the eyes, nose and mouth are similar. It is possible to preferentially display a composite image generated by using model image data corresponding to a cosmetic pattern or the like that is preferred or suitable for other users.

第２３発明では、輪郭データと、ヘアスタイルを示すモデル画像データとを対応付けて記憶しているので、類似している輪郭データを有する他のユーザに対して、よく好まれるヘアスタイル、似合うと判断されるヘアスタイル等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなくヘアスタイルを選択することが可能となる。 In the 23rd invention, since the contour data and the model image data indicating the hairstyle are stored in association with each other, the hairstyle that is often preferred by other users having similar contour data is suitable. The composite image generated using the model image data corresponding to the determined hairstyle or the like can be preferentially displayed, and the hairstyle can be selected without hesitation and without regret.

第２４発明では、輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶しているので、類似している輪郭データを有する他のユーザに対して、よく好まれる服装、似合うと判断される服装等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなく服装を選択することが可能となる。 In the 24th invention, since the contour data and a plurality of fashion data including the image data of the clothes are stored in association with each other, the clothes that are often preferred by other users having similar contour data. It is possible to preferentially display a composite image generated by using model image data corresponding to clothes and the like that are judged to suit, and it is possible to select clothes without hesitation and without regret.

第２５発明では、サーバは、記憶されている顔の部分の輪郭線を示す輪郭データを、服装を示すモデル画像データと対応付けて記憶してある。端末装置は、表示されている複数の第１の合成画像から一の第１の合成画像の選択を受け付け、サーバは、端末装置で一の第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶する。端末装置は、撮像された顔の画像データの入力を受け付け、サーバは、端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する。サーバは、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、端末装置は、サーバで生成された第２の合成画像を取得してタッチディスプレイに表示する。これにより、ユーザが、好みであるファッションデータに対応するモデル画像データ、似合うと判断した服装に対応するモデル画像データを、ユーザの輪郭データと対応付けて記憶することができるので、類似している輪郭データを有する他のユーザに対して、よく好まれる服装、似合うと判断される服装等に対応するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなく服装を選択することが可能となる。 In the 25th invention, the server stores the stored contour data indicating the contour line of the face portion in association with the model image data indicating the clothes. The terminal device accepts the selection of the first composite image from the plurality of displayed first composite images, and the server selects the selection when the terminal device accepts the selection of the first composite image. The model image data that is the basis of the first composite image that received the above and the contour data are stored in association with each other. The terminal device accepts the input of the image data of the captured face, and the server is close to the contour data extracted from the image data of the face received by the terminal device, and a plurality of previously stored contour data. To search for. The server generates a plurality of second composite images synthesized with the image data of the face received by the terminal device based on the model image data stored in association with each of the plurality of searched contour data. Then, the terminal device acquires the second composite image generated by the server and displays it on the touch display. As a result, the model image data corresponding to the fashion data that the user likes and the model image data corresponding to the clothes judged to be suitable can be stored in association with the contour data of the user, and thus are similar. It is possible to preferentially display a composite image generated using model image data corresponding to clothes that are often preferred, clothes that are judged to suit, etc. to other users who have contour data, without hesitation. Also, you will be able to choose your outfit without regrets.

第２６発明では、輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むので、顔の外形だけではなく、目、鼻、口の配置が類似している他のユーザに好まれる、あるいは似合うと判断される服装等に相当するモデル画像データを用いて生成された合成画像を優先して表示することが可能となる。 In the 26th invention, since the contour data includes not only the contour line of the face part but also the contour line of the eyes, nose, and mouth, not only the outer shape of the face but also the arrangement of the eyes, nose, and mouth is similar. It is possible to preferentially display a composite image generated by using model image data corresponding to clothes or the like that are preferred or suitable for other users.

また、第２７発明では、輪郭データと、ヘアスタイルを示すモデル画像データとを対応付けて記憶しているので、類似している輪郭データを有する他のユーザに対して、よく好まれるヘアスタイル、似合うと判断されるヘアスタイル等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなくヘアスタイルを選択することが可能となる。 Further, in the 27th invention, since the contour data and the model image data indicating the hairstyle are stored in association with each other, the hairstyle that is often preferred by other users having similar contour data. It is possible to preferentially display the composite image generated using the model image data corresponding to the hairstyle that is judged to suit, and it is possible to select the hairstyle without hesitation and without regret. Become.

また、第２８発明では、輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶しているので、類似している輪郭データを有する他のユーザに対して、よく好まれる化粧パターン、似合うと判断される化粧パターン等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなく化粧パターンを選択することが可能となる。 Further, in the 28th invention, since the contour data and the plurality of makeup pattern data in which the makeup applied to the face is patterned for each image are stored in association with each other, another user having similar contour data is stored. On the other hand, it is possible to preferentially display a composite image generated using model image data corresponding to a makeup pattern that is often preferred, a makeup pattern that is judged to suit, etc., without hesitation and regret. It is possible to select a makeup pattern without any.

本発明によれば、ユーザが、好みであるヘアスタイル、化粧パターン、服装に対応するモデル画像データ、似合うと判断したモデル画像データを、ユーザの輪郭データと対応付けて記憶することができるので、類似している輪郭データを有する他のユーザに対して、よく好まれるヘアスタイル、化粧パターン、服装、似合うと判断されるヘアスタイル、化粧パターン、服装等に相当するモデル画像データを用いて生成された合成画像を優先して表示することができ、迷うことなく、また後悔することなくヘアスタイル、化粧パターン、服装を選択することが可能となる。 According to the present invention, the user can store the favorite hairstyle, makeup pattern, model image data corresponding to the clothes, and model image data determined to be suitable in association with the contour data of the user. It is generated using model image data corresponding to hairstyles, makeup patterns, clothes, hairstyles judged to suit, makeup patterns, clothes, etc., which are often preferred by other users who have similar contour data. The composite image can be displayed with priority, and the hairstyle, makeup pattern, and clothes can be selected without hesitation and without regret.

本発明の実施の形態に係る提案システムの構成を示す模式図である。It is a schematic diagram which shows the structure of the proposal system which concerns on embodiment of this invention. 本発明の実施の形態に係る提案システムの端末装置の構成を示す模式ブロック図である。It is a schematic block diagram which shows the structure of the terminal apparatus of the proposed system which concerns on embodiment of this invention. 本発明の実施の形態に係る提案システムのサーバを、ＣＰＵを用いて構成した例を示すブロック図である。It is a block diagram which shows the example which configured the server of the proposed system which concerns on embodiment of this invention by using a CPU. 本発明の実施の形態に係る輪郭データの例示図である。It is an example figure of the contour data which concerns on embodiment of this invention. 本発明の実施の形態に係るヘアスタイル提案システムの端末装置及びサーバのモデル画像データを記憶する工程における機能ブロック図である。It is a functional block diagram in the process of storing the model image data of the terminal apparatus and the server of the hairstyle proposal system which concerns on embodiment of this invention. 本発明の実施の形態に係るヘアスタイル提案システムの端末装置及びサーバの合成画像を表示する工程における機能ブロック図である。It is a functional block diagram in the process of displaying the composite image of the terminal apparatus and the server of the hairstyle proposal system which concerns on embodiment of this invention. 本発明の実施の形態に係るヘアスタイル提案システムの端末装置の合成画像表示画面の例示図である。It is an example figure of the composite image display screen of the terminal apparatus of the hairstyle proposal system which concerns on embodiment of this invention. 本発明の実施の形態に係るヘアスタイル提案システムの提案するヘアスタイルの決定方法を説明する図表である。It is a chart explaining the method of determining the hairstyle proposed by the hairstyle proposal system which concerns on embodiment of this invention. 本発明の実施の形態に係るヘアスタイル提案システムの端末装置のＣＰＵ及びサーバのＣＰＵのモデル画像データを記憶する工程における処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure in the process of storing the model image data of the CPU of the terminal apparatus of the hairstyle proposal system and the CPU of the server which concerns on embodiment of this invention. 本発明の実施の形態に係るヘアスタイル提案システムの端末装置のＣＰＵ及びサーバのＣＰＵの合成画像を表示する工程における処理手順を示すフローチャートである。It is a flowchart which shows the processing procedure in the process of displaying the composite image of the CPU of the terminal apparatus of the hairstyle proposal system and the CPU of the server which concerns on embodiment of this invention. 本発明の実施の形態に係る提案システムにおけるメイクパターン適用処理の提示図である。It is a presentation figure of the make pattern application process in the proposal system which concerns on embodiment of this invention.

図１は、本発明の実施の形態に係る提案システムの構成を示す模式図である。図１に示すように、本実施の形態に係る提案システムは、それぞれのユーザが所持しながら使用する複数の端末装置１が、インターネット２等のネットワーク網を介してデータ通信することが可能にサーバ３に接続されている。図１では、サーバ３は単体で構成されているが、マルチサーバ、仮想サーバ等のように複数のサーバで構成されていても良い。 FIG. 1 is a schematic diagram showing a configuration of a proposed system according to an embodiment of the present invention. As shown in FIG. 1, the proposed system according to the present embodiment is a server capable of allowing a plurality of terminal devices 1 used by each user while possessing them to perform data communication via a network such as the Internet 2. It is connected to 3. In FIG. 1, the server 3 is configured by itself, but it may be configured by a plurality of servers such as a multi-server and a virtual server.

端末装置１は、タブレットやスマートフォン等の移動可能で、しかも携帯可能な端末装置であることが好ましい。ユーザが移動しながら自分のお気に入りのヘアスタイルを確認することができるからである。 The terminal device 1 is preferably a movable and portable terminal device such as a tablet or a smartphone. This is because the user can check his / her favorite hairstyle while moving.

図２は、本発明の実施の形態に係る提案システムの端末装置１の構成を示す模式ブロック図である。本実施の形態に係る端末装置１は、少なくともＣＰＵ（中央演算装置）１１、メモリ１２、記憶装置１３、Ｉ／Ｏインタフェース１４、ビデオインタフェース１５、タッチディスプレイ１６、撮像手段１７、通信インタフェース１８及び上述したハードウェアを接続する内部バス１９で構成されている。 FIG. 2 is a schematic block diagram showing the configuration of the terminal device 1 of the proposed system according to the embodiment of the present invention. The terminal device 1 according to the present embodiment includes at least a CPU (central processing unit) 11, a memory 12, a storage device 13, an I / O interface 14, a video interface 15, a touch display 16, an imaging means 17, a communication interface 18, and the above. It is composed of an internal bus 19 for connecting the hardware.

ＣＰＵ１１は、内部バス１９を介して端末装置１の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置１３に記憶されたコンピュータプログラム１０１に従って、種々のソフトウェア的機能を実行する。メモリ１２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム１０１の実行時にロードモジュールが展開され、コンピュータプログラム１０１の実行時に発生する一時的なデータ等を記憶する。 The CPU 11 is connected to each of the above-mentioned hardware parts of the terminal device 1 via the internal bus 19, controls the operation of each of the above-mentioned hardware parts, and follows the computer program 101 stored in the storage device 13. Performs various software functions. The memory 12 is composed of volatile memories such as SRAM and SDRAM, and the load module is expanded when the computer program 101 is executed to store temporary data and the like generated when the computer program 101 is executed.

記憶装置１３は、内蔵される固定型記憶装置（ハードディスク）、ＲＯＭ等で構成されている。記憶装置１３に記憶されたコンピュータプログラム１０１は、通信インタフェース１８を介して接続されている外部コンピュータからダウンロードされ、実行時には記憶装置１３からメモリ１２へ展開して実行される。もちろん、プログラム及びデータ等の情報を記録したＳＤカード等の可搬型記録媒体からのリーダ／ライタを備えている場合には、可搬型記録媒体からコンピュータプログラム１０１を読み出しても良い。 The storage device 13 is composed of a built-in fixed storage device (hard disk), a ROM, and the like. The computer program 101 stored in the storage device 13 is downloaded from an external computer connected via the communication interface 18, and is expanded from the storage device 13 to the memory 12 and executed at the time of execution. Of course, when a reader / writer from a portable recording medium such as an SD card on which information such as a program and data is recorded is provided, the computer program 101 may be read from the portable recording medium.

記憶装置１３には、本実施の形態では、ヘアスタイルに関する情報の一部が記憶されている。ヘアスタイルに関する情報としては、シミュレーションに用いるヘアスタイルのモデル画像データ、ヘアスタイルを識別する情報等が含まれる。具体的には、例えばサーバ３から受信した、ユーザの顔の輪郭線から抽出したモデル画像データでシミュレーションした合成画像が記憶される。なお、本実施の形態では、モデル画像データとユーザの顔の画像データとの合成処理はサーバ３で実施することを想定しているが、特にこれに限定されるものではなく、モデル画像データをサーバ３から受信して記憶しておき、ユーザの顔の画像データとの合成処理を端末装置１で実施しても良い。 In the present embodiment, the storage device 13 stores a part of the information regarding the hairstyle. The information about the hairstyle includes model image data of the hairstyle used for the simulation, information for identifying the hairstyle, and the like. Specifically, for example, a composite image simulated with model image data extracted from the contour line of the user's face received from the server 3 is stored. In the present embodiment, it is assumed that the synthesis process of the model image data and the image data of the user's face is performed on the server 3, but the present invention is not particularly limited to this, and the model image data is used. The terminal device 1 may perform a process of synthesizing the image data of the user's face by receiving the data from the server 3 and storing the data.

通信インタフェース１８は内部バス１９に接続されており、インターネット２、無線ＬＡＮ、ＷＡＮ等の外部のネットワーク網に接続されることにより、外部コンピュータ等とデータ送受信を行うことが可能となっている。 The communication interface 18 is connected to the internal bus 19, and by being connected to an external network such as the Internet 2, wireless LAN, WAN, etc., data can be transmitted / received to / from an external computer or the like.

Ｉ／Ｏインタフェース１４及びビデオインタフェース１５は、液晶ディスプレイで構成されたタッチディスプレイ１６と接続され、ヘアスタイルの画像データとユーザの顔の画像データとの合成画像を選択することが可能に表示する。もちろん、携帯可能な端末装置であれば、本構成に限定されるものではない。 The I / O interface 14 and the video interface 15 are connected to a touch display 16 composed of a liquid crystal display, and display a composite image of hairstyle image data and user's face image data so that they can be selected. Of course, any portable terminal device is not limited to this configuration.

撮像手段１７は、ＣＣＤカメラ等であり、ユーザ自身の顔を撮像して、撮像した顔の画像データにヘアスタイルの画像データを合成することにより、ヘアスタイルごとに自分の状態を確認することができる。 The imaging means 17 is a CCD camera or the like, and it is possible to confirm one's own state for each hairstyle by photographing the user's own face and synthesizing the image data of the hairstyle with the image data of the captured face. it can.

図３は、本発明の実施の形態に係る提案システムのサーバ３を、ＣＰＵを用いて構成した例を示すブロック図である。図３に示すように、サーバ３は、少なくともＣＰＵ（中央演算装置）３１、メモリ３２、記憶装置３３、Ｉ／Ｏインタフェース３４、ビデオインタフェース３５、可搬型ディスクドライブ３６、通信インタフェース３７及び上述したハードウェアを接続する内部バス３８で構成されている。 FIG. 3 is a block diagram showing an example in which the server 3 of the proposed system according to the embodiment of the present invention is configured by using a CPU. As shown in FIG. 3, the server 3 includes at least a CPU (central processing unit) 31, a memory 32, a storage device 33, an I / O interface 34, a video interface 35, a portable disk drive 36, a communication interface 37, and the hardware described above. It is composed of an internal bus 38 for connecting the wear.

ＣＰＵ３１は、内部バス３８を介してサーバ３の上述したようなハードウェア各部と接続されており、上述したハードウェア各部の動作を制御するとともに、記憶装置３３に記憶しているコンピュータプログラム１００に従って、種々のソフトウェア的機能を実行する。メモリ３２は、ＳＲＡＭ、ＳＤＲＡＭ等の揮発性メモリで構成され、コンピュータプログラム１００の実行時にロードモジュールが展開され、コンピュータプログラム１００の実行時に発生する一時的なデータ等を記憶する。 The CPU 31 is connected to each of the above-mentioned hardware parts of the server 3 via the internal bus 38, controls the operation of each of the above-mentioned hardware parts, and follows the computer program 100 stored in the storage device 33. Performs various software functions. The memory 32 is composed of volatile memories such as SRAM and SDRAM, and a load module is expanded when the computer program 100 is executed to store temporary data and the like generated when the computer program 100 is executed.

記憶装置３３は、内蔵される固定型記憶装置（ハードディスク）、ＲＯＭ等で構成されている。記憶装置３３に記憶しているコンピュータプログラム１００は、プログラム及びデータ等の情報を記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体９０から、可搬型ディスクドライブ３６によりダウンロードされ、実行時には記憶装置３３からメモリ３２へ展開して実行される。もちろん、通信インタフェース３７を介して、接続されている外部のコンピュータからダウンロードされたコンピュータプログラムであっても良い。 The storage device 33 is composed of a built-in fixed storage device (hard disk), a ROM, and the like. The computer program 100 stored in the storage device 33 is downloaded by the portable disk drive 36 from a portable recording medium 90 such as a DVD or CD-ROM in which information such as a program and data is recorded, and is stored in the storage device 33 at the time of execution. Is expanded to the memory 32 and executed. Of course, it may be a computer program downloaded from an external computer connected via the communication interface 37.

また記憶装置３３は、輪郭データ記憶部３３１及びモデル画像データ記憶部３３２を備えている。輪郭データ記憶部３３１には、撮像されたユーザの顔の画像データから抽出した顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを記憶する。輪郭データは、ユーザの顔の画像データから輪郭線を抽出して、複数の代表点（特徴点）の座標値として記憶する。 Further, the storage device 33 includes a contour data storage unit 331 and a model image data storage unit 332. The contour data storage unit 331 stores contour data which is information about feature points indicating the contour lines of the face portion extracted from the captured image data of the user's face. The contour data extracts contour lines from the image data of the user's face and stores them as coordinate values of a plurality of representative points (feature points).

図４は、本発明の実施の形態に係る輪郭データの例示図である。図４の例では、顔の画像データに基づいて、顔の外形（部分）の輪郭を示す輪郭線、目、鼻、口を示す輪郭線を、座標値として記憶している。各番号は、座標値を示す代表点（特徴点）を示しており、顔の外形の輪郭線は代表点‘０’から‘１４’までの１５点で表されている。同様に、目、鼻、口についても、それぞれ代表点の座標値として記憶しておくことにより、顔全体のバランス、目、鼻、口等のパーツの大きさや配置等の情報を得ることができる。 FIG. 4 is an exemplary diagram of contour data according to an embodiment of the present invention. In the example of FIG. 4, based on the image data of the face, the contour line indicating the outline of the outer shape (part) of the face and the contour line indicating the eyes, nose, and mouth are stored as coordinate values. Each number indicates a representative point (feature point) indicating a coordinate value, and the outline of the outer shape of the face is represented by 15 points from the representative points ‘0’ to ‘14’. Similarly, by storing the coordinates of the representative points for the eyes, nose, and mouth, information such as the balance of the entire face and the size and arrangement of parts such as the eyes, nose, and mouth can be obtained. ..

図３に戻って、モデル画像データ記憶部３３２には、ユーザによる選択を受け付けた合成画像の基礎となったモデル画像データと、選択を受け付けたユーザの輪郭データとを対応付けて記憶する。これにより、他のユーザの顔の画像データから抽出した輪郭データをキー情報としてモデル画像データ記憶部３３２を検索することができ、類似の輪郭データを有する他のユーザが選択することが多かったヘアスタイルのモデル画像データを抽出することが可能となる。なお、モデル画像データとしては、ヘアスタイルの他、化粧パターン、服装のモデル画像データを含んでも良い。つまり、輪郭データとヘアスタイルのモデル画像データとを対応付けて記憶するほか、輪郭データと化粧パターンのモデル画像データとを、輪郭データと服装のモデル画像データとを、それぞれ対応付けて記憶する。 Returning to FIG. 3, in the model image data storage unit 332, the model image data that is the basis of the composite image that has received the selection by the user and the contour data of the user that has received the selection are stored in association with each other. As a result, the model image data storage unit 332 can be searched using the contour data extracted from the image data of the face of another user as key information, and the hair that is often selected by another user having similar contour data. It is possible to extract style model image data. The model image data may include model image data of a makeup pattern and clothes in addition to the hairstyle. That is, in addition to storing the contour data and the model image data of the hairstyle in association with each other, the contour data and the model image data of the makeup pattern are stored in association with each other, and the contour data and the model image data of the clothes are stored in association with each other.

通信インタフェース３７は内部バス３８に接続されており、インターネット２、ＬＡＮ、ＷＡＮ等の外部のネットワークに接続されることにより、外部のコンピュータ、例えば端末装置１等とデータ送受信を行うことが可能となっている。 The communication interface 37 is connected to the internal bus 38, and by being connected to an external network such as the Internet 2, LAN, WAN, etc., it is possible to transmit / receive data to / from an external computer such as a terminal device 1. ing.

Ｉ／Ｏインタフェース３４は、キーボード３３３、マウス３３４等のデータ入力媒体と接続され、データの入力を受け付ける。また、ビデオインタフェース３５は、ＣＲＴモニタ、ＬＣＤ等の表示装置３３５と接続され、所定の画像を表示する。 The I / O interface 34 is connected to a data input medium such as a keyboard 333 and a mouse 334, and accepts data input. Further, the video interface 35 is connected to a display device 335 such as a CRT monitor and an LCD to display a predetermined image.

以下、上述した構成の提案システムの動作について説明する。なお、以下の説明では、輪郭データに基づいてヘアスタイルを提案するヘアスタイル提案システムを例に挙げて説明する。同様の構成で、輪郭データに基づいて化粧パターンを提案する化粧パターン提案システム、輪郭データに基づいて服装を提案する服装提案システムとしても機能させることができることは言うまでもない。図５は、本発明の実施の形態に係るヘアスタイル提案システムの端末装置１及びサーバ３のモデル画像データを記憶する工程における機能ブロック図である。図５の例では、サーバ３を単体で構成しているが、サーバ３を複数有する構成であっても良い。 The operation of the proposed system having the above-described configuration will be described below. In the following description, a hairstyle proposal system that proposes hairstyles based on contour data will be described as an example. Needless to say, it can function as a makeup pattern proposal system that proposes a makeup pattern based on contour data and a clothing proposal system that proposes clothes based on contour data with the same configuration. FIG. 5 is a functional block diagram in a process of storing model image data of the terminal device 1 and the server 3 of the hairstyle proposal system according to the embodiment of the present invention. In the example of FIG. 5, the server 3 is configured as a single unit, but a configuration having a plurality of servers 3 may be used.

図５において、端末装置１の撮像部（撮像手段）１１１は、ヘアスタイルをシミュレーションするユーザ自身の顔を撮像する。撮像部１１１で撮像された顔の画像データは、端末装置１の記憶装置１３に記憶される。撮像部１１１としては、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ等を採用する。記憶装置１３への記憶時には、顔の画像データを識別する識別情報と対応付けて記憶される。 In FIG. 5, the imaging unit (imaging means) 111 of the terminal device 1 images the user's own face for simulating the hairstyle. The face image data captured by the image capturing unit 111 is stored in the storage device 13 of the terminal device 1. As the image pickup unit 111, a CCD image sensor, a CMOS image sensor, or the like is adopted. At the time of storage in the storage device 13, it is stored in association with the identification information that identifies the image data of the face.

輪郭データ抽出部１１２は、撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出する。輪郭データ抽出部１１２の輪郭データ送信部１１３は、抽出した輪郭データをサーバ３へ送信し、サーバ３の記憶装置３３の輪郭データ記憶部３３１に記憶させる。 The contour data extraction unit 112 extracts contour data which is information about feature points indicating the contour line of the face portion from the image data of the captured face. The contour data transmission unit 113 of the contour data extraction unit 112 transmits the extracted contour data to the server 3 and stores it in the contour data storage unit 331 of the storage device 33 of the server 3.

サーバ３の輪郭データ受信部３１１は、端末装置１で抽出した輪郭データを受信する。輪郭データ登録部（輪郭データ記憶手段）３１２は、輪郭データを記憶装置３３の輪郭データ記憶部３３１に記憶する。実際には、輪郭データを識別する輪郭ＩＤと対応付けて、輪郭データとして座標値群を記憶する。 The contour data receiving unit 311 of the server 3 receives the contour data extracted by the terminal device 1. The contour data registration unit (contour data storage means) 312 stores the contour data in the contour data storage unit 331 of the storage device 33. Actually, the coordinate value group is stored as the contour data in association with the contour ID that identifies the contour data.

マッチング部３１３は、記憶されている顔の部分の輪郭線（輪郭データ）に基づいて、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭データとマッチング処理する。合成画像生成部３１４は、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせることで合成して、所望のヘアスタイルにした場合の合成画像（第１の合成画像）を生成する。合成画像送信部３１５は、生成された合成画像を端末装置１に送信する。 The matching unit 313 performs matching processing with the contour data of the face portion extracted from the model image data indicating the hairstyle based on the contour line (contour data) of the stored face portion. The composite image generation unit 314 superimposes the face portion of the captured face image data and the hair portion of the model image data to synthesize the composite image (first) when a desired hairstyle is obtained. (Composite image of) is generated. The composite image transmission unit 315 transmits the generated composite image to the terminal device 1.

端末装置１の合成画像受信部１１４は、生成された合成画像を受信し、合成画像表示部１１７は、受信した複数の合成画像を表示する。本実施の形態では、ユーザは、このタイミングで表示されている合成画像のヘアスタイルが気に入ったか否かの選択をすることができる。 The composite image receiving unit 114 of the terminal device 1 receives the generated composite image, and the composite image display unit 117 displays the received plurality of composite images. In the present embodiment, the user can select whether or not he / she likes the hairstyle of the composite image displayed at this timing.

すなわち、選択受付部１１５は、表示されている複数の合成画像の中からユーザが気に入ったヘアスタイルに相当する合成画像の選択を受け付ける。この時点で端末装置１は、サーバ３に選択情報として、選択を受け付けた合成画像の識別情報を送信する。識別情報には、合成画像を識別する情報の他、合成画像を生成する基礎となったモデル画像データを識別するモデル画像ＩＤ及び輪郭データを識別する輪郭ＩＤも含まれる。 That is, the selection reception unit 115 accepts the selection of the composite image corresponding to the hairstyle preferred by the user from the plurality of displayed composite images. At this point, the terminal device 1 transmits the identification information of the composite image that has received the selection as the selection information to the server 3. The identification information includes not only the information for identifying the composite image, but also the model image ID for identifying the model image data on which the composite image is generated and the contour ID for identifying the contour data.

選択情報である識別情報を受信したサーバ３のモデル画像データ登録部（モデル画像データ記憶手段）３１６は、端末装置１で合成画像の選択を受け付けた時点で、選択を受け付けた合成画像の基礎となったモデル画像データと輪郭データとを対応付けてモデル画像データ記憶部３３２に記憶する。モデル画像データと輪郭データとの対応付けは、モデル画像ＩＤと輪郭ＩＤとを対応付けることにより容易に記憶することができる。 The model image data registration unit (model image data storage means) 316 of the server 3 that has received the identification information that is the selection information is the basis of the composite image that has received the selection when the terminal device 1 receives the selection of the composite image. The model image data and the contour data are associated with each other and stored in the model image data storage unit 332. The association between the model image data and the contour data can be easily stored by associating the model image ID with the contour ID.

図６は、本発明の実施の形態に係るヘアスタイル提案システムの端末装置１及びサーバ３の合成画像を表示する工程における機能ブロック図である。図５と同様、図６の例でも、サーバ３を単体で構成しているが、サーバ３を複数有する構成であっても良い。 FIG. 6 is a functional block diagram in a step of displaying a composite image of the terminal device 1 and the server 3 of the hairstyle proposal system according to the embodiment of the present invention. Similar to FIG. 5, in the example of FIG. 6, the server 3 is configured as a single unit, but a configuration having a plurality of servers 3 may be used.

図６において、端末装置１の画像データ受付部１１６は、撮像された顔の画像データの入力を受け付ける。輪郭データ抽出部１１２は、入力を受け付けた顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出する。輪郭データ抽出部１１２の輪郭データ送信部１１３は、抽出した輪郭データをサーバ３へ送信し、サーバ３の記憶装置３３の輪郭データ記憶部３３１に記憶させる。 In FIG. 6, the image data receiving unit 116 of the terminal device 1 receives the input of the image data of the captured face. The contour data extraction unit 112 extracts contour data which is information about feature points indicating the contour line of the face portion from the image data of the face that has received the input. The contour data transmission unit 113 of the contour data extraction unit 112 transmits the extracted contour data to the server 3 and stores it in the contour data storage unit 331 of the storage device 33 of the server 3.

なお、本実施の形態では、輪郭データ抽出部１１２を端末装置１に備えているが、特にこれに限定されるものではなく、サーバ３に備えていても良い。この場合、大容量データである顔の画像データを送信することになるので、通信負荷は増大する。 In the present embodiment, the contour data extraction unit 112 is provided in the terminal device 1, but the present invention is not particularly limited to this, and the server 3 may be provided. In this case, since the face image data, which is a large amount of data, is transmitted, the communication load increases.

図７は、本発明の実施の形態に係るヘアスタイル提案システムの端末装置１の合成画像表示画面の例示図である。図７の例では、ユーザが選択することが可能な合成画像を並列に合成画像表示領域７１に表示している。もちろん、合成画像ではなく、ユーザの顔の画像データと合成する前のヘアスタイルに関する画像データだけを、並列に表示しても良い。 FIG. 7 is an example diagram of a composite image display screen of the terminal device 1 of the hairstyle proposal system according to the embodiment of the present invention. In the example of FIG. 7, composite images that can be selected by the user are displayed in parallel in the composite image display area 71. Of course, instead of the composite image, only the image data of the user's face and the image data related to the hairstyle before being composited may be displayed in parallel.

また、図７の例のように９つの画像データを合成画像表示領域７１に並列に一括表示するのではなく、ヘアスタイルごとに一枚ずつ合成画像表示領域７１に全画面表示しても良いし、ヘアスタイルの画像データだけを、一枚ずつ合成画像表示領域７１に全画面表示しても良い。 Further, instead of displaying nine image data in parallel in the composite image display area 71 as in the example of FIG. 7, one image for each hairstyle may be displayed in full screen in the composite image display area 71. , Only the image data of the hairstyle may be displayed in full screen in the composite image display area 71 one by one.

図７では、カーソル７０の表示位置を、矢印ボタン７２、７３、７４、７５で移動する。カーソル７０が端に位置するときには、そのままスクロールして合成画像表示領域７１に別のヘアスタイルを示す画像を表示する。ユーザは、カーソル７０が所望のヘアスタイルを示す画像に位置する状態で選択ボタン７６を選択する。これにより、自分の所望のヘアスタイルを選択することができる。 In FIG. 7, the display position of the cursor 70 is moved by the arrow buttons 72, 73, 74, 75. When the cursor 70 is located at the end, it scrolls as it is to display an image showing another hairstyle in the composite image display area 71. The user selects the select button 76 with the cursor 70 positioned on the image showing the desired hairstyle. This allows you to select your desired hairstyle.

図６に戻って、サーバ３の輪郭データ受信部３１１は、端末装置１で抽出した輪郭データを受信する。輪郭データ登録部（輪郭データ記憶手段）３１２は、輪郭データを記憶装置３３の輪郭データ記憶部３３１に記憶する。 Returning to FIG. 6, the contour data receiving unit 311 of the server 3 receives the contour data extracted by the terminal device 1. The contour data registration unit (contour data storage means) 312 stores the contour data in the contour data storage unit 331 of the storage device 33.

輪郭データ検索部３２１は、輪郭データ抽出部１１２により、端末装置１で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを検索する。キー情報として輪郭データを用いる場合、代表点ごとに距離の差分を算出し、距離の差分の合計が最も短い輪郭データを抽出する。 The contour data search unit 321 uses the contour data extraction unit 112 to search for contour data close to the contour data extracted from the image data of the face that has been input by the terminal device 1. When contour data is used as key information, the distance difference is calculated for each representative point, and the contour data having the shortest total distance difference is extracted.

例えば、キー情報となる入力を受け付けた輪郭データの代表点０の座標値を（０：ｘ10、ｙ10）、代表点１の座標値を（１：ｘ11、ｙ11）、・・・、代表点Ｎの座標値を（Ｎ：ｘ1N、ｙ1N）とする。記憶されている任意の輪郭データの代表点０の座標値を（０：ｘn0、ｙn0）、代表点１の座標値を（１：ｘn1、ｙn1）、・・・、代表点Ｎの座標値を（Ｎ：ｘnN、ｙnN）とすると、代表点ごとの差分の総和Ｓは、（式１）で表すことができる。For example, the coordinate value of the representative point 0 of the contour data that has received the input as the key information is (0: x 10 , y 10 ), the coordinate value of the representative point 1 is (1: x 11 , y 11 ), ... , Let the coordinate value of the representative point N be (N: x 1N , y 1N ). The coordinate value of the representative point 0 of any stored contour data is (0: x n0 , y n0 ), the coordinate value of the representative point 1 is (1: x n1 , y n1 ), ..., The representative point N Assuming that the coordinate values of are (N: x nN , y nN ), the total sum S of the differences for each representative point can be expressed by (Equation 1).

総和Ｓが小さい輪郭データから順に一定の差以内の複数の輪郭データを抽出することにより、顔全体の輪郭がより類似しているユーザが選択したヘアスタイルに相当するモデル画像データとの合成画像を生成することができる。 By extracting a plurality of contour data within a certain difference in order from the contour data having the smallest sum S, a composite image with the model image data corresponding to the hairstyle selected by the user whose contour of the entire face is more similar can be obtained. Can be generated.

なお、目、鼻、口等のパーツの配置のバランスを考慮する場合、代表点ごとの距離の差分が一定値以下であることを抽出条件に含めても良い。これにより、例えば目以外の座標値がほぼ一致しているが目だけが極端に位置が相違するような輪郭データを選択するリスクを抑制することが可能となる。 When considering the balance of arrangement of parts such as eyes, nose, and mouth, it may be included in the extraction condition that the difference in distance between representative points is a certain value or less. As a result, for example, it is possible to suppress the risk of selecting contour data in which the coordinate values other than the eyes are substantially the same but the positions of only the eyes are extremely different.

合成画像生成部３１４は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、入力を受け付けた顔の画像データと合成された複数の合成画像（第２の合成画像）を生成する。合成画像送信部３１５は、生成された合成画像を端末装置１に送信する。 The composite image generation unit 314 is a plurality of composite images (second) composited with the image data of the face that has received the input, based on the model image data stored in association with each of the plurality of searched contour data. Generate a composite image). The composite image transmission unit 315 transmits the generated composite image to the terminal device 1.

端末装置１の合成画像受信部１１４は、生成された合成画像を受信し、合成画像表示部１１７は、受信した合成画像を表示する。合成画像は、図７に示すように、ヘアスタイルとしてユーザに似合う可能性が高い候補である９つの合成画像を合成画像表示領域７１に並列に一括表示しても良い。ただし、これに限定されるものではなく、例えばスクロールして順次合成画像を表示できるようにしても良い。 The composite image receiving unit 114 of the terminal device 1 receives the generated composite image, and the composite image display unit 117 displays the received composite image. As shown in FIG. 7, as the composite image, nine composite images, which are candidates that are likely to suit the user as a hairstyle, may be collectively displayed in parallel in the composite image display area 71. However, the present invention is not limited to this, and for example, scrolling may be possible to sequentially display composite images.

これにより、ユーザには、顔の輪郭データが類似している他のユーザがお気に入りだとして登録しているモデル画像データと合成した合成画像が表示されるので、よりお気に入りのヘアスタイルである可能性が高いヘアスタイルを有する合成画像を優先して表示することができ、確実にお気に入りのヘアスタイルを探し出すことが可能となる。 As a result, the user is displayed a composite image synthesized with the model image data registered as a favorite by another user who has similar facial contour data, so that the hairstyle may be more favorite. It is possible to preferentially display a composite image having a high hairstyle, and it is possible to reliably find a favorite hairstyle.

なお、輪郭データに対応付けて記憶されるモデル画像データは、ユーザがお気に入りであるヘアスタイルに対応するモデル画像データとして事前に登録しておくことが好ましい。この場合、登録されるモデル画像データの個数は問わない。 It is preferable that the model image data stored in association with the contour data is registered in advance as model image data corresponding to the hairstyle that the user likes. In this case, the number of model image data to be registered does not matter.

そして、輪郭データ検索部３２１では、ユーザの輪郭データに類似している度合を算出して類似度とし、類似度の高い順に所定数の輪郭データを抽出しても良い。上述の実施例では、類似度の高い順に輪郭データとモデル画像データとを合成しているが、実際には対応付けられているモデル画像データは複数である。したがって、表示の優先順位を決定しなければならない。 Then, the contour data search unit 321 may calculate the degree of similarity to the contour data of the user to obtain the similarity, and extract a predetermined number of contour data in descending order of similarity. In the above-described embodiment, the contour data and the model image data are combined in descending order of similarity, but in reality, there are a plurality of model image data associated with each other. Therefore, the display priority must be determined.

本実施の形態では、輪郭データの類似度を点数表示し、類似度が上位の所定数の輪郭データを抽出した時点で、輪郭データごとに対応付けられているモデル画像データに類似度を付与する。そして、モデル画像データごとに付与された類似度の総和を算出する。これにより、輪郭データが類似する他のユーザがお気に入りに登録する可能性が高いモデル画像データであるほど、類似度の総和が高い点数になる。したがって、類似度の総和の高い順に輪郭データとモデル画像データとの合成画像を生成して表示するようにすることで、類似する輪郭データを有する他のユーザがお気に入りになる可能性が高いヘアスタイルを提案することが可能となる。 In the present embodiment, the similarity of the contour data is displayed as a score, and when a predetermined number of contour data having a higher similarity is extracted, the similarity is given to the model image data associated with each contour data. .. Then, the sum of the similarity given to each model image data is calculated. As a result, the higher the model image data that other users with similar contour data are likely to register as favorites, the higher the total score of the similarity. Therefore, by generating and displaying a composite image of the contour data and the model image data in descending order of the total similarity, other users with similar contour data are likely to like the hairstyle. It becomes possible to propose.

図８は、本発明の実施の形態に係るヘアスタイル提案システムの提案するヘアスタイルの決定方法を説明する図表である。図８において、ＳＥＱ１〜６は、ユーザの輪郭データに類似する輪郭データを類似度の高い順に並べたものである。類似度は１００点満点で換算されており、高い順に‘９０’、‘８８’、‘８６’、‘８４’、‘８０’、‘７５’となっている。次に好きなヘアスタイル１〜２０は、輪郭データに対応付けられているモデル画像データに対応するヘアスタイルを示している。説明のために２０個にしているが、ここはデータ数が多くなればなるほど高い精度でお気に入りのヘアスタイルを提案できるようになる。 FIG. 8 is a chart illustrating a method for determining a hairstyle proposed by the hairstyle proposal system according to the embodiment of the present invention. In FIG. 8, SEQs 1 to 6 are contour data similar to the contour data of the user arranged in descending order of similarity. The degree of similarity is converted on a scale of 100 points, and is "90", "88", "86", "84", "80", and "75" in descending order. Next, favorite hairstyles 1 to 20 indicate hairstyles corresponding to model image data associated with contour data. The number is set to 20 for explanation, but as the number of data increases, it becomes possible to propose a favorite hairstyle with higher accuracy.

そして、輪郭データのＳＥＱ１には、ヘアスタイル３、５、６、９、１３、１７、１９に対応するモデル画像データが対応付けて記憶されていることを示している。対応するヘアスタイルそれぞれに、輪郭データの類似度が割り当てられている。同様に輪郭データのＳＥＱ２〜６についても、ヘアスタイルそれぞれに輪郭データの類似度を割り当てる。これにより、ヘアスタイルに重みづけを行うことができ、上位の輪郭データに対応付けて記憶されているモデル画像データに対応するヘアスタイルほど、上位に表示されやすくなる。 Then, it is shown that the model image data corresponding to the hairstyles 3, 5, 6, 9, 13, 17, and 19 are stored in association with the SEQ 1 of the contour data. The similarity of contour data is assigned to each corresponding hairstyle. Similarly, for SEQs 2 to 6 of contour data, the similarity of contour data is assigned to each hairstyle. As a result, the hairstyle can be weighted, and the hairstyle corresponding to the model image data stored in association with the upper contour data is more likely to be displayed at the higher level.

具体的には、ヘアスタイルそれぞれに割り当てられている類似度の総和を算出する。算出された類似度の総和が大きい順にランク付けを行い、ランクの高い順に、輪郭データとヘアスタイルに対応するモデル画像データとの合成画像を表示する。これにより、類似度の高い輪郭データを有するユーザにより好まれやすいヘアスタイルから順に提案することが可能となる。図８の例では、ヘアスタイル５が一番類似度の総和が高く（ランクが‘１’）、以下、ヘアスタイル３、ヘアスタイル６、・・・というように表示の優先順位を特定することができる。 Specifically, the sum of the similarities assigned to each hairstyle is calculated. Ranking is performed in descending order of the calculated sum of similarity, and a composite image of contour data and model image data corresponding to the hairstyle is displayed in descending order of rank. This makes it possible to propose hairstyles that are more likely to be preferred by users who have contour data with high similarity. In the example of FIG. 8, the hairstyle 5 has the highest total similarity (rank is '1'), and the display priority is specified as follows, such as hairstyle 3, hairstyle 6, and so on. Can be done.

図９は、本発明の実施の形態に係るヘアスタイル提案システムの端末装置１のＣＰＵ１１及びサーバ３のＣＰＵ３１のモデル画像データを記憶する工程における処理手順を示すフローチャートである。図９の例でも、サーバ３を単体で構成しているが、サーバ３を複数有する構成であっても良い。 FIG. 9 is a flowchart showing a processing procedure in a step of storing model image data of the CPU 11 of the terminal device 1 of the hairstyle proposal system and the CPU 31 of the server 3 according to the embodiment of the present invention. In the example of FIG. 9, the server 3 is configured as a single unit, but it may be configured to have a plurality of servers 3.

図９において、端末装置１のＣＰＵ１１は、ヘアスタイルをシミュレーションするユーザ自身の顔を撮像する（ステップＳ９１１）。ＣＰＵ１１は、撮像した顔の画像データを記憶装置１３に記憶する（ステップＳ９１２）。 In FIG. 9, the CPU 11 of the terminal device 1 captures the user's own face for simulating the hairstyle (step S911). The CPU 11 stores the captured face image data in the storage device 13 (step S912).

ＣＰＵ１１は、撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出する（ステップＳ９１３）。ＣＰＵ１１は、抽出した輪郭データをサーバ３へ送信する（ステップＳ９１４）。 The CPU 11 extracts contour data, which is information about feature points indicating the contour line of the face portion, from the image data of the captured face (step S913). The CPU 11 transmits the extracted contour data to the server 3 (step S914).

サーバ３のＣＰＵ３１は、端末装置１で抽出された輪郭データを受信する（ステップＳ９３１）。ＣＰＵ３１は、受信した輪郭データを記憶装置３３の輪郭データ記憶部３３１に記憶する（ステップＳ９３２）。 The CPU 31 of the server 3 receives the contour data extracted by the terminal device 1 (step S931). The CPU 31 stores the received contour data in the contour data storage unit 331 of the storage device 33 (step S932).

ＣＰＵ３１は、抽出した顔の部分の輪郭線（輪郭データ）に基づいて、ヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭データとマッチング処理する（ステップＳ９３３）。ＣＰＵ３１は、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせることで合成して、所望のヘアスタイルにした場合の合成画像（第１の合成画像）を生成し（ステップＳ９３４）、生成された合成画像を端末装置１に送信する（ステップＳ９３５）。 The CPU 31 performs matching processing with the contour data of the face portion extracted from the model image data indicating the hairstyle based on the contour line (contour data) of the extracted face portion (step S933). The CPU 31 synthesizes a face portion of the captured face image data and a hair portion of the model image data by superimposing them to obtain a desired hairstyle (first composite image). Is generated (step S934), and the generated composite image is transmitted to the terminal device 1 (step S935).

端末装置１のＣＰＵ１１は、生成された合成画像を受信し（ステップＳ９１５）、受信した合成画像を表示する（ステップＳ９１６）。本実施の形態では、ユーザは、このタイミングで表示されている合成画像のヘアスタイルが気に入ったか否かの選択をすることができる。 The CPU 11 of the terminal device 1 receives the generated composite image (step S915) and displays the received composite image (step S916). In the present embodiment, the user can select whether or not he / she likes the hairstyle of the composite image displayed at this timing.

すなわち、ＣＰＵ１１は、ユーザが気に入ったヘアスタイルに相当する合成画像の選択を受け付け（ステップＳ９１７）、選択を受け付けた合成画像の識別情報をサーバ３へ送信する（ステップＳ９１８）。識別情報には、合成画像を識別する情報の他、合成画像を生成する基礎となったモデル画像データ及び輪郭データを識別する情報も含まれる。 That is, the CPU 11 accepts the selection of the composite image corresponding to the hairstyle that the user likes (step S917), and transmits the identification information of the composite image that has received the selection to the server 3 (step S918). The identification information includes not only the information for identifying the composite image but also the information for identifying the model image data and the contour data which are the basis for generating the composite image.

サーバ３のＣＰＵ３１は、識別情報を受信し（ステップＳ９３６）、選択を受け付けた合成画像の基礎となったモデル画像データと輪郭データとを対応付けてモデル画像データ記憶部３３２に記憶する（ステップＳ９３７）。 The CPU 31 of the server 3 receives the identification information (step S936), associates the model image data on which the selected composite image is based with the contour data, and stores the contour data in the model image data storage unit 332 (step S937). ).

図１０は、本発明の実施の形態に係るヘアスタイル提案システムの端末装置１のＣＰＵ１１及びサーバ３のＣＰＵ３１の合成画像を表示する工程における処理手順を示すフローチャートである。図９と同様、図１０の例でも、サーバ３を単体で構成しているが、サーバ３を複数有する構成であっても良い。 FIG. 10 is a flowchart showing a processing procedure in a step of displaying a composite image of the CPU 11 of the terminal device 1 of the hairstyle proposal system and the CPU 31 of the server 3 according to the embodiment of the present invention. Similar to FIG. 9, in the example of FIG. 10, the server 3 is configured as a single unit, but a configuration having a plurality of servers 3 may be used.

図１０において、端末装置１のＣＰＵ１１は、撮像された顔の画像データの入力を受け付ける（ステップＳ１０１１）。ＣＰＵ１１は、入力を受け付けた顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出し（ステップＳ１０１２）、抽出した輪郭データをサーバ３へ送信する（ステップＳ１０１３）。 In FIG. 10, the CPU 11 of the terminal device 1 accepts the input of the image data of the captured face (step S1011). The CPU 11 extracts contour data, which is information about feature points indicating the contour line of the face portion, from the image data of the face that has received the input (step S1012), and transmits the extracted contour data to the server 3 (step S1013). ..

なお、本実施の形態では、端末装置１で輪郭データを抽出しているが、特にこれに限定されるものではなく、サーバ３へ輪郭データを送信した後にサーバ３で抽出しても良い。この場合、大容量データである顔の画像データを送信することになるので、通信負荷は増大する。 In the present embodiment, the contour data is extracted by the terminal device 1, but the present invention is not particularly limited to this, and the contour data may be extracted by the server 3 after being transmitted to the server 3. In this case, since the face image data, which is a large amount of data, is transmitted, the communication load increases.

サーバ３のＣＰＵ３１は、端末装置１で抽出した輪郭データを受信し（ステップＳ１０３１）、輪郭データを記憶装置３３の輪郭データ記憶部３３１に記憶する（ステップＳ１０３２）。ＣＰＵ３１は、端末装置１で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを検索する（ステップＳ１０３３）。キー情報として輪郭データを用いる場合、例えば代表点ごとに距離の差分を算出し、距離の差分の合計が短い順に複数の輪郭データを抽出する。 The CPU 31 of the server 3 receives the contour data extracted by the terminal device 1 (step S1031), and stores the contour data in the contour data storage unit 331 of the storage device 33 (step S1032). The CPU 31 searches for contour data close to the contour data extracted from the face image data received by the terminal device 1 (step S1033). When contour data is used as key information, for example, a distance difference is calculated for each representative point, and a plurality of contour data are extracted in ascending order of the total distance difference.

なお、目、鼻、口等のパーツの配置のバランスを考慮する場合、代表点ごとの距離の差分が一定値以下であることを抽出条件に含めても良い。これにより、例えば目以外の座標値がほぼ一致しているが目だけが極端に位置が相違するような輪郭データを選択するリスクを抑制することが可能となる。 When considering the balance of arrangement of parts such as eyes, nose, and mouth, it may be included in the extraction condition that the difference in distance between representative points is a certain value or less. As a result, for example, it is possible to suppress the risk of selecting contour data in which the coordinate values other than the eyes are substantially the same but the positions of only the eyes are extremely different.

ＣＰＵ３１は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、入力を受け付けた顔の画像データと合成された複数の合成画像（第２の合成画像）を生成する（ステップＳ１０３４）。ＣＰＵ３１は、生成された合成画像を端末装置１に送信する（ステップＳ１０３５）。 Based on the model image data stored in association with each of the plurality of searched contour data, the CPU 31 creates a plurality of composite images (second composite image) synthesized with the image data of the face that has received the input. Generate (step S1034). The CPU 31 transmits the generated composite image to the terminal device 1 (step S1035).

端末装置１のＣＰＵ１１は、生成された合成画像を受信し（ステップＳ１０１４）、受信した合成画像を表示する（ステップＳ１０１５）。 The CPU 11 of the terminal device 1 receives the generated composite image (step S1014) and displays the received composite image (step S1015).

以上のように本実施の形態によれば、ユーザは顔の輪郭データが類似している他のユーザがお気に入りだとして登録しているモデル画像データと合成した合成画像が表示されるので、よりお気に入りのヘアスタイルである可能性が高いヘアスタイルを有する合成画像を優先して表示することができ、確実にお気に入りのヘアスタイルを探し出すことが可能となる。 As described above, according to the present embodiment, the user displays the composite image synthesized with the model image data registered as a favorite by another user having similar facial contour data, and thus is more favorite. It is possible to preferentially display a composite image having a hairstyle that is likely to be the hairstyle of the above, and it is possible to surely find a favorite hairstyle.

なお、モデル画像データ記憶部３３２においては、輪郭データとモデル画像データとを対応付けて記憶しているが、モデル画像データとして、ヘアスタイルのモデル画像だけではなく、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータを輪郭データと対応付けて記憶しても良い。例えば、かわいい系のメイクパターン、クール系のメイクパターン、キレイ系のメイクパターン等、ユーザが選んだヘアスタイルに似合うと判断して、輪郭データに対応付けたメイクパターンとして記憶しておく。 In the model image data storage unit 332, the contour data and the model image data are stored in association with each other, but as the model image data, not only the model image of the hairstyle but also the makeup applied to the face is imaged. A plurality of separately patterned makeup pattern data may be stored in association with the contour data. For example, it is determined that a cute make-up pattern, a cool make-up pattern, a beautiful make-up pattern, etc. are suitable for a hairstyle selected by a user, and the make-up pattern is stored as a make-up pattern associated with contour data.

これにより、顔の輪郭に応じたメイクパターンを提案することができ、ユーザは、自分の顔の輪郭に似合うメイクパターンを知ることが可能となる。 As a result, it is possible to propose a makeup pattern according to the contour of the face, and the user can know the makeup pattern that matches the contour of his / her face.

なお、メイクパターンは、取得したユーザの顔の輪郭データに応じて、変形させることによりメイク後の状態を表示している。図１１は、本発明の実施の形態に係る提案システムにおけるメイクパターン適用処理の提示図である。 The make-up pattern displays the state after make-up by deforming it according to the acquired contour data of the user's face. FIG. 11 is a presentation diagram of a make-up pattern application process in the proposed system according to the embodiment of the present invention.

図１１（ａ）に示す画像を端末装置１の撮像部１１１で取得し、輪郭データを抽出する。化粧パターンデータは、抽出した輪郭データと同様の数の代表点の座標値とメイクの色合いあるいは濃淡の程度を座標値と輝度値として記憶している。 The image shown in FIG. 11A is acquired by the imaging unit 111 of the terminal device 1, and contour data is extracted. The makeup pattern data stores the coordinate values of the same number of representative points as the extracted contour data and the degree of shade or shading of the makeup as the coordinate values and the brightness values.

図１１（ｂ）は、化粧パターンデータの例示図である。図１１（ｂ）では、取得した顔の輪郭データと化粧パターンデータとの輪郭は一致していない。そこで、化粧パターンデータをマッチング処理する。 FIG. 11B is an example diagram of makeup pattern data. In FIG. 11B, the contours of the acquired face contour data and the makeup pattern data do not match. Therefore, the makeup pattern data is matched.

具体的には、図１１（ｂ）の化粧パターンデータを顔の画像データの輪郭線とマッチング処理して、図１１（ｃ）に示すように変形後の化粧パターンデータを生成する。変形後の化粧パターンデータを顔の画像データに適用することで、図１１（ｄ）に示すようなメイク後の顔の画像データを得ることができる。このように、かわいい系のメイクパターン、クール系のメイクパターン、キレイ系のメイクパターン等の化粧パターンデータを適用することで、メイク後の顔の画像データを容易に得ることができる。 Specifically, the makeup pattern data of FIG. 11B is matched with the contour line of the face image data to generate the deformed makeup pattern data as shown in FIG. 11C. By applying the deformed makeup pattern data to the face image data, it is possible to obtain the face image data after makeup as shown in FIG. 11 (d). In this way, by applying makeup pattern data such as a cute makeup pattern, a cool makeup pattern, and a beautiful makeup pattern, it is possible to easily obtain image data of the face after makeup.

同様に、モデル画像データ記憶部３３２に、輪郭データと複数の服装の画像データをファッションデータとを対応付けて記憶しても良い。例えば、かわいい系の服装、クール系の服装等、ユーザが選んだヘアスタイルに似合うと判断したファッションデータを、輪郭データと対応付けて記憶しておく。 Similarly, the model image data storage unit 332 may store contour data and image data of a plurality of clothes in association with fashion data. For example, fashion data determined to suit the hairstyle selected by the user, such as cute clothes and cool clothes, is stored in association with the contour data.

これにより、顔の輪郭に応じた服装を提案することができ、ユーザは、自分の顔の輪郭に似合う服装を知ることが可能となる。なお、ファッションデータは、取得したユーザの顔の輪郭データに応じて、大きさを変形させても良い。より具体的には、ユーザの服装のサイズ（例えばＳ／Ｍ／Ｌ）、身長や体重の情報を取得することで、それに応じて服装の大きさを変形させるようにしても良い。 As a result, it is possible to propose clothes according to the contour of the face, and the user can know the clothes that match the contour of his / her face. The size of the fashion data may be changed according to the acquired contour data of the user's face. More specifically, by acquiring information on the size (for example, S / M / L), height, and weight of the user's clothes, the size of the clothes may be changed accordingly.

このように、輪郭データとヘアスタイルを示す画像データと、輪郭データと化粧パターンの画像データと、輪郭データと服装の画像データを、それぞれ対応付けて記憶することにより、輪郭データが類似しているユーザの嗜好を反映させてヘアスタイル、化粧パターン、服装を提案することができる。もちろん、データ量が増えれば増えるほど、いわゆるビッグデータとしてデータが収集される場合には、より正しくユーザの嗜好を反映させた結果として、ヘアスタイル、化粧パターン、服装を提案することが可能となる。 In this way, the contour data is similar by storing the contour data and the image data showing the hairstyle, the contour data and the makeup pattern image data, and the contour data and the clothing image data in association with each other. Hairstyles, makeup patterns, and clothing can be proposed to reflect the user's tastes. Of course, as the amount of data increases, when data is collected as so-called big data, it becomes possible to propose hairstyles, makeup patterns, and clothes as a result of more accurately reflecting the user's tastes. ..

さらに、端末装置１に、ユーザの属性を示す属性情報を取得する属性取得部１１８（図５参照）を備え、サーバ３のモデル画像データ記憶部３３２には、取得した属性情報と対応付けて、選択を受け付けた合成画像の基礎となったモデル画像データと輪郭データとを記憶しても良い。属性情報とは、例えば性別に関する情報、年齢に関する情報、肌の色に関する情報等の個人情報の他、国籍や出身地、あるいはユーザが顔の画像データを登録した登録時期等を意味している。 Further, the terminal device 1 is provided with an attribute acquisition unit 118 (see FIG. 5) for acquiring attribute information indicating the user's attributes, and the model image data storage unit 332 of the server 3 is associated with the acquired attribute information. The model image data and the contour data which are the basis of the composite image for which the selection is accepted may be stored. The attribute information means, for example, personal information such as gender information, age information, skin color information, nationality, place of origin, registration time when the user registered facial image data, and the like.

このように、サーバ３のモデル画像データ記憶部３３２にモデル画像データ、輪郭データの他に属性情報も対応付けて記憶させておくことにより、端末装置１で入力を受け付けた顔の画像データから抽出された輪郭データに近接する複数の輪郭データを、輪郭データ検索部３２１により属性情報に応じて検索することが可能となる。例えば年齢によってヘアスタイルの選択傾向が大きく変わる場合、年齢に適応したヘアスタイルを優先的に選択して合成画像を生成して表示することができる。 In this way, by storing the model image data, the contour data, and the attribute information in association with each other in the model image data storage unit 332 of the server 3, it is extracted from the face image data received by the terminal device 1. It is possible to search a plurality of contour data close to the contour data by the contour data search unit 321 according to the attribute information. For example, when the tendency to select a hairstyle changes greatly depending on the age, a hairstyle suitable for the age can be preferentially selected to generate and display a composite image.

なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨の範囲内であれば多種の変更、改良等が可能である。例えば、端末装置１だけで構成されていても良いし、クラウドサーバを用いて、いつでもだれでも使うことが可能としても良い。 The present invention is not limited to the above embodiment, and various changes and improvements can be made within the scope of the gist of the present invention. For example, it may be composed of only the terminal device 1, or it may be possible for anyone to use it at any time by using a cloud server.

また、実施例では、輪郭データとヘアスタイルを示すモデル画像データとを対応付けてヘアスタイル提案システムを主体に記載しているが、特にこれに限定されるものではない。例えば輪郭データと化粧パターンを示すモデル画像データ（化粧パターンデータ）とを対応付けて化粧パターン提案システムを主体にしても良いし、輪郭データと服装を示すモデル画像データ（ファッションデータ）とを対応付けて服装提案システムを主体にしても良い。 Further, in the embodiment, the hairstyle proposal system is mainly described by associating the contour data with the model image data indicating the hairstyle, but the present invention is not particularly limited to this. For example, the makeup pattern proposal system may be mainly used by associating the contour data with the model image data (cosmetic pattern data) indicating the makeup pattern, or the contour data and the model image data (fashion data) indicating the clothing may be associated with each other. The clothing proposal system may be the main body.

１ 端末装置
２ インターネット
３ サーバ
１１、３１ ＣＰＵ
１２、３２ メモリ
１３、３３ 記憶装置
１７ 撮像手段
１００、１０１ コンピュータプログラム1 Terminal device 2 Internet 3 Server 11, 31 CPU
12, 32 Memory 13, 33 Storage device 17 Imaging means 100, 101 Computer program

Claims (28)

複数の端末装置と一又は複数のサーバとで構成されており、
前記端末装置は、
ユーザ自身の顔を撮像する撮像手段と、
撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段と
を有し、
前記サーバは、
記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と
を有し、
前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムにおいて、
前記端末装置は、
表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける選択受付手段を備え、
前記サーバは、
前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段を備え、
前記端末装置は、
撮像された顔の画像データの入力を受け付ける画像データ受付手段を備え、
前記サーバは、
前記輪郭データ抽出手段により、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段を備え、
前記サーバの前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、
前記端末装置の前記合成画像表示手段は、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする提案システム。 It is composed of multiple terminal devices and one or more servers.
The terminal device is
An imaging means that captures the user's own face,
It has a contour data extraction means that extracts contour data, which is information about feature points indicating the contour line of the face portion, from the image data of the captured face, transfers the contour data to the server, and stores the contour data.
The server
A matching means for matching the stored contour line of the face part with the contour line of the face part extracted from the model image data indicating the hairstyle stored in advance.
It has a composite image generation means for generating a first composite image by superimposing the face portion of the captured face image data and the hair portion of the model image data by matching the contour lines.
The terminal device is a proposed system having a composite image display means for acquiring a first composite image generated by the server and displaying it on a touch display.
The terminal device is
A selection receiving means for accepting the selection of one of the first composite images from the plurality of displayed first composite images is provided.
The server
At the time of accepting the selection of one of said first synthesized image by the terminal device, in association with the basic and become the model image data and the outline data for one of the first synthesized image received selection Equipped with model image data storage means
The terminal device is
Equipped with an image data receiving means that accepts the input of image data of the captured face,
The server
The contour data extracting means is provided with a contour data searching means for searching a plurality of previously stored contour data close to the contour data extracted from the face image data input received by the terminal device.
The composite image generation means of the server is a plurality of composite image data synthesized with the face image data received by the terminal device based on the model image data stored in association with each of the plurality of searched contour data. Generate a second composite image of
The proposed system, wherein the composite image display means of the terminal device acquires the second composite image generated by the server and displays it on a touch display. 前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことを特徴とする請求項１に記載の提案システム。 The proposed system according to claim 1, wherein the contour data includes not only the contour lines of the face portion but also the contour lines of the eyes, nose, and mouth. 前記モデル画像データ記憶手段は、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることを特徴とする請求項１又は２に記載の提案システム。 According to claim 1 or 2, the model image data storage means stores the contour data in association with a plurality of makeup pattern data in which makeup applied to a face is patterned according to an image. The proposed system described. 前記モデル画像データ記憶手段は、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることを特徴とする請求項１乃至３のいずれか一項に記載の提案システム。 The method according to any one of claims 1 to 3, wherein the model image data storage means stores the contour data in association with a plurality of fashion data including image data of clothes. Proposal system. 前記端末装置は、ユーザの属性を示す属性情報を取得する属性取得手段を備え、
前記サーバの前記モデル画像データ記憶手段は、前記端末装置で取得された前記属性情報と対応付けて、前記端末装置で選択を受け付けた一の第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶することを特徴とする請求項１乃至４のいずれか一項に記載の提案システム。 The terminal device includes an attribute acquisition means for acquiring attribute information indicating a user's attribute.
The model image data storage means of the server is associated with the attribute information acquired by the terminal device, and is associated with the model image data that is the basis of the first composite image that has been selected by the terminal device. The proposed system according to any one of claims 1 to 4, wherein the contour data is stored. 前記サーバの前記輪郭データ検索手段は、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、前記属性情報に応じて検索することを特徴とする請求項５に記載の提案システム。 The claim is characterized in that the contour data search means of the server searches for contour data close to the contour data extracted from the image data of the face that has received input by the terminal device according to the attribute information. The proposal system according to 5. 複数の端末装置と一又は複数のサーバとで構成されており、
前記端末装置は、
ユーザ自身の顔を撮像する撮像手段と、
撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段と
を有し、
前記サーバは、
記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と
を有し、
前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムで実行することが可能な提案方法において、
前記端末装置は、
表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける工程を含み、
前記サーバは、
前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶する工程を含み、
前記端末装置は、
撮像された顔の画像データの入力を受け付ける工程を含み、
前記サーバは、
前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する工程を含み、
検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、
前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする提案方法。 It is composed of multiple terminal devices and one or more servers.
The terminal device is
An imaging means that captures the user's own face,
It has a contour data extraction means that extracts contour data, which is information about feature points indicating the contour line of the face portion, from the image data of the captured face, transfers the contour data to the server, and stores the contour data.
The server
A matching means for matching the stored contour line of the face part with the contour line of the face part extracted from the model image data indicating the hairstyle stored in advance.
It has a composite image generation means for generating a first composite image by superimposing the face portion of the captured face image data and the hair portion of the model image data by matching the contour lines.
In a proposed method, the terminal device can be executed in a proposed system having a composite image display means for acquiring a first composite image generated by the server and displaying it on a touch display.
The terminal device is
Including a step of accepting the selection of one of the first composite images from the plurality of displayed first composite images.
The server
At the time of accepting the selection of one of said first synthesized image by the terminal device, in association with the basic and become the model image data and the outline data for one of the first synthesized image received selection Including the process
The terminal device is
Including the process of accepting the input of the image data of the captured face
The server
Including a step of searching a plurality of previously stored contour data close to the contour data extracted from the face image data received by the terminal device.
Based on the model image data stored in association with each of the plurality of searched contour data, a plurality of second composite images synthesized with the face image data received by the terminal device are generated.
A proposed method characterized in that the second composite image generated by the server is acquired and displayed on a touch display. 前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことを特徴とする請求項７に記載の提案方法。 The proposed method according to claim 7, wherein the contour data includes not only the contour line of the face portion but also the contour lines of the eyes, nose, and mouth. 前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることを特徴とする請求項７又は８に記載の提案方法。 The proposed method according to claim 7 or 8, wherein the contour data and a plurality of makeup pattern data in which makeup applied to the face is patterned according to an image are stored in association with each other. 前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることを特徴とする請求項７乃至９のいずれか一項に記載の提案方法。 The proposed method according to any one of claims 7 to 9, wherein the contour data and a plurality of fashion data including image data of clothes are stored in association with each other. 前記端末装置は、ユーザの属性を示す属性情報を取得する工程を含み、
前記サーバは、前記端末装置で取得された前記属性情報と対応付けて、前記端末装置で選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶することを特徴とする請求項７乃至１０のいずれか一項に記載の提案方法。 The terminal device includes a step of acquiring attribute information indicating a user's attribute.
The server stores the model image data and the contour data that are the basis of the first composite image that has been selected by the terminal device in association with the attribute information acquired by the terminal device. The proposed method according to any one of claims 7 to 10, characterized in that. 前記サーバは、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、前記属性情報に応じて検索することを特徴とする請求項１１に記載の提案方法。 The proposed method according to claim 11, wherein the server searches for contour data close to the contour data extracted from the image data of the face that has received input by the terminal device according to the attribute information. .. 外部の端末装置とデータ通信することが可能に接続されており、
前記端末装置から、撮像された顔の画像データから抽出された、顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを受信して記憶する輪郭データ記憶手段と、
記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と、
生成した第１の合成画像を前記端末装置へ送信する合成画像送信手段を有するサーバにおいて、
前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段と、
前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段と
を備え、
前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、
前記合成画像送信手段は、生成された前記第２の合成画像を前記端末装置へ送信することを特徴とするサーバ。 It is connected so that it can communicate data with an external terminal device.
Contour data storage means for receiving and storing contour data, which is information about feature points indicating the contour line of the face portion, extracted from the image data of the captured face from the terminal device.
A matching means for matching the stored contour line of the face part with the contour line of the face part extracted from the model image data indicating the hairstyle stored in advance.
A composite image generation means that generates a first composite image by superimposing the face portion of the captured face image data and the hair portion of the model image data by matching the contour lines.
In a server having a composite image transmission means for transmitting the generated first composite image to the terminal device.
At the time of accepting the selection of one of said first synthesized image by the terminal device, in association with the basic and become the model image data and the outline data for one of the first synthesized image received selection Model image data storage means and
It is provided with a contour data search means for searching a plurality of contour data stored in advance, which is close to the contour data extracted from the face image data received by the terminal device.
The composite image generation means is a plurality of second composite image data synthesized with the image data of the face received by the terminal device based on the model image data stored in association with each of the plurality of searched contour data. Generate a composite image of
The composite image transmitting means is a server characterized in that the generated second composite image is transmitted to the terminal device. 前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことを特徴とする請求項１３に記載のサーバ。 The server according to claim 13, wherein the contour data includes not only the contour lines of the face portion but also the contour lines of the eyes, nose, and mouth. 前記モデル画像データ記憶手段は、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることを特徴とする請求項１３又は１４に記載のサーバ。 The model image data storage means according to claim 13 or 14, wherein the contour data is stored in association with a plurality of makeup pattern data in which makeup applied to the face is patterned according to an image. The listed server. 前記モデル画像データ記憶手段は、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることを特徴とする請求項１３乃至１５のいずれか一項に記載のサーバ。 The method according to any one of claims 13 to 15, wherein the model image data storage means stores the contour data in association with a plurality of fashion data including image data of clothes. server. 前記モデル画像データ記憶手段は、前記端末装置で取得されたユーザの属性を示す属性情報と対応付けて、前記端末装置で選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを記憶することを特徴とする請求項１３乃至１６のいずれか一項に記載のサーバ。 The model image data storage means associates the attribute information indicating the user's attributes acquired by the terminal device with the model image that is the basis of the first composite image that has been selected by the terminal device. The server according to any one of claims 13 to 16, wherein the data and contour data are stored. 前記輪郭データ検索手段は、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する輪郭データを、前記属性情報に応じて検索することを特徴とする請求項１７に記載のサーバ。 The 17th aspect of claim 17, wherein the contour data search means searches for contour data close to the contour data extracted from the image data of the face received by the terminal device according to the attribute information. Server. 外部の端末装置とデータ通信することが可能に接続されており、
前記端末装置から、撮像された顔の画像データから抽出された、顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを受信して記憶する輪郭データ記憶手段と、
記憶されている顔の部分の輪郭線を、事前に記憶してあるヘアスタイルを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの髪の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と、
生成した第１の合成画像を前記端末装置へ送信する合成画像送信手段を有するサーバで実行することが可能なコンピュータプログラムにおいて、
前記サーバを、
前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段、及び
前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段
として機能させ、
前記合成画像生成手段を、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成する手段として機能させ、
前記合成画像送信手段を、生成された前記第２の合成画像を取得して前記端末装置へ送信する手段として機能させることを特徴とするコンピュータプログラム。 It is connected so that it can communicate data with an external terminal device.
Contour data storage means for receiving and storing contour data, which is information about feature points indicating the contour line of the face portion, extracted from the image data of the captured face from the terminal device.
A matching means for matching the stored contour line of the face part with the contour line of the face part extracted from the model image data indicating the hairstyle stored in advance.
A composite image generation means that generates a first composite image by superimposing the face portion of the captured face image data and the hair portion of the model image data by aligning the contour lines.
In a computer program that can be executed by a server having a composite image transmission means for transmitting the generated first composite image to the terminal device.
The server
At the time of accepting the selection of one of said first synthesized image by the terminal device, in association with the basic and become the model image data and the outline data for one of the first synthesized image received selection It functions as a model image data storage means and a contour data search means for searching a plurality of previously stored contour data close to the contour data extracted from the face image data input received by the terminal device.
Based on the model image data stored in association with each of the plurality of searched contour data, the composite image generation means is combined with the image data of the face that has received input by the terminal device. To function as a means to generate a composite image of
A computer program characterized in that the composite image transmitting means functions as a means for acquiring the generated second composite image and transmitting it to the terminal device. 前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことを特徴とする請求項１９に記載のコンピュータプログラム。 The computer program according to claim 19, wherein the contour data includes not only the contour lines of the face portion but also the contour lines of the eyes, nose, and mouth. 複数の端末装置と一又は複数のサーバとで構成されており、
前記端末装置は、
ユーザ自身の顔を撮像する撮像手段と、
撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段と
を有し、
前記サーバは、
記憶されている顔の部分の輪郭線を、事前に記憶してある顔に施される化粧をイメージ別にパターン化した複数の化粧パターンを示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの顔の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と
を有し、
前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムにおいて、
前記端末装置は、
表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける選択受付手段を備え、
前記サーバは、
前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段を備え、
前記端末装置は、
撮像された顔の画像データの入力を受け付ける画像データ受付手段を備え、
前記サーバは、
前記輪郭データ抽出手段により、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段を備え、
前記サーバの前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、
前記端末装置の前記合成画像表示手段は、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする提案システム。 It is composed of multiple terminal devices and one or more servers.
The terminal device is
An imaging means that captures the user's own face,
It has a contour data extraction means that extracts contour data, which is information about feature points indicating the contour line of the face portion, from the image data of the captured face, transfers the contour data to the server, and stores the contour data.
The server
Matching the contour line of the memorized face part with the contour line of the face part extracted from the model image data showing a plurality of makeup patterns in which the makeup applied to the face memorized in advance is patterned for each image. Matching means to process and
It has a composite image generation means for generating a first composite image by superimposing the face portion of the captured face image data and the face portion of the model image data by matching the contour lines.
The terminal device is a proposed system having a composite image display means for acquiring a first composite image generated by the server and displaying it on a touch display.
The terminal device is
A selection receiving means for accepting the selection of one of the first composite images from the plurality of displayed first composite images is provided.
The server
At the time of accepting the selection of one of said first synthesized image by the terminal device, in association with the basic and become the model image data and the outline data for one of the first synthesized image received selection Equipped with model image data storage means
The terminal device is
Equipped with an image data receiving means that accepts the input of image data of the captured face,
The server
The contour data extracting means is provided with a contour data searching means for searching a plurality of previously stored contour data close to the contour data extracted from the face image data input received by the terminal device.
The composite image generation means of the server is a plurality of composite image data synthesized with the face image data received by the terminal device based on the model image data stored in association with each of the plurality of searched contour data. Generate a second composite image of
The proposed system, wherein the composite image display means of the terminal device acquires the second composite image generated by the server and displays it on a touch display. 前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことを特徴とする請求項２１に記載の提案システム。 The proposed system according to claim 21, wherein the contour data includes not only the contour lines of the face portion but also the contour lines of the eyes, nose, and mouth. 前記モデル画像データ記憶手段は、前記輪郭データと、ヘアスタイルを示すモデル画像データとを対応付けて記憶していることを特徴とする請求項２１又は２２に記載の提案システム。 The proposed system according to claim 21 or 22, wherein the model image data storage means stores the contour data in association with model image data indicating a hairstyle. 前記モデル画像データ記憶手段は、前記輪郭データと、服装の画像データを含む複数のファッションデータとを対応付けて記憶していることを特徴とする請求項２１乃至２３のいずれか一項に記載の提案システム。 The method according to any one of claims 21 to 23, wherein the model image data storage means stores the contour data in association with a plurality of fashion data including image data of clothes. Proposal system. 複数の端末装置と一又は複数のサーバとで構成されており、
前記端末装置は、
ユーザ自身の顔を撮像する撮像手段と、
撮像された顔の画像データから顔の部分の輪郭線を示す特徴点に関する情報である輪郭データを抽出して前記サーバへ転送して記憶させる輪郭データ抽出手段と
を有し、
前記サーバは、
記憶されている顔の部分の輪郭線を、事前に記憶してある服装を示すモデル画像データから抽出した顔の部分の輪郭線とマッチング処理するマッチング手段と、
輪郭線を合わせることで、撮像された顔の画像データの顔の部分と、モデル画像データの服装の部分とを重ね合わせて第１の合成画像を生成する合成画像生成手段と
を有し、
前記端末装置は、前記サーバで生成された第１の合成画像を取得してタッチディスプレイに表示する合成画像表示手段を有する提案システムにおいて、
前記端末装置は、
表示されている複数の前記第１の合成画像から一の前記第１の合成画像の選択を受け付ける選択受付手段を備え、
前記サーバは、
前記端末装置で一の前記第１の合成画像の選択を受け付けた時点で、選択を受け付けた一の前記第１の合成画像の基礎となったモデル画像データと輪郭データとを対応付けて記憶するモデル画像データ記憶手段を備え、
前記端末装置は、
撮像された顔の画像データの入力を受け付ける画像データ受付手段を備え、
前記サーバは、
前記輪郭データ抽出手段により、前記端末装置で入力を受け付けた顔の画像データから抽出された輪郭データに近接する、事前に記憶してある複数の輪郭データを検索する輪郭データ検索手段を備え、
前記サーバの前記合成画像生成手段は、検索された複数の輪郭データそれぞれに対応付けて記憶されているモデル画像データに基づいて、前記端末装置で入力を受け付けた顔の画像データと合成された複数の第２の合成画像を生成し、
前記端末装置の前記合成画像表示手段は、前記サーバで生成された前記第２の合成画像を取得してタッチディスプレイに表示することを特徴とする提案システム。 It is composed of multiple terminal devices and one or more servers.
The terminal device is
An imaging means that captures the user's own face,
It has a contour data extraction means that extracts contour data, which is information about feature points indicating the contour line of the face portion, from the image data of the captured face, transfers the contour data to the server, and stores the contour data.
The server
A matching means for matching the stored contour line of the face part with the contour line of the face part extracted from the model image data indicating the clothes stored in advance.
It has a composite image generation means for generating a first composite image by superimposing the face portion of the captured face image data and the clothing portion of the model image data by matching the contour lines.
The terminal device is a proposed system having a composite image display means for acquiring a first composite image generated by the server and displaying it on a touch display.
The terminal device is
A selection receiving means for accepting the selection of one of the first composite images from the plurality of displayed first composite images is provided.
The server
At the time of accepting the selection of one of said first synthesized image by the terminal device, in association with the basic and become the model image data and the outline data for one of the first synthesized image received selection Equipped with model image data storage means
The terminal device is
Equipped with an image data receiving means that accepts the input of image data of the captured face,
The server
The contour data extracting means is provided with a contour data searching means for searching a plurality of previously stored contour data close to the contour data extracted from the face image data input received by the terminal device.
The composite image generation means of the server is a plurality of composite image data synthesized with the face image data received by the terminal device based on the model image data stored in association with each of the plurality of searched contour data. Generate a second composite image of
The proposed system, wherein the composite image display means of the terminal device acquires the second composite image generated by the server and displays it on a touch display. 前記輪郭データは、顔の部分の輪郭線だけでなく、目、鼻、口の輪郭線も含むことを特徴とする請求項２５に記載の提案システム。 The proposed system according to claim 25, wherein the contour data includes not only the contour lines of the face portion but also the contour lines of the eyes, nose, and mouth. 前記モデル画像データ記憶手段は、前記輪郭データと、ヘアスタイルを示すモデル画像データとを対応付けて記憶していることを特徴とする請求項２５又は２６に記載の提案システム。 The proposed system according to claim 25 or 26, wherein the model image data storage means stores the contour data in association with model image data indicating a hairstyle. 前記モデル画像データ記憶手段は、前記輪郭データと、顔に施される化粧をイメージ別にパターン化した複数の化粧パターンデータとを対応付けて記憶していることを特徴とする請求項２５乃至２７のいずれか一項に記載の提案システム。 25 to 27, wherein the model image data storage means stores the contour data in association with a plurality of makeup pattern data in which makeup applied to a face is patterned according to an image. The proposal system described in any one section.
JP2018562480A 2017-01-23 2018-01-23 Proposal system, proposal method, server and computer program Active JP6804562B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017009151 2017-01-23
JP2017009151 2017-01-23
PCT/JP2018/001924 WO2018135665A1 (en) 2017-01-23 2018-01-23 Proposal system, proposal method, server, and computer program

Publications (2)

Publication Number Publication Date
JPWO2018135665A1 JPWO2018135665A1 (en) 2019-11-07
JP6804562B2 true JP6804562B2 (en) 2020-12-23

Family

ID=62908118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018562480A Active JP6804562B2 (en) 2017-01-23 2018-01-23 Proposal system, proposal method, server and computer program

Country Status (2)

Country Link
JP (1) JP6804562B2 (en)
WO (1) WO2018135665A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102356023B1 (en) * 2019-12-17 2022-01-25 강인하 Server for matching product with buyer and matching system having the same

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005088514A1 (en) * 2004-03-18 2005-09-22 Beauty Visi Co., Ltd. System and method for electronic hair coordination
JP5484086B2 (en) * 2010-01-18 2014-05-07 株式会社ｓｐｉｌｌ Hair style selection system, hair style selection method, and recording medium storing program for realizing the method
JP2014002651A (en) * 2012-06-20 2014-01-09 Panasonic Corp Information providing system and information providing method
JP2016038811A (en) * 2014-08-08 2016-03-22 株式会社東芝 Virtual try-on apparatus, virtual try-on method and program
JP2017016418A (en) * 2015-07-01 2017-01-19 株式会社ネオーラＭｂ研究所 Hairstyle proposal system

Also Published As

Publication number Publication date
WO2018135665A1 (en) 2018-07-26
JPWO2018135665A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
JP7196885B2 (en) Search system, search method, and program
CN109310196B (en) Makeup assisting device and makeup assisting method
CN110363867B (en) Virtual decorating system, method, device and medium
JP4972712B1 (en) Content providing system using invisible information, invisible information embedding device, recognition device, embedding method, recognition method, embedding program, and recognition program
KR102668172B1 (en) Identification of physical products for augmented reality experiences in messaging systems
CN107924577B (en) Cosmetic part creation device and cosmetic part creation method
CN111627117A (en) Method and device for adjusting special effect of portrait display, electronic equipment and storage medium
CN115393023A (en) Method, apparatus, and medium for personalizing a vehicle
JP2013037533A (en) Product information acquisition system and product information provision server device
JP6804562B2 (en) Proposal system, proposal method, server and computer program
CN113269895A (en) Image processing method and device and electronic equipment
KR102466408B1 (en) Styling device and the driving method thereof
JP5484086B2 (en) Hair style selection system, hair style selection method, and recording medium storing program for realizing the method
CN105139248A (en) Method and apparatus for displaying wearable article
KR20190057516A (en) Artificial intelligence total fashion styling system and method using augmented reality
CN110413818B (en) Label paper recommending method, device, computer readable storage medium and computer equipment
KR101749104B1 (en) System and method for advertisement using 3d model
JP5102708B2 (en) Composite image photographing system and composite image photographing method
JP6256738B2 (en) Movie selection device, movie selection method and program
CN112654980A (en) Image recommendation device, image recommendation method, and image recommendation program
CN116069159A (en) Method, apparatus and medium for displaying avatar
CN111324274A (en) Virtual makeup trial method, device, equipment and storage medium
US11302088B2 (en) Augmented reality display device and program
WO2022081745A1 (en) Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices
JP6320844B2 (en) Apparatus, program, and method for estimating emotion based on degree of influence of parts

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201202

R150 Certificate of patent or registration of utility model

Ref document number: 6804562

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150