JP2021002047A - Image processing device, image processing system, user terminal, image processing method, and program - Google Patents
Image processing device, image processing system, user terminal, image processing method, and program Download PDFInfo
- Publication number
- JP2021002047A JP2021002047A JP2020142820A JP2020142820A JP2021002047A JP 2021002047 A JP2021002047 A JP 2021002047A JP 2020142820 A JP2020142820 A JP 2020142820A JP 2020142820 A JP2020142820 A JP 2020142820A JP 2021002047 A JP2021002047 A JP 2021002047A
- Authority
- JP
- Japan
- Prior art keywords
- image
- hairstyle
- image processing
- user
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明の実施形態は、画像処理装置、画像処理システム、ユーザ端末、画像処理方法及びプログラムに関する。 Embodiments of the present invention relate to image processing devices, image processing systems, user terminals, image processing methods and programs.
美容室ならびに理容室は、着席したユーザの正面に鏡が据え付けられている。施術者は、鏡を介してユーザの髪型を確認しながら施術を行う。しかしながら、従来の美容室や理髪店は、ユーザが髪型のイメージを口頭で伝える必要があり、ユーザが好む髪型を的確に施術者に伝えることが難しい。 In the beauty salon and the barber shop, a mirror is installed in front of the seated user. The practitioner performs the treatment while checking the user's hairstyle through a mirror. However, in conventional beauty salons and hairdressers, it is necessary for the user to verbally convey the image of the hairstyle, and it is difficult to accurately convey the hairstyle preferred by the user to the practitioner.
上述の懸念に対して、鏡と透明ディスプレイ一体になった鏡型ディスプレイと、画像入力部と、画像データを記憶する画像記憶部と、を備える画像表示装置が知られている。この画像表示装置の鏡型ディスプレイは、現在の画像と過去のユーザの双方がユーザの視覚に入るようにされている。現在の画像とともに表示される過去の画像は、過去の画像と現在の画像との外見的特徴を基に抽出される。しかしながら、この画像表示装置を美容室ならびに理容室に適用すると、来店した際の現在の画像と過去の画像が必ずしも一致せず、ユーザの望む過去の画像が表示されない可能性がある。従って、髪型が異なる場合でも過去の髪型を含む画像を適切に判別して、現在の髪型を過去の髪型に置換して表示する画像表示方法が求められている。 In response to the above concerns, an image display device including a mirror-type display in which a mirror and a transparent display are integrated, an image input unit, and an image storage unit for storing image data is known. The mirror display of this image display device is designed so that both the current image and the past user are in the user's vision. The past image displayed together with the current image is extracted based on the appearance characteristics of the past image and the current image. However, when this image display device is applied to a beauty salon and a barber shop, the current image at the time of visiting the store and the past image do not always match, and the past image desired by the user may not be displayed. Therefore, there is a demand for an image display method in which an image including a past hairstyle is appropriately discriminated even if the hairstyle is different, and the current hairstyle is replaced with the past hairstyle and displayed.
本発明の実施形態は、異なる髪型を表示する画像処理装置、画像処理システム、ユーザ端末、画像処理方法及びプログラムを提供する。 An embodiment of the present invention provides an image processing device, an image processing system, a user terminal, an image processing method, and a program for displaying different hairstyles.
上記の課題を達成するために、実施形態の画像処理装置は、髪型及び顔面を含むユーザの第1画像から髪型に対応する部分画像を抽出する髪型抽出部と、前記第1画像と異なる第2画像のユーザの髪形を前記部分画像で置換して表示する表示部と、を備える。 In order to achieve the above problems, the image processing apparatus of the embodiment includes a hairstyle extraction unit that extracts a partial image corresponding to the hairstyle from the first image of the user including the hairstyle and the face, and a second image different from the first image. The hairstyle of the user of the image is replaced with the partial image and displayed.
以下、実施形態に係る画像表示方法について図1、図2、並びに図3を用いて説明する。図1は、第1の実施形態の画像表示方法の概要を示す図であり、図2は、画像表示システムを示すブロック図であり、図3は、実施形態に係る画像表示方法のフローチャートである。 Hereinafter, the image display method according to the embodiment will be described with reference to FIGS. 1, 2, and 3. FIG. 1 is a diagram showing an outline of an image display method of the first embodiment, FIG. 2 is a block diagram showing an image display system, and FIG. 3 is a flowchart of an image display method according to the embodiment. ..
(第1の実施形態)
本実施形態に係る画像表示システムは、入力された現在の画像(図1(a))を自動認識して類似する画像を選別し(図1(b))、選別した画像の髪型(部分画像)を抽出して(図1(c))、ユーザ端末10上で現在の画像の髪型と置換して表示する(図1(d))。
(First Embodiment)
The image display system according to the present embodiment automatically recognizes the input current image (FIG. 1 (a)) and selects similar images (FIG. 1 (b)), and the hairstyle (partial image) of the selected image. ) Is extracted (FIG. 1 (c)) and displayed on the
図2に示すように、本実施形態に係る画像表示システムは、ユーザ端末10と画像処理サーバ20とを含む。ユーザ端末10は、画像入力部15と、表示部16と、端末側送受信部17を含む。
As shown in FIG. 2, the image display system according to the present embodiment includes a
画像入力部15は、例えばカメラといった撮影機器を指し、ユーザ端末10に髪型及び顔面を含むユーザの現在の画像(画像Aとする)を、入力する。ここで、現在の画像とは、ユーザがある現在時刻tにおいて、画像入力部15から入力された画像である。
The image input unit 15 refers to a photographing device such as a camera, and inputs the current image (referred to as image A) of the user including the hairstyle and face to the
表示部16は、画像Aを表示するにあたり、現在の髪型を画像処理サーバ20から送信された髪型(画像Dとする)に置換して表示する。この際、画像処理サーバ20から送信された画像Dの位置や大きさを調整する。 When displaying the image A, the display unit 16 replaces the current hairstyle with the hairstyle (referred to as image D) transmitted from the image processing server 20 and displays the image A. At this time, the position and size of the image D transmitted from the image processing server 20 are adjusted.
端末側送受信部17は、画像Aを画像処理サーバ20へ送信する一方で、画像処理サーバ20から出力された画像Dを受信する。 The terminal-side transmission / reception unit 17 transmits the image A to the image processing server 20, while receiving the image D output from the image processing server 20.
画像処理サーバ20は、サーバ側送受信部25と、画像処理部30と、記憶部40を含む。 The image processing server 20 includes a server-side transmission / reception unit 25, an image processing unit 30, and a storage unit 40.
記憶部40は、画像DB41と、特徴ベクトルDB42を含む。画像DB41は、あらかじめ、たとえばi番目(i=1,2、・・・、I)の画像Cを含むユーザの過去の画像を記憶する。Iとは、画像DB41内に保存されている特定のユーザの画像の数でもよいし、複数のユーザの画像の総数でもよい。特徴ベクトルDB42は、これら過去の画像に対応するそれぞれの特徴ベクトルαi(i=1,2、・・・、I)を記憶する。 The storage unit 40 includes an image DB 41 and a feature vector DB 42. The image DB 41 stores in advance the past images of the user including the i-th (i = 1, 2, ..., I) image C. I may be the number of images of a specific user stored in the image DB 41, or may be the total number of images of a plurality of users. The feature vector DB 42 stores each feature vector αi (i = 1, 2, ..., I) corresponding to these past images.
サーバ側送受信部25は、端末側送受信部17と互いに画像を送受信する。 The server-side transmission / reception unit 25 transmits / receives images to and from the terminal-side transmission / reception unit 17.
画像処理部30は、画像解析部31と、特徴ベクトル算出部32と、類似度選別部33と、髪型抽出部34を含む。画像解析部31は、サーバ側送受信部25から送信された画像Aを解析し、その一部、たとえば顔面だけを抽出する(抽出された画像を画像Bとする)。特徴ベクトル算出部32は画像Bの特徴ベクトルαbを算出する。 The image processing unit 30 includes an image analysis unit 31, a feature vector calculation unit 32, a similarity selection unit 33, and a hairstyle extraction unit 34. The image analysis unit 31 analyzes the image A transmitted from the server-side transmission / reception unit 25, and extracts only a part thereof, for example, the face (the extracted image is referred to as an image B). The feature vector calculation unit 32 calculates the feature vector αb of the image B.
類似度選別部33は、特徴ベクトル算出部32が算出した特徴ベクトルαbと、特徴ベクトルDB42に記憶された特徴ベクトルαi(i=1,2、・・・、I)との間の類似度Hi(i=1,2、・・・、I)を算出する。 The similarity selection unit 33 has a similarity Hi between the feature vector αb calculated by the feature vector calculation unit 32 and the feature vector αi (i = 1, 2, ..., I) stored in the feature vector DB 42. Calculate (i = 1, 2, ..., I).
また、類似度選別部33は類似度Hi(i=1,2、・・・、I)のそれぞれあらかじめ定めた閾値HOと比較して、類似するかどうかを判別する。 Further, the similarity selection unit 33 compares the similarity Hi (i = 1, 2, ..., I) with the predetermined threshold values HO to determine whether or not they are similar.
類似度選別部33は、類似すると判別した類似度Hiに対応する画像Cを選別するように、髪型抽出部34に指示する。画像Cは、保存された年月が最新のものでもよいし、直近3か月のものでもよい。 The similarity selection unit 33 instructs the hairstyle extraction unit 34 to select the image C corresponding to the similarity Hi determined to be similar. The image C may have the latest saved year and month, or may have the latest 3 months.
髪型抽出部34は、記憶部40から、類似すると判別した類似度Hiに対応する画像Cを取り出して、髪型の部分領域のみ抽出して画像Dを生成し、サーバ側送受信部25に送信する。 The hairstyle extraction unit 34 extracts an image C corresponding to the similarity Hi determined to be similar from the storage unit 40, extracts only a partial region of the hairstyle to generate an image D, and transmits the image D to the server-side transmission / reception unit 25.
次に、図2を用いて画像表示システム1が現在の画像Aの髪型を、過去の画像Cの部分画像Dに置換して表示するまでのフローを詳細に説明する。
Next, the flow until the
画像表示システム1は、2つの動作モードが存在する。
The
まず、図2を用いて、画像Aの髪型を画像Dに置換して表示する第1の動作モードを説明する。 First, with reference to FIG. 2, a first operation mode in which the hairstyle of the image A is replaced with the image D and displayed will be described.
S1…画像入力部15は、外部からの信号を介してユーザ端末10とユーザが対峙したことを検出した後に、画像Aを入力する。画像入力部15は、例えばカメラといった撮影機器を示し、少なくとも画像を撮影できればよい。画像入力部15から入力された画像Aは、画像入力部15から端末側送受信部17を介して画像処理サーバ20のサーバ側送受信部25へ送信される。
S1 ... The image input unit 15 inputs the image A after detecting that the
S2…サーバ側送受信部25は、受信した画像Aを画像解析部31へ送信する。画像解析部31は、画像Aの画像認識を行った後に、画像Aの顔面を抽出して画像Bを生成する。画像Bは、画像解析部31から特徴ベクトル抽出部32へ送信される。なお、画像認識とは、画像Aの髪型や目、鼻等の各部位の位置関係を認識することである。 S2 ... The server-side transmission / reception unit 25 transmits the received image A to the image analysis unit 31. After performing image recognition of the image A, the image analysis unit 31 extracts the face of the image A to generate the image B. The image B is transmitted from the image analysis unit 31 to the feature vector extraction unit 32. The image recognition is to recognize the positional relationship of each part such as the hairstyle, eyes, and nose of the image A.
S3…特徴ベクトル抽出部32は、画像Bの特徴点を検出し、画像Bの特徴ベクトルαbを算出する。算出した特徴ベクトルαbは、類似度選別部33へ送信される。 S3 ... The feature vector extraction unit 32 detects the feature points of the image B and calculates the feature vector αb of the image B. The calculated feature vector αb is transmitted to the similarity sorting unit 33.
S4…類似度選別部33は、受信した特徴ベクトルαbと、特徴ベクトルDB42に保存された特徴ベクトルαi(i=1,2、・・・、I)との間の類似度Hiを算出する。類似度の算出は、例えばαbおよびαiの内積を算出すればよい。 S4 ... The similarity selection unit 33 calculates the similarity Hi between the received feature vector αb and the feature vector αi (i = 1, 2, ..., I) stored in the feature vector DB 42. The similarity may be calculated, for example, by calculating the inner product of αb and αi.
なお、特徴ベクトルDB42に保存された特徴ベクトルαiは、i番目の画像Cについてあらかじめ算出しておいたもので、特徴ベクトル算出部32が算出する特徴ベクトルと同じである。 The feature vector αi stored in the feature vector DB 42 is calculated in advance for the i-th image C, and is the same as the feature vector calculated by the feature vector calculation unit 32.
S5…類似度選別部33は、あらかじめ設定された類似度の閾値(H0とする)と、類似度Hiを比較して画像Bと類似する過去の画像を選別する。本実施形態では、Hi≧H0の関係が成り立つ場合に「類似する」と評価できるとする。類似度選別部33が「類似する」と評価した場合、つまりHi≧H0の関係が成り立つ場合、類似度選別部33は、任意の特徴ベクトルαiの内、閾値を超える特徴ベクトルαiに対応付けされた画像Cを髪型抽出部34へ送信するよう指示する信号を画像DB41へ送信する。一方、類似度選別部33が「類似しない」と評価した場合、類似度選別部33は、αbと他の特徴ベクトルαiとの類似度を継続して算出する。このようにして、たとえば、閾値HOを超えるものが複数ある場合には、もっとも大きいものを「類似する」と判別してもよいし、または複数個を「類似する」と判別してもよい。 S5 ... The similarity selection unit 33 compares a preset threshold value of similarity (referred to as H0) with the similarity Hi and selects a past image similar to image B. In the present embodiment, when the relationship of Hi ≧ H0 is established, it can be evaluated as “similar”. When the similarity selection unit 33 evaluates as "similar", that is, when the relationship of Hi ≥ H0 holds, the similarity selection unit 33 is associated with the feature vector αi exceeding the threshold value among the arbitrary feature vectors αi. A signal instructing the hairstyle extraction unit 34 to transmit the image C is transmitted to the image DB 41. On the other hand, when the similarity selection unit 33 evaluates as "not similar", the similarity selection unit 33 continuously calculates the similarity between αb and the other feature vector αi. In this way, for example, when there are a plurality of items exceeding the threshold value HO, the largest one may be determined to be "similar", or the plurality of items may be determined to be "similar".
なお、最終的に、閾値を超える特徴ベクトルαiが存在しない(Hi<H0)、または類似度DB42に特徴ベクトルαiが保存されていない場合、類似度選別部33は、サーバ側送受信部25ならびに端末側送受信部17を介して、表示部16に「類似画像なし」と表示させるよう指示する画像を送信する。 Finally, when the feature vector αi exceeding the threshold value does not exist (Hi <H0) or the feature vector αi is not stored in the similarity DB 42, the similarity selection unit 33 is the server side transmission / reception unit 25 and the terminal. An image instructing the display unit 16 to display "no similar image" is transmitted via the side transmission / reception unit 17.
S6…髪型抽出部34は、「類似する」と評価された画像Cを複数の領域に分割し、髪型の領域のみの部分画像を抽出して画像Dを生成する。このように生成された画像Dは、サーバ側送受信部25ならびに端末側送受信部17を介して、表示部16に送信される。 S6 ... The hairstyle extraction unit 34 divides the image C evaluated as "similar" into a plurality of regions, extracts a partial image of only the hairstyle region, and generates an image D. The image D generated in this way is transmitted to the display unit 16 via the server-side transmission / reception unit 25 and the terminal-side transmission / reception unit 17.
S7…表示部16は、受信した画像Dの位置や大きさを調整し、画像Aの髪型を画像Dに置換して表示する。ユーザが表示部16をみて、過去の髪型画像Dへの施術を希望する場合には、そのように施術することができる。 S7 ... The display unit 16 adjusts the position and size of the received image D, replaces the hairstyle of the image A with the image D, and displays the image D. When the user looks at the display unit 16 and wishes to perform the treatment on the past hairstyle image D, the treatment can be performed in that way.
次に、図3を用いて、施術完了後の髪型を含む画像を記憶部40に記憶させる第2の動作モードを説明する。たとえば、施術完了後、美容室または理容室のユーザに対して、今回施術した髪型が気に入ったならば画像を保存してもよいか問い合わせし、ユーザが了解すれば、施術後の髪型を含む画像を新規に記憶部に記憶しておくことにより、ユーザが次回美容室または理容室を訪れた際の過去の画像として当該画像を選択することができるようになる。 Next, with reference to FIG. 3, a second operation mode in which the storage unit 40 stores an image including the hairstyle after the treatment is completed will be described. For example, after the treatment is completed, the user in the beauty salon or the barber is asked if the image can be saved if he / she likes the hairstyle treated this time, and if the user understands, the image including the hairstyle after the treatment is included. By newly storing the image in the storage unit, the user can select the image as a past image when he / she visits the beauty salon or the barber shop next time.
S11…施術後、画像入力部15は、ユーザの施術後の髪型を含む画像A1を入力する。画像入力部15から入力された画像A1は、画像入力部15から端末側送受信部17を介して画像処理サーバ20のサーバ側送受信部25へ送信される。 S11 ... After the treatment, the image input unit 15 inputs the image A1 including the hairstyle after the treatment of the user. The image A1 input from the image input unit 15 is transmitted from the image input unit 15 to the server-side transmission / reception unit 25 of the image processing server 20 via the terminal-side transmission / reception unit 17.
S12…サーバ側送受信部25は、受信した画像A1を画像解析部31および画像DB41へ送信する。画像解析部31は、画像A1の顔面を抽出して画像B1を生成する。画像B1は、画像解析部31から特徴ベクトル抽出部32へ送信される。 S12 ... The server-side transmission / reception unit 25 transmits the received image A1 to the image analysis unit 31 and the image DB 41. The image analysis unit 31 extracts the face of the image A1 and generates the image B1. The image B1 is transmitted from the image analysis unit 31 to the feature vector extraction unit 32.
S13…特徴ベクトル抽出部32は、画像B1の特徴点を検出し、画像Bの特徴ベクトルαI+1を算出する。算出した特徴ベクトルαI+1は、特徴ベクトルDB42へ送信される。 S13 ... The feature vector extraction unit 32 detects the feature points of the image B1 and calculates the feature vector αI + 1 of the image B. The calculated feature vector αI + 1 is transmitted to the feature vector DB42.
S14…記憶部40は、I+1番目の過去画像として画像A1を画像DB41に記憶し、また画像B1の特徴ベクトルベクトルαI+1を特徴ベクトルDB42に記憶する。 S14 ... The storage unit 40 stores the image A1 in the image DB 41 as the I + 1th past image, and stores the feature vector vector αI + 1 of the image B1 in the feature vector DB 42.
これにより、記憶部40には新たな画像を追加して記憶するため、ユーザが選別可能な画像が増える。上述した2つの動作モードを繰り返していくことで、記憶部40には、過去の画像及び特徴ベクトルが次第に蓄積していく。 As a result, since a new image is added and stored in the storage unit 40, the number of images that can be selected by the user increases. By repeating the above-mentioned two operation modes, past images and feature vectors are gradually accumulated in the storage unit 40.
上述した本実施形態によれば、画像表示システムは、記憶部に保存された過去のユーザの画像から、顔面の特徴ベクトルを抽出・比較して特徴ベクトルが近い画像を特定し、過去の画像の髪型のみを抽出し、表示部に現在の画像の髪型を過去の髪型に置換して表示する。このように、以前にユーザが美髪、理髪を受けたときの仕上がり画像が記憶されており、その画像を使用しながら今回所望する髪型のイメージを視覚的に伝えれば、言葉で伝えるよりもより的確に伝えることができる。
(第2の実施形態)
主に第1の実施形態と異なる点を説明する。
According to the above-described embodiment, the image display system extracts and compares facial feature vectors from the past user's images stored in the storage unit, identifies an image having a close feature vector, and identifies an image having a close feature vector to the past image. Only the hairstyle is extracted, and the hairstyle of the current image is replaced with the past hairstyle and displayed on the display unit. In this way, the finished image when the user has received hair beauty and hairdressing before is memorized, and if you visually convey the image of the hairstyle you want this time while using that image, it is better than telling it in words. I can tell you exactly.
(Second Embodiment)
The points different from the first embodiment will be mainly described.
第1の実施形態に係る画像表示システムは、類似度選別部33が、類似すると判別した複数の画像Cの内、自動で1つ選別して髪型抽出部34に指示するのに対して、本実施形態に係る画像表示システムは、類似度選別部33が、類似すると判別した複数の画像Cの内、ユーザが選別して髪型抽出部34に指示することができる。そのため、ユーザの特徴ベクトルに近い別のユーザやモデルの髪型を選別することも可能となる。 In the image display system according to the first embodiment, the similarity selection unit 33 automatically selects one of the plurality of images C determined to be similar and instructs the hairstyle extraction unit 34. In the image display system according to the embodiment, the user can select and instruct the hairstyle extraction unit 34 from among the plurality of images C determined to be similar by the similarity selection unit 33. Therefore, it is possible to select the hairstyle of another user or model that is close to the user's feature vector.
具体的には、類似度選別部33は、Hi≧H0の関係が成り立ち、類似すると判別された複数のαiに対応付いた複数の画像Cをユーザに表示部16を介して表示する。ユーザは、表示された複数の画像Cの中で選択して、その髪型を表示する。 Specifically, the similarity selection unit 33 displays a plurality of images C corresponding to a plurality of αi determined to be similar to the user via the display unit 16 in which the relationship of Hi ≧ H0 is established. The user selects from the plurality of displayed images C and displays the hairstyle.
上述したようにユーザの特徴ベクトルに近い別のユーザやモデルの髪型を選別して表示部16に表示すれば、ユーザが似合う可能性のある別の髪型を提案することができる。そのため、美容師、理容師の提案の幅やユーザの選択の幅が広がる。 As described above, if the hairstyles of another user or model close to the user's feature vector are selected and displayed on the display unit 16, another hairstyle that the user may look good on can be proposed. Therefore, the range of proposals by hairdressers and barbers and the range of user choices are widened.
以上、本発明の実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、説明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiments of the present invention have been described above, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the description. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
10・・ユーザ端末、15・・画像入力部、16・・表示部、17・・端末側送受信部、20・・画像処理サーバ、25・・サーバ側送受信部、30・・画像処理部、31・・画像解析部、32・・特徴ベクトル算出部、33・・類似度選別部、34・・髪型抽出部、40・・記憶部、41・・画像DB、42・・特徴ベクトルDB。 10 ... User terminal, 15 ... Image input unit, 16 ... Display unit, 17 ... Terminal side transmission / reception unit, 20 ... Image processing server, 25 ... Server side transmission / reception unit, 30 ... Image processing unit, 31・ ・ Image analysis unit, 32 ・ ・ Feature vector calculation unit, 33 ・ ・ Similarity selection unit, 34 ・ ・ Hairstyle extraction unit, 40 ・ ・ Storage unit, 41 ・ ・ Image DB, 42 ・ ・ Feature vector DB.
Claims (17)
前記第1画像と異なる第2画像のユーザの髪型を前記部分画像で置換して表示する表示部と、
を備える画像処理装置。 A hairstyle extraction unit that extracts a partial image corresponding to the hairstyle from the user's first image including the hairstyle and face,
A display unit that replaces the user's hairstyle of the second image different from the first image with the partial image and displays the hairstyle.
An image processing device comprising.
前記選別部は、前記ユーザの顔面から算出した特徴ベクトルと、前記画像データベース中の前記第1画像ごとに対応する特徴ベクトルが記憶された特徴ベクトルデータベース中の特徴ベクトルとの類似度を算出し、前記類似度に基づいて前記第1画像を選別する
請求項5に記載の画像処理装置。 The feature quantity is a feature vector.
The sorting unit calculates the degree of similarity between the feature vector calculated from the user's face and the feature vector in the feature vector database in which the feature vector corresponding to each of the first images in the image database is stored. The image processing apparatus according to claim 5, wherein the first image is selected based on the similarity.
取得した前記画像に含まれる顔面と前記記憶部内の過去の画像に含まれる顔面とを比較して類似する過去の画像の髪型部分の部分画像を抽出する画像処理部と、
抽出した前記髪型部分の部分画像を取得した前記画像に重ねて表示する表示部と、
を備える画像処理システム。 An image processing system that acquires an image including a hairstyle and a face, has a storage unit for storing a past image including the hairstyle and the face, and displays a partial image.
An image processing unit that compares the face included in the acquired image with the face included in the past image in the storage unit and extracts a partial image of a hairstyle portion of a similar past image.
A display unit that superimposes and displays the extracted partial image of the hairstyle portion on the acquired image, and
An image processing system equipped with.
ユーザの画像を入力する画像入力部と、
前記抽出した髪型部分の部分画像を前記ユーザの画像に重ねて表示する表示部と、
を備えるユーザ端末。 A storage unit for storing a past image including a hairstyle and a face is provided, and a hairstyle of a similar past image is compared with a face included in an image acquired by a user terminal and a face included in a past image in the storage unit. A user terminal connected to an image processing server that extracts a partial image of a part.
An image input unit for inputting the user's image and
A display unit that superimposes a partial image of the extracted hairstyle portion on the user's image and displays it.
User terminal with.
前記端末は、
画像を表示する表示部と、
前記画像処理サーバと通信する送受信部と、
画像入力部と、
を有しており、
前記画像処理サーバは、
画像の送受信を行う送受信部と、
画像処理部と、
記憶部と
を少なくとも有しており、
前記画像処理部は、
髪型及び顔面を含むユーザの第3画像から、前記ユーザの顔面から第1の特徴量を算出する特徴量算出部と、
前記第1の特徴量と前記記憶部に記憶された画像に基づく第2の特徴量との類似度を算出して第4画像を選別する類似度選別部と、
前記第4画像の髪型に対応する部分画像である第5画像を抽出する髪型抽出部と
を有しており、
前記表示部には、前記第5画像が表示される
画像処理システム。 An image processing system consisting of a terminal and an image processing server.
The terminal
A display unit that displays images and
A transmitter / receiver that communicates with the image processing server
Image input section and
Have and
The image processing server
A transmitter / receiver that sends / receives images
Image processing unit and
Has at least a memory
The image processing unit
A feature amount calculation unit that calculates a first feature amount from the user's face from the user's third image including a hairstyle and a face, and a feature amount calculation unit.
A similarity selection unit that calculates the similarity between the first feature amount and the second feature amount based on the image stored in the storage unit and selects the fourth image,
It has a hairstyle extraction unit that extracts a fifth image, which is a partial image corresponding to the hairstyle of the fourth image.
An image processing system in which the fifth image is displayed on the display unit.
現在の画像と前記過去の画像の類似度が閾値以上の場合、前記ユーザの顔を含む画像に、前記過去の髪型部分の画像を重複して表示部に表示する
画像処理方法。 A server provided with an image database that stores past images including hairstyles and faces for one or more users, and a feature amount database that stores facial features corresponding to each of the past images in the image database. And in an image processing system having a user terminal having a display unit
An image processing method in which when the similarity between the current image and the past image is equal to or greater than a threshold value, an image of the past hairstyle portion is superimposed on an image including the user's face and displayed on the display unit.
施術後の髪型を含む施術後画像を前記画像データベースに保存し、
過去の画像として、前記施術後画像の少なくとも一部を前記表示部に表示させる
画像処理方法。 A server provided with an image database that stores past images including hairstyles and faces for one or more users, and a feature amount database that stores facial features corresponding to each of the past images in the image database. In an image processing system including a user terminal including a transmission / reception unit and a display unit that communicate with the server.
The post-treatment image including the hairstyle after the treatment is saved in the image database.
An image processing method for displaying at least a part of a post-treatment image on the display unit as a past image.
前記第4画像は、前記ユーザと異なるモデルの画像であって、
前記表示部には、前記ユーザが似合う可能性のある髪型を提案として表示する
画像処理方法。 It has the image processing system according to claim 11.
The fourth image is an image of a model different from that of the user.
An image processing method in which a hairstyle that the user may look good on is displayed as a proposal on the display unit.
前記過去の画像から算出された顔面の過去の特徴量を記憶する特徴量データベースと、
ユーザの現在の顔面の画像を基に算出された顔面の現在の特徴量と前記過去の特徴量との類似度が閾値以上の場合に、当該過去の画像のうち髪型に相当する部分を抽出する画像処理部と、
を備える画像処理システム。 An image database that stores past images including the user's hairstyle and face,
A feature database that stores the past features of the face calculated from the past images, and
When the similarity between the current facial features calculated based on the user's current facial image and the past features is equal to or greater than the threshold value, the portion of the past image corresponding to the hairstyle is extracted. Image processing unit and
An image processing system equipped with.
前記画像処理部により抽出された前記髪型に相当する部分を前記現在の顔面の画像に重畳して表示する表示部と、
を備える請求項15に記載された画像処理システム。 The image input unit that captures the current facial image and
A display unit that superimposes and displays a portion corresponding to the hairstyle extracted by the image processing unit on the current facial image, and
The image processing system according to claim 15.
前記第1画像と異なる第2画像のユーザの髪型を前記部分画像で置換して表示するステップと
をコンピュータに実行させるプログラム。 A step of extracting a partial image corresponding to the hairstyle from the user's first image including the hairstyle and face, and
A program that causes a computer to perform a step of replacing a user's hairstyle of a second image different from the first image with the partial image and displaying the hairstyle.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020142820A JP2021002047A (en) | 2020-08-26 | 2020-08-26 | Image processing device, image processing system, user terminal, image processing method, and program |
JP2021114383A JP2021182407A (en) | 2020-08-26 | 2021-07-09 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020142820A JP2021002047A (en) | 2020-08-26 | 2020-08-26 | Image processing device, image processing system, user terminal, image processing method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017123068A Division JP6757297B2 (en) | 2017-06-23 | 2017-06-23 | Image display method |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021114383A Division JP2021182407A (en) | 2020-08-26 | 2021-07-09 | Image processing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021002047A true JP2021002047A (en) | 2021-01-07 |
Family
ID=73994408
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020142820A Pending JP2021002047A (en) | 2020-08-26 | 2020-08-26 | Image processing device, image processing system, user terminal, image processing method, and program |
JP2021114383A Pending JP2021182407A (en) | 2020-08-26 | 2021-07-09 | Image processing apparatus |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021114383A Pending JP2021182407A (en) | 2020-08-26 | 2021-07-09 | Image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP2021002047A (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007249366A (en) * | 2006-03-14 | 2007-09-27 | Tatsumi:Kk | Hairstyle selection support device and method |
CN105513013A (en) * | 2016-01-18 | 2016-04-20 | 王雨轩 | Method for compounding hair styles in mobile phone pictures |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005321986A (en) * | 2004-05-07 | 2005-11-17 | Pioneer Electronic Corp | Hairstyle proposal system, hairstyle proposal method and computer program |
JP5435250B2 (en) * | 2007-08-24 | 2014-03-05 | 日本電気株式会社 | Image display device |
JP5740210B2 (en) * | 2011-06-06 | 2015-06-24 | 株式会社東芝 | Face image search system and face image search method |
JP2015111372A (en) * | 2013-12-06 | 2015-06-18 | 株式会社日立システムズ | Hairstyle determination support system and hairstyle determination support device |
-
2020
- 2020-08-26 JP JP2020142820A patent/JP2021002047A/en active Pending
-
2021
- 2021-07-09 JP JP2021114383A patent/JP2021182407A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007249366A (en) * | 2006-03-14 | 2007-09-27 | Tatsumi:Kk | Hairstyle selection support device and method |
CN105513013A (en) * | 2016-01-18 | 2016-04-20 | 王雨轩 | Method for compounding hair styles in mobile phone pictures |
Also Published As
Publication number | Publication date |
---|---|
JP2021182407A (en) | 2021-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20030063778A1 (en) | Method and apparatus for generating models of individuals | |
CN109310196B (en) | Makeup assisting device and makeup assisting method | |
CN106682632B (en) | Method and device for processing face image | |
US12015615B2 (en) | Apparatus and method for coordinating the matching and initial communications between individuals in a dating application | |
KR102455966B1 (en) | Mediating Apparatus, Method and Computer Readable Recording Medium Thereof | |
US11461384B2 (en) | Facial images retrieval system | |
KR20190097815A (en) | System for recommending total beauty style | |
US20020093515A1 (en) | Method of measuring and sizing objects from an image of a human face using iris size | |
CN110570383B (en) | Image processing method and device, electronic equipment and storage medium | |
CN114098284B (en) | Height adjusting method for infrared induction height and learning table | |
CN110866139A (en) | Cosmetic treatment method, device and equipment | |
CN116670718A (en) | Method and apparatus for hair styling analysis | |
KR20210017287A (en) | System and method for recommending color of cosmetic product by sharing information with influencer | |
CN108596094B (en) | Character style detection system, method, terminal and medium | |
JP2021002047A (en) | Image processing device, image processing system, user terminal, image processing method, and program | |
JP6757297B2 (en) | Image display method | |
KR20190114586A (en) | Method and apparatus for hair styling service | |
US20210217074A1 (en) | Systems and methods for providing a style recommendation | |
KR100497741B1 (en) | System and Method for Beauty Client Management | |
CN111353931B (en) | Shaping simulation method, system, readable storage medium and apparatus | |
KR20220079274A (en) | Method of glasses wearing simulation | |
KR102647956B1 (en) | Digital cosmetic data manufacturing system | |
CN109582815A (en) | A kind of intelligence hair styling method and system | |
CN116755561A (en) | Personalized service method, device, equipment and storage medium for cosmetology and hairdressing | |
KR102402454B1 (en) | Personal color recommending system and method using the same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20211102 |