JP2023040914A - Image processing apparatus, image processing program, and mask generation method - Google Patents
Image processing apparatus, image processing program, and mask generation method Download PDFInfo
- Publication number
- JP2023040914A JP2023040914A JP2021148109A JP2021148109A JP2023040914A JP 2023040914 A JP2023040914 A JP 2023040914A JP 2021148109 A JP2021148109 A JP 2021148109A JP 2021148109 A JP2021148109 A JP 2021148109A JP 2023040914 A JP2023040914 A JP 2023040914A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- unit
- catchlight
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、撮影した画像に写る顔の特定の部位を処理する画像処理装置、画像処理プログラム及びマスク生成方法に関する。 The present invention relates to an image processing apparatus, an image processing program, and a mask generation method for processing a specific portion of a face appearing in a photographed image.
写真撮影の際に、人物の眼に白い映り込み、すなわち、キャッチライトがあると、例えば、その人物の表情が生き生きとする等の効果が得られる。例えば、少なくとも一方の目でキャッチライトがついていない場合や、理想的な形状でない場合もあり、撮影された写真から、好ましくないキャッチライトを除去したい要望がある。また、撮影された写真に理想的なキャッチライトを付けたいという要望もある。 When a person takes a picture, if there is a white reflection in the eyes of a person, that is, if there is a catch light, an effect such as making the person's expression lively can be obtained. For example, at least one eye may not have a catch light or may not have an ideal shape, and there is a desire to remove the undesirable catch light from the photograph taken. There is also a desire to add an ideal catchlight to the photographed photograph.
撮影画像中のキャッチライトを消したうえで、新たに好ましいキャッチライトを描画することが可能な技術もある（例えば、特許文献１参照）。しかしながら、特許文献１に記載される技術では、各人物に理想的なキャッチライトが付加されないおそれもあった。
There is also a technique capable of drawing a new preferable catchlight after erasing the catchlight in the captured image (see, for example, Patent Document 1). However, with the technique described in
本発明では、画像データに含まれるキャッチライトの除去に用いるキャッチライトマスクを生成する。 In the present invention, a catchlight mask is generated for removing catchlight contained in image data.
本発明に係る画像処理装置の第１の態様は、複数組の人物の目を含む画像データと、当該画像データにおける目の特定部位の位置情報との関係を学習した第１の学習済みモデルを用いて、人物の顔の少なくとも一部を含む入力画像データから、少なくとも１以上の特定部位の位置を特定する特定部と、複数組の人物の目の特定部位を含む画像データと、当該画像データにおけるキャッチライト領域との関係を学習した第２の学習済みモデルを用いて、特定部で特定された各領域の画像データに対し、キャッチライト領域をそれ以外の領域と区別するキャッチライトマスクを生成するマスク生成部と、を備える。 A first aspect of an image processing apparatus according to the present invention is to provide a first trained model that has learned a relationship between image data including a plurality of sets of human eyes and position information of specific parts of the eyes in the image data. a specifying unit for specifying the position of at least one or more specific parts from input image data including at least a part of a person's face; a plurality of sets of image data including specific parts of eyes of a person; Generate a catchlight mask that distinguishes the catchlight area from other areas for the image data of each area identified by the identification unit using the second trained model that has learned the relationship with the catchlight area in and a mask generator.
これにより、画像データに含まれる人物のキャッチライトの除去に用いるキャッチライトマスクを生成することができる。 Thereby, it is possible to generate a catch light mask used for removing the catch light of the person included in the image data.
入力画像データに、キャッチライトマスクで特定されるキャッチライト領域を周辺領域の色に基づいて決定される色に置換してキャッチライトを除去する画像処理部をさらに備えてもよい。 The input image data may further include an image processing unit that removes the catchlight by replacing the catchlight area specified by the catchlight mask with a color determined based on the color of the surrounding area.
これにより、画像データに含まれる人物のキャッチライトを除去することができる。 Thereby, the catchlight of the person included in the image data can be removed.
キャッチライトが除去された画像データに、所定の疑似キャッチライトを付加した補正画像データを生成する画像補正部をさらに備えてもよい。 An image correction unit may be further provided for generating corrected image data by adding a predetermined pseudo catchlight to the image data from which the catchlight has been removed.
これにより、画像データに含まれる人物に対して理想的なキャッチライトを付加することができる。 This makes it possible to add an ideal catchlight to the person included in the image data.
画像補正部は、キャッチライト領域の位置情報に応じて、疑似キャッチライトの位置を設定してもよい。 The image corrector may set the position of the pseudo catchlight according to the positional information of the catchlight area.
これにより、人物に対して理想的なキャッチライトを付加することができる。 This makes it possible to add an ideal catch light to the person.
画像補正部は、入力画像データに含まれる人物の各目にキャッチライト領域が特定されず、当該入力画像データにおいて当該人物の対となる目が含まれるとき、対となる目のキャッチライト領域の位置情報に応じて、疑似キャッチライトの位置を設定してもよい。 When a catch-light region is not identified for each eye of a person included in the input image data, and the paired eyes of the person are included in the input image data, the image correction unit corrects the catch-light region for the paired eyes. The position of the pseudo catchlight may be set according to the positional information.
これにより、人物に対して理想的なキャッチライトを付加することができる。 This makes it possible to add an ideal catch light to the person.
画像補正部は、入力画像データに含まれる人物の目の特定部位の位置及びサイズに応じて、疑似キャッチライトの位置を設定してもよい。 The image correction unit may set the position of the pseudo catch light according to the position and size of the specific part of the person's eye included in the input image data.
これにより、人物に対して理想的なキャッチライトを付加することができる。 This makes it possible to add an ideal catch light to the person.
画像補正部は、前記入力画像データに含まれる人物の目の特定部位の色に応じて、疑似キャッチライトの色を設定してもよい。 The image correction unit may set the color of the pseudo catch light according to the color of the specific part of the person's eyes included in the input image data.
これにより、人物に対して理想的なキャッチライトを付加することができる。 This makes it possible to add an ideal catch light to the person.
本発明によれば、写真に含まれるキャッチライトの除去に用いるキャッチライトマスクを生成することができる。 According to the present invention, it is possible to generate a catchlight mask for use in removing catchlight contained in a photograph.
以下、本発明の具体的な実施の形態について添付の図面を参照しながら説明する。なお、同一の機能を有する部材については、同一の符号を付し、適宜その説明を省略する。さらに、各図面に記載した構成の形状、また、長さ、奥行および幅などの寸法は、実際の形状および寸法を反映させたものではなく、図面の明瞭化と簡略化のために適宜変更している。 Hereinafter, specific embodiments of the present invention will be described with reference to the accompanying drawings. Note that members having the same function are denoted by the same reference numerals, and description thereof will be omitted as appropriate. Furthermore, the shape of the configuration and the dimensions such as length, depth and width shown in each drawing do not reflect the actual shape and dimension, and have been changed as appropriate for the sake of clarity and simplification of the drawing. ing.
本発明に係る画像処理装置を、一例である写真シール作成装置として説明する。本発明を適用する写真シール作成装置は、撮影や編集等を利用者にゲームとして行わせ、その撮影・編集した画像を、写真シールやデータとして利用者に提供するゲーム装置である。写真シール作成装置１は、例えば、ゲームセンタ、ショッピングモールおよび観光地の店舗等に設置される。
An image processing apparatus according to the present invention will be described as an example of a photo sticker creating apparatus. A photo sticker creation device to which the present invention is applied is a game device that allows a user to perform shooting, editing, etc. as a game, and provides the user with the shot and edited image as a photo sticker or data. The photo
写真シール作成装置が提供するゲームにおいて、利用者は、写真シール作成装置に設けられたカメラを用いて自分自身等を撮影する。利用者は、その撮影画像に対して、前景画像および／または背景画像を合成したり、また、編集用合成用画像としてのペン画像入力やスタンプ画像入力等の編集機能（落書き編集機能）を用いたりして編集を行い、撮影画像を彩り豊かなものにデザインする。そしてゲーム終了後、利用者は、編集した画像が印刷された写真シール等を成果物として受け取る。または、写真シール作成装置は編集した画像を利用者の携帯端末に提供し、利用者は携帯端末により成果物を受け取ることもできる。 In the game provided by the photo sticker creating device, the user takes a picture of himself or herself using a camera provided in the photo sticker creating device. The user synthesizes a foreground image and/or a background image with the captured image, or uses an editing function (graffiti editing function) such as a pen image input or a stamp image input as a composition image for editing. Editing and designing the shot image to make it colorful. After the game is over, the user receives a photo sticker or the like on which the edited image is printed as a product. Alternatively, the photo sticker creating device can provide the edited image to the mobile terminal of the user, and the user can receive the product by the mobile terminal.
（写真シール作成装置の構成）
図１および図２は、写真シール作成装置１の外観の構成例を示す斜視図である。写真シール作成装置１は、撮影画像や編集画像を提供するゲーム機である。写真シール作成装置１は、画像をシール紙に印刷したり、画像を利用者の携帯端末上で閲覧可能にしたりするためにその画像をサーバに送信することで、利用者に画像を提供する。写真シール作成装置１の利用者は、主に女子中学生および女子高校生などの若い女性が中心とされる。写真シール作成装置１において、１組当たり主に２人や３人などの複数人の利用者がゲームを楽しむことができる。もちろん、写真シール作成装置１において、１人の利用者がゲームを楽しむこともできる。
(Configuration of photo sticker creating device)
1 and 2 are perspective views showing configuration examples of the appearance of the photo
写真シール作成装置１において、利用者は、自身が被写体となって撮影作業を行う。利用者は、編集作業により、撮影によって得られた撮影画像の中から選択した画像に、手書きの文字やスタンプ画像などの合成用画像を合成させる。これにより、撮影画像が華やかな画像に編集される。利用者は、編集済みの画像である編集画像が印刷されたシール紙を受け取って一連のゲームを終了させる。
In the photo
図１に示すように、写真シール作成装置１は、基本的に、撮影ユニット１１と編集ユニット１２が接した状態で設置されることによって構成される。
As shown in FIG. 1, the photo
撮影ユニット１１は、事前選択操作部２０、撮影操作部２１、および背景部２２から構成される。事前選択操作部２０は、撮影操作部２１の側面に設置される。事前選択操作部２０の前方の空間が、事前選択処理が行われる事前選択空間となる。また、撮影操作部２１と背景部２２は所定の距離だけ離れて設置される。撮影操作部２１と背景部２２の間に形成される空間が、撮影処理が行われる撮影空間となる。
The photographing
事前選択操作部２０は、事前選択処理として、写真シール作成装置１によって提供されるゲームを紹介するガイダンスを行ったり、撮影空間で行われる撮影処理における各種の設定を利用者に選択させるための処理を行ったりする。事前選択操作部２０には、利用者が代金を投入する硬貨投入口や、各種の操作に用いられるタッチパネルモニタなどが設けられる。事前選択操作部２０は、撮影空間の空き状況に応じて、適宜、事前選択空間にいる利用者を撮影空間へと案内する。
The
撮影操作部２１は、利用者を被写体として撮影するための装置である。撮影操作部２１は、撮影空間に入った利用者の正面に位置する。撮影空間に臨む撮影操作部２１の正面には、カメラや、各種の操作に用いられるタッチパネルモニタなどが設けられる。撮影空間において正面を向いている利用者からみて左側の面を左側面、右側の面を右側面とすると、撮影操作部２１の左側面が側面パネル４１Ａにより構成され、右側面が側面パネル４１Ｂにより構成される。さらに、撮影操作部２１の正面が正面パネル４２により構成される。側面パネル４１Ａには、上述した事前選択操作部２０が設置されるものとする。なお、事前選択操作部２０は、側面パネル４１Ｂに設置されるようにしてもよいし、側面パネル４１Ａ，４１Ｂの両方に設置されるようにしてもよい。
The photographing
背景部２２は、背面パネル５１、側面パネル５２Ａ、および側面パネル５２Ｂから構成される。背面パネル５１は、正面を向いている利用者の背面側に位置する板状の部材である。側面パネル５２Ａは、背面パネル５１の左端に取り付けられ、側面パネル４１Ａより横幅の狭い板状の部材である。側面パネル５２Ｂは、背面パネル５１の右端に取り付けられ、側面パネル４１Ｂより横幅の狭い板状の部材である。
The
側面パネル４１Ａと側面パネル５２Ａは、ほぼ同一平面に設けられる。側面パネル４１Ａと側面パネル５２Ａの上部は、板状の部材である連結部２３Ａによって連結される。側面パネル４１Ａと側面パネル５２Ａの下部は、床面に設けた例えば金属製の部材である連結部２３Ａ’によって連結される。側面パネル４１Ｂと側面パネル５２Ｂも同様に、ほぼ同一平面に設けられる。側面パネル４１Ｂと側面パネル５２Ｂの上部は、連結部２３Ｂによって連結される。側面パネル４１Ｂと側面パネル５２Ｂの下部は、連結部２３Ｂ’によって連結される。
The
なお、背面パネル５１の撮影空間側の面には、例えば緑色のクロマキー用のシートが貼り付けられる。写真シール作成装置１は、クロマキー用のシートを背景として撮影することで、撮影処理や編集処理においてクロマキー合成を行う。これにより、利用者が所望する背景画像がシートの部分に合成される。
For example, a green chromakey sheet is attached to the surface of the
側面パネル４１Ａ、連結部２３Ａ、および側面パネル５２Ａに囲まれることによって形成される開口が撮影空間の出入り口となる。また、側面パネル４１Ｂ、連結部２３Ｂ、および側面パネル５２Ｂに囲まれることによって形成される開口も撮影空間の出入り口となる。
An opening formed by being surrounded by the
撮影空間の上方には、撮影操作部２１の正面、連結部２３Ａ、および連結部２３Ｂに囲まれた天井が形成される。その天井の一部に、天井ストロボユニット２４が設けられる。天井ストロボユニット２４の一端が連結部２３Ａに固定され、他端が連結部２３Ｂに固定される。天井ストロボユニット２４は、撮影に合わせて撮影空間内に向けて光を照射するストロボを内蔵する。天井ストロボユニット２４の内部には、ストロボの他に蛍光灯が設けられている。これにより、天井ストロボユニット２４は、撮影空間の照明としても機能する。
Above the imaging space, a ceiling surrounded by the front of the
編集ユニット１２は、撮影画像に編集を施すための装置である。編集ユニット１２は、一方の側面が撮影操作部２１の正面パネル４２に接するようにして、撮影ユニット１１に連結している。
The
図１に示される編集ユニット１２の構成を正面側の構成とすると、編集ユニット１２の正面側と背面側のそれぞれに、編集作業で用いられる構成が設けられる。この構成により、２組の利用者が同時に編集作業を行うことができる。
If the configuration of the
編集ユニット１２の正面側は、面６１と、面６１の上方に形成された斜面６２から構成される。面６１は、床面に対して垂直で、撮影操作部２１の側面パネル４１Ａとほぼ平行な面である。斜面６２には、編集作業に用いられる構成として、タブレット内蔵モニタやタッチペンが設けられる。斜面６２の左側には、照明装置６４の一端を支持する柱状の支持部６３Ａが設けられる。斜面６２の右側には、照明装置６４の他端を支持する柱状の支持部６３Ｂが設けられる。支持部６３Ａの上面にはカーテンレール２６を支持する支持部６５が設けられる。
The front side of the
編集ユニット１２の上方にはカーテンレール２６が取り付けられる。カーテンレール２６は、３本のレール２６Ａ，２６Ｂ，２６Ｃが、組み合わせられて構成される。３本のレール２６Ａ，２６Ｂ，２６Ｃは、上から見たときの形状がコの字状となるように組み合わせられる。平行に設けられるレール２６Ａとレール２６Ｂの一端は、連結部２３Ａと連結部２３Ｂにそれぞれ固定され、レール２６Ａとレール２６Ｂの他端は、レール２６Ｃの両端にそれぞれ接合される。
A
カーテンレール２６には、編集ユニット１２の正面前方の空間と背面前方の空間が外から見えないようにカーテンが取り付けられる。そのカーテンにより囲まれる編集ユニット１２の正面前方の空間と背面後方の空間が、利用者が編集作業を行う編集空間となる。
A curtain is attached to the
また、後述するが、編集ユニット１２の左側面には、印刷済みのシール紙が排出される排出口が設けられる。編集ユニット１２の左側面前方の空間が、利用者が印刷済みのシール紙が排出されるのを待つ印刷待ち空間となる。
As will be described later, the left side of the
（利用者の移動）
ここで、画像作成ゲームの流れと、それに伴う利用者の移動について説明する。図３は、写真シール作成ゲーム中の利用者の空間移動を説明するための図である。
(Movement of users)
Here, the flow of the image creation game and the accompanying movement of the user will be described. FIG. 3 is a diagram for explaining the spatial movement of the user during the photo sticker creation game.
まず、利用者は、事前選択操作部２０の前方の空間である事前選択空間Ａ０において硬貨投入口に代金を投入する。次に、利用者は、タッチパネルモニタに表示される画面に従って各種の設定を行う。利用者は、例えば、撮影空間で行われる撮影に関するコースの選択などを事前選択作業として行う。
First, the user inserts money into the coin slot in the preselection space A0, which is the space in front of the
事前選択作業を終えた利用者は、白抜き矢印＃１で示すように、側面パネル４１Ａと側面パネル５２Ａの間の出入り口Ｇ１から、撮影操作部２１と背景部２２の間に形成された撮影空間Ａ１に入る。そして利用者は、撮影操作部２１に設けられたカメラやタッチパネルモニタなど利用して撮影作業を行う。
After finishing the pre-selection work, the user can enter the shooting space formed between the shooting
撮影作業を終えた利用者は、白抜き矢印＃２で示すように出入り口Ｇ１から撮影空間Ａ１を出て編集空間Ａ２－１に移動するか、または、白抜き矢印＃３で示すように出入り口Ｇ２から撮影空間Ａ１を出て編集空間Ａ２－２に移動する。
The user who has completed the photographing work exits the photographing space A1 from the doorway G1 as indicated by the
編集空間Ａ２－１は、編集ユニット１２の正面側の編集空間である。一方、編集空間Ａ２－２は、編集ユニット１２の背面側の編集空間である。利用者が編集空間Ａ２－１と編集空間Ａ２－２のいずれの空間に移動するのかは、撮影操作部２１のタッチパネルモニタの画面表示などによって案内される。例えば２つの編集空間のうちの空いている方が移動先として案内される。編集空間Ａ２－１または編集空間Ａ２－２に移動した利用者は、編集作業を開始する。編集空間Ａ２－１の利用者と、編集空間Ａ２－２の利用者は同時に編集作業を行うことができる。
The editing space A2-1 is an editing space on the front side of the
編集作業が終了した後、編集画像の印刷が開始される。印刷が開始されると、編集空間Ａ２－１での編集作業を終えた利用者は、白抜き矢印＃４で示すように編集空間Ａ２－１から印刷待ち空間Ａ３に移動する。また、編集空間Ａ２－２での編集作業を終えた利用者は、白抜き矢印＃５で示すように編集空間Ａ２－２から印刷待ち空間Ａ３に移動する。
After the editing work is completed, printing of the edited image is started. When printing starts, the user who has finished the editing work in the editing space A2-1 moves from the editing space A2-1 to the print waiting space A3 as indicated by the
印刷待ち空間Ａ３に移動した利用者は、画像の印刷の終了を待つ。印刷が終了すると、利用者は、編集ユニット１２の右側面に設けられた排出口から排出されたシール紙を受け取り、一連の画像作成ゲームを終える。
The user who has moved to the print waiting space A3 waits for the end of image printing. When the printing is finished, the user receives the sticker paper discharged from the discharge port provided on the right side of the
（事前選択部の構成）
次に、各装置の構成について説明する。図４は、事前選択操作部２０の正面図である。
(Configuration of pre-selection part)
Next, the configuration of each device will be described. FIG. 4 is a front view of the
事前選択操作部２０の上側にはタッチパネルモニタ７１が設けられる。タッチパネルモニタ７１は、ＬＣＤ(Liquid Crystal Display)などのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ７１は、各種のＧＵＩ(Graphical User Interface)を表示し、利用者の選択操作を受け付ける機能を備えている。タッチパネルモニタ７１には、撮影に関するコースの選択、編集の対象となる編集対象画像における背景となる画像の選択、作成画像のレイアウト、画像作成ゲーム中に流れるＢＧＭ（Back Ground Music）、音および音声の少なくともいずれかの選択、並びに利用者の名前の入力などを行わせる事前選択処理に用いられる画面が表示される。
A touch panel monitor 71 is provided above the
撮影に関するコースは、利用者が２人で撮影を行う２人用コースと、３人以上で撮影を行う大人数コースとが用意されている。また、男女のカップルで撮影を行うカップルコースが用意されていてもよい。 Courses related to photography include a two-person course in which two users take pictures, and a large-group course in which three or more users take pictures. Also, a couple course in which a male and female couple take pictures may be prepared.
タッチパネルモニタ７１の下方には、スピーカ７２が設けられる。スピーカ７２は、事前選択処理の案内音声、ＢＧＭ、効果音などを出力する。また、スピーカ７２に隣接するようにして、利用者が硬貨を入れる硬貨投入返却口７３が設けられる。
A
（撮影部の構成）
図５は、撮影部としての撮影操作部２１の正面図である。撮影操作部２１は、側面パネル４１Ａ、側面パネル４１Ｂ、および正面パネル４２に囲まれるようにして構成される。
(Structure of imaging unit)
FIG. 5 is a front view of the photographing
正面パネル４２の中央には、カメラユニット８１が設けられる。カメラユニット８１は、カメラ９１および表示部としてのタッチパネルモニタ９２から構成される。
A
カメラ９１は、例えば一眼レフカメラであり、レンズが露出するようにカメラユニット８１の内部に取り付けられる。カメラ９１は、ＣＣＤ(Charge Coupled Device)イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子を有し、撮影空間Ａ１にいる利用者を撮影する。カメラ９１により取り込まれた動画像（以下、ライブビュー表示画像ともいう）は、タッチパネルモニタ９２にリアルタイムで表示される。撮影が指示されたときなどの所定のタイミングでカメラ９１により取り込まれた静止画像は、撮影画像として保存される。
The
タッチパネルモニタ９２は、カメラ９１の下方に設けられる。タッチパネルモニタ９２は、ＬＣＤなどのモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ９２は、カメラ９１により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のＧＵＩを表示し利用者の選択操作を受け付ける機能を備えている。当該選択操作の具体例としては、撮影コースの選択、撮影開始および終了の指示（撮影の制御指示）、目の変形具合および色、ならびに肌の色の補正具合の選択、作成画像における背景画像となる画像の選択、ならびに画像作成ゲーム中のＢＧＭ（音・音声）の選択などが挙げられる。タッチパネルモニタ９２には、カメラ９１により取り込まれた動画像（ライブビュー画像）や静止画像（撮影画像）が表示される。
A touch panel monitor 92 is provided below the
カメラユニット８１の上方には、曲面の発光面を利用者に向けた上ストロボ８２が設置される。上ストロボ８２は、正面上方から利用者の顔および上半身に光を照射する。
Above the
また、カメラユニット８１の下方には、利用者の下半身および足元に光を照射する足元ストロボ８５が設けられる。なお、上ストロボ８２と足元ストロボ８５には、ストロボと蛍光灯が含まれている。
A
なお、図１および図５においては図示を省略するが、正面パネル４２の例えば天井付近には、スピーカ９３が設けられる。スピーカ９３は、制御部２０１から出力される音声信号により、撮影処理の案内音声、ＢＧＭ、効果音などを出力する。
Although not shown in FIGS. 1 and 5, a
（背景部の構成）
図６は、背景部２２の撮影空間Ａ１側の正面図である。
(Composition of the background part)
FIG. 6 is a front view of the
背面パネル５１の上方には、背面上ストロボ１０１が設置される。背面上ストロボ１０１は、背面上方から利用者に光を照射する。
A rear
図中、背面パネル５１の左方には、背面左ストロボ１０２が設置される。背面左ストロボ１０２は、背面右方から利用者を照射する。図中、背面パネル５１の右方には、背面右ストロボ１０３が設置される。背面右ストロボ１０３は、背面左方から利用者を照射する。
In the drawing, a rear
また、背面パネル５１の撮影空間Ａ１側（図中、手前側）の面には、クロマキーシート１２１が貼り付けられていてもよい。クロマキーシート１２１の色は、例えば緑色とされる。
Also, a
なお、図示はしないが、側面パネル５２Ａ，５２Ｂの撮影空間Ａ１側の面にも、クロマキーシート１２１と同様に、クロマキーシートが貼り付けられていてもよい。
Although not shown, a chromakey sheet may be attached to the
（編集ユニットの構成）
図７は、編集ユニット１２の編集空間Ａ２－１側の正面図である。
(Composition of editing unit)
FIG. 7 is a front view of the
斜面６２のほぼ中央には、タブレット内蔵モニタ１３１が設けられる。タブレット内蔵モニタ１３１の左側にはタッチペン１３２Ａが設けられる。タブレット内蔵モニタ１３１の右側にはタッチペン１３２Ｂが設けられる。タブレット内蔵モニタ１３１は、タブレットがディスプレイを露出するように設けられることによって構成される。タブレットは、タッチペン１３２Ａまたはタッチペン１３２Ｂを用いた操作入力を可能とする。タブレット内蔵モニタ１３１には、例えば、編集作業に用いられる編集画面が表示される。例えば、２人の利用者が同時に編集作業を行う場合、タッチペン１３２Ａはタブレット内蔵モニタ１３１に向かって左側にいる利用者により用いられ、タッチペン１３２Ｂはタブレット内蔵モニタ１３１に向かって右側にいる利用者により用いられる。
A tablet built-in
図８は、編集ユニット１２の左側面図である。
8 is a left side view of the
編集ユニット１２の左側面の下側にはシール紙排出口１６１が設けられる。編集ユニット１２の内部には出力部としてのプリンタが設けられている。そのプリンタにより、編集空間Ａ２－１の利用者が写る画像、または、編集空間Ａ２－２の利用者が写る画像が所定のレイアウトでシール紙に印刷され、シール紙排出口１６１から排出される。
A seal
（写真シール作成装置の内部構成）
図９は、写真シール作成装置１の内部の構成例を示すブロック図である。図９において、上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
(Internal configuration of photo sticker creating device)
FIG. 9 is a block diagram showing an example of the internal configuration of the photo
制御部２０１はＣＰＵ(Central Processing Unit)などにより構成される。制御部２０１は、ＲＯＭ(Read Only Memory)２０６や記憶部２０２に記憶されているプログラムを実行し、写真シール作成装置１の全体の動作を制御する。制御部２０１には、記憶部２０２、通信部２０３、ドライブ２０４、ＲＯＭ２０６、ＲＡＭ(Random Access Memory)２０７が接続される。制御部２０１には、事前選択操作部２０、撮影操作部２１、背景部２２、編集操作部２７Ａ，２７Ｂ、および印刷操作部２８の各構成も接続される。
The
記憶部２０２は、ハードディスクやフラッシュメモリなどの不揮発性の記憶媒体である。記憶部２０２は、制御部２０１から供給された各種の設定情報などを記憶する。記憶部２０２に記憶されている情報は制御部２０１により適宜読み出される。
The
通信部２０３は、インターネットなどのネットワークのインタフェースである。通信部２０３は、制御部２０１による制御に従って外部の装置と通信を行う。通信部２０３は、例えば、利用者に選択された撮影画像や編集画像をサーバに送信する。通信部２０３から送信された画像は、サーバにおいて所定の記憶領域が割り当てられて保存され、サーバにアクセスしてきた携帯端末に表示されたり、ダウンロードされたりする。
A
ドライブ２０４には、光ディスクや半導体メモリなどよりなるリムーバブルメディア２０５が適宜装着される。ドライブ２０４によりリムーバブルメディア２０５から読み出されたプログラムやデータは、制御部２０１に供給され、記憶部２０２に記憶されたり、インストールされたりする。
A
ＲＯＭ２０６は、制御部２０１において実行されるプログラムやデータを記憶する。ＲＡＭ２０７は、制御部２０１が処理するデータやプログラムを一時的に記憶する。
The
事前選択操作部２０は、事前選択空間Ａ０にいる利用者を対象とした事前選択処理を実現する。事前選択操作部２０は、タッチパネルモニタ７１、スピーカ７２、および硬貨処理部７４から構成される。
The
タッチパネルモニタ７１は、制御部２０１による制御に従って各種の選択画面を表示し、選択画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部２０１に供給され、各種の設定が行われる。
The touch panel monitor 71 displays various selection screens under the control of the
硬貨処理部７４は、硬貨投入返却口７３への硬貨の投入を検出する。硬貨処理部７４は、所定の金額分の硬貨が投入されたことを検出した場合、ゲームの開始を指示する起動信号を制御部２０１に出力する。
The
撮影操作部２１は、撮影空間Ａ１にいる利用者を対象とした撮影処理を実現する。撮影部２２０は、上ストロボ８２、左ストロボ８３、右ストロボ８４、足元ストロボ８５、カメラ９１、タッチパネルモニタ９２、およびスピーカ９３から構成される。
The photographing
上ストロボ８２、左ストロボ８３、右ストロボ８４、および足元ストロボ８５は、撮影空間Ａ１内に配置され、制御部２０１から供給される照明制御信号に従って発光する。
The
カメラ９１は、制御部２０１によるシャッタ制御に従って撮影を行い、撮影によって得られた撮影画像（画像データ）を制御部２０１に出力する。
編集操作部２７Ａは、編集空間Ａ２－１にいる利用者を対象とした編集処理を実現する。編集操作部２７Ａは、タブレット内蔵モニタ１３１、タッチペン１３２Ａ，１３２Ｂ、およびスピーカ１３３から構成される。編集操作部２７Ｂは、編集空間Ａ２－２にいる利用者を対象とした編集処理を実現し、編集操作部２７Ａと同一の構成を有する。なお、以下、編集操作部２７Ａ，２７Ｂを特に区別しない場合には、単に、編集操作部２７という。
The
タブレット内蔵モニタ１３１は、制御部２０１による制御に従って編集画面を表示し、編集画面に対する利用者の操作を受け付ける。利用者の操作の内容を表す入力信号は制御部２０１に供給され、編集対象となる撮影画像が編集される。
The tablet built-in
印刷操作部２８は、印刷待ち空間Ａ３にいる利用者に、作成画像を印刷済みのシール紙を提供する印刷処理を実現する。印刷操作部２８は、プリンタ１４０を含むように構成される。プリンタ１４０にはシール紙ユニット１４１が装着される。
The
プリンタ１４０は、制御部２０１から供給された印刷データに基づいて、編集画像をシール紙ユニット１４１に収納されているシール紙１４２に印刷し、シール紙排出口１６１に排出する。
Based on the print data supplied from the
（写真シール作成装置の機能ブロック）
図１０は写真シール作成装置１の機能ブロックを示すブロック図である。写真シール作成装置１は、事前選択部２１０、撮影部２２０、編集部２３０、および印刷部２４０として機能する。また、制御部２０１は、本発明の写真シール作成プログラムを実行することにより、事前選択処理部３０１、撮影処理部３０２、受付部３０３、特定部３０４、マスク生成部３０５、画像補正部３０６、合成部３０７、編集処理部３０８、および印刷処理部３０９として機能する。
(Functional block of photo sticker creating device)
FIG. 10 is a block diagram showing functional blocks of the photo
事前選択部２１０は、上述した事前選択操作部２０と、事前選択処理部３０１とを備える。事前選択処理部３０１は、事前選択操作部２０におけるタッチパネルモニタ７１、スピーカ７２、および硬貨処理部７４を制御することで、事前選択処理を行う。事前選択処理部３０１は、撮影空間Ａ１において行われる撮影に関するコースの選択のための選択画面等をタッチパネルモニタ７１に表示させる。また事前選択処理部３０１は、タッチパネルモニタ７１に対する、利用者の操作入力を受け付ける。具体的には、事前選択処理部３０１は、タッチパネルモニタ７１に表示された選択画面に対する選択の操作入力、および利用者の名前の入力等を受け付ける。また事前選択処理部３０１は、各種の選択操作を説明するガイダンスの出力を制御する。事前選択処理部３０１は、各種の選択操作を説明する画面をタッチパネルモニタ７１に表示させたり、各種の選択操作を説明する音声をスピーカ７２から出力させたりする。
The
撮影部２２０は、上述した撮影操作部２１と、撮影処理部３０２とを備える。撮影処理部３０２は、撮影操作部２１におけるカメラ９１、タッチパネルモニタ９２、およびスピーカ９３を制御することで、撮影処理を行う。
The
撮影処理部３０２は、タッチパネルモニタ９２に対する、利用者の操作入力を受け付ける。例えば、撮影空間Ａ１における撮影処理は、撮影処理部３０２が、利用者によるタッチパネルモニタ９２への接触操作を入力として受け付けることにより開始される。
The
撮影処理部３０２は、カメラ９１を制御し、利用者を被写体として撮影する。撮影には、動画像と静止画像とがある。撮影処理部３０２は、タッチパネルモニタ９２の表示を制御することにより、カメラ９１に取り込まれた動画像をタッチパネルモニタ９２にライブビュー表示させたり、撮影結果である静止画像を撮影画像として表示させたりする。
The photographing
また、撮影処理部３０２は、撮影枚数、利用者の立ち位置、サンプルポーズ、目線についてのメッセージ、および撮影タイミング等を説明するインストラクション画面をタッチパネルモニタ９２に表示させる。さらに、それぞれのインストラクション画面に対応するナレーションの音声、およびＢＧＭをスピーカ９３から出力させる。
The photographing
受付部３０３は、撮影部２２０で利用者を撮影した画像データを受け付ける。
The reception unit 303 receives image data of the user photographed by the photographing
特定部３０４は、複数組の人物の目を含む画像データと、当該画像データにおける目の特定部位の位置情報との関係を学習した第１の学習済みモデルを用いて、人物の顔の少なくとも一部を含む入力画像データから、少なくとも１以上の特定部位の位置を特定する。
The
ここで、「入力画像データ」は、人物の顔の少なくとも一部を含む画像データであればよい。例えば、人物の顔の全体を含む画像であっても、人物の顔の全体を含む画像から一部がトリミングされた画像、換言すると、一部が切り抜きされた画像であってもよい。したがって、特定部３０４で対象とする入力画像データは、受付部３０３で受け付けた画像データの全体であることに限定されず、受付部３０３が受け付けた画像データから特定部位を含む範囲がトリミングされた画像データであってもよい。
Here, the "input image data" may be image data including at least part of a person's face. For example, it may be an image including the entire face of a person, or an image obtained by trimming a portion of an image including the entire face of a person, in other words, an image obtained by clipping a portion of the image. Therefore, the input image data targeted by the identifying
「目の特定部位」は、例えば、虹彩又は瞳孔の少なくともいずれかにより特定される部位としてもよい。具体的には、目の特定部位は、虹彩又は瞳孔の中心座標としてもよい。また、目の特定部位は、１点である必要はなく、例えば、目尻の座標及び目頭の座標の２点等の複数の部位を特定部位としてもよい。 The "specific part of the eye" may be, for example, a part specified by at least one of the iris and the pupil. Specifically, the specific part of the eye may be the central coordinates of the iris or pupil. Moreover, the specific part of the eye does not have to be one point. For example, a plurality of parts such as the coordinates of the outer corner of the eye and the coordinates of the inner corner of the eye may be used as the specific part.
第１の学習済みモデルＭ１は、図１１Ａに示すように、学習データセットである複数組の入力データである人物の顔の少なくとも一部を含む「画像データ」と、正解データである「目の特定部位の位置」との関係を学習器によって学習されることで得られたモデルである。また、目の特定部位の位置とともに、目の特定部位のサイズや形状を用いて学習してもよい。例えば、黒目の位置及びサイズ（半径）等の組み合わせを正解データとしてもよい。このように生成された第１の学習済みモデルＭ１は、図１１Ｂに示すように、新たに人物の顔の少なくとも一部を含む画像データが入力されると、この画像データの顔から人物の目を含む特定部位の位置を特定する。ここで、第１の学習済みモデルＭ１は、各人物の両目について、それぞれ片方ずつの特定部位の位置を学習する。特定部３０４は、複数の人物の顔の少なくとも一部を含む画像データが入力されると、この画像データから、各人物の目の特定部位の位置を特定するとともに、各人物の両目の特定部位の位置を一組として記憶部２０２に一時記憶することが好ましい。
As shown in FIG. 11A, the first trained model M1 includes "image data" including at least a part of a person's face, which is a plurality of sets of input data, which is a learning data set, and "eyes", which is correct data. It is a model obtained by learning the relationship with the "position of a specific part" by a learner. Also, the size and shape of the specific part of the eye may be used for learning as well as the position of the specific part of the eye. For example, the correct data may be a combination of the position and size (radius) of the iris. As shown in FIG. 11B, the first trained model M1 generated in this way can, as shown in FIG. Identify the location of a specific site containing Here, the first trained model M1 learns the positions of the specific parts for each eye of each person. When image data including at least part of the faces of a plurality of persons is input, the identifying
マスク生成部３０５は、複数組の人物の目の特定部位を含む画像データと、当該画像データにおけるキャッチライト領域との関係を学習した第２の学習済みモデルを用いて、特定部３０４で特定された各領域の画像データに対し、キャッチライト領域を抽出する。これにより、マスク生成部３０５は、抽出したキャッチライト領域と、それ以外の領域とを区別するキャッチライトマスクを生成する。図１２Ｂに一例を示すキャッチライトマスクは、キャッチライト領域を白色とし、それ以外の領域を黒色として区別する。
The
第２の学習済みモデルＭ２は、図１１Ｃに示すように、入力データである少なくとも人物の目の特定部位を含む領域の「画像データ」及び特定部位の「位置情報」と、正解データである「キャッチライト領域」との関係を学習器によって学習されることで得られたモデルである。図１２Ａに示すように、目の特定部位を含む領域の画像データは、例えば、目の特定領域を含む矩形の領域である。また、図１２Ａでは示していないが、画像データには、画像データにおける特定部位の位置情報として、例えば、画像データにおける特定部位の座標が関連付けられる。第２の学習済みモデルの生成に用いる学習データセットには、例えば、図１２Ａに示すような特定部位を含む画像データ及び特定部位の位置情報と、当該画像データに含まれる人物の目のキャッチライトの領域とを複数組含む。これにより、図１１Ｄに示すように、第２の学習済みモデルは、人物の目の特定部位を含む領域の画像データ及び特定部位の位置情報が入力されると、この画像データからキャッチライト領域を抽出する。なお、特定部位を含む画像データにおいて、特定部位の位置が固定されているような場合、その位置情報は全ての画像データにおいて共通となる。例えば、特定部位が画像中心となるように、画像データが形成されてもよい。全てで特定部位の位置情報が共通するため、学習データセットで位置情報を含む必要はない。また、各目に表れるキャッチライトの数は限定されないため、画像データから抽出されるキャッチライト領域の数も限定されない。 As shown in FIG. 11C , the second trained model M2 includes input data such as “image data” of a region including at least a specific part of a person’s eyes, “positional information” of the specific part, and correct data “ This is a model obtained by learning the relationship with the "catchlight area" by a learner. As shown in FIG. 12A, the image data of the area including the specific part of the eye is, for example, a rectangular area including the specific eye area. Although not shown in FIG. 12A, the image data is associated with, for example, the coordinates of the specific part in the image data as the position information of the specific part in the image data. The learning data set used to generate the second trained model includes, for example, image data including a specific part as shown in FIG. region and multiple sets. As a result, as shown in FIG. 11D , when image data of a region including a specific part of a person's eye and position information of the specific part are input, the second trained model determines a catch light region from this image data. Extract. In addition, in the image data including the specific part, when the position of the specific part is fixed, the position information is common to all the image data. For example, the image data may be formed such that the specific site is the center of the image. Since the position information of the specific part is common to all, it is not necessary to include the position information in the learning data set. Moreover, since the number of catchlights appearing in each eye is not limited, the number of catchlight regions extracted from the image data is also not limited.
画像補正部３０６は、キャッチライトが除去された画像データに、所定の疑似キャッチライトを付加した補正画像データを生成する。具体的には、対象の画像データ（図１２Ａ）に対して、キャッチライトマスク（図１２Ｂ）を用いて、図１２Ｃに示すように、キャッチライトを除去する。その後、図１２Ｄ乃至図１２Ｆに示すような疑似キャッチライトを生成し、図１２Ｃに示すようなキャッチライトが除去された画像に付加し、図１２Ｇに示すような補正画像データを生成する。画像補正部３０６は、予め定められるキャッチライトの位置及び形状の設定手順と、キャッチライトの色の設定手順とに応じて、疑似キャッチライトを付加することができる。
The
《キャッチライトの除去》
画像補正部３０６は、入力画像データに、マスク生成部３０５で生成されたキャッチライトマスクで特定されるキャッチライト領域内を周辺領域の色及び／又はテクスチャに基づいて決定される色及び／又はテクスチャに置換することでキャッチライトを除去する。
《Catchlight Removal》
The
例えば、画像補正部３０６は、キャッチライト部分の所定の周辺領域の色の平均値を、キャッチライト部分の新たな色として用いてもよい。具体的には、キャッチライト領域から所定の画素外側の範囲内の平均値を基準とすることができる。このとき、周辺領域は、必ずしもキャッチライト部分から規定の範囲内とする必要はなく、目の特定の部位毎に設定される領域とすることができる。例えば、キャッチライトが虹彩内にある場合、虹彩の色の平均値をキャッチライト部分の色としキャッチライトを除去することができる。また例えば、キャッチライトが瞳孔内にある場合、瞳孔の色の平均値をキャッチライト部分の色としキャッチライトを除去することができる。
For example, the
《キャッチライトの位置及び形状の決定》
画像補正部３０６は、キャッチライト領域の位置情報に応じて、疑似キャッチライトの位置を設定することができる。具体的には、キャッチライトマスクで特定されるキャッチライトの位置に基づいて疑似キャッチライトを付加する位置を決定することができる。例えば、元の画像データにキャッチライトが含まれるとき、その元のキャッチライトの位置を基準にし、元のキャッチライトの中心位置を疑似キャッチライトの中心位置として決定してもよい。
《Determining the position and shape of the catchlight》
The
また、画像補正部３０６は、人物の目の特定部位の位置及びサイズに応じて、キャッチライトの位置とともに、形状や数を設定することができる。例えば、画像データにおける目のサイズが大きい場合、キャッチライトの形状をより複雑にすることができる。一方、画像データにおける目のサイズが小さい場合、目のサイズが大きい場合と比較して、キャッチライトの形状を単純にしたり、キャッチライトの数を少なくすることができる。より具体的には、理想的なキャッチライトの形状に基づいて、疑似キャッチライトのパターンが複数設定されており、元のキャッチライトのサイズに応じて、複数のパターンから対応する疑似キャッチライトが選択されるようにすることもできる。１つの目（片方の目）に複数のキャッチライトを含むとき、これら複数のキャッチライトを一組のキャッチライトとすることができる。例えば、図１２Ｄ乃至図１２Ｆに示す疑似キャッチライトは、一組である。また、元のキャッチライトのサイズに応じて、キャッチライトの数を決定できるため、複数のパターンの疑似キャッチライトがある場合において、それぞれ一組のキャッチライトの数は同一である必要はない。画像中の目のサイズが大きい場合は４つであるが、目のサイズが小さい場合は２つである等のように設定されていてもよい。
In addition, the
画像補正部３０６は、入力画像データに含まれる人物のいずれかの目でキャッチライト領域が特定されず、当該入力画像データにおいて当該人物の対となる目が含まれるとき、対となる目のキャッチライト領域の位置情報に応じて、疑似キャッチライトの位置を設定することができる。仮に、元の画像データにおいて、ある人物の右目にキャッチライトがないが、左目にキャッチライトがある場合、左目のキャッチライトの位置を基準にして、右目の疑似キャッチライトの位置を決定する。この場合、キャッチライトマスクで特定される左目のキャッチライトの位置を基準にして右目の疑似キャッチライトの位置を決定してもよいし、先に左目の疑似キャッチライトの位置を決定し、決定された左目の疑似キャッチライトの位置を基準にして右目の疑似キャッチライトの位置を決定してもよい。
When the input image data does not specify a catch-light region for any of the eyes of the person included in the input image data, and the paired eyes of the person are included in the input image data, the
画像補正部３０６は、入力画像データに含まれる一の人物の両方の目でキャッチライト領域が特定できないとき、入力画像データに含まれる当該人物の目の特定部位の位置及びサイズに応じて、疑似キャッチライトの位置を設定することができる。例えば、入力された画像データにおける、人物の瞳孔から所定の位置を、疑似キャッチライトの位置としてもよい。
When the catchlight region cannot be identified by both eyes of one person included in the input image data, the
《疑似キャッチライトの色の決定》
画像補正部３０６は、入力画像データに含まれる人物の目の特定部位の色に応じて、疑似キャッチライトの色を設定する。疑似キャッチライトの色は、キャッチライトの除去の場合と同様に、画像における人物の目の特定部位の色、及び／又は、特定部位の周辺の色に応じて設定することができる。例えば、複数の人物が画像データに含まれ、人物毎に目の色、より具体的には瞳孔や虹彩の色が異なる場合、人物毎に疑似キャッチライトの色を異なる色とすることができる。また、同一の人物においても、瞳孔と虹彩とでは色が異なることが一般的であるため、瞳孔と虹彩にそれぞれ付加するキャッチライトを異なる色とすることができる。
《Determination of pseudo catchlight color》
The
なお、画像補正部３０６は、キャッチライトに関する補正に加え、人物の肌の色を調整する補正、メイクを施すような補正、目のサイズ自体を調整する補正等、人物の顔や体等に関し様々な補正処理を実行することができる。
In addition to the correction related to the catch light, the
合成部３０７は、画像補正部３０６で処理した画像を合成用画像とし、カメラ９１に取り込まれた動画像に合成用画像を合成し、合成した画像をタッチパネルモニタ９２にライブビュー表示画像としてさせる。したがって、利用者は、仕上がりイメージをリアルタイムで確認しながら撮影を行うことができる。
The synthesizing
編集部２３０は、上述した編集操作部２７Ａ，２７Ｂと、編集処理部３０８とを備える。編集処理部３０８は、編集操作部２７Ａ，２７Ｂにおけるタブレット内蔵モニタ１３１、およびスピーカ１３３を制御することで、編集処理を行う。編集処理部３０８は、タブレット内蔵モニタ１３１に対する、タッチペン１３２Ａ，１３２Ｂを用いた利用者の操作入力を受け付ける。
The
また、編集処理部３０８は、タブレット内蔵モニタ１３１に表示させた選択画面に対する選択操作に応じて、編集対象画像としての撮影画像に所定の画像処理を施し、タブレット内蔵モニタ１３１に表示させる。あるいは、編集処理部３０８は、タブレット内蔵モニタ１３１に表示させた編集画面に対する入力操作に応じて、合成用画像に所定の画像処理を施し、あるいは、入力操作に応じて新たな合成用画像を生成して、撮影画像に合成し、タブレット内蔵モニタ１３１に表示させる。
In addition, the
また、編集処理部３０８は、編集の進め方などを説明するガイダンスの出力を制御する。例えば、編集処理部３０８は、編集の進め方などを説明するガイダンスの画面をタブレット内蔵モニタ１３１に表示させたり、編集の進め方などを説明するガイダンスの音声をスピーカ１３３から出力させたりする。また、編集処理部３０８は通信部２０３を制御し、インターネットなどのネットワークを介した通信に関する処理を行う。また、編集処理部３０８は、印刷操作部２８のプリンタ１４０を制御することで、印刷処理を行ってもよい。
The
印刷部２４０は、上述した印刷操作部２８と、印刷処理部３０９とを備える。印刷処理部３０９は、編集処理部３０８から印刷データを受け取り、印刷操作部２８のプリンタ１４０を制御することで、印刷処理を行う。なお、ここでは、画像データを出力する出力部の一例として印刷データである写真シールを出力する印刷部２４０を用いて説明したが、画像データの出力方法は、これに限定されない。例えば、ネットワーク等を用いて画像データ自体を外部の通信端末に送信する送信手段を出力部としてもよい。
The
このように、写真シール作成装置１は課金と引き換えに、利用者の気持ちが盛り上がるような仕掛け（撮影ポーズの選択、ＢＧＭ、ナレーションなど）が種々施された写真シール作成ゲームを提供する。そのため、写真シール作成装置１での作成画像は、利用者の楽しい表情が引き出された画像や、趣向を凝らした、華やかな画像となる。
In this way, the photo
また、写真シール作成装置１ではライティングなどの設備が充実しており、そして画像の変形処理（例えば被写体の目の大きさや脚の長さなど）および色の補正（被写体の肌の美白処理など）などを高度な技術で行えるため、写真シール作成装置１で作成した画像は、利用者の写りが良い画像となる。
In addition, the photo
また、写真シール作成装置１以外での画像処理（例えば写真加工のためのアプリケーションなどでの処理）に比べて容易に編集（画像への落書き）ができ、当該編集のバリエーションも豊かである。この点からも、写真シール作成装置１での作成画像は写真シール作成装置１以外で撮影および画像処理された画像に比べ、比較的華やかに仕上がるといえる。
Editing (scribbling on an image) is easier than image processing (for example, processing with an application for photo processing) other than the photo
（写真シール作成ゲームの流れ）
次に、利用者が写真シール作成装置１において写真シール作成ゲームを行う処理の流れについて、図１３を用いて説明する。図１３は、写真シール作成装置１におけるゲームの開始から当該ゲームで写真シールを作成するまでの処理の流れを示すフローチャートである。
(Flow of photo sticker creation game)
Next, the flow of processing for the user to play the photo sticker creating game on the photo
ゲーム開始前の状態においては、写真シール作成装置１の事前選択処理部３０１として機能する制御部２０１は、事前選択操作部２０のタッチパネルモニタ７１に、硬貨の投入を促すメッセージを表示させる。また、制御部２０１は、図１３に示すように、硬貨処理部７４からの起動信号の有無に基づいて、硬貨投入返却口７３に硬貨が投入されたか否かを判定する（Ｓ１）。制御部２０１は、硬貨投入返却口７３に硬貨が投入されていないと判定した場合には（Ｓ１：ＮＯ）、硬貨が投入されたか否かの判定処理を継続する。
Before the game starts, the
ゲームを開始しようとする利用者は、事前選択操作部２０の前方の空間である事前選択空間Ａ０において硬貨投入返却口７３に硬貨を投入する。硬貨投入返却口７３へ硬貨が投入されると、硬貨処理部７４からゲームの開始を指示する起動信号が出力される。制御部２０１は、硬貨処理部７４から起動信号を入力すると、硬貨投入返却口７３に硬貨が投入されたと判定し（Ｓ１：ＹＥＳ）、利用者に対して事前接客処理を実行する（Ｓ２）。
A user who intends to start the game inserts a coin into the coin insertion/return opening 73 in the preselection space A<b>0 that is the space in front of the
事前接客処理においては、制御部２０１は、タッチパネルモニタ７１に、コースの選択、名前の入力、およびデザインの選択等を促すメッセージ等を表示させる。利用者が、タッチパネルモニタ７１に表示されるメッセージ等に従って各種の選択または入力を行うと、制御部２０１は、撮影コース、名前、デザイン、および印刷レイアウト等の設定を行う。制御部２０１は、複数種類の合成用背景画像を選択可能にタッチパネルモニタ９２に表示させ、合成用背景画像を利用者に選択させる。
In the preliminary customer service process, the
事前接客処理が終了すると、制御部２０１は、利用者に対して撮影空間Ａ１に移動して撮影を行うことを促すメッセージ等をタッチパネルモニタ７１に表示させる。撮影処理部３０２として機能する制御部２０１は、撮影操作部２１のタッチパネルモニタ９２に、画面にタッチするように促すメッセージを表示させる。なお、このメッセージと共に、あるいはこのメッセージに代えて、スタートボタンを表示させてもよい。また、制御部２０１は、ＢＧＭと共に、画面にタッチするように促すナレーションを、スピーカ９３から出力させる。撮影空間Ａ１に移動した利用者が、タッチパネルモニタ９２にタッチすると、制御部２０１は、タッチパネルモニタ９２がタッチされたことを読み取り、撮影処理を開始する（Ｓ３）。
When the preliminary customer service processing is finished, the
撮影処理においては、制御部２０１は、タッチパネルモニタ９２に、例えばライティングに関するガイダンスを表示させ、利用者にライティングのレベルの選択を促す。利用者がライティングのレベルを選択すると、制御部２０１は、ライティングのレベルを、選択されたレベルに設定する。
In the shooting process, the
また、制御部２０１は、撮影枚数を説明するためのインストラクション画面をタッチパネルモニタ９２に表示させ、対応するナレーションをスピーカ９３から出力させる。本実施形態では、一例として、撮影枚数は７枚に設定されている。
Further, the
次に、制御部２０１は、利用者を立ち位置に誘導するためのインストラクション画面をタッチパネルモニタ９２に表示させ、対応するナレーションをスピーカ９３から出力させる。
Next, the
以上のようなインストラクション画面を表示させた後、制御部２０１は、利用者に選択させた撮影コースに応じて、合成用背景画像と、カメラ９１で取得している動画像とを合成したライブビュー表示画像を、ライブビュー表示としてタッチパネルモニタ９２に表示させる（Ｓ４）。これにより、利用者は、仕上がりイメージを確認しながらポーズを取ることができる。
After displaying the instruction screen as described above, the
制御部２０１は、ライブビュー表示を、撮影のためのカウントダウンの終了直前まで行い、その間、制御部２０１は、ライブビュー表示と共に、あるいはライブビュー表示に代えて、サンプルポーズをタッチパネルモニタ９２に表示させる。制御部２０１は、サンプルポーズに合わせたナレーションをスピーカ９３から出力させる。
The
制御部２０１は、ライブビュー表示の開始から終了までの時間を管理しており、予め設定した所定の時間が経過すると、タッチパネルモニタ９２の表示とスピーカ９３の音声とでカウントダウンを行う。
The
制御部２０１は、カウントダウンの終了タイミングで、上ストロボ８２、左ストロボ８３、右ストロボ８４、および足元ストロボ８５に照明制御信号を送信すると共にカメラ９１にシャッタ信号を送信する。
The
これにより、上ストロボ８２、左ストロボ８３、右ストロボ８４、および足元ストロボ８５から閃光を照射し、照明された利用者が背景とともに写っている撮影画像をカメラ９１により取得する。本実施形態では、一例として、ステップＳ３からステップＳ４までの処理を複数回繰り返して７枚の撮影画像を取得する。また、制御部２０１は、撮影画像に合成用背景画像を合成させた編集対象画像を記憶部２０２に記憶させる。
As a result, the
なお、ここでは、予め設定した時間毎に撮影画像が取得される例で説明したが、撮影画像の取得タイミングはこれに限定されない。例えば、撮影のための操作ボタンを撮影操作部２１が有する場合、この操作ボタンを操作したタイミングで撮影画像を取得するようにしてもよい。
Here, an example in which a captured image is acquired at each preset time has been described, but the acquisition timing of the captured image is not limited to this. For example, if the
撮影終了後、制御部２０１は、利用者に対して、編集空間Ａ２－１、または編集空間Ａ２－２のいずれか一方への移動を促す案内画面をタッチパネルモニタ９２に表示するとともに、音声による移動案内をスピーカ９３に出力する。
After the end of the shooting, the
そして、制御部２０１は、利用者による編集対象画像の編集を許容する編集処理を実行する（Ｓ５）。詳述すると、制御部２０１は、編集対象画像を、タブレット内蔵モニタ１３１に表示し、この編集対象画像に対して利用者がタッチペン１３２Ａ，１３２Ｂでスタンプ画像やペン画像などを描くことを許容し、編集画像を作成する。
Then, the
その後、制御部２０１は、利用者に対してシール紙排出口１６１が設けられた印刷待ち空間Ａ３への移動を促す案内画面をタブレット内蔵モニタ１３１に表示するとともに、音声による移動案内をスピーカ１３３に出力する。
After that, the
さらに、制御部２０１は、事前選択操作部２０において選択された印刷レイアウトに編集画像を配置して印刷用画像を作成し、この印刷用画像をシール紙１４２に印刷する印刷処理を実行する（Ｓ６）。
Furthermore, the
印刷処理が終了すると、制御部２０１は、シール紙１４２の排出処理を実行し（Ｓ７）、印刷完了したシール紙１４２をシール紙排出口１６１から排出し、利用者に写真シールとして提供してゲームを終了する。このようにして、写真シール作成装置１により作成した利用者の撮影画像を、写真シールとして出力することができる。なお、詳細な説明は省略するが、本実施形態の写真シール作成装置１は、通信により、撮影画像を携帯端末等に出力することも可能である。
When the printing process is completed, the
（合成処理の詳細）
次に、図１４に示すフローチャートを参照して、図１３のフローチャートのステップＳ４の合成処理について説明する。図１４に示すように、ステップＳ４の合成処理では、制御部２０１は、撮影部２２０で撮影した画像データを受け付ける（Ｓ４１）。
(Details of synthesis processing)
Next, with reference to the flowchart shown in FIG. 14, the synthesizing process in step S4 of the flowchart of FIG. 13 will be described. As shown in FIG. 14, in the synthesizing process in step S4, the
制御部２０１は、第１の学習済みモデルＭ１を用いて、ステップＳ４１で受け付けた画像データに含まれる人物の顔の特定部位の位置を特定する（Ｓ４２）。撮影画像に複数の利用者を含む場合、制御部２０１は、全ての利用者の特定部位の位置を特定する。
Using the first trained model M1, the
制御部２０１は、第２の学習済みモデルＭ２を用いて、画像データから、ステップＳ４２で特定した一の特定部位に関連するキャッチライト領域を抽出して、キャッチライトマスクを生成する（Ｓ４３）。
Using the second trained model M2, the
さらに、制御部２０１は、ステップＳ４３で生成したキャッチライトマスクを用いて、画像データからキャッチライト領域を除去する（Ｓ４４）。
Furthermore, the
制御部２０１は、Ｓ４４でキャッチライトが除去された画像データに対し、疑似キャッチライトの付加処理を実行する（Ｓ４５）。この疑似キャッチライトの付加処理については、図１５のフローチャートを用いて後述する。
The
制御部２０１は、Ｓ４２で特定した全ての特定に対して、疑似キャッチライトの付加が終了したか否かを判定する（Ｓ４６）。全ての特定部位について疑似キャッチライトの付加が終了していない場合（Ｓ４６でＮＯ）、制御部２０１は、ステップＳ４３に戻り、ステップＳ４３～Ｓ４６の処理を繰り返し、疑似キャッチライトが付加されていない特定部位に対して疑似キャッチライトを付加する。
The
全ての特定部位について疑似キャッチライトの付加が終了すると（Ｓ４６でＹＥＳ）、制御部２０１は、他の部位の画像処理を実行する（Ｓ４７）。
When the pseudo catchlight has been added to all the specific parts (YES in S46), the
その後、ステップＳ４５で疑似キャッチライトが付加された画像データと、ステップＳ４８で得られた画像データとを合成する（Ｓ４８）。 After that, the image data added with the pseudo catch light in step S45 and the image data obtained in step S48 are synthesized (S48).
（疑似キャッチライトの付加処理の詳細）
図１５に示すフローチャートを参照して、図１４のフローチャートのステップＳ４６の疑似キャッチライトの付加処理について説明する。この疑似キャッチライトの付加に関する一連の処理は、対象とする特定の部位毎に実行される。換言すると、制御部２０１は、目の片方ずつに疑似キャッチライトを付加する。
(Details of pseudo catchlight addition processing)
With reference to the flowchart shown in FIG. 15, the pseudo catch light adding process in step S46 of the flowchart of FIG. 14 will be described. A series of processing relating to the addition of this pseudo catch light is executed for each specific target portion. In other words, the
制御部２０１は、画像データにおいて対象とする特定部位である目に元のキャッチライトがあるか否かを判定する（Ｓ１０１）。元のキャッチライトがあるとき（Ｓ１０１でＹＥＳ）、制御部２０１は、元のキャッチライトの位置を基準にして、疑似キャッチライトの位置を決定する（Ｓ１０２）。
The
元のキャッチライトが無いとき（Ｓ１０１でＮＯ）、制御部２０１は、対となる目に元のキャッチライトがあるか否かを判定する（Ｓ１０３）。対となる目に元のキャッチライトがあるとき（Ｓ１０３でＹＥＳ）、制御部２０１は、対となる目の元のキャッチライトの位置を基準にして、疑似キャッチライトの位置を決定する（Ｓ１０４）。
When there is no original catch light (NO in S101), the
一方、対となる目に元のキャッチライトがないとき（Ｓ１０３でＮＯ）、制御部２０１は、所定の位置、例えば、目の特定部位の位置を基準にして、疑似キャッチライトの位置を決定する（Ｓ１０５）。
On the other hand, when there is no original catch light for the paired eye (NO in S103), the
ステップＳ１０２，Ｓ１０４又はＳ１０５で疑似キャッチライトの位置を決定すると、制御部２０１は、疑似キャッチライトの色を決定する（Ｓ１０６）。
After determining the position of the pseudo catch light in step S102, S104 or S105, the
続いて、制御部２０１は、画像データにおいて、ステップＳ１０６で決定した色の疑似キャッチライトを付加する（Ｓ１０７）。
Subsequently, the
本開示の画像処理装置では、画像データにおける特定部位の位置を利用してキャッチライトマスクを生成することで、画像データからキャッチライトを除去することができる。また、本開示の画像処理装置では、画像データからキャッチライトを除去することで、理想的なキャッチライトを付加することができる。これにより、本開示の画像処理装置では、利用者にとって好ましいキャッチライトを付加した画像データを提供することができる。 In the image processing apparatus of the present disclosure, catchlight can be removed from image data by generating a catchlight mask using the position of a specific portion in image data. Further, in the image processing apparatus of the present disclosure, ideal catchlight can be added by removing catchlight from image data. Thereby, the image processing apparatus of the present disclosure can provide image data to which a catch light that is preferable for the user is added.
（ソフトウェアによる実現例）
写真シール作成装置１の機能ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
(Example of realization by software)
The functional blocks of the photo
後者の場合、写真シール作成装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、前記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、前記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が前記プログラムを前記記録媒体から読み取って実行することにより、本発明の目的が達成される。前記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、前記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して前記コンピュータに供給されてもよい。なお、本発明は、前記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
In the latter case, the photo
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, but can be modified in various ways within the scope of the claims, and can be obtained by appropriately combining technical means disclosed in different embodiments. is also included in the technical scope of the present invention.
１ 写真シール作成装置（画像処理装置）
３０１ 事前選択処理部
３０２ 撮影処理部
３０３ 受付部
３０４ 特定部
３０５ マスク生成部
３０６ 画像補正部
３０７ 合成部
３０８ 編集処理部
３０９ 印刷処理部（出力部）
1 Photo sticker creation device (image processing device)
301
Claims (9)
複数組の人物の目を含む画像データと、当該画像データにおける目の特定部位の位置情報との関係を学習した第１の学習済みモデルを用いて、人物の顔の少なくとも一部を含む入力画像データから、少なくとも１以上の前記特定部位の位置を特定する特定部と、
複数組の人物の目の特定部位を含む画像データと、当該画像データにおけるキャッチライト領域との関係を学習した第２の学習済みモデルを用いて、前記特定部で特定された各領域の画像データに対し、キャッチライト領域をそれ以外の領域と区別するキャッチライトマスクを生成するマスク生成部と、
を備える画像処理装置。 An image processing device used for processing image data including at least part of a person's face,
An input image including at least part of a person's face using a first trained model that has learned the relationship between image data including a plurality of sets of person's eyes and position information of specific parts of the eyes in the image data. an identifying unit that identifies the position of at least one or more of the specific parts from the data;
Image data of each area specified by the specifying unit using a second trained model that has learned the relationship between image data including a plurality of sets of specific parts of a person's eyes and the catch light area in the image data. , a mask generation unit that generates a catch light mask that distinguishes the catch light area from other areas;
An image processing device comprising:
請求項３に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the image correction section sets the position of the pseudo catchlight according to the positional information of the catchlight area.
請求項４に記載の画像処理装置。 When the input image data does not specify a catch-light region for each eye of a person and the input image data includes a pair of eyes of the person, the image correction unit adjusts the catch-light of the pair of eyes. 5. The image processing apparatus according to claim 4, wherein the position of said pseudo catch light is set according to the position information of the area.
請求項３に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the image correction section sets the position of the pseudo catch light according to the position and size of the specific part of the eye of the person included in the input image data.
請求項３乃至６のいずれかに１記載の画像処理装置。 7. The image processing according to any one of claims 3 to 6, wherein the image correction unit sets the color of the pseudo catchlight according to the color of the specific part of the eye of the person included in the input image data. Device.
複数組の人物の目の特定部位を含む画像データと、当該画像データにおけるキャッチライト領域との関係を学習した第２の学習済みモデルを用いて、特定された各領域の画像データに対し、キャッチライト領域をそれ以外の領域と区別するキャッチライトマスクを生成するステップと、
を含むマスク生成方法。 An input image including at least part of a person's face using a first trained model that has learned the relationship between image data including a plurality of sets of person's eyes and position information of specific parts of the eyes in the image data. identifying the position of at least one or more of the specific parts from the data;
Using a second trained model that has learned the relationship between image data including a plurality of sets of specific parts of a person's eyes and a catch light area in the image data, catch light is applied to image data of each identified area. generating a catch light mask that distinguishes light areas from other areas;
mask generation method, including
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021148109A JP2023040914A (en) | 2021-09-10 | 2021-09-10 | Image processing apparatus, image processing program, and mask generation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021148109A JP2023040914A (en) | 2021-09-10 | 2021-09-10 | Image processing apparatus, image processing program, and mask generation method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023040914A true JP2023040914A (en) | 2023-03-23 |
Family
ID=85632385
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021148109A Pending JP2023040914A (en) | 2021-09-10 | 2021-09-10 | Image processing apparatus, image processing program, and mask generation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023040914A (en) |
-
2021
- 2021-09-10 JP JP2021148109A patent/JP2023040914A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5488526B2 (en) | Image processing apparatus and image processing method | |
| JP2017229013A (en) | Game machine for forming photograph and display method | |
| JP6880394B2 (en) | Photographing game console and shooting method | |
| JP7152687B2 (en) | Display control device, display control method, program | |
| JP5120508B1 (en) | Photo sticker creation apparatus and method, and program | |
| JP6712047B2 (en) | Photo creation game machine and image generation method | |
| JP7074994B2 (en) | Photographing game console and image processing method | |
| JP7132492B2 (en) | Image processing device, display control method, and program | |
| JP2023040914A (en) | Image processing apparatus, image processing program, and mask generation method | |
| JP2018195881A (en) | Photo seal creation device, photo seal manufacturing method, and photo seal manufacturing processing program | |
| JP7401727B2 (en) | Image processing device, image processing method, and image processing program | |
| JP6853475B2 (en) | Photo creation game console and display method | |
| JP6687839B2 (en) | Photo creation game machine and display method | |
| JP2021043797A (en) | Image processing device, image processing method, and image processing program | |
| JP2019032374A (en) | Image imaging device | |
| JP7406065B2 (en) | Photography equipment, photography method, and program | |
| JP7319534B2 (en) | camera | |
| JP7364866B2 (en) | Image processing device, editing device | |
| JP2020144780A (en) | Image processing device, image processing method, and image processing program | |
| JP6933799B2 (en) | Photographing game console and shooting method | |
| JP5482948B2 (en) | Image processing apparatus and image processing method | |
| JP6455550B2 (en) | Photo sticker creation apparatus and display control method | |
| JP7121256B2 (en) | PHOTO-CREATION GAME MACHINE, IMAGE PROCESSING METHOD, AND PROGRAM | |
| JP6414276B2 (en) | Photo sticker creation apparatus and method, and program | |
| JP6982230B2 (en) | Photographing game console and image processing method |