JP6048758B2 - Image processing apparatus and method, and program - Google Patents
Image processing apparatus and method, and program Download PDFInfo
- Publication number
- JP6048758B2 JP6048758B2 JP2014000352A JP2014000352A JP6048758B2 JP 6048758 B2 JP6048758 B2 JP 6048758B2 JP 2014000352 A JP2014000352 A JP 2014000352A JP 2014000352 A JP2014000352 A JP 2014000352A JP 6048758 B2 JP6048758 B2 JP 6048758B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- region
- processing
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 416
- 238000000034 method Methods 0.000 title claims description 346
- 230000008569 process Effects 0.000 claims description 319
- 238000006243 chemical reaction Methods 0.000 claims description 103
- 230000009466 transformation Effects 0.000 claims description 50
- 238000003672 processing method Methods 0.000 claims description 16
- 230000002194 synthesizing effect Effects 0.000 claims description 10
- 206010015037 epilepsy Diseases 0.000 description 233
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 218
- 238000013461 design Methods 0.000 description 87
- 238000003384 imaging method Methods 0.000 description 46
- 238000010586 diagram Methods 0.000 description 30
- 239000002131 composite material Substances 0.000 description 29
- 240000007320 Pinus strobus Species 0.000 description 27
- 239000000203 mixture Substances 0.000 description 25
- 230000015572 biosynthetic process Effects 0.000 description 17
- 238000003786 synthesis reaction Methods 0.000 description 17
- 238000007639 printing Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 12
- 230000001965 increasing effect Effects 0.000 description 11
- 230000008859 change Effects 0.000 description 9
- 239000003086 colorant Substances 0.000 description 9
- 101000854908 Homo sapiens WD repeat-containing protein 11 Proteins 0.000 description 8
- 102100020705 WD repeat-containing protein 11 Human genes 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 4
- 238000004040 coloring Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 238000009966 trimming Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000001308 synthesis method Methods 0.000 description 3
- 238000002834 transmittance Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 239000002184 metal Substances 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 206010052143 Ocular discomfort Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Landscapes
- Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
本発明は、画像処理装置および方法、並びにプログラムに関し、特に、より自然な画像を提供することができるようにした画像処理装置および方法、並びにプログラムに関する。 The present invention relates to an image processing apparatus, method, and program, and more particularly, to an image processing apparatus, method, and program that can provide a more natural image.
従来、利用者(被写体)を撮影し、得られた撮影画像に予め用意されている画像を合成したり、文字や線画を重畳させたりする落書き編集処理を行い、シール紙に印刷し、写真シールとして利用者に提供する写真シール機が存在する。 Conventionally, a user (subject) is photographed, and a graffiti editing process is performed in which a prepared image is combined with the obtained photographed image or a character or a line drawing is superimposed, printed on sticker paper, and a photo sticker There is a photographic seal machine provided to users.
この写真シール機は、例えば、ゲームセンタ等の娯楽(遊戯)施設に設置され、主に女子高生や女子中学生等を中心とする利用者に有料でサービスを提供する。利用者は、写真シールの作成作業をゲームとして楽しむだけでなく、出力される様々なサイズの編集済み画像が印刷されている写真シールを仲間同士で切り分けあって、それぞれの所持品に貼り付けたりする。 This photo sticker is installed, for example, in an entertainment (game) facility such as a game center, and provides services mainly to high school girls and female junior high school students for a fee. Users can not only enjoy creating photo stickers as a game, but also cut out photo stickers with edited images of various sizes to be output and paste them on their belongings. To do.
写真シール作成のゲームは、被写体の撮影、その撮影画像に対する落書き編集、そして、編集済み画像の写真シールへの出力、という流れで行われる。利用者は、この一連の工程を制限時間内でプレイし、その成果物として作成された写真シールを受け取る。したがって、利用者の満足度を向上させるためには、写真シール作成作業のゲームとしての面白さを向上させるとともに、写真シールの出来栄えを向上させることも重要になる。 The game for creating a photo sticker is performed by shooting a subject, editing a graffiti on the shot image, and outputting the edited image to a photo sticker. The user plays this series of processes within the time limit, and receives a photo sticker created as a product. Therefore, in order to improve user satisfaction, it is important to improve the fun of the photo sticker creation work as well as to improve the quality of the photo sticker.
このようなゲームにおいて、被写体の輪郭(外側)を彩るに適した背景画像であるオーラ画像を合成用画像として画像処理を施すことが考えられた(例えば、特許文献1参照)。 In such a game, it has been considered to perform image processing using an aura image, which is a background image suitable for coloring the outline (outside) of the subject, as a synthesis image (see, for example, Patent Document 1).
また、被写体マスク画像を縮小した画像(縮小マスク画像)と、被写体マスク画像を拡大した画像(拡大マスク画像)を作成して、縮小マスク画像と拡大マスク画像の差分領域を算出し、その差分領域に光彩(グロー)効果やぼかし処理等の画像処理を施すことが考えられた(例えば、特許文献2参照)。 Also, an image obtained by reducing the subject mask image (reduced mask image) and an image obtained by enlarging the subject mask image (enlarged mask image) are created, and a difference area between the reduced mask image and the enlarged mask image is calculated. It has been considered to perform image processing such as a glow effect or a blurring process on the image (for example, see Patent Document 2).
さらに、被写体マスク画像において、画像処理を施す領域である画像処理領域(例えば、マスク画像の被写体の領域の境界線を挟んだ内側と外側)を算出し、算出した画像処理領域にぼかし処理と、明度もしくは彩度のいずれかの調整処理を施すことが考えられた(例えば特許文献3参照)。 Further, in the subject mask image, an image processing region (for example, an inner side and an outer side across a boundary line of the subject region of the mask image) is calculated, and blur processing is performed on the calculated image processing region. It has been considered to perform either brightness or saturation adjustment processing (see, for example, Patent Document 3).
これらの処理により、被写体の周囲がオーラのような装飾が付いているように見える面白みのある仕上がりの写真シール紙を提供することができる。 By these processes, it is possible to provide a photographic sticker paper with an interesting finish that looks like an aura-like decoration around the subject.
しかしながら、これらの方法では、オーラは被写体の周囲全域に対して一定の距離で等間隔に設けられてしまい、そのため、リアリティがない不自然な仕上がりの画像となってしまった。 However, in these methods, the aura is provided at regular intervals at a constant distance with respect to the entire surrounding area of the subject, so that the image has an unnatural finish without reality.
本発明は、このような状況に鑑みてなされたものであり、オーラの付け方の自由度を向上させることにより、より自然な状態でオーラを付与することができるようにするものである。 This invention is made | formed in view of such a condition, and it enables it to provide an aura in a more natural state by improving the freedom degree of how to attach an aura.
本発明の一側面は、利用者を被写体として撮影を行い、撮影画像を生成する撮影部と、
前記撮影部により生成された前記撮影画像について、前記撮影画像全体の領域の内、前記被写体を表す領域である人物領域と前記人物領域以外を表す領域である背景領域とを識別するマスク画像を生成するマスク画像生成部と、前記マスク画像生成部により生成された前記マスク画像を2値化する2値化処理部と、前記2値化処理部により2値化された前記マスク画像の前記人物領域に対して幾何学変換を行う幾何学変換部と、前記マスク画像の、前記幾何学変換部により前記幾何学変換が行われた前記人物領域と前記背景領域との境界近傍の領域である境界領域に対して画像処理を行う画像処理部と、前記画像処理部により前記画像処理が行われた前記マスク画像と前記撮影画像を合成する合成部とを備え、前記幾何学変換部は、前記撮影画像に前記利用者が複数名含まれる場合、前記幾何学変換の種類を前記利用者毎に変更する画像処理装置である。
One aspect of the present invention is a photographing unit that photographs a user as a subject and generates a photographed image;
A mask image for identifying a person area representing the subject and a background area representing an area other than the person area out of the entire area of the photographed image generated by the photographing unit is generated. A mask image generation unit that performs binarization on the mask image generated by the mask image generation unit, and the person area of the mask image binarized by the binarization processing unit And a boundary region that is a region in the vicinity of the boundary between the person region and the background region that has been subjected to the geometric conversion by the geometric conversion unit of the mask image. an image processing unit for performing image processing and, a synthesizing unit for synthesizing the captured image and the mask image in which the image processing has been performed by the image processing unit, wherein the geometrical transformation unit against the shooting If the user on the image contains multiple names, an image processing apparatus to change the type of the geometrical transformation for each of the user.
前記幾何学変換部は、前記幾何学変換として、前記マスク画像の前記人物領域を移動させる移動処理、所定の中心点若しくは中心線を軸として前記人物領域を回転させる回転処理、および、前記人物領域の少なくとも一部を変形する変形処理の内、いずれか1つ以上の処理を行うことができる。 The geometric conversion unit includes, as the geometric conversion, a movement process for moving the person area of the mask image, a rotation process for rotating the person area about a predetermined center point or center line, and the person area. Any one or more of the deformation processes for deforming at least a part of can be performed.
前記幾何学変換部は、前記撮影画像に前記利用者が複数名含まれ、かつ、前記幾何学変換として前記移動処理を行う場合、前記人物領域の移動方向および移動量の内少なくともいずれか1つを前記利用者毎に変更することができる。 The geometric conversion unit may include at least one of a movement direction and a movement amount of the person area when the captured image includes a plurality of the users and performs the movement process as the geometric conversion. Can be changed for each user.
前記画像処理部は、前記境界領域に対して設定する色を前記利用者毎に変えることができる。 The image processing unit can change a color set for the boundary region for each user.
前記画像処理部は、前記境界領域に対して設定する透過度を前記利用者毎に変えることができる。 The image processing unit can change the transparency set for the boundary region for each user.
前記幾何学変換部は、前記撮影画像に前記利用者が複数名含まれ、かつ、前記幾何学変換として前記回転処理を行う場合、前記人物領域の回転角度、若しくは、回転の中心の位置を前記利用者毎に変更することができる。 The geometric conversion unit, when the photographed image includes a plurality of users and performs the rotation process as the geometric conversion, the rotation angle of the person area, or the position of the rotation center It can be changed for each user.
前記幾何学変換部は、前記撮影画像に前記利用者が複数名含まれ、かつ、前記幾何学変換として前記変形処理を行う場合、前記人物領域の変形量を前記利用者毎に変更することができる。 The geometric conversion unit may change the deformation amount of the person area for each user when the photographed image includes a plurality of the users and performs the deformation process as the geometric conversion. it can.
本発明の一側面は、また、利用者を被写体として撮影を行い、撮影画像を生成し、生成された前記撮影画像について、前記撮影画像全体の領域の内、前記被写体を表す領域である人物領域と前記人物領域以外を表す領域である背景領域とを識別するマスク画像を生成し、生成された前記マスク画像を2値化し、2値化された前記マスク画像の前記人物領域に対して幾何学変換を行い、前記撮影画像に前記利用者が複数名含まれる場合、前記幾何学変換の種類を前記利用者毎に変更し、前記マスク画像の、前記幾何学変換が行われた前記人物領域と前記背景領域との境界近傍の領域である境界領域に対して画像処理を行い、前記画像処理が行われた前記マスク画像と前記撮影画像を合成する画像処理方法である。 According to another aspect of the present invention, a person area that is an area representing the subject out of the entire area of the entire captured image is generated by capturing an image of a user as a subject and generating a captured image. And a mask image for identifying a background region that is a region other than the person region is generated, the generated mask image is binarized, and the geometrical shape of the human region of the binarized mask image is generated. When a plurality of users are included in the photographed image, the type of geometric conversion is changed for each user, and the mask region of the person region on which the geometric conversion has been performed is performed. In the image processing method, image processing is performed on a boundary region that is a region near the boundary with the background region, and the captured image and the mask image subjected to the image processing are combined.
本発明の一側面は、さらに、利用者を被写体として撮影を行い、撮影画像を生成し、生成された前記撮影画像について、前記撮影画像全体の領域の内、前記被写体を表す領域である人物領域と前記人物領域以外を表す領域である背景領域とを識別するマスク画像を生成し、生成された前記マスク画像を2値化し、2値化された前記マスク画像の前記人物領域に対して幾何学変換を行い、前記撮影画像に前記利用者が複数名含まれる場合、前記幾何学変換の種類を前記利用者毎に変更し、前記マスク画像の、前記幾何学変換が行われた前記人物領域と前記背景領域との境界近傍の領域である境界領域に対して画像処理を行い、前記画像処理が行われた前記マスク画像と前記撮影画像を合成する処理をコンピュータに実行させるプログラムである。 According to another aspect of the present invention, a person region that is a region representing the subject in a region of the entire photographed image of the photographed image generated by photographing a user as a subject and generating a photographed image. And a mask image for identifying a background region that is a region other than the person region is generated, the generated mask image is binarized, and the geometrical shape of the human region of the binarized mask image is generated. When a plurality of users are included in the photographed image, the type of geometric conversion is changed for each user, and the mask region of the person region on which the geometric conversion has been performed is performed. A program that performs image processing on a boundary region that is a region near the boundary with the background region, and causes the computer to execute processing for combining the mask image that has been subjected to the image processing and the captured image.
本発明の一側面によれば、利用者を被写体として撮影が行われ、撮影画像が生成され、生成された撮影画像について、撮影画像全体の領域の内、被写体を表す領域である人物領域と人物領域以外を表す領域である背景領域とを識別するマスク画像が生成され、生成されたマスク画像が2値化され、2値化されたマスク画像の人物領域に対して幾何学変換が行われ、撮影画像に利用者が複数名含まれる場合、幾何学変換の種類が利用者毎に変更され、マスク画像の、幾何学変換が行われた人物領域と背景領域との境界近傍の領域である境界領域に対して画像処理が行われ、画像処理が行われたマスク画像と撮影画像が合成される。 According to one aspect of the present invention, a user is photographed as a subject, a photographed image is generated, and the generated photographed image includes a person region and a person that are regions representing the subject in the region of the entire photographed image. A mask image for identifying a background area that is an area other than the area is generated, the generated mask image is binarized, and a geometric transformation is performed on the human area of the binarized mask image, When there are multiple users in the captured image, the type of geometric transformation is changed for each user, and the mask image is a boundary that is an area in the vicinity of the boundary between the person area and the background area where the geometric transformation has been performed. Image processing is performed on the area, and the mask image and the captured image on which the image processing has been performed are combined.
本発明によれば、より自然な画像を提供することができる。 According to the present invention, a more natural image can be provided.
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。 Hereinafter, specific embodiments to which the present invention is applied will be described in detail with reference to the drawings.
<1.第1の実施の形態>
<写真シール作成装置の外観構成>
図1は、写真シール作成装置1の外観の構成例を示す斜視図である。
<1. First Embodiment>
<External structure of photo sticker creation device>
FIG. 1 is a perspective view showing a configuration example of the appearance of the photographic
写真シール作成装置1は、撮影や編集等の作業を利用者にゲームとして行わせ、撮影画像や編集済み画像を提供する代わりに利用者より代金を受け取るゲーム機である。写真シール作成装置1はゲームセンタ等の店舗に設置される。利用者は1人であることもあるが、主に2人又は3人等の複数人である。
The photo
写真シール作成装置1が提供するゲームで遊ぶ利用者は、代金を投入し、自身が被写体となって撮影を行い、撮影によって得られた撮影画像の中から選択した編集対象の画像に対して、背景や前景の画像となる合成用画像や手書きの線画やスタンプ画像を合成する編集機能を用いることにより、撮影画像を彩り豊かな画像に編集する。利用者は、編集済みの画像が印刷されたシール紙を受け取って一連のゲームを終了させることになる。
A user who plays in the game provided by the photo
図1に示すように、写真シール作成装置1は、主に、撮影ユニット11、編集部12、及び事後接客部13から構成される。撮影ユニット11と編集部12が接した状態で設置され、編集部12と事後接客部13が接した状態で設置される。
As shown in FIG. 1, the photo
撮影ユニット11は、撮影部21と背景部22から構成される。撮影部21と背景部22は所定の距離だけ離れて設置され、撮影部21と背景部22の間に形成される空間である撮影空間において撮影処理が行われる。
The photographing unit 11 includes a photographing
撮影部21は、利用者を撮影する撮影処理を行う装置である。撮影部21は、撮影空間に入り、撮影処理を行っている利用者の正面に位置する。撮影空間を正面に臨む面を構成する撮影部21の正面パネル41には、撮影処理時に利用者により用いられるタッチパネルモニタ等が設けられる。撮影空間にいる利用者から見て左側の面を左側面、右側の面を右側面とすると、撮影部21の左側面が側面パネル42Aにより構成され、右側面が側面パネル42B(図示せず)により構成される。
The photographing
側面パネル42Aには、複数個のLED(Light Emitting Diode)が埋め込まれてなるLED発光部42Lが設けられている。側面パネル42Aの表面には、その全体を覆うように、写真シール作成装置1の製造メーカや、その製造メーカと提携している企業の商品やサービス等の広告が印刷されたアクリル板等から構成されるポップ(POP(point of purchasing advertising))広告が装着される。そのPOP広告のLED発光部42Lに対応する部分には、広告として特にアピールされる情報が印刷され、LED発光部42Lの発光によりその情報が強調されるようになる。LED発光部42Lは、図示せぬ側面パネル42Bにも設けられるようにしてもよいし、側面パネル42A,側面パネル42Bのいずれか一方のみに設けられるようにしてもよい。
The
背景部22は、正面を向いて撮影処理を行っている利用者の背面側に位置する板状の部材である背面パネル51、背面パネル51の左端に取り付けられ、側面パネル42Aより横幅の狭い板状の部材である側面パネル52A、及び、背面パネル51の右端に取り付けられ、側面パネル42Bより横幅の狭い板状の部材である側面パネル52B(図示せず)から構成される。
The
撮影部21の左側面を構成する側面パネル42Aと背景部22の側面パネル52Aは、ほぼ同一平面に設けられ、それぞれの上部が板状の部材である連結部23Aによって、それぞれの下部が、例えば金属製の略コの字型の部材である連結部23A’によって連結される。また、図示されないが、撮影部21の右側面を構成する側面パネル42Bと背景部22の側面パネル52Bは、ほぼ同一平面に設けられ、それぞれの上部が板状の部材である連結部23Bによって、それぞれの下部が、例えば金属製の略コの字型の部材である連結部23B’によって連結される。
The
撮影部21の側面パネル42A、連結部23A、及び背景部22の側面パネル52Aに囲まれることによって形成される開口が撮影空間の出入り口G1となる。図示されないが、撮影部21の側面パネル42B、連結部23B、及び背景部22の側面パネル52Bに囲まれることによって形成される開口も撮影空間の出入り口G2となる。
An opening formed by being surrounded by the side panel 42 </ b> A of the
背景部22の上部には、背面パネル51、側面パネル52A、及び側面パネル52Bに支持される形で背景カーテンユニット25が設けられる。背景カーテンユニット25には、色又は柄の異なる、背景に利用される巻き取り式の背景カーテンが複数収納される。背景カーテンユニット25は、撮影部21に設けられたカメラ等による撮影と連動して動作し、撮影の際に、例えば利用者により選択された色のカーテンを下ろし、その他のカーテンを巻き取る。
The
なお、背景カーテンユニット25に収納される背景カーテンとしては、複数枚のカーテンを1枚のクロマキー用のカーテンとして使用する昇降式カーテンを用意してもよい。また、クロマキー用のカーテンを予め撮影空間の背面となる背面パネル51に張り付けるとともに、合成用の背景画像を複数種類用意し、撮影処理や編集処理において、利用者が所望する背景画像をカーテンの部分に合成することができるようにしてもよい。
In addition, as a background curtain accommodated in the
撮影空間の上方には、撮影部21の正面パネル41、連結部23A、連結部23B、及び背景カーテンユニット25に囲まれる開口が形成され、その開口の一部を覆うように天井ストロボユニット24が設けられる。天井ストロボユニット24の一端が連結部23Aに固定され、他端が連結部23Bに固定される。天井ストロボユニット24は、撮影に合わせて撮影空間内に向けて発光するストロボを内蔵する。天井ストロボユニット24を構成するストロボの内部には蛍光灯が設けられており、撮影空間の照明としても機能する。
An opening surrounded by the
編集部12は、撮影処理によって得られた画像を編集する処理である編集処理を利用者に行わせる装置である。編集部12は、一方の側面が撮影部21の正面パネル41の背面に接するように撮影ユニット11に連結して設けられる。編集部12には、編集処理時に利用者により用いられるタブレット内蔵モニタ等の構成が設けられる。
The
図1に示す編集部12の構成を正面側の構成とすると、2組の利用者が同時に編集処理を行うことができるように、編集部12の正面側と背面側には編集処理に用いられる構成がそれぞれ設けられる。
If the configuration of the
編集部12の正面側は、床面に対して垂直な面であり、側面パネル42Aとほぼ平行な面である面71と、面71の上方に形成された斜面72から構成され、編集処理に用いられる構成が斜面72に設けられる。斜面72の左側には、柱状の形状を有し、照明装置74の一端を支持する支持部73Aが設けられる。支持部73Aの上面にはカーテンレール26を支持する支持部75が設けられる。斜面72の右側にも、照明装置74の他端を支持する支持部73B(図2)が設けられる。
The front side of the
編集部12の上方にはカーテンレール26が取り付けられる。カーテンレール26は、上から見たときの形状がコの字状となるように3本のレール26A乃至26Cを組み合わせて構成される。平行に設けられるレール26Aと26Bの一端は、連結部23Aと連結部23Bにそれぞれ固定され、他端に残りの一本のレール26Cの両端が接合される。
A
カーテンレール26には、編集部12の正面前方の空間と背面前方の空間の内部が外から見えないようにカーテンが取り付けられる。カーテンレール26に取り付けられたカーテンにより囲まれる編集部12の正面前方の空間と背面前方の空間が、利用者が編集処理を行う編集空間となる。
A curtain is attached to the
図2は、写真シール作成装置1を別の角度から見た斜視図である。
FIG. 2 is a perspective view of the photo
事後接客部13は事後接客処理を利用者に行わせる装置である。事後接客処理には、撮影画像や編集済みの画像を携帯電話機等の携帯端末に送信する処理、ミニゲームを利用者に行わせる処理、アンケートに答えさせる処理等が含まれる。
The subsequent
図2に示すように、事後接客部13は、所定の厚さを有する板状の筐体をその一部として有しており、残りの部分は編集部12の左側面と一体に設けられる。事後接客部13の正面には、事後接客処理時に利用者により用いられるタブレット内蔵モニタや、撮影画像や編集済みの画像が印刷されたシール紙が排出される排出口等が設けられる。事後接客部13の正面前方の空間が、シール紙への印刷が終わるのを待っている利用者が事後接客処理を行う事後接客空間となる。
As shown in FIG. 2, the
ここで、写真シール作成ゲームの流れと、それに伴う利用者の移動について図3を参照して説明する。図3は、写真シール作成装置1を上から見た平面図である。
Here, the flow of the photo sticker creation game and the accompanying movement of the user will be described with reference to FIG. FIG. 3 is a plan view of the photo
写真シール作成装置1の利用者は、白抜き矢印#1で示すように出入り口G1から、又は白抜き矢印#2で示すように出入り口G2から、撮影部21と背景部22の間に形成された撮影空間A1に入り、撮影部21に設けられたカメラやタッチパネルモニタ等を利用して撮影処理を行う。
The user of the photo
撮影処理を終えた利用者は、白抜き矢印#3で示すように出入り口G1を使って撮影空間A1から出て編集空間A2−1に移動するか、白抜き矢印#4で示すように出入り口G2を使って撮影空間A1から出て編集空間A2−2に移動する。
The user who has finished the shooting process exits the shooting space A1 and moves to the editing space A2-1 using the doorway G1 as indicated by the
編集空間A2−1は、編集部12の正面側の編集空間であり、編集空間A2−2は、編集部12の背面側の編集空間である。編集空間A2−1と編集空間A2−2のいずれの空間に移動するのかが、撮影部21のタッチパネルモニタの画面表示等によって案内される。例えば2つの編集空間のうちの空いている方の空間が移動先として案内される。編集空間A2−1又は編集空間A2−2に移動した利用者は編集処理を開始する。編集空間A2−1の利用者と、編集空間A2−2の利用者は同時に編集処理を行うことができる。
The editing space A2-1 is an editing space on the front side of the
編集処理が終了した後、撮影画像や編集済みの画像の中から選択された画像の印刷が開始される。画像の印刷中、編集処理を終えた利用者は、編集空間A2−1で編集処理を行っていた場合には白抜き矢印#5で示すように編集空間A2−1から事後接客空間A3に移動して事後接客処理を行う。また、編集処理を終えた利用者は、編集空間A2−2で編集処理を行っていた場合には白抜き矢印#6で示すように編集空間A2−2から事後接客空間A3に移動し、事後接客空間A3において事後接客処理を行う。
After the editing process is finished, printing of an image selected from the photographed image and the edited image is started. During printing of the image, the user who has finished the editing process moves from the editing space A2-1 to the subsequent customer service space A3 as indicated by the
画像の印刷が終了したとき、利用者は、事後接客部13に設けられた排出口からシール紙を受け取り、一連の写真シール作成ゲームを終えることになる。
When the printing of the image is finished, the user receives the sticker paper from the outlet provided in the
次に、各装置の構成について説明する。 Next, the configuration of each device will be described.
<撮影部の構成>
図4は、撮影部21の正面の構成例を示す図である。撮影部21は、正面パネル41、側面パネル42A、及び側面パネル42Bが、箱状の形状を有するベース部43に取り付けられることによって構成される。
<Configuration of the shooting unit>
FIG. 4 is a diagram illustrating a configuration example of the front of the photographing
正面パネル41は撮影空間A1で撮影処理を行う利用者の正面に位置し、側面パネル42Aと側面パネル42Bは、それぞれ、撮影空間A1で撮影処理を行う利用者の左側、右側に位置する。
The
正面パネル41のほぼ中央には撮影・表示ユニット81が設けられる。撮影・表示ユニット81は、カメラ91、タッチパネルモニタ92、乳白アクリル板93から構成される。
An imaging /
カメラ91は、レンズやCCD(Charge Coupled Device)等の撮像素子により構成され、撮影空間A1にいる利用者を撮影する。カメラ91により取り込まれた動画像は、タッチパネルモニタ92にリアルタイムで表示される。利用者により撮影が指示されたとき等の所定のタイミングでカメラ91により取り込まれた画像は撮影画像(静止画像)として保存される。
The
カメラ91の下側に設けられたタッチパネルモニタ92は、LCD(Liquid Crystal Display)等のモニタと、それに積層されたタッチパネルにより構成される。タッチパネルモニタ92は、カメラ91により取り込まれた動画像を表示するライブビューモニタとしての機能と、各種のGUI(Graphical User Interface)画像を表示し、利用者の選択操作をタッチパネルにより受け付ける機能とを備えている。タッチパネルモニタ92には、適宜、撮影結果としての静止画像や、背景等の画像が合成された後の動画像が表示される。
The touch panel monitor 92 provided on the lower side of the
カメラ91の上側及び左右を囲うように複数設けられた乳白アクリル板93の背後には、他のストロボと同様に、カメラ91による撮影に合わせて発光し、被写体としての利用者の顔付近を正面から照射する蛍光灯及びストロボ発光可能な照明装置が設けられている。
Like the other strobes, behind the milky white acrylic plate 93 provided so as to surround the upper side and the left and right sides of the
正面パネル41には、撮影・表示ユニット81の上方に上ストロボ82が設置され、上ストロボ82は、利用者を上前方から照射する。
On the
ベース部43には利用者の足元を照射する足元ストロボ83も設けられる。上ストロボ82及び足元ストロボ83の内部には蛍光灯が設けられており、天井ストロボユニット24を構成するストロボの内部の蛍光灯と合わせて、撮影空間A1内の照明として用いられる。各蛍光灯の発光量が調整されることによって、又は、発光させる蛍光灯の数が調整されることによって、撮影空間A1内の明るさが、利用者が行っている撮影処理の内容に応じて適宜調整される。
The
足元ストロボ83の右側には、利用者がお金を投入する硬貨投入返却口84が設けられる。
On the right side of the foot strobe 83, a coin insertion /
ベース部43の上面の左右に形成されるスペース43A及び43Bは、撮影処理を行う利用者が手荷物等を置くための荷物置き場として用いられる。正面パネル41の例えば天井付近には、撮影処理の案内音声、BGM(Back Ground Music)、効果音等の音を出力するスピーカも設けられる。
<背景部の構成>
図5は、背景部22の撮影空間A1側の構成例を示す図である。
<Configuration of background part>
FIG. 5 is a diagram illustrating a configuration example of the
上述したように、背面パネル51の上方には背景カーテンユニット25が設けられる。背景カーテンユニット25のほぼ中央には、撮影空間A1内で撮影処理を行っている利用者を後方中央から照射する背面中央ストロボ101が取り付けられる。
As described above, the
背面パネル51の、出入り口G1側の位置には、撮影空間A1内で撮影処理を行っている利用者を左後方から照射する背面左ストロボ102が取り付けられる。また、背面パネル51の、出入り口G2側の位置には、撮影空間A1内で撮影処理を行っている利用者を右後方から照射する背面右ストロボ103が取り付けられる。
A rear left strobe 102 for irradiating a user who is performing a photographing process in the photographing space A1 from the left rear is attached to the
<編集部の構成>
図6は、編集部12の正面側(編集空間A2−1側)の構成例を示す図である。
<Configuration of editorial department>
FIG. 6 is a diagram illustrating a configuration example of the
斜面72のほぼ中央には、タブレット内蔵モニタ131が設けられる。タブレット内蔵モニタ131を挟んで左側にタッチペン132Aが設けられ、右側にタッチペン132Bが設けられる。
A tablet built-in
タブレット内蔵モニタ131は、タッチペン132A又は132Bを用いて操作入力が可能なタブレットがLCD等のモニタに重畳して設けられることによって構成される。タブレット内蔵モニタ131には、例えば、編集対象画像として選択された撮影画像の編集に用いられる画面である編集画面が表示される。2人で同時に編集作業を行う場合、タッチペン132Aは一方の利用者により用いられ、タッチペン132Bは他方の利用者により用いられる。
The tablet built-in
編集部12の左側には事後接客部13が設けられる。
On the left side of the
<事後接客部の構成>
図7は、事後接客部13の正面側の構成例を示す図である。
<Composition of the customer service department>
FIG. 7 is a diagram illustrating a configuration example of the front side of the
事後接客部13の上方中央にはタブレット内蔵モニタ161が設けられる。タブレット内蔵モニタ161を挟んで左側にタッチペン162Aが設けられ、右側にタッチペン162Bが設けられる。タブレット内蔵モニタ161もタブレット内蔵モニタ131と同様に、タッチペン162A又は162Bを用いて操作入力が可能なタブレットがLCD等のモニタに重畳して設けられることによって構成される。タブレット内蔵モニタ161には、ミニゲーム等の事後接客処理に用いられる画面が表示される。
A
タブレット内蔵モニタ161の下にはシール紙排出口163が設けられ、タブレット内蔵モニタ161の上にはスピーカ164が設けられる。
A sticker paper discharge port 163 is provided below the tablet built-in
シール紙排出口163には、編集空間A2−1の利用者が編集処理を行うことによって作成した画像が印刷されたシール紙、又は、編集空間A2−2の利用者が編集処理を行うことによって作成した画像が印刷されたシール紙が排出される。編集部12の内部にはプリンタが設けられており、画像の印刷がそのプリンタにより行われる。
In the sticker paper discharge port 163, sticker paper on which an image created by the user of the editing space A2-1 is edited or printed by the user of the editing space A2-2 is edited. The sticker paper on which the created image is printed is discharged. A printer is provided inside the
スピーカ164は、事後接客処理の案内音声、BGM、効果音等の音を出力する。
The
<写真シール作成装置の内部構成>
次に、写真シール作成装置1の内部構成について説明する。図8は、写真シール作成装置1の内部の構成例を示すブロック図である。上述した構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
<Internal configuration of photo sticker creation device>
Next, the internal configuration of the photo
制御部201はCPU(Central Processing Unit)等よりなり、ROM(Read Only Memory)206や記憶部202に記憶されているプログラムを実行し、写真シール作成装置1の全体の動作を制御する。制御部201には、記憶部202、通信部203、ドライブ204、ROM206、RAM(Random Access Memory)207が接続される。制御部201には、撮影部208、編集部209、及び事後接客部210の各構成も接続される。
The
記憶部202は、ハードディスクやフラッシュメモリ等の不揮発性の記憶媒体からなり、制御部201から供給された各種の設定情報を記憶する。記憶部202に記憶されている情報は制御部201により適宜読み出される。
The
通信部203は、インターネット等のネットワークのインタフェースであり、制御部201による制御に従って外部の装置と通信を行う。
A
ドライブ204には、光ディスクや半導体メモリ等よりなるリムーバブルメディア205が適宜装着される。ドライブ204によりリムーバブルメディア205から読み出されたコンピュータプログラムやデータは、制御部201に供給され、記憶部202に記憶されたり、インストールされたりする。
A removable medium 205 made of an optical disk, a semiconductor memory, or the like is appropriately attached to the
ROM206には、制御部201において実行されるプログラムやデータが記憶されている。RAM207は、制御部201が処理するデータやプログラムを一時的に記憶する。
The
撮影部208は、撮影空間A1における撮影処理を行う構成である硬貨処理部221、背景制御部222、照明装置223、カメラ91、タッチパネルモニタ92、及びスピーカ224から構成される。
The
硬貨処理部221は、硬貨投入返却口87に対する硬貨の投入を検出する。硬貨処理部221は、例えば400円等の所定の金額分の硬貨が投入されたことを検出した場合、そのことを表す起動信号を制御部201に出力する。
The
背景制御部222は、制御部201より供給される背景制御信号に従って背景カーテンユニット25に収納されている背景カーテンの上げ下ろしを行う。背景カーテンの選択が利用者により手動で行われるようにしてもよい。
The
照明装置223は、撮影空間A1内の各ストロボの内部に設けられる蛍光灯であり、制御部201より供給される照明制御信号に従って発光する。上述したように、撮影空間A1には、天井ストロボユニット24のストロボの他に、撮影部21に設けられる上ストロボ82、背景部22に設けられる背面中央ストロボ101、背面左ストロボ102,背面右ストロボ103が設けられている。また、乳白アクリル板93の背後にも、照明装置223としての蛍光灯が設けられている。
The
また、照明装置223は、制御部201による制御に従って発光量を調整することによって、利用者が行っている撮影作業の段階に応じて撮影空間A1内の明るさを調整する。
Further, the
カメラ91は、制御部201による制御に従って撮影を行い、撮影によって得られた画像を制御部201に出力する。
The
編集部209Aは、編集空間A2−1における編集処理を行う構成として編集部12の正面側に設けられるタブレット内蔵モニタ131、タッチペン132A,132B、及びスピーカ231から構成される。編集部209Bも編集部209Aと同一の構成を有しており、編集空間A2−2における編集処理を行う。
The
タブレット内蔵モニタ131は、制御部201による制御に従って編集画面を表示し、編集画面に対する利用者の操作を検出する。利用者の操作の内容を表す信号は制御部201に供給され、編集対象の撮影画像の編集が行われる。
The tablet built-in
事後接客部210は、事後接客空間A3における事後接客処理を行う構成であるタブレット内蔵モニタ161、タッチペン162A,162B、スピーカ164、印刷処理を行う構成であるプリンタ241、及びシール紙ユニット242から構成される。
The subsequent customer service unit 210 includes a tablet built-in
プリンタ241は、撮影画像、又は編集処理によって得られた編集済みの画像を、プリンタ241に装着されたシール紙ユニット242に収納されているシール紙に印刷し、シール紙排出口163に排出する。
The printer 241 prints the photographed image or the edited image obtained by the editing process on the sticker paper stored in the
<制御部の構成>
次に、制御部201について説明する。図9は、制御部201がROM206等に格納されているプログラムを実行することにより実現される機能ブロックの構成例を示している。
<Configuration of control unit>
Next, the
制御部201は、写真シール作成ゲームを開始する際に投入される代金に関する処理や利用者グループを撮影する等の写真シール作成ゲームの撮影作業の工程に関する処理を行う撮影処理部301、撮影画像に対する落書き編集等の写真シール作成ゲームの編集作業の工程に関する処理を行う編集処理部302、シール紙の印刷等の写真シール作成ゲームの印刷の工程に関する処理を行う印刷処理部303、及び、編集作業を終了した利用者グループを接客する写真シール作成ゲームの事後接客の工程に関する処理を行う事後接客処理部304を有する。
The
つまり、制御部201は、写真シール作成ゲームの各工程に関する処理の制御を行う。
That is, the
<編集処理部の構成>
図10は、編集処理部302の主な構成例を示す図である。
<Configuration of editing processing section>
FIG. 10 is a diagram illustrating a main configuration example of the
編集処理部302は、編集部209Aを制御し、編集空間A2−1において行われる撮影画像に対する落書き編集等に関する処理を行う。また、編集処理部302は、編集部209Bを制御し、編集空間A2−2において行われる撮影画像に対する落書き編集等に関する処理を行う。
The
図10に示されるように、編集処理部302は、撮影画像取得部321、画像設定部322、オーラ処理部323、落書き編集部324、分割数設定部325、および移動案内部326を有する。
As illustrated in FIG. 10, the
撮影画像取得部321は、撮影空間A1における撮影処理により得られる撮影画像(被写体の画像)を取得する。
The photographed
画像設定部322は、撮影画像の目の大きさの調整、撮影画像の明るさの調整、落書き編集する画像(キープ画像)の選択、利用者名(おなまえ)の入力、背景選択ガイダンス(例えば、画像表示や音声出力等)、カラー選択、並びに背景選択等の、画像に関する各種設定作業を利用者に行わせる。
The
オーラ処理部323は、撮影画像に対して、オーラ(又は影)のような効果を付与する画像を合成するオーラ処理を行う。
The
落書き編集部324は、編集空間A2−1や編集空間A2−2において行われる、利用者による撮影画像に対する落書き編集作業に関する処理を行う。
The
分割数設定部325は、写真シールとして提供するシール紙の分割数を設定する。シール紙の、分割された各領域に落書き編集された撮影画像が印刷される。つまり、分割数設定部325の処理により、写真シールのレイアウトが決定される。
The division
移動案内部326は、利用者に対して、編集空間A2−1や編集空間A2−2から事後接客空間A3への移動を促す案内(例えば、画像表示や音声出力等)に関する処理を行う。
The
<オーラ処理部>
図11は、オーラ処理部323の主な構成例を示す図である。
<Aura processing part>
FIG. 11 is a diagram illustrating a main configuration example of the
図11に示されるように、オーラ処理部323は、マスク画像生成部341、2値化処理部342、幾何学変換部343、ぼかし処理部344、境界領域設定部345、画像処理部346、および合成部347を有する。
As shown in FIG. 11, the
マスク画像生成部341は、撮影画像について、その撮影画像全体の領域の内、被写体を表す領域(すなわち、被写体の画像に相当する部分領域)である人物領域と、その人物領域以外を表す領域(すなわち、人物領域以外の部分領域)である背景領域とを識別するマスク画像を生成する。
The mask
2値化処理部342は、マスク画像生成部341により生成されたマスク画像を2値化する。
The
幾何学変換部343は、2値化処理部342により2値化されたマスク画像の人物領域の一部若しくは全部を含む所定の範囲を幾何学変換する。ここで、幾何学変換とは、例えば、拡大、縮小、移動、回転、変形、鏡映(写像)、投影(射影)等のような、処理対象の画像(上述した「所定の範囲」)の少なくとも一部の、座標変換、除去、若しくは追加等の処理を伴う変換処理である。つまり、幾何学変換は、このように画像を視覚的に変換する処理であればどのようなものであってもよく、上述した例に限らない。
The
ぼかし処理部344は、マスク画像の人物領域周辺の領域に対して、画像を視覚的にぼかす(より不鮮明にする)ぼかし処理を行う。
The blurring
境界領域設定部345は、マスク画像の人物領域と背景領域との境界近傍の所定の範囲の領域を境界領域に設定する。
The boundary
画像処理部346は、境界領域設定部345により設定された境界領域と人物領域に対して画像処理を施す。
The
合成部347は、画像処理部346により画像処理されたマスク画像と、撮影画像とを合成し、合成画像を生成する。
The combining
<幾何学変換部>
図12は、幾何学変換部343の主な構成例を示す図である。
<Geometry conversion part>
FIG. 12 is a diagram illustrating a main configuration example of the
図12に示されるように、幾何学変換部343は、選択部361、移動処理部362、回転処理部363、および変形処理部364を有する。
As illustrated in FIG. 12, the
選択部361は、移動処理部362乃至変形処理部364の中から、実行する幾何学変換処理に対応する処理部を選択する。
The
移動処理部362は、選択部361により選択された場合、幾何学変換として、処理対象の位置を変更(つまり移動)させる移動処理を行う。例えば、移動処理部362は、マスク画像の人物領域を移動させる。この移動の距離や方向は、予め定められていてもよいが、所定の処理条件やユーザ指示等に基づいて設定されるようにしてもよい。
When selected by the
図12に示されるように、移動処理部362は、設定部371および移動部372を有する。設定部371は、移動の距離や方向等、移動に関するパラメータの値を設定する。移動部372は、設定部371により行われた設定に従って、対象(例えば人物領域)を移動させる。
As illustrated in FIG. 12, the
回転処理部363は、選択部361により選択された場合、幾何学変換として、処理対象を回転させる回転処理を行う。例えば、回転処理部363は、所定の中心点若しくは中心線を軸として、マスク画像の人物領域を、所定の角度回転させる。この回転の角度や方向、並びに、中心点若しくは中心線の位置や向きは、予め定められていてもよいが、所定の処理条件やユーザ指示等に基づいて設定されるようにしてもよい。
When selected by the
図12に示されるように、回転処理部363は、設定部373および回転部374を有する。設定部373は、中心点や中心線の位置や向き、並びに、回転の角度や方向等、回転に関するパラメータの値を設定する。回転部374は、設定部373により行われた設定に従って、対象(例えば人物領域)を回転させる。
As illustrated in FIG. 12, the
変形処理部364は、選択部361により選択された場合、幾何学変換として、処理対象を変形させる変形処理を行う。例えば、変形処理部364は、マスク画像の人物領域の一部を含む所定の範囲を変形する。例えば、変形処理部364は、長方形の領域を平行四辺形に形状変換する。このような変形の仕方や変形の程度等は、予め定められていてもよいが、所定の処理条件やユーザ指示等に基づいて設定されるようにしてもよい。
When the
図12に示されるように、変形処理部364は、設定部375および変形部376を有する。設定部375は、変形の仕方やその程度等、変形に関するパラメータの値を設定する。変形部376は、設定部375により行われた設定に従って、対象(例えば人物領域の一部を含む所定の範囲)を変形させる。
As illustrated in FIG. 12, the
<画像処理部>
図13は、画像処理部346の主な構成例を示す図である。
<Image processing unit>
FIG. 13 is a diagram illustrating a main configuration example of the
図13に示されるように、画像処理部346は、色彩設定部391、濃淡設定部392、および透過度設定部393を有する。
As illustrated in FIG. 13, the
色彩設定部391は、マスク画像の境界領域と人物領域の色彩の設定を行う。濃淡設定部392は、マスク画像の境界領域と人物領域の色彩の濃淡の設定を行う。透過度設定部393は、マスク画像の境界領域と人物領域の透過度の設定を行う。
The
<写真シール作成装置ゲーム処理の流れ>
次に、図14のフローチャートを参照して、写真シール作成ゲームを提供する写真シール作成ゲーム処理の流れの例を説明する。
<Photo sticker creation device game process flow>
Next, an example of the flow of photo sticker creation game processing for providing a photo sticker creation game will be described with reference to the flowchart of FIG.
ステップS1において、撮影処理部301は、所定の金額分の硬貨が投入されたか否かを硬貨処理部221から供給される信号に基づいて判定し、投入されたと判定するまで待機する。
In step S1, the
ステップS1において、硬貨が投入されたと判定された場合、ステップS2において、撮影処理部301は、利用者を被写体とする撮影を行う撮影処理を行う。この撮影処理では、利用者の顔又は上半身を撮影するアップ撮影や、利用者の全身を撮影する全身撮影が行われる。
If it is determined in step S1 that a coin has been inserted, in step S2, the
例えば、アップ撮影を複数回行った後、ボーナス撮影(追加の撮影)として、全身撮影を行うようにしてもよい。なお、撮影の仕方が互いに異なる複数のコースを予め用意し、利用者が選択したコースで撮影処理が行われるようにしてもよい。 For example, the whole body photography may be performed as bonus photography (additional photography) after performing up photography several times. A plurality of courses with different shooting methods may be prepared in advance, and the shooting process may be performed in the course selected by the user.
この撮影処理における撮影回数(得られる撮影画像の枚数)は、任意であるが、落書き編集する編集画像(若しくはシール紙に印刷する画像)の数よりも多くするのが望ましい。このようにすることにより、利用者が得られた撮像画像の中から、編集画像とするものを選択することができ、例えば撮影に失敗した画像を除く等、より利用者の好みに適した画像を提供することができる。 The number of times of photographing (the number of photographed images to be obtained) in this photographing process is arbitrary, but it is desirable to increase the number of images to be edited by graffiti editing (or images to be printed on sticker paper). By doing so, it is possible to select an image to be edited from the captured images obtained by the user. For example, an image more suitable for the user's preference such as removing an image that has failed to be captured. Can be provided.
ステップS3において、撮影処理部301は、撮影空間A1にいる利用者に対して、編集空間A2−1又は編集空間A2−2への移動を案内する。編集空間A2−1又は編集空間A2−2への移動の案内は、撮影部208のタッチパネルモニタ92に画面を表示させることによって、又は音声をスピーカ224から出力させることによって行われる。
In step S3, the
ステップS4において、編集処理部302は、編集空間A2−1と編集空間A2−2のうち、撮影処理を終えた利用者の移動先とした方の編集空間に対応する編集部209を制御し、編集処理を行う。具体的には、編集処理部302は、編集対象画像として選択された撮影画像に合成する合成用画像を利用者に選択させ、選択された合成用画像を撮影画像に合成させ、得られた合成画像に対して、利用者による編集操作に従って編集を行う。
In step S4, the
ステップS5において、編集処理部302(の移動案内部326)は、編集空間A2−1又は編集空間A2−2で編集処理を終えた利用者に対して事後接客空間A3への移動を案内する。事後接客空間A3への移動の案内は、タブレット内蔵モニタ131に画面を表示させることによって、又は音声をスピーカ231から出力させることによって行われる。
In step S5, the editing processing unit 302 (the movement guide unit 326) guides the user who has finished the editing process in the editing space A2-1 or the editing space A2-2 to move to the post-service space A3. The guidance for the movement to the post-service space A3 is performed by displaying a screen on the tablet built-in
ステップS6において、印刷処理部303は、例えば、撮影画像や編集済み画像のうち、利用者により選択された画像をプリンタ241に出力してシール紙に印刷させる印刷処理を行う(開始する)。
In step S <b> 6, for example, the
また、タブレット内蔵モニタ161に表示される、事後接客処理の開始ボタンが選択されると、ステップS7において、事後接客処理部304は、印刷終了待機中の利用者に対する事後接客処理を行う。具体的には、事後接客処理部304は、撮影画像や編集済み画像を携帯端末に送信する携帯送信ゲーム処理を事後接客処理として行い、携帯端末の電子メールアドレスを入力させたり、送信する画像を選択させたり、利用者による操作に応じて画像を送信したりする。
Further, when the post-service processing start button displayed on the tablet built-in
印刷が終了すると、ステップS8において、事後接客処理部304は、印刷が終了した旨をタブレット内蔵モニタ161に表示させ、プリンタ241は、画像が印刷されたシール紙をシール紙排出口163に排出し、処理を終了させる。
When the printing is completed, in step S8, the post-service processing unit 304 displays that the printing has been completed on the tablet built-in
<編集処理の流れ>
次に、図15のフローチャートを参照して、図14のステップS4において実行される編集処理の流れの例を説明する。
<Editing process flow>
Next, an example of the flow of editing processing executed in step S4 in FIG. 14 will be described with reference to the flowchart in FIG.
編集処理が開始されると、ステップS21において、撮影画像取得部321は、撮影処理部301の制御により得られた撮影画像を取得する。
When the editing process is started, the captured
ステップS22において、画像設定部322は、利用者が編集作業を行う編集空間(編集空間A2−1と編集空間A2−2のいずれか)の編集空間タブレット内蔵モニタ131にGUIを表示して、利用者からの指示を受け付け、利用者に撮影画像の目のサイズや画像の明るさを選択させる。
In step S22, the
ステップS23において、画像設定部322は、編集空間タブレット内蔵モニタ131にGUIを表示して、利用者からの指示を受け付け、撮影処理により得られた撮影画像の中から落書き編集を行うためにキープするキープ画像を選択させる。
In step S23, the
ステップS24において、画像設定部322は、編集空間タブレット内蔵モニタ131にGUIを表示して、利用者からの指示を受け付け、利用者の名前(おなまえ)を入力させる。
In step S24, the
ステップS25において、画像設定部322は、編集空間タブレット内蔵モニタ131やスピーカ231等を制御して、背景選択の仕方を案内する画像や音声を出力することにより、利用者に対して背景選択のガイダンスを行う。
In step S <b> 25, the
ステップS26において、画像設定部322は、編集空間タブレット内蔵モニタ131にGUIを表示して、利用者からの指示を受け付け、撮影画像(キープ画像)の背景の色(カラー)を選択させる。
In step S <b> 26, the
ステップS27において、画像設定部322は、編集空間タブレット内蔵モニタ131にGUIを表示して、利用者からの指示を受け付け、撮影画像(キープ画像)の背景を選択させる。
In step S <b> 27, the
ステップS28において、オーラ処理部323は、撮影画像(キープ画像)にオーラを付与するオーラ処理を行う。
In step S28, the
ステップS29において、落書き編集部324は、編集空間タブレット内蔵モニタ131やスピーカ231等を制御して、落書き作業の流れを案内する画像や音声を出力することにより、利用者に対して落書き作業のガイダンスを行う。
In step S29, the
ステップS30において、落書き編集部324は、編集部209A若しくは編集部209B(利用者が編集作業を行う方)の各部を制御して、利用者による撮影画像に対する落書き作業を受け付ける落書き編集処理を行う。
In step S <b> 30, the
落書き作業が終了すると、ステップS31において、分割数設定部325は、編集空間タブレット内蔵モニタ131にGUIを表示して、利用者からの指示を受け付け、シール紙の分割数を選択させる。
When the graffiti work is finished, in step S31, the division
ステップS31の処理が終了すると、処理は、図14に戻る。 When the process of step S31 ends, the process returns to FIG.
<オーラ処理の流れ>
次に、図16のフローチャートを参照して、図15のステップS28において実行されるオーラ処理の流れの例を説明する。
<Flow of aura processing>
Next, an example of the flow of the aura process executed in step S28 of FIG. 15 will be described with reference to the flowchart of FIG.
オーラ処理が開始されると、マスク画像生成部341は、ステップS51において、編集処理のステップS21において取得された撮影画像からマスク画像を生成する。
When the aura process is started, the mask
ステップS52において、2値化処理部342は、マスク画像を2値化する2値化処理を行い、マスク画像の人物領域を白画素とし、背景領域を黒画素とする。
In step S52, the
ステップS53において、幾何学変換部343は、マスク画像の人物領域を幾何学変換する幾何学変換処理を行う。
In step S53, the
ステップS54において、ぼかし処理部344は、マスク画像の人物領域の周辺をぼかすぼかし処理を行う。
In step S54, the blurring
ステップS55において、境界領域設定部345は、マスク画像の人物領域と背景領域との境界近傍の領域である境界領域を設定する。
In step S55, the boundary
ステップS56において、画像処理部346は、マスク画像の、ステップS55において設定された境界領域と人物領域に対して、画像処理を行う。
In step S56, the
ステップS57において、合成部347は、ステップS56において画像処理が施されたマスク画像と、そのマスク画像に対応する撮影画像とを合成し、合成画像を生成する。
In step S57, the
ステップS57の処理が終了すると、オーラ処理が終了し、処理は、図15に戻る。 When the process of step S57 ends, the aura process ends, and the process returns to FIG.
<オーラ処理の例>
以上のようなオーラ処理をより詳細に説明する。
<Example of aura processing>
The aura processing as described above will be described in more detail.
図17は、幾何学変換処理として移動処理を行う場合の、オーラ処理の様子を説明する図である。 FIG. 17 is a diagram for explaining the state of the aura process when the movement process is performed as the geometric conversion process.
ステップS51の処理により、例えば、図17Aに示される撮影画像401から、図17Bに示されるマスク画像402が生成される。撮影画像401において被写体を表す領域401Aが、マスク画像402において人物領域402Aに設定され、撮影画像401の被写体以外を表す領域401Bが、マスク画像402において背景領域402Bに設定される。つまり、マスク画像402においては、人物領域402Aと背景領域402Bとが識別される。
By the processing in step S51, for example, a
ステップS52の2値化処理により、このマスク画像402が2値化され、図17Cに示されるように、人物領域402Aが白に設定され、背景領域402Bが黒に設定される。
By the binarization process in step S52, the
ステップS53の幾何学変換処理により、図17Dに示されるように、人物領域402Aの位置が移動される。図17Dの例の場合、人物領域402Aが、図17Dに向かって右に移動されている(402A’)。移動処理の詳細については、後述する。
The position of the
ステップS54のぼかし処理により、図17Eに示されるように、移動後の人物領域402A’の周辺402Cに対してぼかし効果のあるフィルタ処理が施される。ぼかし処理を施すことにより、マスク画像402の人物領域402A’と背景領域402Bとの境界を曖昧にし、合成画像において、オーラが滑らかに(視覚的に違和感の少ない、より自然な状態で)撮影画像に合成されるようにすることができる。
By the blurring process in step S54, as shown in FIG. 17E, a filter process having a blurring effect is performed on the periphery 402C of the
ステップS55の処理により、図17Fに示されるように、人物領域402A’と背景領域402Bの境界近傍に境界領域402Dが設定される。この境界領域402Dは、例えば、排他的論理和を用いて算出される。この境界領域402Dには、周辺402Cが含まれる。従って、例えば、ステップS54のぼかし処理において、ぼかし具合を表すぼかし度を高くすることで、境界領域402Dの幅を広くすることができる。
By the processing in step S55, as shown in FIG. 17F, a
また、この境界領域402Dは、その周辺402Cと一致させてもよいし、図17Fに示される例のように、人物領域402A’の一部をさらに含むようにしてもよい。
Further, the
ステップS56の処理により、図17Gに示されるように、境界領域402Dに対して、例えば色彩の設定、色彩の濃淡の設定、透過度の設定等の、所定の画像処理が施される。
By the processing in step S56, as shown in FIG. 17G, predetermined image processing such as color setting, color density setting, and transparency setting is performed on the
ステップS57の処理により、図17Hに示されるように、図17Aの撮影画像401に、図17Gの境界領域402Dの一部が合成された合成画像403が生成される。つまり、撮影画像401に、画像処理が施された図17Gの境界領域402Dの画像が、オーラとして付与される。
As a result of the process in step S57, as illustrated in FIG. 17H, a composite image 403 in which a part of the
このように、オーラ処理において、マスク画像の人物領域の移動(幾何学的変換)を行うことにより、図17Hに示されるように、被写体に対して一方(図17Hの例の場合、図17Hに向かって右側)に偏った状態でオーラを付与することができる。例えば、オーラは被写体の影のようにも見えるので、このようなオーラの付与により、被写体(被写体を表す領域401A)の、図17Hに向かって左側から光が当たっているように見える効果を与えることができる。つまり、オーラ処理部323が以上のようにオーラ処理を行うことにより、写真シール作成装置1は、より自然な画像を提供することができる。
In this way, by performing movement (geometric transformation) of the human area of the mask image in the aura process, as shown in FIG. 17H, one side of the subject (in the case of the example of FIG. 17H, FIG. 17H Aura can be applied in a state biased to the right). For example, since the aura looks like the shadow of the subject, such an aura gives the subject (the
なお、ステップS56の画像処理は、境界領域402Dだけでなく、人物領域402A’に対しても施されるようにしてもよい。例えば、ステップS53の幾何学変換処理(移動処理)における人物領域402Aの移動量が大きく、ステップS57の合成の結果得られる合成画像403において、境界領域402Dだけでなく、人物領域402A’も表示される場合がある。このような場合、例えば色彩の設定等の画像処理が、これらの領域(少なくとも合成画像403において表示されている部分)に対して施されるようにしてもよい。
Note that the image processing in step S56 may be performed not only on the
また、複数種類の画像処理が施される場合、各画像処理が施される領域が互いに同一でない(一部の画像処理のみが施される領域が存在しうる)ようにしてもよい。例えば、色彩の設定が人物領域402A’および境界領域402Dに対して行われ、色彩の濃淡や透過度の設定が境界領域402Dに対してのみ行われるようにしてもよい。
Further, when a plurality of types of image processing are performed, the areas to which the respective image processes are performed may not be the same (there may be an area to which only a part of the image processing is performed). For example, the color may be set for the
なお、幾何学的変換は、上述した「移動」に限らない。例えば、人物領域の「回転」であってもよい。 The geometric transformation is not limited to the “movement” described above. For example, it may be “rotation” of the person area.
図18は、幾何学変換処理として回転処理を行う場合の、オーラ処理の様子を説明する図である。 FIG. 18 is a diagram for explaining the aura process when the rotation process is performed as the geometric conversion process.
回転処理の場合も、移動処理の場合と同様に、ステップS51の処理により、例えば、図18Aに示される撮影画像411から、図18Bに示されるマスク画像412が生成される。撮影画像411において被写体を表す領域411Aが、マスク画像412において人物領域412Aに設定され、撮影画像411の被写体以外を表す領域411Bが、マスク画像412において背景領域412Bに設定される。
In the case of the rotation process, as in the case of the movement process, for example, the
ステップS52の2値化処理により、このマスク画像412が2値化され、図18Cに示されるように、人物領域412Aが白に設定され、背景領域412Bが黒に設定される。
By the binarization process in step S52, the
ステップS53の幾何学変換処理により、図18Dに示されるように、人物領域412Aが回転される。図18Dの例の場合、人物領域412Aが、その下端中央付近を中心点412Pとして、図18Dに向かって右(時計回り)に回転されている(412A’)。回転処理の詳細については、後述する。
By the geometric conversion process in step S53, the
ステップS54のぼかし処理により、図18Eに示されるように、回転後の人物領域412A’の周辺412Cに対してぼかし効果のあるフィルタ処理が施される。
By the blurring process in step S54, as shown in FIG. 18E, a filtering process having a blurring effect is performed on the periphery 412C of the rotated
ステップS55の処理により、図18Fに示されるように、人物領域412A’と背景領域412Bの境界近傍に境界領域412Dが設定される。この境界領域412Dは、例えば、排他的論理和を用いて算出される。この境界領域412Dには、人物領域412A’の周辺412Cが含まれる。従って、例えば、ステップS54のぼかし処理において、ぼかし具合を表すぼかし度を高くすることで、境界領域402Dの幅を広くすることができる。
By the processing in step S55, as shown in FIG. 18F, a
また、この境界領域412Dは、その周辺412Cと一致させてもよいし、図18Fに示される例のように、人物領域412A’の一部をさらに含むようにしてもよい。
Further, the
ステップS56の処理により、図18Gに示されるように、境界領域412Dに対して、例えば色彩の設定、色彩の濃淡の設定、透過度の設定等の、所定の画像処理が施される。
By the processing in step S56, as shown in FIG. 18G, predetermined image processing such as setting of color, setting of shade of color, setting of transparency, etc. is performed on the
ステップS57の処理により、図18Hに示されるように、図18Aの撮影画像411に、図18Hの境界領域412Dの一部や人物領域412A’の一部が合成された合成画像413が生成される。つまり、撮影画像411に、画像処理が施された図18Gの境界領域412Dの画像が、オーラとして付与される。
As a result of the process in step S57, as shown in FIG. 18H, a composite image 413 in which a part of the
このように、オーラ処理において、マスク画像の人物領域の回転(幾何学的変換)を行うことにより、図18Hに示されるように、被写体に対して一方(図18Hの例の場合、図18Hに向かって右側)に偏った状態、特に上側が強調された状態でオーラを付与することができる。例えば、オーラは被写体の影のようにも見えるので、このようなオーラの付与により、被写体(被写体を表す領域411A)の、図18Hに向かって左下側から光が当たっているように見える効果を与えることができる。つまり、オーラ処理部323が以上のようにオーラ処理を行うことにより、写真シール作成装置1は、より自然な画像を提供することができる。
In this way, by performing rotation (geometric transformation) of the human region of the mask image in the aura process, as shown in FIG. 18H, one of the subjects (in the case of the example of FIG. 18H, FIG. 18H The aura can be applied in a state biased to the right), particularly in a state where the upper side is emphasized. For example, since the aura looks like a shadow of the subject, such an aura gives the effect that the subject (
より具体的には、図17を参照して上述した移動処理の場合、被写体を表す領域401Aに対して、一定の幅のオーラが付与されるが、回転処理の場合、図18Hのごとく、一定ではなく、よりリアルな状態でオーラが付与されるようにすることができる。
More specifically, in the case of the movement process described above with reference to FIG. 17, an aura having a certain width is given to the
なお、ステップS56の画像処理は、境界領域412Dだけでなく、人物領域412A’に対しても施されるようにしてもよい。例えば、ステップS53の幾何学変換処理(回転処理)における人物領域412Aの回転量(回転角)が大きく、ステップS57の合成の結果得られる合成画像413において、境界領域412Dだけでなく、人物領域412A'も表示される場合がある。このような場合、例えば色彩の設定等の画像処理が、これらの領域(少なくとも合成画像413において表示されている部分)に対して施されるようにしてもよい。また、複数種類の画像処理が施される場合、各画像処理が施される領域が互いに同一でない(一部の画像処理のみが施される領域が存在しうる)ようにしてもよい。
Note that the image processing in step S56 may be performed not only on the
さらに、幾何学的変換は、例えば、人物領域の少なくとも一部の「変形」であってもよい。 Further, the geometric transformation may be, for example, “deformation” of at least a part of the person area.
図19乃至図22は、幾何学変換処理として変形処理を行う場合の、オーラ処理の様子を説明する図である。 FIG. 19 to FIG. 22 are diagrams for explaining the state of the aura process when the deformation process is performed as the geometric conversion process.
変形処理の場合も、移動処理の場合と同様に、ステップS51の処理により、例えば、図19に示される撮影画像421から、図20に示されるマスク画像422が生成される。撮影画像421において被写体の部分421Aが、マスク画像422において人物領域422Aに設定され、撮影画像421の被写体以外の部分421Bが、マスク画像422において背景領域422Bに設定される。
In the case of the deformation process, as in the case of the movement process, for example, the mask image 422 shown in FIG. 20 is generated from the photographed image 421 shown in FIG. The
ステップS52の2値化処理により、図20に示されるように、このマスク画像422が2値化され、人物領域422Aが白に設定され、背景領域422Bが黒に設定される。
By the binarization process in step S52, as shown in FIG. 20, this mask image 422 is binarized, the
ステップS53の幾何学変換処理により、人物領域422Aの少なくとも一部を含む領域が変形される。
The region including at least a part of the
例えば、図21の矢印Q11に示すように、利用者の領域HR11が抽出されたマスク画像MS11の、下部領域DR11に対して変形処理が施され、矢印Q12に示すように変形後の下部領域DR11が、変形下部領域TR11とされる。 For example, as shown by an arrow Q11 in FIG. 21, a deformation process is performed on the lower region DR11 of the mask image MS11 from which the user's region HR11 has been extracted, and the transformed lower region DR11 is shown by an arrow Q12. Is the modified lower region TR11.
この例では、下部領域DR11の図中、下側の辺(以下、下辺と称する)が固定されたまま、下部領域DR11の図中、上側の辺(以下、上辺と称する)が、図中、左方向に幅Wxだけ移動するように、下部領域DR11に対して変形処理が施されている。すなわち、下部領域DR11の左右の端にある辺が所定の角度だけ傾けられて(例えば、下部領域DR11の左右の端にある辺の、水平方向からの角度θが、θ=90°からθ=120°に傾けられて)、平行四辺形状の変形下部領域TR11とされている。ここで、変形処理における幅Wxは、画像上の利用者に付加される影の幅が所定値幅となるように定められる。 In this example, in the drawing of the lower region DR11, the lower side (hereinafter referred to as the lower side) is fixed, and the upper side (hereinafter referred to as the upper side) in the drawing of the lower region DR11 is The deformation process is performed on the lower region DR11 so as to move to the left by the width Wx. That is, the sides at the left and right ends of the lower region DR11 are inclined by a predetermined angle (for example, the angle θ of the sides at the left and right ends of the lower region DR11 from the horizontal direction is changed from θ = 90 ° to θ = It is inclined to 120 °) to form a parallelogram-shaped deformed lower region TR11. Here, the width Wx in the deformation process is determined so that the width of the shadow added to the user on the image becomes a predetermined value width.
このような変形処理により、変形下部領域TR11では、利用者の領域HR11のうちの下部領域DR11内にあった領域が傾くので、変形下部領域TR11内にある利用者の領域THR11の境界と、上部領域UR11内にある利用者の領域UHR11の境界にずれが生じる。すなわち、この例では、利用者の体の領域である領域UHR11に対して、利用者の足の領域である領域THR11が、変形処理で傾けられた分だけ図21に向かって左側にずれてしまっている。ここで、領域UHR11は、マスク画像MS11上の利用者の領域HR11のうち、上部領域UR11内にある領域である。 By such deformation processing, in the modified lower region TR11, the region that was in the lower region DR11 of the user region HR11 is inclined, so that the boundary of the user region THR11 in the modified lower region TR11 and the upper portion A shift occurs in the boundary of the user area UHR11 within the area UR11. That is, in this example, the region THR11 that is the user's foot region is shifted to the left side in FIG. 21 by the amount tilted by the deformation process with respect to the region UHR11 that is the user's body region. ing. Here, the region UHR11 is a region in the upper region UR11 out of the user region HR11 on the mask image MS11.
そこで、矢印Q13に示すように、変形下部領域TR11に対して、上部領域UR11を図21に向かって左側に幅Wxだけ平行移動させることで、上部領域UR11’とする。これにより、移動後の領域UHR11である、上部領域UR11’内の領域UHR11’の境界は、領域THR11の境界と重なるようになる。 Therefore, as indicated by an arrow Q13, the upper region UR11 is translated to the left side in FIG. 21 by the width Wx with respect to the modified lower region TR11 to form an upper region UR11 '. Thereby, the boundary of the region UHR11 'in the upper region UR11', which is the region UHR11 after movement, overlaps the boundary of the region THR11.
ステップS54のぼかし処理、ステップS55の境界設定処理、ステップS56の画像処理、ステップS57の合成処理が、上述した「移動」や「回転」の場合と同様に行われ、図22に示されるように、合成画像423が生成される。つまり、撮影画像421に、画像処理が施された境界領域の画像が、オーラとして付与される。 The blurring process in step S54, the boundary setting process in step S55, the image process in step S56, and the synthesizing process in step S57 are performed in the same manner as in the above-described “movement” and “rotation”, as shown in FIG. A composite image 423 is generated. That is, the image of the boundary region that has undergone image processing is added to the captured image 421 as an aura.
従来の方法では、オーラは被写体の周囲全域に対して一定の距離で等間隔に設けられてしまい、ある部分のみ、例えば、被写体の右方向のみ距離を長くして、左方向のみ距離を短くする等といったことができず、オーラの付け方の自由度が低かった。そのため、リアリティがない不自然な仕上がりの画像となってしまっていた。そこで以上のように、オーラ処理において、画像の幾何学変換を行うことにより、写真シール作成装置1は、オーラの付け方の自由度を向上させることができ、より立体感のある自然な画像を提供することができる。
In the conventional method, the aura is provided at regular intervals with a constant distance with respect to the entire area around the subject. For example, the distance is increased only in the right direction of the subject, and the distance is decreased only in the left direction. The degree of freedom of attaching an aura was low. Therefore, it was an unnatural finish image without reality. Therefore, as described above, by performing geometric conversion of the image in the aura processing, the photo
以上のように、幾何学変換処理として、様々な変換処理を適用することができる。もちろん、例えば拡大・縮小等のように、上述した3例以外の変換処理も適用することができる。上述したように、オーラ処理部323は、幾何学変換処理の内容に関わらず、基本的に同様にオーラ処理を行うことができる。つまり、容易に任意の幾何学変換を適用することができるので、写真シール作成装置1は、より容易に、画像や利用者の嗜好等に応じて適切な幾何学変換を適用することができる。つまり、写真シール作成装置1は、より容易に、より利用者の嗜好に応じた、より自然な画像を提供することができる。
As described above, various conversion processes can be applied as the geometric conversion process. Of course, conversion processes other than the three examples described above, such as enlargement / reduction, can also be applied. As described above, the
<幾何学変換処理の流れ>
次に、図23のフローチャートを参照して、図16のステップS53において実行される、幾何学変換処理の流れの例を説明する。
<Flow of geometric transformation process>
Next, an example of the flow of the geometric transformation process executed in step S53 in FIG. 16 will be described with reference to the flowchart in FIG.
幾何学変換処理が開始されると、幾何学変換部343の選択部361は、ステップS71において、実行する幾何学変換処理を選択する。予め用意される幾何学変換処理の内容およびその数は任意である。ここでは、図12等の例に合わせて、移動処理、回転処理、および変形処理の3種類の処理が、幾何学変換処理として用意されるものとする。その場合、選択部361は、その3の候補の中から、実際に実行する処理を、少なくとも1つ以上選択する。
When the geometric conversion process is started, the
その選択方法は任意である。例えば、利用者が撮影作業において選択した撮影コースの特徴に応じて選択部361が実行する処理を選択するようにしてもよい。用意される撮影コースは任意であるが、例えば、きれいコースやかわいいコース等がある。例えば、きれいコースは、メリハリの強い画像を提供するコースであるので、このコースが選択された場合は、印象の強いオーラが付与される処理が選択されるようにしてもよい。また、例えば、かわいいコースは、柔らかい印象の画像を提供するコースであるので、このコースが選択された場合は、印象が柔らかいオーラが付与される処理が選択されるようにしてもよい。
The selection method is arbitrary. For example, you may make it select the process which the
また、例えば、利用者の人数を検知し、選択部361が、その利用者の人数によって処理を選択するようにしてもよい。利用者の人数によって人物領域の形状が大きく変化するので、より適切な変換処理が変わる場合がある。例えば、利用者が複数人の場合、移動処理や回転処理等よりも、変形処理の方が、より自然な画像が得られる場合がある。
Further, for example, the number of users may be detected, and the
さらに、例えば、選択部361が、マスク画像の中において人物領域(白画素)が全体のどの程度の割合を占有しているかによって処理が選択されるようにしてもよい。例えば、全身撮影の場合、図24Aに示されるように、人物領域が撮影画像に占める割合が小さい(例えば半分以下となる)場合がある。これに対して、例えば、アップ撮影の場合、図24Bに示されるように、人物領域が撮影画像に占める割合が大きい(例えば半分以上となる)場合がある。利用者の人数の場合と同様に、このような人物領域が撮影画像に占める割合が大きいか小さいかによって、より適切な変換処理が変わる場合がある。
Further, for example, the
なお、例えば、顔認識によって、顔部分が撮影画像に占める割合を検出し、その割合に応じて処理を選択するようにしてもよい。 For example, the ratio of the face portion in the captured image may be detected by face recognition, and processing may be selected according to the ratio.
図23に戻り、ステップS72において、選択部361は、ステップS71の選択に基づいて、移動処理を行うか否かを判定する。移動処理を行うと判定された場合、処理はステップS73に進む。
Returning to FIG. 23, in step S <b> 72, the
ステップS73において、移動処理部362の設定部371は、移動の方向や距離を設定する。設定部371は、移動の方向や距離を、例えば、撮影画像毎、撮影コース毎、人物毎、写り具合、明るさ等の条件をパラメータとして決定する。
In step S73, the
ステップS74において、移動部372は、ステップS73において行われた設定に従って、マスク画像の人物領域を移動する。選択部により移動処理を選択された場合、例えば、マスク画像の人物領域の特定点を基準点とする。そして、この基準点は、座標情報における原点(0,0)とする。例えば、座標を2次元としてとらえる場合を説明する。上述した原点(0.0)からその座標情報におけるX軸方向・Y軸方向に任意の座標点(X,Y)まで移動する。そして、マスク画像内の座標において、X軸方向の正方向への移動は右方向へ移動であり、負方向への移動は左方向へ移動とする。同様に、Y軸方向で正方向への移動は上方向へ移動であり、負方向への移動は下方向への移動とする。なお、座標情報を2次元ではなく、3次元としてとらえ、Z軸方向への移動も可能である。
In step S74, the moving
以上のように、移動の方向・距離を設定することで、オーラの方向と幅を決定することができる。オーラを強調したい場合、移動距離を長く設定することで、オーラの幅が長くなる。つまり、オーラが合成画像内において、人物画像の外周で非常に際立った印象を与える。また、移動距離を短くすること(移動をほとんど行わない)で、人物画像の外周に一定の幅を持ったオーラを形成することができる。例えば、図17Hの例の場合、図17Hに向かって左側から光が当たったようなイメージであり、人物画像の、図17Hに向かって右側にオーラが形成されている。なお、X軸方向の移動距離が大きければ大きいほど、左右からの光量が多くなり、Y軸方向の移動距離が大きければ大きいほど、上下からの光量が多くなるようなオーラを提供するようにしてもよい。 As described above, the direction and width of the aura can be determined by setting the direction and distance of movement. When it is desired to emphasize the aura, the width of the aura is increased by setting the moving distance longer. That is, the aura gives a very outstanding impression on the outer periphery of the person image in the composite image. Also, by shortening the movement distance (raising little movement), an aura having a certain width can be formed on the outer periphery of the person image. For example, in the case of the example of FIG. 17H, it is an image as if light hits from the left side toward FIG. 17H, and an aura is formed on the right side of the person image toward FIG. 17H. It should be noted that an aura is provided such that the greater the movement distance in the X-axis direction, the greater the amount of light from the left and right, and the greater the movement distance in the Y-axis direction, the greater the amount of light from above and below. Also good.
ステップS74の処理が終了すると、処理は、ステップS75に進む。また、ステップS72において、移動処理を行わないと判定された場合、処理は、ステップS75に進む。 When the process of step S74 ends, the process proceeds to step S75. If it is determined in step S72 that the moving process is not performed, the process proceeds to step S75.
ステップS75において、選択部361は、ステップS71の選択に基づいて、回転処理を行うか否かを判定する。回転処理を行うと判定された場合、処理はステップS76に進む。
In step S75, the
ステップS76において、回転処理部363の設定部373は、回転の中心若しくは軸、回転方向、および回転角度を設定する。設定部373は、回転の方向や角度等を、例えば、撮影画像毎、撮影コース毎、人物毎、写り具合、明るさ等の条件をパラメータとして決定する。また、設定部373は、マスク画像の人物領域の特定点を中心点又は中線(軸)とする。そして、この中心点又は中線を原点又は基準線とする。
In step S76, the
なお、この中心点の位置は、任意である。例えば、マスク画像全体の中心、マスク画像の人物領域の中心、マスク画像の顔領域の中心、被写体マスク画像の人物領域における上半身部分又は下半身部分を回転の中心として原点を設定することができるようにしてもよい。 Note that the position of the center point is arbitrary. For example, the origin can be set with the center of the whole mask image, the center of the person area of the mask image, the center of the face area of the mask image, and the upper body part or the lower body part of the person area of the subject mask image as the center of rotation. May be.
同様に、例えば、マスク画像全体の中線、マスク画像の人物領域の中線、被写体マスク画像の顔領域の中線、被写体マスク画像の人物領域における上半身部分又は下半身部分を回転の基準線として設定することができるようにしてもよい。なお、この中線の方向は、任意であり、例えば、X軸に平行な線を中線としてもよいし、Y軸に平行な線を中線としてもよいし、Y=AX(Aは定数)に平行な線を中線としても良い。 Similarly, for example, the center line of the entire mask image, the center line of the person area of the mask image, the center line of the face area of the subject mask image, and the upper or lower body part of the person area of the subject mask image are set as the reference line for rotation. You may be able to do that. The direction of the middle line is arbitrary. For example, a line parallel to the X axis may be a middle line, a line parallel to the Y axis may be a middle line, and Y = AX (A is a constant) ) May be a middle line.
ステップS77において、回転部374は、ステップS76において行われた設定に従って、マスク画像の人物領域を回転する。例えば、座標を2次元としてとらえる場合を説明する。上述した原点又は基準線から、その座標情報におけるある一定角度を回転する。この回転における回転角度は、例えば反時計回り方向への回転は正方向への回転であり、時計回りへの回転は負方向への回転である。図18の例の場合、負方向へ回転している。
In step S77, the
原点又は基準線をどこに設定するかで、マスク画像の人物領域における回転距離が変更される。例えば、原点(0,0)の位置をマスク画像の人物領域における端部に設定する場合と、マスク画像の人物領域における中心点に設定する場合を比較すると、原点の位置を端部に設定した場合の方が、原点の位置を中心に設定する場合よりも回転角度は同じであっても、人物マスク領域全体の移動する距離が多くなる。また、原点の位置を端部に設定した場合、人物画像の片側にオーラを出現させることができる。 Depending on where the origin or the reference line is set, the rotation distance in the person area of the mask image is changed. For example, when the position of the origin (0,0) is set to the end of the person area of the mask image and the case of setting the center point of the person area of the mask image, the origin position is set to the end. In this case, even if the rotation angle is the same as in the case where the origin position is set as the center, the movement distance of the entire person mask region is increased. Further, when the position of the origin is set at the end, an aura can appear on one side of the person image.
例えば、図25Aに示されるように、マスク画像441の人物領域441Aの下端に中心点442がセットされる。この場合、人物領域441Aが回転されると、矢印443のように、回転するが、図25Bに示されるように、人物領域441Aの中心付近に中心点444を設定すると、矢印445および矢印446のように、回転する。
For example, as shown in FIG. 25A, a center point 442 is set at the lower end of the
つまり、原点の位置を人物領域の中心から離れるほど、人物画像との合成時に人物画像の領域と重なる部分がなくなり、オーラが合成画像内において、人物画像の外周で非常に際立った印象を与えることができる。 In other words, the farther the origin is from the center of the person area, the more the part of the person image overlaps with the person image when it is combined with the person image. Can do.
なお、原点の位置を人物領域の中心に設定した場合、その回転角度が0°もしくは180°あたりでは、人物画像は、マスク画像の人物領域と重なる部分が多く、回転角度が90°もしくは270°あたりでは、人物画像は、マスク画像の人物領域と略直交方向であるため、重なる部分が少なくなるため、回転角度によって、イメージが異なるようなオーラを付与することができる。 If the position of the origin is set at the center of the person area, when the rotation angle is around 0 ° or 180 °, the person image often overlaps with the person area of the mask image, and the rotation angle is 90 ° or 270 °. On the other hand, since the person image is in a direction substantially orthogonal to the person region of the mask image, the overlapping portion is reduced, so that an aura with different images can be given depending on the rotation angle.
また、人物画像が利用者の全身(若しくは略全身)の画像であり、原点の位置をその人物画像の中心に設定した場合、上述したような負方向の回転処理を適用することにより、人物画像の上側の一部分(例えば上半身部分)の、画像に向かって右側と、人物画像の下側の一部分(例えば下半身部分)の、画像に向かって左側とに、オーラを付与することができる。 Further, when the person image is an image of the whole body (or substantially the whole body) of the user and the position of the origin is set at the center of the person image, the person image can be obtained by applying the negative rotation process as described above. The aura can be given to the right side of the upper part of the image (for example, the upper body part) toward the image and the lower part of the person image (for example, the lower body part) to the left side of the image.
なお、例えば、図25Cに示されるように、中心軸を設定することもできる。この場合、人物領域441Aは、中心軸447を軸とし矢印448に示されるように回転する。
For example, as shown in FIG. 25C, the central axis can be set. In this case, the
さらに、回転角度については、例えば、回転角度をθとした場合、θが90°もしくは270°に近い角度であると、そのマスク画像の人物領域は直交方向であるため、マスク画像の人物領域と人物画像の重なり位置が少ない。逆にθが0°もしくは180°に近い角度であると、そのマスク画像の人物領域は水平方向であるため、マスク画像の人物領域と人物画像の重なり位置は多い。 Further, regarding the rotation angle, for example, when the rotation angle is θ, if θ is an angle close to 90 ° or 270 °, the person area of the mask image is in the orthogonal direction. There are few overlapping positions of human images. On the other hand, if θ is an angle close to 0 ° or 180 °, the person area of the mask image is in the horizontal direction, so that there are many overlapping positions of the person area of the mask image and the person image.
ただし、この角度については、原点の位置がマスク画像の人物領域の中心とした場合にあてはまるが、端点である場合にはあてはまらない。θが180°に近い角度であると、そのマスク画像の人物領域は、人物画像と重なり位置が少ない。θが0°に近い角度であると、そのマスク画像の人物領域は水平方向であるため、マスク画像の人物領域と人物画像の重なり位置は多い。 However, this angle applies when the position of the origin is the center of the person area of the mask image, but does not apply when it is an end point. When θ is an angle close to 180 °, the person area of the mask image has few overlapping positions with the person image. When θ is an angle close to 0 °, the person area of the mask image is in the horizontal direction, so that there are many overlapping positions of the person area of the mask image and the person image.
以上のように、中心点や軸の位置、回転角度、回転方向等によって、画像に付与されるオーラの効果は、大きく変化する。何が最適であるかは、画像の内容や、オーラによってどのような効果を与えたいか(どのようにオーラを見せたいか)等によって決まる。例えば、オーラを被写体の影のように見せるのであれば、一般的には、被写体(人物領域)の下端(の中央付近)を中心として回転させるようにすると、より自然な画像が得られやすい。 As described above, the effect of the aura added to the image varies greatly depending on the center point, the position of the axis, the rotation angle, the rotation direction, and the like. What is optimal is determined by the contents of the image, what kind of effect is desired to be given by the aura (how the aura is to be shown), and the like. For example, if the aura is shown as a shadow of a subject, generally, a more natural image can be easily obtained by rotating the subject (person area) around the lower end (near the center).
ステップS77の処理が終了すると、処理は、ステップS78に進む。また、ステップS75において、回転処理を行わないと判定された場合、処理は、ステップS78に進む。 When the process of step S77 ends, the process proceeds to step S78. If it is determined in step S75 that the rotation process is not performed, the process proceeds to step S78.
ステップS78において、選択部361は、ステップS71の選択に基づいて、変形処理を行うか否かを判定する。変形処理を行うと判定された場合、処理はステップS79に進む。
In step S78, the
ステップS79において、変形処理部364の設定部375は、変形する領域、変形の仕方、変形量等を設定する。
In step S79, the
ステップS80において、変形部376は、ステップS79において行われた設定に従って、マスク画像の人物領域の少なくとも一部を含む領域を変形する。
In step S80, the
なお、変形処理については、矩形で抽出した形状(トリミングした領域)を平行四辺形・台形・ひし形等に矩形状を変形させてもよいし、三角形・五角形等の他の図形状にしてもよい。また、例えば、利用者が複数名いる場合、利用者毎に領域を設定し、各領域を互いに独立に変形させるようにしてもよいし、利用者全員が含まれる領域を設定し、その領域を変形させるようにしてもよい。 As for the deformation process, the rectangular shape (trimmed area) may be transformed into a parallelogram, trapezoid, rhombus, or other shape such as a triangle or pentagon. . Also, for example, when there are a plurality of users, an area may be set for each user, and each area may be transformed independently of each other, or an area including all users may be set, and the area You may make it deform | transform.
ステップS80の処理が終了すると、幾何学変換処理が終了し、処理は、ステップS16に戻る。また、ステップS78において、変形処理を行わないと判定された場合、幾何学変換処理が終了し、処理は、図16に戻る。 When the process of step S80 ends, the geometric conversion process ends, and the process returns to step S16. If it is determined in step S78 that the deformation process is not performed, the geometric conversion process ends, and the process returns to FIG.
<画像処理の流れ>
次に、図26のフローチャートを参照して、図16のステップS56の処理において実行される画像処理の流れの例を説明する。なお、画像処理の内容は任意である、ここでは、色彩の設定、濃淡の設定、および透過度の設定が画像処理として実行されるものとする。
<Image processing flow>
Next, an example of the flow of image processing executed in the process of step S56 of FIG. 16 will be described with reference to the flowchart of FIG. Note that the content of the image processing is arbitrary. Here, it is assumed that color setting, shading setting, and transparency setting are executed as image processing.
画像処理が開始されると、ステップS101において、色彩設定部391は、境界領域の色彩を設定する(付与する)。この処理は、例えば、撮影画像に合成される背景画像の色に応じて行うようにしてもよい。さらに明度又は彩度を上げたり下げたりしてもよい。
When image processing is started, in step S101, the
例えば、利用者が複数人の場合、Aさんのオーラを黄色とし、Bさんのオーラを緑色とする等、人物毎に色を変えるようにしてもよい。また、背景と関連付けて、色彩を調整することができるようにしてもよい。つまり、人、位置、背景等に応じて色を変えるようにしてもよい。 For example, when there are a plurality of users, the color of each person may be changed such that Mr. A's aura is yellow and Mr. B's aura is green. Further, the color may be adjusted in association with the background. That is, the color may be changed according to the person, position, background, and the like.
また、例えば、利用者が1人なら1色とし、 利用者が2人なら1色としてもよいし2色としてもよいし、利用者が3人なら1色としてもよいし、2色としてもよいし、3色としてもよい。つまり、人数に応じて色を変えるようにしてもよい。さらに、大人数であれば、単色のみのオーラだけに限定するようにしてもよい。 Also, for example, if there is one user, it may be one color, if there are two users, it may be one color or two colors, or if there are three users, it may be one color, or two colors. It is good also as 3 colors. That is, the color may be changed according to the number of people. Furthermore, if it is a large number of people, it may be limited to only a single color aura.
このようにすることにより、背景画像の色に合わせて、色彩を調整(選択)することができ、それにより人物画像の人物がより際立つようなリアルなオーラを付与することができる。濃淡を付与することで、リアルかつ立体的にオーラを付与することができる。 By doing so, it is possible to adjust (select) the color according to the color of the background image, thereby giving a realistic aura that makes the person of the person image stand out more. By giving light and shade, aura can be given realistically and three-dimensionally.
また、ステップS102において、濃淡設定部392は、境界領域の濃淡を制御する。例えば、人物から背景側へ移動すればするほど、淡くなるようにすることで、人物領域をより際立させて表示することができる。この濃淡の付与の仕方は任意である。例えば、利用者が複数人の場合、AさんとBさんのオーラを濃淡なしとし、AさんとBさんとの重なり位置を濃淡ありとするようにしてもよい。また、例えば、大人数の場合、濃淡なしとしてもよい。
In step S102, the
このように、濃淡を付与することで、リアルかつ立体的にオーラを付与することができる。なお、利用者が複数人の場合、上述した色彩と組み合わせて、より多様なパターンを提供することができるようにしてもよい。例えば、Aさんのオーラが黄色の濃淡なしとし、Bさんのオーラが緑色の濃淡なしとして人物毎に色を変えてもよい。また、例えば、Aさんのオーラが黄色の濃淡なしとし、Bさんのオーラが緑色の濃淡なしとし、AさんBさんの重なり位置のオーラが黄緑色の濃淡ありとすることができる。 Thus, aura can be imparted realistically and three-dimensionally by imparting light and shade. In addition, when there are a plurality of users, more various patterns may be provided in combination with the above-described colors. For example, the color of each person may be changed assuming that Mr. A's aura has no yellow shading and Mr. B's aura has no green shading. Also, for example, Mr. A's aura can be yellow and shadeless, Mr. B's aura can be green and shaded, and Mr. A's overlapping aura can be yellowish green and shaded.
さらに、ステップS103において、透過度設定部393は、境界領域の透過度を設定する。
Further, in step S103, the
ステップS103の処理が終了すると画像処理が終了され、処理は、図16に戻る。 When the process of step S103 ends, the image processing ends, and the process returns to FIG.
以上のような画像処理を行うことにより、写真シール作成装置1は、画像に適した画像処理を付与することができる。これにより、写真シール作成装置1は、より自然な画像を提供することができる。
By performing the image processing as described above, the photo
なお、撮影コースにより、このような画像処理の内容が選択されるようにしても良い。例えば、撮影コースとして、かわいいコースときれいコースの2コースが存在するとする。 Note that the content of such image processing may be selected depending on the shooting course. For example, it is assumed that there are two courses, a cute course and a beautiful course, as shooting courses.
きれいコースは、大人っぽいイメージの画像が生成されるコースである。したがって、きれいコースでは、濃淡をはっきりと付与する事で、オーラをはっきりと付与することができ、大人っぽさを演出することができる。 The beautiful course is a course in which an image of an adult image is generated. Therefore, in the beautiful course, by giving the shade clearly, it is possible to clearly give the aura and produce an adultishness.
逆に、かわいいコースの場合、濃淡をぼんやりと付与する事で、オーラをぼんやりと付与でき、かわいらしさを演出することができる。 On the other hand, in the case of a cute course, the aura can be given softly by giving the light and dark shades, and the cuteness can be produced.
また、画像処理と幾何学変換処理を組み合わせても良い。 Further, image processing and geometric conversion processing may be combined.
幾何学変換処理においては、きれいコースでは、オーラをはっきりと付与したいので、オーラの幅を短くする。逆に、かわいいコースでは、オーラをぼんやりと付与したいので、オーラの幅を長くする。 In the geometric transformation process, in the clean course, since the aura is clearly given, the width of the aura is shortened. On the other hand, in a cute course, you want to give aura softly, so increase the width of the aura.
さらに、画像処理において、上述したように、撮影コースに応じて処理を行うようにする。なお、幅については、移動距離・回転角度によって、変更することができるようにしてもよい。 Further, in the image processing, as described above, processing is performed according to the shooting course. Note that the width may be changed according to the movement distance and the rotation angle.
このようにすることにより、幾何学変換処理や画像処理の設定を、撮影コースに適したものにすることができるので、利用者の好みに応じた画像を提供することができる可能性が高くなる。 By doing so, the settings of the geometric conversion processing and the image processing can be made suitable for the shooting course, so that there is a high possibility that an image according to the user's preference can be provided. .
また、写真シール作成装置1は、利用者の設定作業を必要とせずに、この画像処理を行うことができる。したがって、ユーザビリティが向上し、利用者は、より容易に、このような画像処理が施された、より自然な画像を得ることができる。
Further, the photo
なお、以上のような画像処理を、利用者が選択することができるようにしてもよい。より具体的には、例えば、互いに異なる画像処理が施された複数の撮像画像を表示し、その中から利用者が選択するようにしてもよい。 The image processing as described above may be selected by the user. More specifically, for example, a plurality of captured images that have been subjected to different image processing may be displayed, and the user may select among them.
図27は、その場合の編集画面の表示例を示す図である。図27に示される編集画面は、タブレット内蔵モニタ131に表示される、利用者が編集画像を落書き編集するためのGUIである。図27に示されるように、この編集画面460の上部には、編集画像表示部461が設けられ、落書き編集等の対象となる編集画像が表示される。
FIG. 27 is a diagram showing a display example of the editing screen in that case. The editing screen shown in FIG. 27 is a GUI displayed on the tablet built-in
また、図27に示されるように、編集画面460の下側には、オーラ選択部462が設けられる。オーラ選択部462には、編集画像表示部461により表示される編集画像に対して画像処理が行われたサムネイル画像がGUIボタンとして表示される。各サムネイル画像には、互いに異なる画像処理が施されており、その1つ1つがGUIボタンとしての機能も有する。つまり、利用者は、サムネイル画像を参照し、好みのパターンの画像処理が行われたサムネイル画像を選択する。 As shown in FIG. 27, an aura selection unit 462 is provided below the editing screen 460. In the aura selection unit 462, thumbnail images obtained by performing image processing on the edited image displayed by the edited image display unit 461 are displayed as GUI buttons. Each thumbnail image is subjected to different image processing, and each of them also has a function as a GUI button. That is, the user refers to the thumbnail image and selects a thumbnail image that has been subjected to image processing of a desired pattern.
このようにすることにより、より利用者の好みに応じた画像処理が施された画像を提供することができる。 By doing in this way, the image by which the image processing according to a user's liking was performed can be provided.
なお、GUIの例は、これに限らない。例えば、色選択用GUIボタンが配列されたカラーパレットのようなGUIを表示し、その中から色を利用者に選択させるようにしてもよい。 In addition, the example of GUI is not restricted to this. For example, a GUI such as a color palette in which color selection GUI buttons are arranged may be displayed, and the user may select a color from the GUI.
なお、利用者が複数人の場合、図28Aの例のように、前後の人物が重なると、図28Bのように前方に撮影される被写体マスク画像の人物領域が、検知しにくい場合がある。そこで、写真シール作成装置1は、撮影の際に利用者に立ち位置を指定し、図28Cに示されるように、人物領域が重ならないようにして、撮影を行うようにしてもよい。その際、人物領域全体でなく、その一部、例えば各利用者の顔部分の画像が、図中上下又は左右に、互いに離れる(重ならない)ようにしてもよい。
When there are a plurality of users, as shown in the example of FIG. 28A, when the front and back persons overlap, the person area of the subject mask image photographed forward as shown in FIG. 28B may be difficult to detect. Therefore, the photo
<2.第2の実施の形態>
<ぼかし処理優先>
なお、例えば、図29に示されるように、撮影画像において被写体が端に位置する等して、被写体の一部が撮像画像の外部に位置する場合、ぼかし処理がかけられる人物領域491Aの周辺の一部が撮影画像からはみ出してしまう(図29の四角492)場合がある。このような場合、四角492付近にぼかし処理がかけられないおそれがある。
<2. Second Embodiment>
<Blur processing priority>
For example, as shown in FIG. 29, when a part of the subject is located outside the captured image, for example, when the subject is located at the end of the captured image, the area around the person area 491A to be blurred is applied. There is a case where a part of the image is projected from the captured image (square 492 in FIG. 29). In such a case, there is a possibility that the blurring process cannot be performed near the square 492.
そこで、図29に示されるように、マスク画像を、撮影画像よりも大きな元画像から生成するようにしてもよい。撮影画像は、カメラ91により撮影されて得られる撮影画像であるが、カメラ91は、撮影により、撮影画像よりも大きな元画像を得る。そして、カメラ91は、その元画像の一部をトリミングし、撮影画像とする。
Therefore, as shown in FIG. 29, the mask image may be generated from an original image larger than the captured image. The photographed image is a photographed image obtained by photographing with the
そこで、マスク画像を、撮影画像ではなく元画像から生成するようにしてもよい。 Therefore, the mask image may be generated from the original image instead of the captured image.
この場合のオーラ処理部323の主な構成例を図30に示す。この場合、オーラ処理部323は、図11の例の、マスク画像生成部341の代わりにマスク画像生成部501を有し、2値化処理部342および幾何学変換部343の間にぼかし処理部502を有し、ぼかし処理部344の代わりにトリミング部503を有する。
A main configuration example of the
マスク画像生成部501は、撮像画像の代わりに、より画像サイズの大きな元画像を取得し、撮像画像サイズのマスク画像491よりも画像サイズが大きな元画像サイズのマスク画像493を生成する。
The mask
2値化処理部342乃至幾何学変換部343は、この元画像サイズのマスク画像493に対して各処理を行う。
The
また、ぼかし処理部502は、幾何学変換処理の前に、元画像サイズのマスク画像493に対してぼかし処理を施す。
Also, the
さらに、トリミング部503は、幾何学変換後、元画像サイズのマスク画像493の一部をトリミングし、撮像画像サイズのマスク画像491を生成する。
Further, after the geometric conversion, the
境界領域設定部345乃至合成部347は、この撮像画像サイズのマスク画像491に対して各処理を行う。
The boundary
<オーラ処理の流れ>
この場合のオーラ処理の流れの例を、図31のフローチャートを参照して説明する。
<Flow of aura processing>
An example of the flow of the aura process in this case will be described with reference to the flowchart of FIG.
オーラ処理が開始されると、ステップS121において、マスク画像生成部501は、元画像からマスク画像(元画像サイズのマスク画像493)を生成する。
When the aura process is started, in step S121, the mask
ステップS122乃至ステップS124の各処理は、その元画像サイズのマスク画像493に対して行われる。 Each process of step S122 to step S124 is performed on the mask image 493 having the original image size.
ステップS125において、トリミング部503は、元画像サイズのマスク画像493をトリミングし、撮影画像サイズのマスク画像491を生成する。
In step S125, the
ステップS126乃至ステップS128の各処理は、その撮影画像サイズのマスク画像491に対して行われる。 Each process of step S126 to step S128 is performed on the mask image 491 of the captured image size.
このようにすることにより、マスク画像は、ぼかし処理が行われてから、撮影画像サイズに変換されるので、図29に示されるように、撮影画像サイズにおいて消える部分にも、ぼかし処理を施すことができる。これにより、ぼかし処理をより綺麗に施すことができ、より自然な画像を提供することができる。 By doing so, the mask image is converted to the captured image size after being subjected to the blurring process, and therefore, as shown in FIG. 29, the blurring process is also applied to the portion that disappears in the captured image size. Can do. As a result, the blurring process can be performed more clearly, and a more natural image can be provided.
<3.第3の実施の形態>
<幾何学変換処理の複数回実施>
なお、オーラ処理において、幾何学変換処理を行う回数は任意である。1回であっても良いし、複数回であってもよい。
<3. Third Embodiment>
<Perform geometric transformation processing multiple times>
In the aura process, the number of times of performing the geometric conversion process is arbitrary. It may be once or a plurality of times.
例えば、図32に示されるフローチャートのステップS143とステップS144のように、幾何学変換処理を複数回おこなうようにしてもよい。例えば、この複数回の幾何学変換処理において、同じ変換処理を複数回行うようにしてもよいし、互いに異なる変換処理を行うようにしてもよい。例えば、ステップS143の幾何学変換処理において、移動処理を行い、ステップS144の処理において回転処理を行うようにしてもよい。もちろん、ステップS143とステップS144との両方において、移動処理を行うようにしてもよい。 For example, the geometric transformation process may be performed a plurality of times as in steps S143 and S144 of the flowchart shown in FIG. For example, in the plurality of geometric conversion processes, the same conversion process may be performed a plurality of times, or different conversion processes may be performed. For example, the movement process may be performed in the geometric conversion process in step S143, and the rotation process may be performed in the process in step S144. Of course, the movement process may be performed in both step S143 and step S144.
なお、図32においては、幾何学変換処理を2回行うように説明したが、幾何学変換処理が3回以上行われるようにしてももちろんよい。 In FIG. 32, it has been described that the geometric conversion process is performed twice. However, the geometric conversion process may be performed three times or more.
さらに、利用者が複数人で撮影される場合については、利用者毎に変更処理を変更してもよい。例えば、2名で撮影されている場合、右の利用者のマスク画像を移動処理し、左の利用者を回転処理してもよい。このように変更処理を撮影画像内で画一的に処理しないことで、利用者毎に自由度の高い画像処理を行うことができ、よりリアルな状態でオーラを付与することができる。 Further, when the user is photographed by a plurality of people, the change process may be changed for each user. For example, when two people are photographed, the mask image of the right user may be moved and the left user may be rotated. By not performing the change process uniformly in the captured image in this way, image processing with a high degree of freedom can be performed for each user, and an aura can be given in a more realistic state.
また、ステップS143の幾何学変換処理と、ステップS144の幾何学変換処理とで、用意される処理が異なるようにしてもよい。例えば、ステップS143の幾何学変換処理においては、図12を参照して説明したように、移動処理、回転処理、および変形処理が用意されるようにし、ステップS144の幾何学変換処理においては、それらの処理に加え、鏡映処理が用意されるようにしてもよい。 In addition, the prepared processes may be different between the geometric conversion process in step S143 and the geometric conversion process in step S144. For example, in the geometric transformation process in step S143, as described with reference to FIG. 12, a movement process, a rotation process, and a deformation process are prepared, and in the geometric transformation process in step S144, these are performed. In addition to the above process, a mirroring process may be prepared.
鏡映処理とは、図33に例が示されるように、オーラの画像の位置を反転(図33の例の場合、左右反転)させた鏡映画像を生成する処理である。 The mirroring process is a process of generating a mirrored image in which the position of the aura image is reversed (in the case of the example of FIG. 33, left and right reversed) as shown in FIG.
例えば、図33Aのような合成画像511から、図33Bに示されるような、鏡映画像512が生成される。また、図33Bのような合成画像521から、図33Dのような鏡映画像522が生成される。 For example, a mirror image 512 as shown in FIG. 33B is generated from the composite image 511 as shown in FIG. 33A. Also, a mirror image 522 as shown in FIG. 33D is generated from the composite image 521 as shown in FIG. 33B.
<幾何学変換部>
図34に、2回目の幾何学変換を行う幾何学変換部の構成例を示すブロック図である。
<Geometry conversion part>
FIG. 34 is a block diagram illustrating a configuration example of a geometric conversion unit that performs the second geometric conversion.
図34に示されるように、この場合の幾何学変換部343は、図12を参照して説明した構成に加えて、鏡映処理部541を有する。鏡映処理部541は、上述したような鏡映に関する処理を行う。鏡映処理部541は、設定部551と鏡映部552を有する。設定部551は、鏡映処理に関する設定を行う。鏡映部552は、鏡映画像を生成する。
As shown in FIG. 34, the
<幾何学変換処理の流れ>
この場合の幾何学変換処理の流れの例を、図35のフローチャートを参照して説明する。
<Flow of geometric transformation process>
An example of the flow of the geometric transformation process in this case will be described with reference to the flowchart of FIG.
ステップS161乃至ステップS170の各処理は、図23のステップS71乃至ステップS80の各処理と同様に実行される。 Each process of step S161 thru | or step S170 is performed similarly to each process of step S71 thru | or step S80 of FIG.
ステップS171において、選択部361は、鏡映処理を行うか否かを判定する。鏡映処理を行うと判定された場合、処理はステップS172に進む。
In step S171, the
ステップS172において、設定部551は、鏡映する対象を設定する。また、ステップS173において、鏡映部552は、指定対象を鏡映変換する。ステップS173の処理が終了すると、幾何学変換処理が終了する。また、ステップS171において、鏡映処理を行わないと判定された場合、幾何学変換処理が終了する。
In step S172, the
このようにすることにより、写真シール作成装置1は、より多様なオーラを付与することができる。
By doing in this way, the photograph
なお、この鏡映処理において、鏡映の方向は任意であり、上述した左右方向に限らない。また、例えば、図27に示される編集画面460に鏡映ボタン(GUIボタン)を設ける等して、ユーザがその鏡映ボタンを操作して入力する鏡映変換の実行指示を受け付け、その指示に従って鏡映処理が行われるようにしてもよい。 In this mirroring process, the direction of the mirroring is arbitrary and is not limited to the left-right direction described above. Further, for example, by providing a mirror button (GUI button) on the editing screen 460 shown in FIG. 27, a mirror conversion execution instruction input by the user operating the mirror button is received, and in accordance with the instruction. A mirroring process may be performed.
以上のようにして、写真シール作成装置1は、より自然な画像を提供することができる。これにより、利用者の満足度を向上させることができ、写真シール作成ゲームの収益性を向上させることができる。
As described above, the photo
<4.第4の実施の形態>
<足固定影処理>
従来のようにオーラを、被写体の周囲全域に対して一定の距離で等間隔に設けるようにすると、撮影画像に付与するオーラを被写体の影とみる場合、被写体の足下が浮いているような画像になってしまう。しかしながら、実際の撮影においてそのような影を生ずるような照明の仕方は行われない。つまり、従来の方法で付されたオーラは、被写体の影としてのリアリティが低く、不自然な仕上がりとなるおそれがあった。
<4. Fourth Embodiment>
<Fixed shadow processing>
If the aura is provided at regular intervals with a constant distance to the entire surrounding area of the subject as in the past, an image in which the subject's feet are floating when the aura to be given to the photographed image is regarded as the shadow of the subject Become. However, an illumination method that causes such a shadow in actual photographing is not performed. In other words, the aura attached by the conventional method has a low reality as a shadow of the subject, and there is a risk that the aura will be unnatural.
これに対して、上述した本技術を適用した方法で、撮影画像にオーラ処理を施した結果の例を図36に示す。図36Aに示される合成画像611は、斜線模様で示される境界領域の画像(オーラ)を右方向に平行移動させて撮影画像に合成したものである。つまり、幾何学変換処理として移動が行われた場合の処理結果である。この合成画像611の場合、被写体の頭から足下までの全ての部分において、オーラが被写体に対して同程度右方向にずれている(ずれ幅が均一である)。したがって、オーラが、被写体の左前方から(上下方向には均一に)水平方向の光が照射されたときの影のように見える。つまり、この場合のオーラの方が、従来の方法で付されたオーラの場合よりも被写体の影としてのリアリティがある。 On the other hand, FIG. 36 shows an example of the result of applying the aura process to the captured image by the method to which the present technology is applied. A composite image 611 shown in FIG. 36A is an image obtained by translating the image (aura) of the boundary region shown by the hatched pattern in the right direction to the photographed image. That is, it is a processing result when movement is performed as a geometric conversion process. In the case of the composite image 611, the aura is shifted to the right by the same amount with respect to the subject (the shift width is uniform) in all portions from the subject's head to the feet. Therefore, the aura looks like a shadow when light in the horizontal direction is irradiated from the left front of the subject (uniformly in the vertical direction). In other words, the aura in this case is more realistic as a shadow of the subject than in the case of the aura attached by the conventional method.
以上においては、オーラ処理における幾何学変換処理の例として、拡大、縮小、移動、回転、変形、鏡映(写像)、投影(射影)等を説明した。また、変形の例として、トリミングした領域を平行四辺形、台形、ひし形、三角形、五角形等に変形する例を説明した。しかしながら、第1の実施の形態においても説明したように、オーラ処理における幾何学変換処理は、画像を視覚的に変換する処理であればどのようなものであってもよく、これらの例に限らない。 In the above, enlargement, reduction, movement, rotation, deformation, mirroring (mapping), projection (projection), etc. have been described as examples of the geometric transformation process in the aura process. Further, as an example of deformation, an example has been described in which a trimmed region is deformed into a parallelogram, trapezoid, rhombus, triangle, pentagon, or the like. However, as described in the first embodiment, the geometric conversion process in the aura process may be any process that visually converts an image, and is not limited to these examples. Absent.
つまり、撮影画像に付与されるオーラの形状は図36Aの例に限らない。例えば、図36Bのようにオーラを付与するようにしてもよい。図36Bの合成画像612の場合、斜線模様で示される境界領域の画像(オーラ)と被写体とのずれ幅は、被写体の足下付近の方が頭付近よりも少ない(頭付近の方が足下付近よりもずれ幅が大きい)。 That is, the shape of the aura given to the captured image is not limited to the example in FIG. 36A. For example, an aura may be given as shown in FIG. 36B. In the case of the composite image 612 in FIG. 36B, the deviation between the image of the boundary area (aura) indicated by the hatched pattern and the subject is smaller near the subject's feet than near the head (near the head is near the feet). The displacement width is large.
このようにすると、オーラが、被写体の左前方の上の方から光が照射されたときの影のように見える。本実施例の写真シール作成装置1は、図4等に示されるように、上下方向に光量が均一な、水平方向の光を出力する光源(ストロボ)を備えておらず、1箇所(1点)から光を出力する光源(ストロボ)を複数備えている。したがって、図36Bの場合の方が図36Aの場合よりも、オーラの、被写体の影としてのリアリティを増すことができる。また、図36Bの場合、オーラの付き方が上下方向で不均一である(つまり、被写体への光の当たり方が左右方向だけでなく、上下方向にも不均一である)ため、図36Aの場合よりも被写体の立体感を増すことができる。
In this way, the aura looks like a shadow when light is emitted from the upper left front of the subject. As shown in FIG. 4 and the like, the photo
<幾何学変換部>
次に、この合成画像612のようなオーラ(影)を撮影画像に付すためのオーラ処理を実行する処理部について説明する。第1の実施の形態において説明したように、オーラ処理は、オーラ処理部323(図10)が行う。オーラ処理部323の幾何学変換部343(図11)は、図36Bに示されるように、オーラと被写体とのずれ幅が、被写体の足下付近よりも頭付近の方が大きくなるように、マスク画像の人物領域及び/又は境界領域を変形させる。より具体的には、幾何学変換部343の変形処理部364がマスク画像全体を台形に変形することにより、上下方向にずれ幅が不均一な被写体とオーラのずれを実現することができる。
<Geometry conversion part>
Next, a processing unit that executes an aura process for attaching an aura (shadow) such as the composite image 612 to a captured image will be described. As described in the first embodiment, the aura processing is performed by the aura processing unit 323 (FIG. 10). As shown in FIG. 36B, the geometric conversion unit 343 (FIG. 11) of the
<オーラ処理の流れ>
次に、この場合のオーラ処理の流れの例を説明する。写真シール作成ゲーム処理が図14のフローチャートのように行われ、ステップS4の編集処理が図15のフローチャートのように行われるものとする。この場合も、ステップS28のオーラ処理は、図16のフローチャートのように行われる。
<Flow of aura processing>
Next, an example of the flow of the aura process in this case will be described. It is assumed that the photo sticker creation game process is performed as shown in the flowchart of FIG. 14, and the editing process in step S4 is performed as shown in the flowchart of FIG. Also in this case, the aura process of step S28 is performed as shown in the flowchart of FIG.
ステップS51において、マスク画像生成部341は、編集処理のステップS21において取得された撮影画像から、クロマキー処理等により、図37の左に示されるようなマスク画像601を取得する。
In step S51, the mask
ステップS52において、2値化処理部342は、マスク画像を2値化する2値化処理を行い、マスク画像の人物領域を白画素とし、背景領域を黒画素とする。
In step S52, the
ステップS53において、幾何学変換部343は、マスク画像の人物領域を幾何学変換する幾何学変換処理を行う。
In step S53, the
より具体的には、図23のステップS79において、変形処理部364の設定部375は、変形する領域をマスク画像601全体に設定し、変形の仕方を台形に設定する。より具体的には、設定部375は、図37の左に示されるマスク画像601の右上角の点602を、図37の中央に示されるように、水平方向右向きに移動する(マスク画像601のその他の3角は固定する)ように設定する。設定部375は、さらにその移動量を変形量として設定する。
More specifically, in step S79 of FIG. 23, the
ステップS80において、変形部376は、ステップS79において行われた設定に従って、図37の中央に示されるような点602の移動により、長方形であったマスク画像601の全体を台形に変形する。このマスク画像601全体の変形により、マスク画像601中の人物領域及び/又は境界領域も台形に変形する。つまり、被写体の頭付近が大きく変形し、足下付近が小さく変形する(ほとんど変形しない)。換言するに、合成画像における被写体と人物領域及び/又は境界領域とのずれ幅が、図36Bの例のように、頭付近で大きくなり、足下付近で小さくなる。
In step S80, the deforming
ただし、これは変形の様子を説明するものであって、変形結果のデータとしては、図37の中央に示されるように、マスク画像601の形状は長方形のままである(画像サイズは変更されない)。つまり、長方形のマスク画像601の中で人物領域及び/又は境界領域の位置、大きさ、範囲が変形する。
However, this is to explain the state of deformation, and as the deformation result data, the shape of the
そして、図16に戻り、ステップS54において、ぼかし処理部344は、マスク画像の人物領域の周辺をぼかすぼかし処理を行う。これにより、図37の右に示されるように、マスク画像601に影感を出すことができる。
Returning to FIG. 16, in step S <b> 54, the blurring
ステップS55乃至ステップS57の処理により、以上のように幾何学変換したマスク画像601と撮影画像が合成され、合成画像612(図36B)が生成される。つまり、このようにオーラ処理を行うことにより、被写体の影としてよりリアリティのあるオーラを撮影画像に付与することができる。これにより、写真シール作成装置1は、例えば被写体の足下が浮いて見えるといったことがない(画像処理を施している感じがしない(加工感の無い))写真のような画像を提供することができる。
Through the processing from step S55 to step S57, the
<5.第5の実施の形態>
<多重色影処理>
オーラ(影)の付け方は、上述した例に限らない。例えば、実際の影が単一濃度でないように、オーラに濃淡(オーラの色の濃度変化)を付すようにしてもよい。例えば、図38に示される合成画像621は、撮影画像から生成されたオーラと撮影画像とを合成したものである。図38において、斜線模様若しくは横線模様で示される領域がオーラ(影)である。また、その斜線若しくは横線の密度によってオーラの濃度を示している。このように、場所によってオーラの色の濃度を変えるようにすることにより、オーラの被写体の影としてのリアリティをより高くすることができる。
<5. Fifth embodiment>
<Multiple color shadow processing>
The method of applying the aura (shadow) is not limited to the above-described example. For example, the aura may be shaded (change in the density of the aura color) so that the actual shadow does not have a single density. For example, the composite image 621 shown in FIG. 38 is a composite of the aura generated from the captured image and the captured image. In FIG. 38, an area indicated by a diagonal line pattern or a horizontal line pattern is an aura (shadow). The density of the aura is indicated by the density of the oblique line or horizontal line. Thus, by changing the density of the color of the aura depending on the place, the reality of the aura as a shadow of the subject can be further increased.
例えば、撮影画像の被写体(人物)の色(肌や服装の色)の濃度に応じて、オーラの色の濃度を変えるようにしてもよい。被写体の色の濃い部分の近傍のオーラの色を濃くし、被写体の色の薄い部分の近傍のオーラの色を薄くするようにしてもよい。被写体の色の濃度が濃い部分の近傍のオーラ(影)の色が薄いと、オーラ(影)が目立たなくなるおそれがある。また、被写体の色の濃度が薄い部分の近傍のオーラ(影)の色が濃いと、オーラ(影)が目立ちすぎるおそれがある。つまり、これらの濃度の差が大きいと一方が目立ちすぎてしまい、合成画像621の見栄えが悪化するおそれがある。合成画像621が、加工感の大きな、不自然な画像となり、そのデザイン性が低減するおそれがある。そこで、上述したように、被写体の色の濃度に応じてその近傍のオーラ(影)の色の濃度を変えるようにすることにより、濃度のバランスの悪さによる合成画像621の見栄えの悪化を抑制することができる。つまり、合成画像621をより自然な画像とすることができ、そのデザイン性を向上させることができる。 For example, the density of the aura color may be changed according to the density of the subject (person) color (skin or clothing color) of the photographed image. The aura color near the dark part of the subject may be darkened, and the aura color near the light part of the subject may be lightened. If the color of the aura (shadow) in the vicinity of the dark portion of the subject is light, the aura (shadow) may become inconspicuous. Also, if the color of the aura (shadow) in the vicinity of the portion where the color density of the subject is light is dark, the aura (shadow) may be too conspicuous. That is, if the difference between these densities is large, one of them is too conspicuous, and the appearance of the composite image 621 may be deteriorated. The composite image 621 becomes an unnatural image with a great feeling of processing, and there is a possibility that the design property may be reduced. Therefore, as described above, by changing the color density of the aura (shadow) in the vicinity thereof according to the color density of the subject, deterioration of the appearance of the composite image 621 due to poor density balance is suppressed. be able to. That is, the synthesized image 621 can be a more natural image, and its design can be improved.
なお、上述したようにオーラは人物領域及び/又は境界領域から作られるので、その人物領域及び/又は境界領域の色の濃度を保つようにすることにより、以上のようなオーラの色の濃度制御は、容易に実現することができる。 As described above, since the aura is created from the person area and / or the boundary area, the density control of the aura color as described above is performed by maintaining the color density of the person area and / or the boundary area. Can be easily realized.
また、例えばオーラ(影)を強調するために、敢えて、被写体の色の濃い部分の近傍のオーラの色を薄くし、被写体の色の薄い部分の近傍のオーラの色を濃くするようにしてもよい。 Also, for example, in order to emphasize the aura (shadow), the aura color near the dark portion of the subject is lightened and the aura color near the light portion of the subject is darkened. Good.
また、被写体の画像に対して複数のオーラ(影)を付すようにしてもよい。このようにすることにより、複数の光源から光が被写体に照射されたときの被写体の影の状態をより正確に表すことができる。もちろん、このオーラ(影)の数は、任意である。 A plurality of auras (shadows) may be added to the subject image. By doing so, it is possible to more accurately represent the shadow state of the subject when the subject is irradiated with light from a plurality of light sources. Of course, the number of auras (shadows) is arbitrary.
なお、例えば、その複数のオーラ(影)の被写体に対するずれの方向や移動量が互いに異なるようにしてもよい。このようにすることにより、互いに異なる位置にある複数の光源から光が照射された時の被写体の影の状態をより正確に表すことができる。もちろん、各オーラ(影)のずれの方向や移動量は任意である。 Note that, for example, the direction of displacement and the amount of movement of the plurality of auras (shadows) with respect to the subject may be different from each other. By doing so, it is possible to more accurately represent the shadow state of the subject when light is emitted from a plurality of light sources located at different positions. Of course, the direction or amount of movement of each aura (shadow) is arbitrary.
また、例えば、その複数のオーラ(影)は、互いに異なる幾何学変換が行われたものであってもよい。このようにすることにより、より多様な位置の光源からの光の照射による被写体の影の状態をより正確に表すことができる。 Further, for example, the plurality of auras (shadows) may be subjected to different geometric transformations. By doing so, it is possible to more accurately represent the state of the shadow of the subject due to light irradiation from light sources at more various positions.
また、例えば、その複数のオーラ(影)が、互いに異なる色であっても良い。このようにすることにより、単に画像のリアリティを高めるだけでなく、合成画像をよりカラフルな面白みのあるものにすることができる。 Further, for example, the plurality of auras (shadows) may be different colors. By doing so, it is possible not only to improve the reality of the image but also to make the synthesized image more colorful and interesting.
例えば、図38の合成画像621のように、互いに異なる方向にずらした赤(R)、緑(G)、青(B)の3つの影を付すようにしてもよい。合成画像621において、横線模様の部分が赤色(R)のオーラ(影)を示し、左下右上斜線模様の部分が緑色(G)のオーラ(影)を示し、左上右下斜線模様の部分が青色(B)のオーラ(影)を示している。そして、赤色(R)のオーラ(影)は、被写体に対して図中左にずれており、緑色(G)のオーラ(影)は、被写体に対して図中下にずれており、青色(B)のオーラ(影)は、被写体に対して図中右にずれている。 For example, as shown in the composite image 621 in FIG. 38, three shadows of red (R), green (G), and blue (B) shifted in different directions may be added. In the composite image 621, the horizontal line pattern portion indicates a red (R) aura (shadow), the lower left upper right diagonal line pattern portion indicates a green (G) aura (shadow), and the upper left lower right diagonal line pattern portion indicates a blue color. The aura (shadow) of (B) is shown. The red (R) aura (shadow) is shifted to the left in the drawing with respect to the subject, and the green (G) aura (shadow) is shifted to the lower side in the drawing with respect to the subject. The aura (shadow) of B) is shifted to the right in the figure with respect to the subject.
もちろん、各オーラ(影)の色やずれの方向や移動量は、任意である。例えば、赤の代わりにピンクを用いても良い。また、合成画像621の例のオーラ(影)では、マスク画像の幾何学変換として移動が行われているが、この幾何学変換は、例えば、拡大、縮小、移動、回転、変形、鏡映(写像)、投影(射影)等何でもよい。 Of course, the color of each aura (shadow), the direction of displacement, and the amount of movement are arbitrary. For example, pink may be used instead of red. Further, in the aura (shadow) in the example of the composite image 621, movement is performed as a geometric transformation of the mask image. This geometric transformation can be performed by, for example, enlargement, reduction, movement, rotation, deformation, mirroring ( Anything such as mapping) or projection (projection) may be used.
<オーラ処理部>
次に、図38の合成画像621のようなオーラ(影)を撮影画像に付すためのオーラ処理を実行する処理部について説明する。第1の実施の形態において説明したように、オーラ処理は、オーラ処理部323(図10)が行う。この場合の、オーラ処理部323の主な構成例を図39に示す。
<Aura processing part>
Next, a processing unit that executes an aura process for attaching an aura (shadow) such as the composite image 621 in FIG. 38 to a captured image will be described. As described in the first embodiment, the aura processing is performed by the aura processing unit 323 (FIG. 10). A main configuration example of the
図39に示されるように、この場合オーラ処理部323は、濃淡画像生成部651、濃淡反転部652、マスク画像生成部653、2値化処理部654、マスク濃淡画像合成部655、幾何学変換部656、前景背景合成部657、青色合成部658、赤色合成部659、および撮影画像合成部660を有する。
As shown in FIG. 39, in this case, the
濃淡画像生成部651は、撮影画像について、画像の濃淡を表した濃淡画像を生成する。例えば、撮影画像が多色で表現されるカラー画像(多色)であるとすると、濃淡画像は、単色の濃淡で表現されるモノクロ画像となる。 The grayscale image generation unit 651 generates a grayscale image representing the density of the image for the captured image. For example, if the captured image is a color image (multicolor) expressed in multiple colors, the gray image is a monochrome image expressed in a single color.
この濃淡を表すパラメータとしては、どのようなものであっても良い。例えば、撮影画像の輝度成分(グレースケール画像)であってもよい。また、例えば、撮影画像のRGBチャンネル(色成分)のうちのいずれかひとつのチャンネルを、濃淡を表すパラメータとしてもよい。一般的に、Gチャンネルは、輝度値が一番高いため、Gチャンネルを、濃淡を表すパラメータとするのが望ましい。もちろん、RチャンネルやBチャンネルを用いてもよい。また、これらのうち、2つのチャンネルを用いるようにしてもよい。 Any parameter may be used as the parameter representing the light and shade. For example, it may be a luminance component (grayscale image) of a captured image. Further, for example, any one of the RGB channels (color components) of the photographed image may be used as a parameter representing the light and shade. In general, since the G channel has the highest luminance value, it is desirable to use the G channel as a parameter representing light and shade. Of course, the R channel and the B channel may be used. Of these, two channels may be used.
さらに、このような輝度成分や色成分を用いて算出されるパラメータを、濃淡を表すパラメータとしてもよい。例えば、撮影画像のRGBチャンネルの各チャンネルの平均を、濃淡を表すパラメータとしてもよい。例えば、撮影画像のRGBチャンネルの各チャンネルを足し合わせて、この足し合わせた合計を3で除算し、その除算結果(平均値)を、濃淡を表すパラメータとするようにしてもよい。 Furthermore, a parameter calculated using such a luminance component and color component may be a parameter representing light and shade. For example, the average of the RGB channels of the photographed image may be used as a parameter representing the light and shade. For example, the RGB channels of the photographed image may be added together, and the added sum may be divided by 3, and the result of the division (average value) may be used as a parameter representing light and shade.
また、例えば、撮影画像のRGBチャンネルの各チャンネルの加重平均を、濃淡を表すパラメータとしてもよい。例えば、以下の式のように、RGBのチャンネルに所定の重み係数を乗算して足し合わせ、その演算結果(加重平均)を、濃淡を表すパラメータとするようにしてもよい。
濃淡を表すパラメータ = 0.299 x R + 0.587 x G + 0.114 x B
Further, for example, a weighted average of each of the RGB channels of the photographed image may be used as a parameter representing light and shade. For example, the RGB channel may be multiplied by a predetermined weighting coefficient and added together, and the calculation result (weighted average) may be used as a parameter representing shading, as in the following equation.
Shading parameter = 0.299 x R + 0.587 x G + 0.114 x B
濃淡反転部652は、濃淡画像生成部651により生成された濃淡画像の色(濃度)を反転(所謂、白黒反転や色反転)させた濃淡反転画像を生成する。つまり、濃淡反転部652は、濃淡画像の各画素値を、画素値のスケールに合わせて反転させる。例えば、画素値が0乃至255の場合、画素値0を画素値255とし、画素値255を画素値0とする。
The light / dark reversing
マスク画像生成部653は、マスク画像生成部341と同様の処理を行う。すなわち、マスク画像生成部653は、撮影画像について、人物領域と背景領域とを識別するマスク画像を生成する。
The mask image generation unit 653 performs the same processing as the mask
2値化処理部654は、2値化処理部342と同様の処理を行う。すなわち、2値化処理部654は、マスク画像生成部653により生成されたマスク画像を2値化する。
The binarization processing unit 654 performs the same processing as the
マスク濃淡画像合成部655は、2値化処理部654により2値化されたマスク画像の人物領域に、濃淡反転部652により生成された濃淡反転画像の、その人物領域と同じ位置の領域の画像を合成する。この合成方法は任意であるが、例えば、マスク濃淡画像合成部655は、2値化されたマスク画像と濃淡反転画像とを乗算合成する。このように生成されたマスク画像と濃淡反転画像との合成画像をマスク濃淡画像と称する。
The mask gray
幾何学変換部656は、幾何学変換部343と同様の処理部であり、マスク濃淡画像合成部655により生成されたマスク濃淡画像の人物領域の一部若しくは全部を含む所定の範囲を幾何学変換する。例えば、幾何学変換部656は、人物領域を所定の方向に所定の距離だけ移動させる。例えば、上述したように、互いに異なる方向にずれた複数のオーラ(影)を被写体に付す場合、幾何学変換部656は、人物領域を互いに異なる複数の方向に移動させる(人物領域を各方向に移動させたマスク濃淡画像を生成する)。
The
前景背景合成部657は、幾何学変換部656により幾何学変換されたマスク濃淡画像に基づいて、緑(G)の画像である前景画像と背景画像とを合成する。ここで前景画像は、マスク濃淡画像の人物領域(すなわち、合成画像621におけるオーラ(影))に色付けする色成分の画像である。背景画像は、撮影画像(合成画像621)における背景領域の画像である。つまり、前景背景合成部657は、緑(G)のオーラ(影)と背景からなる画像(緑影画像)を生成する。なお、この合成方法は、任意である。例えば、アルファブレンドと称する手法により合成するようにしてもよい。アルファブレンドの詳細については後述する。
The foreground /
青色合成部658は、青色用のマスク濃淡画像に基づいて、前景背景合成部657により生成された影画像(緑影画像)に、青(B)の画像である前景画像を合成する。つまり、これにより、青(B)のオーラ(影)と緑(G)のオーラ(影)と背景からなる画像(青緑影画像)が生成される。なお、この合成方法は、任意である。例えば、アルファブレンドと称する手法により合成するようにしてもよい。
The
赤色合成部659は、赤色用のマスク濃淡画像に基づいて、前景背景合成部657により生成された影画像(緑影画像)に、赤(R)の画像である前景画像を合成する。つまり、これにより、赤(R)のオーラ(影)と青(B)のオーラ(影)と緑(G)のオーラ(影)と背景からなる画像(赤青緑影画像)が生成される。なお、この合成方法は、任意である。例えば、アルファブレンドと称する手法により合成するようにしてもよい。
The
撮影画像合成部660は、赤色合成部659により生成された赤青緑影画像に撮影画像の人物領域の部分を合成し、合成画像を生成する。
The captured
なお、図39は、図38の合成画像621のように、赤(R)、緑(G)、青(B)のオーラ(影)を付す場合の構成例を示したものである。前景背景合成部657、青色合成部658、および赤色合成部659は、このオーラ(影)の数や色に応じて構成される。例えば、赤(R)のオーラ(影)を付さないのであれば、赤色合成部659は省略することができる。また、例えば、他の色のオーラ(影)を付すのであれば、その色の合成部が追加される。
Note that FIG. 39 shows a configuration example in the case of adding red (R), green (G), and blue (B) auras (shadows) as in the composite image 621 of FIG. The foreground /
<オーラ処理の流れ>
次に、このようなオーラ処理部323により実行されるオーラ処理の流れの例を、図40のフローチャートを参照して説明する。
<Flow of aura processing>
Next, an example of the flow of the aura process executed by the
オーラ処理が開始されると、濃淡画像生成部651は、ステップS201において、編集処理のステップS21において取得された撮影画像の濃淡画像を生成する。 When the aura process is started, the grayscale image generation unit 651 generates a grayscale image of the photographed image acquired in step S21 of the editing process in step S201.
ステップS202において、濃淡反転部652は、濃淡画像の濃淡を反転することにより、濃淡反転画像を生成する。
In step S202, the light /
ステップS203において、マスク画像生成部653は、編集処理のステップS21において取得された撮影画像からマスク画像を生成する。 In step S203, the mask image generation unit 653 generates a mask image from the captured image acquired in step S21 of the editing process.
ステップS204において、2値化処理部654は、マスク画像を2値化する2値化処理を行い、マスク画像の人物領域を白画素とし、背景領域を黒画素とする。 In step S204, the binarization processing unit 654 performs binarization processing for binarizing the mask image, and sets the person area of the mask image as a white pixel and the background area as a black pixel.
ステップS205において、マスク濃淡画像合成部655は、マスク画像と濃淡反転画像とを乗算合成することにより、マスク濃淡画像を生成する。
In step S205, the mask grayscale
ステップS206において、幾何学変換部656は、マスク濃淡画像の人物領域を幾何学変換する幾何学変換処理を行う。
In step S206, the
ステップS207において、前景背景合成部657は、緑色用のマスク濃淡画像に基づいて、緑色の前景画像と背景画像を合成することにより緑影画像を生成する。
In step S207, the foreground /
ステップS208において、青色合成部658は、青色用のマスク濃淡画像に基づいて、緑影画像に青色の前景画像を合成することにより、青緑影画像を生成する。
In step S208, the blue
ステップS209において、赤色合成部659は、赤色用のマスク濃淡画像に基づいて、青緑影画像に赤色の前景画像を合成することにより、赤青緑影画像を生成する。
In step S209, the red
ステップS210において、撮影画像合成部660は、赤青緑影画像に撮影画像の人物部分を合成することにより、合成画像621を生成する。
In step S210, the captured
ステップS210の処理が終了するとオーラ処理が終了し、処理は図15に戻る。 When the process of step S210 ends, the aura process ends, and the process returns to FIG.
<オーラ処理の例>
以上のようなオーラ処理をより詳細に説明する。編集処理のステップS21により、図41Aに示される撮影画像671が取得されるとする。
<Example of aura processing>
The aura processing as described above will be described in more detail. Assume that the captured image 671 shown in FIG. 41A is acquired by step S21 of the editing process.
ステップS201の処理により、濃淡画像生成部651は、撮影画像671から、図41Bに示される濃淡画像672を生成する。上述したように、例えば、撮影画像671の輝度成分、色成分、各色成分の平均、若しくは各色成分の加重平均等を、濃淡を表すパラメータとして、濃淡画像が生成される。 By the processing in step S201, the grayscale image generation unit 651 generates a grayscale image 672 shown in FIG. 41B from the captured image 671. As described above, a grayscale image is generated using, for example, the luminance component, color component, average of each color component, or weighted average of each color component of the captured image 671 as a parameter representing the grayscale.
ステップS202の処理により、濃淡反転部652は、濃淡画像672に対して所謂白黒反転を行い、その結果、図41Cに示される濃淡反転画像673が生成される。
By the processing in step S202, the light /
ステップS203の処理により、マスク画像生成部653は、撮影画像671において被写体を表す領域と被写体以外を表す領域とを識別する、図42Aに示されるマスク画像674を生成する。つまり、マスク画像674においては、人物領域と背景領域とが識別される。オーラ(影)の生成において、このようなマスク画像674を用いることにより、人物の領域を特定し、その人物部分にだけ処理を施すことができる。このようにすることにより、背景領域の絵柄(輝度値)に関わらず、人物部分にだけ処理を施すことができる。例えば、オーラ(影)となる部分についてのみ色付け(赤、青、緑等)を行うことができる(その際の背景領域への不要な色付けを抑制することができる)。 By the processing in step S203, the mask image generation unit 653 generates a mask image 674 shown in FIG. 42A that identifies a region representing the subject and a region representing other than the subject in the captured image 671. That is, in the mask image 674, the person area and the background area are identified. By using such a mask image 674 in the generation of an aura (shadow), it is possible to specify a person's region and perform processing only on the person portion. In this way, it is possible to perform processing only on the person portion regardless of the pattern (brightness value) of the background area. For example, coloring (red, blue, green, etc.) can be performed only for the portion that becomes an aura (shadow) (unnecessary coloring to the background area at that time can be suppressed).
ステップS204の処理により、2値化処理部654は、このマスク画像674を2値化し、人物領域を白に設定し、背景領域を黒に設定する。 By the processing in step S204, the binarization processing unit 654 binarizes the mask image 674, sets the person area to white, and sets the background area to black.
ステップS205の処理により、マスク濃淡画像合成部655は、マスク画像674と濃淡反転画像673とを合成(例えば乗算合成)し、その結果、図42Bに示されるマスク濃淡画像675が生成される。
By the processing in step S205, the mask grayscale
なお、濃淡画像の反転(ステップS202の処理)は省略するようにしても良い。その場合、ステップS205において、マスク濃淡画像合成部655は、マスク画像674と濃淡画像672とを合成(例えば乗算合成)する。
Note that the reversal of the grayscale image (the process of step S202) may be omitted. In that case, in step S205, the mask grayscale
ステップS206の処理により、幾何学変換部656は、マスク濃淡画像675の人物領域の位置を、図中左下に移動し、その結果、図42Cに示されるマスク濃淡画像(緑)675’が生成される。
By the processing in step S206, the
この移動の方向および移動量は、予め定められており、その値は任意である。上下左右斜めいずれであってもよい。なお、この人物領域の移動は、例えば、マスク濃淡画像675の中心点を移動の為の基準点として取得して、マスク濃淡画像675の絵柄をこの中心点(基準点)からピクセル単位で所定量、X方向、Y方向へ移動することにより実現する。なお、移動の為の基準点は、中心点に限らず、マスク濃淡画像675の任意の位置の点を設定することができる。 The direction of movement and the amount of movement are determined in advance, and their values are arbitrary. Any one of up, down, left and right may be used. For example, the movement of the person region is acquired by using the center point of the mask grayscale image 675 as a reference point for movement, and the pattern of the mask grayscale image 675 is transferred from the center point (reference point) by a predetermined amount in pixels. This is realized by moving in the X and Y directions. Note that the reference point for movement is not limited to the center point, and a point at an arbitrary position in the mask grayscale image 675 can be set.
複数のオーラ(影)を付す場合は、各オーラ(影)について移動方向および移動量が予め定められており(例えば、オーラ(影)の色毎に移動方向および移動量が予め定められており)、幾何学変換部656は、マスク濃淡画像675の人物領域を、各設定の通りに移動する。つまり、人物領域が互いに異なる方向に移動された複数のマスク濃淡画像が生成される。
When attaching a plurality of auras (shadows), the movement direction and the movement amount are predetermined for each aura (shadow) (for example, the movement direction and the movement amount are predetermined for each color of the aura (shadow)). ), The
例えば、図38の合成画像621の場合、赤色のオーラ(影)は左上にずれており、青色のオーラ(影)は右上にずれており、緑色のオーラ(影)は左下にずれている。この場合、このようなオーラ(影)を生成するために、幾何学変換部656は、図42Bのマスク濃淡画像675の人物領域を左下にずらし、図42Cのマスク濃淡画像(緑)675’を生成する。また、幾何学変換部656は、図42Bのマスク濃淡画像675の人物領域を右上にずらし、図44Bのマスク濃淡画像(青)680を生成する。さらに、幾何学変換部656は、図42Bのマスク濃淡画像675の人物領域を左上にずらし、図45Bのマスク濃淡画像(赤)683を生成する。
For example, in the case of the composite image 621 in FIG. 38, the red aura (shadow) is shifted to the upper left, the blue aura (shadow) is shifted to the upper right, and the green aura (shadow) is shifted to the lower left. In this case, in order to generate such an aura (shadow), the
ステップS207の処理により、前景背景合成部657は、例えばアルファブレンドにより、マスク濃淡画像(緑)675’に基づいて、図43Aに示される緑色の前景画像676と、図43Bに示される背景画像677とを合成する。その結果、図43Cに示される緑影画像が生成される。
By the processing in step S207, the foreground /
アルファブレンドは、2つの画像を係数(アルファ値)により合成する手法である。アルファブレンドにおいては、この係数、つまり、透過したい部分を定義した画像(アルファチャンネル画像と称する)を用意し、それを基に、透過したい画像の透過を行う。 Alpha blend is a method of combining two images with a coefficient (alpha value). In the alpha blending, an image (referred to as an alpha channel image) in which this coefficient, that is, a portion to be transmitted is defined is prepared, and based on the image, the image to be transmitted is transmitted.
より具体的には、以下のような演算が行われる。
出力画像=アルファチャンネル画像の透過率×前景画像+(1−アルファチャンネル画像の透過率)×背景画像
More specifically, the following calculation is performed.
Output image = Transparency of alpha channel image × Foreground image + (1-Transparency of alpha channel image) × Background image
ここで、アルファチャンネル画像に、マスク濃淡画像(緑)675’が設定される。図42Cに示されるように、マスク濃淡画像(緑)675’において背景領域は黒である。すなわち、透過率は0である。したがって、以下の式のように、出力画像の背景領域においては、背景画像677の絵柄のみが表示される。
出力画像=0×前景画像+1×背景画像
Here, a mask grayscale image (green) 675 ′ is set in the alpha channel image. As shown in FIG. 42C, the background area is black in the mask grayscale image (green) 675 ′. That is, the transmittance is zero. Therefore, only the pattern of the background image 677 is displayed in the background area of the output image as in the following expression.
Output image = 0 × foreground image + 1 × background image
また、図42Cに示されるように、マスク濃淡画像(緑)675’において被写体の服装部分は、白で表示されている。この透過率を50とすると、以下の式のように、被写体の服装部分は、前景画像676の絵柄が50%表示され、背景画像677の絵柄が50%表示される。
出力画像=0.5×前景画像+0.5×背景画像
In addition, as shown in FIG. 42C, the clothing portion of the subject is displayed in white in the mask grayscale image (green) 675 ′. Assuming that the transmittance is 50, 50% of the pattern of the foreground image 676 and 50% of the pattern of the background image 677 are displayed in the clothing portion of the subject as in the following equation.
Output image = 0.5 x foreground image + 0.5 x background image
被写体の服装部分では、その服装の濃淡に応じてこの透過率が変わるので、前景画像676(すなわち、緑色)の濃淡も、この服装の濃淡に応じて変化する。そのため、被写体の服装部分は、その被写体の服装の絵柄が、前景画像676(すなわち、緑色)に着色され、さらに、その透過度に応じて背景画像が重畳された画像となる。つまり、緑影画像678においては、被写体の画像が緑色に着色され、さらに、その透過度に応じて背景画像が重畳された画像となる。 In the clothing portion of the subject, the transmittance changes according to the shade of the clothing, so the shade of the foreground image 676 (that is, green) also changes according to the shade of the clothing. Therefore, the clothing portion of the subject is an image in which the picture of the clothing of the subject is colored in the foreground image 676 (that is, green) and the background image is superimposed according to the transparency. That is, in the green shadow image 678, the image of the subject is colored green, and further, a background image is superimposed according to the transparency.
ステップS208の処理により、青色合成部658は、例えばアルファブレンドにより、図44Bに示されるマスク濃淡画像(青)680に基づいて、図44Aに示される青色の前景画像679と、図43Cに示される緑影画像678とを合成する。その結果、図44Cに示される青緑影画像681が生成される。
By the processing of step S208, the
上述したように、ステップS206の幾何学変換において、緑色用と青色用とで互いに異なる方向に人物領域を移動させている。そのため、青緑影画像681では、図44Cに示されるように、緑色に着色された被写体の画像と、青色に着色された被写体の画像とが互いにずれている。 As described above, in the geometric transformation in step S206, the person region is moved in different directions for green and blue. Therefore, in the blue-green shadow image 681, as shown in FIG. 44C, the image of the subject colored in green and the image of the subject colored in blue are shifted from each other.
ステップS209の処理により、赤色合成部659は、例えばアルファブレンドにより、図45Bに示されるマスク濃淡画像(赤)683に基づいて、図45Aに示される赤色の前景画像682と、図44Cに示される青緑影画像681とを合成する。その結果、図45Cに示される赤青緑影画像684が生成される。
By the process of step S209, the red
上述したように、ステップS206の幾何学変換において、赤色用についても人物領域は、緑色用や青色用とは異なる方向に移動されている。そのため、赤青緑影画像684では、図45Cに示されるように、赤色に着色された被写体の画像と、緑色に着色された被写体の画像と、青色に着色された被写体の画像とが互いにずれている。そして、これらはいずれも、撮影画像671の被写体の画像に対してもずれている。 As described above, in the geometric transformation in step S206, the person region is moved in a direction different from that for green and blue for red. Therefore, in the red-blue-green shadow image 684, as shown in FIG. 45C, the image of the subject colored red, the image of the subject colored green, and the image of the subject colored blue are shifted from each other. ing. All of these are shifted from the image of the subject in the captured image 671.
ステップS210の処理により、撮影画像合成部660は、この赤青緑影画像684に、撮影画像671の人物部分を合成する。その結果、図38の合成画像621が生成される。すなわち、赤青緑影画像684における赤色に着色された被写体の画像、青色に着色された被写体の画像、および緑色に着色された被写体の画像のそれぞれの周辺部分が、オーラ(影)として、撮影画像671に合成される。
Through the processing in step S210, the photographed
このように、オーラ処理を行うことにより、複数のオーラ(影)を付すことができる。また、オーラ(影)に濃淡を加えることができる。つまり、写真シール作成装置1は、より自然な画像を提供することができる。また、写真シール作成装置1は、より面白みのある画像を提供することができる。
In this way, by performing the aura process, a plurality of auras (shadows) can be added. In addition, shading can be added to the aura (shadow). That is, the photo
なお、以上においては、緑、青、赤の順にオーラ(影)を合成するように説明したが、各色の合成順は任意である。上述したような順で合成を行うことにより、赤、青、緑の順でオーラを目立たせることができる。換言するに、目立たせたい順の反対の順に各色のオーラ(影)を合成するようにすればよい。 In the above description, the aura (shadow) is synthesized in the order of green, blue, and red. However, the synthesis order of each color is arbitrary. By performing the synthesis in the order as described above, the aura can be conspicuous in the order of red, blue, and green. In other words, the auras (shadows) of the respective colors may be synthesized in the reverse order of the order in which they are desired to stand out.
撮影画像に付すオーラ(影)の数や色は、任意である。また、各色のオーラ(影)の移動方向や移動量(幾何学変換方法)も任意である。ただし、各色のオーラ(影)の移動方向や移動量のうち、少なくともいずれか一方は、互いに異なるようにするのが望ましい。 The number and the color of the aura (shadow) attached to the photographed image are arbitrary. Further, the moving direction and moving amount (geometric transformation method) of the aura (shadow) of each color are also arbitrary. However, it is desirable that at least one of the moving direction and the moving amount of the aura (shadow) of each color is different from each other.
<6.第6の実施の形態>
<フォトフィルター撮影>
以上に説明したオーラ処理は、撮影処理において行われるようにしてもよい。例えば、オーラ(影)を付した画像を撮影時のライブビューやプレビューとして表示するようにしてもよい。その場合の、写真シール作成装置1の構成例について説明する。写真シール作成装置1の内部構成(図8)や制御部201の構成(図9)は、第1の実施の形態において説明した通りである。
<6. Sixth Embodiment>
<Photo filter photography>
The aura process described above may be performed in the shooting process. For example, an image with an aura (shadow) may be displayed as a live view or preview at the time of shooting. A configuration example of the photo
<撮影処理部>
図46は、この場合の撮影処理部301(図9)の主な構成例を示す図である。
<Image processing unit>
FIG. 46 is a diagram illustrating a main configuration example of the imaging processing unit 301 (FIG. 9) in this case.
図46に示されるように、撮影処理部301は、例えば、コース選択部701、撮影ガイダンス部702、アップ撮影部703、上カメラ全身ガイダンス部704、上カメラ撮影部705、全身ガイダンス部706、全身撮影部707、フォトフィルター撮影処理部708、および携帯おまけ紹介部709を有する。
46, the
コース選択部701は、予め定められた撮影方法(撮影コース)を利用者に選択させる処理を行う。例えば、ライトスキン、シルクスキン等のコースが予め用意されている。このようなコース毎に照明や画像処理(写り)等の設定が予め決められており、利用者が選択したコースの設定が、撮影処理に採用される。コース選択部701は、例えば、コースの選択指示を受け付けるGUIをタッチパネルモニタ92に表示させ、利用者がそのGUIに従って入力するコース選択指示を受け付け、受け付けた指示に従って採用する設定を選択する。
The
撮影ガイダンス部702は、撮影の仕方等を利用者に紹介するガイダンス(画像や音声)を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する。
The
アップ撮影部703は、撮影・表示ユニット81を制御してアップ撮影を行う。
The up photographing
上カメラ全身ガイダンス部704は、撮影・表示ユニット81を上に移動させ、上から全身撮影を行う上カメラ撮影についての仕方等を利用者に紹介するガイダンス(画像や音声)を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する。
The upper camera whole
上カメラ撮影部705は、撮影・表示ユニット81を制御して上カメラ撮影を行う。
The upper
全身ガイダンス部706は、利用者の全身を撮影する全身撮影の仕方等を利用者に紹介するガイダンス(画像や音声)を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する。
The whole
全身撮影部707は、撮影・表示ユニット81を制御して全身撮影を行う。
The whole
フォトフィルター撮影処理部708は、利用者の撮影画像に対して予め定められた所定の加工(定型の加工)を行うフォトフィルター撮影に関する処理を行う。例えば、フォトフィルター撮影の加工方法が予め複数用意されており、フォトフィルター撮影処理部708は、撮影・表示ユニット81を制御して、利用者にその中から実行する加工方法を選択させる。また、例えば、フォトフィルター撮影処理部708は、フォトフィルター撮影の仕方等を利用者に紹介するガイダンス(画像や音声)を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する。さらに、例えば、撮影・表示ユニット81を制御して、カメラ91を介して利用者の画像(撮影画像)を取得し、利用者に選択された加工方法で撮影画像を加工し、加工された撮影画像(若しくは取り込み画像)を、ライブビューやプレビューとしてタッチパネルモニタ92に表示する。加工方法の詳細については後述する。
The photofilter imaging processing unit 708 performs processing related to photofilter imaging that performs predetermined processing (standard processing) on a captured image of the user. For example, a plurality of photo filter photographing processing methods are prepared in advance, and the photo filter photographing processing unit 708 controls the photographing /
携帯おまけ紹介部709は、携帯電話等に提供する画像を生成する「携帯おまけ」サービスを利用者に紹介する画像や音声を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する。
The portable
もちろん、撮影処理部301がこれら以外の処理部を有するようにしてもよい。
Of course, the
<フォトフィルター撮影処理部>
図47は、図46のフォトフィルター撮影処理部708の主な構成例を示す図である。
<Photo filter shooting processing section>
FIG. 47 is a diagram illustrating a main configuration example of the photofilter imaging processing unit 708 of FIG.
図47に示されるように、フォトフィルター撮影処理部708は、例えば、フォトフィルター撮影ガイダンス部711、デザイン選択処理部712、撮影制御部713、画像加工部714、および表示制御部715を有する。
As illustrated in FIG. 47, the photofilter imaging processing unit 708 includes, for example, a photofilter imaging guidance unit 711, a design
フォトフィルター撮影ガイダンス部711は、フォトフィルター撮影の仕方等を利用者に紹介するガイダンス(画像や音声)を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する。
The photo filter shooting guidance unit 711 presents guidance (images and sounds) for introducing the photo filter shooting method and the like to the user via the touch panel monitor 92 and the
デザイン選択処理部712は、撮影画像の加工方法や、撮影画像に重畳する背景画像等を利用者に選択させる処理を行う。例えば、デザイン選択処理部712は、加工結果(背景画像又は前景画像の重畳も含む)のデザインの選択指示を受け付けるGUIをタッチパネルモニタ92に表示させ、利用者がそのGUIに従って入力するデザイン選択指示を受け付け、受け付けた指示に従って採用する加工方法を選択する。
The design
撮影制御部713は、撮影・表示ユニット81を制御して利用者の撮影を行う。
The photographing
画像加工部714は、撮影画像の加工に関する処理を行う。この加工方法は、任意である。例えば、この加工方法に、テクスチャ処理、フィルタ処理、フレーム処理、唇処理、およびオーラ処理等が含まれるようにしてもよい。各処理の詳細については後述する。
The
表示制御部715は、加工された撮影画像を、タッチパネルモニタ92にライブビューやプレビューとして表示させる処理を行う。
The
もちろん、フォトフィルター撮影処理部708がこれら以外の処理部を有するようにしてもよい。 Of course, the photo filter photographing processing unit 708 may include other processing units.
<画像加工部>
図48は、図47の画像加工部714の主な構成例を示す図である。
<Image processing part>
FIG. 48 is a diagram illustrating a main configuration example of the
図48に示されるように、画像加工部714は、例えば、テクスチャ処理部721、フィルタ処理部722、フレーム処理部723、唇処理部724、およびオーラ処理部725を有する。
As shown in FIG. 48, the
テクスチャ処理部721は、撮影画像に対して、所定の質感や色のレイヤ画像(前景画像)を重畳するテクスチャ処理を行う。
The
フィルタ処理部722は、撮影画像に対して、画像の一部または全体の色情報(例えば、トーンカーブ、輝度値、コントラスト等)を変更するフィルタ処理を行う。
The
フレーム処理部723は、撮影画像に対して、予め用意された前景画像を重畳するフレーム処理を行う。この前景画像は、どのようなものであってもよい。例えば、前景画像は、文字、図形、模様、枠画像等よりなる。
The
唇処理部724は、撮影画像に対して、被写体の唇の画像を強調したり、色変換したりする唇処理を行う。
The
オーラ処理部725は、撮影画像に対して、オーラ(影)を付すオーラ処理を行う。
The
<撮影処理の流れ>
次に、この場合に、図14のステップS2において行われる撮影処理の流れの例を、図49のフローチャートを参照して説明する。
<Flow of shooting process>
Next, in this case, an example of the flow of the photographing process performed in step S2 of FIG. 14 will be described with reference to the flowchart of FIG.
撮影処理が開始されると、コース選択部701は、ステップS301において、GUIをタッチパネルモニタ92に表示させる等して、利用者にコース選択を行わせ、入力されたコース選択指示を受け付ける。
When the photographing process is started, the
ステップS302において、撮影ガイダンス部702は、撮影の仕方等を利用者に紹介するガイダンス(画像や音声)を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する撮影ガイダンスを行う。この撮影ガイダンスにおいて、例えば、利用者に対して「足マークの上に立ってね」等の案内が行われる。利用者はその案内に従うことにより、スムーズに撮影作業を進めることができる。つまり、利用者は、容易に予め想定されたデザイン(モデルの画像等を用いて例示されたデザイン)の撮影画像を得ることができる。
In step S <b> 302, the
ステップS303において、アップ撮影部703は、撮影・表示ユニット81を制御して、利用者の顔又は上半身を撮影するアップ撮影を行う。このとき、アップ撮影部703は、予め定められた所定の回数(例えば、3回)アップ撮影を行う。なお、このアップ撮影の回数は任意である。
In step S303, the up photographing
ステップS304において、上カメラ全身ガイダンス部704は、上カメラ撮影についての仕方等を利用者に紹介する画像や音声を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する上カメラ全身ガイダンスを行う。利用者はこの案内に従うことにより、スムーズに上カメラ撮影の撮影作業を進めることができる。つまり、利用者は、上カメラ撮影において、容易に予め想定されたデザイン(モデルの画像等を用いて例示されたデザイン)の撮影画像を得ることができる。
In step S <b> 304, the upper camera whole
ステップS305において、上カメラ撮影部705は、撮影・表示ユニット81を制御して上カメラ撮影を行う。このとき、上カメラ撮影部705は、予め定められた所定の回数(例えば、1回)上カメラ撮影を行う。なお、この上カメラ撮影の回数は任意である。
In step S305, the upper
ステップS306において、全身ガイダンス部706は、利用者の全身を撮影する全身撮影の仕方等を利用者に紹介する画像や音声を、タッチパネルモニタ92やスピーカ224を介して利用者に提示する全身ガイダンスを行う。利用者はこの案内に従うことにより、スムーズに全身撮影の撮影作業を進めることができる。つまり、利用者は、全身撮影において、容易に予め想定されたデザイン(モデルの画像等を用いて例示されたデザイン)の撮影画像を得ることができる。
In step S <b> 306, the whole
ステップS307において、全身撮影部707は、撮影・表示ユニット81を制御して、利用者の全身を撮影する全身撮影を行う。このとき、全身撮影部707は、予め定められた所定の回数(例えば、2回)全身撮影を行う。なお、この全身撮影の回数は任意である。
In step S307, the whole
ステップS308において、フォトフィルター撮影処理部708は、フォトフィルター撮影処理を行う。フォトフィルター撮影処理の詳細については後述する。 In step S308, the photo filter imaging processing unit 708 performs photo filter imaging processing. Details of the photo filter photographing process will be described later.
ステップS309において、携帯おまけ紹介部709は、タッチパネルモニタ92やスピーカ224を介して、画像や音声により、「携帯おまけ」サービスを利用者に紹介する。
In step S 309, the mobile
ステップS309の処理が終了すると、撮影処理が終了し、処理は図14に戻る。 When the process of step S309 ends, the shooting process ends, and the process returns to FIG.
<フォトフィルター撮影処理の流れ>
次に、図49のステップS308において実行されるフォトフィルター撮影処理の流れの例を、図50のフローチャートを参照して説明する。
<Flow of photo filter shooting process>
Next, an example of the flow of the photo filter photographing process executed in step S308 of FIG. 49 will be described with reference to the flowchart of FIG.
フォトフィルター撮影処理が開始されると、フォトフィルター撮影ガイダンス部711は、ステップS321において、フォトフィルター撮影の仕方等を利用者に紹介する画像や音声を、タッチパネルモニタ92やスピーカ224を介して利用者に提示するフォトフィルター撮影ガイダンスを行う。利用者はこの案内に従うことにより、スムーズにフォトフィルター撮影の撮影作業を進めることができる。つまり、利用者は、フォトフィルター撮影において、容易に所望のデザイン(モデルの画像等を用いて例示されたデザイン)の画像を得ることができる。
When the photo filter shooting process is started, the photo filter shooting guidance unit 711 displays, in step S <b> 321, an image or sound that introduces the user how to perform photo filter shooting or the like via the touch panel monitor 92 or the
ステップS322において、デザイン選択処理部712は、フォトフィルター撮影のためのデザインを利用者に選択させる処理を行う。例えば、デザイン選択処理部712は、加工結果(背景画像又は前景画像の重畳も含む)のデザインの選択指示を受け付けるGUIであるデザイン選択画面をタッチパネルモニタ92に表示させ、利用者がそのGUIに従って入力するデザイン選択指示を受け付け、受け付けた指示に従って採用する加工方法を選択する。
In step S322, the design
図51は、そのデザイン選択画面の例を示す図である。図51に示される例の場合、デザイン選択画面751には、利用者が選択することにより加工方法や背景が選択されるGUIであるデザイン選択ボタン752が複数(例えば10個)表示されている。このデザイン選択ボタン752のそれぞれには、図52に示されるように、モデルの画像を用いて加工結果や背景重畳結果が示されている。利用者は、各デザイン選択ボタン752として表示される加工結果(背景の重畳も含む)を参照して、所望のデザインのデザイン選択ボタン752を指定することにより、加工方法や背景画像を選択することができる。
FIG. 51 is a diagram showing an example of the design selection screen. In the case of the example shown in FIG. 51, the design selection screen 751 displays a plurality (for example, 10) of
1つのデザイン選択ボタン752には、1つの処理結果をもたらす加工方法や背景画像の組み合わせが割り当てられる。各デザイン選択ボタン752に割り当てられる処理結果は互いに異なる。つまり、図51の例のデザイン選択画面751の場合、10種類の処理結果が示されている。1つのデザイン選択ボタン752には、任意の数や種類の加工方法や背景画像を割り当てることができる。利用者がデザイン選択ボタン752を選択すると、その選択されたデザイン選択ボタン752に割り当てられた全ての加工法や背景画像が選択される。
One
図52にデザイン選択ボタン752の表示例を示す。図52に示されるデザイン選択ボタン752−1乃至752−10は、図51に示されるデザイン選択画面751に表示される10個のデザイン選択ボタン752の表示例である。図52に示されるように、各デザイン選択ボタン752には、モデルの画像を加工したり背景を重畳させたりした処理結果が示されている。したがって、利用者は、処理結果のデザインをより容易に(直感的に)把握することができる。
FIG. 52 shows a display example of the
デザイン選択ボタン752−1の場合、画像の左部分に文字が表示される半透明の前景画像と、画像の右部分に文字が表示される背景画像とが撮影画像(モデルの全身撮影の画像)に重畳されている。また、撮影画像に対しては、色付け等を行う透明フィルタが施されている。つまり、デザイン選択ボタン752−1が選択されると、加工処理としてフィルタ処理とフレーム処理と背景の重畳が選択される。 In the case of the design selection button 752-1, a translucent foreground image in which characters are displayed in the left part of the image and a background image in which characters are displayed in the right part of the image are taken images (images of the whole body of the model) Is superimposed. The captured image is provided with a transparent filter for coloring and the like. That is, when the design selection button 752-1 is selected, filter processing, frame processing, and background superimposition are selected as processing.
デザイン選択ボタン752−2の場合、撮影画像(モデルの全身撮影の画像)に複数のオーラ(影)が付されている。また、撮影画像に対して背景画像が重畳されている。つまり、デザイン選択ボタン752−2が選択されると、加工処理としてオーラ処理(多重色影処理)と背景の重畳が選択される。 In the case of the design selection button 752-2, a plurality of auras (shadows) are added to the photographed image (the model whole body photographed image). A background image is superimposed on the captured image. That is, when the design selection button 752-2 is selected, aura processing (multiple color shadow processing) and background superimposition are selected as processing.
デザイン選択ボタン752−3の場合、撮影画像(モデルの全身撮影の画像)に対して、画像の上下方向にずれ幅が不均一なオーラ(影)が付されている。また、撮影画像に対して背景画像が重畳されている。つまり、デザイン選択ボタン752−3が選択されると、加工処理としてオーラ処理(足固定影処理)と背景の重畳が選択される。 In the case of the design selection button 752-3, an aura (shadow) having a non-uniform deviation width in the vertical direction of the image is added to the captured image (an image of the whole body image of the model). A background image is superimposed on the captured image. That is, when the design selection button 752-3 is selected, aura processing (foot fixed shadow processing) and background superimposition are selected as processing.
デザイン選択ボタン752−4の場合、半透明の前景画像と背景画像とが撮影画像(モデルの全身撮影の画像)に重畳されている。つまり、デザイン選択ボタン752−4が選択されると、加工処理としてフレーム処理と背景の重畳が選択される。 In the case of the design selection button 752-4, the translucent foreground image and the background image are superimposed on the photographed image (the model whole body photographed image). That is, when the design selection button 752-4 is selected, frame processing and background superimposition are selected as processing.
デザイン選択ボタン752−5の場合、画像全体に文字が表示される半透明の前景画像が撮影画像(モデルの全身撮影の画像)に重畳されている。また、この前景画像は、文字の部分がくり抜かれており、撮影画像が露出している。前景画像の非文字の部分が半透明であり、撮影画像が透けて表示されている。つまり、デザイン選択ボタン752−5が選択されると、加工処理としてフレーム処理が選択される。 In the case of the design selection button 752-5, a translucent foreground image in which characters are displayed on the entire image is superimposed on the captured image (an image of the whole body image of the model). Further, the foreground image has a character portion cut out, and a photographed image is exposed. The non-character portion of the foreground image is translucent and the photographed image is displayed through. That is, when the design selection button 752-5 is selected, frame processing is selected as processing.
デザイン選択ボタン752−6の場合、前景画像と背景画像とが撮影画像(モデルのアップ撮影の画像)に重畳されている。また、撮影画像はモノクロ表示され、唇の部分のみがピンク色に表示されている。つまり、デザイン選択ボタン752−6が選択されると、加工処理としてフレーム処理とフィルタ処理と唇処理と背景の重畳が選択される。 In the case of the design selection button 752-6, the foreground image and the background image are superimposed on the photographed image (model up-captured image). The captured image is displayed in monochrome, and only the lips are displayed in pink. That is, when the design selection button 752-6 is selected, frame processing, filter processing, lip processing, and background superimposition are selected as processing.
デザイン選択ボタン752−7の場合、画像中央に文字が表示される半透明の前景画像と背景画像が撮影画像(モデルのアップ撮影の画像)に重畳されている。また、撮影画像はモノクロ表示され、唇の部分のみがピンク色に表示されている。つまり、デザイン選択ボタン752−7が選択されると、加工処理としてフレーム処理とフィルタ処理と唇処理と背景の重畳が選択される。 In the case of the design selection button 752-7, a translucent foreground image and a background image in which characters are displayed at the center of the image are superimposed on the captured image (up-captured image of the model). The captured image is displayed in monochrome, and only the lips are displayed in pink. That is, when the design selection button 752-7 is selected, frame processing, filter processing, lip processing, and background superimposition are selected as processing.
デザイン選択ボタン752−8の場合、画像全体に文字や図柄が表示される半透明の前景画像と背景画像が撮影画像(モデルのアップ撮影の画像)に重畳されている。つまり、デザイン選択ボタン752−8が選択されると、加工処理としてフレーム処理と背景の重畳が選択される。 In the case of the design selection button 752-8, a translucent foreground image and a background image in which characters and designs are displayed on the entire image are superimposed on the photographed image (model up-captured image). That is, when the design selection button 752-8 is selected, frame processing and background superimposition are selected as processing.
デザイン選択ボタン752−9の場合、撮影画像(モデルのアップ撮影の画像)にオーラ(影)が付されている。つまり、デザイン選択ボタン752−8が選択されると、加工処理としてオーラ処理が選択される。 In the case of the design selection button 752-9, an aura (shadow) is added to the photographed image (model up-captured image). That is, when the design selection button 752-8 is selected, the aura process is selected as the processing process.
デザイン選択ボタン752−10の場合、画像全体に文字や図柄が表示される半透明の前景画像が撮影画像(モデルのアップ撮影の画像)に重畳されている。また、この前景画像は、文字の部分がくり抜かれており、撮影画像が露出している。前景画像の非文字の部分が半透明であり、撮影画像が透けて表示されている。つまり、デザイン選択ボタン752−10が選択されると、加工処理としてフレーム処理が選択される。 In the case of the design selection button 752-10, a translucent foreground image in which characters and designs are displayed on the entire image is superimposed on the photographed image (up-captured image of the model). Further, the foreground image has a character portion cut out, and a photographed image is exposed. The non-character portion of the foreground image is translucent and the photographed image is displayed through. That is, when the design selection button 752-10 is selected, frame processing is selected as the processing processing.
図50に戻り、ステップS323において、撮影制御部713は、撮影・表示ユニット81を制御して利用者の画像を取り込む(取り込み画像を取得する)。このとき、撮影制御部713は、ステップS322において選択されたデザインに応じた方法(全身撮影若しくはアップ撮影)で利用者の画像を取り込む。
Returning to FIG. 50, in step S323, the photographing
ステップS324において、画像加工部714は、ステップS322において選択されたデザインに応じた方法で取り込み画像を加工する。すなわち、ステップS322において利用者が選択したデザイン選択ボタン752に表示されるような加工(背景の重畳も含む)が取り込み画像に対して施される。つまり、取り込み画像を用いてステップS322において利用者が選択したデザイン選択ボタン752に表示される画像と同様のデザインの画像が生成される。
In step S324, the
ステップS325において、表示制御部715は、ステップS324において加工された取り込み画像を用いて、ライブビュー表示を行う。例えば、表示制御部715は、図53に示されるようなライブビュー画面761を生成し、タッチパネルモニタ92に表示させる。図53に示されるように、ライブビュー画面761においては、その中央付近に、加工された取り込み画像(動画像)が表示される。
In step S325, the
このようなライブビュー表示を行うことにより、利用者は、加工結果を確認しながら撮影作業(撮影ポーズの決定等)を行うことができ、より容易に撮影作業を行うことができる。 By performing such live view display, the user can perform a shooting operation (determination of a shooting pose, etc.) while checking the processing result, and can perform the shooting operation more easily.
ステップS326において、撮影制御部713は、利用者の指示に従って若しくは所定のタイミングにおいて、被写体の撮影を行う。すなわち、撮影制御部713は、あるタイミングの取り込み画像(静止画像)を撮影画像として取得する。このとき、撮影制御部713は、ステップS322において選択されたデザインに応じた方法(全身撮影若しくはアップ撮影)で利用者の画像を取り込む。
In step S326, the
ステップS327において、画像加工部714は、ステップS322において選択されたデザインに応じた方法で撮影画像を加工する。すなわち、ステップS322において利用者が選択したデザイン選択ボタン752に表示されるような加工(背景の重畳も含む)が撮影画像に対して施される。つまり、撮影画像を用いてステップS322において利用者が選択したデザイン選択ボタン752に表示される画像と同様のデザインの画像が生成される。
In step S327, the
ステップS328において、表示制御部715は、ステップS327において加工された撮影画像を撮影結果としてプレビュー表示する。例えば、表示制御部715は、図53に示されるライブビュー画面761と同様のプレビュー画面を生成し、タッチパネルモニタ92に表示させる。つまり、プレビュー画面においては、その中央付近に、加工された撮影画像(静止画像)が表示される。
In step S328, the
このようなプレビュー表示を行うことにより、利用者は、加工結果を直ぐに確認することができる。 By performing such a preview display, the user can immediately confirm the processing result.
ステップS328の処理が終了するとフォトフィルター撮影処理が終了し、処理は図49に戻る。 When the process of step S328 ends, the photo filter shooting process ends, and the process returns to FIG.
以上のように、オーラ処理(多重色影処理や足固定処理等)を、撮影処理において行うことにより、利用者は、より容易に、より自然な画像を得ることができる。 As described above, by performing the aura processing (multiple color shadow processing, foot fixing processing, etc.) in the photographing processing, the user can obtain a more natural image more easily.
なお、図52の例において、例えば、デザイン選択ボタン752−1、デザイン選択ボタン752−4、デザイン選択ボタン752−5、デザイン選択ボタン752−6、デザイン選択ボタン752−7、デザイン選択ボタン752−8、およびデザイン選択ボタン752−10の画像のように、撮影画像に前景画像を重畳させる場合、その前景画像の絵柄の部分や透明度が低い部分の位置を、撮影画像における被写体の顔部分に重畳させないように、その顔部分の位置に応じて移動させるようにしてもよい。または、その前景画像の絵柄の部分や透明度が低い部分の、撮影画像における被写体の顔部分に重畳する部分を消去したり、透明度を高めたり、色を変更したりするようにしてもよい。さらに、前景画像の絵柄や透明度に関わらず、消去したり、透明度を高めたり、色を変更したりすることにより、撮影画像における被写体の顔部分に前景画像が重畳されないようにしてもよい。 52, for example, a design selection button 752-1, a design selection button 752-4, a design selection button 752-5, a design selection button 752-6, a design selection button 752-7, a design selection button 752- 8 and when the foreground image is superimposed on the captured image, such as the image of the design selection button 752-10, the position of the pattern portion or the low transparency portion of the foreground image is superimposed on the face portion of the subject in the captured image. In order not to make it move, you may make it move according to the position of the face part. Alternatively, the pattern portion of the foreground image or the portion with low transparency may be erased, the transparency may be increased, or the color may be changed. Furthermore, the foreground image may be prevented from being superimposed on the face portion of the subject in the photographed image by erasing, increasing the transparency, or changing the color regardless of the pattern or transparency of the foreground image.
このような処理を行うには、撮影画像における被写体の顔部分(顔領域)を検出し、その顔領域に前景画像が重畳されないようにすればよい。また、その際、撮影画像における被写体の顔部分(顔領域)を検出し、その顔領域を含む、その顔領域よりも広い領域を設定し、その領域に前景画像が重畳されないようにしてもよい。この場合、例えば、被写体の顔部分の周辺にも前景画像が重畳されないようにすることができる。 In order to perform such processing, it is only necessary to detect the face portion (face area) of the subject in the captured image and prevent the foreground image from being superimposed on the face area. At that time, the face portion (face area) of the subject in the photographed image may be detected, and an area wider than the face area including the face area may be set so that the foreground image is not superimposed on the area. . In this case, for example, the foreground image can be prevented from being superimposed on the periphery of the face portion of the subject.
また、例えば、デザイン選択ボタン752−5やデザイン選択ボタン752−10のように、前景画像にくり抜かれた部分がある場合、そのくり抜かれた部分を、撮影画像における被写体の顔部分に重畳させるように移動させるようにしてもよい。 Further, for example, when there is a hollowed portion in the foreground image such as the design selection button 752-5 or the design selection button 752-10, the hollowed portion is superimposed on the face portion of the subject in the photographed image. You may make it move to.
なお、例えば、デザイン選択ボタン752−5やデザイン選択ボタン752−10のように、前景画像を半透明にすることにより、前景画像と重畳する部分も撮影画像の人物が見えるようにすることができる。特に、デザイン選択ボタン752−5やデザイン選択ボタン752−10のように、重畳する部分が広い前景画像の場合、このように半透明にすることにより、人物をより見やすくすることができ、利用者の満足度を向上させることができる。 Note that, for example, by making the foreground image translucent like the design selection button 752-5 and the design selection button 752-10, it is possible to make the person in the photographed image visible in the portion superimposed on the foreground image. . In particular, in the case of a foreground image with a wide overlapping portion, such as the design selection button 752-5 and the design selection button 752-10, by making it semi-transparent in this way, it is possible to make the person easier to see. Satisfaction can be improved.
また、前景画像の、撮影画像の人物の部分に重畳する部分は、第5の実施の形態において説明した方法と同様に、その人物の部分の濃淡(輝度値等)に応じて、濃淡を制御するようにしてもよい。例えば、撮影画像の色の濃い部分に重畳する部分は、前景画像の色も濃くし、撮影画像の色の薄い部分に重畳する部分は、前景画像の色も薄くするようにしてもよい。逆に、撮影画像の色の濃い部分に重畳する部分は、前景画像の色を薄くし、撮影画像の色の薄い部分に重畳する部分は、前景画像の色を濃くするようにしてもよい。 In addition, the portion of the foreground image that is superimposed on the person portion of the photographed image is controlled in accordance with the lightness and darkness (luminance value, etc.) of the person portion, as in the method described in the fifth embodiment. You may make it do. For example, a portion that is superimposed on a dark portion of the photographed image may be darkened in the foreground image, and a portion that is superimposed on a light portion of the photographed image may be lightened in the foreground image. Conversely, the portion that is superimposed on the dark portion of the photographed image may make the foreground image lighter, and the portion that is superimposed on the light portion of the photographed image may be darkened on the foreground image.
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。 By the way, the above-described series of processes can be executed by hardware or can be executed by software. When the above-described series of processing is executed by software, a program constituting the software is installed from a network or a recording medium.
この記録媒体は、例えば、図8に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む)、光磁気ディスク(MD(Mini-Disk)(登録商標)を含む)、もしくは半導体メモリなどよりなるリムーバブルメディア205により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROMや、記憶部に含まれるハードディスクなどで構成される。 For example, as shown in FIG. 8, the recording medium is distributed to distribute the program to the user separately from the apparatus main body, and includes a magnetic disk (including a flexible disk) on which the program is recorded, an optical disk ( Removable media 205 including CD-ROM (compact disk-read only memory), DVD (digital versatile disk), magneto-optical disk (including MD (mini-disk) (registered trademark)), or semiconductor memory In addition to being configured, it is configured by a ROM in which a program is recorded, a hard disk included in a storage unit, and the like that are distributed to the user in a state of being incorporated in the apparatus main body in advance.
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。 In the present specification, the step of describing the program recorded on the recording medium is not limited to the processing performed in chronological order according to the described order, but is not necessarily performed in chronological order. It also includes processes that are executed individually.
以上において、印刷媒体は、シール紙に限られるものではなく、例えば、所定のサイズの紙や、ポスター用の紙、テレホンカードなどのカード、あるいは、Tシャツなどの布地などに印刷するようにしてもよい。 In the above, the print medium is not limited to the sticker paper, and for example, print on a predetermined size paper, a poster paper, a card such as a telephone card, or a cloth such as a T-shirt. Also good.
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。例えば、以上において、1の装置や処理部として説明した構成を分割し、複数の装置や処理部として構成するようにしてもよい。逆に、以上において複数の装置や処理部として説明した構成をまとめて1の装置や処理部として構成されるようにしてもよい。また、例えば、各装置や各処理部の構成に、上述した以外の構成を付加するようにしてももちろんよい。さらに、例えば、全体としての構成や動作が実質的に同じであれば、ある装置や処理部の構成の一部を他の装置や処理部の構成に含めるようにしてもよい。 The embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention. For example, in the above description, the configuration described as one device or processing unit may be divided and configured as a plurality of devices or processing units. Conversely, the configurations described above as a plurality of devices and processing units may be combined into a single device and processing unit. Further, for example, a configuration other than those described above may be added to the configuration of each device or each processing unit. Furthermore, for example, if the overall configuration and operation are substantially the same, a part of the configuration of a certain device or processing unit may be included in the configuration of another device or processing unit.
1 写真シール作成装置
11 撮影ユニット
12 編集部
13 事後接客部
201 制御部
208 撮影部
209 編集部
210 事後接客部
301 撮影処理部
302 編集処理部
303 印刷処理部
304 事後接客処理部
323 オーラ処理部
343 幾何学変換部
345 境界領域設定部
346 画像処理部
361 選択部
362 移動処理部
363 回転処理部
364 変形処理部
391 色彩設定部
392 濃淡設定部
393 透過度設定部
501 マスク画像生成部
502 ぼかし処理部
503 トリミング部
541 鏡映処理部
651 濃淡画像生成部
652 濃淡反転部
653 マスク画像生成部
654 2値化処理部
655 マスク濃淡画像合成部
656 幾何学変換部
657 前景背景合成部
658 青色合成部
659 赤色合成部
660 撮影画像合成部
708 フォトフィルター撮影処理部
711 フォトフィルター撮影ガイダンス部
712 デザイン選択処理部
713 撮影制御部
714 画像加工部
715 表示制御部
721 テクスチャ処理部
722 フィルタ処理部
723 フレーム処理部
724 唇処理部
725 オーラ処理部
DESCRIPTION OF
Claims (9)
前記撮影部により生成された前記撮影画像について、前記撮影画像全体の領域の内、前記被写体を表す領域である人物領域と前記人物領域以外を表す領域である背景領域とを識別するマスク画像を生成するマスク画像生成部と、
前記マスク画像生成部により生成された前記マスク画像を2値化する2値化処理部と、
前記2値化処理部により2値化された前記マスク画像の前記人物領域に対して幾何学変換を行う幾何学変換部と、
前記マスク画像の、前記幾何学変換部により前記幾何学変換が行われた前記人物領域と前記背景領域との境界近傍の領域である境界領域に対して画像処理を行う画像処理部と、
前記画像処理部により前記画像処理が行われた前記マスク画像と前記撮影画像を合成する合成部と
を備え、
前記幾何学変換部は、前記撮影画像に前記利用者が複数名含まれる場合、前記幾何学変換の種類を前記利用者毎に変更する
画像処理装置。 A shooting unit for shooting a user as a subject and generating a shot image;
A mask image for identifying a person area representing the subject and a background area representing an area other than the person area out of the entire area of the photographed image generated by the photographing unit is generated. A mask image generation unit to perform,
A binarization processing unit that binarizes the mask image generated by the mask image generation unit;
A geometric conversion unit that performs geometric conversion on the person area of the mask image binarized by the binarization processing unit;
An image processing unit that performs image processing on a boundary region that is a region in the vicinity of a boundary between the person region and the background region of the mask image that has undergone the geometric conversion by the geometric conversion unit;
A combination unit that combines the mask image subjected to the image processing by the image processing unit and the captured image;
The geometric conversion unit is an image processing apparatus that changes a type of the geometric conversion for each user when a plurality of the users are included in the captured image.
請求項1に記載の画像処理装置。 The geometric conversion unit includes, as the geometric conversion, a movement process for moving the person area of the mask image, a rotation process for rotating the person area about a predetermined center point or center line, and the person area. The image processing apparatus according to claim 1, wherein any one or more of deformation processes for deforming at least a part of the image processing apparatus is performed.
請求項2に記載の画像処理装置。 The geometric conversion unit may include at least one of a movement direction and a movement amount of the person area when the captured image includes a plurality of the users and performs the movement process as the geometric conversion. The image processing device according to claim 2, wherein the image processing device is changed for each user.
請求項3に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the image processing unit changes a color set for the boundary region for each user.
請求項3または請求項4に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the image processing unit changes the transparency set for the boundary region for each user.
請求項2に記載の画像処理装置。 The geometric conversion unit, when the photographed image includes a plurality of users and performs the rotation process as the geometric conversion, the rotation angle of the person area, or the position of the rotation center The image processing apparatus according to claim 2, wherein the image processing apparatus is changed for each user.
請求項2に記載の画像処理装置。 The geometric conversion unit changes a deformation amount of the person region for each user when the photographed image includes a plurality of the users and performs the deformation process as the geometric conversion. 2. The image processing apparatus according to 2.
生成された前記撮影画像について、前記撮影画像全体の領域の内、前記被写体を表す領域である人物領域と前記人物領域以外を表す領域である背景領域とを識別するマスク画像を生成し、
生成された前記マスク画像を2値化し、
2値化された前記マスク画像の前記人物領域に対して幾何学変換を行い、
前記撮影画像に前記利用者が複数名含まれる場合、前記幾何学変換の種類を前記利用者毎に変更し、
前記マスク画像の、前記幾何学変換が行われた前記人物領域と前記背景領域との境界近傍の領域である境界領域に対して画像処理を行い、
前記画像処理が行われた前記マスク画像と前記撮影画像を合成する
画像処理方法。 Take a picture of the user as a subject, generate a shot image,
For the generated captured image, a mask image for identifying a human region that is a region representing the subject and a background region that is a region other than the human region in the entire region of the captured image is generated.
Binarize the generated mask image;
Performing geometric transformation on the human region of the binarized mask image;
When a plurality of users are included in the captured image, the type of geometric transformation is changed for each user,
The mask image is subjected to image processing on a boundary region that is a region near the boundary between the person region and the background region that has undergone the geometric transformation,
An image processing method for combining the photographed image with the mask image on which the image processing has been performed.
生成された前記撮影画像について、前記撮影画像全体の領域の内、前記被写体を表す領域である人物領域と前記人物領域以外を表す領域である背景領域とを識別するマスク画像を生成し、
生成された前記マスク画像を2値化し、
2値化された前記マスク画像の前記人物領域に対して幾何学変換を行い、
前記撮影画像に前記利用者が複数名含まれる場合、前記幾何学変換の種類を前記利用者毎に変更し、
前記マスク画像の、前記幾何学変換が行われた前記人物領域と前記背景領域との境界近傍の領域である境界領域に対して画像処理を行い、
前記画像処理が行われた前記マスク画像と前記撮影画像を合成する
処理をコンピュータに実行させるプログラム。 Take a picture of the user as a subject, generate a shot image,
For the generated captured image, a mask image for identifying a human region that is a region representing the subject and a background region that is a region other than the human region in the entire region of the captured image is generated.
Binarize the generated mask image;
Performing geometric transformation on the human region of the binarized mask image;
When a plurality of users are included in the captured image, the type of geometric transformation is changed for each user,
The mask image is subjected to image processing on a boundary region that is a region near the boundary between the person region and the background region that has undergone the geometric transformation,
A program for causing a computer to execute a process of synthesizing the mask image subjected to the image processing and the captured image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014000352A JP6048758B2 (en) | 2012-12-14 | 2014-01-06 | Image processing apparatus and method, and program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012273823 | 2012-12-14 | ||
JP2012273823 | 2012-12-14 | ||
JP2014000352A JP6048758B2 (en) | 2012-12-14 | 2014-01-06 | Image processing apparatus and method, and program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013169597A Division JP5574031B2 (en) | 2012-12-14 | 2013-08-19 | Image processing apparatus and method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014134792A JP2014134792A (en) | 2014-07-24 |
JP6048758B2 true JP6048758B2 (en) | 2016-12-21 |
Family
ID=51413048
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013169597A Active JP5574031B2 (en) | 2012-12-14 | 2013-08-19 | Image processing apparatus and method, and program |
JP2014000352A Active JP6048758B2 (en) | 2012-12-14 | 2014-01-06 | Image processing apparatus and method, and program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013169597A Active JP5574031B2 (en) | 2012-12-14 | 2013-08-19 | Image processing apparatus and method, and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP5574031B2 (en) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9430853B2 (en) * | 2015-01-09 | 2016-08-30 | Lawrance Joseph L'Heureux | Methods for reifying images to convey non-textual information to viewers |
JP2016177015A (en) * | 2015-03-18 | 2016-10-06 | フリュー株式会社 | Photo seal creation device and image processing method |
JP5871087B1 (en) * | 2015-04-24 | 2016-03-01 | フリュー株式会社 | Photo sticker making apparatus and method |
JP6618764B2 (en) * | 2015-10-26 | 2019-12-11 | 加賀デバイス株式会社 | Photo game machine |
JP6706977B2 (en) * | 2016-06-20 | 2020-06-10 | ヤフー株式会社 | Information display program, information display device, information display method, and distribution device |
WO2019171691A1 (en) | 2018-03-06 | 2019-09-12 | ソニー株式会社 | Image processing device, imaging device, and image processing method |
JP6725591B2 (en) * | 2018-06-12 | 2020-07-22 | 加賀デバイス株式会社 | Photographing amusement device, control method for a photographing amusement device, and control program for a phototaking amusement device |
JP7105210B2 (en) | 2019-03-26 | 2022-07-22 | 富士フイルム株式会社 | Image processing method, program, and image processing system |
CN111754612A (en) * | 2020-06-01 | 2020-10-09 | Oppo(重庆)智能科技有限公司 | Moving picture generation method and device |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10327353A (en) * | 1997-05-23 | 1998-12-08 | Sega Enterp Ltd | Image output device |
JP2006060719A (en) * | 2004-08-23 | 2006-03-02 | Make Softwear:Kk | Apparatus and method for image editing |
JP2006072418A (en) * | 2004-08-31 | 2006-03-16 | Make Softwear:Kk | Image composition method and device |
JP2006073284A (en) * | 2004-08-31 | 2006-03-16 | Make Softwear:Kk | Foot switch protection case and automatic photographing device |
JP2006133941A (en) * | 2004-11-04 | 2006-05-25 | Matsushita Electric Ind Co Ltd | Image processing device, image processing method, image processing program, and portable terminal |
JP4648092B2 (en) * | 2005-05-31 | 2011-03-09 | 株式会社アイ・エム・エス | Photo sticker dispensing apparatus and image processing method therefor |
JP2007240887A (en) * | 2006-03-08 | 2007-09-20 | Make Softwear:Kk | Automatic photographing device and method thereof |
JP4821642B2 (en) * | 2007-02-15 | 2011-11-24 | 株式会社ニコン | Image processing method, image processing apparatus, digital camera, and image processing program |
JP2009118084A (en) * | 2007-11-05 | 2009-05-28 | Olympus Imaging Corp | Digital camera |
JP5392575B2 (en) * | 2010-12-28 | 2014-01-22 | フリュー株式会社 | Image editing apparatus and method, and program |
JP5488526B2 (en) * | 2011-04-28 | 2014-05-14 | フリュー株式会社 | Image processing apparatus and image processing method |
-
2013
- 2013-08-19 JP JP2013169597A patent/JP5574031B2/en active Active
-
2014
- 2014-01-06 JP JP2014000352A patent/JP6048758B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014134792A (en) | 2014-07-24 |
JP5574031B2 (en) | 2014-08-20 |
JP2014134760A (en) | 2014-07-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6048758B2 (en) | Image processing apparatus and method, and program | |
JP6237939B2 (en) | Image editing apparatus and image editing method | |
JP5488526B2 (en) | Image processing apparatus and image processing method | |
JP6136769B2 (en) | Image processing apparatus, image processing method, and program | |
JP6659980B2 (en) | Photo sticker making device, photo sticker making method, and program | |
JP2014002445A (en) | Image process device, method and program | |
JP5549727B2 (en) | Photo sticker making apparatus and method | |
JP5569502B2 (en) | Photo sticker creation apparatus, photo sticker creation method, and program | |
JP5472767B2 (en) | Image processing apparatus and image processing method | |
JP6575085B2 (en) | Photo sticker creation apparatus and image generation method | |
JP5541545B1 (en) | Photo sticker creation apparatus and method, and program | |
JP6213791B2 (en) | Image processing apparatus and image processing method | |
JP5621875B1 (en) | Imaging apparatus and method, and program | |
JP6477780B2 (en) | Photo sticker creation apparatus, photo sticker creation method, and photo sticker creation processing program | |
JP6262643B2 (en) | Image processing apparatus and image processing method | |
JP5482948B2 (en) | Image processing apparatus and image processing method | |
JP6659942B2 (en) | Photo sticker making device and display method | |
JP5796671B2 (en) | Image printing apparatus and image printing method | |
JP2014239353A (en) | Image printer and image arrangement method | |
JP5725245B2 (en) | Image printing apparatus and image printing method | |
JP7121256B2 (en) | PHOTO-CREATION GAME MACHINE, IMAGE PROCESSING METHOD, AND PROGRAM | |
JP2014170234A (en) | Photograph seal creation apparatus, photograph seal creation method, and program | |
JP5594401B1 (en) | Imaging apparatus, imaging method, and program | |
JP2014131159A (en) | Image editing device, image editing method and program | |
JP5633765B1 (en) | Image printing apparatus and image printing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150807 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160722 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160923 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6048758 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |