JP5910639B2 - Image processing apparatus, image processing method, and computer program - Google Patents
Image processing apparatus, image processing method, and computer program Download PDFInfo
- Publication number
- JP5910639B2 JP5910639B2 JP2014002706A JP2014002706A JP5910639B2 JP 5910639 B2 JP5910639 B2 JP 5910639B2 JP 2014002706 A JP2014002706 A JP 2014002706A JP 2014002706 A JP2014002706 A JP 2014002706A JP 5910639 B2 JP5910639 B2 JP 5910639B2
- Authority
- JP
- Japan
- Prior art keywords
- frames
- image
- frame
- area
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 132
- 238000004590 computer program Methods 0.000 title claims description 7
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000009966 trimming Methods 0.000 claims description 109
- 238000000034 method Methods 0.000 claims description 94
- 230000008569 process Effects 0.000 claims description 65
- 238000003384 imaging method Methods 0.000 claims description 48
- 239000000284 extract Substances 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 13
- 230000007246 mechanism Effects 0.000 description 12
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 210000003128 head Anatomy 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 4
- 239000002131 composite material Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005286 illumination Methods 0.000 description 3
- 208000029152 Small face Diseases 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Description
本発明は、人物であるユーザを被写体として写真撮影し、撮影結果が出力された所定のシート又はデータを得ることができる撮影遊戯機に関し、特に、ユーザが好適な撮影結果を得ることができる撮影遊戯機における画像処理装置、画像処理方法及びコンピュータプログラムに関する。 The present invention relates to a shooting game machine that can take a photograph of a person who is a person as a subject and obtain a predetermined sheet or data on which the shooting result is output, and in particular, shooting that allows the user to obtain a preferable shooting result. The present invention relates to an image processing apparatus, an image processing method, and a computer program in a game machine.
ユーザが複数人で自身らを撮影して得られる写真シールシートを排出する装置が、撮影遊戯機として提供されている。このような撮影遊戯機では、複数人のユーザが入ることができる撮影空間に自動的に撮影を行なう機器が設けられており、複数人のユーザからなるユーザグループは、撮影空間内で撮影を行なう。またユーザグループは、好みの背景画像又は装飾用の画像を選択し、更に、撮影された撮影画像に自由に文字又は落書きを書き込むことができ、選択された画像及び書き込まれた文字又は落書きは撮影画像と合成されて写真シールシートに印刷される。ユーザグループは、撮影空間の中での撮影自体、及び、文字又は落書きの入力を仲間と共に楽しみ、所望の画像が印刷された写真シールシートを得ることができる。 An apparatus for discharging a photo sticker sheet obtained by a plurality of users photographing themselves is provided as a shooting game machine. In such a shooting game machine, a device for automatically shooting is provided in a shooting space where a plurality of users can enter, and a user group consisting of a plurality of users performs shooting in the shooting space. . In addition, the user group can select a favorite background image or decoration image, and can freely write characters or graffiti on the captured image. The selected image and written characters or graffiti can be captured. It is combined with the image and printed on a photo sticker sheet. The user group can enjoy photographing in the photographing space and inputting characters or graffiti together with his / her friends and obtain a photo sticker sheet on which a desired image is printed.
このような撮影遊戯機では、撮像装置の向き、俯角及び画角、即ち撮像範囲は固定されている。一方で、撮影空間は、複数人のユーザが動ける程度に広く、大抵の場合、ユーザグループは立って撮影を行なう。撮像装置の撮像範囲をユーザグループに知らしめるべく、撮像装置の付近に、撮像装置が出力している映像信号をライブ表示する表示装置が設けられている。したがって、ユーザグループは撮像範囲を確認しながら撮影を行なうことができ、横方向に動いて好適な位置を探すことができる。しかしながら、縦方向に動くことができる範囲は限られているから、ユーザグループの身長又は立ち位置によっては、人物被写体領域の撮影画像内での位置又は範囲が、好適なバランスとならないことがある。具体的には、撮像範囲内における各ユーザの頭に対応する領域よりも上方の空間が無駄に広くなったり、逆に、頭に対応する領域が切れてしまったりする。このような場合、撮影遊戯機で設定されている演出通りの撮影結果が得られず、結果物である写真シールシートに対するユーザの期待度及び満足度を向上させることが困難である。 In such a shooting game machine, the orientation, depression angle and angle of view of the imaging device, that is, the imaging range is fixed. On the other hand, the shooting space is wide enough for a plurality of users to move, and in most cases, the user group stands up and performs shooting. In order to inform the user group of the imaging range of the imaging device, a display device that displays live video signals output by the imaging device is provided in the vicinity of the imaging device. Therefore, the user group can take a picture while checking the imaging range, and can move in the horizontal direction to find a suitable position. However, since the range that can move in the vertical direction is limited, depending on the height or standing position of the user group, the position or range of the person subject area in the captured image may not be a suitable balance. Specifically, the space above the area corresponding to each user's head in the imaging range becomes uselessly widened, or conversely, the area corresponding to the head is cut off. In such a case, it is difficult to improve the user's expectation and satisfaction with respect to the resulting photo sticker sheet, because the result of shooting set in the shooting game machine cannot be obtained.
特許文献1には、撮影画像をトリミングして簡単に、よりバランスの良い画像を得ることが可能な方法が開示されている。特許文献1に開示されている方法では、複数の画素からなる撮影画像内において予め設定されている複数の横方向又は縦方向の線の内、線上に人物被写体領域が存在しない線を特定し、特定された線に基づいてトリミング範囲及び位置が設定される。
Japanese Patent Application Laid-Open No. 2004-228561 discloses a method that can easily obtain a balanced image by trimming a captured image. In the method disclosed in
撮影遊戯機にて、結果物である写真シールシートに対するユーザの期待度及び満足度を向上させるためには、ユーザグループの身長又は立ち位置に関係なく好適なバランスの画像が得られるように自動的にトリミングがなされることが望ましい。 In order to improve the user's expectation and satisfaction with the resulting photo sticker sheet in the shooting game machine, an image with a suitable balance can be automatically obtained regardless of the height or standing position of the user group. It is desirable to perform trimming.
特許文献1に開示されている方法では自動的にトリミングがなされるが、予め設定されている線上に人物被写体領域が存在するか否かによって判断し、人物被写体領域が欠けることなく自動的にトリミング範囲が決定される。しかしながら、ユーザグループのポーズによっては、被服、腕又は指に対応する領域の一部が欠ける程度にトリミングがなされる方が、審美性の高い結果物が得られることがある。また、ユーザをアップで撮影する場合には特に、頭に対応する領域が一部欠ける程度にトリミングがなされる方が、審美性の高い結果物が得られることが多いが、特許文献1に開示されている方法では、線上に人物被写体の有無のみを判断しているために、人物被写体領域の一部が欠けるようにトリミング範囲が決定されることはない。
Although the trimming is automatically performed in the method disclosed in
本発明は斯かる事情に鑑みてなされたものであり、撮影遊戯機にて撮影された撮影画像に対して自動的にトリミングを行ない、ユーザの身長又は撮影空間内における立ち位置に関係なく好適な画像が得られる画像処理装置、画像処理方法、及びコンピュータプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and automatically performs trimming on a photographed image photographed by a photographing game machine, and is suitable regardless of the height of the user or the standing position in the photographing space. An object is to provide an image processing apparatus, an image processing method, and a computer program from which an image can be obtained.
本発明に係る画像処理装置は、人物被写体を撮影する撮影装置から画像データを取得する取得手段と、取得した画像データに基づく複数の画素からなる画像から人物被写体領域を抽出する抽出手段とを備え、前記画像の前記人物被写体領域を含むトリミング範囲を決定する画像処理装置において、3つ以上の複数の枠の前記画像内での位置及び大きさを示す枠情報を予め記憶装置に記憶しておく手段と、前記枠情報に基づき、前記複数の枠から、枠内が重複する2つの枠の組を選択する選択手段と、前記画像から、前記2つの枠の内の一方の枠内であって重複部分を除いた領域を特定する特定手段と、該特定手段が特定した領域内における前記人物被写体領域の割合又は画素数が、所定の範囲内であるか否かを判断する判断手段と、該判断手段が所定の範囲内であると判断した場合、選択されている2つの枠のいずれか一方又は両方に基づきトリミング範囲を決定する決定手段と前記判断手段が所定の範囲外であると判断した場合、前記選択手段により異なる組を選択し直す手段とを備えることを特徴とする。 An image processing apparatus according to the present invention includes an acquisition unit that acquires image data from a photographing device that captures a human subject, and an extraction unit that extracts a human subject region from an image composed of a plurality of pixels based on the acquired image data. In the image processing apparatus for determining a trimming range including the person subject area of the image, frame information indicating positions and sizes of three or more frames in the image is stored in a storage device in advance. A means for selecting two sets of overlapping frames from the plurality of frames based on the frame information, and one of the two frames from the image. Specifying means for specifying an area excluding an overlapping portion; determining means for determining whether the ratio or the number of pixels of the person subject area in the area specified by the specifying means is within a predetermined range; Judge Is determined to be within the predetermined range, the determination means for determining the trimming range based on one or both of the two selected frames and the determination means determined to be outside the predetermined range, And means for re-selecting a different set by the selection means.
本発明に係る画像処理装置は、前記複数の枠の内の任意の2つの枠の一方は、他方を枠内に含むようにしてあり、前記選択手段は、前記複数の枠の内、外側から2つの枠を選択するようにしてあり、前記判断手段は、前記特定手段が特定した領域内における前記人物被写体領域の割合又は画素数が、所定の割合又は画素数以上であるか否かを判断するようにしてあることを特徴とする。 The image processing apparatus according to the present invention is such that one of any two of the plurality of frames includes the other in the frame, and the selecting means includes two from the outside of the plurality of frames. The frame is selected, and the determination means determines whether or not the ratio or the number of pixels of the person subject area in the area specified by the specifying means is equal to or greater than a predetermined ratio or the number of pixels. It is characterized by that.
本発明に係る画像処理装置は、前記複数の枠の内の任意の2つの枠の一方は、他方を枠内に含むようにしてあり、前記選択手段は、前記複数の枠の内、内側から2つの枠を選択するようにしてあり、前記判断手段は、前記特定手段が特定した領域内における前記人物被写体領域の割合又は画素数が、所定の割合又は画素数以下であるか否かを判断するようにしてあることを特徴とする。 In the image processing apparatus according to the present invention, one of any two of the plurality of frames includes the other in the frame, and the selection unit includes two of the plurality of frames from the inside. The frame is selected, and the determination means determines whether the ratio or the number of pixels of the person subject area in the area specified by the specifying means is equal to or less than a predetermined ratio or the number of pixels. It is characterized by that.
本発明に係る画像処理装置は、前記決定手段は、選択されている2つの枠のいずれか一方、又は、該一方の1つ外側若しくは内側の枠をトリミング範囲と決定するようにしてあることを特徴とする。 In the image processing apparatus according to the present invention, the determining means determines either one of the two selected frames, or one of the outer and inner frames as a trimming range. Features.
本発明に係る画像処理装置は、前記決定手段は、選択されている2つの枠のいずれか一方から所定の画素数分だけ大きい又は小さい範囲をトリミング範囲と決定するようにしてあることを特徴とする。 The image processing apparatus according to the present invention is characterized in that the determining means determines a range that is larger or smaller by a predetermined number of pixels from one of the two selected frames as a trimming range. To do.
本発明に係る画像処理装置は、前記人物被写体領域の横方向の一部が、前記枠情報が示す複数の枠の内の特定の枠よりも、所定の割合以下で外側に存在するか否かを判断する横判断手段を更に備え、該横判断手段が存在すると判断した場合、前記特定手段は、前記2つの枠の間の内の上部を前記領域として特定するようにしてあることを特徴とする。 In the image processing device according to the present invention, whether or not a part of the person subject region in the horizontal direction exists outside a specific frame of the plurality of frames indicated by the frame information at a predetermined ratio or less. A lateral determination means for determining whether the horizontal determination means is present, wherein the specifying means specifies an upper portion between the two frames as the region. To do.
本発明に係る画像処理装置は、前記取得手段は、複数の画像データを取得し、各画像データが異なる撮影方法の内のいずれにより撮影されたかを識別する手段を備え、前記記憶装置には、異なる撮影方法毎に、異なる枠情報が予め記憶してあり、前記選択手段は、取得された画像データの撮影方法に対応する枠情報に基づいて2つの枠の組を選択し、前記特定手段は、取得された画像データの撮影方法に対応する所定の範囲であるか否かを判断するようにしてあることを特徴とする。 In the image processing apparatus according to the present invention, the acquisition unit includes a unit that acquires a plurality of image data and identifies which of the different imaging methods each image data was captured, and the storage device includes: Different frame information is stored in advance for each different shooting method, and the selection unit selects a pair of two frames based on the frame information corresponding to the shooting method of the acquired image data. It is characterized in that it is determined whether or not it is within a predetermined range corresponding to the method of photographing the acquired image data.
本発明に係る画像処理方法は、人物被写体を撮影する撮影装置から画像データを取得する取得手段、取得した画像データに基づく複数の画素からなる画像から人物被写体領域を抽出する抽出手段、及び、記憶装置に情報を記憶する手段を備える画像処理装置が、前記画像の前記人物被写体領域を含むトリミング範囲を決定する処理を行なう画像処理方法において、3つ以上の複数の枠の前記画像内での位置及び大きさを示す枠情報を予め前記記憶装置に記憶しておき、枠情報に基づき、前記複数の枠から、枠内が重複する2つの枠の組を選択し、前記画像から、前記2つの枠の内の一方の枠内であって重複部分を除いた領域を特定し、特定された領域内における前記人物被写体領域の割合又は画素数が、所定の範囲内であるか否かを判断し、所定の範囲内であると判断した場合、選択されている2つの枠のいずれか一方又は両方に基づきトリミング範囲を決定し、所定の範囲外であると判断した場合、選択されている2つの枠と異なる枠を選択し直して処理を再実行することを特徴とする。 An image processing method according to the present invention includes an acquisition unit that acquires image data from a photographing device that captures a human subject, an extraction unit that extracts a human subject region from an image composed of a plurality of pixels based on the acquired image data, and a storage In an image processing method in which an image processing apparatus having means for storing information in the apparatus performs a process of determining a trimming range including the person subject area of the image, positions of three or more frames in the image And frame information indicating the size are stored in the storage device in advance, and based on the frame information, a pair of two frames that overlap in the frame is selected from the plurality of frames, and the two images are selected from the image. An area in one of the frames that excludes the overlapping portion is specified, and it is determined whether the ratio or the number of pixels of the person subject area in the specified area is within a predetermined range. , When it is determined that it is within the predetermined range, the trimming range is determined based on one or both of the two selected frames, and when it is determined that it is outside the predetermined range, the two selected frames The processing is re-executed by selecting a different frame from the above.
本発明に係るコンピュータプログラムは、撮影装置と接続され、記憶装置から情報を読み出すことが可能なコンピュータに、前記撮影装置から画像データを取得し、該画像データに基づく複数の画素からなる画像から人物被写体領域を抽出し、前記画像の前記人物被写体領域を含むトリミング範囲を決定する画像処理を実行させるコンピュータプログラムにおいて、前記コンピュータに、前記記憶装置に記憶してある3つ以上の複数の枠の前記画像内の位置及び大きさを示す枠情報を読み出すステップ、読み出した枠情報に基づき、前記複数の枠から、枠内が重複する2つの枠の組を選択するステップ、取得された画像データに基づく画像から、前記2つの枠の内の一方の枠内であって重複部分を除いた領域を特定するステップ、特定された領域内における前記人物被写体領域の割合又は画素数が、所定の範囲内であるか否かを判断するステップ、所定の範囲内であると判断された場合、選択されている2つの枠のいずれか一方又は両方に基づきトリミング範囲を決定するステップ、及び、所定の範囲外であると判断された場合、選択されている2つの枠と異なる組を選択し直すステップを実行させることを特徴とする。 A computer program according to the present invention is connected to the imaging device, a capable of reading information from the storage device a computer, acquires image data from the shooting device, the image comprising a plurality of pixels based on the image data In a computer program for extracting a person subject area and executing image processing for determining a trimming range including the person subject area of the image, the computer includes three or more frames stored in the storage device. A step of reading frame information indicating a position and a size in the image, a step of selecting a pair of two frames overlapping in the frame from the plurality of frames based on the read frame information, and the acquired image data A step of identifying an area within one of the two frames and excluding an overlapping portion from the image based on A step of determining whether the ratio or the number of pixels of the person subject area in the area is within a predetermined range; if it is determined to be within the predetermined range, one of the two selected frames Or, it is characterized in that a step of determining a trimming range based on both and a step of re-selecting a set different from the two selected frames when it is determined that the trimming range is outside the predetermined range are performed.
本発明では、画像内における複数の枠の位置及び大きさを示す枠情報に基づき、枠内が重複する2つの枠の組が選択され、2つの枠の内の一方の枠内であって重複部分を除いた領域が特定され、該領域内における人物被写体領域の割合又は画素数が所定の範囲内である場合に、選択された枠に基づいてトリミング範囲が決定される。画像内の線上ではなく、枠の間に対応する領域内に人物被写体領域の一部がどの程度含まれるか否かの判断に基づいてトリミング範囲を決定するので、該一部をトリミング範囲外とすることもでき、好適な画像が得られる。 In the present invention, based on the frame information indicating the position and size of a plurality of frames in the image, a pair of two frames that overlap in the frame is selected, and overlaps in one of the two frames. When an area excluding the portion is specified and the ratio of the person subject area or the number of pixels in the area is within a predetermined range, the trimming range is determined based on the selected frame. The trimming range is determined based on the determination of how much part of the person subject area is included in the corresponding area between the frames, not on the line in the image. It is also possible to obtain a suitable image.
本発明では、枠間の領域内に人物被写体領域の一部がどの程度含まれるか否かの判断を、外側から選択された2つの枠の間に対応する領域内に、人物被写体領域に対応する領域が所定の割合又は画素数以上であるか判断するようにしてもよいし、内側から選択された2つの枠の間に対応する領域内に、人物被写体領域に対応する領域が所定の割合又は画素数以下であるか判断するようにしてもよい。 In the present invention, the determination as to whether or not a part of the person subject area is included in the area between the frames corresponds to the person subject area in the area between the two frames selected from the outside. It may be determined whether the area to be processed is a predetermined ratio or the number of pixels or more, and the area corresponding to the person subject area is a predetermined ratio within the area corresponding to the two frames selected from the inside. Or you may make it judge whether it is below the number of pixels.
本発明では、所定の範囲内であると判断された場合に選択されている2つの枠のいずれか一方がトリミング範囲となるか、又は、1つ外側の枠若しくは1つ内側の枠がトリミング範囲となる。このように判断に係る枠をトリミング範囲に用いてもよいし、あるいは、選択されている2つの枠のいずれか一方を基準に、所定の画素分だけ大きい又は小さい範囲をトリミング範囲とするようにしてもよい。 In the present invention, when one of the two frames selected when determined to be within the predetermined range is the trimming range, or one outer frame or one inner frame is the trimming range. It becomes. In this way, the frame related to the determination may be used as the trimming range, or a range that is larger or smaller by a predetermined pixel is set as the trimming range based on one of the two selected frames. May be.
本発明では、人物被写体領域の横方向の一部については特定の枠よりも外側に、所定の割合以下で存在している場合は、人物被写体領域が2つの枠の間に対応する領域に含まれるか否かの判断対象から除外される。特定の枠よりも人物被写体の横方向への外側の部位は、多少はトリミング範囲外としてもよいとする前提による。除外を行なうことにより、被服、腕又は指に対応する領域の一部が欠ける程度にトリミングすることが可能となる。 In the present invention, when a part of the person subject area in the horizontal direction is located outside a specific frame at a predetermined ratio or less, the person subject area is included in the corresponding area between the two frames. It is excluded from the judgment object of whether or not. It is based on the premise that the part outside the specific frame in the lateral direction of the person subject may be slightly outside the trimming range. By performing the exclusion, trimming can be performed to such an extent that a part of the region corresponding to the clothes, arms, or fingers is missing.
本発明では、撮影方法に応じて判断に係る複数の枠、及び所定の範囲が異なるようにしてある。これにより、同様の処理を撮影方法が異なる画像に対して行なっても夫々の撮影方法に応じたトリミング範囲が決定され、好適な画像が得られる。 In the present invention, the plurality of frames for determination and the predetermined range are different depending on the photographing method. As a result, even if the same processing is performed on images having different photographing methods, the trimming range corresponding to each photographing method is determined, and a suitable image can be obtained.
本発明による場合、自動的にトリミングがなされるので、ユーザの身長又は撮影空間内における立ち位置に関係なく、撮影遊戯機にて好適な画像が得られる。 According to the present invention, since trimming is automatically performed, a suitable image can be obtained with a shooting game machine regardless of the height of the user or the standing position in the shooting space.
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。 Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof.
図1は、本実施の形態における撮影遊戯機の外観を示す斜視図であり、図2は、撮影遊戯機の構成を模式的に示すブロック図である。撮影遊戯機は、全体として、複数のユーザが共に入り込むことが可能な略直方体形状の箱型の装置である。撮影遊戯機は、大まかに撮影エリアA及び編集エリアBに分けることができ、夫々のエリアA,Bに複数の機器が設けられて構成される。 FIG. 1 is a perspective view showing an external appearance of a shooting game machine according to the present embodiment, and FIG. 2 is a block diagram schematically showing the configuration of the shooting game machine. A photographing amusement machine as a whole is a box-shaped device having a substantially rectangular parallelepiped shape that a plurality of users can enter together. A shooting game machine can be roughly divided into a shooting area A and an editing area B, and a plurality of devices are provided in each of the areas A and B.
撮影エリアAには、受付部1及び撮影部2に係る機器が設けられている。受付部1は、撮影エリアAの外側に向けて設けられてるコイン投入口、タッチパネル式ディスプレイ及びスピーカ等を含んで構成されている。受付部1が含む各構成部は、後述の制御機構に接続されている。受付部1は、コイン投入口にて所定料金の投入を受け付けた場合に制御機構に制御信号を出力し、タッチパネル式ディスプレイにて受け付けられた操作に対応する情報を制御機構へ出力する。
In the imaging area A, devices related to the
撮影部2は、撮影エリアA内部の壁面に内側に向けて設置されているカメラ21、ディスプレイ22、照明装置群23、及びスピーカ24を含んで構成されている。撮影部2のカメラ21は、CCD(Charge Coupled Device )イメージセンサ又はCMOS(Complementary Metal Oxide Semiconductor )イメージセンサを有するデジタルカメラを用い、写真撮影による画像データを出力すると共に、モニタ用の映像信号を出力する機能を有する。撮影部2が含む各構成部は、後述の制御機構に接続されている。
The photographing
編集エリアBには、編集部3及び印刷部4に係る機器が設けられている。編集部3は、編集エリアBの中央部に、操作画面表示用のマルチタッチパネル式ディスプレイをユーザが操作しやすい高さに筐体から露出させた装置を含んで構成されている。編集部3は更に、スピーカ及び照明装置、並びに、前記操作画面表示用のタッチペン等を備えている。編集部3が含む各構成部は、後述の制御機構に接続されている。編集部3は、撮影部2にて得られた撮影画像に基づく画像に対する落書き操作をディスプレイ及びタッチペンにて受け付け、受け付けられた操作に対応する情報を制御機構へ出力する。
In the editing area B, devices related to the
印刷部4は、編集エリアBの編集部3が含む装置の筐体内に設けられるプリンタを含んで構成されている。印刷部4は更に、前記筐体表面に、事後接客画面表示用のタッチパネル式ディスプレイ、及びスピーカを備えている。印刷部4が含む各構成部は、後述の制御機構に接続されている。印刷部4は、タッチパネル式ディスプレイにてユーザからの操作を受け付け、受け付けられた操作に対応する情報を制御機構へ出力する。プリンタから出力される写真シールシートは、筐体の表面に設けられている吐出口から吐き出される。
The
撮影遊戯機は、撮影エリアA及び編集エリアBにおけるユーザから視認可能な範囲に上述した受付部1、撮影部2、編集部3及び印刷部4を備えているほか、撮影エリアA内部の壁面に隠された箇所、又は編集エリアBの装置の筐体内部等に、通信部5と、パーソナルコンピュータ(以下、PC:Personal Computer という。)を用いた制御機構とを備えている。
The shooting game machine includes the
通信部5は、インターネット等の外部ネットワークに接続してデータの送受信を実現する。通信部5は、制御機構に接続されており、制御機構は通信部5を介して外部ネットワーク上のサーバ装置と通信し、データの送受信を行なうことが可能である。本実施の形態における撮影遊戯機では、通信部5が撮影によって得られた画像データをサーバ装置に送信し、ユーザはサーバ装置から自身が撮影して編集した画像を携帯電話機(スマートフォン)又はPC等の端末装置へダウンロードして取得することが可能である。
The
制御機構は、上述した各ハードウェアを制御するPCと、各ハードウェアが接続されるバス100を含む制御基板と、各ハードウェアに電力を供給する図示しない電源部とにより構成される。PCは、受付部1を制御するPC、撮影部2を制御するPC、編集部3を制御するPC、及び印刷部4を制御するPC、のように制御対象毎に異なるPCを用いてもよいし、1つのPCで全てを制御するようにしてもよい。以下の説明では、画像に対する画像処理について主に説明するため仮想的に、受付部1及び撮影部2における処理を制御する制御部6に対応する第1PCと、撮影部2により得られた画像に対する画像処理を行なうと共に、画像処理後の画像に対する編集部3による編集を制御し、印刷部5における印刷出力を指示する画像処理部7に対応する第2PCとに分別して説明する。
The control mechanism includes a PC that controls each hardware described above, a control board including a
制御部6は、第1PCに備えられたCPU(Central Processing Unit )60と、メモリ61と、HDD(Hard Disk Drive)62と、キャプチャ・クロマキーボード63とを含む。メモリ61は、DRAM(Dynamic Random Access Memory)又はSDRAM(Synchronous DRAM)等のRAMを用い、HDD62に替えてフラッシュメモリ、又はSSD(Solid State Drive )等の他の不揮発性記憶装置を用いてもよい。
The
CPU60は、HDD62に記憶されている制御プログラム6Pを読み出し、メモリ61に各種情報を読み書きしながら前記制御プログラム6Pを実行することにより、以下の各機能を実現する。CPU60は、受付部1にて所定料金を受け付け、ディスプレイに画像を表示させて入力操作を受け付け、スピーカから音声を出力させる。CPU60は、カメラ21から得られるモニタ用の映像信号をキャプチャ・クロマキーボード63へ入力させて複数のフレーム画像として取得し、取得した画像に基づいてライブ画面用の画像の画像信号を作成し、作成した画像信号をディスプレイ22へ出力する。またCPU60は、撮影開始及び案内をユーザに通知するための画面の画像信号をディスプレイ22へ出力し、音声信号をスピーカ24へ出力する。
The
そしてCPU60は、撮影部2のカメラ21による撮影と照明装置群23によるフラッシュ点灯とを同期させて撮影を行なう。このときCPU60は、アップ撮影と全身撮影とで異なる画角で撮影を行なうべく、カメラ21の画角を調整するように制御する。例えばアップ撮影では、ユーザの腰付近から頭上付近までを撮像範囲として撮影が実行されるようにしてある。全身撮影では、全身が含まれるような撮像範囲で撮影が実行されるようにしてある。なお、アップ撮影によって撮影された撮影画像と、全身撮影により撮影された撮影画像とは、画像サイズによって区別される。このときCPU60は、アップ撮影画像データと全身撮影画像データとで区別できるように識別情報を付与してHDD62に記憶するようにしてもよい。例えば、アップ撮影画像データには1〜4等の番号又はA〜D等の記号を用い、全身撮影画像データには5,6等の番号又はE,F等の記号を用いる。また撮影部2は、所定のフィルタをかけるなどしたスペシャル撮影と呼ばれる撮影を実行するようにしてもよい。CPU60は、写真撮影により得られる画像の画像データをカメラ21から取得し、取得した画像データをHDD62に記憶すると共に、複製して画像処理部7へ出力する。
The
HDD62は、CPU60が参照する各種情報を記憶する。HDD62は、CPU60が実行する制御プログラム6Pを予め記憶している。HDD62は、制御プログラム6Pのほかに、受付部1のディスプレイに表示する画像及びフォントデータ、ディスプレイ22に撮影画像と共に表示する背景画像、受付部1のスピーカ及び撮影部2のスピーカ24で出力させる音声等のデータを予め記憶している。また、HDD62は、カメラ21における写真撮影で得られる画像データが記憶される。
The
キャプチャ・クロマキーボード63は、キャプチャ機能及びクロマキー機能を有する回路基板である。キャプチャ機能は、映像信号から例えば毎秒30(29.97)枚のフレーム画像を取得して出力する機能である。クロマキー機能は、キャプチャされた各静止画像から、一定の範囲で所定の色調及び明度を有すると判断される画素を抽出し、抽出した画素に対してα値(透明度)を設定することにより透明化して出力する機能である。キャプチャ・クロマキーボード63は、カメラ21からのモニタ用の映像信号から順次フレーム画像をキャプチャし、クロマキー処理を実行した後の静止画像を内蔵するメモリ(図示せず)に書き込む。CPU60は、キャプチャ・クロマキーボード63内蔵のメモリから静止画像を順次読み出して、ライブ画面用の画像の画像信号を作成する。
The capture /
画像処理部7は、第2PCに備えられたCPU70と、メモリ71と、HDD72と、グラフィックボード73とを備える。メモリ71は、DRAM又はSDRAM等のRAMを用いる。
The
CPU70は、HDD72に記憶されている画像処理プログラム7Pを読み出し、メモリ71に各種情報を読み書きしながら前記画像処理プログラム7Pに基づく画像処理を実行する。またCPU70は、制御部6から出力された画像データを、付与されている識別情報と共にメモリ71又はHDD72に記憶し、該画像データを基に、加工処理を行なう。加工処理には、画像中の人物の顔を小顔にする加工、髪に艶を出す加工、髪色を明るくする加工、目を大きくする加工、体のラインを細く見せるための加工、脚を長く見えるようにする加工等、種々の加工が含まれる。また、CPU70は、画像処理プログラム7Pに基づき、画像データの画像に対して自動トリミングを行なう。自動トリミングの内容については、詳細を後述する。更にCPU70は、HDD72に記憶した画像データに基づく画像に対し、編集部3にて、落書き操作をディスプレイ及びタッチペンにて受け付ける。CPU70は、受け付けた操作の内容に応じて合成画像を作成する処理を実行し、更に、写真シールシートに印刷出力する処理、合成画像を通信部5から外部サーバ装置へ送信する処理をも実行する。
The
HDD72は、CPU70が参照する各種情報を記憶する。HDD72は、CPU70が実行する画像処理プログラム7Pを予め記憶している。また、HDD72は、編集部3のディスプレイに表示する案内用の文字及び画像、合成用の素材である文字又は画像、スピーカで出力させる音声等のデータを予め記憶している。同様に、HDD72は、事後接客画面用のディスプレイに表示する案内用の文字及び画像、スピーカで出力させる音声等のデータを予め記憶している。更にHDD72は、画像処理において参照する各種の閾値等を含む設定情報721を予め記憶している。設定情報721には、後述のトリミング範囲の決定処理時に参照する画像内における複数の枠の情報が含まれている。設定情報721は書き換え可能である。また、HDD72は、加工処理により得られた画像、及び合成後の画像の画像データが記憶される。
The
グラフィックボード73は、受け付けた画像及び描画命令に基づいて画像を描画するハードウェアである。CPU70は、制御部6から取得してメモリ71に記憶した画像データに対する画像処理を、グラフィックボード73を用いて行なう。具体的には、CPU70は画像データと、画像処理に伴なう描画命令とをグラフィックボード73に与えて描画処理を行なわせ、描画処理によって得られた画像の画像データを図示しないボード内蔵メモリから読み出す。描画処理には、上述したクロマキー機能、トリミング機能、α化機能、明度又は色調等の調整機能、合成機能等が含まれる。
The
図3及び図4は、本実施の形態の撮影遊戯機にて実行される全体処理の一例を示すフローチャートである。なお、制御部6にて行なわれる処理手順と、画像処理部7にて行なわれる処理手順とに分けて説明する。図3は、制御部6により実行される処理手順の一例を示すフローチャートである。
FIG. 3 and FIG. 4 are flowcharts showing an example of the overall processing executed in the shooting game machine of the present embodiment. The processing procedure performed by the
制御部6のCPU60は、受付部1にてディスプレイに、撮影遊戯機の案内を表示させると共に、スピーカから案内音声を出力させ(ステップS101)、所定料金が投入されたか否かを判断する(ステップS102)。CPU60は、所定料金が未投入であると判断した場合(S102:NO)、処理をステップS101へ戻す。
The
CPU60は、所定料金が投入されたと判断した場合(S102:YES)、受付部1のディスプレイにて、撮影モードの選択を受け付ける(ステップS103)。CPU60は、撮影エリアA内が空いているか否かを判断し(ステップS104)、空いていないと判断した場合(S104:NO)、受付部1のディスプレイに、待機を促す案内画面を表示させると共に、スピーカにて案内音声を出力させ(ステップS105)、処理をステップS104へ戻す。
When the
CPU60は、撮影エリアA内が空いていると判断した場合(S104:YES)、撮影エリアA内への移動を促す案内画面を受付部1のディスプレイに表示させると共に、案内音声を出力させる(ステップS106)。
When the
次にCPU60は、撮影エリアA内にて撮影部2のディスプレイ22に、撮影内容の案内画面を表示させ、案内音声をスピーカ24から出力させ、カメラ21からの映像信号に基づくアップ撮影用のライブ画面を表示させる(ステップS107)。ライブ画面を表示するに際し、CPU60は、カメラ21からの映像信号に基づく静止画像に対して予め設定されているトリミング範囲にてトリミングを行なう。なおCPU60はこのとき、最初に実行するアップ撮影開始までのカウントダウンを示す画像を表示させ、カウントダウンの音声を出力させる。
Next, the
CPU60は、撮影部2のカメラ21及び照明装置群23を制御してアップ撮影を実行し(ステップS108)、アップ撮影によって得られるアップ撮影画像の画像データをHDD62に記憶する(ステップS109)。CPU60は、アップ撮影画像データに基づき、確認用のプレビュー画面を作成してディスプレイ22に表示させる(ステップS110)。なお、アップ撮影は計4回実行され、ステップS108〜S110が4回繰り返される。これによりCPU60は、4つのアップ撮影画像データをHDD62に記憶する。
The
CPU60は、ディスプレイ22に、全身撮影についての案内画面を表示させ、案内音声をスピーカ24から出力させると共に、カメラ21からの映像信号に基づく全身撮影用のライブ画面を表示させる(ステップS111)。このときCPU60は、ユーザの立ち位置を指示する音声を出力すると共に、全身撮影開始までのカウントダウンを示す画像を表示させ、カウントダウン音声を出力させる。
The
CPU60は、撮影部2のカメラ21及び照明装置群23を制御して全身撮影を実行し(ステップS112)、全身撮影によって得られる全身撮影画像の画像データをHDD62に記憶する(ステップS113)。CPU60は、全身撮影によって得られた画像データに基づき、確認用のプレビュー画面を作成してディスプレイ22に表示させる(ステップS114)。なお、全身撮影は計2回実行され、ステップS112〜S114が2回繰り返される。これによりCPU60は、2つの全身撮影画像データをHDD62に記憶する。
The
CPU60は、編集エリアBが空いているか否かを判断し(ステップS115)、空いていないと判断した場合(S115:NO)、撮影部2のディスプレイ22に、待機を促す案内画面を表示させると共に、スピーカ24にて案内音声を出力させ(ステップS116)、処理をステップS115へ戻す。
The
CPU60は、編集エリアBが空いていると判断した場合(S115:YES)、編集エリアBへの移動を促す案内画面をディスプレイ22に表示させると共に、案内音声をスピーカ24から出力させ(ステップS117)、撮影エリアAにおける処理を終了する。
When the
なお、上述に説明した処理手順に加え、ステップS114の後に、CPU60は、所定のフィルタをかけるなどしたスペシャル撮影についての案内表示及び音声出力、撮影実行、プレビュー表示を実行させるべく制御するようにしてもよい。
In addition to the processing procedure described above, after step S114, the
図4は、画像処理部7により実行される処理手順の一例を示すフローチャートである。以下に示す処理手順は、図3のフローチャートのステップS108以降にバックグラウンドにて同時並行的に画像処理部7により開始され、編集エリアBへの移動案内画面の表示中に、処理が進むように実行される。
FIG. 4 is a flowchart illustrating an example of a processing procedure executed by the
画像処理部7のCPU70は、制御部6によりHDD62に記憶された画像データを取得する(ステップS201)。ステップS201にて詳細には、制御部6のCPU60がHDD62から読み出してHDD72に記憶し、CPU70が読み出すことができるようにするか、又はCPU70がHDD62から画像データを直接的に読み出すかにより実現される。制御部6と画像処理部7とが異なるPCにて実現される場合、共通の記憶装置(図示せず)に画像データが書き込まれ、CPU70が読み出すことができるように構成してもよいし、通信により画像データを制御部6及び画像処理部7間で送受信することにより実現してもよい。
The
CPU70は、取得した画像データに基づく画像に対する加工処理を実行する(ステップS202)。ステップS202にてCPU70は、4つのアップ撮影画像データ、2つの全身撮影画像データ夫々について、アップ撮影及び全身撮影夫々に適した加工処理を行なう。加工処理には上述したように、顔を小顔にする加工、髪に艶を出す加工、髪色を明るくする加工、目を大きくする加工、体のラインを細く見せるための加工、脚を長く見せる加工等が含まれるが、ステップS202においては、各加工処理を完了させずともよい。例えば、小顔にする加工は完了させるが、目を大きくする加工については、各加工を行なうための事前処理を行なっておき、後述の合成処理時に加工処理を実行し、脚長加工については合成処理前に実行する。
The
次に、CPU70は、取得した画像データに基づき人物被写体領域を抽出する処理を行なう(ステップS203)。ステップS203は詳細には、CPU70はグラフィックボード73を用い、計6つの画像データに基づく画像から夫々、一定の範囲で所定の色調及び明度を有すると判断される画素を抽出し、抽出した画素以外の人物被写体を撮像した人物領域に対応する画素をα化(透明化)することにより得られるマスク画像を作成させる。
Next, the
CPU70は、ステップS203により抽出された人物被写体領域に基づき、計6つの画像データ夫々に対し、画像のトリミング枠を決定する処理を行ない(ステップS204)、トリミングを行なう(ステップS205)。トリミング枠を決定する処理については、詳細を後述する。
The
CPU70は、編集部3における編集案内用の画面を編集部3のディスプレイに表示させると共に、案内音声をスピーカから出力させる(ステップS206)。なお、ステップS206にて表示させる編集案内用の画面には、ステップS205のトリミング後の撮影画像が表示される。このとき、CPU70は、目の大きさなど、加工処理に係る情報の選択を受け付けてから撮影画像を表示してもよい。
The
CPU70は、編集部3において、落書き操作を受け付け(ステップS207)、合成後の撮影画像の写真シールシートにおけるレイアウト等の選択を受け付ける(ステップS208)。CPU70は、撮影画像と、ステップS207にて受け付けた落書き操作に基づく文字又は画像等とを合成し、受け付けた選択に基づいて写真シールシートにレイアウトする合成処理を実行する(ステップS209)。
The
CPU70は、合成処理後の写真シールシートのプレビュー画面を編集部3のディスプレイに表示させ(ステップS210)、印刷部4のプリンタが使用中でないか否かを判断し(ステップS211)、使用中であると判断した場合(S211:YES)、編集部3のディスプレイに、待機を促す案内画面を表示させると共に、スピーカ24から案内音声を出力させ(ステップS212)、処理をステップS211へ戻す。
The
CPU70は、使用中でないと判断した場合(S211:NO)、編集部3のディスプレイに、印刷部4の前への移動を促す案内画面を表示させると共に、案内音声を出力させる(ステップS213)。CPU70は、印刷部4のプリンタにて写真シールシートの印刷出力を開始させ(ステップS214)、印刷出力処理の間に、ユーザの携帯電話機への画像データ送信を実行するためのアドレス等の送信先情報の入力案内画面を印刷部4のディスプレイに表示させると共に、案内音声を出力させる(ステップS215)。CPU70は、印刷部4のディスプレイにて入力操作を受け付け(ステップS216)、入力された送信先情報をHDD72に記憶し(ステップS217)、必要に応じて写真シールシートの画像データを通信部5から外部サーバ装置へ送信し(ステップS218)、処理を終了する。
When the
上述のような処理が行なわれることにより、ユーザらは、撮影遊戯機における撮影自体を楽しむと共に、印刷出力された写真シールシートと、外部サーバ装置を介した画像データとを得ることができる。 By performing the processing as described above, the user can enjoy the photographing itself in the photographing amusement machine and obtain the printed sticker sheet and the image data via the external server device.
図5は、本実施の形態における撮影遊戯機にて得られる写真シールシートの内容例を示す模式図である。図5に示すように、写真シールシートは、4つのアップ撮影画像と、2つの全身撮影画像とを含む。なお、図5に示した内容例では、撮影遊戯機にて設定されている演出通りに編集されたアップ撮影画像及び全身撮影画像が用いられている。 FIG. 5 is a schematic diagram showing an example of the contents of a photographic sticker sheet obtained by the photographing amusement machine in the present embodiment. As shown in FIG. 5, the photograph sticker sheet includes four up-captured images and two whole-body-captured images. In the example of contents shown in FIG. 5, an up-captured image and a whole-body-captured image edited according to the effects set in the shooting game machine are used.
本実施の形態における撮影遊戯機では、写真シールシートに用いられるアップ撮影画像及び全身撮影画像を、ユーザが満足するような好適な画像とするために、画像処理部7により自動トリミングが行なわれる(S205)。好適な画像とは、人物領域外の余白空間が、審美性を感じさせる程度に存在するようにトリミングされた画像である(図5内の画像参照)。これにより、写真シールシートを、撮影遊戯機にて設定されている演出通りの雰囲気を視認者に感じさせる印刷物とし、ユーザの期待度及び満足度を向上させることができる。
In the photographing amusement machine according to the present embodiment, automatic trimming is performed by the
画像処理部7が自動トリミングを行なうために、画像処理部7のHDD72に予め記憶されてある設定情報721には、トリミング範囲を決定するための枠情報が含まれている。設定情報721は、各種閾値、枠情報等をテキストで記載した「INI ファイル」として記憶される。枠情報は、画像内における大きさが異なる枠の位置及び大きさを示す情報である。例えば、画像内における各枠の座標情報を、枠の基準点(左上又は中央)に対応する画素の画像内での位置(v、h)、幅(width )及び高さ(height)に対応する画素数の情報である。図6及び図7は、画像処理部7にて記憶されている枠情報の内容例を示す説明図である。図6及び図7は、枠情報に基づく複数の枠全てを、ユーザの身長方向が縦方向になるように画像中に描画した場合を示している。
In order for the
図6は、全身撮影画像に対する枠情報を示している。図6中の符号Wは、全身撮影でカメラ21から得られる画像データに基づく画像の外枠を示す。全身撮影画像に対する枠情報は、図6に示す枠WF1〜9の座標情報を示す。図6に示すように、枠WF1〜9は、入れ子構造となっており、任意の2つの枠を選択した場合、一方の枠内に他方の枠が含まれるように設定されている。枠WF1〜9は、トリミング範囲の基準とするために、全身撮影画像のトリミング範囲の縦横比16:9と一致している。また、枠WF1〜9は、内側の枠と外側の枠とで縦方向に約50ピクセル(画素)分だけ異なるようにしてある。なお、全身撮影画像のトリミング範囲の縦横比は、図5に示した写真シールシートに印刷される全身撮影画像の縦横比と一致するようにしてある。ステップS205にて画像処理部7が全身撮影画像をトリミングした後、比率を保持したまま画像処理を行なうことを可能とし、印刷出力用及び送信用の比率変更を不要とするためである。
FIG. 6 shows frame information for the whole-body photographed image. A symbol W in FIG. 6 indicates an outer frame of an image based on image data obtained from the
図7は、アップ撮影画像に対する枠情報を示している。図7中の符号Uは、アップ撮影でカメラ21から得られる画像データに基づく画像の外枠を示す。アップ撮影画像に対する枠情報は、図7に示す枠UF1〜5の座標情報を示す。図7に示すように、枠UF1〜5は、入れ子構造となっており、任意の2つの枠を選択した場合、一方の枠内に他方の枠が含まれるように設定されている。枠UF1〜5は、トリミング範囲の基準とするために、アップ撮影画像のトリミング範囲の縦横比1.2:1と一致している。また、枠UF1〜5は、内側の枠と外側の枠とで縦方向に約100ピクセル(画素)分だけ異なるようにしてある。アップ撮影画像においても、トリミング範囲の縦横比は、図5に示した写真シールシートに印刷されるアップ撮影画像の縦横比と一致するようにしてある。
FIG. 7 shows frame information for the up-captured image. 7 indicates an outer frame of an image based on image data obtained from the
なお、画像処理部7が用いる枠情報は、図6及び図7の内容例に限らないことは勿論である。図6及び図7に示した枠情報の例では、複数の枠は入れ子構造としてあり、複数の枠の内の任意の2つの枠において、一方の枠は他方の枠内に含まれるようにしてある。これにより、枠間に対応する領域が特定されやすく、所定の範囲内にあるか否かの判断に係る演算処理が簡易化される。ただし、複数の枠は、枠内の領域の大部分が重複していれば、交わるようにしてもよい。複数の枠は同じ大きさで位置がずれている複数の枠であってもよい。図6に示した枠情報の例では、複数の枠はいずれも縦横比が16:9の矩形枠であって相似関係にある。図7に示した枠情報の例では、複数の枠はいずれも縦横比が1.2:1の矩形枠であって相似関係にある。しかしながら、複数の枠は相似関係になくてもよい。形状も矩形枠のみならず、2次元の任意の形状であってよいし、複数の枠は相互に異なる形状であってもよい。
Of course, the frame information used by the
画像処理部7が、枠情報を含む設定情報721を用いてトリミング範囲を決定する処理手順について、フローチャートを参照して説明する。図8及び図9は、本実施の形態において実行されるトリミング決定の処理手順の一例を示すフローチャートである。図8及び図9のフローチャートに示す処理手順は、図4のステップS204の詳細に対応する。CPU70は、取得したアップ撮影画像データ及び全身撮影画像データの計6つの画像データについて1つずつ、以下に説明する処理を実行する。
A processing procedure in which the
CPU70は、画像データを選択し(ステップS301)、選択した画像データがアップ撮影画像データであるのか、全身撮影画像データであるのかを特定する(ステップS302)。ステップS302においてCPU70は、選択した画像データの画像サイズによってアップ撮影画像データであるのか、全身撮影画像データであるのかを特定できる。
なお、CPU70は、選択した画像データに付与されている識別情報によってアップ撮影画像データであるのか、全身撮影画像データであるのかを特定するようにしてもよい。
The
Note that the
CPU70は、ステップS302で特定した撮影方法に応じて、HDD72に記憶されている各種閾値及び枠情報を含む設定情報721を読み出す(ステップS303)。CPU70は、選択中の画像データに対して抽出されている人物被写体領域についてのマスク画像を取得する(ステップS304)。
The
CPU70は、選択している画像データが全身撮影画像データであるか否かを判断し(ステップS305)、全身撮影画像データであると判断した場合(S305:YES)、処理を次のステップS306へ進める。
The
CPU70は、選択している画像データにおける人物被写体領域の内、特定の枠よりも横方向に外側に位置する画素を抽出する(ステップS306)。ここで特定の枠とは、撮影部2を制御する制御部6のCPU60が、ディスプレイ22にライブ画面を表示するに際し、カメラ21からの映像信号に基づく静止画像に対してトリミングする範囲に対応する。ステップS306の判断は、ユーザがライブ画面を確認しながら被写体となっているから、ライブ画面よりも外側に写っている体の部位は、多少はトリミング範囲外としてもよいが、外側に写る体の部位が所定の割合以上で多いときには、無視すべきでないとする前提による。これにより、3人以上の人物が全身撮影を実行した場合に、誤って大部分がトリミング範囲外となることが回避される。なお、該特定の枠はライブ画面のトリミング範囲とは限らない。
The
なおステップS306においてCPU70は、ステップS304で取得したマスク画像から、設定情報721が示す枠WF1〜9の内の最も外側の枠WF1よりも内側であって、且つ、特定の枠WF5の縦方向(人物領域の縦方向)の線よりも外側に位置する画素を抽出する。図10は、ステップS306の処理を説明するための説明図である。図10では、全身撮影画像用の枠WF1〜9を一部省略して示し、特定の枠である枠WF5は、太線にて示されている。図10において、最も外側の枠WF1よりも内側であって、且つ、特定の枠WF5の縦方向(人物領域の縦方向)の線よりも横方向に外側の範囲が、ハッチングにより示されている。CPU70は、マスク画像から、図10中のハッチング部分に対応する画素を抽出する。
In step S306, the
CPU70は、抽出した画素の内、画素値がα値(例えば255)である画素を抽出する(ステップS307)。画素値がα値である画素とは、マスク画像において人物被写体領域を特定させるためにα化されている画素であって、人物被写体領域に含まれる位置にある画素である。CPU70は、ステップS306で抽出した画素の内、ステップS307で抽出した画素の割合(又は画素数)が、横判断用の所定の閾値(所定の割合又は所定の画素数)以上であるか否かを判断する(ステップS308)。
CPU70 extracts the pixel whose pixel value is alpha value (for example, 255) among the extracted pixels (step S307). The pixel whose pixel value is the α value is a pixel that has been converted to α in order to specify the person subject area in the mask image, and is located at a position included in the person subject area. The
CPU70は、ステップS308において、横判断用の所定の閾値以上であり、即ち、人物被写体領域の内、特定の枠よりも横方向の外側に位置する画素の割合が所定の割合(例えば4%)以上であって無視できないと判断した場合(S308:YES)、処理を次のステップS309へ進める。なお、ステップS308において、画素値がα値である画素が存在するか否かのみを判断し、上述の前提に基づき、ライブ画面よりも横方向の外側に写っている部位は無視すべきとして処理をステップS321へ進めるようにしてもよい。
In step S308, the
CPU70は、トリミング範囲の基準枠を発見済みであるか否かを示すフラグをオフに設定してメモリ71に記憶する(ステップS309)。
The
CPU70は、設定情報721が示す枠WF1〜9の内、外側から順に1つ選択し(ステップS310)、ステップS304で取得したマスク画像において、選択した枠と該枠の1つ内側の枠との間に対応する領域を特定する(ステップS311)。
The
CPU70は、特定した領域内に位置する画素の画素値を抽出し(ステップS312)、画素値がα値(例えば255)である画素の前記特定された領域全体の画素数に対する割合を算出する(ステップS313)。CPU70は、算出した割合がステップS303で読み出してある所定の閾値(例えば5%)以上であるか否かを判断する(ステップS314)。なお、ステップS313において割合を算出せず、画素値がα値である画素の画素数のままでもよく、ステップS314においては所定の画素数以上か否かを判断してもよい。
The
CPU70は、ステップS314にて所定の閾値以上であると判断した場合(S314:YES)、選択中の枠がいずれであるかを示す選択枠情報を記憶し(ステップS315)、前記フラグをオンに設定し(ステップS316)、処理をステップS318へ進める。
If the
CPU70は、ステップS314にて所定の閾値未満であると判断した場合(S314:NO)、全ての枠を選択したか否かを判断する(ステップS317)。なお、CPU70は、ステップS317において、最も内側のWF9よりも1つ外側のWF8が選択済みの場合には、全ての枠を選択したと判断する。ステップS317にてCPU70は、未選択の枠が存在すると判断した場合(S317:NO)、処理をステップS310へ戻し、1つ内側の枠を選択して処理を続行する。
If the
CPU70は、ステップS317にて、全ての枠を選択したと判断した場合(S317:YES)、トリミング範囲の基準枠を発見済みであるか否かを示すフラグがオンであるか否かを判断する(ステップS318)。
When determining that all the frames have been selected in step S317 (S317: YES), the
CPU70は、フラグがオンであると判断した場合(S318:YES)、記憶してある選択枠情報が示す枠よりも所定の画素数分大きい範囲をトリミング範囲として決定し(ステップS319)、トリミング範囲決定処理を終了する。これにより、処理は図4のフローチャートのステップS205へ戻される。
If the
ステップS319において、所定の画素分大きい範囲をトリミング範囲とした。これは、人物被写体領域の上部の余白が無用に少なくなることを防止するためである。発明者らは経験的に、例えば1つ〜3つ外側の枠となる程度に大きい範囲とした場合に、好適な結果が得られるという知見を得ている。 In step S319, a range larger by a predetermined number of pixels is set as a trimming range. This is to prevent the margin at the top of the person subject area from being unnecessarily reduced. The inventors have empirically obtained knowledge that, for example, a suitable result can be obtained when the range is large enough to be one to three outer frames.
CPU70は、フラグがオフであると判断した場合(S318:NO)、最も内側よりも1つ外側の枠をトリミング範囲として決定し(ステップS320)、トリミング範囲決定処理を終了する。
If the
CPU70は、ステップS308において、所定の閾値未満であり、即ち、人物被写体領域の内、特定の枠よりも横方向の外側に位置する画素の割合が所定の割合未満であって無視できると判断した場合(S308:NO)、処理を次のステップS321へ進める。
In step S308, the
CPU70は、トリミング範囲の基準枠を発見済みであるか否かを示すフラグをオフに設定してメモリ71に記憶する(ステップS321)。
The
CPU70は、設定情報721が示す枠WF1〜9の内、外側から順に1つ選択し(ステップS322)、ステップS304で取得したマスク画像において、選択した枠と該枠の1つ内側の枠との間の領域の内、人物被写体における上下方向の上部分の領域を特定する(ステップS323)。図11は、ステップS323の処理を説明するための説明図である。図11では、全身撮影画像用の枠WF1〜9を一部省略して示している。図11において、最も外側の枠WF1と1つ内側の枠WF2との間の領域の内、人物被写体における上下方向の上部分が、ハッチングにより示されている。CPU70は、ステップS322でWF1を選択した場合、ステップS323では、マスク画像から図11中のハッチング部分に対応する画素を抽出する。
The
CPU70は、特定した領域内に位置する画素の画素値を抽出し(ステップS324)、画素値がα値(例えば255)である画素の前記特定された領域全体の画素数に対する割合を算出する(ステップS325)。CPU70は、算出した割合がステップS303で読み出してある撮影方法毎の上部判断用の所定の閾値(例えば全身撮影画像では0.1%、アップ撮影画像では0.5%)以上であるか否かを判断する(ステップS326)。なお、ステップS325において割合を算出せず、画素値がα値である画素の画素数のままでもよく、ステップS326においては所定の画素数以上か否かを判断してもよい。
The
なおステップS326にて、全身撮影画像とアップ撮影画像とでは、所定の閾値が異なる。このように閾値を撮影方法によって異ならしめることにより、全身撮影画像とアップ撮影画像とでは、審美性が高いと感じさせる余白の面積が異なることに応じて、いずれの撮影方法による画像でも好適な結果を得ることが可能となる。 In step S326, the predetermined threshold value differs between the whole-body photographed image and the up-captured image. By differentiating the threshold value depending on the shooting method in this way, an image obtained by any of the shooting methods is suitable for the whole-body shot image and the up-shot image depending on the difference in the area of the margin that makes it feel high in aesthetics. Can be obtained.
CPU70は、ステップS326にて所定の閾値以上であると判断した場合(S326:YES)、選択中の枠がいずれであるかを示す選択枠情報を記憶し(ステップS327)、前記フラグをオンに設定し(ステップS328)、処理をステップS318へ進める。
When the
CPU70は、ステップS326にて所定の閾値未満であると判断した場合(S326:NO)、全ての枠を選択したか否かを判断する(ステップS329)。なお、CPU70は、ステップS329において、最も内側のWF9よりも1つ外側のWF8が選択済みの場合には、全ての枠を選択したと判断する。ステップS329にてCPU70は、未選択の枠が存在すると判断した場合(S329:NO)、処理をステップS322へ戻し、1つ内側の枠を選択して処理を続行する。
When
CPU70は、ステップS329にて、全ての枠を選択したと判断した場合(S329:YES)、処理をステップS318へ進める。 CPU70 advances a process to step S318, when it is judged that all the frames were selected in step S329 (S329: YES).
CPU70は、ステップS305において、アップ撮影画像データであると判断した場合(S305:NO)、処理をステップS321へ進め、ステップS322以降の処理を同様に実行する。なお、ステップS322において選択する枠は、アップ撮影画像用の設定情報721が示す枠UF1〜5の内、外側から順に1つである。また、ステップS329において、最も内側の枠UF5よりも1つ外側の枠UF4が選択済みの場合には、全ての枠を選択したと判断する。
If the
画像処理部により上述の処理が実行されることにより、アップ撮影及び全身撮影における画像について好適なトリミング範囲が決定される。以下、決定されるトリミング範囲の例を挙げてその効果を説明する。図12〜図30は、本実施の形態における撮影遊戯機にて画像が得られる過程を説明するための説明図であり、その内の図15、図18、図21、図24、図27及び図30は、本実施の形態における撮影遊戯機にて得られる画像の内容例を示している。 By performing the above-described processing by the image processing unit, a suitable trimming range is determined for images in up-shooting and whole-body shooting. Hereinafter, the effect will be described by giving an example of the determined trimming range. 12 to 30 are explanatory diagrams for explaining the process of obtaining an image with the photographing amusement machine according to the present embodiment, among which FIGS. 15, 18, 21, 24, 27 and FIG. 30 shows an example of the content of an image obtained by the shooting game machine in the present embodiment.
図12は、全身撮影画像の一例を模式的に示し、図13は図12の全身撮影画像に対して取得されるマスク画像を示し、図14は、図12の全身撮影画像に対する枠WF1〜9の位置を示している。画像処理部7のCPU70の処理により、図13のマスク画像に対し、特定の枠である枠WF5よりも横方向に外側に、人物被写体領域の一部であるα値の画素が存在せず、α値の画素の割合が所定の横判断用の閾値未満であると判断される(S308:NO)。そして、図11に示したような枠間の領域の内の上部のみで、人物被写体領域が含まれるか否かが判断される。画像処理部7のCPU70の処理により、図13のマスク画像に対し、枠WF1から順に、内側に向けて枠が選択され、枠WF1と1つ内側の枠WF2との間の領域の内、上部の領域内におけるα値の画素が、上部判断用の所定の閾値以上であるか否かが判断される(S326)。図12の全身撮影画像においては、枠WF6が選択されているときに、枠WF6と枠WF7との間の領域の内、上部の領域内におけるα値である画素が、上部判断用の所定の閾値(例えば0.1%)以上であると判断され(S326:YES)、枠WF6が記憶される(S327)。画像処理部7のCPU70は、枠WF6よりも所定の画素数分だけ大きいトリミング範囲(例えば枠WF5)を決定し(S319)、トリミングを実行する(S205)。これにより、図15の内容例に示すような全身撮影画像が得られる。図12に示した画像をそのまま全身撮影画像として図5に示したような写真シールシートに合成した場合、画像内の人物被写体領域の顔が小さくなり過ぎ、好適な結果とならない。しかしながら、図15のトリミング後の全身撮影画像では、人物被写体領域と余白とのバランスが写真シールシートに合成した場合に好適である。
12 schematically shows an example of the whole body image, FIG. 13 shows a mask image acquired for the whole body image shown in FIG. 12, and FIG. 14 shows frames WF1 to 9 for the whole body image shown in FIG. Indicates the position. Due to the processing of the
図16は、全身撮影画像の他の一例を模式的に示し、図17は、図16の全身撮影画像に対する枠WF1〜9の位置を示している。画像処理部7のCPU70の処理により、図16の全身撮影画像に対して取得されるマスク画像に対し、特定の枠である枠WF5よりも横方向に外側に、人物被写体領域の一部であるα値の画素が存在するが、α値の画素の割合は所定の横判断用の閾値(例えば4%)未満であると判断される(S308:NO)。そして、図11に示したような枠間の領域の内の上部のみで、人物被写体領域が含まれるか否かが判断される。具体的には、枠WF1から順に、内側に向けて枠が選択され、枠WF1と1つ内側の枠WF2との間の領域の内、上部の領域内におけるα値の画素が、上部判断用の所定の閾値以上であるか否かが判断される(S326)。図16の全身撮影画像においては、図17に示すように、最後の枠WF8を選択した場合であっても、枠WF8と枠WF9との間の領域の内、上部の領域内におけるα値の画素が、上部判断用の所定の閾値未満であると判断される(S326:NO)。したがって、発見済みのフラグがオフであると判断され(S318:NO)、最も内側の枠WF9よりも1つ外側の枠WF8が、トリミング範囲として決定される(S320)。これにより、図18の内容例に示すような全身撮影画像が得られる。
FIG. 16 schematically shows another example of the whole body photographed image, and FIG. 17 shows the positions of the frames WF1 to WF with respect to the whole body photographed image of FIG. The mask image acquired for the whole-body photographed image of FIG. 16 by the processing of the
また、図16の全身撮影画像に対し、例えば枠WF1〜9の外側から順に、枠WF1〜9の線上に人物被写体領域の画素を含むか否か判断してトリミング範囲を決定する場合、枠WF1の線上に人物被写体領域の画素を含むと判断され、枠WF1がトリミング範囲として決定されることになりかねない。枠WF1をトリミング範囲とした場合、人物被写体領域の上方の余白が無駄に広く、良好な結果とならない。しかしながら、図18のトリミング後の全身撮影画像のように、本実施の形態の画像処理部7の処理により得られる結果では、余白が好適となる。
For example, when the trimming range is determined by determining whether pixels of the person subject area are included on the line of the frames WF1 to 9 sequentially from the outside of the frames WF1 to 9 with respect to the whole body captured image of FIG. It is determined that the pixel of the person subject area is included on the line, and the frame WF1 may be determined as the trimming range. When the frame WF1 is set as the trimming range, the margin above the person subject area is unnecessarily wide and a good result is not obtained. However, in the result obtained by the processing of the
更に、図16の全身撮影画像を図12の全身撮影画像と比較した場合、被写体人物であるユーザグループの身長が低い。更に、図16の全身撮影画像では、被写体人物であるユーザグループの立ち位置が、図12の全身撮影画像の被写体のユーザグループの立ち位置よりも前である。そのため、図12の全身撮影画像と図16の全身撮影画像とでは、人物被写体領域と余白とのバランスが異なる。しかしながら、本実施の形態の画像処理部7のCPU70の処理によって得られる図15の全身撮影画像と、図18の全身撮影画像とでは、特に人物被写体領域よりも上方の余白が同程度となっている。
Furthermore, when the whole body photographed image of FIG. 16 is compared with the whole body photographed image of FIG. 12, the height of the user group that is the subject person is low. Further, in the whole-body photographed image of FIG. 16, the standing position of the user group as the subject person is before the standing position of the subject user group of the whole-body photographed image of FIG. Therefore, the balance between the human subject region and the margin differs between the whole body photographed image of FIG. 12 and the whole body photographed image of FIG. However, the whole body photographed image of FIG. 15 obtained by the processing of the
図19は、全身撮影画像の他の一例を模式的に示し、図20は、図19の全身撮影画像に対する枠WF1〜9の位置を示している。画像処理部7のCPU70の処理により、図19の全身撮影画像に対して取得されるマスク画像に対し、特定の枠である枠WF5よりも横方向に外側に、人物被写体領域の一部であるα値の画素は存在せず、α値の画素の割合が所定の横判断用の閾値未満であると判断される(S308:NO)。そして、枠WF1から順に、内側に向けて枠が選択され、枠WF1と1つ内側の枠WF2との間の領域の内、上部の領域内におけるα値の画素が、上部判断用の所定の閾値以上であるか否かが判断される(S326)。図19の全身撮影画像においては、枠WF2が選択されているときに、枠WF2と枠WF3との間の領域におけるα値である画素が所定の閾値(例えば0.1%)以上であると判断され(S326:YES)、枠WF2が記憶される(S327)。画像処理部7のCPU70は、枠WF2よりも所定の画素数分だけ大きいトリミング範囲を決定し(S319)、トリミングを実行する(S205)。これにより、図21の内容例に示すような全身撮影画像が得られる。図21のトリミング後の全身撮影画像では、人物被写体領域と余白とのバランスが写真シールシートに合成した場合に好適である。
FIG. 19 schematically shows another example of the whole body photographed image, and FIG. 20 shows the positions of the frames WF1 to WF with respect to the whole body photographed image of FIG. The mask image acquired for the whole-body photographed image of FIG. 19 by the processing of the
図19の全身撮影画像を図12の全身撮影画像と比較した場合、被写体人物であるユーザグループの身長が高い。そのため、図12の全身撮影画像と図19の全身撮影画像とでは、人物被写体領域と余白とのバランスが異なる。しかしながら、本実施の形態の画像処理部7のCPU70の処理によって得られる図15の全身撮影画像と、図21の全身撮影画像とでは、特に上方の余白が同程度となっている。
When the whole body photographed image of FIG. 19 is compared with the whole body photographed image of FIG. 12, the height of the user group that is the subject person is high. Therefore, the balance between the human subject area and the margin differs between the whole body photographed image of FIG. 12 and the whole body photographed image of FIG. However, the upper margin of the whole body photographed image of FIG. 15 obtained by the processing of the
画像処理部7のCPU70により決定されるトリミング範囲によるトリミングの効果は、図16の全身撮影画像に対する結果と、図19の全身撮影画像に対する結果とを比較した場合に、顕著に表れる。例えば、図16の全身撮影画像と、図19の全身撮影画像とをそのまま写真シールシートに合成した場合、余白が全く異なり、良好と言えない。仮に、固定の枠WF5にてトリミングした場合であっても、得られる全身撮影画像における人物被写体領域と余白とのバランスは大きく異なる。しかしながら、図18の全身撮影画像と、図21の全身撮影画像とでは、特に人物被写体領域よりも上方の余白が同程度となっている。このように、本実施の形態では、画像処理部7のCPU70が決定するトリミング範囲により、背の高さの違い及び立ち位置に関係なく好適な結果が得られる。これにより、撮影遊戯機で設定されている演出通りの結果が得られ、ユーザの満足度が向上することが期待される。
The effect of trimming based on the trimming range determined by the
図22は、全身撮影画像の他の一例を模式的に示し、図23は、図22の全身撮影画像に対する枠WF1〜9の位置を示している。画像処理部7のCPU70の処理により、図22の全身撮影画像に対して取得されるマスク画像に対し、特定の枠である枠WF5よりも横方向に外側に、人物被写体領域の一部であるα値の画素が存在し、α値の画素の割合が所定の横判断用の閾値未満であると判断される(S308:NO)。そして、図11に示したように枠間の領域の内の上部のみで、人物被写体領域が含まれるか否かが判断される(S326)。具体的には、枠WF1から順に内側に向けて枠が選択され、枠WF6が選択されているときに、枠WF6と枠WF7との間の領域の内、上部の領域内におけるα値の画素が、上部判断用の所定の閾値以上であると判断され(S326:YES)、枠WF6が記憶される(S327)。画像処理部7のCPU70は、枠WF6よりも所定の画素数分だけ大きいトリミング範囲を決定し(S319)、トリミングを実行する(S205)。これにより、図24の内容例に示すような全身撮影画像が得られる。
FIG. 22 schematically shows another example of the whole body photographed image, and FIG. 23 shows the positions of the frames WF1 to WF with respect to the whole body photographed image of FIG. The mask image acquired for the whole-body photographed image of FIG. 22 by the processing of the
図22の全身撮影画像を図12の全身撮影画像と比較した場合、被写体人物であるユーザグループは同一である。しかしながら、図22の全身撮影画像では、該ユーザグループは腕を横方向に出したポーズで撮影されている。図22の全身撮影画像に対し、例えば枠WF1〜9の外側から順に、枠WF1〜9の線上に人物被写体領域の画素を含むか否か判断してトリミング範囲を決定する場合、枠WF5の線上に人物被写体領域の画素を含むと判断される。したがってこの場合、枠WF5がトリミング範囲として決定され、同一人物が被写体人物であって上方向の余白は同程度とされるべきにも拘わらず、異なる余白を有する全身撮影画像が得られる。本実施の形態では、図15の全身撮影画像と、図24の全身撮影画像とでは、特に人物被写体領域よりも上方の余白が同程度となっており、好適な結果が得られている。 When the whole-body photographed image of FIG. 22 is compared with the whole-body photographed image of FIG. 12, the user group that is the subject person is the same. However, in the whole-body photographed image of FIG. 22, the user group is photographed in a pose with arms out in the horizontal direction. For example, in order to determine the trimming range by determining whether pixels of the person subject area are included on the line of the frames WF1 to 9 in order from the outside of the frames WF1 to 9, for example, from the outside of the frames WF1 to 9, the whole body captured image of FIG. Are determined to include pixels in the human subject area. Accordingly, in this case, the frame WF5 is determined as the trimming range, and a whole-body photographed image having different margins is obtained even though the same person is the subject person and the upper margin should be the same. In the present embodiment, the whole body photographed image of FIG. 15 and the whole body photographed image of FIG. 24 have the same margin in particular above the person subject area, and a favorable result is obtained.
図25は、全身撮影画像の他の一例を模式的に示し、図26は、図25の全身撮影画像に対する枠WF1〜9の位置を示している。図25に示した例は、図12、図16、図19、図22と比較した場合、ユーザグループの人数が3人である点が大きく異なる。したがって、図25に示すように人物被写体領域の範囲が横方向に広い。この場合、画像処理部7のCPU70の処理により、図25の全身撮影画像に対して取得されるマスク画像に対し、特定の枠である枠WF5よりも横方向に外側に、人物被写体領域の一部であるα値の画素が存在し、α値の画素の割合が所定の横判断用の閾値(例えば4%)以上であると判断される(S308:YES)。そして、枠間の領域内に人物被写体領域がどの程度含まれるかが判断される。具体的には、画像処理部7のCPU70の処理により、図25のマスク画像に対し、枠WF1から順に、内側に向けて枠が選択され、枠WF1と1つ内側の枠WF2との間の領域における人物被写体領域の一部であるα値の画素の割合が、所定の割合以上であるか否かが判断される(S314)。図25の全身撮影画像においては、枠WF6が選択されているときに、枠WF6と枠WF7との間の領域におけるα値の画素が、所定の閾値(例えば5%)以上であると判断され(S314:YES)、枠WF6が記憶される(S315)。画像処理部7のCPU70は、枠WF6よりも所定の画素数分だけ大きいトリミング範囲(例えば枠WF5)を決定し(S319)、トリミングを実行する(S205)。これにより、図27に示すような全身撮影画像が得られる。本実施の形態における撮影遊戯機では、ユーザグループの人数は2人が想定されているが(図5参照)、3人以上が被写体人物となることは可能である。3人以上が被写体人物となった場合には、上述の処理によって枠間の領域の内の両側部についてもα値の画素の割合の判断対象とされる。これにより、図27に示すように、被写体人物が過分に欠けることなしに、人物被写体領域の頭に対応する部分よりも上の余白が好適となるトリミング範囲を決定することができる。
FIG. 25 schematically shows another example of the whole body photographed image, and FIG. 26 shows the positions of the frames WF1 to WF with respect to the whole body photographed image of FIG. The example shown in FIG. 25 is significantly different from the example shown in FIGS. 12, 16, 19, and 22 in that the number of user groups is three. Therefore, as shown in FIG. 25, the range of the person subject area is wide in the horizontal direction. In this case, by the processing of the
図28は、アップ撮影画像の一例を模式的に示し、図29は、図28のアップ撮影画像に対する枠UF1〜5の位置を示している。画像処理部7のCPU70の処理により、図28のアップ撮影画像に対して取得されるマスク画像に対し、図11に示したように枠間の領域の内の上部のみで、人物被写体領域が含まれるか否かが判断される。具体的には、枠UF1から順に内側に向けて枠が選択され、枠UF4が選択されているときに、枠WF4と枠WF5との間の領域の内、上部の領域内におけるα値の画素が、アップ撮影画像用の所定の閾値(例えば0.5%)以上であると判断され(S326:YES)、枠UF4が記憶される(S327)。画像処理部7のCPU70は、枠UF4よりも所定の画素数分だけ大きいトリミング範囲を決定し(S319)、トリミングを実行する(S205)。これにより、図30の内容例に示すようなアップ撮影画像が得られる。図30に示すように、本実施の形態の画像処理部7の処理により得られる結果では、アップ撮影画像においては、頭に対応する領域が一部欠ける程度にトリミングがなされ、写真シールシートに合成した場合、審美性の高い結果物が得られる。
FIG. 28 schematically shows an example of the up-captured image, and FIG. 29 shows the positions of the frames UF1 to UF5 with respect to the up-captured image of FIG. The mask image acquired for the up-captured image of FIG. 28 by the processing of the
このようにして、本実施の形態における撮影遊戯機では、ユーザの身長又は撮影空間内における立ち位置に関係なく好適な画像が得られるように自動的にトリミングがなされ、ユーザの期待度及び満足度を向上させる写真シールシートを印刷出力することができる。 Thus, in the shooting game machine according to the present embodiment, trimming is automatically performed so that a suitable image can be obtained regardless of the height of the user or the standing position in the shooting space, and the degree of expectation and satisfaction of the user. Can be printed out.
なお、アップ撮影及び全身撮影時におけるプレビュー画面においても、上述したトリミング範囲の決定処理を行なうようにする。具体的には、図3のフローチャートにおけるステップS110のアップ撮影画像のプレビュー画面、及びステップS114の全身撮影画像のプレビュー画面の作成時に、制御部6のCPU60が、上述したトリミング範囲の決定処理を行なう。なお、アップ撮影(計4回)及び全身撮影(計2回)において、CPU60は各回の撮影毎にプレビュー画面を表示すべく作成する。ただしアップ撮影時では、プレビュー画面におけるトリミング範囲に制限を持たせ、ライブ画面におけるトリミング範囲と大きく異ならないように決定するようにする。
Note that the trimming range determination process described above is also performed on the preview screen during up-shooting and whole-body shooting. Specifically, the
具体的にはCPU60はディスプレイ22にライブ画面を表示するに際し、アップ撮影時は、カメラ21からの映像信号に基づく静止画像に対してトリミングする範囲を最も外側の枠UF1に設定している。これに対し、CPU60が、プレビュー画面を作成するにあたってトリミング範囲を最も内側の枠UF5と決定した場合、ライブ画面とプレビュー画面との間でトリミング範囲が大きく異なる。このような場合、ユーザグループはプレビュー画面に違和感を抱き、次のアップ撮影でカメラ21から遠ざかるように立ち位置を移動し、結果としてアップ撮像画像中の顔の領域が小さくなる可能性がある。そこで、CPU60はアップ撮影時のプレビュー画面のトリミング範囲を決定する場合、トリミング範囲を制限内とする。具体的には、CPU60は、図8及び図9のフローチャートに示した処理手順により決定したトリミング範囲と、ライブ画面におけるトリミング範囲との間の中間となるように決定する。例えば、CPU60は、枠UF5と決定した場合にも、ライブ画面のトリミング範囲である枠UF1との中間の枠UF3をトリミング枠と決定する。
Specifically, when displaying a live screen on the
アップ撮影画像においては、ユーザグループは撮影エリアA内でカメラ21に対して遠くから撮影しがちである。しかしながら、上述のトリミング範囲決定処理により、結果物である写真シールシートでは、頭に対応する領域が一部欠ける程度にトリミングがなされた審美性の高い結果物が得られる。ただし、ライブ画面からプレビュー画面、更に編集用の画面へと段階的にトリミング範囲が狭くなるようにすることにより、ユーザにトリミング枠を意識させないようにすることができ、ユーザが撮影時のプレビュー画面を確認して更に後側へ立ち位置を移動することを防止することができる。
In the up-captured image, the user group tends to shoot from the distance with respect to the
本実施の形態では、図8及び図9のフローチャート、並びにフローチャートの説明において、複数の枠WF1〜9(UF1〜5)の内、外側から順に、内側へ向けて1つずつ選択し、これにより自動的に1つ内側の枠とで2つ選択することとし、2つの枠の間に対応する領域を特定すると説明した。しかしながら、本発明による効果を得るためには、複数の枠WF1〜9(UF1〜5)の内、内側から順に、外側へ向けて1つずつ選択し、これにより自動的に1つ外側の枠とで2つ選択することとし、選択された2つの枠の間に対応する領域を特定する手順としてもよい。この場合、α値の画素の割合が所定の閾値以上であるか否かを判断するのではなく、所定の閾値以下であるか否かを判断すればよい。また、枠を1つ選択した場合に、1つ内側又は1つ外側の枠との組が選択される構成とした。しかしながら、1つおき、又は2つおき等、いくつかの枠おきに2つの枠を選択するようにしてもよい。 In this embodiment, in the flowcharts of FIG. 8 and FIG. 9 and the explanation of the flowcharts, the plurality of frames WF1 to 9 (UF1 to 5) are selected one by one from the outside toward the inside. It has been described that two regions are automatically selected from one inner frame and a corresponding region is specified between the two frames. However, in order to obtain the effect of the present invention, one of the plurality of frames WF1 to WF9 (UF1 to UF5) is selected one by one from the inside toward the outside, and thereby one outer frame is automatically selected. The two may be selected, and a procedure for specifying a corresponding region between the two selected frames may be used. In this case, it is only necessary to determine whether or not the ratio of the pixels having the α value is equal to or smaller than a predetermined threshold, instead of determining whether or not the ratio is equal to or larger than a predetermined threshold. In addition, when one frame is selected, a combination with one inner frame or one outer frame is selected. However, two frames may be selected every several frames, such as every other frame or every other frame.
なお、上述のように開示された本実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 It should be understood that the embodiment disclosed above is illustrative in all respects and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the meanings described above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
7 画像処理部
70 CPU(コンピュータ)
71 メモリ(記憶装置)
72 HDD(記憶装置)
721 設定情報(枠情報)
74 グラフィックボード(抽出手段)
7P 画像処理プログラム
7
71 Memory (storage device)
72 HDD (storage device)
721 Setting information (frame information)
74 Graphic board (extraction means)
7P image processing program
Claims (9)
3つ以上の複数の枠の前記画像内での位置及び大きさを示す枠情報を予め記憶装置に記憶しておく手段と、
前記枠情報に基づき、前記複数の枠から、枠内が重複する2つの枠の組を選択する選択手段と、
前記画像から、前記2つの枠の内の一方の枠内であって重複部分を除いた領域を特定する特定手段と、
該特定手段が特定した領域内における前記人物被写体領域の割合又は画素数が、所定の範囲内であるか否かを判断する判断手段と、
該判断手段が所定の範囲内であると判断した場合、選択されている2つの枠のいずれか一方又は両方に基づきトリミング範囲を決定する決定手段と
前記判断手段が所定の範囲外であると判断した場合、前記選択手段により異なる組を選択し直す手段と
を備えることを特徴とする画像処理装置。 An acquisition unit that acquires image data from a photographing device that captures a human subject; and an extraction unit that extracts a human subject region from an image composed of a plurality of pixels based on the acquired image data. In an image processing apparatus for determining a trimming range including:
Means for previously storing frame information indicating positions and sizes of the three or more frames in the image in a storage device;
Based on the frame information, a selection unit that selects, from the plurality of frames, a set of two frames that overlap within the frame;
A specifying means for specifying an area in one of the two frames and excluding an overlapping portion from the image;
Determining means for determining whether the ratio or the number of pixels of the person subject area in the area specified by the specifying means is within a predetermined range;
When the determination means determines that it is within the predetermined range, the determination means for determining the trimming range based on one or both of the two selected frames and the determination means determine that it is outside the predetermined range In this case, an image processing apparatus comprising: means for reselecting a different set by the selection means.
前記選択手段は、前記複数の枠の内、外側から2つの枠を選択するようにしてあり、
前記判断手段は、前記特定手段が特定した領域内における前記人物被写体領域の割合又は画素数が、所定の割合又は画素数以上であるか否かを判断するようにしてある
ことを特徴とする請求項1に記載の画像処理装置。 One of any two frames out of the plurality of frames includes the other in the frame,
The selection means is configured to select two frames from the outside of the plurality of frames,
The determination means is configured to determine whether or not the ratio or the number of pixels of the person subject area in the area specified by the specifying means is equal to or greater than a predetermined ratio or the number of pixels. Item 8. The image processing apparatus according to Item 1.
前記選択手段は、前記複数の枠の内、内側から2つの枠を選択するようにしてあり、
前記判断手段は、前記特定手段が特定した領域内における前記人物被写体領域の割合又は画素数が、所定の割合又は画素数以下であるか否かを判断するようにしてある
ことを特徴とする請求項1に記載の画像処理装置。 One of any two frames out of the plurality of frames includes the other in the frame,
The selection means is configured to select two frames from the inside of the plurality of frames,
The determination means is configured to determine whether or not the ratio or the number of pixels of the person subject area in the area specified by the specifying means is equal to or less than a predetermined ratio or the number of pixels. Item 8. The image processing apparatus according to Item 1.
ことを特徴とする請求項1から3のいずれか1つに記載の画像処理装置。 4. The determination unit according to claim 1, wherein the determination unit determines one of the two selected frames, or one of the outer and inner frames of the one as the trimming range. The image processing apparatus according to any one of the above.
ことを特徴とする請求項1から3のいずれか1つに記載の画像処理装置。 4. The method according to claim 1, wherein the determining unit determines a range that is larger or smaller by a predetermined number of pixels from one of the two selected frames as a trimming range. The image processing apparatus according to one.
を更に備え、
該横判断手段が存在すると判断した場合、前記特定手段は、前記2つの枠の間の内の上部を前記領域として特定するようにしてある
ことを特徴とする請求項1から5のいずれか1つに記載の画像処理装置。 Horizontal determination means for determining whether or not a part of the person subject area in the horizontal direction exists outside a specific frame of a plurality of frames indicated by the frame information at a predetermined ratio or less. ,
6. The device according to claim 1, wherein when it is determined that the lateral determination unit exists, the specifying unit specifies an upper portion between the two frames as the region. The image processing apparatus described in one.
前記記憶装置には、異なる撮影方法毎に、異なる枠情報が予め記憶してあり、
前記選択手段は、取得された画像データの撮影方法に対応する枠情報に基づいて2つの枠の組を選択し、
前記特定手段は、取得された画像データの撮影方法に対応する所定の範囲であるか否かを判断するようにしてある
ことを特徴とする請求項1から6のいずれか1つに記載の画像処理装置。 The acquisition means includes means for acquiring a plurality of image data and identifying which of the different image capturing methods was used for each image data,
In the storage device, different frame information is stored in advance for different shooting methods,
The selection means selects a pair of two frames based on the frame information corresponding to the method of capturing the acquired image data,
The image according to any one of claims 1 to 6, wherein the specifying unit is configured to determine whether or not a predetermined range corresponding to a photographing method of the acquired image data. Processing equipment.
3つ以上の複数の枠の前記画像内での位置及び大きさを示す枠情報を予め前記記憶装置に記憶しておき、
枠情報に基づき、前記複数の枠から、枠内が重複する2つの枠の組を選択し、
前記画像から、前記2つの枠の内の一方の枠内であって重複部分を除いた領域を特定し、
特定された領域内における前記人物被写体領域の割合又は画素数が、所定の範囲内であるか否かを判断し、
所定の範囲内であると判断した場合、選択されている2つの枠のいずれか一方又は両方に基づきトリミング範囲を決定し、
所定の範囲外であると判断した場合、選択されている2つの枠と異なる枠を選択し直して処理を再実行する
ことを特徴とする画像処理方法。 An acquisition means for acquiring image data from a photographing apparatus for photographing a human subject, an extraction means for extracting a human subject area from an image composed of a plurality of pixels based on the acquired image data, and a means for storing information in a storage device In an image processing method in which an image processing apparatus performs a process of determining a trimming range including the person subject area of the image,
Frame information indicating the position and size in the image of three or more frames is stored in the storage device in advance,
Based on the frame information, a set of two frames that overlap in the frame is selected from the plurality of frames,
From the image, specify an area within one of the two frames and excluding an overlapping portion,
Determining whether the ratio or the number of pixels of the person subject area within the specified area is within a predetermined range;
When it is determined that it is within the predetermined range, the trimming range is determined based on one or both of the two selected frames,
An image processing method comprising: reselecting a frame different from the two selected frames and re-executing the process when it is determined that the value is outside the predetermined range.
前記コンピュータに、
前記記憶装置に記憶してある3つ以上の複数の枠の前記画像内の位置及び大きさを示す枠情報を読み出すステップ、
読み出した枠情報に基づき、前記複数の枠から、枠内が重複する2つの枠の組を選択するステップ、
取得された画像データに基づく画像から、前記2つの枠の内の一方の枠内であって重複部分を除いた領域を特定するステップ、
特定された領域内における前記人物被写体領域の割合又は画素数が、所定の範囲内であるか否かを判断するステップ、
所定の範囲内であると判断された場合、選択されている2つの枠のいずれか一方又は両方に基づきトリミング範囲を決定するステップ、及び、
所定の範囲外であると判断された場合、選択されている2つの枠と異なる組を選択し直すステップ
を実行させることを特徴とするコンピュータプログラム。 Is connected to the imaging device, a capable of reading information from the storage device a computer, it acquires image data from the shooting device, extracts a human subject region from an image including a plurality of pixels based on the image data, wherein In a computer program for executing image processing for determining a trimming range including the person subject area of an image,
In the computer,
Reading frame information indicating positions and sizes in the image of three or more frames stored in the storage device;
Selecting a set of two frames that overlap within the frame from the plurality of frames based on the read frame information;
Identifying an area in one of the two frames and excluding an overlapping portion from an image based on the acquired image data;
Determining whether the ratio or the number of pixels of the person subject area within the specified area is within a predetermined range;
Determining a trimming range based on one or both of the two selected frames if determined to be within a predetermined range; and
A computer program characterized by causing a step of re-selecting a set different from the two selected frames when it is determined that it is out of a predetermined range.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014002706A JP5910639B2 (en) | 2014-01-09 | 2014-01-09 | Image processing apparatus, image processing method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014002706A JP5910639B2 (en) | 2014-01-09 | 2014-01-09 | Image processing apparatus, image processing method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015133549A JP2015133549A (en) | 2015-07-23 |
JP5910639B2 true JP5910639B2 (en) | 2016-04-27 |
Family
ID=53900481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014002706A Active JP5910639B2 (en) | 2014-01-09 | 2014-01-09 | Image processing apparatus, image processing method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5910639B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6873186B2 (en) * | 2019-05-15 | 2021-05-19 | 日本テレビ放送網株式会社 | Information processing equipment, switching systems, programs and methods |
CN113132624B (en) * | 2021-03-01 | 2023-02-07 | 广东职业技术学院 | Angle adjustment control method and system of intelligent terminal |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008084021A (en) * | 2006-09-27 | 2008-04-10 | Fujifilm Corp | Animation scenario generation method, program and device |
JP4807284B2 (en) * | 2007-03-07 | 2011-11-02 | カシオ計算機株式会社 | Camera device, camera device control program, and camera device control method |
JP4798236B2 (en) * | 2009-03-06 | 2011-10-19 | カシオ計算機株式会社 | Imaging apparatus, image processing method, and program |
JP5395651B2 (en) * | 2009-12-25 | 2014-01-22 | キヤノン株式会社 | Subject tracking device, control method and program for subject tracking device |
JP5447183B2 (en) * | 2010-05-21 | 2014-03-19 | フリュー株式会社 | Photo sticker creation apparatus and method, and program |
-
2014
- 2014-01-09 JP JP2014002706A patent/JP5910639B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015133549A (en) | 2015-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108377334B (en) | Short video shooting method and device and electronic terminal | |
US8648924B2 (en) | Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for generating a combination image on a display of the capturing apparatus | |
JP6723512B2 (en) | Image processing apparatus, image processing method and program | |
CN113572982A (en) | Self-service sharing type travel shooting video acquisition method and system | |
JP2017147621A (en) | Image processing apparatus, image processing method and computer program | |
JP5910639B2 (en) | Image processing apparatus, image processing method, and computer program | |
JP6754229B2 (en) | Image processing equipment and computer programs | |
JP5555924B2 (en) | Shooting game machine, shooting game machine control method, and computer program | |
JP6620572B2 (en) | Game shooting apparatus and image processing method | |
KR101742779B1 (en) | System for making dynamic digital image by voice recognition | |
JP5757279B2 (en) | Game shooting device, game shooting method and computer program | |
KR20130142315A (en) | Character service system and character service providing method thereof | |
JP6685094B2 (en) | Image processing apparatus, image processing method, and computer program | |
JP5212461B2 (en) | Image processing apparatus and image processing method | |
JP2007166383A (en) | Digital camera, image composing method, and program | |
JP6371318B2 (en) | Photography game machine and its control program | |
JP6403488B2 (en) | Photography game machine and control program | |
WO2019205566A1 (en) | Method and device for displaying image | |
JP6183721B2 (en) | Photography game machine and control program | |
JP5998344B2 (en) | Shooting game machine, shooting game machine control method, and computer program | |
JP5871285B2 (en) | Photography game machine and its control program | |
JP5273282B2 (en) | Image editing apparatus, image editing method, image printing apparatus, and computer program | |
JP5887752B2 (en) | Photography game device, photography game method, and photography game program | |
JP6090380B2 (en) | Game shooting device, game shooting method and computer program | |
JP5045841B1 (en) | Image printing apparatus, image printing method, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151109 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160314 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5910639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |