JP4151543B2 - Image output apparatus, image output method, and image output processing program - Google Patents
Image output apparatus, image output method, and image output processing program Download PDFInfo
- Publication number
- JP4151543B2 JP4151543B2 JP2003336124A JP2003336124A JP4151543B2 JP 4151543 B2 JP4151543 B2 JP 4151543B2 JP 2003336124 A JP2003336124 A JP 2003336124A JP 2003336124 A JP2003336124 A JP 2003336124A JP 4151543 B2 JP4151543 B2 JP 4151543B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- photographer
- person
- pose
- photographed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
本発明は、デジタルカメラやカメラ付携帯端末などにおける撮影画像に応じた画像を合成して出力するための画像出力装置、画像出力方法、および画像出力処理プログラムに関する。 The present invention relates to an image output apparatus, an image output method, and an image output processing program for synthesizing and outputting an image according to a captured image in a digital camera, a camera-equipped mobile terminal, or the like.
従来、各種のスチルカメラやビデオカメラにおいて、撮影した画像に対し他の画像を合成して表示あるいは印刷して出力するものがある。 2. Description of the Related Art Conventionally, there are various types of still cameras and video cameras that synthesize and display or print and output another image with a captured image.
例えば撮影フレームの固定した位置に予め用意された花や人気キャラクタなどのアニメ画像を合成して出力するものや、同予め用意されたアニメ画像を撮影フレーム内の希望の位置に合成して出力するものなどが実用されている。 For example, an animation image such as a flower or a popular character prepared in advance at a fixed position of the shooting frame is output and synthesized, or an animation image prepared in advance is combined and output at a desired position in the shooting frame. Things are in practical use.
また、デジタルカメラにより撮影された画像をパーソナルコンピュータの表示画面上に表示させて他の画像と合成して編集することもできるが、この場合に他の画像は例えば他の画像ファイルから選択的に切り出したり、インターネット上の任意のホームページ画面からダウンロードしたりするなどして取得され、撮影画像上の希望位置に合成される。 In addition, an image captured by a digital camera can be displayed on a display screen of a personal computer and combined with another image for editing. In this case, for example, another image can be selectively selected from other image files. It is obtained by cutting out or downloading from any homepage screen on the Internet, and is synthesized at a desired position on the photographed image.
また、デジタルカメラにより撮影された画像の任意の領域(例えば顔の部分)を切り出し、この切り出し画像を予め用意されたアニメ画像(例えばアニメキャラクタの顔部分)に合成させて新たな別の画像を作成するものや、任意の画像の指定した領域に対して、これに関連付けたアニメ画像を合成するものも考えられている。(例えば、特許文献1参照。)
前記従来の画像処理システムでは、撮影画像に対して、予め用意された画像をそのまま固定あるいは希望の位置に合成して出力したり、あるいは任意の切り出し画像に対して予め用意された画像を合成して出力したりするだけのものであるため、撮影画像以外の合成画像が常に固定的で変化が無く、またインターネットから多様な画像をダウンロードして利用するにしても、撮影画像とは関係のない単なる飾りでしかないため、面白味に欠け飽きが来やすい問題がある。 In the conventional image processing system, an image prepared in advance is fixed to a captured image as it is or is combined and output at a desired position, or an image prepared in advance is combined with an arbitrary clipped image. The combined image other than the photographed image is always fixed and does not change, and even if various images are downloaded from the Internet and used, they are not related to the photographed image. Since it is just a decoration, there is a problem that it is easy to get bored because it is not interesting.
そして、前記従来の画像処理システムによる画像合成技術を利用することで、ユーザ自身が含まれていない撮影画像に対して、別途撮影して予め用意されたユーザ自身の画像を合成することも行われているが、前述したとおり予め用意されたユーザ自身の画像をそのまま固定あるいは希望の位置に単に合成するだけのものであるため、撮影画像中の他の登場人物との雰囲気にマッチした違和感のない画像合成を行うことはできない問題がある。 Then, by using the image composition technique by the conventional image processing system, it is also possible to synthesize a user's own image prepared by photographing separately for a photographed image not including the user himself / herself. However, as described above, since the user's own image prepared in advance is fixed as it is or simply synthesized at a desired position, there is no sense of incongruity that matches the atmosphere with other characters in the photographed image. There is a problem that image composition cannot be performed.
このような場合、ユーザ自身がその撮影画像を撮影した本人であっても、あたかも元々撮影される側の人物の一人として当該ユーザが存在していたかの如く、ユーザ自身の画像を撮影画像中に違和感なく合成できるようにすることが望ましい。 In such a case, even if the user himself / herself photographed the photographed image, the user's own image appears uncomfortable in the photographed image as if the user existed as one of the originally photographed persons. It is desirable to be able to synthesize without any problems.
本発明は、前記のような問題に鑑みてなされたもので、撮影画像に対して撮影者自身の画像を単に固定的に合成するのではなく、撮影画像中の雰囲気に違和感のない合成画像にして出力することが可能になる画像出力装置、画像出力方法、および画像出力処理プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and does not simply synthesize the photographer's own image with the photographed image in a fixed manner, but creates a composite image in which the atmosphere in the photographed image has no sense of incongruity. It is an object to provide an image output apparatus, an image output method, and an image output processing program that can be output.
本発明の請求項1に係る画像出力装置では、撮影手段と、各ポーズ毎に撮影者の人物画像を記憶するポーズ別撮影者画像記憶手段とを有し、対象画像抽出手段によって前記撮影手段により撮影した撮影画像から真似をする対象者の人物画像が抽出されると、この対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの撮影者の人物画像が撮影者画像取得手段によって前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得される。そして、この撮影者画像取得手段により取得された撮影者の人物画像は、画像合成手段によって前記撮影手段により撮影した撮影画像に合成され、この画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像が画像出力手段によって出力される。
The image output apparatus according to
本発明の請求項2に係る画像出力装置は、前記請求項1に係る画像出力装置にあって、前記画像合成手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像を前記撮影者画像取得手段により取得された撮影者の人物画像に置き換えて前記撮影手段により撮影した撮影画像に合成する画像置き換え合成手段とした。 An image output apparatus according to a second aspect of the present invention is the image output apparatus according to the first aspect, wherein the image synthesizing unit captures the person image of the imitation target person extracted by the target image extraction unit. An image replacement synthesizing unit that replaces the person image of the photographer acquired by the person image acquisition unit and combines it with the photographed image captured by the photographing unit.
本発明の請求項3に係る画像出力装置は、前記請求項1に係る画像出力装置にあって、前記画像合成手段では、前記撮影者画像取得手段により取得された撮影者の人物画像を前記撮影手段により撮影した撮影画像に追加して合成する画像追加合成手段とした。 An image output apparatus according to a third aspect of the present invention is the image output apparatus according to the first aspect, wherein the image synthesizing unit captures the person image of the photographer acquired by the photographer image acquiring unit. The image adding / synthesizing means for adding and synthesizing the captured image taken by the means.
本発明の請求項4に係る画像出力装置は、前記請求項1〜請求項3の何れか1項に係る画像出力装置にあって、撮影者を検知する撮影者検知手段を有し、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの前記撮影者検知手段により検知された撮影者の人物画像が前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得される。 An image output apparatus according to a fourth aspect of the present invention is the image output apparatus according to any one of the first to third aspects, further comprising a photographer detection means for detecting a photographer, and the photographing In the person image acquisition means, the person image of the photographer detected by the photographer detection means in a pose corresponding to the person image of the imitation target person extracted by the target image extraction means is obtained by the photographer image storage means by pose. It is acquired from the photographer's person image for each stored pose.
本発明の請求項5に係る画像出力装置は、前記請求項1または請求項3に記載の画像出力装置にあって、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された複数の真似対象者の人物画像の平均的なポーズの撮影者の人物画像が前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得される。
The image output device according to claim 5 of the present invention is the image output device according to
本発明の請求項6に係る画像出力装置は、前記請求項5に係る画像出力装置にあって、撮影者を検知する撮影者検知手段を有し、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された複数の真似対象者の人物画像の平均的なポーズの前記撮影者検知手段により検知された撮影者の人物画像が前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得される。 An image output apparatus according to a sixth aspect of the present invention is the image output apparatus according to the fifth aspect, further comprising a photographer detection means for detecting a photographer, wherein the photographer image acquisition means includes the target image. The photographer's person image detected by the photographer detection means of the average pose of the person images of the plurality of imitation subjects extracted by the extraction means is stored for each pose stored by the pose-specific photographer image storage means. Obtained from the photographer's portrait image.
本発明の請求項7に係る画像出力装置は、前記請求項1〜請求項6の何れか1項に係る画像出力装置にあって、前記対象画像抽出手段では、前記撮影手段により撮影した一連の複数の撮影画像の中から変化部分が真似対象者の人物画像として抽出される。 An image output apparatus according to a seventh aspect of the present invention is the image output apparatus according to any one of the first to sixth aspects, wherein the target image extracting means is a series of images taken by the photographing means. A change portion is extracted as a person image of the person to be imitated from a plurality of photographed images.
本発明の請求項8に係る画像出力装置は、前記請求項1〜請求項6の何れか1項に係る画像出力装置にあって、前記対象画像抽出手段では、前記撮影手段により撮影した撮影画像の各部分までの距離を測定する距離測定手段を有し、この距離測定手段により測定された撮影画像の各部分までの距離に応じて真似対象者の人物画像が抽出される。 An image output apparatus according to an eighth aspect of the present invention is the image output apparatus according to any one of the first to sixth aspects, wherein the target image extracting means captures a photographed image photographed by the photographing means. A distance measuring means for measuring the distance to each part of the image is extracted, and the person image of the person to be imitated is extracted according to the distance to each part of the captured image measured by the distance measuring means.
本発明の請求項9に係る画像出力装置は、前記請求項1〜請求項8の何れか1項に係る画像出力装置にあって、前記撮影手段は、撮影画像の入力段階と当該入力された撮影画像の登録段階との2段階の撮影状態に設定する撮影操作手段を有し、前記画像出力手段では、前記撮影操作手段により撮影画像の入力段階に設定された場合に、前記画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像が出力される。そして、前記撮影操作手段により撮影画像の登録段階に設定された場合に、画像登録手段によって前記画像出力手段により出力された撮影者の人物画像が合成された撮影画像が登録される。 An image output apparatus according to a ninth aspect of the present invention is the image output apparatus according to any one of the first to eighth aspects, wherein the photographing means is inputted with the input stage of the photographed image. A shooting operation means for setting the shooting state in two stages, i.e., a registration stage of the shot image; and the image output means by the image synthesizing means when the shooting operation means sets the shooting image input stage. A photographed image in which a person image of a photographer in a pose corresponding to the person image of the imitation target person is synthesized is output. Then, when the photographing operation means is set to the photographed image registration stage, the photographed image obtained by combining the photographer's person image output by the image output means is registered by the image registering means.
本発明の請求項10に係る画像出力装置は、前記請求項1〜請求項3の何れか1項に係る画像出力装置にあって、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像と前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像との類似度を評価する類似度評価手段を有し、この類似度評価手段により評価された真似対象者の人物画像と各ポーズ毎の撮影者の人物画像との類似度に応じて当該真似対象者の人物画像に応じたポーズの撮影者の人物画像が取得される。 An image output apparatus according to a tenth aspect of the present invention is the image output apparatus according to any one of the first to third aspects, wherein the photographer image acquisition means extracts the image by the target image extraction means. A similarity evaluation unit that evaluates a similarity between the person image of the imitated subject person and the person image of the photographer for each pose stored by the pose-specific photographer image storage unit, and the similarity evaluation unit The person image of the photographer in the pose corresponding to the person image of the person to be imitated is acquired according to the similarity between the person image of the person to be imitated evaluated by the above and the person image of the photographer for each pose.
本発明の請求項11に係る画像出力装置は、前記請求項1〜請求項3の何れか1項に係る画像出力装置にあって、各ポーズ毎のモデル画像を前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像と対応付けて記憶するポーズ別モデル画像記憶手段を備え、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像と前記ポーズ別モデル画像記憶手段により記憶された各ポーズ毎のモデル画像との類似度を評価する類似度評価手段を有し、この類似度評価手段により評価された真似対象者の人物画像と各ポーズ毎のモデル画像との類似度に応じて当該真似対象者の人物画像に応じたポーズのモデル画像に対応付けられて前記ポーズ別撮影者画像記憶手段により記憶された撮影者の人物画像が取得される。 An image output apparatus according to an eleventh aspect of the present invention is the image output apparatus according to any one of the first to third aspects, wherein the model image for each pose is stored as the photographer image storage means for each pose. A model image storage unit for each pose stored in association with the person image of the photographer for each pose stored by the pose, wherein the photographer image acquisition unit includes the person of the imitation target extracted by the target image extraction unit A similarity evaluation means for evaluating the similarity between the image and the model image for each pose stored by the pose-specific model image storage means, and the person image of the person to be imitated evaluated by the similarity evaluation means; According to the degree of similarity with the model image for each pose, the photographer's image stored in the pose-specific photographer image storage means is associated with the model image of the pose according to the person image of the imitation target person. Object image is obtained.
本発明の請求項1に係る画像出力装置によれば、撮影手段と、各ポーズ毎に撮影者の人物画像を記憶するポーズ別撮影者画像記憶手段とを有し、対象画像抽出手段によって前記撮影手段により撮影した撮影画像から真似をする対象者の人物画像が抽出されると、この対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの撮影者の人物画像が撮影者画像取得手段によって前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得される。そして、この撮影者画像取得手段により取得された撮影者の人物画像は、画像合成手段によって前記撮影手段により撮影した撮影画像に合成され、この画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像が画像出力手段によって出力されるので、撮影者自身の人物画像を違和感なく撮影画像に合成して出力できるようになる。 According to the image output apparatus of the first aspect of the present invention, the image output device includes a photographing unit and a photographer image storage unit for each pose for storing a person image of the photographer for each pose, and the photographing is performed by the target image extracting unit. When the person image of the person to be imitated is extracted from the photographed image taken by the means, the person image of the photographer in the pose according to the person image of the person to be imitated extracted by the target image extracting means The acquisition unit acquires the photographer's person image for each pose stored by the pose-specific photographer image storage unit. Then, the photographer's person image obtained by the photographer image obtaining means is synthesized by the image composition means with the photographed image photographed by the photographing means, and the image composition means is adapted to the person image of the imitation target person. Since the photographed image in which the person image of the photographer in the pose is synthesized is output by the image output unit, the person image of the photographer himself can be synthesized and output to the photographed image without a sense of incongruity.
本発明の請求項2に係る画像出力装置によれば、前記請求項1に係る画像出力装置にあって、前記画像合成手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像を前記撮影者画像取得手段により取得された撮影者の人物画像に置き換えて前記撮影手段により撮影した撮影画像に合成する画像置き換え合成手段としたので、撮影画像中の真似対象の人物画像を同じポーズをした撮影者自身の人物画像に置き換えて合成できるようになる。 According to the image output device of the present invention, the image output device according to the first aspect may be configured such that the image synthesizing unit extracts the person image of the imitation target person extracted by the target image extracting unit. Since the image replacement composition means replaces the photographer's person image acquired by the photographer image acquisition means and combines it with the photographed image photographed by the photographing means, the person image to be imitated in the photographed image has the same pose. The photographer's own person image can be replaced and synthesized.
本発明の請求項3に係る画像出力装置によれば、前記請求項1に係る画像出力装置にあって、前記画像合成手段では、前記撮影者画像取得手段により取得された撮影者の人物画像を前記撮影手段により撮影した撮影画像に追加して合成する画像追加合成手段としたので、撮影画像中の真似対象の人物画像と同じポーズをした撮影者自身の人物画像を追加して合成できるようになる。 According to the image output device of the present invention, the image output device according to the first aspect of the present invention is the image output device, wherein the image composition means captures the photographer's person image acquired by the photographer image acquisition means. Since the image adding / synthesizing unit is added and combined with the photographed image taken by the photographing unit, the person image of the photographer who has the same pose as the person image to be imitated in the photographed image can be added and synthesized. Become.
本発明の請求項4に係る画像出力装置によれば、前記請求項1〜請求項3の何れか1項に係る画像出力装置にあって、撮影者を検知する撮影者検知手段を有し、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの前記撮影者検知手段により検知された撮影者の人物画像が前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得されるので、撮影者自身を検知し、該撮影者自身の各ポーズ画像の中から撮影画像中の真似対象者の人物画像に応じたポーズの撮影者画像を該撮影画像に合成できるようになる。
According to an image output apparatus according to claim 4 of the present invention, the image output apparatus according to any one of
本発明の請求項5に係る画像出力装置によれば、前記請求項1または請求項3に記載の画像出力装置にあって、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された複数の真似対象者の人物画像の平均的なポーズの撮影者の人物画像が前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得されるので、撮影画像中の複数の人物画像それぞれの各ポーズに対し違和感のないポーズの撮影者自身の画像を該撮影画像に合成できるようになる。
According to an image output device of the present invention, the image output device according to
本発明の請求項6に係る画像出力装置によれば、前記請求項5に係る画像出力装置にあって、撮影者を検知する撮影者検知手段を有し、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された複数の真似対象者の人物画像の平均的なポーズの前記撮影者検知手段により検知された撮影者の人物画像が前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得されるので、撮影者自身を検知し、該撮影者自身の各ポーズ画像の中から撮影画像中の複数の人物画像それぞれの各ポーズに対し違和感のないポーズの撮影者画像を該撮影画像に合成できるようになる。 According to an image output device of the present invention, the image output device according to claim 5, further comprising a photographer detection means for detecting a photographer, wherein the photographer image acquisition means The photographer's person image detected by the photographer detection means of the average pose of the person images of the plurality of imitation subjects extracted by the target image extraction means is stored in the pose-specific photographer image storage means. Since it is acquired from the person image of the photographer for each pose, the photographer himself is detected, and there is a sense of incongruity for each pose of each of the plurality of person images in the photographed image from among the pose images of the photographer himself. A photographer image having no pose can be combined with the photographed image.
本発明の請求項7に係る画像出力装置によれば、前記請求項1〜請求項6の何れか1項に係る画像出力装置にあって、前記対象画像抽出手段では、前記撮影手段により撮影した一連の複数の撮影画像の中から変化部分が真似対象者の人物画像として抽出されるので、撮影画像における真似対象の人物画像をその画像変化から容易に抽出し、この対象人物に応じたポーズの撮影者画像を合成できるようになる。
According to an image output apparatus according to claim 7 of the present invention, there is provided the image output apparatus according to any one of
本発明の請求項8に係る画像出力装置によれば、前記請求項1〜請求項6の何れか1項に係る画像出力装置にあって、前記対象画像抽出手段では、前記撮影手段により撮影した撮影画像の各部分までの距離を測定する距離測定手段を有し、この距離測定手段により測定された撮影画像の各部分までの距離に応じて真似対象者の人物画像が抽出されるので、撮影画像における真似対象の人物画像をその焦点距離に基づき容易に抽出し、この対象人物に応じたポーズの撮影者画像を合成できるようになる。
According to an image output apparatus according to
本発明の請求項9に係る画像出力装置によれば、前記請求項1〜請求項8の何れか1項に係る画像出力装置にあって、前記撮影手段は、撮影画像の入力段階と当該入力された撮影画像の登録段階との2段階の撮影状態に設定する撮影操作手段を有し、前記画像出力手段では、前記撮影操作手段により撮影画像の入力段階に設定された場合に、前記画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像が出力される。そして、前記撮影操作手段により撮影画像の登録段階に設定された場合に、画像登録手段によって前記画像出力手段により出力された撮影者の人物画像が合成された撮影画像が登録されるので、例えばシャッタ半押し状態での被写体捕捉中にその真似対象者に応じたポーズの撮影者自身の画像を合成した撮影画像を確認でき、この後のシャッタ全押し操作により当該撮影者自身を合成した撮影画像を登録できるようになる。
According to an image output device according to
本発明の請求項10に係る画像出力装置によれば、前記請求項1〜請求項3の何れか1項に係る画像出力装置にあって、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像と前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像との類似度を評価する類似度評価手段を有し、この類似度評価手段により評価された真似対象者の人物画像と各ポーズ毎の撮影者の人物画像との類似度に応じて当該真似対象者の人物画像に応じたポーズの撮影者の人物画像が取得されるので、撮影画像中の真似対象の人物画像に対し違和感のない類似のポーズの撮影者画像を取得して該撮影画像に合成できるようになる。 According to an image output apparatus according to a tenth aspect of the present invention, in the image output apparatus according to any one of the first to third aspects, the photographer image obtaining unit includes the target image extracting unit. A similarity evaluation unit that evaluates the similarity between the person image of the person to be imitated extracted by the photographer and the person image of the photographer for each pose stored by the pose-specific photographer image storage unit. The person image of the photographer in the pose corresponding to the person image of the imitation subject is acquired according to the similarity between the person image of the imitation target evaluated by the evaluation means and the person image of the photographer for each pose. Therefore, a photographer image having a similar pose with no sense of incongruity with the person image to be imitated in the photographed image can be acquired and combined with the photographed image.
本発明の請求項11に係る画像出力装置によれば、前記請求項1〜請求項3の何れか1項に係る画像出力装置にあって、各ポーズ毎のモデル画像を前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像と対応付けて記憶するポーズ別モデル画像記憶手段を備え、前記撮影者画像取得手段では、前記対象画像抽出手段により抽出された真似対象者の人物画像と前記ポーズ別モデル画像記憶手段により記憶された各ポーズ毎のモデル画像との類似度を評価する類似度評価手段を有し、この類似度評価手段により評価された真似対象者の人物画像と各ポーズ毎のモデル画像との類似度に応じて当該真似対象者の人物画像に応じたポーズのモデル画像に対応付けられて前記ポーズ別撮影者画像記憶手段により記憶された撮影者の人物画像が取得されるので、撮影画像中の真似対象の人物画像に対しモデル画像との類似度評価を行うことで、容易に違和感のないポーズの撮影者画像を取得して該撮影画像に合成できるようになる。 According to an image output apparatus according to an eleventh aspect of the present invention, in the image output apparatus according to any one of the first to third aspects, a model image for each pose is used as the photographer image for each pose. A model image storage unit for each pose stored in association with a person image of the photographer for each pose stored by the storage unit, wherein the photographer image acquisition unit includes the imitation target person extracted by the target image extraction unit; A similarity evaluation means for evaluating the similarity between the person image of each pose and the model image for each pose stored by the pose-specific model image storage means, and the person of the imitation target evaluated by the similarity evaluation means The photograph stored in the pose-specific photographer image storage means in association with the model image of the pose according to the person image of the person to be imitated according to the similarity between the image and the model image for each pose. Since the person image of the person in question is acquired, by evaluating the similarity of the person image to be imitated in the photographed image with the model image, it is possible to easily obtain a photographer image in a pose with no sense of incongruity. Can be synthesized.
よって、本発明によれば、撮影画像に対して撮影者自身の画像を単に固定的に合成するのではなく、撮影画像中の雰囲気に違和感のない合成画像にして出力することが可能になる画像出力装置、画像出力方法、および画像出力処理プログラムを提供できる。 Therefore, according to the present invention, it is possible not to simply synthesize the photographer's own image with the photographed image, but to output it as a synthesized image in which the atmosphere in the photographed image is not uncomfortable. An output device, an image output method, and an image output processing program can be provided.
以下、図面を参照して本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
図1は本発明に係る画像出力装置10の電子回路の構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of an electronic circuit of an
この画像出力装置10は、デジタルカメラ、デジタルカメラ付き携帯電話、デジタルカメラ付きPDA(personal digital assistants)などの携帯機器として構成されるもので、各種の記録媒体に記録されたプログラム、又は、伝送されたプログラムを読み込んで、その読み込んだプログラムによって動作が制御されるコンピュータによって構成され、その電子回路には、CPU(central processing unit)11が備えられる。
The
CPU11は、メモリ12内に予め記憶された装置制御プログラム、あるいはCD−ROMなどの外部記録媒体13から記録媒体読取部14を介して前記メモリ12に読み込まれた装置制御プログラム、あるいはインターネットN上のWebサーバ21(この場合はプログラムサーバ)から電送制御部15を介して前記メモリ12に読み込まれた装置制御プログラムに応じて、回路各部の動作を制御するもので、前記メモリ12に記憶された装置制御プログラムは、キーやタッチパネルからなる入力部16からのユーザ操作に応じた入力信号、あるいは画像入力部17を介して入力される画像信号、あるいは認証情報入力部17xを介して入力されるユーザ認証情報(指紋画像,虹彩画像,パスワードなど)、あるいは電送制御部15を介して接続されるインターネットN上の各Webサーバ21…との通信信号に応じて起動される。
The
前記CPU11には、前記メモリ12、記録媒体読取部14、電送制御部15、入力部16、画像入力部17、認証情報入力部17xが接続される他に、距離センサ18、LCDからなる表示部19、画像出力部20などが接続される。
The
画像入力部17は、撮影画像データを入力するもので、この撮影画像データは、デジタルカメラ部17A、デジタルビデオムービー部17Bなどの画像撮影手段から選択的に取得される。なお、これらの画像撮影手段(17A)(17B)は、携帯機器である画像出力装置10の本体とは別体にして、接続ケーブルにより接続して使用したり、コネクタにより合体一体化して使用する構成としてもよい。
The
距離センサ18は、前記画像入力部17において入力される撮影画像の被写体までの距離を検出する。
The
画像出力部20は、前記画像入力部17から入力された撮影画像に基づき本装置により処理された画像データを出力するもので、この出力画像データは、メモリカード20A、VTR(録画装置)20B、画像印刷機20Cに選択的に出力され、当該画像の記憶,録画,印刷が行われる。
The
メモリ12には、当該画像出力装置10の全体の動作を司るシステムプログラムや電送制御部15を介してインターネットN上の各Webサーバ21…とデータ通信するための通信プログラムが記憶される他に、画像入力部17や画像出力部20を介して本画像出力装置10で撮影画像における指定の対象画像(人物像)に応じた対応画像(例えば対象人物像のポーズをまねた撮影者自身の人物像)の追加合成出力処理や置き換え合成出力処理などを行うための画像出力処理プログラム12aなどが記憶される。
The
また、このメモリ12には、多様なポーズの人物モデル画像を記憶するモデルポーズ画像メモリ12b、本画像出力装置(カメラ)10のユーザ(撮影者)自身の各ポーズの画像を記憶する撮影者1「山田恵」ポーズ画像メモリ12c、撮影者2「山本明子」ポーズ画像メモリ12d、キャラ3「田中広」ポーズ画像メモリ12e…が用意され、またユーザ認証データメモリ12fとして前記各撮影者ポーズ画像メモリ12c〜12e…に対応付けられた「山田恵」「山本明子」「田中広」…それぞれの認証データメモリ12fc〜12fe…が用意される。
Also, in this
各認証データメモリ12fc〜12fe…には、各対応するユーザ(撮影者)それぞれの指紋画像や虹彩画像、パスワードなどが認証データとして記憶される。 In each of the authentication data memories 12fc to 12fe..., Fingerprint images, iris images, passwords, and the like of the corresponding users (photographers) are stored as authentication data.
さらにワークエリア12gには、撮影画像メモリ12g1や画像処理ワークエリア12g2などが用意される。
Further, a photographed image memory 12g1, an image processing work area 12g2, and the like are prepared in the
図2は前記画像出力装置10の撮影者1「山田恵」ポーズ画像メモリ12c:撮影者2「山本明子」ポーズ画像メモリ12d:キャラ3「田中広」ポーズ画像メモリ12e:…にそれぞれ記憶された各ユーザ(撮影者)それぞれの各種のポーズに対応する各撮影者画像を示す図である。
FIG. 2 shows that the
この撮影者1「山田恵」,2「山本明子」,3「田中広」の各ポーズ画像メモリ12c,12d,12eに記憶された各撮影者それぞれの各種のポーズ画像は、例えば予め本画像出力装置(カメラ)10での撮影処理により画像入力部17から入力されて登録され、その後の任意撮影処理に伴う撮影画像上の人物画像のポーズを真似た撮影者自身の真似画像として画像合成に使用されるもので、異なるポーズ毎にそのポーズNo.が対応付けられて記憶される。
The various pose images of the respective photographers stored in the respective
なお、前記各撮影者1「山田恵」,2「山本明子」,3「田中広」のポーズ画像メモリ12c,12d,12eに対する撮影者自身の撮影画像の登録処理に際しては、当該撮影者それぞれの認証データ(指紋画像,虹彩画像,パスワードなど)が認証情報入力部17xから入力され各対応付けられた認証データメモリ12fc,12fd,12feに登録される。
It should be noted that in the process of registering a photographer's own photographed image to the
図3は前記画像出力装置10のモデルポーズ画像メモリ12bに記憶された各モデルポーズに対応するモデル画像を示す図である。
FIG. 3 is a diagram showing model images corresponding to the model poses stored in the model pose
このモデルポーズ画像メモリ12bに記憶された各種ポーズのモデル画像は、画像入力部17から入力された撮影画像上の人物画像(対象画像)のポーズに応じた類似(真似)のモデル画像を取得するために使用されるもので、異なるポーズ毎にそのポーズNo.が対応付けられて記憶され、さらに各ポーズNo.毎に3種のバリエーションA,B,Cのモデル画像が記憶される。
The model images of various poses stored in the model pose
そして、前記撮影者1「山田恵」,2「山本明子」,3「田中広」の各ポーズ画像メモリ12c,12d,12eにそれぞれ記憶された各撮影者画像には、前記モデルポーズ画像メモリ12bに記憶された全てのポーズNo.(No.1A,1B,1C、2A,2B,2C、〜、nA,nB,nC)に対応する同じポーズの撮影者画像が任意に撮影されて記憶される。
Each photographer image stored in each pose
撮影画像メモリ12g1には、画像入力部17を介して入力された撮影画像データあるいはその合成画像データがその撮影画像単位で記憶される。
The photographed image memory 12g1 stores photographed image data input via the
画像処理ワークエリア12g2には、前記画像処理プログラム12aに従い処理される画像データがその画像処理に応じて一時記憶される。
In the image processing work area 12g2, image data processed according to the
このように構成された画像出力装置10について、その合成画像作成動作の概要を説明する。
An outline of the composite image creation operation of the
図4は前記画像出力装置10による後追い追加モード指定時の撮影者画像「田中広」による後追い追加合成状態を示す図である。
FIG. 4 is a diagram showing a follow-up addition composition state by the photographer image “Hiroshi Tanaka” when the
例えばシャッタを半押しした撮影操作中に、図4(A)に示すような撮影画像12g11から、図4(B)に示すように被写体画像(人物画像)Hが抽出され、後追い追加の撮影者画像として現在撮影操作中である「田中広」がその認証データ12feに基づき検知されると、図4(C)に示すように被写体画像(人物画像)Hのポーズに類似(真似)のポーズNo.17「走る」の「田中広」の撮影者画像12e(17)が撮影者3「田中広」ポーズ画像メモリ12eから読み出される。すると、撮影画像12g11上の被写体(人物画像)Hが一定の撮影サンプリング前に存在した位置が当該一連の撮影画像12g11…上の被写体(人物画像)Hの存在位置から認識され、図4(D)に示すように当該被写体(人物画像)Hが一定サンプリング前に存在した位置に前記撮影者3「田中広」ポーズ画像メモリ12eから読み出されたポーズNo.17「走る」の「田中広」の撮影者画像が合成される。
For example, during a shooting operation with the shutter half pressed, a subject image (person image) H is extracted from a shot image 12g11 as shown in FIG. 4A as shown in FIG. When “Tanaka Hiroshi” currently being photographed as an image is detected based on the authentication data 12fe, as shown in FIG. 4C, a pose No. similar to (similar to) the pose of the subject image (person image) H is obtained. . The
これにより、撮影画像12g11における被写体(人物画像)Hのポーズの真似をした撮影者である「田中広」の走る画像12e(17)が当該被写体(人物画像)Hの走る後を追うような位置に追加合成されて表示される。
As a result, a position where the
図5は前記画像出力装置10による置き換えモード指定時の撮影者画像「山本明子」による対象人物画像の置き換え合成状態を示す図である。
FIG. 5 is a diagram showing a replacement composition state of the target person image by the photographer image “Akiko Yamamoto” when the replacement mode is designated by the
例えばシャッタを半押しした撮影操作中に、図5(A)に示すような2人の被写体H1,H2が撮影されている撮影画像12g12から、図5(B)に示すように置き換えの対象となる任意の被写体画像(人物画像)H1が指定されて抽出され、置き換えの撮影者画像として現在撮影操作中である「山本明子」がその認証データ12fdに基づき検知されると、図5(C)に示すように指定の被写体画像(人物画像)H1のポーズに類似(真似)のポーズNo.17「走る」の「山本明子」の撮影者画像12d(17)R(R:反転画像)が撮影者2「山本明子」ポーズ画像メモリ12dから読み出される。
For example, during a shooting operation in which the shutter is half-pressed, from the shot image 12g12 in which two subjects H1 and H2 are shot as shown in FIG. When an arbitrary subject image (person image) H1 is specified and extracted, and “Akiko Yamamoto” currently being photographed as a replacement photographer image is detected based on the authentication data 12fd, FIG. Pose No. similar to (simulated) the pose of the designated subject image (person image) H1. The
一方、撮影画像12g12から前記指定された被写体画像(人物画像)H1を含めた2つの被写体画像H1,H2を切り出した撮影背景画像(図示せず)が生成される。 On the other hand, a photographic background image (not shown) is generated by cutting out two subject images H1 and H2 including the designated subject image (person image) H1 from the photographed image 12g12.
すると、図5(D)に示すように、前記撮影者2「山本明子」ポーズ画像メモリ12dから読み出された指定の被写体画像(人物画像)H1に類似の撮影者「山本明子」の画像12d(17)Rと、前記撮影画像12g12から切り出された残り1つの被写体画像H2が、前記撮影背景画像(図示せず)に対しその撮影距離が遠い順に各被写***置に対応して合成される。
Then, as shown in FIG. 5D, an
これにより、撮影画像12g12において、指定の被写体(人物画像)H1のポーズの真似をした撮影者である「山本明子」の走る画像12d(17)Rが当該指定の被写体(人物画像)H1と置き換えられて合成され表示される。
As a result, in the photographed image 12g12, the
図6は前記画像出力装置10による空きエリア追加モード指定時の撮影者画像「山田恵」による空きエリア追加合成状態を示す図である。
FIG. 6 is a diagram showing a free area addition composition state by the photographer image “Megumi Yamada” when the free space addition mode is designated by the
例えばシャッタを半押しした撮影操作中に、図6(A)に示すような撮影画像12g13から、図6(B)に示すように真似の対象となる被写体画像(人物画像)H1が指定されて抽出され、空きエリア追加の撮影者画像として現在撮影操作中である「山田恵」がその認証データ12fcに基づき検知されると、図6(C)に示すように指定の被写体画像(人物画像)H1のポーズに類似(真似)のポーズNo.1「集合写真」の「山田恵」の撮影者画像12c(1)が撮影者1「山田恵」ポーズ画像メモリ12cから読み出される。すると、図6(D)に示すように撮影画像12g13上の各被写体(人物画像)H1,H2が存在しない空きエリアの隣接位置に、前記撮影者1「山田恵」ポーズ画像メモリ12cから被写体画像(人物画像)H1のポーズに応じて読み出されたポーズNo.1「集合写真」の「山田恵」の撮影者画像が合成される。
For example, during a shooting operation with the shutter half pressed, a subject image (person image) H1 to be imitated as shown in FIG. 6B is designated from a shot image 12g13 as shown in FIG. 6A. When “Megumi Yamada”, which is extracted and is currently being photographed as a photographer image with an added free area, is detected based on the authentication data 12fc, a designated subject image (person image) as shown in FIG. 6C. A pose No. similar to (simulated) the pose of H1. The
これにより、撮影画像12g13における指定の被写体(人物画像)H1のポーズの真似をした撮影者である「山田恵」の集合写真画像12c(1)が当該撮影画像12g13の各被写体H1,H2に隣接する空きエリアに追加合成されて表示される。
As a result, the
すなわち、この画像出力装置(カメラ)10のユーザ(撮影者)Nが任意の被写体(人物画像)Hnを捉えて撮影操作を行うと、何れの撮影者N…による撮影操作かがユーザ認証データ12fに基づき検知されると共に、撮影画像12g1nに含まれる被写体画像Hnのポーズに類似した当該撮影者Nのポーズ画像がそのポーズ画像メモリから読み出されて、撮影画像12g1n内に追加合成されたり置き換え合成されたりして表示されるので、撮影者Nが捉えた被写体Hだけでなく、撮影中の撮影者N自身もあたかも撮影される側に居るように合成した撮影画像12g1nを簡単に取得することができる。 That is, when the user (photographer) N of the image output device (camera) 10 captures an arbitrary subject (person image) Hn and performs a photographing operation, the photographing operation by which photographer N... And a pose image of the photographer N similar to the pose of the subject image Hn included in the photographed image 12g1n is read from the pose image memory and additionally synthesized or replaced and synthesized in the photographed image 12g1n. Therefore, not only the subject H captured by the photographer N but also the photographed photographer N himself can easily acquire the photographed image 12g1n synthesized so that he / she is on the photographing side. it can.
次に、前記構成による画像出力装置10による詳細な画像処理動作について説明する。
Next, a detailed image processing operation by the
ここでは、画像出力装置10をデジタルカメラ付き携帯電話10Aあるいはデジタルカメラ10Bとして実施した場合について説明する。
Here, a case where the
図7は前記画像出力装置であるデジタルカメラ付き携帯電話10Aの外観構成を示す図であり、同図(A)はその全体斜視図、同図(B)はその部分拡大図である。
FIGS. 7A and 7B are diagrams showing an external configuration of a
デジタルカメラ付き携帯電話10Aでは、各種のキーが配列された入力部16の下端部にユーザ認証データ12fとしての指紋画像を入力するための認証情報入力部17xが設けられる。
In the mobile phone with
図8は前記画像出力装置であるデジタルカメラ10Bの外観構成を示す図であり、同図(A)はその前面図、同図(B)はその背面図である。
FIG. 8 is a diagram showing an external configuration of the
デジタルカメラ10Bの入力部16としては、メニュー画面を表示させるための「MENU」キー16a、撮影モード(REC)と再生モード(PLAY)とを切り替えるための切り替えキー16b、撮影画像の取り込みを指示するためのシャッタキー16c、表示画面(19)上でのデータ選択やカーソル移動及び選択データ決定などの操作を行うための上下左右に指1本で操作可能な選択/決定キー16dが備えられる。
As the
なお、シャッタキー16cは、半押し/全押しの2段階で撮影画像の取り込みを指示するキーであり、半押し状態では、画像入力部17から入力された撮影画像12g1nはAE(auto exposure),AF(auto focus)など調整されて画像処理ワークエリア12g2に一旦書き込まれて表示部19に表示され、全押し状態にして撮影画像メモリ12g1への登録が行われる。
The shutter key 16c is a key for instructing capturing of a photographed image in two steps of half-pressing and full-pressing. In the half-pressed state, the photographed image 12g1n input from the
そして、選択/決定キー16dの頭部には、ユーザ認証データ12fとしての指紋画像を入力するための認証情報入力部17xが設けられる。
An authentication
図9は前記画像出力装置10によるポーズ別ユーザ画像撮影処理を示すフローチャートである。
FIG. 9 is a flowchart showing user image shooting processing for each pose by the
本画像出力装置10のユーザである例えば「山田恵」のポーズ別ユーザ画像撮影処理において、認証情報入力部17xにより「山田恵」の認証情報としてその指紋画像データが検知入力されると(ステップX1)、入力された指紋画像データがユーザ認証データメモリ12f内の撮影者1「山田恵」認証データ12fcとして登録される(ステップX2)。
In the user image photographing process for each pose of, for example, “Megumi Yamada” who is the user of the
するとまず、撮影すべきポーズNo.Pが“1”にセットされ(ステップX3)、モデルポーズ画像メモリ12bに予め記憶されたモデル画像12b(n)の中から前記ポーズNo.P=1に対応する「集合写真」のポーズのモデル画像12b(1)が読出され、表示部19に対し撮影ポーズの見本として表示される(ステップX4)。
First, the pose No. P is set to "1" (step X3), and the pose No. is selected from the
ユーザである「山田恵」が前記表示部19に表示されたポーズP=1のモデル画像12b(1)を見本にしてポーズを取った状態で、第3者によるシャッタ16cの全押し操作により撮影命令が検知されると(ステップX5)、画像入力部17xから撮影入力された「集合写真」のポーズの「山田恵」の画像データが、前記ユーザ認証データメモリ12fの「山田恵」認証データ12fcに対応付けされた撮影者1「山田恵」ポーズ画像メモリ12cのポーズNo.P=1のユーザ(撮影者)画像12c(1)として登録される(ステップX6)。
The user “Megumi Yamada” takes a pose using the
すると、前記撮影対象のポーズNo.P=N(登録可能最大ポーズ数)に到達しているか否か判断され(ステップX7)、そうでない場合(P<N)には当該撮影対象のポーズNo.Pがインクリメント(+1)されて(ステップX8)、前記ステップX4からの処理に戻る。 Then, the pose No. It is determined whether or not P = N (the maximum number of poses that can be registered) has been reached (step X7). If not (P <N), the pose No. P is incremented (+1) (step X8), and the process returns to step X4.
そして、各種ポーズP=2,3,4,…のモデル画像12c(2),12c(3),12c(4),…を見本にした各ポーズの「山田恵」の画像データが順次撮影入力され、前記ユーザ認証データメモリ12fの「山田恵」認証データ12fcに対応付けされた撮影者1「山田恵」ポーズ画像メモリ12cのポーズNo.P=2,3,4,…のユーザ(撮影者)画像12c(2),12c(3),12c(4),…として順次登録される(ステップX4〜X8)。
Then, the image data of “Megumi Yamada” of each pose modeled after
この後、本画像出力装置10のユーザとなり得る他のポーズ別ユーザ画像についても、適宜、前記同様に各ユーザ認証データ12f…に対応付けされて登録され、例えば撮影者2「山本明子」の認証データ12fdに対応するポーズ画像メモリ12dに各ポーズP=1,2,3,…それぞれの「山本明子」の画像データ12d(1),12d(2),12d(3),…が撮影登録され、また、撮影者3「田中広」の認証データ12feに対応するポーズ画像メモリ12eに各ポーズP=1,2,3,…それぞれの「田中広」の画像データ12e(1),12e(2),12e(3),…が撮影登録される。
Thereafter, other pose-specific user images that can become users of the
図10は前記画像出力装置10による画像処理(その1)を示すフローチャートである。
FIG. 10 is a flowchart showing image processing (part 1) by the
図11は前記画像出力装置10による画像処理(その2)を示すフローチャートである。
FIG. 11 is a flowchart showing image processing (part 2) by the
図12は前記画像出力装置10による画像処理の初期に実施されるユーザ(撮影者)検知処理を示すフローチャートである。
FIG. 12 is a flowchart showing a user (photographer) detection process performed at the initial stage of image processing by the
この画像出力装置10であるデジタルカメラ付き携帯電話10A(図7参照)あるいはデジタルカメラ10B(図8参照)において任意の画像撮影を行う際に、まずユーザが認証情報入力部17xに触れることで、当該認証情報入力部17xによりユーザ(撮影者)の指紋画像データが認証情報として検知入力されると(ステップS1a)、この検知入力されたユーザ(撮影者)の指紋画像データ(認証データ)がユーザ認証データメモリ12fに登録されている各撮影者1「山田恵」,2「山本明子」,3「田中広」,…それぞれの認証データ12fc,12fd,12fe,…と画像マッチング処理されてその一致/不一致が判別される(ステップS1b)。
When photographing an arbitrary image in the
すると、この画像マッチング処理により一致判別された登録認証データ12fの撮影者Nが今回の撮影処理に伴うユーザ(撮影者)として特定検知される(ステップS1c)。
Then, the photographer N of the
こうして、今回の撮影ユーザが特定検知されると(ステップS1)、入力部16の操作に応じて、当該撮影ユーザ(撮影者)の画像を今回の撮影画像に合成すべき撮影画像合成モードが、「1−1:ランダム空きエリア追加モード」「1−2:後追い追加モード」または「2−1:被写体選択置き換えモード」の何れかから選択されて指定される(ステップS2)。
Thus, when the current photographing user is specifically detected (step S1), the photographed image composition mode in which the image of the photographing user (photographer) is to be combined with the current photographed image according to the operation of the
そして、シャッタキー16cの半押し操作が検知され、画像入力部17xからの撮影画像12g1nの入力が開始され(ステップS3)、この撮影画像12g1nに対して前記ユーザ検知された撮影者の画像を合成するための画像合成処理がスタートされると(ステップS4)、図13における対象画像の抽出処理に移行される(ステップSA)。
Then, half-pressing operation of the shutter key 16c is detected, and input of the photographed image 12g1n from the
図13は前記画像出力装置10の画像処理に伴う対象画像抽出処理を示すフローチャートであり、同図(A)はその対象画像抽出処理(方式1)を示すフローチャート、同図(B)はその対象画像抽出処理(方式2)を示すフローチャートである。
FIG. 13 is a flowchart showing the target image extraction process accompanying the image processing of the
図13(A)における対象画像抽出処理(方式1)では、前記画像入力部17を介して所定のタイミングで順次入力される一連の撮影画像12g1n…がワークエリア12gの撮影画像メモリ12g1に対し記憶される(ステップA11)。
In the target image extraction process (method 1) in FIG. 13A, a series of photographed images 12g1n... Sequentially input at a predetermined timing via the
すると、この撮影画像メモリ12gに記憶された一連の撮影画像12g1n…のそれぞれから被写体の動きに伴う画像の変化部分が当該各被写体のブロック毎に抽出され(ステップA12)、これにより抽出された各被写体画像Hnがそのブロック毎に画像処理ワークエリア12g2に保存される(ステップA13)。
Then, the changed portion of the image accompanying the movement of the subject is extracted for each block of the subject from each of the series of captured images 12g1n... Stored in the captured
図13(B)における対象画像抽出処理(方式2)では、前記画像入力部17を介して入力される撮影画像12g1nの各部分毎に距離センサ18による距離測定が行われ(ステップA21)、背景画像と被写体画像との距離差に基づき近距離側として判別される各被写体画像Hnがそのブロック毎に抽出される(ステップA22)。
In the target image extraction process (method 2) in FIG. 13B, distance measurement is performed by the
これにより抽出された各被写体画像Hnがそのブロック毎に画像処理ワークエリア12g2に保存される(ステップA23)。 Each subject image Hn thus extracted is stored in the image processing work area 12g2 for each block (step A23).
こうして、撮影画像12g1nから当該撮影画像12g1nに含まれる各被写体画像Hnがそのブロック毎に抽出されて画像処理ワークエリア12g2に保存されると(ステップSA)、例えば図4(A)または図5(A)または図6(A)で示すように、抽出された各被写体画像Hnのそれぞれに囲みマークMが付加された撮影画像12g1nが表示部19に表示される(ステップS5)。 Thus, when each subject image Hn included in the captured image 12g1n is extracted for each block from the captured image 12g1n and stored in the image processing work area 12g2 (step SA), for example, FIG. 4A or FIG. As shown in FIG. 6A or FIG. 6A, the photographed image 12g1n with the surrounding mark M added to each of the extracted subject images Hn is displayed on the display unit 19 (step S5).
すると、表示部19に表示された撮影画像12g1nにおいて、被写体画像Hnが複数ブロック存在するか否か判断される(ステップS6)。 Then, it is determined whether or not there are a plurality of blocks of the subject image Hn in the captured image 12g1n displayed on the display unit 19 (step S6).
撮影画像12g1nにおいて被写体画像Hnが複数ブロック存在しないと判断された場合には、当該撮影画像12g1nから抽出された1つの被写体画像Hnが前記検知された撮影ユーザの画像による真似の対象画像(人物像)として設定される(ステップS6→S7a)。 When it is determined that there are not a plurality of blocks of the subject image Hn in the photographed image 12g1n, one subject image Hn extracted from the photographed image 12g1n is an imitation target image (person image) based on the detected photographed user image. ) (Step S6 → S7a).
また、撮影画像12g1nにおいて被写体画像Hnが複数ブロック存在すると判断された場合には、入力部16によるユーザ操作に応じて複数ブロック存在する被写体画像Hn…の中から真似の対象画像(人物像)が指定される(ステップS6→S7b)。 If it is determined that there are a plurality of blocks of the subject image Hn in the photographed image 12g1n, a target image (person image) that is imitated from the subject images Hn,. It is designated (step S6 → S7b).
こうして、前記撮影画像12g1nの中から被写体画像Hnが抽出され、さらに真似対象となる被写体画像Hnが設定されると、図14における対応撮影者画像取得処理に移行される(ステップSB)。 Thus, when the subject image Hn is extracted from the photographed image 12g1n and the subject image Hn to be imitated is set, the process proceeds to the corresponding photographer image acquisition process in FIG. 14 (step SB).
図14は前記画像出力装置10の画像処理に伴う対応撮影者画像取得処理を示すフローチャートであり、同図(A)はその対応撮影者画像取得処理(方式1)を示すフローチャート、同図(B)はその対応撮影者画像取得処理(方式2)を示すフローチャートである。
FIG. 14 is a flowchart showing a corresponding photographer image acquisition process accompanying the image processing of the
図14(A)における対応撮影者画像取得処理(方式1)では、まず、前記撮影画像12g1nから抽出されて真似対象画像として設定された被写体画像Hnと前記検知ユーザ(撮影者)の各ポーズの撮影者画像との類似度が評価され(ステップB1C)、最も類似度の高いポーズの撮影者画像が現在の撮影画像12g1nが表示されている表示部19に対し例えばウインドウ画面にして表示される(ステップB12)。
In the corresponding photographer image acquisition process (method 1) in FIG. 14A, first, the subject image Hn extracted from the photographed image 12g1n and set as the imitation target image and each pose of the detection user (photographer) are displayed. The degree of similarity with the photographer image is evaluated (step B1C), and the photographer image in the pose with the highest degree of similarity is displayed on the
ここで、入力部16に対するユーザ操作に応じて前記表示部19に表示された真似対象画像に最も類似度の高いポーズの撮影者画像が選択されると、この選択されたポーズNo.の検知撮影者の画像が真似対象画像に対応するユーザ(撮影者)画像として登録される(ステップB13→B14)。
Here, when the photographer image having the highest similarity to the imitation target image displayed on the
一方、前記表示部19に真似対象画像に最も類似度の高いポーズの検知撮影者画像が表示された状態で、入力部16に対するユーザ操作に応じて「次表示」が指示されると、当該「次表示」の操作毎に次に類似度の高いポーズの検知撮影者の画像が順番に表示される(ステップB13→B15)。
On the other hand, when “next display” is instructed in response to a user operation on the
そして、所望の類似度のポーズの撮影者画像が選択表示され、入力部16に対するユーザ操作に応じて当該表示された撮影者画像が選択されると、この選択されたポーズNo.の検知撮影者の画像が真似対象画像に対応するユーザ(撮影者)画像として登録される(ステップB13→B14)。
Then, a photographer image of a pose having a desired similarity is selected and displayed. When the displayed photographer image is selected in response to a user operation on the
このように、対応撮影者画像取得処理(方式1)では、撮影画像12g1nから抽出設定された真似対象画像としての被写体画像Hnに対し、ユーザ認証されて検知された撮影者の各ポーズ毎の画像との類似度が直接評価され、これに基づき被写体画像Hnを真似たポーズの撮影者画像として追加または置き換えられる撮影者画像が決定される。 As described above, in the corresponding photographer image acquisition process (method 1), the image for each pose of the photographer detected by the user authentication with respect to the subject image Hn as the imitation target image extracted and set from the photographed image 12g1n. Is directly evaluated, and based on this, a photographer image to be added or replaced as a photographer image having a pose imitating the subject image Hn is determined.
図14(B)における対応撮影者画像取得処理(方式2)では、まず、前記撮影画像12g1nから抽出されて真似対象画像として設定された被写体画像Hnとモデルポーズ画像メモリ12bに記憶されている各ポーズのモデル画像との類似度が評価され(ステップB2C)、最も類似度の高いポーズのモデル画像のポーズNo.に対応する検知ユーザの撮影者画像が現在の撮影画像12g1nが表示されている表示部19に対し例えばウインドウ画面にして表示される(ステップB22)。
In the corresponding photographer image acquisition process (method 2) in FIG. 14B, first, the subject image Hn extracted from the photographed image 12g1n and set as the imitation target image and each stored in the model pose
ここで、入力部16に対するユーザ操作に応じて前記表示部19に表示された真似対象画像に最も類似度の高いモデルポーズに対応する撮影者画像が選択されると、この選択されたポーズNo.の撮影者の画像が真似対象画像に対応する撮影者画像として登録される(ステップB23→B24)。
Here, when a photographer image corresponding to a model pose having the highest similarity to the imitation target image displayed on the
一方、前記表示部19に真似対象画像に最も類似度の高いポーズのモデル画像のポーズNo.に対応する撮影者画像が表示された状態で、入力部16に対するユーザ操作に応じて「次表示」が指示されると、当該「次表示」の操作毎に次に類似度の高いモデル画像のポーズNo.に対応する検知撮影者の画像が順番に表示される(ステップB23→B25)。
On the other hand, the pose No. of the model image of the pose having the highest similarity to the imitation target image is displayed on the
そして、所望の類似度のモデルポーズに対応する検知撮影者の画像が選択表示され、入力部16に対するユーザ操作に応じて当該表示された撮影者画像が選択されると、この選択されたポーズNo.の検知撮影者の画像が真似対象画像に対応する撮影者画像として登録される(ステップB23→B24)。
Then, an image of the detected photographer corresponding to the model pose having the desired similarity is selected and displayed, and when the displayed photographer image is selected according to a user operation on the
このように、対応撮影者画像取得処理(方式2)では、撮影画像12g1nから抽出設定された真似対象画像としての被写体画像Hnに対し、人物の基本モデルである各ポーズ毎のモデル画像との類似度が評価され、これに基づき被写体画像Hnを真似たポーズの撮影者画像として追加または置き換えられる撮影者画像が決定される。 As described above, in the corresponding photographer image acquisition process (method 2), the subject image Hn as an imitation target image extracted and set from the photographed image 12g1n is similar to the model image for each pose that is a basic model of a person. The degree is evaluated, and based on this, a photographer image to be added or replaced as a photographer image having a pose imitating the subject image Hn is determined.
この場合、真似対象画像としての被写体画像Hnに対し、ユーザ検知された撮影者の各ポーズ毎の撮影者画像との類似度を直接評価して追加または置き換えの撮影者画像を決定するようにした対応撮影者画像取得処理(方式1)に比較して、各ポーズ毎のモデル画像との類似度を評価し選択されたモデルポーズNo.から追加または置き換えの撮影者画像を決定するようにした対応撮影者画像取得処理(方式2)の方が、類似度の評価対象に人物モデルを用いることから被写体画像Hnとの高い類似度が得られやすく、より類似性(真似度)の高い撮影者画像を取得できる利点がある。 In this case, an additional or replacement photographer image is determined by directly evaluating the degree of similarity of the photographer image for each pose of the photographer detected by the user with respect to the subject image Hn as the imitation target image. Compared with the corresponding photographer image acquisition process (method 1), the degree of similarity with the model image for each pose is evaluated, and the selected model pose No. The corresponding photographer image acquisition process (method 2) in which an additional or replacement photographer image is determined from the above uses a person model as a similarity evaluation target, and thus a higher similarity with the subject image Hn is obtained. There is an advantage that a photographer image that is easy to be acquired and has higher similarity (similarity) can be acquired.
図15は前記画像出力装置10の画像処理に伴う対応撮影者画像取得処理(方式1)(方式2)での真似対象画像との類似度評価処理を示すフローチャートである。
FIG. 15 is a flowchart showing similarity evaluation processing with the target image in the corresponding photographer image acquisition processing (method 1) (method 2) accompanying the image processing of the
対応撮影者画像取得処理(方式1)での類似度評価処理の場合はユーザ検知された撮影者の各ポーズ毎の撮影者画像との類似度を評価し、対応撮影者画像取得処理(方式2)での類似度評価処理の場合は各ポーズ毎のモデル画像との類似度を評価する。 In the case of the similarity evaluation process in the corresponding photographer image acquisition process (method 1), the similarity with the photographer image for each pose of the photographer detected by the user is evaluated, and the corresponding photographer image acquisition process (method 2). In the case of the similarity evaluation process in (), the similarity with the model image for each pose is evaluated.
図16は前記画像出力装置10の対応撮影者画像取得処理(方式1)での類似度評価処理に伴う検知撮影者画像との類似度評価例を示す図である。
FIG. 16 is a diagram illustrating an example of similarity evaluation with a detected photographer image accompanying the similarity evaluation process in the corresponding photographer image acquisition process (method 1) of the
図17は前記画像出力装置10の対応撮影者画像取得処理(方式2)での類似度評価処理に伴うモデル画像との類似度評価例を示す図である。
FIG. 17 is a diagram showing an example of similarity evaluation with a model image accompanying the similarity evaluation processing in the corresponding photographer image acquisition processing (method 2) of the
まず、類似度評価処理(方式1)の場合、例えば図16(A)に示すように、ユーザ検知された撮影者(例えば「山田恵」12c(12fc))における先頭のポーズNo.の撮影者画像12c(1)が読み出され(ステップC1)、同図(X)で示す真似対象画像H1との縦・横のサイズが合わされる(ステップC2)。
First, in the similarity evaluation process (method 1), as shown in FIG. 16A, for example, the first pose No. of the photographer (for example, “Megumi Yamada” 12c (12fc)) detected by the user is detected. The
すると、前記真似対象画像H1と縦横サイズの合わされた撮影者画像12c(1)との重ね合わせ評価が行われ、その評価値(%)が算出されて当該ポーズの撮影者画像12c(1)との類似度として記憶される(ステップC3)。
Then, the overlay evaluation of the imitation target image H1 and the
ここで、今回の類似度評価対象のポーズNo.の撮影者画像12c(1)が左右非対称の画像であるか否か判断され(ステップC4)、当該ポーズの撮影者画像が左右非対称の画像ではないと判断された場合には(ステップC4「No」)、例えば図16(B)に示すように、順次、次のポーズNo.の撮影者画像12c(2)との間でサイズ合わせ処理と重ね合わせ評価値の算出処理とによる類似度の算出,記憶処理が繰り返される(ステップC8→C9→C2〜C4)。
Here, the pose No. of the similarity evaluation target this time. It is determined whether or not the
一方、今回の類似度評価対象のポーズNo.の撮影者画像が左右非対称の撮影者画像(例えば「歩く1(前)」12c(2))であると判断された場合には、例えば図16(C)に示すように、当該ポーズの撮影者画像(12c(2))が左右反転され(ステップC4→C5)、この反転された撮影者画像(12c(2)R)について真似対象画像との縦・横のサイズが合わされる(ステップC6)。 On the other hand, the pose no. If it is determined that the photographer's image is an asymmetric photographer image (for example, “walking 1 (front)” 12c (2)), for example, as shown in FIG. The person image (12c (2)) is reversed left and right (step C4 → C5), and the vertical and horizontal sizes of the reversed photographer image (12c (2) R) and the imitation target image are matched (step C6). ).
すると、前記真似対象画像と縦横サイズの合わされた反転撮影者画像との重ね合わせ評価が行われ、その評価値(%)が算出されて当該ポーズの反転撮影者画像との類似度として記憶される(ステップC7)。 Then, the overlay evaluation of the imitation target image and the inverted photographer image in which the vertical and horizontal sizes are combined is performed, and the evaluation value (%) is calculated and stored as the similarity with the inverted photographer image of the pose. (Step C7).
この後、ユーザ検知された撮影者における次のポーズNo.の撮影者画像(例えば12c(n))がある場合には(ステップC8)、当該次のポーズNo.の撮影者画像(12c(n))が順次読み出され(ステップC9)、前記同様に真似対象画像Hnと各ポーズ毎の検知ユーザの撮影者画像(12c(n))との類似度評価処理が繰り返される(ステップC2〜C7)。 After this, the next pose No. for the photographer detected by the user is displayed. If there is a photographer image (for example, 12c (n)) (step C8), the next pose no. The photographer images (12c (n)) are sequentially read out (step C9), and the similarity evaluation process between the imitation target image Hn and the photographer image (12c (n)) of the detected user for each pose is performed as described above. Is repeated (steps C2 to C7).
これにより、例えば図16で示したように、被写体画像(対象画像)H1に対して「山田恵」の撮影者画像12c(n)…との類似度評価を行った場合には、ポーズNo.1に対応する「山田恵」の撮影者画像12c(1)が最も類似度の高いキャラクタ画像として評価される。
Thus, for example, as shown in FIG. 16, when the similarity evaluation of the subject image (target image) H1 with the
次に、類似度評価処理(方式2)の場合、例えば図17(A)に示すように、先頭のポーズNo.のモデル画像12b(1A)が読み出され(ステップC1)、同図(X)で示す真似対象画像H1との縦・横のサイズが合わされる(ステップC2)。
Next, in the similarity evaluation process (method 2), for example, as shown in FIG.
すると、前記真似対象画像H1と縦横サイズの合わされたモデル画像12b(1A)との重ね合わせ評価が行われ、その評価値(%)が算出されて当該ポーズのモデル画像12b(1A)との類似度として記憶される(ステップC3)。
Then, the overlay evaluation of the imitation target image H1 and the
ここで、今回の類似度評価対象のポーズNo.のモデル画像が左右非対称の画像であるか否か判断され(ステップC4)、例えば図17(A)で示すように、当該ポーズのモデル画像12b(1A)が左右非対称の画像ではないと判断された場合には(ステップC4「No」)、次のポーズNo.のモデル画像が読み出され(ステップC8→C9)、前記同様に真似対象画像H1と次のポーズのモデル画像との類似度評価処理が繰り返される(ステップC2〜C4)。
Here, the pose No. of the similarity evaluation target this time. It is determined whether or not the model image is a left-right asymmetric image (step C4). For example, as shown in FIG. 17A, it is determined that the
一方、例えば図17(B)で示すように、今回の類似度評価対象のポーズNo.1Bのモデル画像12b(1B)が左右非対称のモデル画像であると判断された場合には、当該ポーズ1Bのモデル画像12b(1B)が左右反転され(ステップC4→C5)、図17(C)で示すように、この反転されたモデル画像12b(1B)Rについて真似対象画像H1との縦・横のサイズが合わされる(ステップC6)。
On the other hand, for example, as shown in FIG. When it is determined that the
すると、前記真似対象画像H1と縦横サイズの合わされた反転モデル画像12b(1B)Rとの重ね合わせ評価が行われ、その評価値(%)が算出されて当該ポーズの反転モデル画像12b(1B)Rとの類似度として記憶される(ステップC7)。
Then, the overlay evaluation of the imitation target image H1 and the
この後、次のポーズNo.のモデル画像12b(n)がある場合には(ステップC8)、当該次のポーズNo.のモデル画像12b(n)が順次読み出され(ステップC9)、前記同様に真似対象画像Hnと各ポーズ毎のモデル画像12b(n)との類似度評価処理が繰り返される(ステップC2〜C7)。
After this, the next pose No. If there is a
これにより、例えば図17で示したように、被写体画像(対象画像)H1に対してモデル画像12b(n)との類似度評価を行った場合には、ポーズNo.1Bに対応するモデル画像12b(1B)が最も類似度の高いポーズのモデル画像として評価される。
Thus, for example, as shown in FIG. 17, when the similarity evaluation of the subject image (target image) H1 with the
このように、前記図14〜図17を参照して説明した対応撮影者画像取得処理(ステップSB)によって、撮影画像12g1nから抽出設定された真似対象画像としての被写体画像Hnを真似たポーズの検知ユーザの撮影者画像が決定されると、指定された画像の合成モードが「追加合成モード」であるか又はそうではない「置き換え合成モード」であるかが判断される(ステップS8)。 In this way, by the corresponding photographer image acquisition process (step SB) described with reference to FIGS. 14 to 17, detection of a pose that imitates the subject image Hn as the imitation target image extracted and set from the photographed image 12g1n. When the user's photographer image is determined, it is determined whether the synthesis mode of the designated image is the “additional synthesis mode” or the “replacement synthesis mode” (step S8).
ここで、指定された画像の合成モードが「追加合成モード」で、「1−1:空きエリア追加モード」であると判断された場合には(ステップS8→S9「1−1」)、例えば図6で示したように、撮影画像12g13において抽出された被写体ブロックMに隣接する空きエリアに、前記対応撮影者画像取得処理(図14参照)により取得された真似対象の被写体画像H1のポーズ「集合写真」の真似をした検知ユーザである「山田恵」の撮影者画像12c(1)が追加合成されて表示される(ステップS10)。
If it is determined that the designated image synthesis mode is “additional synthesis mode” and “1-1: empty area addition mode” (step S8 → S9 “1-1”), for example, As shown in FIG. 6, the pose “of the subject image H1 to be imitated acquired by the corresponding photographer image acquisition process (see FIG. 14) in an empty area adjacent to the subject block M extracted in the captured image 12g13. The
この際、前記撮影画像12g13上の被写体ブロックMに隣接する空きエリアに追加合成表示された「山田恵」の撮影者画像12c(1)について、当該合成位置のマニュアルによる移動操作が為されると(ステップS13→S14)、この移動操作後の位置で合成し直されて再表示される(ステップS15)。
At this time, when the
すると、この空きエリア追加モードに応じて作成され、図6(D)で示したように、指定の被写体画像H1のポーズを真似た検知ユーザである「山田恵」の撮影者画像12c(1)が、被写体ブロックMに隣接した空きエリアの所望位置に合成表示されてなる画像データは、シャッタキー16cの全押し操作が検知されることで(ステップS16)、撮影画像メモリ12g1に登録される(ステップS17)。
Then, a
なお、撮影画像メモリ12g1に登録された撮影(合成)画像は、必要に応じて画像出力部20から出力され、メモリカード20Aによる記録、またはVTR(録画装置)20Bによる記録、または画像印刷機20Cによる印刷が行われる。
The photographed (synthesized) image registered in the photographed image memory 12g1 is output from the
また、指定された画像の合成モードが「追加合成モード」で、「1−2:後追い追加モード」であると判断された場合には(ステップS8→S9「1−2」)、例えば図4で示したように、前記対応撮影者画像取得処理(図14参照)により取得された、撮影画像12g11における被写体(対象画像)Hのポーズ「走る」の真似をした検知ユーザである「田中広」の撮影者画像12e(17)が当該被写体(対象画像)Hの走る後を追うような位置、つまり当該一連の撮影画像12g11…のうちの被写体(対象画像)Hが存在する一定サンプリング時間前の位置に追加合成されて表示される(ステップS11)。
If it is determined that the designated image composition mode is “additional composition mode” and “1-2: follow-up addition mode” (step S8 → S9 “1-2”), for example, FIG. As shown in FIG. 14, “Tanaka Hiroshi” is a detection user imitating the pose “run” of the subject (target image) H in the photographed image 12g11 obtained by the corresponding photographer image obtaining process (see FIG. 14). Of the
この際、前記撮影画像12g11上の被写体(対象画像)Hの後追い位置に追加合成表示された「田中広」の撮影者画像12e(17)について、当該合成位置のマニュアルによる移動操作が為されると(ステップS13→S14)、この移動操作後の位置で合成し直されて再表示される(ステップS15)。
At this time, for the
すると、この後追い追加モードに応じて作成され、図4(D)で示したように、被写体画像Hのポーズを真似た検知ユーザである「田中広」の撮影者画像12e(17)が、当該被写体画像Hの後追い位置に合成されてなる画像データは、シャッタキー16cの全押し操作が検知されることで(ステップS16)、撮影画像メモリ12g1に登録される(ステップS17)。
Then, as shown in FIG. 4D, the
一方、指定された画像の合成モードが「置き換え合成モード」で、「2−1:被写体選択置き換えモード」であると判断された場合には(ステップS8→S12「2−1」)、例えば図5で示したように、前記対応撮影者画像取得処理(図14参照)により取得された、撮影画像12g12において指定された真似対象画像である被写体H1のポーズ「走る」の真似をした検知ユーザである「山本明子」の撮影者画像12d(17)R(R:反転画像)が当該指定の被写体(対象画像)H1と置き換えられて合成表示される。
On the other hand, if it is determined that the designated image composition mode is “replacement composition mode” and “2-1: subject selection / replacement mode” (step S8 → S12 “2-1”), for example, FIG. As shown in FIG. 5, the detection user imitating the pose “run” of the subject H1, which is the imitation target image specified in the photographed image 12g12, acquired by the corresponding photographer image acquisition process (see FIG. 14). A
この場合、撮影画像12g12から前記指定された被写体画像(対象画像)H1を含めた2つの被写体画像H1,H2を切り出した撮影背景画像(図示せず)が生成される。そして、前記指定の被写体画像(対象画像)H1に類似の「山本明子」の撮影者画像12d(17)Rと、前記撮影画像12g12から切り出された残り1つの被写体画像H2とは、前記撮影背景画像(図示せず)に対しその撮影時に距離センサ18により検出された撮影距離が遠い順に各被写***置に対応して合成表示される。
In this case, a photographic background image (not shown) is generated by cutting out the two subject images H1 and H2 including the designated subject image (target image) H1 from the photographic image 12g12. Then, the
なお、前記被写体画像H1,H2を切り出した背景画像の生成をせずに、撮影画像12g12に対して、前記指定の被写体画像(対象画像)H1に類似の「山本明子」の撮影者画像12d(17)Rと、残り1つの被写体画像H2とを、その撮影時に距離センサ18により検出された撮影距離が遠い順に各被写***置に重ねて合成してもよい。
The
この際、前記撮影画像12g12上の被写体(対象画像)H1と置き換えられて合成表示された「山本明子」の撮影者画像12d(17)Rについて、当該合成位置のマニュアルによる移動操作が為されると(ステップS13→S14)、この移動操作後の位置で合成し直されて再表示される(ステップS15)。
At this time, for the
すると、この被写体選択置き換えモードに応じて作成され、図15(D)で示したように、被写体画像H1の「走る」ポーズを真似た検知ユーザである「山本明子」の撮影者画像12d(17)Rが、当該被写体画像H1と置き換えられて合成されてなる画像データは、シャッタキー16cの全押し操作が検知されることで(ステップS16)、撮影画像メモリ12g1に登録される(ステップS17)。
Then, a
したがって、前記構成の画像出力装置10による画像処理機能によれば、例えばシャッタ16cの半押し操作に伴い画像入力部17を介して入力された撮影画像12g1nの中から被写体画像Hnが抽出されると、この抽出された被写体画像Hnに対応するポーズの撮影者の画像が撮影者1「山田恵」ポーズ画像メモリ12c,撮影者2「山本明子」ポーズ画像メモリ12d,撮影者3「田中広」ポーズ画像メモリ12e,…から取得され、前記撮影画像12g1nにおける被写体画像Hnとの置き換え又は追加によって合成され表示されるので、ユーザ自身がその撮影画像を撮影している本人であっても、あたかも元々撮影される側の人物の一人として当該ユーザが存在しているかの如く、ユーザ自身の画像を撮影画像中に違和感なく簡単に合成して出力できるようになる。
Therefore, according to the image processing function of the
なお、前記実施形態では、撮影画像12g1nが静止画である場合について説明したが、画像入力部17を介して例えばデジタルビデオムービー17Bにより撮影入力される動画像から、当該動画像内の背景画像に対して時系列的に変化する被写体画像Hn1,Hn2,…を順次抽出し、この順次抽出される被写体画像Hn1,Hn2,…にそれぞれ対応するポーズの検知ユーザである撮影者画像を選択的に取得して、前記撮影動画像内に追加または被写体と置き換え合成して動画出力する構成としてもよい。
In the above-described embodiment, the case where the captured image 12g1n is a still image has been described. However, a moving image captured and input by, for example, the
なお、前記実施形態において、撮影画像12g1nに対する被写体Hnのポーズを真似た撮影者自身の画像の合成処理では、「走る」ポーズや「集合写真」のポーズの被写体画像Hnを真似た「走る」撮影者画像12e(17),12d(17)Rや「集合写真」の撮影者画像12c(1)を当該被写体画像Hnと置き換え合成したり追加合成したりする具体例について説明したが、その他の具体例の一つとして、例えばコンサートでの撮影に際して、撮影画像12g1nから抽出された歌手の「歌う」ポーズの被写体画像Hnに対応して、検知ユーザである「歌う」ポーズ[No.18]の撮影者画像を取得し、前記同様に被写体画像Hnと置き換え合成したり追加合成したりして出力してもよい。
In the above-described embodiment, in the process of combining the photographer's own image that imitates the pose of the subject Hn with the photographed image 12g1n, the “run” photographing that imitates the subject image Hn in the “run” pose or “group photo” pose A specific example in which the
また、前記実施形態では、ポーズ別ユーザ画像撮影処理(ステップX1〜X7)により、各撮影者1,2,3,…毎に種々のポーズ画像12c,12d,12e,…を予め撮影して記憶しておくことで、撮影画像12g1nの被写体画像Hnに対応したポーズの撮影者画像をマッチング取得して当該撮影画像に12g1nに追加または置き換え合成する構成としたが、各撮影者1,2,3,…の画像として前記ポーズ画像ではなく、頭部,胴体,手,足などの各パーツに分解した画像として撮影記憶し、当該各パーツ画像の組み合わせから前記被写体画像Hnに対応したポーズの撮影者画像を取得し合成する構成としてもよい。
Further, in the above-described embodiment, various pose
さらに、前記実施形態では、撮影画像12g1nから抽出された指定の被写体画像Hnのポーズに対応する撮影者画像を、検知ユーザである撮影者nポーズ画像メモリ12c,12d,12e,…の中から画像マッチング(類似度評価)により取得する構成としたが、撮影画像12g1nから複数の被写体画像Hn…が抽出された場合には、当該複数の被写体画像Hn…の各ポーズに平均的なポーズの撮影者画像を、前記同様の画像マッチング(類似度評価)に基づき例えば中間的な類似度評価を行うことで取得し、特に真似対象の被写体画像Hnを指定することなく、違和感のない撮影者画像の合成処理を行う構成としてもよい。
Further, in the above embodiment, a photographer image corresponding to the pose of the designated subject image Hn extracted from the photographed image 12g1n is selected from the photographer n-
なお、前記実施形態において記載した画像出力装置10による各処理の手法、すなわち、図9のフローチャートに示すポーズ別ユーザ画像撮影処理、図10,図11のフローチャートに示す画像処理、図12のフローチャートに示す当該画像処理に伴うユーザ(撮影者)検知処理、図13のフローチャートに示す当該画像処理に伴う対象画像抽出処理、図14のフローチャートに示す当該画像処理に伴う対応撮影者画像取得処理、図15のフローチャートに示す当該対応撮影者画像取得処理に伴う真似対象画像との類似度評価処理等の各手法は、何れもコンピュータに実行させることができるプログラムとして、メモリカード(ROMカード、RAMカード等)、磁気ディスク(フロッピディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の外部記録媒体13に格納して配布することができる。そして、通信ネットワーク(インターネット)Nとの通信機能を備えた種々のコンピュータ端末は、この外部記録媒体13に記憶されたプログラムを記録媒体読取部14によってメモリ12に読み込み、この読み込んだプログラムによって動作が制御されることにより、前記実施形態において説明した画像処理機能を実現し、前述した手法による同様の処理を実行することができる。
Note that each processing method by the
また、前記各手法を実現するためのプログラムのデータは、プログラムコードの形態として通信ネットワーク(インターネット)N上を伝送させることができ、この通信ネットワーク(インターネット)Nに接続されたコンピュータ端末から前記のプログラムデータを取り込み、前述した画像処理機能を実現することもできる。 The program data for realizing each of the above methods can be transmitted on a communication network (Internet) N in the form of a program code, and the above-mentioned data can be transmitted from a computer terminal connected to the communication network (Internet) N. It is also possible to capture the program data and realize the image processing function described above.
なお、本願発明は、前記各実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、前記各実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。例えば、各実施形態に示される全構成要件から幾つかの構成要件が削除されたり、幾つかの構成要件が組み合わされても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除されたり組み合わされた構成が発明として抽出され得るものである。 Note that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention at the stage of implementation. Further, each of the embodiments includes inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in each embodiment or some constituent features are combined, the problems described in the column of the problem to be solved by the invention can be solved. When the effects described in the column of the effect of the invention can be obtained, a configuration in which these constituent elements are deleted or combined can be extracted as an invention.
10 …画像出力装置
10A…デジタルカメラ付き携帯電話
10B…通信機能付きデジタルカメラ
11 …CPU
12 …メモリ
12a…画像出力処理プログラム
12b…モデルポーズ画像メモリ
12c…撮影者1「山田恵」ポーズ画像メモリ
12d…撮影者2「山本明子」ポーズ画像メモリ
12e…撮影者3「田中広」ポーズ画像メモリ
12f…ユーザ認証データメモリ
12fc…撮影者1「山田恵」認証データ
12fd…撮影者2「山本明子」認証データ
12fe…撮影者3「田中広」認証データ
12g…ワークエリア
12g1…撮影画像メモリ
12g2…画像処理ワークエリア
13 …外部記録媒体
14 …記録媒体読取部
15 …電送制御部
16 …入力部
17 …画像入力部
17A…デジタルカメラ
17B…デジタルビデオムービー
17C…VTR(画像再生装置)
17x…認証情報入力部
18 …距離センサ
19 …表示部
20 …画像出力部
20A…メモリカード
20B…VTR(録画装置)
20C…画像印刷機
21 …Webサーバ
N …通信ネットワーク(インターネット)
DESCRIPTION OF
12 ...
17x ... Authentication
20C ...
Claims (13)
各ポーズ毎に撮影者の人物画像を記憶するポーズ別撮影者画像記憶手段と、
前記撮影手段により撮影した撮影画像から真似をする対象者の人物画像を抽出する対象画像抽出手段と、
この対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの撮影者の人物画像を前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得する撮影者画像取得手段と、
この撮影者画像取得手段により取得された撮影者の人物画像を、前記撮影手段により撮影した撮影画像に合成する画像合成手段と、
この画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像を出力する画像出力手段と、
を備えたことを特徴とする画像出力装置。 Photographing means;
Photographer image storage means for each pose for storing a photographer's person image for each pose;
A target image extracting means for extracting a person image of a target person to imitate from a photographed image photographed by the photographing means;
The person image of the photographer in the pose corresponding to the person image of the person to be imitated extracted by the target image extracting means is selected from the person images of the photographer for each pose stored in the photographer image storage means by pose. A photographer image acquisition means to acquire;
Image synthesizing means for synthesizing the photographer's person image obtained by the photographer image obtaining means with the photographed image photographed by the photographing means;
Image output means for outputting a photographed image in which a person image of a photographer in a pose corresponding to the person image of the imitation target person is synthesized by the image composition means;
An image output apparatus comprising:
ことを特徴とする請求項1に記載の画像出力装置。 The image synthesizing unit replaces the person image of the imitation target person extracted by the target image extracting unit with the person image of the photographer acquired by the photographer image acquisition unit, and combines it with the photographed image photographed by the photographing unit. The image replacement composition means
The image output apparatus according to claim 1.
ことを特徴とする請求項1に記載の画像出力装置。 The image composition means is an image addition composition means for adding and synthesizing a person image of a photographer acquired by the photographer image acquisition means to a photographed image photographed by the photographing means.
The image output apparatus according to claim 1.
前記撮影者画像取得手段は、前記対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの前記撮影者検知手段により検知された撮影者の人物画像を前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得する、
ことを特徴とする請求項1〜請求項3の何れか1項に記載の画像出力装置。 A photographer detection means for detecting the photographer;
The photographer image acquisition means stores the photographer's person image detected by the photographer detection means in a pose corresponding to the person image of the imitation target person extracted by the target image extraction means. Obtaining from the photographer's person image for each pose stored by the means;
The image output device according to any one of claims 1 to 3, wherein the image output device is an image output device.
ことを特徴とする請求項1または請求項3に記載の画像出力装置。 The photographer image acquisition means stores each person image of the photographer having an average pose of the person images of the plurality of imitation subjects extracted by the target image extraction means by the photographer image storage means by pose. Obtain from the photographer's portrait image for each pose,
The image output apparatus according to claim 1, wherein the image output apparatus is an image output apparatus.
前記撮影者画像取得手段は、前記対象画像抽出手段により抽出された複数の真似対象者の人物画像の平均的なポーズの前記撮影者検知手段により検知された撮影者の人物画像を前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像の中から取得する、
ことを特徴とする請求項5に記載の画像出力装置。 A photographer detection means for detecting the photographer;
The photographer image acquisition means shoots the person image of the photographer detected by the photographer detection means in the average pose of the person images of the plurality of imitation target persons extracted by the target image extraction means by the pose. Obtaining from the person image of the photographer for each pose stored by the person image storage means;
The image output apparatus according to claim 5, wherein:
ことを特徴とする請求項1〜請求項6の何れか1項に記載の画像出力装置。 The target image extraction unit extracts a changed portion as a person image of the imitation target person from a series of a plurality of captured images captured by the capturing unit.
The image output apparatus according to claim 1, wherein the image output apparatus is an image output apparatus.
前記撮影手段により撮影した撮影画像の各部分までの距離を測定する距離測定手段を有し、
この距離測定手段により測定された撮影画像の各部分までの距離に応じて真似対象者の人物画像を抽出する、
ことを特徴とする請求項1〜請求項6の何れか1項に記載の画像出力装置。 The target image extraction means includes
A distance measuring means for measuring a distance to each part of the photographed image photographed by the photographing means;
Extracting the person image of the person to be imitated according to the distance to each part of the captured image measured by the distance measuring means,
The image output apparatus according to claim 1, wherein the image output apparatus is an image output apparatus.
前記画像出力手段は、前記撮影操作手段により撮影画像の入力段階に設定された場合に、前記画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像を出力し、
前記撮影操作手段により撮影画像の登録段階に設定された場合に、前記画像出力手段により出力された撮影者の人物画像が合成された撮影画像を登録する画像登録手段をさらに備えたことを特徴とする請求項1〜請求項8の何れか1項に記載の画像出力装置。 The photographing means includes photographing operation means for setting a photographing state in two stages, that is, an input stage of a photographed image and a registration stage of the inputted photographed image,
The image output means is a photographic image obtained by synthesizing a person image of a photographer in a pose corresponding to the person image of the person to be imitated by the image composition means when the photographing operation means is set to a photographed image input stage Output an image,
An image registration means for registering a photographed image obtained by synthesizing the photographer's person image output by the image output means when set in the photographed image registration stage by the photographing operation means. The image output device according to any one of claims 1 to 8.
前記対象画像抽出手段により抽出された真似対象者の人物画像と前記ポーズ別撮影者画像記憶手段により記憶された各ポーズ毎の撮影者の人物画像との類似度を評価する類似度評価手段を有し、
この類似度評価手段により評価された真似対象者の人物画像と各ポーズ毎の撮影者の人物画像との類似度に応じて当該真似対象者の人物画像に応じたポーズの撮影者の人物画像を取得する、
ことを特徴とする請求項1〜請求項3の何れか1項に記載の画像出力装置。 The photographer image acquisition means includes
There is a similarity evaluation means for evaluating the similarity between the person image of the imitation subject extracted by the target image extraction means and the person image of the photographer for each pose stored by the pose-specific photographer image storage means. And
The person image of the photographer in the pose corresponding to the person image of the person to be imitated according to the degree of similarity between the person image of the person to be imitated evaluated by the similarity evaluation means and the person image of the photographer for each pose. get,
The image output device according to any one of claims 1 to 3, wherein the image output device is an image output device.
前記撮影者画像取得手段は、
前記対象画像抽出手段により抽出された真似対象者の人物画像と前記ポーズ別モデル画像記憶手段により記憶された各ポーズ毎のモデル画像との類似度を評価する類似度評価手段を有し、
この類似度評価手段により評価された真似対象者の人物画像と各ポーズ毎のモデル画像との類似度に応じて当該真似対象者の人物画像に応じたポーズのモデル画像に対応付けられて前記ポーズ別撮影者画像記憶手段により記憶された撮影者の人物画像を取得する、
ことを特徴とする請求項1〜請求項3の何れか1項に記載の画像出力装置。 Pose-specific model image storage means for storing a model image for each pose in association with a photographer's person image for each pose stored by the pose-specific photographer image storage means;
The photographer image acquisition means includes
Similarity evaluation means for evaluating the similarity between the person image of the imitation target extracted by the target image extraction means and the model image for each pose stored by the pose-specific model image storage means;
The pose associated with the model image of the pose corresponding to the person image of the imitation subject according to the similarity between the person image of the imitation target evaluated by the similarity evaluation means and the model image for each pose. Obtaining a photographer's person image stored by the separate photographer image storage means;
The image output device according to any one of claims 1 to 3, wherein the image output device is an image output device.
この撮影ステップにて撮影した撮影画像から真似をする対象者の人物画像を抽出する対象画像抽出ステップと、
この対象画像抽出ステップにて抽出された真似対象者の人物画像に応じたポーズの撮影者の人物画像を、各ポーズ毎に撮影者の人物画像を記憶しているポーズ別撮影者画像記憶手段に記憶された各ポーズ毎の撮影者の人物画像の中から取得する撮影者画像取得ステップと、
この撮影者画像取得ステップにて取得された撮影者の人物画像を、前記撮影ステップにて撮影した撮影画像に合成する画像合成ステップと、
この画像合成ステップにて前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像を出力する画像出力ステップと、
からなることを特徴とする画像出力方法。 A shooting step for shooting an image;
A target image extraction step of extracting a person image of a target person who imitates from a captured image captured in this shooting step;
The person image of the photographer in the pose corresponding to the person image of the imitation subject extracted in the target image extraction step is stored in the photographer image storage means for each pose storing the photographer's person image for each pose. A photographer image acquisition step of acquiring from the photographer's person image for each stored pose;
An image compositing step of compositing the photographer's person image acquired in the photographer image acquisition step with the captured image captured in the imaging step;
An image output step for outputting a photographed image in which a person image of a photographer in a pose corresponding to the person image of the imitation target person is synthesized in this image composition step;
An image output method comprising:
前記コンピュータを、
撮影手段により撮影した撮影画像から真似をする対象者の人物画像を抽出する対象画像抽出手段、
この対象画像抽出手段により抽出された真似対象者の人物画像に応じたポーズの撮影者の人物画像を、各ポーズ毎に撮影者の人物画像を記憶しているポーズ別撮影者画像記憶手段に記憶された各ポーズ毎の撮影者の人物画像の中から取得する撮影者画像取得手段、
この撮影者画像取得手段により取得された撮影者の人物画像を、前記撮影手段により撮影した撮影画像に合成する画像合成手段、
この画像合成手段により前記真似対象者の人物画像に応じたポーズの撮影者の人物画像が合成された撮影画像を出力する画像出力手段、
として機能させるようにしたコンピュータ読み込み可能な画像出力処理プログラム。 An image output processing program for controlling a computer of an image output device,
The computer,
A target image extracting means for extracting a person image of a target person to imitate from a photographed image photographed by the photographing means;
The photographer's person image in a pose corresponding to the person image of the imitation subject extracted by the target image extracting means is stored in the photographer image storage means for each pose storing the photographer's person image for each pose. Photographer image acquisition means for acquiring from the photographer's person image for each pose
Image synthesizing means for synthesizing the photographer's person image obtained by the photographer image obtaining means with the photographed image photographed by the photographing means;
Image output means for outputting a photographed image in which a person image of a photographer in a pose corresponding to the person image of the imitation target person is synthesized by the image composition means;
A computer-readable image output processing program designed to function as a computer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003336124A JP4151543B2 (en) | 2003-09-26 | 2003-09-26 | Image output apparatus, image output method, and image output processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003336124A JP4151543B2 (en) | 2003-09-26 | 2003-09-26 | Image output apparatus, image output method, and image output processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005109555A JP2005109555A (en) | 2005-04-21 |
JP4151543B2 true JP4151543B2 (en) | 2008-09-17 |
Family
ID=34532364
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003336124A Expired - Fee Related JP4151543B2 (en) | 2003-09-26 | 2003-09-26 | Image output apparatus, image output method, and image output processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4151543B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008262416A (en) * | 2007-04-12 | 2008-10-30 | Olympus Imaging Corp | Image reproduction device, image reproduction program, recording medium and image reproduction method |
KR101441585B1 (en) | 2008-04-30 | 2014-09-25 | 삼성전자 주식회사 | Camera and method for compounding picked-up image |
JP5083559B2 (en) * | 2008-06-02 | 2012-11-28 | カシオ計算機株式会社 | Image composition apparatus, image composition method, and program |
JP7102700B2 (en) * | 2017-09-29 | 2022-07-20 | 大日本印刷株式会社 | Image output device |
CN108171775B (en) * | 2017-12-28 | 2023-09-08 | 努比亚技术有限公司 | Picture synthesis method, mobile terminal and computer readable storage medium |
JP7214092B2 (en) * | 2018-05-31 | 2023-01-30 | 有限会社エムツー | Image control device and its program |
-
2003
- 2003-09-26 JP JP2003336124A patent/JP4151543B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005109555A (en) | 2005-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8212911B2 (en) | Imaging apparatus, imaging system, and imaging method displaying recommendation information | |
EP1507386B1 (en) | Image pickup device and image synthesizing method | |
JP5232669B2 (en) | camera | |
JP2010183317A (en) | Imaging device, image composition and display device, image composition and display method, and program | |
JP4423929B2 (en) | Image output device, image output method, image output processing program, image distribution server, and image distribution processing program | |
JP2006203600A (en) | Imaging apparatus, image processor, image processing system, and image processing method and program | |
JP5169111B2 (en) | Composite image output apparatus and composite image output processing program | |
JP5012373B2 (en) | Composite image output apparatus and composite image output processing program | |
JP2005049939A (en) | Image outputting device, image outputting method, image output processing program, image distributing server, and image distribution processing program | |
JP5651939B2 (en) | Image processing apparatus and program | |
JP4151543B2 (en) | Image output apparatus, image output method, and image output processing program | |
JP5206422B2 (en) | Composition selection device and program | |
JP4989362B2 (en) | IMAGING DEVICE, THROUGH IMAGE DISPLAY METHOD, AND CAPTURED IMAGE RECORDING METHOD | |
JP4254391B2 (en) | Image output device, image output processing program, and image distribution server | |
JP4161769B2 (en) | Image output device, image output method, image output processing program, image distribution server, and image distribution processing program | |
JP3901015B2 (en) | Image output apparatus, image output processing program, and image output method | |
CN113012040B (en) | Image processing method, image processing device, electronic equipment and storage medium | |
JP2007166383A (en) | Digital camera, image composing method, and program | |
JP2001045355A (en) | Photographing device and group photographic image forming method | |
JP2006086732A (en) | Image processor and image processing method | |
JP2013168969A (en) | Image display method, and image display device | |
JP5675922B2 (en) | Shooting display device | |
JP2005107988A (en) | Image output device, image output method, image output processing program, image delivery server and image delivery processing program | |
JP5368165B2 (en) | Imaging display device and imaging display method | |
JP4983494B2 (en) | Composite image output apparatus and composite image output processing program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060810 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080610 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080623 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4151543 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |