JP5249805B2 - Image composition system and image composition method - Google Patents
Image composition system and image composition method Download PDFInfo
- Publication number
- JP5249805B2 JP5249805B2 JP2009028074A JP2009028074A JP5249805B2 JP 5249805 B2 JP5249805 B2 JP 5249805B2 JP 2009028074 A JP2009028074 A JP 2009028074A JP 2009028074 A JP2009028074 A JP 2009028074A JP 5249805 B2 JP5249805 B2 JP 5249805B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- additional
- unit
- position information
- additional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、画像を合成する画像合成システム、撮像装置、画像合成方法、及びプログラムに関する。 The present invention relates to an image composition system, an imaging apparatus, an image composition method, and a program for compositing images.
従来、ＧＰＳにより現在の位置を取得して、現在の位置の地名と撮影した画像とを合成する技術が知られている。 Conventionally, a technique is known in which a current position is acquired by GPS and a place name of the current position is combined with a captured image.
現在の位置の地名を撮影した画像に単に合成すると、ユーザが撮影しようしている被写体に重畳して地名が合成される虞がある。 If the place name at the current position is simply combined with the captured image, the place name may be combined with the subject that the user is shooting.
上記課題を解決するために、本発明の第１の態様においては、撮像装置とサーバとを有する画像合成システムであって、撮像装置は、被写体を撮像する撮像部と、撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、取得した位置情報をサーバに送信する位置情報送信部と、位置情報に応じた付加画像をサーバから取得する付加画像取得部と、撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた位置に、付加画像を配置させた合成画像を生成する合成画像生成部とを備え、サーバは、位置情報に対応付けて付加画像を記録した付加画像記録部と、位置情報送信部が送信した位置情報を受信する位置情報受信部と、付加画像記録部が記録している、受信した位置情報に対応する付加画像を撮像装置に送信する付加画像送信部とを備える。 In order to solve the above problems, in a first aspect of the present invention, an image composition system including an imaging device and a server, the imaging device includes an imaging unit that images a subject, and a captured image that is captured A subject detection unit that detects a specific subject, a location information acquisition unit that acquires location information indicating the current location of the imaging device, a location information transmission unit that transmits the acquired location information to the server, and a response to the location information An additional image acquisition unit that acquires the additional image from the server, and a composite that generates a composite image in which the additional image is arranged at a predetermined position with respect to the position of the specific subject detected by the subject detection unit in the captured image An image generation unit, and the server includes an additional image recording unit that records the additional image in association with the position information, a position information reception unit that receives the position information transmitted by the position information transmission unit, and an additional image. Recording unit is recording, and an additional image transmitting unit that transmits to the imaging device the additional image corresponding to the received location information.
撮像装置は、被写体検出部が検出した特定の被写体の大きさに応じて付加画像の大きさを変更する画像変更部をさらに備え、合成画像生成部は、撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた位置に、画像変更部が変更した付加画像を配置させた合成画像を生成する。 The imaging apparatus further includes an image changing unit that changes the size of the additional image in accordance with the size of the specific subject detected by the subject detection unit, and the composite image generation unit is detected by the subject detection unit in the captured image. A composite image is generated in which the additional image changed by the image changing unit is arranged at a position predetermined with respect to the position of the specific subject.
付加画像記録部は、複数の位置情報及び時刻に対応付けて複数の付加画像を記録しており、付加画像送信部は、受信した位置情報及び時刻に応じた付加画像を撮像装置に送信し、付加画像取得部は、付加画像送信部が送信した付加画像を取得する。 The additional image recording unit records a plurality of additional images in association with the plurality of position information and time, and the additional image transmission unit transmits the received additional information according to the position information and time to the imaging device, The additional image acquisition unit acquires the additional image transmitted by the additional image transmission unit.
撮像装置は、顔の表情を判断する表情判断部をさらに備え、被写体検出部は、特定の被写体として人物の顔を検出し、表情判断部は、被写体検出部が検出した人物の顔の表情を判断し、位置情報送信部は、取得した位置情報及び判断した顔の表情を送信し、付加画像記録部は、複数の位置情報及び複数の顔の表情に対応付けて複数の付加画像を記録しており、付加画像送信部は、受信した位置情報及び顔の表情に応じた付加画像を撮像装置に送信し、付加画像取得部は、付加画像送信部が送信した付加画像を取得する。 The imaging apparatus further includes a facial expression determination unit that determines facial expressions, the subject detection unit detects a human face as a specific subject, and the facial expression determination unit uses the facial expression of the person detected by the subject detection unit. The position information transmission unit transmits the acquired position information and the determined facial expression, and the additional image recording unit records a plurality of additional images in association with the plurality of position information and the plurality of facial expressions. The additional image transmission unit transmits an additional image corresponding to the received position information and facial expression to the imaging device, and the additional image acquisition unit acquires the additional image transmitted by the additional image transmission unit.
撮像装置は、合成画像を表示する表示部を備え、撮像部は、被写体を順次撮像し、付加画像取得部は、位置情報に応じた付加動画像を取得し、合成画像生成部は、順次撮像したそれぞれの撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた付加動画像の位置に、付加動画像のフレーム画像を順次配置させた合成画像を順次生成し、表示部は、合成画像生成部が生成した合成画像を順次表示する。 The imaging device includes a display unit that displays a composite image, the imaging unit sequentially captures the subject, the additional image acquisition unit acquires an additional moving image according to the position information, and the composite image generation unit sequentially captures the image. In each captured image, a combined image in which the frame images of the additional moving image are sequentially arranged at the position of the additional moving image that is predetermined with respect to the position of the specific subject detected by the subject detection unit is sequentially generated, The display unit sequentially displays the composite images generated by the composite image generation unit.
撮像部は、被写体の動画像を撮像し、付加画像取得部は、位置情報に応じた付加動画像を取得し、合成画像生成部は、撮像動画像に対する、被写体検出部が検出した特定の被写体の位置に対して予め定められた付加動画像の位置に、付加動画像を配置させた合成動画像を生成する。 The imaging unit captures a moving image of a subject, the additional image acquisition unit acquires an additional moving image according to position information, and the composite image generation unit detects a specific subject detected by the subject detection unit for the captured moving image A synthesized moving image is generated in which the additional moving image is arranged at a position of the additional moving image that is predetermined with respect to the position.
上記課題を解決するために、本発明の第２の態様においては、画像を合成する撮像装置であって、被写体を撮像する撮像部と、撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、位置情報に応じた付加画像を取得する付加画像取得部と、撮像画像における、被写体検出部が検出した特定の被写体の位置に対して予め定められた位置に、付加画像を配置させた合成画像を生成する合成画像生成部とを備える。 In order to solve the above-described problem, in a second aspect of the present invention, an image pickup apparatus that combines images, an image pickup unit that picks up a subject, and a subject that detects a specific subject in the picked-up image A detection unit, a position information acquisition unit that acquires position information indicating the current position of the imaging device, an additional image acquisition unit that acquires an additional image according to the position information, and a specific object detected by the subject detection unit in the captured image A composite image generation unit configured to generate a composite image in which the additional image is arranged at a position predetermined with respect to the position of the subject.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図１は、実施の形態の画像合成システム１００の一例を示す。画像合成システム１００は、撮像装置２００、ネットワーク２５０、及びサーバ３００を備える。
FIG. 1 shows an example of an
撮像装置２００は、被写体を撮像して画像データを得る。撮像装置２００は、デジタルカメラに限られず、ビデオカメラ、携帯電話、ＰＤＡなどの被写体を撮像することができる電気機器であってよい。撮像装置２００及びサーバ３００は、携帯電話通信網、インターネット網等のネットワーク２５０と接続されている。撮像装置２００及びサーバ３００は、ネットワーク２５０を介して、相互に通信できる。
The
遊園地などのテーマパークの敷地内、市内、又は地域などを任意の複数のエリアに分ける。撮像装置２００が特定の被写体を撮像すると、撮像装置２００が存在するエリアに応じた付加画像をサーバ３００が撮像装置２００に送信する。例えば、エリア１内に存在する特定の被写体を撮像した撮像装置２００に、サーバ３００が送信する画像と、エリア２内に存在する特定の被写体を撮像した撮像装置２００に、サーバ３００が送信する画像とは異なる。撮像装置２００は、撮像した画像とサーバ３００が送信した付加画像とを合成する。なお、撮像装置２００は、プログラムを読み込んだ情報処理装置によって実現してもよい。また、サーバ３００は、プログラムを読み込んだ情報処理装置によって実現してもよい。また、撮像装置２００は、プログラムを記録した記録媒体を有してよい。また、サーバ３００は、プログラムを記録した記録媒体を有してもよい。
Divide the theme park grounds such as an amusement park, the city, or the area into any number of areas. When the
図２は、撮像装置２００の構成の一例を示す。撮像装置２００は、撮像部２０１、被写体検出部２０２、表情判断部２０３、位置情報取得部２０４、位置情報送信部２０５、付加画像取得部２０６、画像変更部２０７、合成画像生成部２０８、表示部２０９、及び記録部２１０を備える。
FIG. 2 shows an example of the configuration of the
撮像部２０１は、被写体からの光を電気信号に変換して、画像データを得る。撮像部２０１は、撮像素子、Ａ／Ｄ変換器、撮像素子駆動ドライバ等を備える。撮像素子駆動ドライバは、撮像素子が蓄積した画像データを読み出す。Ａ／Ｄ変換器は、読み出したアナログ信号の画像データをデジタル信号の画像データに変換する。撮像部２０１は、デジタル信号の撮像画像を被写体検出部２０２、表情判断部２０３、及び合成画像生成部２０８に出力する。撮像素子駆動ドライバ及びＡ／Ｄ変換器は、情報処理装置によって制御される。
The
被写体検出部２０２は、撮像部２０１が撮像した撮像画像内にある特定の被写体を検出する。特定の被写体としては、人物の顔であってもよく、特定の人物の顔であってもよい。また、特定の被写体として、子供の顔であってもよい。さらに、特定の動物、特定の建物、特定の置物、特定の人形等を特定の被写体として検出してよい。被写体検出部２０２は、特定の被写体の特徴データを記録しておいてよく、撮像画像を解析して、特徴データとより一致する画像領域を検出してよい。被写体検出部２０２は、特定の被写体を検出した画像領域の情報を表情判断部２０３、及び画像変更部２０７に出力する。また、被写体検出部２０２は、複数種類の被写体を特定の被写体として検出してもよい。被写体検出部２０２は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
The
表情判断部２０３は、被写体検出部２０２が検出した人の顔の表情を判断する。表情判断部２０３は、撮像部２０１から送られてきた画像データのうち、被写体検出部２０２が検出した人の顔領域の画像データを解析して、表情を判断する。表情判断部２０３は、笑い、泣き、怒りなどのそれぞれの表情の特徴データを記録しておいてよく、どの特徴データとより一致するかを検出することにより、表情を判断してよい。表情判断部２０３は、判断した顔の表情を位置情報送信部２０５に出力する。表情判断部２０３は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
The facial
位置情報取得部２０４は、撮像装置２００の現在位置を取得する。位置情報取得部２０４は、ＧＰＳ等により現在の位置を取得してもよい。また、エリア毎に、エリアの位置を示す情報を無線通信により送信する位置情報送信部を設けてよく、位置情報取得部２０４は、位置情報送信部が送信した位置情報を取得してもよい。また、他の方法によって撮像装置２００の現在位置を取得してもよい。位置情報取得部２０４は、取得した位置情報を位置情報送信部２０５に出力する。位置情報取得部２０４は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
The position
位置情報送信部２０５は、表情判断部２０３が判断した人物の顔の表情を示す情報、及び位置情報取得部２０４が取得した位置情報を、ネットワーク２５０を介してサーバに送信する。位置情報送信部２０５は、携帯電話通信網のパケット通信によりデータを送信してもよく、無線ＬＡＮによりデータを送信してもよい。付加画像取得部２０６は、サーバ３００が位置情報及び顔の表情に応じて送信した付加画像を、ネットワーク２５０を介して取得する。付加画像取得部２０６は、携帯電話通信網のパケット通信によりデータを取得してもよく、無線ＬＡＮによりデータを取得してもよい。付加画像取得部２０６は、取得した付加画像を画像変更部２０７に出力する。付加画像は、静止画像であってもよく、動画像であってもよい。つまり、付加画像とは、静止画像と動画像の両方を意味する。また、付加動画像は、動画の付加画像を示す。位置情報送信部２０５及び付加画像取得部２０６は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
The position
画像変更部２０７は、被写体検出部２０２が検出した特定の被写体の大きさに応じて、付加画像取得部２０６が取得した付加画像の大きさを変更する。被写体検出部２０２が検出した特定の被写体の大きさが大きいほど、付加画像を大きくしてよい。画像変更部２０７は、被写体検出部２０２が検出した特定の被写体の撮像画像内における大きさに応じて付加画像の大きさを変更する。つまり、画像変更部２０７は、撮像画像内における被写体検出部２０２が検出した特定の被写体の画像領域の大きさに応じて付加画像の大きさを変更する。画像変更部２０７は、変更した付加画像を合成画像生成部２０８に出力する。画像変更部２０７は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
The
合成画像生成部２０８は、撮像部２０１が撮像した撮像画像と、付加画像取得部２０６が取得した付加画像とを合成して合成画像を生成する。合成画像生成部２０８は、撮像画像と画像変更部２０７が変更した付加画像とを合成して合成画像を生成してよい。合成画像生成部２０８は、撮像画像における特定の被写体の位置に対して予め定められた位置に、付加画像を配置させた合成画像を生成する。付加画像毎に予め定められた位置が異なってもよい。また、付加画像取得部２０６が付加動画像を取得した場合は、撮像画像における特定の被写体の位置に対して予め定められた付加動画像の位置に、付加動画像のフレーム画像を配置させた合成画像を生成してもよい。また、合成画像生成部２０８は、撮像動画像に対する、被写体検出部２０２が検出した被写体の位置に対して予め定められた付記動画像の位置に、付加動画像を配置させた合成動画像を生成してもよい。
The composite
また、撮像部２０１が所定のフレームレートで画像を撮像している場合、合成画像生成部２０８は、撮像された撮像画像順に付加画像を配置させた合成画像を順次生成してもよい。また、付加画像取得部２０６は、付加動画像を取得した場合は、順次撮像した撮像画像における特定の被写体の位置に対して予め定められた付加動画像の位置に、付加動画像のフレーム画像を順次配置させた合成画像を順次生成してもよい。つまり、撮像した１枚目の撮像画像と、付加動画像の１枚目のフレーム画像とを合成して、撮像した２枚目の撮像画像と、付加動画像の２枚目のフレーム画像とを合成するというように、撮像した撮像動画像と付加動画像とを合成する。合成画像生成部２０８は、ＣＰＵ等の情報処理装置によって実現してもよく、電子回路又は電気回路によって実現してもよい。
When the
表示部２０９は、合成画像生成部２０８が生成した合成画像を表示する。表示部２０９は、液晶、有機ＥＬ、プラズマなどのディスプレイを有する。記録部２１０は、合成画像生成部２０８が生成した合成画像を記録する。記録部２１０は、ハードディスク、不揮発性メモリ等の記録媒体を有する。
The
図３は、サーバ３００の構成の一例を示す。サーバ３００は、位置情報受信部３０１、付加画像記録部３０２、及び付加画像送信部３０３を有する。位置情報受信部３０１は、ネットワーク２５０を介して、撮像装置２００が送信した位置情報及び顔の表情を受信する。位置情報受信部３０１は、携帯電話通信網のパケット通信によりデータを受信してもよく、無線ＬＡＮによりデータを受信してもよい。
FIG. 3 shows an exemplary configuration of the
付加画像記録部３０２は、複数の位置情報のそれぞれに対応づけて複数の付加画像を格納した付加画像テーブル４００を有する。付加画像記録部３０２は、位置情報受信部３０１が受信した位置情報に対応する付加画像を付加画像送信部３０３に出力する。付加画像記録部３０２は、複数の位置情報及び時刻に対応づけて複数の付加画像を記録してもよい。また、付加画像記録部３０２は、位置情報受信部３０１が受信した位置情報及び現在の時刻に対応する付加画像を付加画像送信部３０３に出力してもよい。現在の時刻とは、位置情報受信部３０１が位置情報を受信した時刻であってもよく、位置情報送信部２０５が位置情報を送信した時刻であってもよい。また、付加画像記録部３０２は、複数の位置情報及び複数の顔の表情に対応づけて複数の付加画像を記録してもよい。付加画像記録部３０２は、位置情報受信部３０１が受信した位置情報及び顔の表情に対応する付加画像を付加画像送信部３０３に出力してもよい。
The additional
付加画像送信部３０３は、付加画像記録部３０２から送られてきた付加画像をネットワーク２５０を介して撮像装置２００に送信する。詳しくは、付加画像送信部３０３は、位置情報受信部３０１が受信した位置情報に応じた付加画像を撮像装置２００に送信する。また、付加画像送信部３０３は、位置情報受信部３０１が受信した位置情報及び現在の時刻に応じた付加画像を撮像装置２００に送信してもよい。また、付加画像送信部３０３は、位置情報受信部３０１が受信した位置情報及び顔の表情に応じた付加画像を撮像装置２００に送信してもよい。なお、撮像装置２００が表情判断部２０３を有するのではなく、サーバ３００が表情判断部２０３を有してもよい。この場合は、位置情報送信部２０５は、位置情報と被写体検出部２０２が検出した被写体領域の画像データを送信する。そして、サーバ３００側にある表情判断部２０３は、位置情報受信部３０１が受信した被写体領域の画像データを解析して表情を判断してもよい。
The additional
図４は、付加画像テーブル４００の一例を示す。付加画像テーブル４００は、エリアごとに付加画像を記録している。また、付加画像テーブル４００は、それぞれのエリアごとに、時刻に応じた付加画像をそれぞれ記録している。また、付加画像テーブル４００は、それぞれの時刻毎に、顔の表情に応じた付加画像をそれぞれ記録している。また、付加画像テーブル４００は、それぞれの付加画像の合成位置を記録している。この合成位置は、撮像画像における、被写体検出部２０２が検出した特定の被写体の位置に対して予め定められた位置を示す。つまり、合成位置は、被写体検出部２０２が検出した被写***置と、撮像画像における付加画像を配置させる位置との相対距離を示す。この合成位置が示す相対距離は、検出した被写体からの実距離を示す。撮像画像上における実距離は、検出した被写体の大きさから求めることができる。したがって、検出した被写体が小さく撮像された場合は、検出された被写***置と、撮像画像における付加画像を配置させる位置との相対距離は短くなる。また、検出した被写体が大きく撮像された場合は、検出された被写***置と、撮像画像における付加画像を配置させる位置との相対距離は長くなる。
FIG. 4 shows an example of the additional image table 400. The additional image table 400 records additional images for each area. Further, the additional image table 400 records additional images according to time for each area. The additional image table 400 records additional images corresponding to facial expressions for each time. Further, the additional image table 400 records the composite position of each additional image. This combination position indicates a position that is predetermined with respect to the position of the specific subject detected by the
エリア１の場合を例にとって説明すると、時刻がＡＭ９：００からＡＭ９：５９までの間は、顔の表情が「笑い」に対応する付加画像は、「ａａａ．ｊｐｇ」となり、顔の表情が「泣き」に対応する付加画像は、「ｂｂｂ．ｊｐｇ」となる。「ａａａ．ｊｐｇ」及び「ｂｂｂ．ｊｐｇ」は、例えば、キャラクターの画像であってもよい。「ａａａ．ｊｐｇ」の画像は、キャラクターが笑った画像であってもよく、「ｂｂｂ．ｊｐｇ」の画像は、キャラクターが泣いた画像であってもよい。つまり、顔の表情と同じ表情を有するキャラクター画像であってもよい。なお、付加画像は、キャラクターの画像でなくてもよく、文字画像、又はデザイン画像であってもよい。また、付加画像テーブル４００は、顔の表情に応じた付加画像を記録しなくてもよい。つまり、時刻に応じた付加画像を記録してもよい。
Taking the case of
また、エリア１の時刻がＡＭ１０：００からＡＭ１０：５９までの間は、顔の表情が「笑い」に対応する付加画像は、「ａａａ．ｍｐｇ」となり、顔の表情が「泣き」に対応する付加画像は、「ｂｂｂ．ｍｐｇ」となる。ここで、「ａａａ．ｍｐｇ」は、「ｂｂｂ．ｍｐｇ」は、例えば、キャラクターの動画像であってもよい。「ａａａ．ｍｐｇ」の付加画像は、キャラクターが笑った動画像であってもよく、「ｂｂｂ．ｍｐｇ」の付加画像は、キャラクターが泣いた動画像であってもよい。つまり、顔の表情と同じ表情を有するキャラクターの動画像であってもよい。なお、付加画像は、キャラクターの動画像でなくてもよく、文字の動画像、又はデザインの動画像等の動画像であってもよい。
In addition, when the time in
エリア１の時刻「ＡＭ９：００〜ＡＭ９：５９」に対応する付加画像の合成位置は、右方向に１０ｃｍとなる。つまり、検出した被写体から実距離で右方向に１０ｃｍ離れた位置が合成位置となる。ここで、右方向とは撮像画像上における検出した被写体からの方向であってもよい。この場合は、撮像画像の上を上方向として、右を右方向とする。また、エリア１の時刻「ＡＭ１０：００〜ＡＭ１０：５９」に対応する付加画像の合成位置は、周囲に２０ｃｍとなる。つまり、検出した被写体から実距離で周囲２０ｃｍ離れた位置が付加動画像の合成位置となる。また、付加動画像のそれぞれのフレーム画像毎に合成位置を記録してもよい。なお、時刻毎に、合成位置を変えるようにしたが、付加画像毎に合成位置を変えるようにしてもよい。また、付加画像テーブル４００では、時刻を「ＡＭ９：００〜ＡＭ９：５９」、「ＡＭ：１０：００〜ＡＭ１０：５９」と、１時間単位で区切り、１時間毎に付加画像を対応づけて記録するようにしたが、１分単位、１秒単位で、付加画像を対応づけて記録してもよい。
The combined position of the additional image corresponding to the time “AM9: 00 to AM9: 59” in
これにより、ユーザが撮影しようとしている被写体に応じた適切な位置に付加画像を配置させた合成画像を生成することできる。また、同じ位置であっても、時刻が違えば付加画像が異なるので、ユーザの興趣を高めることができる。例えば、昼の時刻は、キャラクターが外で遊んでいる付加画像を格納しておき、夜の時刻になると、寝ているキャラクターの付加画像を格納してもよい。また、顔の表情毎に異なる付加画像を格納しているので、特定の被写体の表情に応じたキャラクターの付加画像を合成させることができ、ユーザの興趣を高めることができる。 Thereby, it is possible to generate a composite image in which the additional image is arranged at an appropriate position according to the subject that the user is shooting. Moreover, even if it is the same position, if a time is different, since an additional image differs, it can raise a user's interest. For example, an additional image of a character playing outside may be stored at noon time, and an additional image of a sleeping character may be stored at night time. Further, since different additional images are stored for each facial expression, it is possible to synthesize additional images of characters according to the facial expression of a specific subject, and enhance the interest of the user.
図５は、画像合成システム１００の動作のフローチャートを示す。図５の左側のフローチャートは撮像装置２００の動作を示す。図５の右側のフローチャートはサーバ３００の動作を示す。まず、撮像装置２００が起動すると、ステップＳ１で、位置情報取得部２０４は、撮像装置２００の現在位置を取得する。ステップＳ２で、撮像部２０１は、被写体を仮撮像する。この仮撮像とは、ユーザの撮影指示を行われるまで、スルー画像表示させる画像の撮像のことをいう。ステップＳ３で、被写体検出部２０２は、撮像部２０１が撮像した撮像画像内にある特定の被写体を検出する。被写体検出部２０２は、特定の被写体として人の顔を検出してもよい。ステップＳ４で、表情判断部２０３は、被写体検出部２０２が検出した人の顔の表情を判断する。ステップＳ５で、位置情報送信部２０５は、位置情報取得部２０４が取得した位置情報及び表情判断部２０３が判断した顔の表情を示す情報をネットワーク２５０を介して、サーバ３００に送信する。
FIG. 5 shows a flowchart of the operation of the
撮像装置２００から位置情報及び顔の表情を示す情報がサーバ３００に送られてくると、ステップＳ６で、位置情報受信部３０１は、送られてきた位置情報及び顔の表情を示す情報を受信する。ステップＳ７で、付加画像送信部３０３は、付加画像記録部３０２に記録されている、位置情報受信部３０１が受信した位置情報、顔の表情、及び現在の時刻に応じた付加画像を撮像装置２００に送信する。付加画像送信部３０３は、送信する付加画像の合成位置を示す合成位置情報を付加画像と共に送ってもよい。なお、位置情報、顔の表情及び現在の時刻に対応する付加画像が付加動画像の場合は、付加画像送信部３０３は、対応する付加動画像のフレーム画像を送信してもよい。この送信するフレーム画像は、前回送信したフレーム画像の次に表示すべきフレーム画像であってよい。前回送信したフレーム画像がない場合、つまり、付加動画像のフレーム画像を初めて送信する場合は、１枚目のフレーム画像を送信してもよい。つまり、付加画像送信部３０３は、順々に付加動画像のフレーム画像を送信してもよい。これにより、例えば、スルー画像中に被写体の表情が変わった場合は、送信されるフレーム画像のキャラクターの表情も変わることになる。ステップＳ８で、付加画像取得部２０６は、サーバ３００から送られてきた付加画像を取得する。付加画像取得部２０６は、合成位置情報も取得してもよい。ステップＳ９で、被写体検出部２０２が検出した被写体の大きさに応じて、付加画像取得部２０６が取得した付加画像の大きさを変更する。例えば、特定の被写体より遥かに小さいキャラクターが付加画像の場合に、特定の被写体が小さく撮像された場合、付加画像を小さくするので、小さいキャラクターが特定の被写体より大きくなることはない。なお、逆に特定の被写体が小さいほど、付加画像を大きくしてもよい。
When position information and facial expression information are sent from the
ステップＳ１０で、合成画像生成部２０８は、被写体検出部２０２が検出した被写体の位置に対して予め定められた位置に、取得した付加画像を配置させた合成画像を生成する。合成画像生成部２０８は、被写体検出部２０２が検出した被写体の位置に対して予め定められた位置に、画像変更部２０７が変更した付加画像を配置させた合成画像を生成してもよい。ステップＳ１１で、表示部２０９は、合成画像生成部２０８が生成した合成画像を表示する。ステップＳ１２で、撮像装置２００は、本撮影の指示があるか否かを判断して、本撮影の指示がない場合はステップＳ１に戻り、上記した動作を繰り返す。撮像装置２００は、撮影を指示する撮影指示ボタンを有してよく、撮影指示ボタンの操作が行われると、本撮影が指示されたと判断する。これにより、スルー画像表示時に合成画像を表示することができる。また、付加動画像が合成された動画の合成動画像を生成することができ、ユーザの興趣を高めることができる。
In step S <b> 10, the composite
ステップＳ１２で、本撮影が指示されたと判断すると、撮像部２０１は、被写体を本撮像する。ステップＳ１３で、合成画像生成部２０８は、撮像画像と直近に取得した付加画像とを合成する。合成画像生成部２０８は、撮像画像と、画像変更部２０７が変更した付加画像とを合成してもよい。この場合も、合成画像生成部２０８は、撮像画像に対して、被写体検出部２０２が直近に検出した被写体の位置に対して予め定められた位置に、直近に取得した付加画像を配置させた合成画像を生成する。なお、本撮影の指示後に、付加画像取得部２０６が新たに付加画像を取得して、合成画像生成部２０８は、新たに取得した付加画像を用いて合成画像を生成してよい。また、被写体検出部２０２が本撮影の指示後に撮像した撮像画像内にある特定の被写体を検出してもよい。この場合は、合成画像生成部２０８は、本撮影の指示後に検出した被写体の位置に対して予め定められた位置に付加画像を配置させた合成画像を生成してもよい。ステップＳ１５で、記録部２１０は、ステップＳ１４で生成した合成画像を記録する。なお、表示部２０９は、ステップＳ１４で生成した合成画像を表示してもよい。
If it is determined in step S12 that the main shooting has been instructed, the
なお、ステップＳ１２の本撮影の指示が動画の本撮影の指示の場合は、本撮影の指示が終了するまで、ステップＳ１からステップＳ１１の動作を繰り返すと共に、ステップＳ１０で生成した合成画像を順次記録してもよい。 If the instruction for main shooting in step S12 is an instruction for main shooting of a moving image, the operations from step S1 to step S11 are repeated until the instruction for main shooting is finished, and the composite images generated in step S10 are sequentially recorded. May be.
また、ステップＳ１０では、撮像画像における、検出された特定の被写体の位置に対して予め定められた位置に、取得した付加画像を配置させた合成画像を生成するようにしたが、ユーザが合成位置を変更できるようにしてもよい。撮像装置２００は、ユーザが画像の合成位置を指示する指示部を有してよい。この指示部は、カーソルキー、又はタッチパネル等であってよい。合成画像生成部２０８は、ユーザの指示部の操作によって合成位置が指示されると、指示された合成位置に付加画像を配置させる。この場合、合成画像生成部２０８は、ユーザによって合成位置が指示されると、検出された特定の被写体の位置に応じた合成位置ではなく、ユーザによって指示された合成位置に付加画像を配置させる。つまり、合成画像生成部２０８は、ユーザの指示に応じて合成位置を変更する。
In step S10, a composite image in which the acquired additional image is arranged at a predetermined position with respect to the position of the detected specific subject in the captured image is generated. May be changed. The
スルー画像表示中は、検出された特定の被写体に対して予め定められた位置に付加画像が合成された合成画像が表示されるが、付加画像が示すキャラクターの位置がユーザの好みでない場合は、ユーザは合成位置の指示することができる。そして、合成位置が指示された後は、ステップＳ１０で、指示された合成位置に付加画像が配置された合成画像が生成されて、ステップＳ１１で合成画像が表示されることになる。また、本撮影の指示がされる前に、ユーザによって合成位置が指示された場合は、ステップＳ１４で、合成画像生成部２０８は、該指示された合成位置に付加画像を配置させた合成画像を生成する。なお、撮像装置２００は、解除キーを備えてもよい。ユーザが合成位置を指示した後に解除キーを操作すると、解除キー操作後は、合成画像生成部２０８は、検出された被写体の位置に対して予め定められた位置に付加画像を配置させた合成画像を生成する。
During the through image display, a composite image in which the additional image is combined at a predetermined position with respect to the detected specific subject is displayed, but if the position of the character indicated by the additional image is not the user's preference, The user can specify the synthesis position. After the synthesis position is instructed, a synthesized image in which an additional image is arranged at the designated synthesis position is generated in step S10, and the synthesized image is displayed in step S11. If the composite position is instructed by the user before the main shooting instruction is given, in step S14, the composite
また、ステップＳ１４では、本撮像された撮像画像と付加画像とを合成して、ステップＳ１５で、合成画像を記録するようにしたが、ステップＳ１４の動作を行わずにステップＳ１５に進んでもよい。この場合は、ステップＳ１５で、記録部２１０は、本撮像された撮像画像と付加画像とを対応付けて記録する。そして、記録された撮像画像を表示するときに、対応づけて記録された付加画像を、検出された特定の被写体の位置に対して予め定められた位置に配置させて表示させる。そして、ユーザにより合成位置の指示があると、指示された合成位置に付加画像を配置させて記録された撮像画像を表示させてもよい。また、本撮影指示の前に、ユーザによって合成位置が指示された場合は、本撮像された撮像画像と付加画像とを合成せずに、記録部２１０は、撮像画像と付加画像とを対応づけて記録してもよい。このように、撮像画像と付加画像とを合成しないで記録するので、記録した撮像画像を表示させるときに、付加画像の表示位置を変更することができる。
In step S14, the captured image that has been actually captured and the additional image are combined and the combined image is recorded in step S15. However, the operation may proceed to step S15 without performing the operation of step S14. In this case, in step S15, the
図６は、合成画像生成部２０８が生成した合成画像の一例を示す。合成画像５０１は、被写体検出部２０２が検出した被写体６０１に対して予め定められた位置に付加画像６０２を配置された画像となる。図７は、付加動画像の場合における合成画像生成部２０８が生成した合成動画像の一例を示す。合成動画像５０２は、撮像動画像に対する、被写体検出部２０２が検出した被写体６０３に対して予め定められた付加動画像の位置に、付加動画像が配置された動画像となる。つまり、撮像部２０１が順次撮像したそれぞれのフレーム画像に対する、検出された被写体に対して予め定められた付加動画像の位置に、付加動画像のフレーム画像を順次配置させた合成画像を順次生成することにより合成動画像を生成する。ここでは、付加動画像の合成位置は、検出した被写体６０３から周囲２０ｃｍとして、付加動画像は蝶々の動画とすると、生成された合成動画像は、検出された被写体の周囲２０ｃｍに蝶々が飛んでいる合成動画像５０２となる。図７では、便宜上蝶々６０４の動きを表すことを目的として、蝶々６０４を複数描写しているが、合成動画像のそれぞれのフレーム画像上には蝶々６０４は１つとなる。この付加動画像の合成位置を基に、付加動画像のそれぞれのフレーム画像の合成位置が定まる。そして、被写体６０３が動くと、その動きに応じて、付加動画の合成位置も変わる。つまり、被写体６０３が動いても、蝶々６０４は、被写体の周囲２０ｃｍを動いた合成動画像５０３となる。
FIG. 6 shows an example of a composite image generated by the composite
これにより、例えば、テーマパーク内のそれぞれのエリアに、テーマパークのキャラクターの付加画像を設けておく。そして、ユーザが該エリアに入って撮像装置で特定の被写体を撮像すると、現実ではいないキャラクターが撮像された撮像画像内にいることになる。また、サーバ３００は、キャラクターが仮想的に存在するエリアに撮像装置２００が入ると、撮像装置２００に、又は撮像装置２００を所有しているユーザの携帯電話にメールにより、「近くにキャラクターがいます」と知らせてもよい。このメールを受けて、ユーザが撮像装置２００で周囲を撮像すると、キャラクターが画像上に存在することになる。なお、サーバ３００から付加画像を取得するようにしたが、テーマパークに入場するときに、付加画像記録部３０２に格納されている付加画像テーブル４００を撮像装置２００に一括ダウンロードしてもよく、付加画像テーブル４００を格納した記録媒体を撮像装置２００に装着してもよい。これにより、サーバ３００と通信する必要がなくなる。また、図５のフローチャートでは、付加動画像のフレーム画像を逐次サーバ３００から取得するようにしたが、エリアに入ると付加動画像を一括して取得するようにしてもよい。また、特定の被写体として顔を検出した場合は、検出した顔の表情を判断するようにしたが、笑顔を判断しなくてもよい。
Thus, for example, an additional image of a theme park character is provided in each area in the theme park. When the user enters the area and images a specific subject with the imaging device, a character that is not real is in the captured image. In addition, when the
また、本実施の形態は、テーマパーク以外の場所でも適用できる。例えば、街にあるポスター、看板を撮像装置２００で撮像することによって初めて広告として意味を成すようにしてもよい。
In addition, this embodiment can be applied to places other than the theme park. For example, it may be meaningful as an advertisement for the first time when a poster or a signboard in the city is imaged by the
図８は、特定の被写体として文字を検出する場合における、撮像画像及び該撮像画像に付加画像が合成された合成画像の一例を示す。被写体検出部２０２は、特定の被写体として、「Ａ Ｃ Ｅ Ｇ」という文字を検出する場合を例にとって説明する。被写体検出部２０２が「Ａ Ｃ Ｅ Ｇ」という文字を検出すると、現在の位置情報に応じた付加画像を取得することにより、「Ａ Ｃ Ｅ Ｇ」の撮像画像５０５と付加画像とを合成して、「ＡＢＣＤＥＦＧ」という合成画像５０６を生成するようにしてもよい。これにより、「Ａ Ｃ Ｅ Ｇ」単体では広告としては意味を成さない文字が、付加画像を合成することにより、初めて広告として機能する。したがって、ユーザの興趣を高めることができ、人の注意を広告に向けることができる。
FIG. 8 shows an example of a captured image and a combined image obtained by combining an additional image with the captured image when a character is detected as a specific subject. An example will be described in which the
また、被写体検出部２０２が特定の被写体としてマネキンを検出すると、現在の位置情報に応じた付加画像を取得して、マネキンの撮像画像と付加画像とを合成することにより、服を着たマネキンの合成画像を生成してもよい。また、被写体検出部２０２が特定の被写体として樅の木を検出すると、現在の位置情報に応じた付加画像を取得して、樅の木の撮像画像と付加画像とを合成することにより、クリスマスの飾り付けがされた樅の木の合成画像を生成してもよい。
In addition, when the
さらに、検出した特定の被写体の種類及び位置情報等に応じて、取得する付加画像を変えるようにしてもよい。例えば、同じエリアであっても、検出した被写体の種類によって付加画像取得部２０６が取得する付加画像の内容を変えてもよい。例えば、子供の顔を検出した場合と、大人の顔を検出した場合とでは、取得する付加画像を変えるようにしてもよい。また、同じエリアであっても、特定の被写体として検出した文字が違う場合は、異なる付加画像を取得してもよい。また、オリエンテーションなどで、ある場所である被写体を撮像すると付加画像を取得できるようにしてもよい。また、宝探しゲームにおいて、検出した特定の被写体の種類に応じて、宝を表す付加画像を異ならせてもよい。この付加画像はまた、合成画像を記録するようにしたが、付加画像のみを記録できるようにしてもよい。また、位置情報に拘らずに被写体検出部２０２が検出した被写体の種類に応じた付加画像を取得するようにしてもよい。
Furthermore, the additional image to be acquired may be changed according to the type and position information of the detected specific subject. For example, even in the same area, the content of the additional image acquired by the additional
また、特定の被写体を検出すると、付加画像取得部２０６は、位置情報に対応した付加画像を取得して、合成画像生成部２０８は、撮像画像と付加画像とを合成するようにしたが、特定の被写体の検出に関わらず、位置情報に対応した付加画像を取得してもよい。この場合、付加画像に対応した位置情報も取得する。この付加画像に対応した位置情報とは、例えば、経緯、緯度であってもよく、実際のエリアのどの位置であるかを示す情報であってもよい。また、撮像装置２００は、方位センサを有してよく、位置情報取得部２０４が取得した位置と方位センサによりどの範囲が撮像されているかを判断する。そして、取得した付加画像に対応する位置情報が示す位置が撮像されると、合成画像生成部２０８は、撮像した撮像画像と付加画像とを合成して表示してもよい。合成画像生成部２０８は、撮像装置２００の現在の位置及び方位センサにより検出された方位から、撮像画像における、付加画像に対応する位置情報が示す位置に付加画像を配置させて、合成画像を生成してもよい。これにより、ユーザが撮像装置２００をパーンして、付加画像に対応する位置が画角内に入ると突然キャラクターが出現して、付加画像に対応する位置が画角から外れるとキャラクターがいなくなる。つまり、仮想的にキャラクターがある位置に存在するように演出することができる。
Further, when a specific subject is detected, the additional
また、合成画像生成部２０８は、仮撮像された撮像画像と付加画像とを合成するようにしたが、本撮像された撮像画像と付加画像とを合成するようにしてもよい。これにより、ユーザは、スルー画像表示中は、キャラクターなどの付加画像を見ることはできないが、撮影をしてみて初めてキャラクターなどの付加画像が合成された合成画像を見ることができる。また、ユーザの興趣を高めることができる。また、動画像を撮像した後に、動画像と付加動画像とを合成するようにしてもよい。
The composite
記録部２１０は、合成画像又は付加画像と、位置情報取得部２０４が取得した位置情報とを、対応づけて記録するようにしてもよい。この場合は、撮像装置２００は、合成画像又は付加画像を他の撮像装置２００、又は他の機器に送信した場合でも位置情報だけは送信できないように設定する。これにより、ユーザは、オリエンテーションなどで、付加画像を自分で集めずに、他人から付加画像又は合成画像をもらうという不正ができなくなる。つまり、ユーザは、合成画像又は付加画像と位置情報とにより、自分で合成画像又は付加画像を集めたということを証明できる。また、サーバが、付加画像を送信した撮像装置２００の識別情報と、送信した付加画像又は受信した位置情報の履歴を記録しておくようにしてもよい。
The
また、被写体検出部２０２が特定の被写体を検出してから、付加画像取得部２０６は、位置情報に対応する付加画像を取得するようにしたが、付加画像取得部２０６が付加画像を取得してから、被写体検出部２０２が特定の被写体を検出してもよい。特定の被写体が検出されなかった場合は、合成画像生成部２０８は、撮像画像と付加画像とを合成しなくてもよく、撮像画像の所定の位置に付加画像を配置させた合成画像を生成してもよい。
Further, after the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
１００ 画像合成システム、２００ 撮像装置、２５０ ネットワーク、３００ サーバ、２０１ 撮像部、２０２ 被写体検出部、２０３ 表情判断部、２０４ 位置情報取得部、２０５ 位置情報送信部、２０６ 付加画像取得部、２０７ 画像変更部、２０８ 合成画像生成部、２０９ 表示部、２１０ 記録部、３０１ 位置情報受信部、３０２ 付加画像記録部、３０３ 付加画像送信部、４００ 付加画像テーブル、５０１ 合成画像、５０５ 撮像画像、５０６ 合成画像、６０１ 被写体、６０２ 付加画像、５０２ 合成動画像、５０３ 合成動画像、６０３ 被写体、６０４ 蝶々
DESCRIPTION OF
Claims (6)
前記撮像装置は、
被写体を撮像する撮像部と、
撮像した撮像画像内にある特定の被写体を検出する被写体検出部と、
前記撮像装置の現在位置を示す位置情報を取得する位置情報取得部と、
取得した位置情報を前記サーバに送信する位置情報送信部と、
前記位置情報に応じた付加画像を前記サーバから取得する付加画像取得部と、
前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた位置に、前記付加画像を配置させた合成画像を生成する合成画像生成部と
を備え、
前記サーバは、
前記位置情報に対応付けて前記付加画像を記録した付加画像記録部と、
前記位置情報送信部が送信した前記位置情報を受信する位置情報受信部と、
前記付加画像記録部が記録している、受信した前記位置情報に対応する前記付加画像を前記撮像装置に送信する付加画像送信部と
を備え、
前記撮像装置は、
顔の表情を判断する表情判断部をさらに備え、
前記被写体検出部は、前記特定の被写体として人物の顔を検出し、
前記表情判断部は、前記被写体検出部が検出した人物の顔の表情を判断し、
前記位置情報送信部は、取得した位置情報及び判断した顔の表情を送信し、
前記付加画像記録部は、複数の前記位置情報及び複数の前記顔の表情に対応付けて複数の前記付加画像を記録しており、
前記付加画像送信部は、受信した前記位置情報及び前記顔の表情に応じた前記付加画像を前記撮像装置に送信し、
前記付加画像取得部は、前記付加画像送信部が送信した前記付加画像を取得する
画像合成システム。 An image composition system having an imaging device and a server,
The imaging device
An imaging unit for imaging a subject;
A subject detection unit for detecting a specific subject in the captured image;
A position information acquisition unit that acquires position information indicating a current position of the imaging device;
A position information transmitting unit that transmits the acquired position information to the server;
An additional image acquisition unit that acquires an additional image corresponding to the position information from the server;
A composite image generation unit that generates a composite image in which the additional image is arranged at a position predetermined with respect to the position of the specific subject detected by the subject detection unit in the captured image;
The server
An additional image recording unit that records the additional image in association with the position information;
A position information receiving unit that receives the position information transmitted by the position information transmitting unit;
An additional image transmission unit configured to transmit the additional image corresponding to the received position information recorded by the additional image recording unit to the imaging device;
The imaging device
A facial expression judgment unit for judging facial expressions;
The subject detection unit detects a human face as the specific subject,
The facial expression determination unit determines the facial expression of the person detected by the subject detection unit,
The position information transmission unit transmits the acquired position information and the determined facial expression,
The additional image recording unit records a plurality of the additional images in association with a plurality of the positional information and a plurality of facial expressions,
The additional image transmission unit transmits the additional image corresponding to the received position information and facial expression to the imaging device,
The additional image acquisition unit acquires the additional image transmitted by the additional image transmission unit .
前記被写体検出部が検出した前記特定の被写体の大きさに応じて前記付加画像の大きさを変更する画像変更部をさらに備え、
前記合成画像生成部は、前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた位置に、前記画像変更部が変更した前記付加画像を配置させた前記合成画像を生成する
請求項１に記載の画像合成システム。 The imaging device
An image changing unit that changes the size of the additional image according to the size of the specific subject detected by the subject detection unit;
The composite image generation unit arranges the additional image changed by the image change unit at a position predetermined with respect to the position of the specific subject detected by the subject detection unit in the captured image. The image composition system according to claim 1, wherein a composite image is generated.
前記付加画像送信部は、受信した前記位置情報及び時刻に応じた前記付加画像を前記撮像装置に送信し、
前記付加画像取得部は、前記付加画像送信部が送信した前記付加画像を取得する
請求項１又は２に記載の画像合成システム。 The additional image recording unit records the plurality of additional images in association with the plurality of position information and time,
The additional image transmission unit transmits the additional image according to the received position information and time to the imaging device,
The image composition system according to claim 1, wherein the additional image acquisition unit acquires the additional image transmitted by the additional image transmission unit.
前記合成画像を表示する表示部を備え、
前記撮像部は、被写体を順次撮像し、
前記付加画像取得部は、前記位置情報に応じた付加動画像を取得し、
前記合成画像生成部は、順次撮像したそれぞれの前記撮像画像における、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた前記付加動画像の位置に、前記付加動画像のフレーム画像を順次配置させた前記合成画像を順次生成し、
前記表示部は、前記合成画像生成部が生成した前記合成画像を順次表示する
請求項１から３の何れか一項に記載の画像合成システム。 The imaging device
A display unit for displaying the composite image;
The imaging unit sequentially images a subject,
The additional image acquisition unit acquires an additional moving image according to the position information,
The composite image generation unit is configured to place the additional moving image at a position of the additional moving image that is predetermined with respect to the position of the specific subject detected by the subject detection unit in each of the captured images sequentially captured. The composite image in which the frame images are sequentially arranged is sequentially generated,
The image display system according to any one of claims 1 to 3, wherein the display unit sequentially displays the composite images generated by the composite image generation unit.
前記付加画像取得部は、前記位置情報に応じた付加動画像を取得し、
前記合成画像生成部は、撮像動画像に対する、前記被写体検出部が検出した前記特定の被写体の位置に対して予め定められた前記付加動画像の位置に、前記付加動画像を配置させた合成動画像を生成する
請求項１から４の何れか一項に記載の画像合成システム。 The imaging unit captures a moving image of a subject,
The additional image acquisition unit acquires an additional moving image according to the position information,
The synthesized image generating unit is a synthesized moving image in which the additional moving image is arranged at a position of the additional moving image that is predetermined with respect to the position of the specific subject detected by the subject detecting unit with respect to the captured moving image. image synthesizing system according to claim 1, any one of 4 to generate an image.
前記撮像装置は、
被写体を撮像する撮像工程と、
撮像した撮像画像内にある特定の被写体を検出する被写体検出工程と、
前記撮像装置の現在位置を示す位置情報を取得する位置情報取得工程と、
取得した位置情報を前記サーバに送信する位置情報送信工程と、
前記位置情報に応じた付加画像を前記サーバから取得する付加画像取得工程と、
前記撮像画像における、前記被写体検出工程が検出した前記特定の被写体の位置に対して予め定められた位置に、前記付加画像を配置させた合成画像を生成する合成画像生成工程と
を備え、
前記サーバは、
前記位置情報に対応付けて前記付加画像を記録した付加画像記録部を備え、
前記位置情報送信工程が送信した前記位置情報を受信する位置情報受信工程と、
前記付加画像記録部が記録している、受信した前記位置情報に対応する前記付加画像を前記撮像装置に送信する付加画像送信工程と
を備え、
前記撮像装置は、
顔の表情を判断する表情判断工程をさらに備え、
前記被写体検出工程では、前記特定の被写体として人物の顔を検出し、
前記表情判断工程では、前記被写体検出工程にて検出された人物の顔の表情を判断し、
前記位置情報送信工程では、取得した位置情報及び判断した顔の表情を送信し、
前記付加画像記録部は、複数の前記位置情報及び複数の前記顔の表情に対応付けて複数の前記付加画像を記録しており、
前記付加画像送信工程では、受信した前記位置情報及び前記顔の表情に応じた前記付加画像を前記撮像装置に送信し、
前記付加画像取得工程では、前記付加画像送信工程で送信された前記付加画像を取得する
画像合成方法。 An image synthesis method in which a system having an imaging device and a server synthesizes an image,
The imaging device
An imaging process for imaging a subject;
A subject detection step of detecting a specific subject in the captured image;
A position information acquisition step of acquiring position information indicating a current position of the imaging device;
A positional information transmission step of transmitting the acquired positional information to the server;
An additional image acquisition step of acquiring an additional image corresponding to the position information from the server;
A composite image generation step of generating a composite image in which the additional image is arranged at a position predetermined with respect to the position of the specific subject detected by the subject detection step in the captured image;
The server
An additional image recording unit that records the additional image in association with the position information;
A position information receiving step for receiving the position information transmitted by the position information transmitting step;
An additional image transmission step of transmitting the additional image corresponding to the received position information recorded by the additional image recording unit to the imaging device;
The imaging device
A facial expression judging step for judging facial expressions;
In the subject detection step, a human face is detected as the specific subject,
In the facial expression determination step, the facial expression of the person detected in the subject detection step is determined,
In the position information transmission step, the acquired position information and the determined facial expression are transmitted,
The additional image recording unit records a plurality of the additional images in association with a plurality of the positional information and a plurality of facial expressions,
In the additional image transmission step, the additional image corresponding to the received position information and facial expression is transmitted to the imaging device,
The image synthesizing method, wherein, in the additional image acquisition step, the additional image transmitted in the additional image transmission step is acquired .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009028074A JP5249805B2 (en) | 2009-02-10 | 2009-02-10 | Image composition system and image composition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009028074A JP5249805B2 (en) | 2009-02-10 | 2009-02-10 | Image composition system and image composition method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010187052A JP2010187052A (en) | 2010-08-26 |
| JP5249805B2 true JP5249805B2 (en) | 2013-07-31 |
Family
ID=42767461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009028074A Expired - Fee Related JP5249805B2 (en) | 2009-02-10 | 2009-02-10 | Image composition system and image composition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5249805B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5691632B2 (en) * | 2011-02-24 | 2015-04-01 | 株式会社大林組 | Image composition method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004214920A (en) * | 2002-12-27 | 2004-07-29 | Canon Finetech Inc | Imaging device, server, and printer device |
| JP3986444B2 (en) * | 2003-02-14 | 2007-10-03 | 富士フイルム株式会社 | Camera system |
| JP2006227838A (en) * | 2005-02-16 | 2006-08-31 | Nec Corp | Image processor and image processing program |
-
2009
- 2009-02-10 JP JP2009028074A patent/JP5249805B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2010187052A (en) | 2010-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11779807B2 (en) | Information processing system | |
| US20130194421A1 (en) | Information processing apparatus, information processing method, and recording medium, for displaying information of object | |
| CN111093026A (en) | Video processing method, electronic device and computer-readable storage medium | |
| US20160205317A1 (en) | Information processing device, recording medium, and information processing method | |
| JP2008527542A5 (en) | ||
| JP2018504802A5 (en) | ||
| EP3070681A1 (en) | Display control device, display control method and program | |
| WO2016136104A1 (en) | Information processing device, information processing method, and program | |
| US20130113952A1 (en) | Information processing apparatus, information processing method, and program | |
| JP5249805B2 (en) | Image composition system and image composition method | |
| JP2011066717A (en) | Image photographing display device and program for the same | |
| JP6375597B2 (en) | Network system, server, program, and training support method | |
| JP2017055175A (en) | Image processing system | |
| WO2017022296A1 (en) | Information management device, information management method, image reproduction device and image reproduction method | |
| JP2015114694A (en) | Image processing device, image processing method, and program | |
| US10257586B1 (en) | System and method for timing events utilizing video playback on a mobile device | |
| JP2016149158A (en) | Method of generating social time line, social net work service system, server, terminal, and program | |
| JP5924474B2 (en) | Portable electronic device, its control method and program | |
| JP2013183233A (en) | Image processor, image processing method, and program | |
| JP2019061386A (en) | Information processing system, information processing apparatus, information processing method and program | |
| JP7235098B2 (en) | Information distribution device, information distribution method, information distribution program | |
| JP2014160963A (en) | Image processing device and program | |
| JP2011244214A5 (en) | ||
| JP4983494B2 (en) | Composite image output apparatus and composite image output processing program | |
| JP6451110B2 (en) | Imaging apparatus, image generation method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130312 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130409 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130412 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5249805 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160419 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |