JP5618531B2 - 撮像装置、画像処理装置、画像処理方法 - Google Patents

Description

本発明は、画像処理システムに係り、特に撮像手段撮影画像に関する。

従来、デジタルカメラ等で撮影した撮影画像をプリンタで印刷する場合において、ユーザの好みに応じて、画像に特殊な合成効果を付加して印刷する手段が提供されている。例えば、画像の輪郭を際立たせる「シャープネス」や輪郭をぼやかす「ソフトネス」、画像内の光源に対して擬似的にクロスフィルタを適用した効果を与える「クロスフィルタ」、星マークやふきだしなどの合成用の画像を画像内に貼り付ける「スタンプ」などがある。また、予め合成用のスタンプ画像等を用意しておき、撮影画像に合成することも可能である。

印刷対象の撮影画像に合成効果を付加する場合、ユーザは操作ボタンやタッチペン等を使用し、合成効果モードの選択や、必要に応じて合成効果の度合い、大きさ、位置等の選択を行う。

また特許文献１では、撮影時に光源位置を特定領域として検出することで、光源位置の領域に自動で合成用の画像を合成する手段が示されている。

特開２００４−２９７７５４

印刷対象の画像に合成効果を付加するために、ユーザはプリンタを操作することで様々な設定を行う必要があり、手間がかかるという課題があった。

また特許文献１によれば、自動で光源位置に合成用画像を合成するため、ユーザの操作の手間を減少させることは可能である。しかし、撮影時に予め光源を用意する必要がある。また、光源の位置は固定であるため、ユーザの所望する位置に合成用データを合成させることはできなかった。

本発明では、光源等のような特別な装置を用いることなく、かつ手間をかけずにユーザの所望する位置に合成効果を付加できる撮像装置、画像処理装置を提供することを目的とする。

上述の課題を解決するため、本発明の撮像装置は、
被写体を含む撮影画像を撮影する撮影手段と、被写体の顔の位置を検出する顔検出手段と、撮影手段により撮影する被写体について、当該被写体の所定期間の動きを検出する動き検出手段と、顔の位置および被写体の動きの軌跡に応じて、複数の合成用画像の中から合成する合成用画像を選択し、選択された合成用画像を撮影画像に合成する画像処理手段とを有することを特徴とする。

また、本発明の画像処理方法は、
撮影画像を取得する取得工程と、撮影画像に含まれる被写体の顔の位置を検出する顔検出工程と、撮影画像に含まれる被写体の所定期間の動きに関する動き情報を取得する動き取得工程と、動き情報に基づいて、撮影画像に画像処理を施す画像処理工程とを有し、画像処理工程では、動き情報に基づいて被写体の動きの軌跡を判定し、顔の位置および被写体の動きの軌跡に応じて複数の合成用画像の中から合成する合成用画像を選択し、選択された合成用画像を撮影画像に合成することを特徴とする。

本発明によれば、撮影時の所定期間の被写体の動きに応じて自動で合成効果を付加することができる。そのため、合成のための特別な操作をせずにユーザの所望する位置に合成効果を付加できる撮像装置、画像処理装置を提供することができる。

本発明に係る撮像装置及び印刷装置の概要図である。 撮像装置の構成ブロック図である。 印刷装置の構成ブロック図である。 第１の実施形態における撮像装置での撮像処理のフローチャートを示す。 印刷装置での印刷処理のフローチャートを示す。 撮影画像に合成用画像を合成する例を示す概要図である。 撮影画像に合成用画像を合成する例を示す概要図である。 第２の実施形態における撮像装置での撮像処理のフローチャートを示す。 撮影画像に合成用画像を合成する例を示す概要図である。

以下、図面を参照して本発明の実施例を説明する。

＜第１の実施形態＞
＜画像処理システムの構成＞
図１は、班発明に係る撮像装置及び印刷装置の概要図である。本実施形態では、画像処理装置の一例として印刷装置で説明するが、画像表示装置、画像記録装置等を用いても良い。

１００は被写体を撮影するデジタルカメラ等の撮像装置である。撮像装置１００では、被写体の撮影及び被写体の動き情報の記録を行うことができる。
撮像装置１００で記録された撮影画像データと動き情報データはメモリカード等の記録媒体２００もしくはデータ通信媒体４００を介して印刷装置３００に転送される。データ通信媒体４００は、物理的なケーブルとして有線通信を行ってもよいし、データ通信媒体４００は電波として、無線通信を行ってもよい。

データを取得した印刷装置３００は撮像装置１００で記録した動き情報を取得して、動き情報に応じて撮影画像データに合成効果を付加して印刷する。

撮像装置側で動き情報に応じて撮影画像データに合成効果を付加し、その画像を印刷装置によって印刷するようにしても良い。

＜撮像装置の構成＞
図２は撮像装置１００の構成を示す図である。

１００は撮像装置である。１０１は撮影レンズ、１０２は絞り機能を備えるシャッター、１０３は光学像を電気信号に変換する撮像素子、１０４は撮像素子１０３のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。１０５は撮像素子１０３、Ａ／Ｄ変換器１０４、Ｄ／Ａ変換器１０６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路１０７及びシステム制御回路１０８により制御される。１０９は画像処理回路であり、Ａ／Ｄ変換器１０４からのデータ或いはメモリ制御回路１０７からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理回路１０９においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路１０８が露光制御手段１１０、測距制御手段１１１に対して制御を行う。システム制御回路１０８や露光制御手段１１０、測距制御手段１１１では、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス処理（ＡＦ処理）、自動露出処理（ＡＥ処理）、フラッシュプリ発光処理（ＥＦ）を行っている。さらに、画像処理回路１０９においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス処理（ＡＷＢ処理）も行っている。

１０７はメモリ制御回路であり、Ａ／Ｄ変換器１０４、タイミング発生回路１０５、画像処理回路１０９、画像表示メモリ１１２、Ｄ／Ａ変換器１０６、メモリ１１３、圧縮・伸長回路１１４を制御する。Ａ／Ｄ変換器１０４のデータが画像処理回路１０９、メモリ制御回路１０７を介して、或いはＡ／Ｄ変換器１０４のデータが直接メモリ制御回路１０ ７を介して、画像表示メモリ１１２或いはメモリ１１３に書き込まれる。
１１５はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ１１２に書き込まれた表示用の画像データはＤ／Ａ変換器１０６を介して画像表示部１１５により表示される。画像表示部１１５を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部１１５は、システム制御回路１０８の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。さらに、画像表示部１１５は、回転可能なヒンジ部によって撮像装置１００本体と結合されており、自由な向き、角度を設定して電子ファインダー機能や再生表示機能、各種表示機能を使用することが可能である。また、画像表示部１１５の表示部分を撮像装置１００に向けて格納することが可能であり、この場合は画像表示部開閉検知手段１１６により格納状態を検知することができる。ここで、格納状態にあると検知したならば画像表示部１１５の表示動作を停止して不要な電力消費を禁止することが可能である。

１１７はＤ／Ａ変換器１０６の出力を外部モニタに出力するコネクタである。外部出力コネクタ１１７にコネクタが挿されている場合は外部出力接続検知手段１１８によりシステム制御回路１０８は外部出力状態を知る事ができる。ここで、接続状態にあると検知したならば画像表示部１１５の代わりに外部モニタを表示装置として用いることが可能である。

１１３は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ１１３に対して行うことが可能となる。また、メモリ１１３はシステム制御回路１０８の作業領域としても使用することが可能である。メモリ１１３は、記録媒体２００の書き込みバッファとしても使われる。

１１４は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ１１３に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ１１３に書き込む。

１１０は絞り機能を備えるシャッター１０２を制御する露光制御手段であり、フラッシュ１１９と連携することによりフラッシュ調光機能も有するものである。

１１１は撮影レンズ１０１のフォーカシングを制御する測距制御手段、１２０は撮影レンズ１０１のズーミングを制御するズーム制御手段、１２１はバリアである保護手段１２２の動作を制御するバリア制御手段である。

１１９はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。

１０８は撮像装置１００全体を制御するシステム制御回路、１２３はシステム制御回路１０８の動作用の定数、変数、プログラム等を記憶するメモリである。システム制御回路は、メモリ１２３からプログラムを読み出して、読み出したプログラムに基づいて各部を制御し、後述する処理や動作を行う。

１２４はシステム制御回路１０８でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置である。液晶表示装置１２４では、撮像装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

１２５は光学ファインダであり、画像表示部１１５による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

表示部１２４は、その一部の機能が光学ファインダー１２５内に設置されている。表示部１２４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示などがある。また、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、等もある。また、表示部１２４の表示内容のうち、光学ファインダー１２５内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示、等がある。

１２６は電気的に消去・記録可能な不揮発性メモリであり、例えばＦｌａｓｈＲＯＭ等が用いられる。

１２７、１２８、１２９及び１３０は、システム制御回路１０８の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

１２７はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード（パノラマ撮影モード、動画撮影モード含む）、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

１２８はシャッタースイッチＳＷ１で、不図示のシャッターボタンの操作途中（半押し）でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

１２９はシャッタースイッチＳＷ２で、不図示のシャッターボタンの操作完了（完全押し）でＯＮとなる。ＳＷ２がＯＮとなると、撮像素子１０３から読み出した信号をＡ／Ｄ変換器１０４、メモリ制御回路１０７を介してメモリ１１３に画像データを書き込む露光処理を行う。さらに、メモリ制御回路１０７によりメモリ１１３から画像データを読み出し、読み出した画像データに画像処理回路１０９で現像処理を施し、その後、圧縮・伸長回路１１４で圧縮を行い、記録媒体２００に画像データを書き込む記録処理を行う。この一連の撮影処理がＳＷ２のＯＮが入力されることにより実行される。

１３０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン等がある。さらに、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

１３１は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。ここでは、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路１０８の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

１３２はコネクタ、１３３はコネクタ、１３４はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。

１３５はメモリカードやハードディスク等の記録媒体とのインタフェース、１３６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、１３７はコネクタ１３６に記録媒体２００が装着されているか否かを検知する記録媒体着脱検知手段である。なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを１系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。さらに、インタフェース１３５、そしてコネクタ１３６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード等の通信カードが装着できる。このような通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０１、撮像装置１００とのインタフェース２０２、撮像装置１００と接続を行うコネクタ２０３を備えている。また、この記録媒体２００がＰＣＭＣＩＡ規格のＰＣ−ＣａｒｄやＣＦカード等の場合は、性能が記されている情報記憶回路を内蔵している事もある。

１３８は加速度検出手段であり、撮像装置１００の移動方向及び速度を検出することが可能である。なお、加速度検出手段１３８は、撮像装置１００の姿勢を検知する手段であってもよい。

１３９は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。１４０は通信手段１３９により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

１４１はマイクで、音声データ取得手段である。１４２はマイク１４１で得られた音声データをシステム制御回路１０８で取得するためにＡ／Ｄ変換するＡ／Ｄ変換器である。
１４３はスピーカーで、音声データ再生手段である。１４４はシステム制御回路１０８から出力されるデジタル音声データをスピーカー１４３で再生するためにＤ／Ａ変換するＤ／Ａ変換器である。

＜印刷装置の構成＞
図３は印刷装置３００の構成を示す図である。

３００は印刷装置である。３０５は、Ｄ／Ａ変換器３０６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路３０７及びシステム制御回路３０８により制御される。３０９は画像処理回路であり、メモリ制御回路３０７からのデータに対して所定の画素補間処理や色変換処理を行う。３０７はメモリ制御回路であり、タイミング発生回路３０５、画像処理回路３０９、画像表示メモリ３１２、Ｄ／Ａ変換器３０６、メモリ３１３、圧縮・伸長回路３１４を制御する。

３１５はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ３１２に書き込まれた表示用の画像データはＤ／Ａ変換器３０６を介して画像表示部３１５により表示される。メモリ３１３はシステム制御回路３０８の作業領域として使用することが可能である。メモリ３１３は、記録媒体２００の書き込みバッファとしても使われる。

３１４は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３１３に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３１３に書き込む。

３０８は印刷装置３００全体を制御するシステム制御回路、３２３はシステム制御回路３０８の動作用の定数、変数、プログラム等を記憶するメモリである。システム制御回路３０８は、メモリ３２３からプログラムを読み出して、読み出したプログラムに基づいて各部を制御し、後述する処理や動作を行う。

３２４はシステム制御回路３０８でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置である。液晶表示装置３２４は、印刷装置３００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。表示部３２４の表示内容のうち、ＬＣＤ等に表示するものとしては、枚数表示、電池残量表示、エラー表示、記録媒体３００の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示、印刷情報等がある。

３２６は電気的に消去・記録可能な不揮発性メモリであり、例えばＦｌａｓｈＲＯＭ等が用いられる。ここには、撮影画像に合成するための合成用画像（スタンプやフレーム、吹きだし等）が複数種類記録されており、合成用画像を合成して印刷する歳には、この中から合成するものを選択して合成する。合成用画像の選択は、ユーザが行っても良いし、システム制御回路で自動的に行っても良い。３３０は各種ボタンやタッチパネル等からなる操作部ある。操作部として、メニューボタン、セットボタン、マルチ画面再生改ページボタン、印刷枚数＋（プラス）ボタン、印刷枚数−（マイナス）ボタン、ズーム＋（プラス）ボタン、ズーム−（マイナス）ボタン、印刷ボタン等がある。

３３１は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。ここでは、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路３０８の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。３３２はコネクタ、３３３はコネクタ、３３４はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる電源手段である。

３３５はメモリカードやハードディスク等の記録媒体とのインタフェース、３３６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、３３７はコネクタ３３６に記録媒体２００が装着されているか否かを検知する記録媒体着脱検知手段である。なお、本実施形態では記録媒体を取り付けるインターフェース及びコネクタを１系統持つものとして説明している。もちろん、記録媒体を取り付けるインターフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインターフェース及びコネクタを組み合わせて備える構成としても構わない。インターフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。さらに、インタフェース３３５、そしてコネクタ３３６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード等の通信カードを接続できる。このような通信カードを接続することにより、他のコンピュータやデジタルカメラ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０１、印刷装置３００とのインタフェース２０２、印刷装置３００と接続を行うコネクタ２０３を備えている。また、この記録媒体２００がＰＣＭＣＩＡ規格のＰＣ−ＣａｒｄやＣＦカード等の場合は、性能が記されている情報記憶回路を内蔵している事もある。

３３９は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。３４０は通信手段３３９により印刷装置３００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。３５０は記録紙搬送制御手段でシステム制御回路３０８からの指示に基づいて記録紙３６０を搬送する。３５１は印刷制御手段でシステム制御回路３０８からの指示に基づいてインクカセット３６１を制御し、記録紙搬送手段３５０によって搬送される記録用紙３６０に印刷をする。

＜画像処理システムの詳細な動作＞
以下、図４〜図６を参照して、本発明に係る撮像装置および印刷装置の動作を説明する。

＜撮像装置における動き検出＞
図４は本実施形態の撮像装置における撮像処理のフローチャートを示す。

撮像装置１００が撮影モードを開始すると、Ｓ１０１においてシャッタースイッチＳＷ１がＯＮ（シャッターボタンが半押し）であるかどうかを判定し、シャッタースイッチＳＷ１がＯＮでない場合はＳ１０１に戻る。シャッタースイッチＳＷ１がＯＮである場合は、Ｓ１０２において前述したＡＦ、ＡＥ、ＡＷＢ、ＥＦ処理等の撮影準備処理を行う。

撮影準備処理が終わると、Ｓ１０３において周期的に被写体の位置を検出し、検出した位置情報をメモリ１１３に記録して蓄積する。ここで、位置情報の蓄積について説明する。本実施形態では、撮影直前の被写体の動きに応じた様々な合成効果を自動で付加するために、一定時間、被写体全体または特定部位の動き情報を記録する必要がある。ここで言う動き情報とは、移動の軌跡（位置の変化）及び移動速度等の情報である。本実施形態では、移動の軌跡及び移動速度を算出するために被写体の特定部位の位置を座標として時系列に記録していく。これが位置情報の蓄積である。例えば、画像処理回路１０９によって、被写体の顔の位置を座標として記録しても良いし、被写体の腕の動きでもよい。また、位置変化の大きい部位の位置を座標として記録しても良い。位置変化を検出する場合は、撮像した各フレーム間の画像の差分を計算し、この差分情報を用いて位置変化のある部位を特定し、その位置を記録する。また、複数の部位の位置情報を記録しても良い。また、被写体が移動したことをフォーカス位置の移動により検出しても良い。この場合位置情報としてフォーカス領域の位置の情報を記録する。このように、被写体の特定領域の位置を蓄積して言っても良いし、被写体全体の位置を蓄積して言っても良い。後に、被写体の動きが解析できる情報であれば良い。

Ｓ１０４では、シャッタースイッチＳＷ２がＯＮ（全押し）であるかどうかを判定し、シャッタースイッチＳＷ２がＯＮでない場合はＳ１０３に戻り、再度被写体の位置情報の蓄積を行う。蓄積する情報量についてはあらかじめ設定しておき、設定された量を超えた場合は、最も古い情報から順に上書きして蓄積していく。また、情報を蓄積する時間間隔（周期）については、後述する被写体の動き解析を行う際に十分な情報量となるよう、あらかじめ設定しておく。

Ｓ１０４においてシャッタースイッチＳＷ２がＯＮ（シャッターボタンが全押しされた）の場合は、前述した撮影動作を行い、撮影動作で得られた撮影画像を記録媒体２００に記録する（Ｓ１０５）。

撮影処理が終わると、撮影画像と蓄積した被写体の位置情報を記録媒体２００に記録する（Ｓ１０６）。被写体の位置情報の記録については、撮影画像のＥｘｉｆ情報等の管理情報に含めても良いし、別ファイルとして保存しても良い。ここで、本実施形態では、蓄積した被写体の位置情報を動き情報として記録媒体２００に記録しているが、位置情報から、被写体の移動の軌跡や移動速度を算出して記録しても良い。また、位置変化のある部位について位置情報を蓄積している場合は、最も位置変化が大きかった部位の動き情報だけを記録しても良いし、顔の近くで位置変化が大きい部位の動き情報を記録しても良い。

撮影画像と位置情報の記録が終わると、Ｓ１０７において撮影モードを終了するかどうかを判定し、撮影モードを終了しない場合はＳ１０１に戻る。

図５は本実施形態の印刷装置における印刷処理のフローチャートを示す。

印刷装置３００が印刷モードを開始すると、Ｓ２０１において撮影画像と位置情報を取得する。ここでは、記録媒体２００から撮像装置で記録したデータを読み込むことで取得しても良いし、撮像装置１００から通信手段１３９、３３９を用いて有線若しくは無線の通信によって取得しても良い。

データを取得するとＳ２０２において位置情報の解析を行う。ここでは、蓄積された位置情報を元に、被写体が撮影時にどのような動作を示したかを解析する。例えば、蓄積された位置情報が被写体の腕の動きを座標として記録したものであれば、腕の移動の軌跡、移動速度を算出することができる。蓄積された位置情報ではなく、被写体の移動の軌跡や移動速度のみが記録されている場合も同様に、Ｓ２０１でデータを取得して、取得したデータをＳ２０２で解析して被写体の移動の軌跡や移動速度を判定する。

被写体の動きを解析した後、Ｓ２０３において、撮影画像に対して合成用画像を合成して画像表示部３１５に表示する。合成する画像の種類と位置については、Ｓ２０２において解析した被写体の動き情報に基づいて決定する。例えば、被写体に腕を振るような動きがあった場合は、腕が移動した軌跡上に星マークのスタンプを複数貼り付けるようにしても良いし、顔位置の周辺で円を描くような動きがあった場合は、腕や手の移動した範囲にふきだし画像を貼り付けるようにしても良い。ふきだしを合成する場合は、顔の位置を検出して、顔側にくちばし（三角形の切れ込み部分）を向けると良い。または、腕、手の移動開始位置や移動終了位置にくちばしが来るように、吹き出しを回転、反転してから合成すると良い。このように、移動の軌跡のパターン（丸、上下、左右のパターン等）に応じて、印刷装置の不揮発性メモリ３２６に記録されている複数の合成用画像の中から、合成する合成用画像を選択するとよい。さらに、合成用画像としてスタンプ画像を合成する場合は、移動速度に応じて、スタンプ画像の大きさまたは個数を変化させても良い。ここでの合成においては、実際に画像処理回路３０９によって撮影画像データに合成用画像を合成しても良いし、ユーザが合成されているように見えるように合成画像を重ねて画像表示部３１５に表示するだけでも良い。

合成用画像を合成して表示した後は、Ｓ２０４において操作部３３０によるユーザ操作を受け付ける。ここでは、ユーザは合成する画像の種類及び位置を変更することが可能である。例えば、合成用画像の追加や削除、種類の変更、位置の調整などを行うことができる。合成用画像の変更を受け付けた場合はＳ２０７に遷移し、変更を反映させて画像表示部３１５に画像を表示させる。

Ｓ２０４において合成用画像の変更ではなく、画像の合成が決定されて印刷処理の開始を指示された場合、Ｓ２０５において印刷処理を実行する。なお、Ｓ２０３において撮影画像データに合成用画像を撮影画像に実際に合成していない場合は、この印刷処理内で合成用画像を付加する処理を行ってから印刷を行う。

印刷終了後は、Ｓ２０６において印刷装置３００が印刷モードを終了するかどうかを判定し、印刷モードを終了しない場合はＳ２０１に戻る。

図６は本実施形態の撮影画像に合成効果を付加する例を示す概要図である。

図６のように被写体が撮影前に腕を振るような動きを示した場合、撮影される画像は静止した被写体のみであるが、印刷装置において動き情報を解析し、動きのあった位置に自動で星マークのスタンプを貼り付けて印刷することができる。

また、図７は本実施形態の撮影画像に合成効果を付加するもう一つの例を示す概要図である。

図７のように被写体が撮影時に円を描くように腕を動かした場合、撮影される画像は静止した被写体のみであるが、印刷装置において動き情報を解析し、動きのあった位置に自動でふきだし画像を貼り付けて印刷することができる。

図６，７では、被写体の手の動きのパターンに応じて、合成する画像を選択している。Ｓ１０３で被写体の手の位置情報を記録し、Ｓ２０２で位置情報を解析した結果、図６のように、手が上下に動いたと判断された場合は、手が移動した軌跡上に星の画像を合成している。また、図７のように、手が円状に動いた場合は、円の大きさに合わせて、円が描かれた位置に吹きだし画像を合成している。このように、撮影直前の手の動きに応じて、合成用画像が合成されるので、ユーザは、撮影時に手を動かすだけで、印刷時に画像合成のための面倒な操作を行わなくても、自動で所望の合成用画像を合成して印刷することができる。

図６，７では手の動きで合成する画像を決定したが、前述のように、位置変化の一番大きい部分が手の位置であると判断しても良いし、位置変化が大きく顔に近いものの動き情報を、手の動き情報と判断しても良い。また、手の動き情報でなく、顔の動きやフォーカス位置の動きを記録して、これらの動きに基づいて、合成用画像を合成しても良い。

また、動いた対象物（手、顔、フォーカス位置）と位置情報の蓄積を対応つけて動き情報として記録し、手が上下に動いた場合は星、顔が上下に動いた場合は花を合成するというように、動きの対象物に応じて合成する画像を変えても良い。また、スタンプや吹きだしのような合成用画像だけでなく、動きの軌跡のパターンによっては、画像全体の周囲に画像の枠となるフレーム画像を合成してもよい。

図９は、顔の位置を位置情報として蓄積して動き情報として画像と共に記録した場合の合成結果を示す図である。

９０１は、シャッタースイッチＳＷ１が押された時の表示部１２４に表示されている画像を示したものである。ここで、本実施例では位置情報は顔の位置に関する情報を保持するものとする。ここで、画像の左側にいる被写体の顔を認識していることを示すために、四角い顔枠９０１−１を表示している。この後シャッタースイッチＳＷ２が押下されるまで、上述の説明のように顔の位置情報が蓄積される。９０２はＳ１０５で撮影された時の画像を図示したものである。９０１で検出された被写体の顔が画像の中心まで移動していることがわかる。９０１−２は、９０１のＳＷ１が入力されてから９０２でＳＷ２が入力されるまでに検出中の被写体の顔が移動した位置の軌跡を表している。このように、ＳＷ１からＳＷ２までに取得した位置情報を、９０３のように、座標データにして撮影した画像と共に記録する。９０３では、＜＞でくくられたタグによって情報分けされており、例えば＜Ｐｒｏｄｕｃｔ＞は撮像装置１００の製品名が記述され、＜Ｉｍａｇｅ＞は同時に撮影された画像ファイル名が記述されている。＜ＰｉｘｅｌＸＤｉｍｅｎｓｉｏｎ＞は画像のｘ軸座標の最大値、＜ＰｉｘｅｌＹＤｉｍｅｎｓｉｏｎ＞は画像のｙ軸座標の最大値になる。個々の位置の情報は＜ＭｏｖｅＤａｔａ＞に記述され、時間、ｘ軸座標、ｙ軸座標がスペースで区切られて記述されている。時間は、ｍ秒単位で、１００ｍ秒ごとに保持されている。ここでは、７つの位置の情報が保持されていることがわかる。

このように記録された蓄積された位置情報から構成される動き情報から、プリンタでは、被写体の顔の領域の動きの軌跡を解析する。そして、９０４のように、軌跡の上に合成用の画像を合成する。ここでは、一番最後の位置の情報には印刷効果を付加しないことによって、印刷画像の顔に合成用画像が付加されないようにしている。

９０５は、移動した軌跡上に星を付加した例である。９０６は、９０５で付加した星だけでなく、前の位置から移動した角度を計算して、動きの流れを付加して合成した例である。９０４は、軌跡上に蜂を付加した例である。ここで蜂の向きや方向は合成する位置の前の情報からどちらの方向に向かっているかを判断することによって決定している。つまり、向きがある画像は、移動した方向に合わせて合成用画像を回転して合成させている。逆方向に移動した場合は、合成用画像を反転させて合成させると良い。また、古い位置ほどアルファ値を高く設定し、透明度を上げて透けるようにすることによって、撮影した時点よりもどのくらい前にいたかを表現することが可能になる。また、本実施形態では、軌跡上に合成用画像を合成したが、顔の場合は顔だけでなく体も動いているはずなので、軌跡よりも少し下側に合成用画像を合成しても良い。

＜第２の実施形態＞
以上では、撮像装置１００において撮影処理及び位置情報の蓄積を行い、印刷装置３００において位置情報の解析及び合成効果の付加を行う処理について説明したが、これらの処理は、撮像装置１００のみで行うこともできる。

以下、図８を参照して、撮影画像に対して合成効果を付加して記録するまでの処理を撮像装置１００のみで行う実施形態の動作を説明する。基本的な処理は第１の実施形態と同じなので、説明は省略する。

図８は本実施形態の撮像装置における撮像処理のフローチャートを示す。

撮像装置１００が撮影モードを開始すると、Ｓ３０１においてシャッタースイッチＳＷ１がＯＮであるかどうかを判定し、シャッタースイッチＳＷ１がＯＮでない場合はＳ３０１に戻る。

シャッタースイッチＳＷ１がＯＮである場合は、Ｓ３０２において前述した撮影準備処理を行う。

撮影準備処理が終わると、Ｓ３０３において被写体の位置情報を蓄積する。

その後、Ｓ３０４においてシャッタースイッチＳＷ２がＯＮであるかどうかを判定し、シャッタースイッチＳＷ２がＯＮでない場合はＳ３０３に戻り、再度被写体の位置情報の蓄積を行う。

Ｓ３０４においてシャッタースイッチＳＷ２がＯＮである場合は、Ｓ３０５において前述した撮影処理を行う。

撮影処理が終わると、Ｓ３０６において今まで蓄積割いた位置情報の解析を行い、被写体の移動の軌跡、移動速度を判定する。

被写体の動きを解析した後、Ｓ３０６での解析結果に応じて、合成する合成用画像、また合成する位置を決定して、Ｓ３０７において撮影画像に対して、合成用画像を画像表示部１１５に表示する。表示すると共に、合成した画像を記録媒体２００に記録してもよい。

その後、Ｓ３０８において撮影モードを終了するかどうかを判定し、撮影モードを終了しない場合はＳ３０１に戻る。

本実施形態における、被写体の位置情報の蓄積、位置情報の解析、合成用画像の合成方法については、前述したものと同様の方法で行う。

本実施形態によれば、撮影後すぐに、撮影画像に対して合成効果を付加して表示、または、記録し、合成までの処理を撮像装置１００のみで行うことができる。

＜その他の実施形態＞
以上、図１〜図９を用いて本発明の実施形態の説明を行った。

以上説明したように、本実施形態によれば、撮影時の所定期間の被写体の動きに応じて自動で合成効果を付加することができるため、合成のための特別な操作をせずにユーザの所望する位置に合成効果を付加できる撮像装置、画像処理装置を提供することができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

Claims (10)

1. 被写体を含む撮影画像を撮影する撮影手段と、
   前記被写体の顔の位置を検出する顔検出手段と、
   前記撮影手段により撮影する被写体について、当該被写体の所定期間の動きを検出する動き検出手段と、
   前記顔の位置および前記被写体の動きの軌跡に応じて、複数の合成用画像の中から合成する合成用画像を選択し、選択された合成用画像を前記撮影画像に合成する画像処理手段とを有することを特徴とする撮像装置。
2. 前記画像処理手段は、前記顔検出手段により検出した顔の位置近傍において前記動き検出手段により検出した被写体の動きの軌跡に応じて、合成する合成用画像を選択することを特徴とする請求項１に記載の撮像装置。
3. 前記画像処理手段は、前記顔検出手段により検出した顔の位置の近傍において前記動き検出手段により検出した被写体の動きの軌跡が所定の軌跡である場合に、所定の合成用画像を合成することを特徴とする請求項１に記載の撮像装置。
4. 前記所定の合成用画像は、ふきだし画像であり、
   前記画像処理手段は、前記所定の被写体の動きの軌跡における動き開始位置または動き終了位置に応じて、前記所定の合成用画像を回転または反転させて合成することを特徴とする請求項３に記載の撮像装置。
5. 前記画像処理手段は、前記所定の被写体の動きの軌跡における動き開始位置または動き終了位置に、前記ふきだし画像のくちばしが位置するように、当該ふきだし画像を回転または反転させて合成することを特徴とする請求項４に記載の撮像装置。
6. 前記所定の合成用画像は、ふきだし画像であり、
   前記画像処理手段は、前記顔検出手段により検出した顔の位置に応じて、前記所定の合成用画像を回転または反転させて合成することを特徴とする請求項３に記載の撮像装置。
7. 前記画像処理手段は、前記顔検出手段により検出した顔の位置に、前記ふきだし画像のくちばしが位置するように、当該ふきだし画像を回転または反転させて合成することを特徴とする請求項６に記載の撮像装置。
8. 前記画像処理手段は、前記被写体の動きの軌跡、または、前記顔の位置に応じて、前記合成用画像を回転または反転させて合成することを特徴とする請求項１に記載の撮像装置。
9. 前記画像処理手段は、前記動き検出手段により検出した被写体の動きの速さに応じて、前記撮影画像に合成する合成用画像の数を変更することを特徴とする請求項１ないし８のいずれか１項に記載の撮像装置。
10. 撮影画像を取得する取得工程と、
    前記撮影画像に含まれる被写体の顔の位置を検出する顔検出工程と、
    前記撮影画像に含まれる被写体の所定期間の動きに関する動き情報を取得する動き取得工程と、
    前記動き情報に基づいて、前記撮影画像に画像処理を施す画像処理工程とを有し、
    前記画像処理工程では、前記動き情報に基づいて被写体の動きの軌跡を判定し、前記顔の位置および前記被写体の動きの軌跡に応じて複数の合成用画像の中から合成する合成用画像を選択し、選択された合成用画像を前記撮影画像に合成することを特徴とする画像処理方法。

Images