JP6367037B2 - 画像処理装置、画像処理プログラム、電子機器及び画像処理方法 - Google Patents

Description

本発明は、カメラにより撮影される画像を処理する画像処理装置、画像処理プログラム、画像処理装置を備える電子機器、画像処理方法に関する。

従来から、複眼の撮像装置において、広角側の画角に対する望遠側の撮像範囲を表示する技術が知られている。例えば、特許文献１には、広角側に設定された第１撮影部のスルー画に、望遠側に設定された第２撮影部の撮像範囲を示す映像を重畳する技術が開示されている。

特開２０１０‐２０６６４３号公報（２０１０年０９月１６日公開）

しかしながら、上記特許文献１では、撮影対象ではない被写体が望遠側の撮影範囲内に入った状態で撮影されることにより、撮影者の所望する写真が得られないという問題がある。特に、ユーザがファインダーを覗いている状況において、撮影対象ではない被写体（例えば通行人）が撮影範囲内に侵入しようとしていることは、撮影者にとって認識し難いため、撮影者が所望する写真を得ることは困難となる。

本発明は、上記の問題を解決するためになされたもので、その目的は、撮影範囲外にいる撮影対象ではない被写体が移動している場合に、撮影者が所望する画像を撮影する装置を提供することにある。

上記の課題を解決するために、本発明の一態様に係る画像処理装置は、被写体を撮影する第１カメラの画角よりも広い画角で撮影可能な第２カメラにより撮影された現画像、及び当該現画像が撮影された時点よりも前に上記第２カメラにより撮影された前画像を取得する画像取得手段と、上記画像取得手段により取得された画像に対して、上記第１カメラの撮影範囲を設定する範囲設定手段と、上記範囲設定手段により上記第１カメラの撮影範囲が設定された上記現画像と、上記前画像とを比較し、当該前画像において上記第１カメラの撮影範囲外に位置する物体が、上記第１カメラの撮影範囲内に侵入し得る存在であるか否かを判定する侵入判定手段とを備えている。

また、上記の課題を解決するために、本発明の一態様に係る画像処理方法は、被写体を撮影する第１カメラの画角よりも広い画角で撮影可能な第２カメラにより撮影された現画像、及び当該現画像が撮影された時点よりも前に上記第２カメラにより撮影された前画像を取得する画像取得ステップと、上記画像取得ステップにて取得した画像に対して、上記第１カメラの撮影範囲を設定する範囲設定ステップと、上記範囲設定ステップにて上記第１カメラの撮影範囲が設定された上記現画像と、上記前画像とを比較し、当該前画像において上記第１カメラの撮影範囲外に位置する物体が、上記第１カメラの撮影範囲内に侵入し得る存在であるか否かを判定する侵入判定ステップとを備えている。

本発明の一態様によれば、上記第１カメラの撮影範囲外にいる撮影対象ではない被写体が移動している場合に、撮影者が所望する画像（撮影対象ではない被写体が第１カメラの撮影範囲内に存在しない画像）を撮影することが可能となる。

本発明の一実施形態に係る電子機器の要部構成を示すブロック図である。 上記電子機器に備えられた２つのカメラの画角を概略的に示す図である。 （ａ）及び（ｂ）は、上記電子機器に備えられたサブカメラにより撮影される画像の一例を示す図である。（ｃ）及び（ｄ）は、上記電子機器に備えられたメインカメラにより撮影される画像の一例を示す図である。 （ａ）及び（ｂ）は、本発明の実施形態１に係るサブカメラにより撮影される画像の一例を示す図である。（ｃ）は、図４の（ａ）及び（ｂ）の画像を合成した画像を示すイメージ図である。（ｄ）は、本発明の実施形態１に係るメインカメラの撮影範囲を示す枠の位置を座標として示す図である。 本発明の実施形態１に係る画像処理装置の処理の一例を示すフローチャートである。 図５のＳ１８以降の処理の変形例の一例を示すフローチャートである。 電子機器の表示画面の一例を示す図である。 （ａ）及び（ｂ）は、本発明の実施形態２に係るサブカメラにより撮影される画像の一例を示す図である。（ｃ）は、本発明の実施形態２に係るメインカメラにより撮影された画像について、画像の置き換え処理の概要の一例を示す図である。 本発明の実施形態２に係るメインカメラにより撮影される画像９１において、被写体範囲を座標として示す図である。 本発明の実施形態２に係る画像処理装置の処理の一例を示すフローチャートである。 本発明の実施形態３に係る電子機器の表示画面の一例を示す図である。

（画像処理装置の概要） 本発明に係る一実施形態の概要を、図１〜３を参照して以下に説明する。図２は、電子機器１０に備えられた２つのカメラの画角を概略的に示す図である。実線で示される画角は、破線で示される画角よりも広角である。本発明では、破線で示される画角をメインカメラ（第１カメラ）１１の画角とし、実線で示される画角をサブカメラ（第２カメラ）１２の画角とする。メインカメラ１１は、被写体８１を捉えていることに対し、サブカメラ１２は、被写体８１だけでなく、被写体８１に近づいている物体（被写体）８２を捉えている。

また、電子機器１０は、異なる画角で撮影可能な２つのカメラを備えている機器である。例えば、電子機器１０は、図２に示されるようなデジタルカメラであってもよいし、携帯電話機、ノート型ＰＣ、またはタブレット端末等の携帯端末であってよい。

図３の（ａ）及び（ｂ）は、図１における電子機器１０に備えられたサブカメラ１２により撮影される画像の一例を示す図である。なお、図３の（ａ）及び（ｂ）には、メインカメラ１１の撮影範囲を示す枠９０をイメージとして記載するが、実際の画像には枠９０はないものとする。図３の（ａ）に示す画像９２ａは、現時点でサブカメラ１２により撮影された現画像である。図３の（ａ）に示すように、枠９０内には撮影対象の被写体８１及び撮影対象ではない被写体（以下、邪魔な被写体）８２の一部が撮影されており、枠９０外には邪魔な被写体８２の残りの一部が撮影されている。図３の（ｂ）に示す画像９２ｂは、図３の（ａ）示す画像９２ａが撮影された時点よりもFフレーム前にサブカメラ１２により撮影された前現画像である。図３の（ｂ）に示すように、枠９０内には被写体８１が撮影されており、枠９０外には邪魔な被写体８２が撮影されている。

図３の（ｃ）及び（ｄ）は、図１における電子機器１０に備えられたメインカメラ１１により撮影される画像の一例を示す図である。図３の（ｃ）に示す画像９１ａは、図３の（ａ）における枠９０内の現画像であり、図３の（ｄ）に示す画像９１ｂは、図３の（ｂ）における枠９０内の前画像である。本発明は、被写体８１が撮影される際に、撮影者が意図しない物体８２がメインカメラ１１の撮影範囲内に入り込んだ状態で撮影されること（例えば図３の（ｃ））を防ぐものであり、撮影者が所望する写真（例えば図３の（ｄ））を撮影するものである。

〔実施形態１〕
以下、本発明の一実施形態について図１および図４〜図７を参照して説明する。

（電子機器の構成例） 図１は、本発明の一実施形態に係る電子機器１０の要部構成を示すブロック図である。電子機器１０は、メインカメラ１１、サブカメラ１２及び画像処理装置１を備える。メインカメラ１１は、被写体を撮影する撮影装置であり、サブカメラ１２の画角よりも狭角に撮影可能である。また、メインカメラ１１の画角は、撮影対象の被写体との距離に応じて可変としもよいし、一定としてもよい。サブカメラ１２は、メインカメラ１１の画角よりも広角に撮影可能な撮影装置である。サブカメラ１２により撮影される画像の画素数は、メインカメラ１１により撮影される画像の画像数よりも少ない設定としてもよい。

画像処理装置１は、画像取得部（画像取得手段）２、範囲設定部（範囲設定手段）３、パターン認識部４、判定処理部５、通知部（通知手段）６、表示部（表示手段）７及び入力受付部８を備える。画像取得部２はメインカメラ１１及びサブカメラ１２により撮影される画像を取得するものである。範囲設定部３は、画像取得部２により取得されたサブカメラ１２の画像に対して、メインカメラ１１の撮影範囲を示す枠の位置を設定するものである。なお、範囲設定部３が設定する枠の詳細については、図４の（ｄ）にて後述する。

パターン認識部４は、物体認識部４１、番号付与部４２及び座標算出部４３を備える。物体認識部４１は、画像取得部２により取得された画像に写っている被写体を１つの塊として認識し、この塊を構成する全ての画素について座標を抽出する。例えば、図３の（ｂ）において、画像９２ｂの右側を歩いている被写体８２を１つの塊と認識し、被写体８２の塊を構成する黒い部分の画素の座標を抽出する。

番号付与部４２は、物体認識部４１により抽出された座標を用いて異なる時点で撮影された画像に写っている被写体同士を比較し、パターンマッチングにより同一被写体であるか否かを判定する。異なる時点で撮影された画像に写っている被写体同士が同一被写体である場合、番号付与部４２は、先に撮影された画像における被写体と同一の被写体番号を、後に撮影された画像における被写体に付与する。同一の被写体でない場合、番号付与部４２は、後に撮影された画像における被写体に、先に撮影された画像における被写体に使用されていない被写体番号を付与する。例えば、図３の（ａ）に示す現画像９２ａと図３の（ｂ）に示すＦフレーム前の前画像９２ｂとについて被写体８２同士を比較し、同一被写体であるか否かを判定する。同一被写体であれば、現画像９２ａにおける被写体８２には前画像９２ｂにおける被写体８２と同一の被写体番号が付与される。なお、本発明では、公知技術のパターンマッチングを用いているため詳細な説明を省略する。

座標算出部４３は、番号付与部４２により被写体番号が付与された被写体の座標を算出する。座標の算出方法は任意とする。例えば、当該被写体の重心位置を座標としてもよいし、当該被写体の中心位置を座標としてもよい。また、当該被写体の座標を範囲として算出してもよい。

判定処理部５は、移動量算出部（移動量算出手段）５１、侵入判定部（侵入判定手段）５２、時間推定部（時間推定手段）５３及び画像置換部（画像置換手段）５４を備える。移動量算出部５１は、座標算出部４３により算出された座標を用いて、メインカメラ１１の撮影範囲外にいる任意の被写体の移動量を算出する。侵入判定部５２は、移動量算出部５１によって算出された移動量に基づいて、メインカメラ１１の撮影範囲外にいる被写体８２がメインカメラ１１の撮影範囲内に侵入し得る存在であるか否かを判定する。時間推定部５３は、侵入判定部５２からの通知に応じて、移動量算出部５１によって算出された移動量に基づいて、メインカメラ１１の撮影範囲外にいる被写体８２がメインカメラ１１の撮影範囲内に侵入し得るまでの時間を推定する。なお、移動量算出部５１、侵入判定部５２及び時間推定部５３の詳細については、図４の（ａ）〜（ｃ）、図５〜図６及び図７にて各々後述する。画像置換部５４については、実施形態２にて後述する。

通知部６は、推定された時間が所定の閾値以下（例えば２秒）になったと時間推定部５３から通知された侵入判定部５２からの通知に応じて、メインカメラ１１の撮影範囲内に侵入し得る存在があることを、音、光及び画面表示のうち少なくとも１つにより撮影者に通知する。通知部６の詳細については、図７にて後述する。表示部７は、電子機器１０に備えられている表示画面（不図示）に各種データを表示させるものである。例えば、表示部７は、画像取得部２により取得されたメインカメラ１１又はサブカメラ１２の画像を表示する。入力受付部８は、撮影者（ユーザ）のシャッター操作を受付けるものである。撮影者によりシャッター操作が実行されると、入力受付部８はメインカメラ１１に撮影させるとともに侵入判定部５２に通知する。

（撮影対象ではない被写体の侵入例） 図４の（ａ）及び（ｂ）は、本発明の実施形態１に係るサブカメラにより撮影される画像の一例を示す図である。なお、図４の（ａ）及び（ｂ）には、メインカメラ１１の撮影範囲を示す枠９０をイメージとして記載するが、実際の画像には枠９０はないものとする。図４の（ａ）に示す画像９２ａは、現時点でサブカメラ１２により撮影された現画像である。図４の（ａ）に示すように、現画像９２ａには、枠９０内に被写体８１が撮影されており、枠９０外には邪魔な被写体８２が撮影されている。図４の（ｂ）に示す画像９２ｂは、図４の（ａ）に示す画像９２ａが撮影された時点よりもFフレーム前にサブカメラ１２により撮影された前現画像である。図４の（ｂ）に示すように、枠９０内には被写体８１が撮影されており、枠９０外には邪魔な被写体８２が、図４の（ａ）において撮影された位置よりも被写体８１に対して離れた位置にいる状態で撮影されている。

図４の（ｃ）は、図４の（ａ）及び（ｂ）の画像を合成した画像を示すイメージ図である。なお、説明の便宜上、枠９０内の画像は省略している。図４の（ｃ）に示すように、サブカメラ１２により撮影される画像９２において、枠９０外にいる邪魔な被写体８２は、枠９０内に向かう矢印の方向に距離だけ移動している。なお、邪魔な被写体８２の移動量は、画像９２に対して横方向の移動量をＤｘ、縦方向の移動をＤｙとして、移動量算出部５１により算出される。

図４の（ｄ）は、メインカメラの撮影範囲を示す枠の位置を座標として示す図である。サブカメラ１２のｆフレーム目の画像において、枠９０の左上にある頂点の座標を［Ｘｆｌ，Ｙｆｕ］とし、枠９０の右下にある頂点の座標を［Ｘｆｒ，Ｙｆｄ］として、メインカメラの撮影範囲を示す枠の位置が範囲設定部３により設定される。

（撮影対象ではない被写体の侵入判定処理） 図５は、本発明の一実施形態に係る画像処理装置の処理の一例を示すフローチャートである。図５に示すように、画像取得部２は、メインカメラ１１およびサブカメラ１２により撮影されるｆフレーム目の現画像を各々取得する（Ｓ１１、画像取得ステップ）。そして、範囲設定部３は、Ｓ１１にて取得されたサブカメラ１２の現画像において、メインカメラ１１の撮影範囲を示す枠９０の位置［Ｘｆｌ，Ｙｆｕ］，［Ｘｆｒ，Ｙｆｄ］を算出する（Ｓ１２、範囲設定ステップ）。Ｓ１２の後、物体認識部４１は、Ｓ１２にて枠９０が設定されたサブカメラ１２の現画像において、メインカメラ１１の撮影範囲外に存在する物体を被写体として認識する（Ｓ１３）。そして、番号付与部４２は、Ｓ１３にて認識された被写体に被写体番号ｎを付与し（Ｓ１４）、座標算出部４３は、Ｓ１４にて被写体番号ｎが付与された被写体について、被写体毎に座標［Ｘ（ｆ，ｎ），Ｙ（ｆ，ｎ）］を算出する（Ｓ１５）。Ｓ１５にて算出される座標は、例えば被写体の中心位置を示す。

Ｓ１５の後、移動量算出部５１は、Ｓ１１にて取得されたサブカメラ１２の現画像のフレーム数ｆが、フレーム数Ｆ枚以上であるか否かを判定する（Ｓ１６）。サブカメラ１２の現画像のフレーム数ｆがＦ枚以上である場合（Ｓ１６にてＹＥＳ）、移動量算出部５１は、Ｓ１１にて取得されたサブカメラ１２の現画像と、Ｓ１１にて取得されたサブカメラ１２のＦフレーム前の前画像とを比較し、被写体番号ｎの移動量（Ｄｘ及びＤｙ）を被写体毎に算出する（Ｓ１７）。なお、サブカメラ１２の現画像のフレーム数ｆがＦ枚未満である場合（Ｓ１６にてＮＯ）、Ｓ１１からの処理を繰り返す。また、Ｓ１１〜Ｓ１５までの処理は、定期的に行われているものとする。

Ｓ１７の後、侵入判定部５２はＳ１８〜Ｓ２１の処理に基づいて、メインカメラ１１の撮影範囲外にいる被写体８２（図４参照）がメインカメラ１１の撮影範囲内に侵入し得る存在であるか否かを判定する（侵入判定ステップ）。ここで、使用する変数について以下のように定義しておく。
＜変数定義＞ｆ：現在のフレーム数、ｎ：被写体番号、Ｆ：移動量の算出に必要なフレーム枚数、
Ｘｆｌ：ｆフレーム目において枠９０の左上にある頂点のｘ座標、
Ｘｆｒ：ｆフレーム目において枠９０の右下にある頂点のｘ座標、
Ｙｆｕ：ｆフレーム目において枠９０の左上にある頂点のｙ座標、
Ｙｆｄ：ｆフレーム目において枠９０の右下にある頂点のｙ座標、
ＴｈＦ：閾値フレーム数。

なお、サブカメラ１２の画像の左上にある頂点を原点とし、原点から右方向に進むにつれてｘ座標が増加し、原点から下方向に進むにつれてｙ座標が増加することとする。

図５に示すように、Ｓ１７の後、Ｘ（ｆ，ｎ）＞ＸｆｒかつＸ（ｆ，ｎ）＋Ｄｘ／Ｆ＊ＴｈＦ＜Ｘｆｒが満たされる場合（Ｓ１８にてＹＥＳ）、侵入判定部５２は、被写体８２がメインカメラ１１の撮影範囲内に侵入し得る存在であることを判定する。一方、Ｓ１８にてＮＯ場合、Ｘ（ｆ，ｎ）＜ＸｆｌかつＸ（ｆ，ｎ）＋Ｄｘ／Ｆ＊ＴｈＦ＞Ｘｆｌが満たされれば（Ｓ１９にてＹＥＳ）、侵入判定部５２は、被写体８２がメインカメラ１１の撮影範囲内に侵入し得る存在であることを判定する。

また、Ｓ１９にてＮＯ場合、Ｙ（ｆ，ｎ）＜ＹｆｕかつＹ（ｆ，ｎ）＋Ｄｙ／Ｆ＊ＴｈＦ＞Ｙｆｕが満たされれば（Ｓ２０にてＹＥＳ）、侵入判定部５２は、被写体８２がメインカメラ１１の撮影範囲内に侵入し得る存在であることを判定する。さらに、Ｓ２０にてＮＯ場合、Ｙ（ｆ，ｎ）＞ＹｆｄかつＹ（ｆ，ｎ）＋Ｄｙ／Ｆ＊ＴｈＦ＜Ｙｆｄが満たされれば（Ｓ２１にてＹＥＳ）、侵入判定部５２は、被写体８２がメインカメラ１１の撮影範囲内に侵入し得る存在であることを判定する。

Ｓ１８にてＹＥＳ、Ｓ１９にてＹＥＳ、Ｓ２０にてＹＥＳ、またはＳ２１にてＹＥＳの場合、通知部６は、メインカメラ１１の撮影範囲内に侵入し得る存在があることを撮影者に通知する（Ｓ２２）。なお、Ｓ２１にてＮＯの場合、本処理を終了する。

また、Ｓ１８〜Ｓ２１の判定に用いられる２つ目の条件は、被写体８２の移動量又は移動速度を用いてもよい。例えば、被写体８２の移動量が用いられる場合は、Ｓ１８〜Ｓ２１の判定に用いられる２つ目の条件は、Ｄｘ＜−ＴｈＤｘ（水平方向移動量閾値）、Ｄｘ＞ＴｈＤｘ、Ｄｙ＜−ＴｈＤｙ（垂直方向移動量閾値）、及びＤｙ＞ＴｈＤｙとしてもよい。また、被写体８２の移速度が用いられる場合は、Ｓ１８〜Ｓ２１の判定に用いられる２つ目の条件は、Ｄｘ／Ｆ＜−ＴｈＤｘＦ（水平方向移動速度閾値）、Ｄｘ／Ｆ＞ＴｈＤｘＦ、Ｄｙ／Ｆ＜−ＴｈＤｙ（垂直方向移動速度閾値）、及びＤｙ／Ｆ＞ＴｈＤｙとしてもよい。

（侵入判定の変形例） 図６は、図５のＳ１８以降の処理の変形例の一例を示すフローチャートである。本処理では、Ｓ１５にて算出される座標は範囲として算出される（範囲設定ステップ）。例えば、以下のような変数を用いる。なお、以下に示す変数は全て、被写体番号ｎについての値である。
＜変数定義２＞Ｘ（ｆ，ｎ）：ｘ軸方向の中心位置を示すｘ座標、
Ｙ（ｆ，ｎ）：ｙ軸方向の中心位置を示すｙ座標、
αｌ：被写体の中心位置から左側における被写体の横の範囲（横幅）を示す左幅、
αｒ：被写体の中心位置から右側における被写体の横の範囲（横幅）を示す右幅、
αｕ：被写体の中心位置から上側における被写体の縦の範囲（縦幅）を示す上幅、
αｄ：被写体の中心位置から下側における被写体の縦の範囲（縦幅）を示す下幅。

図６に示すように、図５のＳ１７の後、Ｘ（ｆ，ｎ）−αｌ＞ＸｆｒかつＸ（ｆ，ｎ）−αｌ＋Ｄｘ／Ｆ＊ＴｈＦ＜Ｘｆｒが満たされる場合（Ｓ３１にてＹＥＳ）、侵入判定部５２は、被写体８２がメインカメラ１１の撮影範囲内に侵入し得る存在であることを判定する。一方、Ｓ３１にてＮＯ場合、Ｘ（ｆ，ｎ）＋αｒ＜ＸｆｌかつＸ（ｆ，ｎ）＋αｒ＋Ｄｘ／Ｆ＊ＴｈＦ＞Ｘｆｌが満たされれば（Ｓ３２にてＹＥＳ）、侵入判定部５２は、被写体８２がメインカメラ１１の撮影範囲内に侵入し得る存在であることを判定する。また、Ｓ３２にてＮＯ場合、Ｙ（ｆ，ｎ）＋αｄ＜ＹｆｕかつＹ（ｆ，ｎ）＋αｄ＋Ｄｙ／Ｆ＊ＴｈＦ＞Ｙｆｕが満たされれば（Ｓ３３にてＹＥＳ）、侵入判定部５２は、被写体８２がメインカメラ１１の撮影範囲内に侵入し得る存在であることを判定する。さらに、Ｓ３３にてＮＯ場合、Ｙ（ｆ，ｎ）−αｕ＞ＹｆｄかつＹ（ｆ，ｎ）−αｕ＋Ｄｙ／Ｆ＊ＴｈＦ＜Ｙｆｄが満たされれば（Ｓ３４にてＹＥＳ）、侵入判定部５２は、被写体８２がメインカメラ１１の撮影範囲内に侵入し得る存在であることを判定する。

Ｓ３１にてＹＥＳ、Ｓ３２にてＹＥＳ、Ｓ３３にてＹＥＳ、またはＳ３４にてＹＥＳの場合、通知部６は、メインカメラ１１の撮影範囲内に侵入し得る存在があることを撮影者に通知する（Ｓ３５）。なお、Ｓ３４にてＮＯの場合、本処理を終了する。

（効果） 上記の構成によれば、サブカメラ１２により撮影された現画像と、現画像が撮影された時点よりも前にサブカメラ１２により撮影された前画像とを比較し、前画像においてメインカメラ１１の撮影範囲外に位置する物体が、メインカメラ１１の撮影範囲内に侵入し得る存在であるか否かが判定される。それゆえ、メインカメラ１１の撮影範囲外にいる撮影対象ではない被写体が移動している場合に、撮影者が所望する画像を撮影することが可能となる。

また、上記の構成によれば、メインカメラ１１の撮影範囲外にいる物体の移動量に応じて、当該物体がメインカメラ１１の撮影範囲内に侵入し得る存在であるか否かが判定される。このため、メインカメラ１１の撮影範囲外にいる撮影対象ではない被写体がメインカメラ１１の撮影範囲内に向かって移動する場合に、当該撮影対象ではない被写体がメインカメラ１１の撮影範囲内に侵入し得る存在であることが判定される。それゆえ、メインカメラ１１の撮影範囲内に侵入し得る存在の判定の精度を高めることが可能となる。

（撮影者への通知） 図７は、電子機器１０の表示画面の一例を示す図である。図７の（ａ）に示すように、電子機器１０の表示画面には、メインカメラ１１により撮影された画像９１が表示されているが、画像９１上に警告を表示させてもよい。例えば、図４の（ａ）〜（ｃ）にて上述したように、メインカメラ１１の撮影範囲内に近づいている邪魔な被写体８２が存在する場合、図７の（ｂ）に示すように画像９１上に警告マーク９３を表示させてもよい。また、邪魔な被写体８２が枠９０内に侵入するまでの時間を、図７の（ｃ）に示すように、図７の（ｂ）の警告マーク９３に加えて、警告時間９４として画像９１上に表示させてもよい。また、図７の（ｂ）及び（ｃ）に示す警告に加えて、音又は光により撮影者に通知してもよい。

邪魔な被写体８２が枠９０内に進入するまでの時間は、被写体８２の移動速度、及び現画像における被写体８２の座標から枠９０までの距離に基づいて推定される。例えば、図５のＳ１８〜Ｓ２１にてＹＥＳの場合、時間推定部５３は、被写体８２が枠９０内に侵入するまでの時間を、式（１）〜（４）により各々推定する。
（Ｘｆｒ−Ｘ（ｆ，ｎ））＊Ｆ／Ｄｘ＊フレーム周期 ・・・式（１）
（Ｘｆｌ−Ｘ（ｆ，ｎ））＊Ｆ／Ｄｘ＊フレーム周期 ・・・式（２）
（Ｘｆｕ−Ｙ（ｆ，ｎ））＊Ｆ／Ｄｙ＊フレーム周期 ・・・式（３）
（Ｘｆｄ−Ｙ（ｆ，ｎ））＊Ｆ／Ｄｙ＊フレーム周期 ・・・式（４）
（効果） 上記の構成によれば、メインカメラ１１の撮影範囲外にいる物体が、メインカメラ１１の撮影範囲内に侵入し得るまでの時間が推定され、推定された時間が所定の閾値以下となると、ユーザに通知される。このため、撮影者は、撮影の最中に、撮影者の所望する画像が撮影できなくなる可能性が高くなっていることを認識することができる。それゆえ、撮影対象ではない被写体が撮影範囲内に存在しない状態で、撮影対象である被写体を撮影することがさらに可能となる。

〔実施形態２〕
本発明の他の実施形態について、図８〜図１０に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

（電子機器の構成例） 図１にて上述した通り、判定処理部５は、画像置換部５４を備える。画像置換部５４は、侵入判定部５２によりメインカメラ１１の撮影範囲内に侵入した存在であると判定された被写体番号ｎの被写体について、メインカメラ１１により撮影された現画像における座標範囲内にある画像を、メインカメラ１１により撮影されたＦフレーム前の前画像における当該座標範囲内にある画像に置き換える。

（画像置換処理の概要）
図８の（ａ）及び（ｂ）は、本発明の実施形態２に係るサブカメラ１２により撮影される画像の一例を示す図である。なお、図８の（ａ）及び（ｂ）には、メインカメラ１１の撮影範囲を示す枠９０をイメージとして記載するが、実際の画像には枠９０はないものとする。図８の（ａ）に示す画像９２ａは、撮影者によりシャッター操作が実行された現時点でサブカメラ１２により撮影された現画像である。図８の（ａ）に示すように、現画像９２ａには、枠９０内には被写体８１及び邪魔な被写体８２の一部が撮影されており、枠９０外には邪魔な被写体８２の残りの一部が撮影されている。図８の（ｂ）に示す画像９２ｂは、図８の（ａ）示す画像９２ａが撮影された時点よりもＦフレーム前にサブカメラ１２により撮影された前現画像である。図８の（ｂ）に示すように、枠９０内には被写体８１が撮影されており、枠９０外には邪魔な被写体８２が撮影されている。

図８の（ｃ）は、本発明の実施形態２に係るメインカメラ１１により撮影された画像について、画像の置き換え処理の概要の一例を示す図である。図８の（ｃ）の左側にある画像９１ａは、撮影者によりシャッター操作が実行された現時点でメインカメラ１１により撮影される画像を示す図である。画像９１ａにおいて、邪魔な被写体８２が写っている範囲をＡとする。図８の（ｃ）の右側にある画像９１ｃは、図８の（ｃ）の左側にある画像９１ａの一部を、別の画像に置き換えた処理画像である。処理画像９１ｃにおける範囲Ｂは、画像９１ａにおける範囲Ａの位置に対応し、図８の（ｃ）の左側に示す画像９１ａが撮影された時点よりもＦフレーム前にメインカメラ１１により撮影された前画像の一部である。

図９は、メインカメラ１１により撮影される画像９１において、被写体範囲を座標として示す図である。例えば、メインカメラ１１のｆフレーム目の画像において、被写体範囲の形状が矩形として認識される場合、被写体範囲の左上にある頂点の座標を［Ｘｓ（ｆ，ｎ），Ｙｓ（ｆ，ｎ）］とし、被写体範囲の右下にある頂点の座標を［Ｘｅ（ｆ，ｎ），Ｙｅ（ｆ，ｎ）］として、座標算出部４３によって算出される。

（画像置換処理）
図１０は、本発明の実施形態２に係る画像処理装置の処理の一例を示すフローチャートである。本実施形態は、入力受付部８が撮影者によるシャッター操作を受付けた場合に実行される処理である。なお、図１０に示す処理は、実施形態１にて上述した処理の後に実行されてもよいし、実施形態１にて上述した処理とは別に単独で実行されてもよい。また、Ｓ４１〜Ｓ４６の処理は所定の周期ごとに実行されているものとする。

入力受付部８が撮影者によるシャッター操作を受付けると、図１０に示すように、画像取得部２は、メインカメラ１１により撮影されるｆフレーム目の現画像を取得する（Ｓ４１）。そして、物体認識部４１は、画像取得部２から範囲設定部３を介して通知されたメインカメラ１１の現画像に存在する物体を被写体として認識する（Ｓ４２）。

Ｓ４２の後、番号付与部４２は、Ｓ４１にて取得された現画像と、Ｓ４１にて取得された現画像が撮影された時点よりも１フレーム前にメインカメラ１１により撮影された前画像とを比較し、同一の被写体が存在するか否かを判定する（Ｓ４３）。Ｓ４３にてＹＥＳの場合、番号付与部４２は、Ｓ４３にて比較した現画像の被写体に、Ｓ４３にて比較した１フレーム前の前画像の被写体番号と同一の番号を付与する（Ｓ４４）。一方、Ｓ４３にてＮＯの場合、番号付与部４２は、Ｓ４３にて比較した現画像の被写体に、Ｓ４３にて比較した１フレーム前の前画像の各被写体に付与されていない番号（新しい番号）を付与する（Ｓ４５）。

Ｓ４４及びＳ４５の後、座標算出部４３は、Ｓ４３にて比較した現画像における各被写体の座標範囲［Ｘｓ（ｆ，ｎ），Ｙｓ（ｆ，ｎ）］，［Ｘｅ（ｆ，ｎ），Ｙｅ（ｆ，ｎ）］を算出する（Ｓ４６）。そして、入力受付部８が撮影者によるシャッター操作を受付けると（Ｓ４７にてＹＥＳ）、侵入判定部５２は、Ｓ４４およびＳ４５にて付与された被写体番号ｎ（ｎ＝１，２，３，…）を用いて、メインカメラ１１により撮影された現画像における全ての被写体が、メインカメラ１１により撮影されたＦフレーム前の前画像に存在したか否かを判定する（Ｓ４８）。一方、Ｓ４７にてＮＯの場合、Ｓ４１以降の処理を繰り返す。

Ｓ４８にてＮＯの場合、侵入判定部５２は、メインカメラ１１の撮影範囲内に侵入した存在があることを判定する。そして、画像置換部５４は、侵入判定部５２によってメインカメラ１１の撮影範囲内に侵入した存在であると判定された被写体番号ｎの被写体について、座標範囲［Ｘｓ（ｆ，ｎ），Ｙｓ（ｆ，ｎ）］，［Ｘｅ（ｆ，ｎ），Ｙｅ（ｆ，ｎ）］内にある画像を、Ｆフレーム前の座標範囲［Ｘｓ（ｆ，ｎ），Ｙｓ（ｆ，ｎ）］，［Ｘｅ（ｆ，ｎ），Ｙｅ（ｆ，ｎ）］内にある画像に置き換える（Ｓ４９）。一方、Ｓ４８にてＹＥＳの場合、侵入判定部５２は、メインカメラ１１の撮影範囲内に侵入した存在が無いことを判定する。なお、Ｓ４８及びＳ４９の処理は、複数の被写体（被写体番号ｎ（ｎ＝１，２，３，…））のそれぞれについて実行されてもよい。

（画像置換処理に用いられる画像） Ｓ４８及びＳ４９の画像置換処理に用いられるＦフレーム前の前画像は、置換されない範囲の画像と、置換される範囲の画像とで画像のズレが生じないように、適宜選択されればよい。例えば、置換される範囲の画像（図８の（ｃ）に示す範囲Ｂ）として、メインカメラ撮影範囲に邪魔な被写体が写っていない画像で、現画像が撮影された時点に一番近い前画像が選択されてもよい。この場合、Ｓ４８の処理は、複数の被写体のそれぞれについて実行されてもよい。また、Ｓ４８に用いられるＦフレーム前の前画像は、被写体番号ｎが新たに付与された画像が撮影された時点よりも１フレーム前の前画像としてもよい。

また例えば、Ｓ４１にて取得される現画像に邪魔な被写体が複数存在することがＳ４８の処理にて判定される場合（Ｓ４８にてＮＯ）、置換される範囲（図８の（ｃ）に示す範囲Ｂ）の画像は、複数の被写体のそれぞれについて異なる前画像としてもよい。すなわち、Ｆフレーム前の前画像として、ある邪魔な被写体については、現画像よりも１フレーム前の前画像が用いられ、また別の邪魔な被写体については、現画像よりも３フレーム前の前画像が用いられることもある。

（効果） 上記の構成によれば、メインカメラ１１の撮影範囲内に侵入した存在であると判定された被写体について、現画像における被写体の座標範囲内にある画像が、前画像における当該座標範囲内にある画像に置き換えられる。このため、撮影対象ではない被写体がメインカメラ１１の撮影範囲に入った状態で撮影が行われた場合、撮影対象ではない被写体の箇所が、前画像に置き換えられる。それゆえ、撮影対象ではない被写体が撮影範囲内に存在しない状態で、撮影対象である被写体を撮影することがさらに可能となる。例えば、通行人の多い環境で撮影が行われる場合、撮影対象ではない通行人がメインカメラ１１の撮影範囲内に入った状態で撮影されたとしても、撮影対象ではない通行人の画像箇所が、当該通行人が写っていない画像に置き換えられる。
〔実施形態３〕
本発明の他の実施形態について、図１１に基づいて説明すれば、以下のとおりである。図１１は、本発明の実施形態３に係る電子機器１０の表示画面の一例を示す図である。図１１に示すように、電子機器１０の表示画面には、サブカメラ１２により撮影される画像９２が表示されてもよい。さらに、メインカメラ１１の撮影範囲を示す枠９０を画像９２上に表示させてもよい。また、電子機器１０の表示画面には、図７に示したようなメインカメラ１１により撮影される画像９１と、図１１に示したようなサブカメラ１２により撮影される画像９２とを、切り替えて表示させてもよい。切り替えのタイミングは、撮影者による操作であってもよい。

（効果） 上記の構成によれば、サブカメラ１２により撮影された画像上に、メインカメラ１１の撮影範囲を示す枠９０が表示される。このため、撮影者は、サブカメラ１２により撮影される画像を見ることにより、撮影対象ではない被写体がメインカメラ１１の撮影範囲内へ進入することを認識するとともに、撮影者が所望するタイミングで撮影することが可能となる。

〔ソフトウェアによる実現例〕
画像処理装置１の制御ブロック（特に範囲設定部３、パターン認識部４及び判定処理部５）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、画像処理装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る画像処理装置（１）は、被写体を撮影する第１カメラ（メインカメラ１１）の画角よりも広い画角で撮影可能な第２カメラ（サブカメラ１２）により撮影された現画像、及び当該現画像が撮影された時点よりも前に上記第２カメラにより撮影された前画像を取得する画像取得手段（画像取得部２）と、上記画像取得手段により取得された画像に対して、上記第１カメラの撮影範囲を設定する範囲設定手段（範囲設定部３）と、上記範囲設定手段により上記第１カメラの撮影範囲が設定された上記現画像と、上記前画像とを比較し、当該前画像において上記第１カメラの撮影範囲外に位置する物体が、上記第１カメラの撮影範囲内に侵入し得る存在であるか否かを判定する侵入判定手段（侵入判定部５２）とを備えている。

上記の構成によれば、第２カメラにより撮影された現画像と、現画像が撮影された時点よりも前に第２カメラにより撮影された前画像とを比較し、前画像において第１カメラの撮影範囲外に位置する物体が、第１カメラの撮影範囲内に侵入し得る存在であるか否かが判定される。それゆえ、第１カメラの撮影範囲外にいる撮影対象ではない被写体が移動している場合に、当該被写体が侵入し得る存在であると侵入判定手段に判定されれば、当該被写体を含む画像に対して画像置換等を行い、撮影者が所望する画像（撮影対象ではない被写体が第１カメラの撮影範囲内に存在しない画像）を撮影することが可能となる。

本発明の態様２に係る画像処理装置は、上記態様１において上記現画像と上記前画像とを比較することにより上記物体の移動量を算出する移動量算出手段（移動量算出部５１）を備え、上記侵入判定手段は、上記移動量算出手段によって算出された上記移動量が所定の閾値を超える場合に、上記物体が上記第１カメラの撮影範囲内に侵入し得る存在であることを判定してもよい。

上記の構成によれば、第１カメラの撮影範囲外にいる物体の移動量に応じて、当該物体が第１カメラの撮影範囲内に侵入し得る存在であることが判定される。このため、第１カメラの撮影範囲外にいる撮影対象ではない被写体が第１カメラの撮影範囲内に向かって移動する場合に、当該撮影対象ではない被写体が第１カメラの撮影範囲内に侵入し得る存在であることが判定される。それゆえ、第１カメラの撮影範囲内に侵入し得る存在の判定の精度を高めることが可能となる。

本発明の態様３に係る画像処理装置は、上記態様１または２において、上記第１カメラの撮影範囲内に侵入し得る存在があることをユーザに通知する通知手段（通知部６）と、上記物体が上記第１カメラの撮影範囲内に侵入し得る存在であると上記侵入判定手段により判定された場合に、上記物体が上記第１カメラの撮影範囲内に侵入し得るまでの時間を推定する時間推定手段（時間推定部５３）とをさらに備え、上記通知手段は、上記時間推定手段によって推定された上記時間が所定の閾値以下となる場合に、上記ユーザに通知してもよい。

上記の構成によれば、第１カメラの撮影範囲外にいる物体が、第１カメラの撮影範囲内に侵入し得るまでの時間が推定され、推定された時間が所定の閾値以下となると、ユーザに通知される。このため、撮影者は、撮影の最中に、撮影者の所望する画像が撮影できなくなる可能性が高くなっていることを認識することができる。それゆえ、撮影対象ではない被写体が撮影範囲内に存在しない状態で、撮影対象である被写体を撮影することがさらに可能となる。

本発明の態様４に係る画像処理装置は、上記態様１において、上記画像取得手段は、上記第１カメラにより撮影された現画像、及び当該現画像が撮影された時点よりも前に上記第１カメラにより撮影された前画像を取得し、上記侵入判定手段は、上記画像取得手段により取得された上記第１カメラの上記現画像に存在する被写体が、上記画像取得手段により取得された上記第１カメラの上記前画像に存在しない場合、当該被写体は上記第１カメラの撮影範囲内に侵入した存在であることを判定し、上記侵入判定手段によって上記第１カメラの撮影範囲内に侵入した存在であると判定された被写体について、上記画像取得手段により取得された上記第１カメラの上記現画像において上記被写体が含まれる座標範囲内にある画像を、上記画像取得手段により取得された上記第１カメラの上記前画像における当該座標範囲内にある画像に置き換える画像置換手段（画像置換部５４）をさらに備えてもよい。

上記の構成によれば、第１カメラの撮影範囲内に侵入した存在であると判定された被写体について、現画像における被写体の座標範囲内にある画像が、前画像における当該座標範囲内にある画像に置き換えられる。このため、撮影対象ではない被写体が第１カメラの撮影範囲に入った状態で撮影が行われた場合、撮影対象ではない被写体の箇所が、前画像に置き換えられる。それゆえ、撮影対象ではない被写体が撮影範囲内に存在しない状態で、撮影対象である被写体を撮影することがさらに可能となる。

本発明の態様５に係る画像処理装置は、上記態様１から４までの何れか１態様において、上記第２カメラにより撮影された画像を表示させる表示手段（表示部７）を備え、上記表示手段は、上記第２カメラにより撮影された画像上に、上記第１カメラの撮影範囲を示す枠（９０）を表示させてもよい。

上記の構成によれば、第２カメラにより撮影された画像上に、第１カメラの撮影範囲を示す枠が表示される。このため、撮影者は、第２カメラにより撮影される画像を見ることにより、撮影対象ではない被写体が第１カメラの撮影範囲内へ進入することを認識するとともに、撮影者が所望するタイミングで撮影することが可能となる。

本発明の態様６に係る電子機器（１０）は、上記態様１から５のいずれか１態様に記載の画像処理装置を備えている。

上記の構成によれば、上記態様１から５のいずれか１態様と同様の効果を奏する。

本発明の態様７に係る画像処理方法は、被写体を撮影する第１カメラの画角よりも広い画角で撮影可能な第２カメラにより撮影された現画像、及び当該現画像が撮影された時点よりも前に上記第２カメラにより撮影された前画像を取得する画像取得ステップと、上記画像取得ステップにて取得した画像に対して、上記第１カメラの撮影範囲を設定する範囲設定ステップと、上記範囲設定ステップにて上記第１カメラの撮影範囲が設定された上記現画像と、上記前画像とを比較し、当該前画像において上記第１カメラの撮影範囲外に位置する物体が、上記第１カメラの撮影範囲内に侵入し得る存在であるか否かを判定する侵入判定ステップとを備えている。

上記の構成によれば、上記態様１と同様の効果を奏する。

本発明の各態様に係る画像処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記画像処理装置が備える各手段として動作させることにより上記画像処理装置をコンピュータにて実現させる画像処理装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

また、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

本発明は、異なる２つのカメラを備えた電子機器に利用することができる。

１ 画像処理装置
２ 画像取得部（画像取得手段）
３ 範囲設定部（範囲設定手段）
４ パターン認識部
５ 判定処理部
５１ 移動量算出部（移動量算出手段）
５２ 侵入判定部（侵入判定手段）
５３ 時間推定部（時間推定手段）
５４ 画像置換部（画像置換手段）
６ 通知部（通知手段）
７ 表示部（表示手段）
８ 入力受付部
１１ メインカメラ（第１カメラ）
１２ サブカメラ（第２カメラ）

Claims (8)

1. 被写体を撮影する第１カメラの画角よりも広い画角で撮影可能な第２カメラにより撮影された現画像、及び当該現画像が撮影された時点よりも前に上記第２カメラにより撮影された前画像を取得する画像取得手段と、
   上記画像取得手段により取得された画像に対して、上記第１カメラの撮影範囲を設定する範囲設定手段と、
   上記範囲設定手段により上記第１カメラの撮影範囲が設定された上記現画像と、上記前画像とを比較し、当該前画像において上記第１カメラの撮影範囲外に位置する物体が、上記第１カメラの撮影範囲内に侵入し得る存在であるか否かを判定する侵入判定手段と、
   上記第１カメラの撮影範囲内に侵入し得る存在があることをユーザに通知する通知手段と、
   上記物体が上記第１カメラの撮影範囲内に侵入し得る存在であると上記侵入判定手段により判定された場合に、上記物体が上記第１カメラの撮影範囲内に侵入し得るまでの時間を推定する時間推定手段とを備え、
   上記通知手段は、上記時間推定手段によって推定された上記時間が所定の閾値以下となる場合に、上記ユーザに通知することを特徴とする画像処理装置。
2. 上記現画像と上記前画像とを比較することにより上記物体の移動量を算出する移動量算出手段を備え、
   上記侵入判定手段は、上記移動量算出手段によって算出された上記移動量が所定の閾値を超える場合に、上記物体が上記第１カメラの撮影範囲内に侵入し得る存在であることを判定することを特徴とする請求項１に記載の画像処理装置。
3. 上記第１カメラまたは上記第２カメラにより撮影された画像を表示する表示画面をさらに備え、
   上記通知手段は、上記物体が上記第１カメラの撮影範囲内に侵入しうるまでの時間を上記表示画面に表示させることを特徴とする請求項１または２に記載の画像処理装置。
4. 上記画像取得手段は、さらに上記第１カメラにより撮影された現画像、及び当該現画像が撮影された時点よりも前に上記第１カメラにより撮影された前画像を取得し、
   上記侵入判定手段は、さらに上記画像取得手段により取得された上記第１カメラの上記現画像に存在する被写体が、上記画像取得手段により取得された上記第１カメラの上記前画像に存在しない場合、当該被写体は上記第１カメラの撮影範囲内に侵入した存在であることを判定し、
   上記侵入判定手段によって上記第１カメラの撮影範囲内に侵入した存在であると判定された被写体について、上記画像取得手段により取得された上記第１カメラの上記現画像において上記被写体が含まれる座標範囲内にある画像を、上記画像取得手段により取得された上記第１カメラの上記前画像における当該座標範囲内にある画像に置き換える画像置換手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。
5. 上記第２カメラにより撮影された画像を表示させる表示手段を備え、
   上記表示手段は、上記第２カメラにより撮影された画像上に、上記第１カメラの撮影範囲を示す枠を表示させることを特徴とする請求項１から４までの何れか１項に記載の画像処理装置。
6. 請求項１から５のいずれか１項に記載の画像処理装置としてコンピュータを機能させるための画像処理プログラムであって、コンピュータを上記各手段として機能させるための画像処理プログラム。
7. 請求項１から５のいずれか１項に記載の画像処理装置を備えた電子機器。
8. 被写体を撮影する第１カメラの画角よりも広い画角で撮影可能な第２カメラにより撮影された現画像、及び当該現画像が撮影された時点よりも前に上記第２カメラにより撮影された前画像を取得する画像取得ステップと、
   上記画像取得ステップにて取得した画像に対して、上記第１カメラの撮影範囲を設定する範囲設定ステップと、
   上記範囲設定ステップにて上記第１カメラの撮影範囲が設定された上記現画像と、上記前画像とを比較し、当該前画像において上記第１カメラの撮影範囲外に位置する物体が、上記第１カメラの撮影範囲内に侵入し得る存在であるか否かを判定する侵入判定ステップと、
   上記第１カメラの撮影範囲内に侵入し得る存在があることをユーザに通知する通知ステップと、
   上記物体が上記第１カメラの撮影範囲内に侵入し得る存在であると上記侵入判定ステップにおいて判定された場合に、上記物体が上記第１カメラの撮影範囲内に侵入し得るまでの時間を推定する時間推定ステップとを含み、
   上記通知ステップでは、上記時間推定ステップにおいて推定された上記時間が所定の閾値以下となる場合に、上記ユーザに通知することを特徴とする画像処理方法。

Images