JP5230013B2 - 撮像装置 - Google Patents

Description

本発明は、画像編集を行うことができる撮像装置に関する。

近年カメラは、フィルムを使うフィルムカメラから、撮像素子を使うデジタルカメラへと移行しつつある。デジタルカメラの大きなメリットの一つとして、内蔵メモリの容量が大きいので撮影できる残り枚数や失敗した撮影を気にせずに、いつでもどこでも気軽に撮影ができるということが挙げられる。しかしながら、こうした手軽なデジタルカメラで撮影しようとする際に、撮影者にとって不要な物体が撮影範囲内に入り込んでしまう場合があり、いつでもどこでも撮影できるというメリットが活かせない場合がある。例えば観光地などで記念に撮影する場合、他の観光客が撮影範囲内に入ってしまったり、撮影時に通行中の車が入ってしまったりなど、不要な物体が撮影範囲内に入ってしまう場合がある。そのため、撮影者は撮影場所を変えたり、撮影するタイミングを計ったりなどする必要があり、撮影者にとって撮りたい場所やタイミングで撮影できないという問題がある。

このような不要な物体を削除する手法として、撮影中に割り込んだ物体を除去する手法がいくつか提案されている。例えば、風景を背景とした人物の撮影をする際に、所定の時間間隔で３枚の画像を連続して撮影し、３枚の画像のうち２枚以上の画像から一致する部分を抽出して画像を合成することで、撮影中に撮影範囲に入った動きのある第３者を除去した画像を得る手法が提案されている（例えば、特許文献１参照）。また、電車の窓から風景を撮影する際に、連続的に撮影を行い、障害物の写りこんでいない前後の画像から手前にある不要な障害物を削除する手法が提案されている（例えば、特許文献２参照）。

特開２００５−１２６６０号公報 特開２００７−３０５０５０号公報

しかしながら、特許文献１に開示された技術は、除去できる不要な物体は動いている移動体のみであり、静止している不要な物体に対しては適用できない。また、動いている対象はすべて除去対象となってしまうため、被写体が移動体の場合には撮影者が残しておきたい場合であっても除去されてしまう。そのため、移動体が複数存在する場合であっても除去すべきものと残すべきものを選択できず、希望通りの画像が得られない。さらには連続した３枚の画像では連続撮影中に同じ範囲に他の移動体が入り込んでしまったりすると除去対象物によって遮蔽された部分が補間できないという問題がある。

一方、特許文献２に開示された技術は、撮影者は移動中の乗り物に乗っているという限定された環境であり、撮影者が静止している環境下では不要物を除去できない。また、撮影者に対して相対的に動いているものを除去してしまうため、一部を消したくない場合であっても前方の移動体を全て除去してしまい、希望通りの画像を得ることができないという問題がある。

すなわち、従来の技術は撮影者に対して相対的に動いている物体のみを除去するものであり、除去できるものが限定されている。また、複数枚の撮影画像から不要物を削除した画像を得るが、撮影者に対して相対的に動いているものであっても相対速度が小さい場合には、ある時間間隔で撮影した画像では完全に遮蔽されている部分が視界に入る保証はなく、その場合には除去がうまくできないという問題がある。

本発明は、このような事情に鑑みてなされたもので、移動体、静止体に関わらず撮影者の指定する対象物を除去した画像を撮影現場で簡単に生成することができる撮像装置を提供することを目的とする。

本発明は、被写体を撮影する撮像部と、前記撮像部により撮影した第１の被写体画像データを得る第１の被写体画像取得部と、第１の被写体画像データを表示し、該第１の被写体画像データ上の除去対象領域を指定する領域指定部と、前記撮像部により撮影した第２の被写体画像データを得る第２の被写体画像取得部と、前記第２の被写体画像データから前記除去対象領域に相当する部分画像データを抽出し、該部分画像データを前記第１の被写体画像データ上の前記除去対象領域に対して合成することができるか否かを判定する画像判定部と、前記画像判定部の判定結果が合成可能である場合に、前記部分画像データを前記第１の被写体画像データ上の前記除去対象領域に対して画像合成する画像合成部とを備えることを特徴とする。

本発明は、前記画像合成部は、前記第２の被写体画像取得部によって取得した複数の第２の被写体画像データのそれぞれから抽出した前記部分画像データを用いて、前記第１の被写体画像データ上の前記除去対象領域に対する画像合成を行うことを特徴とする。

本発明は、前記画像合成部は、前記部分画像データを変形させて前記第１の被写体画像データ上の前記除去対象領域に対して画像合成することを特徴とする。

本発明は、前記画像判定部の判定結果が合成不可能である場合に、再度前記第２の被写体画像を撮影させる撮影指示を表示する指示表示部をさらに備えたことを特徴とする。

本発明は、前記指示表示部は、前記第１の被写体画像の撮影位置とは異なる撮影位置において、前記第２の被写体画像を撮影させる撮影指示を表示することを特徴とする。

本発明は、前記指示表示部は、前記第２の被写体画像を複数撮影する場合に、前記第２の被写体画像の撮影位置のそれぞれが異なる位置になるように撮影指示を表示することを特徴とする。

本発明は、前記領域指定部により指定された前記領域内の被写体が移動体であるか否かを判定する移動体判定部を備え、前記指示表示部は、前記領域内の被写体が移動体である場合には、前記第１の被写体画像を撮影した撮影位置から前記第２の被写体画像を撮影させる撮影指示を表示し、前記領域内の被写体が移動体でない場合には、前記領域内の被写体が写らない位置へ移動して、前記第２の被写体画像を撮影させる撮影指示を表示することを特徴とする。

本発明は、撮影領域の位置関係を判定することができる奥行き判定部を備え、前記指示表示部は、前記除去対象領域に応じて第２の撮影位置の方向と距離とを表示することを特徴とする。

本発明は、前記撮像部は同時に異なる視点からみた２つの被写体画像１を得ることができる２眼の撮像部を備え、前記奥行き判定部は前記２つの被写体画像１の視差から奥行きを取得することを特徴とする。

本発明によれば、撮影を行う際に静止体、移動体に関わらず撮影者にとって不要な対象物を除去した画像を撮影現場で得ることができるという効果が得られる。

本発明の第１の実施形態による撮像装置の構成を示すブロック図である。 ２枚の被写体画像を合成する処理動作を示す説明図である。 画像の撮影時の位置関係を示す説明図である。 本発明の第１の実施形態による撮像装置の処理動作を示すフローチャートである。 画像の撮影時の位置関係を示す説明図である。 画像の撮影時の位置関係を示す説明図である。 本発明の第２の実施形態による撮像装置の処理動作を示すフローチャートである。

＜第１の実施形態＞
以下、図面を参照して、本発明の第１の実施形態による撮像装置を説明する。図１は、第１の実施形態における撮像装置の構成を示す概略ブロック図である。この撮像装置は、デジタル一眼レフカメラ等のデジタルカメラ、ＰＤＡ（携帯情報端末）、携帯電話等にも搭載することができる。撮像装置は、撮像部１０、画像処理部１１、画像記録部１２、表示部１３、指示部１４、画像判定部１５及び撮影タイミング提示部１６から構成する。撮像部１０は、撮像素子、結像光学系（レンズ光学系）、Ａ／Ｄ変換部などによって構成され、結像光学系によって入射した被写体の像を撮像素子上に結像し、結像された被写体像は撮像素子によって電気信号に変換し、Ａ／Ｄ変換部によりアナログ信号からデジタル画像信号へと変換し、画像データとして出力する。撮像素子には、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charge Coupled Device）センサ等の固体電子デバイスを使用する。

画像処理部１１は、撮像部１０から出力される画像データを入力し、入力した画像データに対して平滑化処理、コントラスト調整、色補正、信号圧縮などの各種画像処理や合成処理を行う。合成処理は撮影画像において、複数枚の画像から指示部１４により選択された領域の置換または補間を行う。すなわち、撮影画像において不要な対象物が写りこんでいる領域を置換または補間することで、不要な対象物が除去された画像を作成する。置換または補間する領域は不要な対象物より大きい領域があればよく、最小の領域としては指定領域に写りこんでいる人や物体を抽出してその対象物の領域だけ処理する方法がある。合成領域は処理量や撮影画像など考慮した上で最適な手法を選択する。

画像記録部１２は、画像処理部１１が行う画像処理などでワークエリアとして用いられるバッファメモリや撮影画像を記録しておくフラッシュメモリなどで構成し、必要に応じて画像データの読み書きを行う。表示部１３は例えば液晶モニタなどで構成され、記録された画像表示やビューファインダーの代わりとして撮影画像の表示、またはメニューなど操作画面などを表示する。

指示部１４は、表示部１３に表示された画像に対し、ボタンとカーソルによって撮影者が除去する領域を指定する操作を行う。表示部１３には、指示部１４として抵抗膜方式や静電容量方式などのタッチパネルを設け、撮影者が除去したい部分をタッチすることで簡単に選択できるようにしてもよい。この場合、表示部１３と指示部１４とは一体に構成にされて、表示指示部を構成している。また、指定領域の数に制限はなく、複数個所指定してもよい。この撮像装置を携帯電話等に搭載した場合、既存のスイッチ、ボタン等を流用するようにしてもよい。

画像判定部１５は、指示部１４により指定された領域において置換または補間可能か否かを判定する。画像判定部１５は、被写体を撮影した画像に基づいて撮影しようとしているまたは撮影した画像とを比較して選択領域の置換または補間の判定を行い、画像タイミング提示部１６へとその判定結果情報を出力する。画像タイミング提示部１６は、画像判定部１５から出力される判定結果情報に基づいて、置換または補間が可能な画像の撮影を行うことができるように撮影者に対して撮影場所やタイミングなどの情報を提示する。タイミングや場所の提示方法はランプによって簡単に合成可能であるか通知してもよいし、具体的にどちらの方向に移って撮影すべきかを提示するのでも構わない。

次に、図２を参照して、合成画像の生成の処理動作について説明する。図２において、符号１、２、３は、それぞれ画像を示している。画像１は、１回目の撮影画像である（これを被写体画像１と称する）。画像２は、補間または置換を行うための部分画像を得るための２回目の撮影画像である（これを被写体画像２と称する）。画像３は、画像処理部１１が被写体画像１と被写体画像２をそれぞれ入力し、被写体画像１から画像処理によって不要部分を除去し、不要部分を除去した被写体画像１に対して、被写体画像２から部分画像を抽出し、抽出した部分画像に対して幾何学的変換等の処理を行って合成した合成画像である。

合成画像３は、撮影した被写体画像１において不要な被写体Ｘを選択し、新たに少なくとも１つの被写体画像２を撮影することで選択した不要な被写体Ｘを除去した画像を得るためのものである。画像合成のために行う２回目以降の撮影は、初めの撮影位置に対して不要な被写体Ｘの向こう側へ回り込んだ位置にて、被写体画像１において遮蔽されている領域が写るように撮影を行う。そのようにして得た被写体画像２を用いて被写体画像１の置換または補間を行うことで、不要な被写体Ｘを除去した合成画像３を得ることができる。この作業は撮像装置の指示に従って、撮影現場で撮影者が操作することで簡単に行うことができる。

次に、図２、図３及び図４を参照して、図２に示す画像合成処理の詳細を説明する。図３は、被写体を撮影する場合の被写体と撮像装置の撮影位置との関係を上方から見た状態を示す図である。図４は、図１に示す撮像装置の処理動作を示すフローチャートである。まず、撮影者が撮影したいアングルによって撮影した被写体画像１を画像記録部１２に保存する（ステップＳ１１）。被写体画像１は図２に示すように遠方の背景に山２０１があり、正面の建物２０２を撮影した画像である。撮影者が撮影したい位置、タイミングで撮影したため、建物２０２と撮影位置２０５の間に不要物（除去対象物）Ｘが写り込んでいる。この時、カメラの撮影範囲は図３に示す破線２０６ａ、２０６ｂの範囲であり、その範囲の中で実線２０７ａ、２０７ｂで囲まれた領域２０８は不要物Ｘによって視界が遮蔽されて背後が見えない状態となっている。そのため、不要物Ｘによってドア２０３の一部が隠されている。図３ではこの不要物Ｘによって遮蔽された建物２０２の部分を遮蔽領域２０９で示している。

次に、撮影者は、指示部１４を操作して、被写体画像１上の除去対象物の領域を指定する（ステップＳ１２）。指示部１４は、表示部１３に設けられたタッチパネルで構成されており、表示部１３に表示された被写体画像１上の不要物Ｘの輪郭部分を指等でたどりながら画像上の多角形領域を指定する。画像処理部１１は、指示部１４において指示された画像上の多角形領域の座標情報を抽出する。この除去対象物の領域の座標情報が、合成領域の座標情報となる。また、除去対象物の指定は、カメラに奥行情報が取得できる奥行き情報取得部が装備されており、指定した対象物の奥行き情報を取得し、指定部分の周辺領域で近い奥行きをもつ領域を自動的に抽出することで簡単に除去対象領域を指定する方法でもよいし、色情報を基に領域を抽出する方法でもよい。奥行き情報の取得は、例えば、撮像部が２眼以上の多眼構成となっており、そこから得られたステレオ画像から視差量を求めて奥行きを算出する方法でも構わないし、あるパターンを照射するレーザを組み合わせることで奥行きを算出する方法でも構わない。ここではタッチパネルを用いた指定操作としたが、指定操作する方法はこれに限るものではない。

また、被写体画像１のフォーカスの程度からフォーカスの合っていない人や物体などを除去対象に自動選択するなどカメラ側が選択して撮影者に確認させるようにして除去対象物の指定を行うようにしてもよい。合成処理を行う領域は不要物Ｘを含むある程度の大きさをもつ領域を選択し、被写体画像１と２に関して不要物Ｘの周辺領域での対応関係によって処理を行う。もちろん、画像から不要物Ｘを抽出し、不要物Ｘに遮蔽されている部分のみを対象としてもいい。この場合、処理対象の領域が小さいほど合成の処理量は少なくなる。本実施形態では、対象領域が全て含まれるようなエリアに対し、不要物Ｘの周辺部分でのパターンマッチングや特徴点による対応関係によって被写体画像２での対応領域を求めている。

次に、画像処理部１１は、ステップＳ１２で指定した除去対象物が移動体であるか否かを判定する（ステップＳ１３）。画像処理部１１には、被写体画像１上の移動体を判別する機能を備えており、除去対象物の移動速度によって処理方法を適切に選択する。本実施例では除去対象の不要物Ｘが移動体であるか静止体であるかの判定を次のような処理によって行う。画像処理部１１は、撮像部１０により撮像した被写体画像１を画像記録部１２に記録する際に、時系列で並んだ複数枚の画像を保存し、画像間の差分によって移動体かを判別する。例えば、被写体画像１の撮影時に後ろのフレームも同時に記録しておき、被写体画像１と後ろフレームでの不要物Ｘの位置関係を比較することで移動体か静止体であるか判定を行う。このとき、画像処理部１１は、不要物Ｘが移動体である場合、移動体の移動量（画像上のずれ量）とフレームレートに基づいて移動体の移動速度を算出する。

なお、ここでは複数枚の画像から移動体であるか否かの判定を行う説明をしたが、速度測定用のセンサを設けるなどして、移動体の判定と速度を求めるようにしてもよい。ただし、移動体である場合の処理方法は移動速度が所定の閾値を超えたものに対して行う。なぜなら、非常に低速な対象では処理対象領域外に移動するのに時間がかかる場合があるためである。

次に、撮影タイミング提示部１６は、画像処理部１１において、不要物Ｘが移動体であると判定された場合、撮影者に対して撮影位置やタイミングを指示するメッセージを表示部１３に表示する。不要物Ｘが移動体である場合には一定時間経過すれば不要物Ｘによって遮蔽されている領域が見えるようになるため、選択された除去対象物が動いていると判定された場合は、撮影タイミング提示部１６はその場で再度撮影をさせるように指示するメッセージを表示部１３に表示する。例えば、被写体画像１から不要物Ｘを選択した時点で、「その場で再度撮影して下さい」というメッセージを表示部１３に表示する。撮影者が表示部１３に表示された指示に従ってその場で再度撮影の操作を行うことにより、画像処理部１１は、撮像部１０において撮像した被写体画像２を画像記録部１２に記録する（ステップＳ１４）。これにより、画像記録部１２には、不要物Ｘが写っている被写体画像１と、被写体画像１上の不要物Ｘが別の位置へ移動した状態の被写体画像２が記録されたことになる。

次に、画像処理部１１は、画像記録部１２に記録されている被写体画像１と被写体画像２とが合成できるか否かを判定する（ステップＳ１５）。例えば、再撮影の時点で他の物体によって除去対象領域の少なくとも一部が遮られた場合は、撮影者に対して合成ができないため、再度撮影するように指示するメッセージを表示部１３に表示し、確実に合成ができる被写体画像２が得られるまで処理を繰り返し行う。これにより、撮影する場で画像合成が可能か否かを確認することができるため、画像合成の失敗がなくなる。

そして、合成可能な被写体画像２が得られた時点で、被写体画像１の除去対象領域に、被写体画像２の部分画像を用いて補間または置換することで合成処理を行う（ステップＳ１６）。被写体画像２は被写体画像１とほぼ同じ位置から撮影されたものなので複雑な処理を行わなくても被写体画像１と一致し易いため、被写体画像１と被写体画像２の位置合わせや、サイズ調整など最小限の処理を行い、除去対象領域の置換を行う。このとき、被写体画像１と被写体画像２では撮影時刻に時間差があるため、屋外などでの撮影では太陽光による明るさなど変化する場合があるが、被写体画像２を被写体画像１に明るさや色調を合わせるように処理して合成する。そして、画像処理部１１は、合成した画像を画像記録部１２に保存する（ステップＳ２０）。

一方、撮影タイミング提示部１６は、画像処理部１１において、不要物Ｘが静止体（または閾値以下の速度で移動する物体）であると判定された場合、撮影者に対して撮影位置やタイミングを指示するメッセージを表示部１３に表示する。不要物Ｘが静止体である場合、不要物Ｘに遮蔽されている領域は、被写体画像１を撮影した撮影位置から移動しなければ撮影できないため、撮影タイミング提示部１６は静止体であると判定した結果を受けて、不要物Ｘと建物２０２の間の領域に移動して撮影するように撮影者に指示を出す。撮影者は表示部１３に表示された指示に従い、撮影位置を変えて被写体画像２の撮影を行い、画像処理部１１は、撮影した被写体画像２を画像記録部１２へ保存する（ステップＳ１７）。このようにして、図２に示す被写体画像２が得られることになる。この時、撮影するべき被写体であるドア２０３に近づくことになるが、不要物Ｘの遮蔽している領域２０９全体がフレーム内に入っているように撮影する必要がある。

図３に示すように、撮影位置２１０は、撮影するべき被写体（建物２０２のドア２０３）の撮影位置を示しており、その時の撮影範囲は破線２１１ａから破線２１１ｂであり、不要物Ｘによって遮蔽された領域２０９が撮影範囲内に入っていることがわかる。撮影位置２１０に関して、第１の撮影位置２０５と不要物Ｘを結んだライン上であることが望ましい。これは領域２０９において被写体画像１と近い撮影角度で撮影でき、合成処理が簡単化できるためである。

画像判定部１５は、被写体画像１と被写体画像２とが合成できるか否かを判定することにより、撮影した被写体画像２によって被写体画像１の補間または置換ができるか否かを判定する（ステップＳ１８）。この判定は、被写体画像１の補間対象である領域２０９が、被写体画像２において完全に撮影範囲に入っているか否かによって行い、例えば、被写体画像１と被写体画像２それぞれの特徴点抽出を行い、対応した特徴点が得られるか否かによって行う。図２に示す例では、被写体画像１上で指定された不要物Ｘを含む除去対象領域周辺の特徴点Ｐ１、Ｐ２、Ｐ３を抽出するとともに、被写体画像２から特徴点Ｐ１’、Ｐ２’、Ｐ３’を抽出し、特徴点Ｐ１と特徴点Ｐ１’、特徴点Ｐ２と特徴点Ｐ２’、特徴点Ｐ３と特徴点Ｐ３’のそれぞれが対応関係によって判定する。なお、特徴点の抽出は、公知の画像特徴点抽出処理を用いて行う。

画像判定部１５は、補間または置換するために必要な領域が、被写体画像２の撮影範囲に入ってない（対応点がない）などの場合、画像判定部１５は、表示部１３に合成ができないことを通知すると共に、再度位置を変えて撮影するように指示するメッセージを表示する。この時、領域２０９が撮影範囲より大きい場合はズームレンズをワイド方向に駆動させ、それでも撮影範囲に収まりきらない場合は撮影者に下がって撮影するように指示を出す。撮影者が指示に従って再度撮影を行うと、画像処理部１１は、撮影された被写体画像２を画像記録部１２に保存する。

次に、画像処理部１１は、得られた被写体画像２と被写体画像１との合成を行う（ステップＳ１９）。合成処理は、被写体画像１と被写体画像２で対応付けられた対応点点の座標を基に被写体画像２に対して射影変換やアフィン変換など幾何学的変換を行うことにより変形させ、除去対象物の領域部分を切り出して、被写体画像１の補間または置換することにより行う。また、このとき被写体画像１に合わせるように明るさ、色調を補正して合成する。このようにすることで撮影者が好きな位置、タイミングで撮影した被写体画像１から不要な不要物Ｘを取り除いた合成画像を得ることができる。そして、画像処理部１１は、合成した画像を画像記録部１２に保存する（ステップＳ２０）。

なお、前述した説明においては、除去対象の不要物Ｘが１つである場合を説明したが、被写体画像１上に不要物Ｘが複数存在する場合でも同じように、それぞれ遮蔽された領域に対して再度撮影し、合成することで、不要物Ｘを取り除いた合成画像を得ることができる。例えば、除去したい不要物Ｘがｎ個ある場合は、ｎ個の不要物Ｘそれぞれによって見えない遮蔽領域を個別に撮影し、それぞれの部分で合成処理を行う。この時、合成に必要な撮影画像は最大でｎ枚必要である。また、不要物Ｘに移動体と静止体が混ざっている場合においても、被写体画像１の撮影場所からの再撮影と撮影位置変更後の撮影とを組み合わせることで対応することができる。

また、建物や風景などを背景に人物など撮影する場合があるが、人物は初めの被写体画像１を撮影する際に撮影するだけでよい。これは画像全体を処理するものではなく除去対象周辺までの領域で切り分けて処理し、処理対象領域以外は被写体画像１を基準としたものとするためである。そのため第２の被写体画像の撮影中も被写体は同じ位置に待機する必要はない。

以上説明したように、不要な被写体が写り込んだ場合においても簡単に指定した対象を除去した画像が得られると共に、そのような補間が可能な画像が撮影できたか否かを容易に判定できるために画像合成の失敗を防ぐことができる。

＜第２の実施形態＞
次に、図５〜図７を参照して、本発明の第２の実施形態による撮像装置を説明する。第２の実施形態による撮像装置は、被写体画像１の画像を合成するために、不要物Ｘによって遮蔽されている領域が撮影できる位置まで撮影者が移動して被写体画像２を撮影することにより、遮蔽領域の画像を得て画像を合成するものである。このため、不要物Ｘが遠方にある場合など不要物Ｘの向こう側へ移動して撮影することが困難な場合に用いることができる。第２の実施形態における撮像装置の構成は、図１に示す構成と同様であるため詳細な説明を省略する。図５、図６は、被写体を撮影する場合の被写体と撮像装置の撮影位置との関係を上方から見た状態を示す図である。図７は、第２の実施形態において、図１に示す撮像装置の処理動作を示すフローチャートである。

ここでは、第１の実施形態のように、図２に示す被写体画像１と被写体画像２を画像処理部１１により合成した合成画像を得るものとして説明する。まず、撮影者が撮影したいアングルによって撮影した被写体画像１を画像記録部１２に保存する（ステップＳ２１）。被写体画像１は、図２に示すように遠方の背景に山２０１があり、正面の建物２０２を撮影した画像である。撮影者が撮影したい位置、タイミングで撮影したため、建物２０２と撮影位置２０５の間に不要物（除去対象物）Ｘが写り込んでいる。この時、カメラの撮影範囲は図５に示す破線２０６ａ、２０６ｂの範囲であり、その範囲の中で線２０７ａ、２０７ｂで囲まれた領域２０８は不要物Ｘによって視界が遮蔽されて背後が見えない状態となっている。そのため、不要物Ｘによってドア２０３の一部が隠されている。図５ではこの不要物Ｘによって遮蔽された建物２０２の部分を遮蔽領域２０９で示している。

次に、撮影者は、指示部１４を操作して、被写体画像１上の除去対象物の領域を指定する（ステップＳ２２）。指示部１４は、表示部１３に設けられたタッチパネルで構成されており、表示部１３に表示された被写体画像１上の不要物Ｘの輪郭部分を指等でたどりながら画像上の多角形領域を指定する。画像処理部１１は、指示部１４において指示された画像上の多角形領域の座標情報を抽出する。この除去対象物の領域の座標情報が、合成領域の座標情報となる。また、除去対象物の指定は、カメラに奥行情報が取得できる奥行き情報取得部が装備されており、指定した対象物の奥行き情報を取得し、指定部分の周辺領域で近い奥行きをもつ領域を自動的に抽出することで簡単に除去対象領域を指定する方法でもよいし、色情報を基に領域を抽出する方法でもよい。。奥行き情報の取得は、例えば、撮像部が２眼以上の多眼構成となっており、そこから得られたステレオ画像から視差量を求めて奥行きを算出する方法でも構わないし、あるパターンを照射するレーザを組み合わせることで奥行きを算出する方法でも構わない。

ここではタッチパネルを用いた指定操作としたが、指定操作する方法はこれに限るものではない。また、被写体画像１のフォーカスの程度からフォーカスの合っていない人や物体などを除去対象に自動選択するなどカメラ側が選択して撮影者に確認させるようにして除去対象物の指定を行うようにしてもよい。除去対象の領域は不要物Ｘを含むある程度の大きさをもつ領域を選択し、被写体画像１と２に関して不要物Ｘの周辺領域での対応関係によって処理を行う。もちろん、画像から不要物Ｘを抽出し、不要物Ｘに遮蔽されている部分のみを対象としてもいい。この場合、処理対象の領域が小さいほど合成の処理量は少なくなる。本実施形態では、対象領域が全て含まれるようなエリアに対し、不要物Ｘの周辺部分でのパターンマッチングや特徴点による対応関係によって被写体画像２での対応領域を求めている。

次に、画像処理部１１は、ステップＳ２２で指定した除去対象物が移動体であるか否かを判定する（ステップＳ２３）。画像処理部１１には、被写体画像１上の移動体を判別する機能を備えており、除去対象物の移動速度によって処理方法を適切に選択する。本実施例では除去対象の不要物Ｘが移動体であるか静止体であるかの判定を次のような処理により行う。画像処理部１１は、撮像部１０により撮像した被写体画像１を画像記録部１２に記録する際に、時系列で並んだ複数枚の画像を保存し、画像間の差分によって移動体かを判別する。例えば、被写体画像１の撮影時に後ろのフレームも同時に記録しておき、被写体画像１と後ろフレームでの不要物Ｘの位置関係を比較することで移動体か静止体であるか判定を行う。このとき、画像処理部１１は、不要物Ｘが移動体である場合、移動体の移動量（画像上のずれ量）とフレームレートに基づいて移動体の移動速度を算出する。

なお、ここでは複数枚の画像から移動体であるか否かの判定を行う説明をしたが、速度測定用のセンサを設けるなどして、移動体の判定とその速度を求めるようにしてもよい。ただし、移動体である場合の処理方法は移動速度が所定の閾値を超えたものに対して行う。なぜなら、非常に低速な対象では処理対象領域外に移動するのに時間がかかる場合があるためである。

次に、撮影タイミング提示部１６は、画像処理部１１において、不要物Ｘが移動体であると判定された場合、撮影者に対して撮影位置やタイミングを指示するメッセージを表示部１３に表示する。不要物Ｘが移動体である場合には一定時間経過すれば不要物Ｘによって遮蔽されている領域が見えるようになるため、選択された除去対象物が動いていると判定された場合は、撮影タイミング提示部１６はその場で再度撮影をさせるように指示するメッセージを表示部１３に表示する。例えば、被写体画像１から不要物Ｘを選択した時点で、「その場で再度撮影して下さい」というメッセージを表示部１３に表示する。撮影者が表示部１３に表示された指示に従ってその場で再度撮影の操作を行うことにより、画像処理部１１は、撮像部１０において撮像した被写体画像２を画像記録部１２に保存する（ステップＳ２４）。これにより、画像記録部１２には、不要物Ｘが写っている被写体画像１と、被写体画像１上の不要物Ｘが別の位置へ移動した状態の被写体画像２が記録されたことになる。

次に、画像処理部１１は、画像記録部１２に記録されている被写体画像１と被写体画像２とが合成できるか否かを判定する（ステップＳ２５）。例えば、再撮影の時点で他の物体によって除去対象領域の少なくとも一部が遮られた場合は、撮影者に対して合成ができないため、再度撮影するように指示するメッセージを表示部１３に表示し、確実に合成ができる被写体画像２が得られるまで処理を繰り返し行う。これにより、撮影する場で画像合成が可能か否かを確認することができるため、画像合成の失敗がなくなる。

そして、合成可能な被写体画像２が得られた時点で、被写体画像１の除去対象領域に、被写体画像２の部分画像を用いて補間または置換することで合成処理を行う（ステップＳ２６）。被写体画像２は被写体画像１とほぼ同じ位置から撮影されたものなので複雑な処理を行わなくても被写体画像１と一致し易いため、被写体画像１と被写体画像２の位置合わせや、サイズ調整など最小限の処理を行い、除去対象領域の置換を行う。このとき、被写体画像１と被写体画像２では撮影時刻に時間差があるため、屋外などでの撮影では太陽光による明るさなど変化する場合があるが、被写体画像２を被写体画像１に明るさや色調を合わせるように処理して合成する。そして、画像処理部１１は、合成した画像を画像記録部１２に保存する（ステップＳ３２）。

一方、撮影タイミング提示部１６は、画像処理部１１において、不要物Ｘが静止体（または閾値以下の速度で移動する物体）であると判定された場合、撮影者に対して撮影位置やタイミングを指示するメッセージを表示部１３に表示する。不要物Ｘが静止体である場合、不要物Ｘに遮蔽されている領域は、被写体画像１を撮影した撮影位置から移動しなければ撮影できないため、撮影タイミング提示部１６は静止体であると判定した結果を受けて、不要物Ｘにより遮蔽されている領域を撮影することができる位置に移動して撮影するように撮影者に指示を出す。撮影者は表示部１３に表示された指示に従い、撮影位置を変えて被写体画像２の撮影を行い、画像処理部１１は、撮影した被写体画像２を画像記録部１２へ保存する（ステップＳ２７）。

図５に示すように、撮影位置２０５が初めの撮影位置、撮影位置４１０が移動後の撮影位置であり、撮影位置４１０から撮影した際の撮像範囲が一点鎖線４１１ａ、４１１ｂで示す範囲となる。また、撮影位置４１０から見た遮蔽領域２０９に対応する視線範囲が実線４１２ａ、４１２ｂに囲まれた範囲となる。不要物Ｘによって遮蔽されている領域を補間する必要があるため、撮影タイミング提示部１６は遮蔽領域２０９全体が見える位置まで左または右方向に移動するように指示する。図５では撮影者は左方向に移動し、不要物Ｘによって領域２０９が完全に遮蔽されていない位置４１０まで移動した例を示している。

画像判定部１５は、被写体画像１と被写体画像２とが合成できるか否かを判定することにより、撮影した被写体画像２によって被写体画像１の補間または置換ができるか否かを判定する（ステップＳ２８）。この判定は、被写体画像１の補間対象である領域２０９が、被写体画像２において完全に撮影範囲に入っているか否かによって行い、例えば、被写体画像１と被写体画像２それぞれの特徴点抽出を行い、対応した特徴点が得られるか否かによって行う。この判定の結果、合成できる場合、画像処理部１１は、得られた被写体画像２と被写体画像１との合成を行う（ステップＳ２９）。

合成処理は、被写体画像１と被写体画像２で対応付けられた対応点の座標を基に被写体画像２に対して射影変換やアフィン変換など幾何学的変換を行い、除去対象物の領域部分を切り出して、被写体画像１の補間または置換することにより行う。つまり、被写体画像２は被写体画像１の撮影方向に比べて斜め方向からの撮影となっているため、公知の射影変換処理などによって被写体画像１の撮影方向からの画像と一致するように補正を行う。また、さらに被写体画像１に合わせるように明るさ、色調を補正し、被写体画像１へと合成する。このような合成処理は画像全体で行う必要はなく、必要な領域のみで行うことで処理量が削減できる。また、マッチングを取るための領域は確保する必要がある。そして、画像処理部１１は、合成した画像を画像記録部１２に保存する（ステップＳ３２）。

一方、被写体画像２だけでは不要物Ｘによって遮蔽されている領域２０９の補間が行えず画像合成ができない場合、画像判定部１５は、表示部１３に合成ができないことを通知すると共に、さらに撮影位置を変えて撮影するように指示するメッセージを表示する。この時、不要物Ｘと領域２０９の位置関係からさらにどちら方向へ移動すべきか通知を行う。被写体画像２の撮影位置に関して具体的な指示を出す場合は、例えば、撮像装置が多眼カメラで構成され、各カメラ画像間での視差によって建物２０２と不要物Ｘとの位置関係と大きさを求めることで、どれだけの距離を移動して撮影すべきかを具体的に提示するようにしてもよい。ここでは多眼カメラによる距離推定を提示したがこの手法に限ることなくレーザを用いた距離推定など他の測距方法でもよい。

次に、撮影者が提示された方向と距離に従って移動し撮影を行うと、画像処理部１１は、撮像部１０から出力される画像データを画像記録部１２へ保存する（ステップＳ３０）。例えば、被写体である建物２０２と撮影距離がある程度離れている場合や、風景など遠方のものを撮影している場合には被写体画像１との視差がそれほど発生しないために被写体画像２によっての合成が比較的容易に行える。また、遮蔽領域２０９が平面的なものである場合でも処理は行いやすい。しかし、領域２０９に凹凸がある場合はオクルージョンが発生し、一部合成処理のできない個所ができる。そのため、さらに異なった方向からの撮影画像を用いてその部分の補間を行う必要がある。

図６に示すように、撮影位置４１０から撮影した画像では遮蔽領域２０９の全体は視認できるものの、遮蔽領域２０９に凹凸がある場合は、完全に補間が行えないため、さらに撮影位置を変えて被写体画像２とは異なる新たな被写体画像（これを被写体画像３と称する）を撮影する必要がある。撮影位置５１３は、被写体画像３を撮影するべき撮影位置を示している。破線５１４ａと５１４ｂで囲まれている領域は撮影位置５１３から撮影した時の撮影範囲を示し、実線５１５ａと５１５ｂで囲まれている領域は領域２０９が視認できる範囲を示している。この被写体画像３の撮影位置５１３は、被写体画像１の撮影位置２０５と不要物Ｘを結ぶラインに対して被写体画像２の撮影位置４１０と反対側となる位置とするのが望ましい。なぜなら、撮影位置４１０と同じ側である場合は撮影位置４１０から見て死角になる部分があまり変わらない可能性が大きいためである。そのため逆方向から撮影することで死角部分の視認が行えるようになる。このように、領域２０９が視認でき、かつ被写体画像２とは異なる位置にて撮影された被写体画像３は画像記録部１２に保存され、合成処理に用いられる。

次に、画像処理部１１は、画像記録部１２に保存されている被写体画像１、被写体画像２及び被写体画像３を用いて合成処理を行う（ステップＳ３１）。被写体画像２と被写体画像３をそれぞれ射影変換など行うことで被写体画像１方向からの画像を作成し、それらを用いて被写体画像１と除去対象領域に対して補間または置換を行う。この時、被写体画像１に明るさや色調を合わせも行う。また、合成処理の際には被写体画像２と被写体画像３から被写体画像１の方向から見た自由視点画像を作成し、対応部分を置換または補間するようにしてもよい。そして、画像処理部１１は、合成した画像を画像記録部１２に保存する（ステップＳ３２）。

第２の実施形態の説明においては、３つの被写体画像１〜３を合成する例を説明したが、合成する被写体画像の数は、３つに限定するものではなく、必要に応じてさらに複数枚の画像を用いて画像合成するようにしてもよい。また、除去対象の不要物Ｘ１つである場合を説明したが、複数存在する場合は同じように、それぞれ遮蔽された領域毎に同様な処理を行うことにより不要物Ｘが複数存在する場合の適用可能である。不要な対象が移動体や静止体と混在した場合であっても撮影方法をそれぞれ適宜使用することで不要な被写体を除去した画像を得ることができる。

また、建物などを背景に人物など撮影する場合があるが、人物は初めの被写体画像１を撮影する際に撮影するだけでよい。これは画像全体を処理するものではなく除去対象周辺までの領域で切り分けて処理し、処理対象領域以外は被写体画像１を基準としたものとするためである。そのため合成のための撮影中も同じ位置に待機する必要はない。

以上説明したように、撮像した画像から指定する不要な被写体を除去した画像を生成するために、初めに撮影した被写体画像から除去したい不要な物体を指定し、指定した不要な物体が写っていない新たな被写体画像を撮影し、初めに撮影した被写体画像上の除去対象領域を新たに撮影した被写体画像の部分画像で補間または置換するように合成処理することで指定した不要な物体が除去された画像を得るようにしたため、撮影を行う際に静止体、移動体に関わらず撮影者にとって不要な対象物を除去した画像を撮影現場で得ることができる。

近年は、画像データがデジタル化されたため、撮影した画像データをパソコンに取り込み、パソコン上で合成処理することにより、好みの写真を作り出すことができるようになってきたため、初めに撮影した画像に不要物が写っていた場合、その不要物が写っていない新たな画像を撮影し、自宅にあるパソコンで合成を行うことにより、不要物を除去した画像を作り出すことが可能になった。しかし、新たに撮影した画像が、不要物を除去するために用いることができるか否かは、パソコン上で合成を行ってみないと分からず、適切な画像が撮影できなかった場合は、不要物を除去するための合成が行えない場合がある。

本発明による撮像装置は、新たな被写体画像を撮影した際に、その場で、合成を行えるか否かを判定するようにして、合成を行うことができる被写体画像を得ることができなかった場合は、再度撮影指示を表示するようにしたため、不要物を除去するための画像合成の失敗を防ぐことができ、不要物を除去した画像を確実に得ることが可能となる。

なお、図１における画像処理部１１、画像判定部１５及び撮影タイミング提示部１６の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより画像合成処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

デジタルの画像データを合成することにより、不要物を除去した画像を新たに生成する用途に適用できる。

１０・・・撮像部、１１・・・画像処理部、１２・・・画像記録部、１３・・・表示部、１４・・・指示部、１５・・・画像判定部、１６・・・撮影タイミング提示部

Claims (7)

1. 被写体を撮影する撮像部と、
   前記撮像部により撮影した第１の被写体画像データを得る第１の被写体画像取得部と、
   第１の被写体画像データを表示し、該第１の被写体画像データ上の除去対象領域を指定する領域指定部と、
   前記撮像部により撮影した第２の被写体画像データを得る第２の被写体画像取得部と、
   前記第２の被写体画像データから前記除去対象領域に相当する部分画像データを抽出し、該部分画像データを前記第１の被写体画像データ上の前記除去対象領域に対して合成することができるか否かを判定する画像判定部と、
   前記画像判定部の判定結果が合成可能である場合に、前記部分画像データを前記第１の被写体画像データ上の前記除去対象領域に対して画像合成する画像合成部と、
   前記画像判定部の判定結果が合成不可能である場合に、再度前記第２の被写体画像を撮影させる撮影指示を表示する指示表示部とを備え、
   前記指示表示部は、前記第１の被写体画像の撮影位置とは異なる撮影位置において、前記第２の被写体画像を撮影させる撮影指示を表示することを特徴とする撮像装置。
2. 前記指示表示部は、前記第２の被写体画像を複数撮影する場合に、前記第２の被写体画像の撮影位置のそれぞれが異なる位置になるように撮影指示を表示することを特徴とする請求項１に記載の撮像装置。
3. 被写体を撮影する撮像部と、
   前記撮像部により撮影した第１の被写体画像データを得る第１の被写体画像取得部と、
   第１の被写体画像データを表示し、該第１の被写体画像データ上の除去対象領域を指定する領域指定部と、
   前記撮像部により撮影した第２の被写体画像データを得る第２の被写体画像取得部と、
   前記第２の被写体画像データから前記除去対象領域に相当する部分画像データを抽出し、該部分画像データを前記第１の被写体画像データ上の前記除去対象領域に対して合成することができるか否かを判定する画像判定部と、
   前記画像判定部の判定結果が合成可能である場合に、前記部分画像データを前記第１の被写体画像データ上の前記除去対象領域に対して画像合成する画像合成部と、
   前記画像判定部の判定結果が合成不可能である場合に、再度前記第２の被写体画像を撮影させる撮影指示を表示する指示表示部と、
   前記領域指定部により指定された前記領域内の被写体が移動体であるか否かを判定する移動体判定部とを備え、
   前記指示表示部は、前記領域内の被写体が移動体である場合には、前記第１の被写体画像を撮影した撮影位置から前記第２の被写体画像を撮影させる撮影指示を表示し、
   前記領域内の被写体が移動体でない場合には、前記領域内の被写体が写らない位置へ移動して、前記第２の被写体画像を撮影させる撮影指示を表示することを特徴とする撮像装置。
4. 被写体を撮影する撮像部と、
   前記撮像部により撮影した第１の被写体画像データを得る第１の被写体画像取得部と、
   第１の被写体画像データを表示し、該第１の被写体画像データ上の除去対象領域を指定する領域指定部と、
   前記撮像部により撮影した第２の被写体画像データを得る第２の被写体画像取得部と、
   前記第２の被写体画像データから前記除去対象領域に相当する部分画像データを抽出し、該部分画像データを前記第１の被写体画像データ上の前記除去対象領域に対して合成することができるか否かを判定する画像判定部と、
   前記画像判定部の判定結果が合成可能である場合に、前記部分画像データを前記第１の被写体画像データ上の前記除去対象領域に対して画像合成する画像合成部と、
   前記画像判定部の判定結果が合成不可能である場合に、再度前記第２の被写体画像を撮影させる撮影指示を表示する指示表示部と、
   撮影領域の位置関係を判定することができる奥行き判定部とを備え、前記指示表示部は、前記除去対象領域に応じて第２の撮影位置の方向と距離とを表示することを特徴とする撮像装置。
5. 前記撮像部は同時に異なる視点からみた２つの被写体画像データを得ることができる２眼の撮像部を備え、
   前記奥行き判定部は前記２つの被写体画像データの視差から奥行きを取得することを特徴とする請求項４に記載の撮像装置。
6. 前記画像合成部は、前記第２の被写体画像取得部によって取得した複数の第２の被写体画像データのそれぞれから抽出した前記部分画像データを用いて、前記第１の被写体画像データ上の前記除去対象領域に対する画像合成を行うことを特徴とする請求項１から４のいずれかに記載の撮像装置。
7. 前記画像合成部は、前記部分画像データを変形させて前記第１の被写体画像データ上の前記除去対象領域に対して画像合成することを特徴とする請求項１から４のいずれかに記載の撮像装置。

Images