JP2012074962A - 撮像装置 - Google Patents

Abstract

【課題】 前景領域と背景領域とを容易に且つ精度良く分割した上で、分割された前景領域に対して適切な画像処理を施す。
【解決手段】 撮影範囲の撮影画像を取得する第１の画像取得部と、不可視光を照射する光源と、光源から不可視光を照射したときの撮影範囲における不可視光の反射光分布に基づいて、撮影画像に対する画像処理を行う画像処理部と、を備えたことを特徴とする。
【選択図】 図２

Description

本発明は、画像を取得する撮像装置に関する。

撮影時の被写体には様々な光源からの光が照射されていることから、デジタルカメラに代表される撮像装置を用いて取得される画像は、必ずしも理想的な照明状態下で取得されるものではない。このため、撮影時に取得される画像に対しては、撮影時の状況や設定される撮影モードに応じたホワイトバランス処理、輝度補正などの画像処理が施されている。また、適切な露光条件を用いて撮影を行うために、閃光をプレ発光させない状態での画像データと該閃光をプレ発光させた状態での画像データの比較と周知の顔検出処理とを組み合わせることで測光領域を決定し、決定された測光領域に基づいた本発光時の発光制御を行うことが提案されている（特許文献１参照）。

特開２００８−１９７５３１号公報

例えば閃光撮影では閃光を被写体に向けて照射するため、被写体本来の色は、照射される閃光の影響を受けた色に変化してしまう。これに対処する方法として、撮影で得られた画像に対して顔検出処理等を用いて被写体などの前景となる領域（前景領域）を求め、求めた前景領域に対して輝度補正や色補正などの画像処理を行うことが考えられる。しかしながら、顔検出処理は、画像に含まれる情報を取得した上で実行される複雑な処理であることから、簡単な処理で前景領域と背景領域とを精度良く分離するものではない。

本発明は、前景領域と背景領域とを容易に且つ精度良く分割した上で、分割された前景領域に対して適切な画像処理を施すことができるようにした撮像装置を提供することを目的とする。

上述した課題を解決するために、本発明の撮像装置は、撮影範囲の撮影画像を取得する第１の画像取得部と、非可視光を照射する光源と、前記光源から前記非可視光を照射したときの前記撮影範囲における前記非可視光の反射光分布に基づいて、前記撮影画像に対する画像処理を行う画像処理回路と、を備えたことを特徴とする。

また、前記光源から前記非可視光が照射されていないときの前記撮影範囲の第１画像と、前記光源から前記非可視光が照射されたときの前記撮影範囲の第２画像とを、それぞれ取得する第２の画像取得部を備え、前記画像処理回路は、前記第２の画像取得部により取得された前記第１画像と前記第２画像との差分に基づいて、前記撮影画像における前景領域と背景領域とを分割し、分割された前記撮影画像の前記前景領域及び前記背景領域のそれぞれに対して異なる画像処理を実行することが好ましい。

また、前記光源から前記非可視光が照射されていないときの前記撮影範囲の第１画像と、前記光源から前記非可視光が照射されたときの前記撮影範囲の第２画像とを、それぞれ取得する第２の画像取得部を備え、前記画像処理回路は、前記第２の画像取得部により取得された前記第１画像と前記第２画像との比率に基づいて、前記撮影画像における前景領域と背景領域とを分割し、分割された前記撮影画像の前記前景領域及び前記背景領域のそれぞれに対して異なる画像処理を実行することが好ましい。

また、前記光源から第１の非可視光と該第１の非可視光に時間変調を与えた第２の非可視光がそれぞれ照射されたときの前記撮影範囲の画像を、第１画像及び前記第２画像として取得する第２の画像取得部を備え、前記画像処理回路は、前記第２の画像取得部により取得された前記第１画像及び前記第２画像に基づいて、前記撮影画像における前景領域と背景領域とを分割し、分割された前記撮影画像の前記前景領域及び前記背景領域のそれぞれに対して異なる画像処理を実行することが好ましい。

また、前記光源及び前記第２の画像取得部は、前記撮影範囲内に含まれる被写体までの距離を測定する測距部の機能を兼ねることが好ましい。

また、前記画像処理は、ホワイトバランス処理及び色補正処理の少なくともいずれか一方の処理からなることが好ましい。

本発明によれば、前景領域と背景領域とを容易に且つ精度良く分割した上で、分割された前景領域に対して適切な画像処理を施すことができる。

本発明を用いた撮像装置の電気的構成を示す機能ブロック図である。 撮影時の処理の流れを示すフローチャートである。 領域分割及び画像処理の流れを示す説明図である。 時間変調を与えないＩＲ光と時間変調を与えたＩＲ光とを順次照射する場合の、撮影時の処理の流れを示すフローチャートである。 他の実施形態の撮像装置の電気的構成を示す機能ブロック図である。

図１は、撮像装置の一例としたデジタルカメラ１０の構成を示している。このデジタルカメラ１０は、撮像光学系１５、波長分離ミラー１６、撮像素子１７，１８、Ａ／Ｄ変換部１９，２０を備えている。

撮像光学系１５は、図示を省略したズームレンズやフォーカスレンズなどを含むレンズ群から構成される。これらズームレンズやフォーカスレンズは図示を省略したレンズ駆動機構によって光軸Ｌ方向に移動する。波長分離ミラー１６は、撮像光学系１５により取り込まれた光のうち、可視光（例えば３８０〜７８０ｎｍの波長域の光）を透過させ、それ以外の波長域の光を反射させる。以下、可視光を除いた波長域の光（３８０ｎｍ未満の波長域の光及び７８０を超える波長域の光）を非可視光と称して説明する。この波長分離ミラー１６を透過した可視光は撮像素子１７に入射される。

撮像素子１７は、可視光のみを透過させるフィルタを備えたＣＣＤイメージセンサやＣＭＯＳイメージセンサが用いられる。Ａ／Ｄ変換部１９は、撮像素子１７から出力された画像信号をアナログ信号からデジタル信号に変換する。このデジタル信号に変換された画像信号は、バッファメモリ２５に書き込まれる。上述したように、撮像素子１７により受光される光は可視光であることから、この撮像素子１７から出力される画像信号（画像データ）は、スルー画像や撮影画像の元になる画像信号となる。なお、上述した撮像素子１７やＡ／Ｄ変換部１９の動作は、図示を省略したタイミングジェネレータによって制御される。

一方、撮像光学系１５により取り込まれる光のうち、非可視光は波長分離ミラー１６にて反射された後、撮像素子１８に入射する。この撮像素子１８は、赤外光（以下、ＩＲ光と称する）のみを透過させるフィルタを備えたイメージセンサからなる。また、撮像素子１８は、撮像素子１７と同一の画素数のイメージセンサからなる。Ａ／Ｄ変換部２０は、撮像素子１８から出力された画像信号をアナログ信号からデジタル信号に変換する。このデジタル信号に変換された画像信号はバッファメモリ２５に書き込まれる。なお、撮像素子１８にて受光される光はＩＲ光であることから、以下、撮像素子１８から出力される画像信号については、ＩＲ画像信号と称して説明する。このＩＲ画像信号は、後述する領域分割処理にて使用される。なお、上述した撮像素子１８やＡ／Ｄ変換部２０の動作は、図示を省略したタイミングジェネレータによって制御される。

このデジタルカメラ１０では、撮像光学系１５、撮像素子１７、Ａ／Ｄ変換部１９が第１画像取得部２１を構成し、撮像光学系１５、撮像素子１８、Ａ／Ｄ変換部２０が第２画像取得部２２を構成する。このように、各画像取得部に用いる撮像光学系を共通の撮像光学系１５とすることで、各画像取得部により得られる画像の撮影範囲（画角）は同一となる。

ところで、第１画像取得部２１は、撮影待機状態において一定間隔を空けてスルー画像データを取得する他、レリーズボタン５１の全押し操作に基づいて撮影画像データを取得する。一方、第２画像取得部２２は、第１画像取得部２１による撮影画像データを取得するタイミングや、撮影画像データの取得後に発光する光源２６からＩＲ光が照射されたタイミングで、ＩＲ画像データを取得する。以下、第１画像取得部２１による撮影画像データを取得するタイミングで取得されるＩＲ画像データを第１ＩＲ画像データと称し、光源２６からＩＲ光が照射されたタイミングで取得されるＩＲ画像データを第２ＩＲ画像データと称して説明する。

光源２６は、その発光時にＩＲ光を照射するＩＲ光源が用いられる。なお、本実施形態では、非可視光としてＩＲ光を挙げて説明するが、これに限定される必要はなく、被写体に対して影響を及ぼさない光、言い換えれば、照射時に被写体本来の色を変化させない光であればよい。なお、この光源２６は、発光制御回路２７により発光制御される。

画像処理回路３０は、取得された撮影画像データに対して、後述する領域分割処理を行った後、ホワイトバランス処理、色補間処理、輪郭補償処理、ガンマ処理、輝度補正処理、彩度強調処理などの画像処理を施す。さらに、画像処理回路３０は、画像サイズを変更するリサイズ処理、画像データに対する符号化処理、符号化された画像データに対する復号化処理などを実行する。

この画像処理回路３０は、領域分割処理を実行するにあたり、領域分割部３１の機能を有している。この領域分割部３１は、上述した第１ＩＲ画像データ、第２ＩＲ画像データを用いて、撮影画像データに対する領域分割を行う。

上述したように、第１ＩＲ画像データは、第１画像取得部２１による撮影画像データの取得タイミングに合わせて取得される。この第１ＩＲ画像データは、撮影範囲中の物体表面にて散乱する環境光に含まれるＩＲ光に基づいた画像データからなる。一方、第２ＩＲ画像データは、光源２６からＩＲ光が照射されたタイミングで取得される。この第２ＩＲ画像データは、撮影範囲中の物体表面にて散乱する環境光に含まれるＩＲ光の他に、光源２６から照射されたＩＲ光のうち、被写体表面で反射したＩＲ光に基づいた画像データとなる。

そこで、領域分割部３１は、第１ＩＲ画像データ及び第２ＩＲ画像データにおける同一のアドレスとなる画素の画素値の差分を画素毎に算出する。なお、ＩＲ画像データにおける各画素の画素値とは輝度値である。同一のアドレスとなる画素の輝度値の差分を画素毎に求めることで、撮影範囲中の物体表面にて散乱する環境光に含まれるＩＲ光の影響を除去する。つまり、同一のアドレスとなる画素の輝度値の差分が０又は０に近い値であれば、そのアドレスの画素は撮影範囲中の物体表面にて散乱する環境光に含まれるＩＲ光の影響を受けた画素であると判定できる。このような画素は、背景の領域（以下、背景領域と称する）を構成する画素として特定される。一方、同一のアドレスとなる画素の輝度値の差分が、背景領域を構成する画素の差分（０又は０に近い値）よりも大きい値となる場合には、その画素は、光源２６から照射されたＩＲ光のうち、被写体表面で反射したＩＲ光の影響を受けている画素であると判定できる。このような画素は、被写体などの前景の領域（以下、背景領域と称する）を構成する画素として特定される。

なお、第１及び第２ＩＲ画像データの撮影範囲と、撮影画像データの撮影範囲とは同一の撮影範囲となることから、これら領域を特定することで、撮影画像データを背景領域と前景領域とに領域分割することが可能となる。なお、これら領域を特定した後、領域分割部３１は、前景領域となる画素のアドレスデータ、又は背景領域となる画素のアドレスデータの少なくともいずれか一方のデータを内蔵メモリ４３に書き込む。

記録用Ｉ／Ｆ３５は、メモリカードや光学ディスク、或いは磁気ディスクなどの記憶媒体３６と電気的に接続可能となっている。ＬＣＤ３７は、表示装置の一形態であって、スルー画像、撮影画像やデジタルカメラ１０の設定を行う際の設定用の画像を表示する。なお、符号３８は、ＬＣＤ３７の表示制御を行う表示制御回路である。

ＣＰＵ４１は、バス４２を介して、バッファメモリ２５、発光制御回路２７、画像処理回路３０、記録用Ｉ／Ｆ３５、表示制御回路３８、内蔵メモリ４３などと電気的に接続される。また、このＣＰＵ４１には、レリーズボタン４５、設定操作部４６などが接続されており、ＣＰＵ４１は、これら操作部材における操作要求や内蔵メモリ４３に記憶された制御プログラムに基づいて、デジタルカメラ１０の各部を制御する。

次に、デジタルカメラにおける撮影時の処理の流れを、図２に示すフローチャートに基づいて説明する。なお、図２のフローチャートは撮影待機状態であることを契機に実行される。

ステップＳ１０１は、レリーズボタンの半押し操作があるか否かを判定する処理である。レリーズボタン４５には、その半押し操作時にオンとなるスイッチＳＷ１と、全押し操作時にオンとなるスイッチＳＷ２との２つのスイッチが設けられている。これらスイッチはオンになると、その旨を示す信号（以下、オン信号）をＣＰＵ４１に出力する。このステップＳ１０１では、ＣＰＵ４１により、スイッチＳＷ１からオン信号が出力されたか否かを判定する。例えばスイッチＳＷ１からのオン信号を受けると、ＣＰＵ４１は、レリーズボタン４５の半押し操作があると判定する。この場合、ステップＳ１０１の処理はＹｅｓとなり、ステップＳ１０２に進む。一方、スイッチＳＷ１からのオン信号が入力されない場合には、ＣＰＵ４１は、レリーズボタン４５の半押し操作はないと判定する。この場合、ステップＳ１０１の処理はＮｏとなり、レリーズボタン４５の半押し操作があると判定されるまで、このステップＳ１０１の処理が繰り返し実行される。

ステップＳ１０２は、ＡＥ処理である。なお、このＡＥ処理については、周知であることから、ここではＡＥ処理については、その詳細を省略する。なお、このＡＥ処理が実行されることで、撮影時の露光条件が決定される。

ステップＳ１０３は、ＡＦ処理である。このＡＦ処理は、撮像素子１８にて得られる画像信号を用いたＡＦ処理を行う。このＡＦ処理では、光源２６を発光した状態で、撮像光学系１５のフォーカスレンズを光軸Ｌ方向に微小移動させる。ＣＰＵ４１は、フォーカスレンズの微小移動時に撮像素子１８にて得られる画像信号から焦点評価値を求め、この焦点評価値が最も高くなる位置にフォーカスレンズを停止させる。これにより、ＡＦ処理が終了する。なお、このステップＳ１０３の処理を行うことで、撮像素子１８及び光源２６は、測距センサの機能を兼用している。なお、撮像素子１８及び光源２６を用いてＡＦ処理を行う必要はなく、撮像素子１７により得られる画像信号を用いてＡＦ処理を実行することも可能である。

ステップＳ１０４は、レリーズボタンの全押し操作があるか否かを判定する処理である。上述したように、レリーズボタン４５には、全押し操作時にオンとなるスイッチＳＷ２が設けられている。このステップＳ１０４では、スイッチＳＷ２からオン信号が出力されたか否かをＣＰＵ４１が判定することで実行される。例えばスイッチＳＷ２からのオン信号を受けると、ＣＰＵ４１は、レリーズボタン４５の全押し操作があると判定する。この場合、ステップＳ１０４の処理はＹｅｓとなり、ステップＳ１０５に進む。一方、スイッチＳＷ２からのオン信号が入力されない場合には、ＣＰＵ４１は、レリーズボタン４５の全押し操作はないと判定する。この場合、ステップＳ１０４の処理はＮｏとなり、レリーズボタン４５の全押し操作があると判定されるまで、このステップＳ１０４の処理が繰り返し実行される。

ステップＳ１０５は、撮影画像データ及び第１ＩＲ画像データを取得する処理である。撮像光学系１５から入射される光のうち、可視光は波長分離ミラー１６を透過した後、撮像素子１７に受光される。ステップＳ１０５の処理が実行されると、ステップＳ１０２にて決定された露出条件に基づいて、撮像素子１７、Ａ／Ｄ変換部１９が動作される。これにより、撮影画像データが取得される。

一方、撮像光学系１５から入射される光のうち、ＩＲ光は波長分離ミラー１６にて反射した後、撮像素子１８にて受光される。このステップＳ１０５の処理が実行されると、撮像素子１８、Ａ／Ｄ変換部２０が動作される。これにより、第１ＩＲ画像データが取得される。なお、第１ＩＲ画像データを取得する際の撮像素子１８における電荷蓄積時間は、撮像素子１７における電荷蓄積時間と同一であっても、異なる電荷蓄積時間であってもよい。なお、取得される撮影画像データと第１ＩＲ画像データとは、それぞれバッファメモリ２５に記録される。

ステップＳ１０６は、ＩＲ光を照射する処理である。ＣＰＵ４１は、発光制御回路２７に発光開始信号を出力する。この発光開始信号を受けて、発光制御回路２７は光源２６を発光させる。これにより、光源２６からＩＲ光が被写体に向けて照射される。

ステップＳ１０７は、第２ＩＲ画像データを取得する処理である。ステップＳ１０５にて説明したように、撮像光学系１５から入射される光のうち、ＩＲ光は波長分離ミラー１６を反射し、撮像素子１８に受光される。このステップＳ１０７の処理が実行されると、撮像素子１８及びＡ／Ｄ変換部２０が作動する。これにより、第２ＩＲ画像データが取得される。このステップＳ１０７における電荷蓄積時間は、ステップＳ１０５の処理で第１ＩＲ画像データを取得したときの電荷蓄積時間と同一の時間に設定される。なお、このステップＳ１０７の処理が実行されるときには、撮像光学系１５から入射される光のうち、可視光は波長分離ミラー１６を透過し撮像素子１７に入射されるが、このステップＳ１０７においては、撮像素子１７、Ａ／Ｄ変換部１９は作動されない。このため、このステップＳ１０７では、撮像画像データは取得されない。なお、ステップＳ１０６とステップＳ１０７を別個のステップにて説明しているが、これに限定される必要はなく、１つのステップで処理してもよい。

ステップＳ１０８は、第１ＩＲ画像データ及び第２ＩＲ画像データに基づいて、撮影画像データを領域分割する処理である。上述したステップＳ１０５及びステップＳ１０７の処理を実行することで、バッファメモリ２５には、撮影画像データ、第1ＩＲ画像データ及び第２ＩＲ画像データがそれぞれ記録される。画像処理回路３０は、まず、第１ＩＲ画像データ及び第２ＩＲ画像データを読み出し、同一の画素における輝度値の差分を算出する。

図３に示すように、人物を被写体とした撮影画像を取得した場合について説明する。画像処理回路３０は、第２ＩＲ画像５３の各画素の輝度値から第１ＩＲ画像５２の各画素の輝度値を差分する。これにより、差分画像５４が取得される。なお、第１ＩＲ画像５２は撮影範囲中の物体表面にて散乱する環境光に含まれるＩＲ光に基づく画像であり、第２ＩＲ画像５３は撮影範囲中の物体表面にて散乱する環境光に含まれるＩＲ光及び光源２６から照射されたＩＲ光のうち、被写体である人物表面にて反射されたＩＲ光に基づく画像である。このため、求めた差分画像５４は、撮影範囲中の物体表面にて散乱する環境光に含まれるＩＲ光の影響が除去され、被写体である人物表面にて反射されたＩＲ光の成分が残留した画像となる。つまり、画像処理回路３０は、画素の輝度値が０又は０に近い値をとる画素を、背景領域を構成する画素であると特定する。同時に、画像処理回路３０は、背景領域を構成する画素の差分よりも大きい値となる画素を、前景領域を構成する画素であると特定する。これら領域の特定の後、画像処理回路３０は、背景領域５５に含まれる画素のアドレスデータ又は前景領域５６に含まれる画素のアドレスデータの少なくともいずれか一方のデータを内蔵メモリ４３に記録する。

上述したように、第２ＩＲ画像５３及び第１ＩＲ画像５２の撮影範囲は、撮影画像５１の撮影範囲と同一であることから、差分画像５４から特定される前景領域５６及び背景領域５５のそれぞれの領域を構成する画素のアドレスデータをそのまま撮影画像に反映させることができる。これにより、撮影画像５１に対する領域分割処理が終了する。

ステップＳ１０９は、撮影画像データの背景領域及び前景領域のそれぞれに対する画像処理である。ステップＳ１０８により、撮影画像データが背景領域と前景領域とに分割されている。画像処理回路３０は、撮像画像データの背景領域と前景領域とのそれぞれの領域に対して画像処理を実行する。

例えば夕焼け時に外灯の下にいる人物を撮影した場合や、室内の人物を室外から撮影した場合など、背景領域を照射する光源と被写体部分を照射する光源とが異なる環境下で撮影を行う場合には、背景領域に対するホワイトバランス処理の補正値と、被写体領域に対するホワイトバランス処理の補正値とを異なる補正値、言い換えれば被写体領域に対する補正値を、背景領域に対する補正値よりも大きい補正値にて処理することができる。また、この他に、前景領域に対する輝度調整時や色補正時の補正値を、背景領域に対する輝度調整時や色補正時の補正値よりも高く設定してもよい。例えば輝度補正処理を行う場合には、前景領域の輝度を高くすることができるので、画像処理後の撮影画像においては、被写体本来の色を変化させずに、閃光撮影を行ったときと同様の効果を画像処理によって実現することが可能となる。

ステップＳ１１０は、画像処理された撮影画像データを記録する処理である。このステップＳ１１０の処理が実行されると、画像処理回路３０は、ステップＳ１０９にて画像処理が施された撮影画像データに対して符号化処理を行う。この符号化処理の後、ＣＰＵ４１は、符号化処理された撮影画像データと、撮影時の情報やデジタルカメラに基づく情報などとを画像ファイルとしてまとめ、記憶媒体３６に書き込む。このステップＳ１１０の処理が実行されることで、撮影における一連の処理が終了する。なお、このステップＳ１１０の処理を実行する前に、画像処理された撮影画像データに基づく撮影画像をＬＣＤ３８に表示させ、該撮影画像を記録させるか否かをユーザによる設定操作部４６の操作によって決定させてもよい。

このように、被写体本来の色に影響を与えない非可視光であるＩＲ光を照射したときの画像と、該ＩＲ光を照射していないときの画像とをそれぞれ取得し、これら画像の差分に基づいて、撮影画像を前景領域と背景領域とに分割している。これによれば、顔検出処理を用いなくとも簡単な構成で、撮影画像を前景領域と背景領域とに精度良く分割することができる。また、ＩＲ光を照射することで、閃光発光時に生じる被写体本来の色を変化させずに済み、また、閃光を発光しないことで生じる輝度の低下分を画像処理にて補正するだけで、閃光を発光したときと同様の効果を得ることが可能となる。

本実施形態では、前景領域と背景領域との領域分割を行う場合に、撮影範囲中の物体表面にて散乱する環境光に含まれるＩＲ光に基づくＩＲ画像（第１ＩＲ画像）と、撮影範囲中の物体表面にて散乱する環境光に含まれるＩＲ光及び光源２６から照射されるＩＲ光のうち、被写体表面を反射するＩＲ光に基づくＩＲ画像（第２ＩＲ画像）とを取得し、これらＩＲ画像の差分を算出しているが、これに限定される必要はなく、例えば第１ＩＲ画像と第２ＩＲ画像とにおける同一画素の輝度値の比率を算出し、この比率に基づいて、前景領域と背景領域とに分割することも可能である。

上述したように、背景領域を構成する画素の輝度値は、光源２６からＩＲ光が照射されたか否かに関係なく、撮影範囲中の物体表面にて散乱する環境光に含まれるＩＲ光に基づいた輝度値となる。つまり、背景領域であれば、第１ＩＲ画像における画素の輝度値と、第２ＩＲ画像における画素の輝度値との比率は一定の値となる。一方、前景領域を構成する画素の輝度値は、光源２６から照射されたＩＲ光のうち、被写体である人物表面にて反射されたＩＲ光の分だけ、その比率が異なる値となる。つまり、前景領域における輝度値の比率は、背景領域における輝度値の比率とは異なる値となる。各画素の輝度値の比率を算出する場合、輝度値の比率が一定の値とならない画素の領域を前景領域とし、輝度値の比率が一定の値となる画素の領域を背景領域として特定する。これにより、撮影画像の領域分割を実行することが可能となる。

また、この他に、光源２６を発光制御することで、時間変調を与えていないＩＲ光と、時間変調を与えたＩＲ光とをそれぞれ照射し、これらＩＲ光に基づく画像を取得することも可能である。この場合、時間変調を与えていないＩＲ光を照射したときに得られる第１ＩＲ画像とし、時間変調を与えたＩＲ光を照射したときに得られる第２ＩＲ画像とする。

以下、撮影時の処理について、図４のフローチャートを用いて説明する。なお、本実施形態のデジタルカメラの構成と同一の構成で達成できるので、本実施形態と同一の箇所については、同一の符号を付して説明する。

図４のフローチャートは、本実施形態と同様に、デジタルカメラが撮影待機状態となる場合を契機にして実行される。

ステップＳ２０１は、レリーズボタンの半押し操作があるか否かを判定する処理である。なお、このステップＳ２０１の処理はステップＳ１０１の処理と同一の処理である。

ステップＳ２０２は、ＡＥ処理である。このステップＳ２０２の処理もステップＳ１０２と同一の処理である。これにより、撮影時の露光条件が決定される。

ステップＳ２０３は、ＡＦ処理である。このステップＳ２０３の処理もステップＳ１０３と同一の処理である。これにより、焦点が合うときのフォーカスレンズの位置が決定される。

ステップＳ２０４は、レリーズボタンの全押し操作があるか否かを判定する処理である。なお、このステップＳ２０４の処理はステップＳ１０４の処理と同一の処理である。

ステップＳ２０５は、撮影画像データを取得する処理である。ＣＰＵ４１は、図示を省略したタイミングジェネレータを介して、ステップＳ２０２により決定された露出条件となるように、撮像素子１７及びＡ／Ｄ変換部１９を制御する。これにより、撮影画像データが取得される。なお、撮像光学系１５を介して取り込まれた光は波長分離ミラー１６によりＩＲ光が反射され、撮像素子１８に入射している。このとき、撮像素子１８及びＡ／Ｄ変換部２０は作動されないので、このステップＳ２０５の処理においては、ＩＲ画像データは取得されない。

ステップＳ２０６は、ＩＲ光を照射する処理である。ＣＰＵ４１は、表示制御回路２７に発光開始信号を出力する。これを受けて、表示制御回路２７は光源２６を発光させる。このとき、光源２６を発光させることで照射されるＩＲ光は、時間変調を加えていないＩＲ光である。

ステップＳ２０７は、第１ＩＲ画像データを取得する処理である。ステップＳ２０６で光源２６が発光することで、時間変調を与えていないＩＲ光が被写体に照射される。このＩＲ光は被写体表面にて反射され、環境光とともに撮像光学系１５を介して取り込まれる。撮像光学系１５を介して取り込まれる光のうち、可視光は波長分離ミラー１６を透過し、撮像素子１７に入射される。一方、非可視光は波長分離ミラー１６を反射した後、撮像素子１８に入射される。このステップＳ２０７においては、撮像素子１７及びＡ／Ｄ変換部１８は作動されないので、撮像画像データは取得されない。一方、撮像素子１８及びＡ／Ｄ変換部２０は、図示を省略したタイミングジェネレータにより作動されるこれにより、第１ＩＲ画像データが取得される。この処理が終了すると、ＣＰＵ４１は、表示制御回路２７に発光停止信号を出力する。これを受けて、表示制御回路２７は、光源２６の発光を停止させる。

ステップＳ２０８は、時間変調を与えたＩＲ光を照射する処理である。ＣＰＵ４１は、表示制御回路２７に発光開始信号を出力する。これを受けて、表示制御回路２７は光源２６を発光させる。このとき、光源２６を発光させることで照射されるＩＲ光は、時間変調を与えたＩＲ光である。なお、ステップＳ２０７の処理を終了させるときに、光源２６の発光を停止させた後、このステップＳ２０８にて光源２６を再度発光させているが、これに限定する必要はなく、ステップＳ２０７の処理が終了しても光源２６をそのまま発光させておき、このステップＳ２０８の処理時に、光源２１６の発光により照射されるＩＲ光に対して時間変調を与えることも可能である。

ステップＳ２０９は、第２ＩＲ画像データを取得する処理である。ステップＳ２０８で光源２６が発光することで、時間変調されているＩＲ光が被写体に照射される。このＩＲ光は被写体表面にて反射され、環境光とともに撮像光学系１５を介して取り込まれる。撮像光学系１５を介して取り込まれる光のうち、可視光は波長分離ミラー１６を透過し、撮像素子１７に入射される。一方、非可視光は波長分離ミラー１６を反射した後、撮像素子１８に入射される。このステップＳ２０９においては、撮像素子１７及びＡ／Ｄ変換部１８は作動されないので、撮像画像データは取得されない。一方、撮像素子１８及びＡ／Ｄ変換部２０は、図示を省略したタイミングジェネレータにより作動される。これにより、第２ＩＲ画像データが取得される。この処理が終了すると、ＣＰＵ４１は、表示制御回路２７に発光停止信号を出力する。これを受けて、表示制御回路２７は、光源２６の発光を停止させる。

ステップＳ２１０は、第１ＩＲ画像データ及び第２ＩＲ画像データに基づいて撮影画像データを領域分割する処理である。画像処理回路３０は、取得された第１ＩＲ画像データ及び第２ＩＲ画像データの同一のアドレスとなる画素の輝度値の差分を算出する。

上述したように、背景領域は撮影範囲中の物体表面にて散乱する環境光に含まれるＩＲ光の影響を受ける領域であり、前景領域は撮影範囲中の物体表面にて散乱する環境光に含まれるＩＲ光の他に、光源２６から照射されるＩＲ光のうち、被写体表面にて反射されたＩＲ光の影響を受ける領域である。つまり、前景領域を構成する画素の輝度値は、背景領域を構成する画素の輝度値よりも高い値となる。画像処理回路３０は、取得された第１ＩＲ画像データ及び第２ＩＲ画像データの差分を算出し、その差分となる輝度値が０又は０に近い画素については背景領域を構成する画素として特定する。また、その他の画素については前景領域を構成する画素として特定する。なお、撮影画像データとこれらＩＲ画像データとは、同一の撮影範囲の画像データであることから、これら領域の特定により、撮影画像データが背景領域と前景領域とに分割される。なお、この場合、同一のアドレスの画素の差分を算出する代わりに、比率を算出してもよい。また、この他に、これらＩＲ画像データを加算し、閾値以上となる輝度値の画素を前景領域、それ以外の領域を背景領域として特定してもよい。

ステップＳ２１１は、撮影画像データの前景領域と背景領域とのそれぞれの領域に対して画像処理を行う処理である。このステップＳ２１１の処理は、ステップＳ２０９と同一の処理であることから、ここでは省略する。

ステップＳ２１２は、撮影画像データを記録する処理である。このステップＳ２１１の処理は、ステップＳ１１０と同一の処理であることから、ここでは、詳細を省略する。

この場合も、本実施形態と同様の効果を得ることができる。

さらに、空間変調を与えたＩＲ光を照射した結果に基づいて撮影画像を領域分割することも可能である。なお、この場合も、デジタルカメラの構成は同一の構成で実行することが可能であることから、以下、同一の構成については、同一の符号を付して説明する。この場合、撮影画像データの取得後に、光源２６から、例えば明暗の縞状のパターン光からなるＩＲ光を照射する。なお、この場合、光源２６の前方に明暗の縞状のパターンからなるマスクを配置すればよい。このＩＲ光は、その一部が被写体表面で反射するが、その反射時に変調される。この変調されたＩＲ光は撮像素子１８にて受光されることから、画像処理回路３０は、撮像素子１８にて受光されるＩＲ画像データから、変調された領域を特定する。画像処理回路３０は、特定された変調領域を前景領域として、それ以外の領域を背景領域としてそれぞれ特定する。これら領域を特定することで、撮影画像を前景領域と背景領域とに領域分割することが可能となる。

本実施形態では、第１画像取得部２１及び第２画像取得部２２のそれぞれに用いる撮像光学系を１つの撮像光学系１５から構成し、各画像取得部に兼用させているが、これに限定される必要はなく、画像取得部のそれぞれに個別の撮像光学系を備えることも可能である。なお、この場合、各画像取得部において同一の撮影範囲となる画像を取得できるように、各画像取得部の撮像光学系を構成する必要がある。また、それぞれの画像取得部に撮像光学系を設ける場合、画像データを取得する順番は、撮影画像データ、第１ＩＲ画像データ、第２ＩＲ画像データの順番でもよいし、第１ＩＲ画像データ、撮影画像データ、第２ＩＲ画像データの順番、或いは、第１ＩＲ画像データと撮影画像データとを同時に取得した後、第２ＩＲ画像データを取得してもよい。

本実施形態では、第１画像取得部２１、第２画像取得部２２の２つの画像取得部を備えたデジタルカメラ１０の例を取り上げているが、これに限定される必要はなく、１つの画像取得部にて、本実施形態の第１画像取得部２１及び第２画像取得部２２の機能を兼用することも可能である。

図５に示すように、ＩＲ光のみを透過させるＩＲ光透過フィルタ６１と可視光のみを透過させる可視光透過フィルタ６２とを備えたフィルタアレイ６３を撮像光学系６４と撮像素子６５との間に設ける。また、フィルタアレイ６３を移動させて、光軸Ｌ上に位置するフィルタを切り替える切替機構６６を設ける。なお、フィルタアレイ６３を移動させるとは、光軸Ｌ方向と直交する平面上でフィルタアレイ６３をスライドさせる他に、光軸Ｌ方向に平行な直線を回転中心としてフィルタアレイ６３を回転させることが挙げられる。また、撮像素子６５は、上述したいずれのフィルタを備えていないイメージセンサが用いられる。

この実施形態では、まず、可視光透過フィルタ６２を光軸Ｌ上に配置した状態で、撮影画像データを取得する。その後、切替機構６６により、光軸Ｌ上に位置するフィルタを可視光透過フィルタ６２からＩＲ光透過フィルタ６１に切り替える。この状態で、光源２６を発光させずに、第１ＩＲ画像データを取得する。この第１ＩＲ画像データを取得した後、光源２６を発光させてＩＲ光を被写体に向けて照射する。この状態で、第２ＩＲ画像データを取得する。これら画像データを取得した後、第１ＩＲ画像データと第２画像データとを用いて、撮像画像データの領域分割を実行する。この場合、領域分割については上述しているいずれかの方法を用いればよい。なお、この場合、光源２６及び撮像素子６５は、測距センサの機能を有していてもよい。

本実施形態では、撮像画像の前景領域及び背景領域に対して実行される画像処理については、前景領域に対する補正値と、背景領域に対する補正値とを異なる補正値にて実行するとしか述べていないが、前景領域に対しては、例えば被写体までの距離に応じた補正値を求めることも可能である。

１０…デジタルカメラ、１５…撮像光学系、１７，１８…撮像素子、１９，２０…Ａ／Ｄ変換部、２１…第１画像取得部、２２…第２画像取得部、２５…バッファメモリ、２６…光源、２７…表示制御回路、３０…画像処理回路、３１…領域分割部

Claims (6)

1. 撮影範囲の撮影画像を取得する第１の画像取得部と、
   非可視光を照射する光源と、
   前記光源から前記非可視光を照射したときの前記撮影範囲における前記非可視光の反射光分布に基づいて、前記撮影画像に対する画像処理を行う画像処理部と、
   を備えたことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記光源から前記非可視光が照射されていないときの前記撮影範囲の第１画像と、前記光源から前記非可視光が照射されたときの前記撮影範囲の第２画像とを、それぞれ取得する第２の画像取得部を備え、
   前記画像処理部は、前記第２の画像取得部により取得された前記第１画像と前記第２画像との差分に基づいて、前記撮影画像における前景領域と背景領域とを分割し、分割された前記撮影画像の前記前景領域及び前記背景領域のそれぞれに対して異なる画像処理を実行することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記光源から前記非可視光が照射されていないときの前記撮影範囲の第１画像と、前記光源から前記非可視光が照射されたときの前記撮影範囲の第２画像とを、それぞれ取得する第２の画像取得部を備え、
   前記画像処理部は、前記第２の画像取得部により取得された前記第１画像と前記第２画像との比率に基づいて、前記撮影画像における前景領域と背景領域とを分割し、分割された前記撮影画像の前記前景領域及び前記背景領域のそれぞれに対して異なる画像処理を実行することを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記光源から第１の非可視光と該第１の非可視光に時間変調を加えた第２の非可視光がそれぞれ照射されたときの前記撮影範囲の画像を、第１画像及び前記第２画像として取得する第２の画像取得部を備え、
   前記画像処理部は、前記第２の画像取得部により取得された前記第１画像及び前記第２画像に基づいて、前記撮影画像における前景領域と背景領域とを分割し、分割された前記撮影画像の前記前景領域及び前記背景領域のそれぞれに対して異なる画像処理を実行することを特徴とする撮像装置。
5. 請求項２から請求項４のいずれか１項に記載の撮像装置において、
   前記光源及び前記第２の画像取得部は、前記撮影範囲内に含まれる被写体までの距離を測定する測距部の機能を兼ねることを特徴とする撮像装置。
6. 請求項１から請求項５のいずれか１項に記載の撮像装置において、
   前記画像処理は、ホワイトバランス処理及び色補正処理の少なくともいずれか一方の処理からなることを特徴とする撮像装置。

Images