JP6699898B2 - 処理装置、撮像装置、及び自動制御システム - Google Patents

Description

本発明の実施形態は、処理装置、撮像装置、及び自動制御システムに関する。

近年、撮像過程を変更し撮影された画像に距離情報を符号化することで、画像と距離情報とを同時に取得するコンピュテーショナルフォトグラフィ技術が注目されている。この技術では、撮影された画像を用いて、被写体までの距離を得ることができる。

特開２０１６−１０２７３３号公報

森内優介、三島直、"カラー開口を用いたDFD技術"、第２２回画像センシングシンポジウム（ＳＳＩＩ２０１６）、２０１６年６月

本発明が解決しようとする課題は、基準位置に対する被写体の位置を簡単に判定できる処理装置、撮像装置、及び自動制御システムを提供することである。

実施形態によれば、処理装置は、取得部と、判定部とを具備する。前記取得部は、非点対称なぼけ関数を有し第１被写体を含む第１色成分の画像と前記第１被写体を含む第２色成分の画像とを取得する。前記判定部は、前記第１被写体の３段階以上の分解能の距離を計算することなく、エッジ領域の前記第１色成分の画像の画素値と前記第２色成分の画像の画素値を用いて前記第１色成分のぼけの偏りを判定することにより、撮像位置からみて前記第１被写体が第１位置の手前にあるか奥にあるかを判定する。

実施形態に係る撮像装置のハードウェア構成の例を示すブロック図。 同実施形態の撮像装置に設けられるフィルタの構成の例を示す図。 図２のフィルタの透過率特性の例を示す図。 図２のフィルタが配置されたカラー開口による光線変化と、ぼけの形状とを説明するための図。 同実施形態の撮像装置によって撮像された画像上のぼけを利用して、被写体までの距離を算出する方法の例を説明するための図。 同実施形態の撮像装置によって撮像された画像上のぼけを利用して、被写体が合焦距離よりも奥にあるか、それとも手前にあるかを判別する方法の例を説明するための図。 同実施形態の撮像装置の機能構成の例を示すブロック図。 同実施形態の撮像装置によって被写体が合焦距離よりも奥にあると判定される第１の例を説明するための図。 同実施形態の撮像装置によって被写体が合焦距離よりも奥にあると判定される第２の例を説明するための図。 同実施形態の撮像装置によって被写体が合焦距離よりも手前にあると判定される第１の例を説明するための図。 同実施形態の撮像装置によって被写体が合焦距離よりも手前にあると判定される第２の例を説明するための図。 同実施形態の撮像装置によって被写体が合焦距離よりも奥にあると判定される第３の例を説明するための図。 同実施形態の撮像装置によって被写体が合焦距離よりも奥にあると判定される第４の例を説明するための図。 同実施形態の撮像装置によって被写体が合焦距離よりも手前にあると判定される第３の例を説明するための図。 同実施形態の撮像装置によって被写体が合焦距離よりも手前にあると判定される第４の例を説明するための図。 同実施形態の撮像装置によって撮像された画像上のぼけを補正するぼけ補正フィルタを説明するための図。 同実施形態の撮像装置によって実行される判定処理の手順の例を示すフローチャート。 同実施形態の撮像装置によって実行される判定処理の手順の別の例を示すフローチャート。 同実施形態の撮像装置を含む自動ドアシステムの機能構成の例を示すブロック図。 図１９の自動ドアシステムによって被写体が基準距離よりも手前にあると判定される場合に、自動ドアが開いた状態に制御される例を示す図。 図１９の自動ドアシステムによって被写体が基準距離よりも奥にあると判定される場合に、自動ドアが閉じた状態に制御される例を示す図。 図１９の自動ドアシステムによって実行される自動ドア制御処理の手順の例を示すフローチャート。 同実施形態の撮像装置を含む自動車の外観の例を示す斜視図。 同実施形態の撮像装置を含む移動体の機能構成を示すブロック図。 図２４の移動体の外観の例を示す斜視図。 同実施形態の撮像装置を含む監視システムの機能構成の例を示すブロック図。 図２６の監視システムによる監視対象の例を説明するための図。

以下、実施の形態について図面を参照して説明する。
まず、図１を参照して、一実施形態に係る撮像装置の構成を説明する。この撮像装置１００は、画像を取得し、取得した画像を処理する機能を有する。この撮像装置１００は、例えば、カメラ、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistant, Personal Data Assistant）といった携帯情報端末、カメラ機能を有するパーソナルコンピュータ、又はドライブレコーダー等の録画機器として実現され得る。

近年、画像から被写体までの距離を算出する技術が注目されている。しかし、被写体までの距離を算出する処理は計算コストが高く、高速な算出が困難な場合がある。また、用途によっては、被写体までの距離を算出したいのではなく、被写体が基準位置の手前にあるか奥にあるかのみが重要な場合がある。そのため、基準位置に対する被写体の位置を高速に判定するための新たな機能の実現が必要とされる。

図１に示すように、撮像装置１００は、例えば、フィルタ１０、レンズ２０、イメージセンサ３０、画像処理部、および記憶部を備える。画像処理部は、例えばＣＰＵ４０などの回路で構成される。記憶部は、ＲＡＭ５０や不揮発性メモリ９０で構成される。撮像装置１００は、さらにメモリカードスロット６０、ディスプレイ７０、通信部８０を備えてもよい。例えば、イメージセンサ３０、ＣＰＵ４０、ＲＡＭ５０、メモリカードスロット６０、ディスプレイ７０、通信部８０、及び不揮発性メモリ９０は、バス１１０を介して相互に接続され得る。

イメージセンサ３０は、フィルタ１０とレンズ２０とを透過した光を受光し、受光した光を電気信号に変換（光電変換）することによって、画像を生成する。イメージセンサ３０は、各々が少なくとも一つの色成分を含む複数の画素を含む画像を生成する。イメージセンサ３０には、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）が用いられる。イメージセンサ３０は、例えば、赤色（Ｒ）の光を受光する撮像素子と、緑色（Ｇ）の光を受光する撮像素子と、青色（Ｂ）の光を受光する撮像素子とを備える。各撮像素子は、対応する波長帯域の光を受光し、受光した光を電気信号に変換する。この電気信号をＡ／Ｄ変換することによりカラー画像を生成することができる。以下では、画像のＲ成分、Ｇ成分、Ｂ成分を、それぞれＲ画像、Ｇ画像、Ｂ画像とも称する。なお、赤、緑、青の撮像素子毎の電気信号を用いて、Ｒ画像、Ｇ画像、Ｂ画像をそれぞれ生成することもできる。

ＣＰＵ４０は、撮像装置１００内の様々なコンポーネントの動作を制御するプロセッサである。ＣＰＵ４０は、ストレージデバイスである不揮発性メモリ９０からＲＡＭ５０にロードされる様々なプログラムを実行する。不揮発性メモリ９０には、イメージセンサ３０によって生成された画像や、その画像の処理結果も格納され得る。

メモリカードスロット６０には、ＳＤメモリカードやＳＤＨＣメモリカードのような各種の可搬記憶媒体が挿入され得る。メモリカードスロット６０に記憶媒体が挿入された場合、その記憶媒体に対するデータの書き込み及び読み出しが実行され得る。データは、例えば画像データや距離データである。

ディスプレイ７０は、例えばＬＣＤ（Liquid Crystal Display）である。ディスプレイ７０は、ＣＰＵ４０等によって生成される表示信号に基づいて画面イメージを表示する。なお、ディスプレイ７０はタッチスクリーンディスプレイであってもよい。その場合、例えば、ＬＣＤの上面にタッチパネルが配置される。タッチパネルは、ＬＣＤの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置及び接触位置の動き等がタッチパネルによって検出される。

通信部８０は、有線通信又は無線通信を実行するように構成されたインターフェース機器である。通信部８０は、信号を有線又は無線送信する送信部と、信号を有線又は無線受信する受信部とを含む。

図２は、フィルタ１０の構成の例を示す。フィルタ１０は、例えば、二色のカラーフィルタ領域である第１フィルタ領域１１と第２フィルタ領域１２とで構成される。フィルタ１０の中心は、撮像装置１００の光学中心１３と一致している。第１フィルタ領域１１及び第２フィルタ領域１２はそれぞれ、光学中心１３に対して非点対称である形状を有している。また、例えば各フィルタ領域１１，１２は重複せず、且つ二つのフィルタ領域１１，１２によってフィルタ１０の全領域を構成している。図２に示す例では、第１フィルタ領域１１及び第２フィルタ領域１２はそれぞれ、円形のフィルタ１０が光学中心１３を通る線分で分割された半円の形状を有している。また、第１フィルタ領域１１は、例えばイエロー（Ｙ）のフィルタ領域であり、第２フィルタ領域１２は、例えばシアン（Ｃ）のフィルタ領域である。

フィルタ１０は、２以上のカラーフィルタ領域を有する。カラーフィルタ領域それぞれは、撮像装置の光学中心に対して非対称な形状である。一のカラーフィルタ領域が透過する光の波長領域の一部と他の一のカラーフィルタ領域が透過する光の波長領域の一部は、例えば重複する。一のカラーフィルタ領域が透過する光の波長領域は、例えば他の一のカラーフィルタ領域が透過する光の波長領域を含んでもよい。以下では、例として図２のフィルタ１０を用いて説明する。

なお、第１フィルタ領域１１と第２フィルタ領域とは、任意の波長帯域の透過率を変更するフィルタ、任意方向の偏光光を通過させる偏光フィルタ、又は任意の波長帯域の集光パワーを変更するマイクロレンズであってもよい。例えば、任意の波長帯域の透過率を変更するフィルタは、原色フィルタ（ＲＧＢ）、補色フィルタ（ＣＭＹ）、色補正フィルタ（ＣＣ−ＲＧＢ／ＣＭＹ）、赤外線・紫外線カットフィルタ、ＮＤフィルタ、又は遮蔽板であってもよい。第１フィルタ領域１１や第２フィルタ領域１２がマイクロレンズである場合は、レンズ２０により光線の集光の分布に偏りが生じることでぼけの形状が変化する。

以下では、説明を分かりやすくするために、第１フィルタ領域１１がイエロー（Ｙ）のフィルタ領域であり、第２フィルタ領域１２がシアン（Ｃ）のフィルタ領域である場合を主に例示する。

このようなフィルタ１０がカメラの開口部に配置されることによって、開口部が二色で二分割された構造開口であるカラー開口が構成される。このカラー開口を透過する光線に基づいて、イメージセンサ３０は画像を生成する。イメージセンサ３０に入射する光の光路上において、フィルタ１０とイメージセンサ３０との間にレンズ２０が配置されてもよい。イメージセンサ３０に入射する光の光路上において、レンズ２０とイメージセンサ３０との間にフィルタ１０が配置されてもよい。レンズ２０は複数設けられる場合には、フィルタ１０は２のレンズ２０の間に配置されてもよい。

より具体的には、第２センサ３２に対応する波長帯域の光は、イエローの第１フィルタ領域１１とシアンの第２フィルタ領域１２の両方を透過する。第１センサ３１に対応する波長帯域の光は、イエローの第１フィルタ領域１１を透過し、シアンの第２フィルタ領域１２を透過しない。第３センサ３３に対応する波長帯域の光は、シアンの第２フィルタ領域１２を透過し、イエローの第１フィルタ領域１１を透過しない。

なお、ある波長帯域の光がフィルタ又はフィルタ領域を透過するとは、フィルタ又はフィルタ領域が高い透過率でその波長帯域の光を透過し、そのフィルタ又はフィルタ領域による当該波長帯域の光の減衰（すなわち、光量の低下）が極めて小さいことを意味する。また、ある波長帯域の光がフィルタ又はフィルタ領域を透過しないとは、光がフィルタ又はフィルタ領域に遮蔽されることであり、例えば、フィルタ又はフィルタ領域が低い透過率でその波長帯域の光を透過し、そのフィルタ又はフィルタ領域による当該波長帯域の光の減衰が極めて大きいことを意味する。例えばフィルタ又はフィルタ領域は、ある波長帯の光を吸収することにより光を減衰させる。

図３は、第１フィルタ領域１１及び第２フィルタ領域１２の透過率特性の例を示す。可視光の波長帯域のうち700nmより長い波長の光に対する透過率は図示を省略してあるが、透過率は700nmの場合に近い。図３中のイエローの第１フィルタ領域１１の透過率特性２１では、波長帯域が620nmから750nm程度のＲ画像及び波長帯域が495nmから570nm程度のＧ画像に対応する光が高い透過率で透過され、波長帯域が450nmから495nm程度のＢ画像に対応する光がほとんど透過されていない。また、シアンの第２フィルタ領域１２の透過率特性２２では、Ｂ画像及びＧ画像に対応する波長帯域の光が高い透過率で透過され、Ｒ画像に対応する波長帯域の光がほとんど透過されていない。

したがって、Ｒ画像に対応する波長帯域の光はイエローの第１フィルタ領域１１のみを透過し、Ｂ画像に対応する波長帯域の光はシアンの第２フィルタ領域１２のみを透過する。

Ｒ画像及びＢ画像上のぼけの形状が被写体までの距離ｄに応じて変化する。また、各フィルタ領域１１，１２が光学中心１３に対して非点対称な形状であるので、Ｒ画像及びＢ画像上のぼけの偏りの方向が、被写体が撮像点から見て合焦位置よりも手前にあるか、それとも奥にあるかによってそれぞれ反転する。この合焦位置は、撮像点から合焦距離ｄ_ｆだけ離れた点であり、撮像装置１００から、画像上にぼけが発生しないピントが合う位置である。

図４を参照して、フィルタ１０が配置されたカラー開口による光線変化と、ぼけの形状とについて説明する。

まず、被写体１５が合焦距離ｄ_ｆ（合焦位置）よりも奥にある場合（ｄ＞ｄ_ｆ）、イメージセンサ３０によって撮像された画像にはぼけが発生する。この画像上のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像及びＢ画像でそれぞれ異なっている。すなわち、Ｒ画像のぼけ関数１０１Ｒは左側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数１０１Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数１０１Ｂは右側に偏ったぼけの形状を示している。

次に、被写体１５が合焦距離ｄ_ｆにある場合（ｄ＝ｄ_ｆ）、イメージセンサ３０によって撮像された画像にはほとんどぼけが発生しない。この画像上のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像及びＢ画像でほぼ同じである。すなわち、Ｒ画像のぼけ関数１０２Ｒ、Ｇ画像のぼけ関数１０２Ｇ、及びＢ画像のぼけ関数１０２Ｂは、偏りのないぼけの形状を示している。

さらに、被写体１５が合焦距離ｄ_ｆよりも手前にある場合（ｄ＜ｄ_ｆ）、イメージセンサ３０によって撮像された画像にはぼけが発生する。この画像上のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像及びＢ画像でそれぞれ異なっている。すなわち、Ｒ画像のぼけ関数１０３Ｒは右側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数１０３Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数１０３Ｂは左側に偏ったぼけの形状を示している。

図５は、このような画像上のぼけを利用して被写体１５までの距離を算出する方法を示す。図５に示す例では、フィルタ１０は、イエローの第１フィルタ領域１１とシアンの第２フィルタ領域１２とによって構成されている。そのため、Ｒ画像に対応する波長帯域の光が、第１フィルタ領域１１に対応する部分１４Ｒを通過し、Ｇ画像に対応する波長帯域の光が、第１フィルタ領域１１及び第２フィルタ領域１２に対応する部分１４Ｇを通過し、Ｂ画像に対応する波長帯域の光が、第２フィルタ領域１２に対応する部分１４Ｂを通過する。

このようなフィルタ１０を用いて撮像された画像上にぼけが生じた場合、Ｒ画像、Ｇ画像及びＢ画像上のぼけはそれぞれ異なる形状になる。図５に示すように、Ｇ画像のぼけ関数１６Ｇは左右対称であるぼけの形状を表している。また、Ｒ画像のぼけ関数１６Ｒ及びＢ画像のぼけ関数１６Ｂは非点対称であるぼけの形状を表し、ぼけの偏りはそれぞれ異なっている。

Ｒ画像のぼけ関数１６Ｒ及びＢ画像のぼけ関数１６Ｂには、被写体までの距離毎に推定されるぼけに基づいて、Ｒ画像及びＢ画像上の非点対称なぼけを左右対称なぼけに補正するためのぼけ補正フィルタ１７，１８が適用され、これらぼけ関数１６Ｒ，１６ＢがＧ画像のぼけ関数１６Ｇと一致するかどうかが判定される。ぼけ補正フィルタ１７，１８として、例えば、特定の間隔の距離毎に、複数の距離に対応する複数のぼけ補正フィルタが用意される。あるぼけ補正フィルタ１７，１８が適用されたぼけ関数１９Ｒ，１９Ｂが、Ｇ画像のぼけ関数１６Ｇと一致した場合には、そのぼけ補正フィルタ１７，１８に対応する距離が、撮影された被写体１５までの距離に決定される。

このぼけ関数が一致しているかどうかの判定には、例えば、ぼけ補正フィルタが適用されたＲ画像又はＢ画像と、Ｇ画像との相関が用いられる。したがって、例えば、複数のぼけ補正フィルタから、ぼけ補正フィルタが適用されたＲ画像又はＢ画像と、Ｇ画像との相関がより高くなるぼけ補正フィルタを探索することで、画像上の各画素に写る被写体までの距離が推定される。つまり、画像に写る被写体までの距離が任意の距離であると仮定して作成した複数のぼけ補正フィルタを用いて、Ｒ画像又はＢ画像のぼけ形状を補正した補正画像を生成し、生成した補正画像とＧ画像との相関がより高くなる距離を求めることで、被写体までの距離を算出することができる。

しかし、数多くのぼけ補正フィルタを用いて被写体までの距離を算出する処理は計算コストが高いので、準備する補正フィルタの数によっては被写体までの距離が実時間で要求される用途には利用できない場合がある。また、用途によっては、被写体までの正確な距離が必要なく、例えば、被写体がある基準位置の奥にあるか、それとも手前にあるかが分かれば十分な場合もある。

そのため本実施形態では、フィルタ１０が配置されたカラー開口を用いて撮像された画像を用いて、被写体までの距離を算出するのではなく、被写体が基準位置の奥にあるか、それとも手前にあるかを判定する。本実施形態では、例えば、非点対称なぼけ関数で表される形状のぼけを含む色成分のぼけの偏りを判定することにより、基準位置に対する被写体の相対的な位置を高速に判別することができる。撮像位置からこの基準位置までの距離（以下、基準距離とも称する）は、合焦距離であってもよいし、ユーザーによって指定された任意の距離であってもよい。

図６は、本撮像装置１００で撮像された画像の例を示す。ここでは、基準距離が合焦距離である場合を例示する。なお、ｄ＞ｄ_ｆの場合の被写体１５はスペードの９のトランプとしてある。ｄ＝ｄ_ｆの場合の被写体１５はスペードの８のトランプとしてある。ｄ＜ｄ_ｆの場合の被写体１５はスペードの７のトランプとしてある。

被写体１５が合焦距離ｄ_ｆにある場合（ｄ＝ｄ_ｆ）、被写体１５上のある一点に対応する光線（光束）がイメージセンサ３０上の狭い範囲（例えば、一点）３０２に集まるので、ぼけのない画像５２が生成される。これに対して、被写体１５が合焦距離ｄ_ｆよりも奥にある場合（ｄ＞ｄ_ｆ）、被写体１５が合焦距離ｄ_ｆにある場合よりも、被写体１５上のある一点に対応する光線がイメージセンサ３０上の一点には集まらず、広い範囲に広がるので、ぼけ３０１を含む画像５１が生成される。また、被写体１５が合焦距離ｄ_ｆよりも手前にある場合（ｄ＜ｄ_ｆ）、被写体１５が合焦距離ｄ_ｆにある場合よりも、被写体１５上のある一点に対応する光線がイメージセンサ３０上の一点には集まらず、広い範囲に広がるので、ぼけ３０３を含む画像５３が生成される。

図６に示すように、奥にある被写体１５を撮像した画像５１上のぼけ３０１と、手前にある被写体１５を撮像した画像５３上のぼけ３０３とでは、二色のフィルタ領域１１，１２の各々に影響を受ける部分が反転している。本実施形態では、このような反転を、例えば、上述したＲ画像及びＢ画像上のぼけの偏りとして検出することにより、被写体１５が合焦距離ｄ_ｆの奥にあるか、それとも手前にあるかを判別することができる。

図７を参照して、撮像装置１００の機能構成の例について説明する。上述したように、撮像装置１００は、フィルタ１０、レンズ２０及びイメージセンサ３０を備えている。フィルタ１０からイメージセンサ３０までの矢印は、光の経路を示す。フィルタ１０は、第１フィルタ領域１１と第２フィルタ領域１２とを含んでいる。第１フィルタ領域１１は、例えばイエローのフィルタ領域である。第２フィルタ領域１２は、例えばシアンのフィルタ領域である。イメージセンサ３０は、第１センサ３１、第２センサ及び第３センサ３３を含んでいる。第１センサ３１は、例えば赤色（Ｒ）の光を受光する撮像素子を含む。第２センサ３２は、例えば緑色（Ｇ）の光を受光する撮像素子を含む。第３センサ３３は、例えば青色（Ｂ）の光を受光する撮像素子を含む。イメージセンサ３０は、受光した光を光電変換することにより得られた電気信号を用いて、画像を生成する。生成される画像は、Ｒ成分、Ｇ成分及びＢ成分を含む画像であってもよいし、Ｒ画像、Ｇ画像及びＢ画像の三つの画像であってもよい。

撮像装置１００は、さらに、画像処理部４１と制御信号生成部４２とを備える。イメージセンサ３０から制御信号生成部４２までの矢印は、電気信号の経路を示す。これら画像処理部４１及び制御信号生成部４２を含む撮像装置１００内の各機能構成は、ハードウェア（回路）、ＣＰＵ４０によって実行されるソフトウェア（プログラム）、及びソフトウェアとハードウェアの組み合わせのいずれとして実現されてもよい。

画像処理部４１は、イメージセンサ３０によって生成された画像上のぼけに基づいて、画像に写った被写体が基準位置の手前にあるか、それとも奥にあるかを判定する。画像処理部４１は、取得部４１１と判定部４１２とを含む。

取得部４１１は、イメージセンサ３０によって生成された画像を取得する。取得部４１１は、例えば、非点対称なぼけ関数を有し第１被写体を含む第１色成分の画像と、点対称なぼけ関数を有し第１被写体を含む第２色成分の画像とを取得する。この第１色成分は、例えばＲ成分又はＢ成分であり、第２色成分は、例えばＧ成分である。また、取得部４１１は、例えば、各々が少なくとも一つの色成分を含む複数の画素を含む画像であって、被写体までの距離が合焦距離である画素ではぼけが発生せず、被写体までの距離がその合焦距離でない画素ではぼけが発生し、複数の画素の第１色成分のぼけを表すぼけ関数が非点対称である画像を取得してもよい。

判定部４１２は、第１色成分の画像と第２色成分の画像とに基づいて、撮像位置からみて第１被写体が基準位置（第１位置）の手前にあるか奥にあるかを判定する。この基準位置は、例えば、撮像位置からの距離が基準距離である地点である。この基準距離は、合焦距離であってもよいし、ユーザーによって指定された任意の距離であってもよい。撮像装置１００は、ユーザーによって入力された情報等を受理する受理部４３をさらに含んでいてもよい。受理部４３は、基準距離を示す情報や、取得された画像上の処理対象の画素を指定する情報を受け取り得る。基準距離は、ユーザーが与えた基準面から計算してもよい。あるいは、基準距離の代わりに基準平面に関する情報を受理部４３が受け取ってもよい。基準面は、平面でも曲面でも不連続な面でもよい。ユーザーは、例えば、マウスやキーボードやタッチスクリーンディスプレイ等の入力デバイスを介して基準距離を示す情報を入力してもよいし、画像上の処理対象の画素が含まれる領域を指定してもよい。受理部４３によって、画像上の処理対象の画素を指定する情報が受け取られた場合、判定部４１２は、処理対象の画素を含む第１被写体が撮像位置からみて基準位置の手前にあるか奥にあるかを判定してもよい。

また、判定部４１２は、取得された画像上の第１色成分のぼけの偏りを判定してもよい。判定部４１２は、この第１色成分のぼけの偏りに基づいて、被写体が基準位置の手前にあるか、それとも奥にあるかを判定する。また、受理部４３によって、画像上の処理対象の画素を指定する情報が受け取られた場合、判定部４１２は、その処理対象の画素の第１色成分のぼけの偏りを判定してもよい。

制御信号生成部４２は、判定部４１２による被写体が基準位置の手前にあるか、それとも奥にあるかを示す判定結果に基づいて、撮像装置１００や外部機器を制御するための様々な制御信号を生成する。制御信号生成部４２は、判定結果に基づいて、例えば、被写体が基準位置に来たというイベント、又は被写体が基準位置から離れたというイベントを検知し、撮像装置１００や外部機器を制御するための様々な制御信号を生成することができる。

なお、判定部４１２は、被写体が基準位置の手前にあるか、それとも奥にあるかを示す判定結果を外部機器等に出力することもできる。

次いで、図８から図１１を参照して、ぼけの偏りに基づいて、被写体が合焦距離（合焦位置）よりも手前にあるか、それとも奥にあるかが判別されるいくつかの例を示す。図８から図１１に示す例では、判定部４１２は、取得された画像に含まれる色成分の内、点対称なぼけが含まれる色成分（例えば、Ｇ成分）の画像からエッジを検出する。そして、判定部４１２は、取得された画像に含まれる色成分の内、非点対称なぼけが含まれる色成分（例えば、Ｒ成分又はＢ成分）の画像上の、エッジに対応するエッジ領域内の複数の画素を用いて、ぼけの偏りを判定する。そして、判定部４１２は、ぼけの偏りに基づいて、そのエッジを有する被写体が合焦距離の手前にあるか、それとも奥にあるかを判定する。

図８は、画像５１上の、暗色（例えば、黒）と明色（例えば、白）の境界であるエッジ領域５１１内の画素を用いて、被写体１５が合焦距離よりも奥にあると判定される例を示す。以下では、画像５１のＲ成分、Ｇ成分、Ｂ成分を、それぞれＲ画像、Ｇ画像、Ｂ画像とも称する。

エッジ領域５１１は、本来、すなわち、フィルタ１０が配置されたカラー開口がなく、ぼけがなかった場合、左側の暗色の領域５１１Ｌと右側の明色の領域５１１Ｒとで構成される。これら暗色の領域５１１Ｌと明色の領域５１１Ｒとの境界が、エッジ５１１Ｅである。したがって、Ｒ画像、Ｇ画像及びＢ画像上のこれら領域５１１Ｌ，５１１Ｒにおける画素の位置と画素値との関係６１はいずれも、先鋭なエッジの形状を表している。

実際には、エッジ領域５１１はカラー開口による影響を受け、ぼけを含んでいる。そのため、画像５１上のエッジ５１１Ｅの左側の第１領域６１１と右側の第２領域６１２とは赤みがかっている。

より具体的には、Ｇ画像上のエッジ領域５１１には、ぼけ関数１０１Ｇで表される点対称なぼけが発生している。そのため、Ｇ画像上のエッジ領域５１１における画素の位置と画素値との関係６１Ｇは、エッジ５１１Ｅの左側の第１領域６１１と右側の第２領域６１２の両方で大きなぼけが発生していることを示している。

Ｒ画像上のエッジ領域５１１には、ぼけ関数１０１Ｒで表される、左側に偏った非点対称なぼけが発生している。そのため、Ｒ画像上のエッジ領域５１１における画素の位置と画素値との関係６１Ｒは、エッジ５１１Ｅの左側の第１領域６１１で大きなぼけが発生し、右側の第２領域６１２で小さなぼけが発生していることを示している。

Ｂ画像上のエッジ領域５１１には、ぼけ関数１０１Ｂで表される、右側に偏った非点対称なぼけが発生している。そのため、Ｂ画像上のエッジ領域５１１における画素の位置と画素値との関係６１Ｂは、エッジ５１１Ｅの左側の第１領域６１１で小さなぼけが発生し、右側の第２領域６１２で大きなぼけが発生していることを示している。

このように、赤の波長領域の光と青の波長領域の光は、フィルタの一部を通過するので、非点対称なぼけ形状を生じる。

したがって、被写体１５が合焦距離よりも奥にある場合、エッジ領域５１１は、Ｒ画像上の第１領域６１１の勾配が大きく、且つ第２領域６１２の勾配が小さくなるという特性と、Ｂ画像上の第１領域６１１の勾配が小さく、且つ第２領域６１２の勾配が大きくなるという特性とを有する。

判定部４１２は、このような特性に基づき、エッジ領域５１１内の画素を用いて、例えば、（１）Ｒ画像上の第１領域６１１の勾配が第１閾値以上であり、且つ第２領域６１２の勾配が第２閾値未満であること、（２）Ｂ画像上の第１領域６１１の勾配が第２閾値未満であり、且つ第２領域６１２の勾配が第１閾値以上であること、の少なくとも一方に基づいて、被写体１５が合焦距離よりも奥にあると判定する。

図９は、画像５１上の、明色と暗色の境界であるエッジ領域５１２内の画素を用いて、被写体１５が合焦距離よりも奥にあると判定される例を示す。

エッジ領域５１２は、本来、すなわち、フィルタ１０が配置されたカラー開口がなく、ぼけがなかった場合、左側の明色の領域５１２Ｌと右側の暗色の領域５１２Ｒとで構成される。これら明色の領域５１２Ｌと暗色の領域５１２Ｒとの境界が、エッジ５１２Ｅである。したがって、Ｒ画像、Ｇ画像及びＢ画像上のこれら領域５１２Ｌ，５１２Ｒにおける画素の位置と画素値との関係６２はいずれも、先鋭なエッジの形状を表している。

実際には、エッジ領域５１２はカラー開口による影響を受け、ぼけを含んでいる。そのため、画像５１上のエッジ５１２Ｅの左側の第１領域６２１と右側の第２領域６２２とは青みがかっている。

より具体的には、Ｇ画像上のエッジ領域５１２には、ぼけ関数１０１Ｇで表される点対称なぼけが発生している。そのため、Ｇ画像上のエッジ領域５１２における画素の位置と画素値との関係６２Ｇは、エッジ５１２Ｅの左側の第１領域６２１と右側の第２領域６２２の両方で大きなぼけが発生していることを示している。

Ｒ画像上のエッジ領域５１２には、ぼけ関数１０１Ｒで表される、左側に偏った非点対称なぼけが発生している。そのため、Ｒ画像上のエッジ領域５１２における画素の位置と画素値との関係６２Ｒは、エッジ５１２Ｅの左側の第１領域６２１で大きなぼけが発生し、右側の第２領域６２２で小さなぼけが発生していることを示している。

Ｂ画像上のエッジ領域５１２には、ぼけ関数１０１Ｂで表される、右側に偏った非点対称なぼけが発生している。そのため、Ｂ画像上のエッジ領域５１２における画素の位置と画素値との関係６２Ｂは、エッジ５１２Ｅの左側の第１領域６２１で小さなぼけが発生し、右側の第２領域６２２で大きなぼけが発生していることを示している。

したがって、被写体１５が合焦距離よりも奥にある場合、エッジ領域５１２は、Ｒ画像上の第１領域６２１の勾配が大きく、且つ第２領域６２２の勾配が小さくなるという特性と、Ｂ画像上の第１領域６２１の勾配が小さく、且つ第２領域６２２の勾配が大きくなるという特性とを有する。

判定部４１２は、このような特性に基づき、エッジ領域５１２内の画素を用いて、例えば、（１）Ｒ画像上の第１領域６２１の勾配が第１閾値以上であり、且つ第２領域６２２の勾配が第２閾値未満であること、（２）Ｂ画像上の第１領域６２１の勾配が第２閾値未満であり、且つ第２領域６２２の勾配が第１閾値以上であること、の少なくとも一方に基づいて、被写体１５が合焦距離よりも奥にあると判定する。

このように、点対称なぼけ形状を生じる波長領域の光による画像のエッジ領域と、非点対称なぼけ形状を生じる波長領域の光による画像のエッジ領域と、を用いて被写体が合焦距離の手前にあるか奥にあるかを判定することができる。

図１０は、画像５３上の、暗色と明色の境界であるエッジ領域５３１内の画素を用いて、被写体１５が合焦距離よりも手前にあると判定される例を示す。

エッジ領域５３１は、本来、すなわち、フィルタ１０が配置されたカラー開口がなく、ぼけがなかった場合、左側の暗色の領域５３１Ｌと右側の明色の領域５３１Ｒとで構成される。これら暗色の領域５３１Ｌと明色の領域５３１Ｒとの境界が、エッジ５３１Ｅである。したがって、Ｒ画像、Ｇ画像及びＢ画像上のこれら領域５３１Ｌ，５３１Ｒにおける画素の位置と画素値との関係６３はいずれも、先鋭なエッジの形状を表している。

実際には、エッジ領域５３１はカラー開口による影響を受け、ぼけを含んでいる。そのため、画像５３上のエッジ５３１Ｅの左側の第１領域６３１と右側の第２領域６３２とは青みがかっている。

より具体的には、Ｇ画像上のエッジ領域５３１には、ぼけ関数１０３Ｇで表される点対称なぼけが発生している。そのため、Ｇ画像上のエッジ領域５３１における画素の位置と画素値との関係６３Ｇは、エッジ５３１Ｅの左側の第１領域６３１と右側の第２領域６３２の両方で大きなぼけが発生していることを示している。

Ｒ画像上のエッジ領域５３１には、ぼけ関数１０３Ｒで表される、右側に偏った非点対称なぼけが発生している。そのため、Ｒ画像上のエッジ領域５３１における画素の位置と画素値との関係６３Ｒは、エッジ５３１Ｅの左側の第１領域６３１で小さなぼけが発生し、右側の第２領域６３２で大きなぼけが発生していることを示している。

Ｂ画像上のエッジ領域５３１には、ぼけ関数１０３Ｂで表される、左側に偏った非点対称なぼけが発生している。そのため、Ｂ画像上のエッジ領域５３１における画素の位置と画素値との関係６３Ｂは、エッジ５３１Ｅの左側の第１領域６３１で大きなぼけが発生し、右側の第２領域６３２で小さなぼけが発生していることを示している。

したがって、被写体１５が合焦距離よりも手前にある場合、エッジ領域５３１は、Ｒ画像上の第１領域６３１の勾配が小さく、且つ第２領域６３２の勾配が大きくなるという特性と、Ｂ画像上の第１領域６３１の勾配が大きく、且つ第２領域６３２の勾配が小さくなるという特性とを有する。

判定部４１２は、このような特性に基づき、エッジ領域５３１内の画素を用いて、例えば、（１）Ｒ画像上の第１領域６３１の勾配が第２閾値未満であり、且つ第２領域６３２の勾配が第１閾値以上であること、（２）Ｂ画像上の第１領域６３１の勾配が第１閾値以上であり、且つ第２領域６３２の勾配が第２閾値未満であること、の少なくとも一方に基づいて、被写体１５が合焦距離よりも手前にあると判定する。

図１１は、画像５３上の、明色と暗色の境界であるエッジ領域５３２内の画素を用いて、被写体１５が合焦距離よりも手前にあると判定される例を示す。

エッジ領域５３２は、本来、すなわち、フィルタ１０が配置されたカラー開口がなく、ぼけがなかった場合、左側の明色の領域５３２Ｌと右側の暗色の領域５３２Ｒとで構成される。これら明色の領域５３２Ｌと暗色の領域５３２Ｒとの境界が、エッジ５３２Ｅである。したがって、Ｒ画像、Ｇ画像及びＢ画像上のこれら領域５３２Ｌ，５３２Ｒにおける画素の位置と画素値との関係６４はいずれも、先鋭なエッジの形状を表している。

実際には、エッジ領域５３２はカラー開口による影響を受け、ぼけを含んでいる。そのため、画像５３上のエッジ５３２Ｅの左側の第１領域６４１と右側の第２領域６４２とは赤みがかっている。

より具体的には、Ｇ画像上のエッジ領域５３２には、ぼけ関数１０３Ｇで表される点対称なぼけが発生している。そのため、Ｇ画像上のエッジ領域５３２における画素の位置と画素値との関係６４Ｇは、エッジ５３２Ｅの左側の第１領域６４１と右側の第２領域６４２の両方で大きなぼけが発生していることを示している。

Ｒ画像上のエッジ領域５３２には、ぼけ関数１０３Ｒで表される、右側に偏った非点対称なぼけが発生している。そのため、Ｒ画像上のエッジ領域５３２における画素の位置と画素値との関係６４Ｒは、エッジ５３２Ｅの左側の第１領域６４１で小さなぼけが発生し、右側の第２領域６４２で大きなぼけが発生していることを示している。

Ｂ画像上のエッジ領域５３２には、ぼけ関数１０３Ｂで表される、左側に偏った非点対称なぼけが発生している。そのため、Ｂ画像上のエッジ領域５３２における画素の位置と画素値との関係６４Ｂは、エッジ５３２Ｅの左側の第１領域６４１で大きなぼけが発生し、右側の第２領域６４２で小さなぼけが発生していることを示している。

したがって、被写体１５が合焦距離よりも手前にある場合、エッジ領域５３２は、Ｒ画像上の第１領域６４１の勾配が小さく、且つ第２領域６４２の勾配が大きくなるという特性と、Ｂ画像上の第１領域６４１の勾配が大きく、且つ第２領域６４２の勾配が小さくなるという特性とを有する。

判定部４１２は、このような特性に基づき、エッジ領域５３２内の画素を用いて、例えば、（１）Ｒ画像上の第１領域６４１の勾配が第２閾値未満であり、且つ第２領域６４２の勾配が第１閾値以上であること、（２）Ｂ画像上の第１領域６４１の勾配が第１閾値以上であり、且つ第２領域６４２の勾配が第２閾値未満であること、の少なくとも一方に基づいて、被写体１５が合焦距離よりも手前にあると判定する。

このように、判定部４１２は、エッジの左側の領域の勾配と右側の領域の勾配で示されるぼけの偏りを判定することによって、被写体が合焦距離よりも手前にあるか、それとも奥にあるかを判別することができる。

さらに、図１２から図１５を参照して、ぼけの偏りに基づいて、被写体が合焦距離（合焦位置）よりも手前にあるか、それとも奥にあるかが判別する方法の別のいくつかの例を示す。

図１２は、画像５１上の、暗色と明色の境界であるエッジ領域５１１内の画素を用いて、被写体１５が合焦距離よりも奥にあると判定される例を示す。画像５１上のエッジ領域５１１に発生しているぼけの特性は、図８を参照して上述した通りである。

判定部４１２は、Ｒ画像の暗色の領域５１１Ｌと明色の領域５１１Ｒとで構成されるエッジ領域５１１に、各々の中心が一致するように二重の円７１を重ね合わせた場合に、内側の円７２に含まれる画素と、この円７２と外側の円との間の斜線部７３に含まれる画素とを決定する。この二重の円７１を構成する円７２及び斜線部７３のサイズは、例えば、レンズ２０の特性、エッジ領域５１１のサイズ等に基づいて決定され得る。例えば内側の円７２の半径は、Ｒ画像上において、暗色の領域５１１Ｌと明色の領域５１１Ｒとの境界線から、ボケが広がる範囲に含まれる境界線から最も遠い画素までの長さとすることができる。ボケが広がる範囲は被写体の距離に応じて変化するものであり、既知でないため、画素値のプロファイルから推定したり、広すぎない値を設定したりするとよい。

Ｇ画像とＢ画像においても、Ｒ画像の二重の円７１の位置と一致するように二重の円７１を設ける。円の中心は、例えば暗色の領域５１１Ｌと明色の領域５１１Ｒとの境界線上に設ける。

判定部４１２は、各円７２に含まれる画素のＲ成分、Ｇ成分及びＢ成分の画素値を用いてＲ／（Ｒ＋Ｇ＋Ｂ）の値を算出する。また、判定部４１２は、斜線部７３に含まれる画素のＲ成分、Ｇ成分及びＢ成分の画素値を用いてＲ／（Ｒ＋Ｇ＋Ｂ）の値を算出する。そして、判定部４１２は、図１２に示すように、暗色の領域５１１Ｌと明色の領域５１１Ｒとで構成されるエッジ領域５１１において、Ｒ成分が右ほど大きく、且つ円７２内のＲ／（Ｒ＋Ｇ＋Ｂ）の値が、斜線部７３のＲ／（Ｒ＋Ｇ＋Ｂ）の値より大きい場合に、被写体１５が合焦距離よりも奥にあると判定する。なお、円７１、７２の形状を矩形や線分等に変更しても構わない。その場合、斜線部７３の形状も自ずと変化する。

２つの領域におけるＲ／（Ｒ＋Ｇ＋Ｂ）の値の算出は、Ｒ画像とＧ画像とＢ画像を合成して得られるカラー画像を用いて行ってもよい。また、Ｒ／（Ｒ＋Ｇ＋Ｂ）の代わりに、２つの領域におけるＲ／（Ｒ＋Ｇ）の値またはＲ／（Ｇ＋Ｂ）の値を算出してもよい。斜線部７３のＲ／（Ｒ＋Ｇ＋Ｂ）の値を算出する代わりに、斜線部７３と円７２の和集合のＲ／（Ｒ＋Ｇ＋Ｂ）を用いてもよい。二重の円７１の代わりに、少なくとも一部が重複する四角形などの多角形や、その他の形状を用いてもよい。

図１３は、画像５１上の、明色と暗色の境界であるエッジ領域５１２内の画素を用いて、被写体１５が合焦距離よりも奥にあると判定される例を示す。画像５１上のエッジ領域５１１に発生しているぼけの特性は、図９を参照して上述した通りである。

判定部４１２は、Ｂ画像の明色の領域５１２Ｌと暗色の領域５１２Ｒとで構成されるエッジ領域５１２に、各々の中心が一致するように二重の円７１を重ね合わせた場合に、内側の円７２に含まれる画素と、この円７２と外側の円との間の斜線部７３に含まれる画素とを決定する。この二重の円７１を構成する円７２及び斜線部７３のサイズは、例えば、レンズ２０の特性、エッジ領域５１２のサイズ等に基づいて決定され得る。例えば内側の円７２の半径は、Ｂ画像上において、明色の領域５１２Ｌと暗色の領域５１２Ｒとの境界線から、ボケが広がる範囲に含まれる境界線から最も遠い画素までの長さとすることができる。ボケが広がる範囲は被写体の距離に応じて変化するものであり、既知でないため、画素値のプロファイルから推定したり、広すぎない値を設定したりするとよい。

Ｇ画像とＲ画像においても、Ｂ画像の二重の円７１の位置と一致するように二重の円７１を設ける。円の中心は、例えば明色の領域５１２Ｌと暗色の領域５１２Ｒとの境界線上に設ける。

判定部４１２は、各円７２に含まれる画素のＲ成分、Ｇ成分及びＢ成分の画素値を用いてＢ／（Ｒ＋Ｇ＋Ｂ）の値を算出する。また、判定部４１２は、斜線部７３に含まれる画素のＲ成分、Ｇ成分及びＢ成分の画素値を用いてＢ／（Ｒ＋Ｇ＋Ｂ）の値を算出する。そして、判定部４１２は、図１３に示すように、明色の領域５１２Ｌと暗色の領域５１２Ｒとで構成されるエッジ領域５１２において、Ｂ成分が右ほど小さく、且つ円７２内のＢ／（Ｒ＋Ｇ＋Ｂ）の値が、斜線部７３内のＢ／（Ｒ＋Ｇ＋Ｂ）の値より大きい場合に、被写体１５が合焦距離よりも奥にあると判定する。なお、円７１、７２の形状を矩形や線分等に変更しても構わない。その場合、斜線部７３の形状も自ずと変化する。

２つの領域におけるＢ／（Ｒ＋Ｇ＋Ｂ）の値の算出は、Ｒ画像とＧ画像とＢ画像を合成して得られるカラー画像を用いて行ってもよい。また、Ｂ／（Ｒ＋Ｇ＋Ｂ）の代わりに、２つの領域におけるＢ／（Ｒ＋Ｇ）の値またはＢ／（Ｇ＋Ｂ）の値を算出してもよい。斜線部７３のＢ／（Ｒ＋Ｇ＋Ｂ）の値を算出する代わりに、斜線部７３と円７２の和集合のＢ／（Ｒ＋Ｇ＋Ｂ）を用いてもよい。二重の円７１の代わりに、少なくとも一部が重複する四角形などの多角形や、その他の形状を用いてもよい。

図１４は、画像５３上の、暗色と明色の境界であるエッジ領域５３１内の画素を用いて、被写体１５が合焦距離よりも手前にあると判定される例を示す。画像５３上のエッジ領域５３１に発生しているぼけの特性は、図１０を参照して上述した通りである。

判定部４１２は、Ｂ画像の暗色の領域５３１Ｌと明色の領域５３１Ｒとで構成されるエッジ領域５３１に、各々の中心が一致するように二重の円７１を重ね合わせた場合に、内側の円７２に含まれる画素と、この円７２と外側の円との間の斜線部７３に含まれる画素とを決定する。この二重の円７１を構成する円７２及び斜線部７３のサイズは、例えば、レンズ２０の特性、エッジ領域５３１のサイズ等に基づいて決定され得る。例えば内側の円７２の半径は、Ｂ画像上において、暗色の領域５３１Ｌと明色の領域５３１Ｒとの境界線から、ボケが広がる範囲に含まれる境界線から最も遠い画素までの長さとすることができる。ボケが広がる範囲は被写体の距離に応じて変化するものであり、既知でないため、画素値のプロファイルから推定したり、広すぎない値を設定したりするとよい。

Ｇ画像とＲ画像においても、Ｂ画像の二重の円７１の位置と一致するように二重の円７１を設ける。円の中心は、例えば暗色の領域５３１Ｌと明色の領域５３１Ｒとの境界線上に設ける。

判定部４１２は、各円７２に含まれる画素のＲ成分、Ｇ成分及びＢ成分の画素値を用いてＢ／（Ｒ＋Ｇ＋Ｂ）の値を算出する。また、判定部４１２は、斜線部７３に含まれる画素のＲ成分、Ｇ成分及びＢ成分の画素値を用いてＢ／（Ｒ＋Ｇ＋Ｂ）の値を算出する。そして、判定部４１２は、図１４に示すように、暗色の領域５３１Ｌと明色の領域５３１Ｒとで構成されるエッジ領域５３１において、Ｂ成分が右ほど大きく、且つ円７２内のＢ／（Ｒ＋Ｇ＋Ｂ）の値が、斜線部７３内のＢ／（Ｒ＋Ｇ＋Ｂ）の値より大きい場合に、被写体１５が合焦距離よりも手前にあると判定する。なお、円７１、７２の形状を矩形や線分等に変更しても構わない。その場合、斜線部７３の形状も自ずと変化する。

２つの領域におけるＢ／（Ｒ＋Ｇ＋Ｂ）の値の算出は、Ｒ画像とＧ画像とＢ画像を合成して得られるカラー画像を用いて行ってもよい。また、Ｂ／（Ｒ＋Ｇ＋Ｂ）の代わりに、２つの領域におけるＢ／（Ｒ＋Ｇ）の値またはＢ／（Ｇ＋Ｂ）の値を算出してもよい。斜線部７３のＢ／（Ｒ＋Ｇ＋Ｂ）の値を算出する代わりに、斜線部７３と円７２の和集合のＢ／（Ｒ＋Ｇ＋Ｂ）の値の和を用いてもよい。二重の円７１の代わりに、少なくとも一部が重複する四角形などの多角形や、その他の形状を用いてもよい。

図１５は、画像５３上の、明色と暗色の境界であるエッジ領域５３２内の画素を用いて、被写体１５が合焦距離よりも手前にあると判定される例を示す。画像５３上のエッジ領域５３２に発生しているぼけの特性は、図１１を参照して上述した通りである。

判定部４１２は、Ｒ画像の明色の領域５３２Ｌと暗色の領域５３２Ｒとで構成されるエッジ領域５３２に、各々の中心が一致するように二重の円７１を重ね合わせた場合に、内側の円７２に含まれる画素と、この円７２と外側の円との間の斜線部７３に含まれる画素とを決定する。この二重の円７１を構成する円７２及び斜線部７３のサイズは、例えば、レンズ２０の特性、エッジ領域５３２のサイズ等に基づいて決定され得る。例えば内側の円７２の半径は、Ｒ画像上において、明色の領域５３２Ｌと暗色の領域５３２Ｒとの境界線から、ボケが広がる範囲に含まれる境界線から最も遠い画素までの長さとすることができる。ボケが広がる範囲は被写体の距離に応じて変化するものであり、既知でないため、画素値のプロファイルから推定したり、広すぎない値を設定したりするとよい。

Ｇ画像とＢ画像においても、Ｒ画像の二重の円７１の位置と一致するように二重の円７１を設ける。円の中心は、例えば明色の領域５３２Ｌと暗色の領域５３２Ｒとの境界線上に設ける。

判定部４１２は、各円７２に含まれる画素のＲ成分、Ｇ成分及びＢ成分の画素値を用いてＲ／（Ｒ＋Ｇ＋Ｂ）の値を算出する。また、判定部４１２は、斜線部７３に含まれる画素のＲ成分、Ｇ成分及びＢ成分の画素値を用いてＲ／（Ｒ＋Ｇ＋Ｂ）の値を算出する。そして、判定部４１２は、図１５に示すように、明色の領域５３２Ｌと暗色の領域５３２Ｒとで構成されるエッジ領域５３２において、Ｒ成分が右ほど小さく、且つ円７２内のＲ／（Ｒ＋Ｇ＋Ｂ）の値が、斜線部７３内のＲ／（Ｒ＋Ｇ＋Ｂ）の値より大きい場合に、被写体１５が合焦距離よりも手前にあると判定する。なお、円７１、７２の形状を矩形や線分等に変更しても構わない。その場合、斜線部７３の形状も自ずと変化する。

２つの領域におけるＲ／（Ｒ＋Ｇ＋Ｂ）の値の算出は、Ｒ画像とＧ画像とＢ画像を合成して得られるカラー画像を用いて行ってもよい。また、Ｒ／（Ｒ＋Ｇ＋Ｂ）の代わりに、２つの領域におけるＲ／（Ｒ＋Ｇ）の値またはＲ／（Ｇ＋Ｂ）の値を算出してもよい。斜線部７３のＲ／（Ｒ＋Ｇ＋Ｂ）の値を算出する代わりに、斜線部７３と円７２の和集合のＲ／（Ｒ＋Ｇ＋Ｂ）の値の和を用いてもよい。二重の円７１の代わりに、少なくとも一部が重複する四角形などの多角形や、その他の形状を用いてもよい。

このように、判定部４１２は、エッジ領域内の色成分の比で示されるぼけの偏りを判定することによって、被写体が合焦距離よりも手前にあるか、それとも奥にあるかを判別することができる。

以上の構成により、被写体が合焦距離（合焦位置）よりも手前にあるか、それとも奥にあるかを判定することができる。本実施形態の判定は、撮像装置から被写体までの距離の算出が不要なので、簡単な処理で高速に行うことができる。

基準距離は、上述した合焦距離であってもよいし、その他の距離であってもよい。基準距離は、ユーザーによって指定された任意の距離であってもよい。以下では、図２を参照して上述したフィルタ１０が配置されたカラー開口を用いて画像が撮像された場合に、その画像に写った被写体１５が基準距離（基準位置）の手前にあるか、それとも奥にあるかが判別される例を示す。上述したように、合焦距離でない位置の被写体１５が撮影された場合、撮像された画像のＲ成分（Ｒ画像）及びＢ成分（Ｂ画像）には非点対称な形状を有するぼけが発生し、Ｇ成分（Ｇ画像）には対称な形状を有するぼけが発生する。以下では、Ｒ画像及びＢ画像を対象画像、Ｇ画像を基準画像とも称する。例えば、対象画像と基準画像は、一の撮像装置１００により同時刻に撮像された画像である。

図１６に示すように、ぼけ関数８３で表される非点対称なぼけを有する対象画像に、被写体１５までの距離に応じたぼけを補正するためのぼけ補正フィルタ８１が適用された場合、補正された画像に含まれるぼけは、ぼけ関数８４に示されるように、点対称な形状を有するぼけに補正されることになる。ぼけ補正フィルタ８１は、画像の水平方向に畳み込む一次元カーネルである。補正されたぼけは、ぼけ補正フィルタ８１を作成するために仮定された距離が、被写体１５までの実際の距離に近いほど、基準画像のぼけとの相関が高くなる。

この特性を利用して、判定部４１２は、非点対称なぼけを有する対象画像に、被写体１５が基準距離よりも手前にある場合のぼけを補正するための第１ぼけ補正フィルタと、被写体１５が基準距離よりも奥にある場合のぼけを補正するための第２ぼけ補正フィルタとをそれぞれ適用した二つの補正画像の内、点対称なぼけを有する基準画像との相関がより高い補正画像を決定することで、被写体１５が基準距離よりも手前にあるか、それとも奥にあるかを判定する。すなわち、基準画像との相関がより高い補正画像が、第１ぼけ補正フィルタが適用された画像であるならば、判定部４１２は被写体１５が基準距離よりも手前にあると判定する。また、基準画像との相関がより高い補正画像が、第２ぼけ補正フィルタが適用された画像であるならば、判定部４１２は被写体１５が基準距離よりも奥にあると判定する。つまり、判定部４１２は、第１ぼけ補正フィルタで仮定された距離である、基準距離よりも手前の距離と、第２ぼけ補正フィルタで仮定された距離である、基準距離よりも奥の距離とのいずれが、被写体１５までの実際の距離に近いかを判別していると云える。

より具体的には、判定部４１２は、非点対称なぼけを有する対象画像に、被写体１５が基準距離よりも手前にある場合のぼけを補正する第１ぼけ補正フィルタを適用し、これにより第１補正画像を算出する。第１ぼけ補正フィルタは、例えば、被写体１５が基準距離よりも所定距離だけ手前にある場合のぼけを補正するフィルタである。また、判定部４１２は、その対象画像に、被写体１５が基準距離よりも奥にある場合のぼけを補正する第２ぼけ補正フィルタを適用し、これにより第２補正画像を算出する。第２ぼけ補正フィルタは、例えば、被写体１５が基準距離よりも所定距離だけ奥にある場合のぼけを補正するフィルタである。

次いで、判定部４１２は、第１補正画像と基準画像との第１相関値を算出する。また、判定部４１２は、第２補正画像と基準画像との第２相関値を算出する。これら第１相関値及び第２相関値には、例えば、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）、Ｃｏｌｏｒ Ａｌｉｇｎｍｅｎｔ Ｍｅａｓｕｒｅ、等が用いられ得る。

判定部４１２は、算出された第１相関値と第２相関値とを比較する。第１相関値が第２相関値より大きい場合、判定部４１２は、被写体１５が基準距離よりも手前にあると判定する。一方、第２相関値が第１相関値よりも大きい場合、判定部４１２は、被写体１５が基準距離よりも奥にあると判定する。

なお、判定部４１２は、第１補正画像と基準画像との第１相違度を算出し、第２補正画像と基準画像との第２相違度を算出するようにしてもよい。第１相違度が第２相違度より大きい場合、判定部４１２は、被写体１５が基準距離よりも奥にあると判定する。一方、第２相違度が第１相違度よりも大きい場合、判定部４１２は、被写体１５が基準距離よりも手前にあると判定する。第１相違度及び第２相違度には、例えば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、等が用いられ得る。

以上の構成により、被写体が基準距離（基準位置）よりも奥にあるか、それとも手前にあるかを簡単な処理で高速に判定することができる。判定部４１２によって対象画像に適用されるぼけ補正フィルタは二つだけであるので、図５を参照して上述したような、対象画像に多数のぼけ補正フィルタを適用して、被写体までの距離を求める処理よりも計算コストは小さいと云える。

上述したように、制御信号生成部４２は、判定部４１２による被写体が基準距離の手前にあるか、それとも奥にあるかを示す判定結果に基づいて、撮像装置１００や外部機器を制御するための様々な制御信号を生成する。すなわち、判定部４１２は判定結果を含む信号を制御信号生成部４２へ送信し、制御信号生成部４２は、判定部４１２の判定結果に基づいて、撮像装置１００の合焦距離やズームを制御するための制御信号を生成してもよい。

なお、判定部４１２が生成する信号は、例えば撮像画像に関するデータと、撮像画像上の画素に関する判定結果のデータとを含む。撮像画像に関するデータは、例えば画素のＲＧＢ又はＹＵＶで表される色空間に関するデータである。判定部４１２は、例えば、撮像画像に含まれる複数の画素の順序に応じて並べられた、ある画素のＲＧＢ又はＹＵＶの三つの画素値と、当該画素に関する判定結果との組のリストを生成（出力）することができる。この順序は、例えば、撮像画像の左上端の画素から右下端の画素へのラスタ走査の順序である。また、判定部４１２は、この順序に応じて並べられた、判定結果のみのリストのデータを生成してもよいし、撮像画像上と画素の座標と、その画素に関する判定結果との組のリストを生成してもよい。判定部４１２は、上述したように、撮像画像内の指定された処理対象の画素に対して、被写体が基準距離の手前にあるか、それとも奥にあるかを判定し得る。そのため、リストには、画像内の全ての画素に関する判定結果ではなく、画像内の一部の画素に関する判定結果が含まれていてもよい。また、生成されたリストに基づく画像や数値がディスプレイ７０に表示されてもよい。例えば、ディスプレイ７０に表示された撮像画像上に、被写体が基準距離の手前にあるか、それとも奥にあるかを示すポップアップを表示することができる。また、被写体が基準距離の手前にあるか、それとも奥にあるかが識別可能な画像（例えば、基準距離の手前の画素と奥の画素とが色分けされた画像）がディスプレイ７０に表示されるようにしてもよい。

また、例えば、制御信号生成部４２は、フォーカスを合わせたい被写体が合焦距離と異なる位置にあるならば、合焦距離を被写体の位置に変更するための制御信号を生成する。撮像装置１００は、生成された制御信号に応じて、レンズ２０等を制御することによって、合焦距離を手前又は奥に変更する。これにより、被写体に対するオートフォーカスや追尾フォーカスを実現することができる。フォーカスを合わせる位置は、受理部４３から入力されてもよい。

また、例えば、制御信号生成部４２は、被写体が基準距離よりも奥にあるならば、ズームインのための制御信号を生成する。制御信号生成部４２は、被写体が基準距離よりも手前にあるならば、ズームアウトのための制御信号を生成する。撮像装置１００は、生成された制御信号に応じて、ズームレンズであるレンズ２０等を制御することによって、ズームイン又はズームアウトの動作を行う。これにより、画像上の被写体の大きさを一定に保つことができる。なお、ズームイン又はズームアウトの動作後であっても、基準距離は一定に保たれるようにしてもよい。

さらに、制御信号生成部４２は、例えば、撮像装置１００が画像を記録する録画機器である場合、被写体が基準距離よりも手前にあるか、それとも奥にあるかを示す判定結果に基づいて、画像の記録開始、停止、解像度切り替え、及び圧縮率切り替えの内の少なくとも一つに関する制御信号を生成してもよい。この録画機器は、例えば、監視カメラやドライブレコーダー、ドローンに組み込まれたカメラのように、連続して撮影された画像を録画する機能を有する機器である。録画機器である撮像装置１００は、生成された制御信号に従って、画像の記録開始、停止、解像度の切り替え、又は圧縮率の切り替えを行う。これにより、撮像装置１００は、被写体が基準距離よりも手前にいる場合、画像の記録を開始したり、解像度を高くしたり、圧縮率を低くしたりすることができる。これは、例えば、家に設置された監視カメラから基準距離内に人が近付いた時点、ドライブレコーダーのカメラから基準距離内に物体が近付いた事故直前の時点等から、画像の記録を開始したり、解像度を高くしたり、圧縮率を低くしたりすることに利用できる。また、撮像装置１００は、被写体が奥に遠ざかった場合に、画像の記録を停止したり、解像度を低くしたり、圧縮率を高くしたりすることができる。さらに、撮像装置１００は、例えば、上空から地上を撮影する際に、基準距離の奥に被写体がある遠景の画像が記録される場合に、遠くにある被写体の細かい部分を観察できるように、解像度を高くしたり、圧縮率を低くしたりすることもできる。

また、撮像装置１００が画像を記録する録画機器である場合、撮像装置１００は、記録された画像に対応する属性情報を生成するための属性情報生成部４４をさらに含んでいてもよい。属性情報生成部４４は、被写体が基準距離の手前にあるか、それとも奥にあるかを示す判定結果に基づいて、その判定に用いた少なくとも一つの画像に対して属性情報を生成する。属性情報生成部４４は、例えば、手前に近付いた被写体があったシーンに対応する少なくとも一つの画像に対して、属性情報、すなわち、インデックスを生成する。属性情報生成部４４は、画像と属性情報とを関連付けて記録することができる。これにより、ユーザーは、録画された複数の画像又は複数の画像を含む映像を視聴する際に、属性情報が生成されているシーンだけを再生し、他のシーンをスキップできるので、イベントが起こったシーンだけを効率的に視聴することができる。逆に、属性情報が生成されていないシーンだけを再生することで、イベントが起こっていないシーンだけを効率的に視聴することもできる。

次いで、図１７のフローチャートを参照して、撮像装置１００によって実行される判定処理の手順の例を説明する。この判定処理では、被写体１５が合焦距離（合焦位置）よりも手前にあるか、それとも奥にあるかが判定される。

まず、撮像装置１００のＣＰＵ４０は、画像が取得されたか否かを判定する（ステップＳ１１）。画像が取得されていない場合（ステップＳ１１のＮＯ）、ステップＳ１１に戻り、画像が取得されたか否かが再度判定される。

画像が取得された場合（ステップＳ１１のＹＥＳ）、ＣＰＵ４０は、取得された画像に含まれる色成分の内、点対称なぼけが含まれる色成分の画像（例えば、Ｇ画像）を基準画像に設定し、この基準画像から被写体のエッジを検出する（ステップＳ１２）。ＣＰＵ４０は、例えば、基準画像上の注目画素と隣接する画素との画素値の差が閾値以上である場合に、その注目画素をエッジとして検出する。

次いで、ＣＰＵ４０は、取得された画像に含まれる色成分の内、非点対称なぼけが含まれる色成分の画像（例えば、Ｒ画像又はＢ画像）を対象画像に設定し、この対象画像から、ステップＳ１２で検出されたエッジを含むエッジ領域に対応する複数の画素を決定する（ステップＳ１３）。このエッジ領域は、例えば、エッジとして検出された画素と、その左右に位置する数画素とを含む。ＣＰＵ４０は、決定された複数の画素の画素値を用いて、エッジ領域内のぼけの偏りを算出する（ステップＳ１４）。このぼけの偏りは、例えば、エッジ領域内の第１領域の勾配と第２領域の勾配とによって表される。第１領域には、例えば、エッジの左側に位置する画素が含まれ、第２領域には、例えば、エッジの右側に位置する画素が含まれる。その場合、ぼけの偏りは、エッジの左側に位置する画素の画素値に基づいて算出された勾配と、エッジの右側に位置する画素の画素値に基づいて算出された勾配とによって表される。

そして、ＣＰＵ４０は、算出されたぼけの偏りに基づいて、被写体が合焦距離よりも手前にあるか、それとも奥にあるかを決定する（ステップＳ１５）。ＣＰＵ４０は、例えば、算出された第１領域の勾配と第２領域の勾配の大小関係に基づいて、被写体が合焦距離よりも手前にあるか、それとも奥にあるかを決定することができる。

また、図１８のフローチャートは、撮像装置１００によって実行される判定処理の手順の別の例を示す。この判定処理では、被写体１５が基準距離（基準位置）よりも手前にあるか、それとも奥にあるかが判定される。

まず、撮像装置１００のＣＰＵ４０は、画像が取得されたか否かを判定する（ステップＳ２１）。画像が取得されていない場合（ステップＳ２１のＮＯ）、ステップＳ２１に戻り、画像が取得されたか否かが再度判定される。

画像が取得された場合（ステップＳ２１のＹＥＳ）、ＣＰＵ４０は、取得された画像に含まれる色成分の内、点対称なぼけがふくまれる色成分の画像（例えば、Ｇ画像）を基準画像に設定し、非点対称なぼけがふくまれる色成分の画像（例えば、Ｒ画像、Ｂ画像）を対象画像に設定し、対象画像に、被写体が基準距離よりも手前にある場合のぼけを補正するための補正フィルタを適用し、これにより第１補正画像を生成する（ステップＳ２２）。また、ＣＰＵ４０は、その対象画像に、被写体が基準距離よりも奥にある場合のぼけを補正するための補正フィルタを適用し、これにより第２補正画像を生成する（ステップＳ２３）。

そして、ＣＰＵ４０は、第１補正画像と基準画像との第１相関値を算出する（ステップＳ２４）。また、ＣＰＵ４０は、第２補正画像と基準画像との第２相関値を算出する（ステップＳ２５）。

次いで、ＣＰＵ４０は、算出された第１相関値が第２相関値よりも大きいかどうかを判定する（ステップＳ２６）。第１相関値が第２相関値よりも大きい場合（ステップＳ２６のＹＥＳ）、ＣＰＵ４０は、被写体が基準距離よりも手前にあると判定する（ステップＳ２７）。一方、第１相関値が第２相関値以下である場合（ステップＳ２６のＮＯ）、ＣＰＵ４０は、被写体が基準距離よりも奥にあると判定する（ステップＳ２８）。

なお、図１７及び図１８に示した手順は、撮像装置１００とは別の画像処理装置によって実行されるようにしてもよい。この画像処理装置は、例えば、サーバコンピュータとして実現され、撮像装置１００との間でデータや信号を相互に伝送する機能を有する。画像処理装置は、例えば、撮像装置１００によって生成された画像を受け取り、画像を用いて、被写体が基準距離よりも手前にあるか、それとも奥にあるかを判定することができる。

次いで、以上のような構成を有し、被写体が基準距離（基準位置）の手前にあるか、それとも奥にあるかを判定する撮像装置１００が適用されるシステムの例についていくつか説明する。

＜自動ドアシステム＞
図１９は、撮像装置１００を含む自動ドアシステム６００の機能構成を示す。図１９に示すように、自動ドアシステム６００は、撮像装置１００と、駆動機構６０１と、ドア部６０２とを備える。

撮像装置１００内の制御信号生成部４２は、判定部４１２の判定結果に基づいて、ドア部６０２の開閉に関する制御信号を生成し、生成された制御信号を駆動機構６０１に出力する。より具体的には、制御信号生成部４２は、被写体が基準距離よりも手前にあることを示す判定結果に基づいて、ドア部６０２を開いた状態にするための制御信号を生成し、駆動機構６０１に出力する。また、制御信号生成部４２は、被写体が基準距離よりも奥にあることを示す判定結果に基づいて、ドア部６０２を閉じた状態にするための制御信号を生成し、駆動機構６０１に出力する。ドア部６０２が開いた状態にあるときに、被写体が基準距離よりも手前の位置にいる場合には、制御信号生成部４２はドア部６０２を開いたままとする信号を生成して駆動機構６０１に送信してもよい。ドア部６０２が閉じた状態にあるときに、被写体と基準距離との関係に応じて、制御信号生成部４２はドア部６０２を閉じたままとする信号を生成して駆動機構６０１に送信してもよい。被写体が基準距離の奥から手前に移動したときに、制御信号生成部４２はドア部６０２を開くための信号を生成して駆動機構６０１に送信してもよい。被写体が基準距離の手前から奥へ移動したときに、制御信号生成部４２はドア部６０２を開くための信号を生成して駆動機構６０１に送信してもよい。撮像装置１００は、記憶部に被写体と基準距離の関係を記憶することで、被写体の移動を判定することができる。

駆動機構６０１は、例えば、モーターを有し、モーターの駆動をドア部６０２に伝達することによって、ドア部６０２を開閉する。駆動機構６０１は、制御信号生成部４２によって生成された制御信号に基づいて、ドア部６０２が開いた状態又は閉じた状態になるように動作する。

図２０及び図２１は、自動ドアシステム６００の動作例を示す。この自動ドアシステム６００では、ドア部６０２の正面を移動する歩行者等を撮影できる位置である、例えばドア部６０２の上方に、撮像装置１００が設置されている。つまり、撮像装置１００は、ドア部６０２の正面の通路等を俯瞰した画像が取得できるように設置されている。

基準距離は全画素で同じである必要はない。例えば、基準距離によって基準面が構成されてもよい。基準面は、平面でも曲面でも非連続な面でも構わない。例えば、撮像装置１００の判定部４１２は、取得された画像を用いて、被写体である歩行者１０６が基準面１０７よりも手前にいるか、それとも奥にいるかを判定する。基準面１０７は、例えば、ドア部６０２正面の、ドア部６０２から一定の距離に設定される。基準面１０７は、例えばドア部６０２と平行な平面である。基準面１０７とレンズ２０の光軸は、直交してもよいし直交しなくてもよい。ドア部６０２の上方に設置されている撮像装置１００は、歩行者１０６が、基準面１０７よりも手前にいるか、それとも奥にいるかを判定する。

なお、撮像装置１００の受理部４３は、取得される画像上の特定の被写体、特定の領域、又は特定の画素の指定を受け付けてもよい。受理部４３は、例えば、ユーザーによって指定されたドア部６０２の正面にある被写体に含まれる画素を示す情報を受け取る。判定部４１２は、この画素が基準距離よりも手前にあるか、それとも奥にあるかを判定することができる。画像中の一部の画素の判定を行うことで、高速で簡単に判定結果を得ることができる。

図２０に示す例では、撮像装置１００は、歩行者１０６が基準面１０７よりも手前にいると判定する。制御信号生成部４２は、この判定結果に基づいて、ドア部６０２を開いた状態にするための制御信号を生成し、駆動機構６０１に出力する。駆動機構６０１は、制御信号生成部４２から受信した制御信号に基づいて、ドア部６０２が開いた状態になるように動作する。なお、駆動機構６０１は、ドア部６０２が既に開いた状態である場合には、その開いた状態に維持される期間が延長されるようにしてもよい。

また、図２１に示す例では、撮像装置１００は、歩行者１０６が基準面１０７よりも奥にいると判定する。制御信号生成部４２は、この判定結果に基づいて、ドア部６０２を閉じた状態にするための制御信号を生成し、駆動機構６０１に出力する。駆動機構６０１は、制御信号生成部４２から受信した制御信号に基づいて、ドア部６０２が閉じた状態になるように動作する。なお、駆動機構６０１は、ドア部６０２が既に閉じた状態である場合には、その制御信号を破棄し、何等動作を行わなくてもよい。

撮像装置１００の判定部４１２は、連続して撮像された画像を用いて、被写体である歩行者１０６が基準面１０７よりも手前にいるか、それとも奥にいるかを連続的に判定することもできる。判定部４１２は、この連続した判定結果を用いて、歩行者１０６が基準面１０７の手前から奥に移動したこと、又は奥から手前に移動したことを検出することができる。さらに、判定部４１２は、この連続した判定結果を用いて、歩行者１０６が手前又は奥に滞在し続けている時間を検出することもできる。判定部４１２は、このような検出結果を含む信号を制御信号生成部４２に出力し得る。

制御信号生成部４２は、歩行者１０６が基準面１０７の奥から手前に移動したことを示す検出結果に基づいて、ドア部６０２を開いた状態にするための制御信号を生成し、駆動機構６０１に出力してもよい。また、制御信号生成部４２は、歩行者１０６が基準面１０７の手前から奥に移動したことを示す検出結果に基づいて、ドア部６０２を閉じた状態にするための制御信号を生成し、駆動機構６０１に出力してもよい。

さらに、制御信号生成部４２は、歩行者１０６が基準面１０７の手前に滞在し続けている時間を示す検出結果に基づいて、この時間が閾値以上であれば、歩行者１０６がドア部６０２の前に留まっていて、ドア部６０２を通過しないと推定してもよい。その場合、制御信号生成部４２は、ドア部６０２を閉じた状態にするための制御信号を生成し、駆動機構６０１に出力してもよい。

図２２のフローチャートを参照して、撮像装置１００を備える自動ドアシステム６００によって実行される自動ドア制御処理の手順の例を説明する。

まず、撮像装置１００は、ドア部６０２の周辺の画像を生成してもよい（ステップＳ３１）。そして、撮像装置１００は、生成された画像を用いて、被写体（例えば、歩行者）が基準面よりも手前にあるか、それとも奥にあるかを判定するための判定処理を実行する（ステップＳ３２）。

判定処理の結果に基づいて、被写体が基準面よりも手前にある場合（ステップＳ３３のＹＥＳ）、制御信号生成部４２は、自動ドアを開いた状態にするための制御信号を生成する（ステップＳ３４）。一方、被写体が基準面よりも奥にある場合（ステップＳ３３のＮＯ）、制御信号生成部４２は、自動ドアを閉じた状態にするための制御信号を生成する（ステップＳ３５）。そして、制御信号生成部４２は、駆動機構６０１に制御信号を出力する（ステップＳ３６）。

駆動機構６０１は、制御信号生成部４２から制御信号を受信し、受信した制御信号に基づいて、ドア部６０２が開いた状態又は閉じた状態になるように動作する（ステップＳ３７）。つまり、自動ドアを開いた状態にするための制御信号を受信した駆動機構６０１は、撮像装置１００から受信した制御信号に基づいて、ドア部６０２が開いた状態になるように動作する。また、自動ドアを閉じた状態にするための制御信号を受信した駆動機構６０１は、撮像装置１００から受信した制御信号に基づいて、ドア部６０２が閉じた状態になるように動作する。

また、このような自動ドアシステム６００の構成は、自動車のドアの制御にも適用することができる。図２３に示すように、撮像装置１００は、例えば、自動車７００の進行方向の画像を取得できるように、自動車７００の前方を撮影するフロントカメラとして配置される。また、撮像装置１００は、サイドミラーの位置から前方を撮影するカメラとして配置されてもよい。また、撮像装置１００は、自動車７００の後方を撮影するリアカメラとして配置されてもよい。また、自動車７００の後方を撮影するサイドミラー代わりのカメラを撮像装置１００としてもよい。さらに、撮像装置１００は、自動車７００の各ドア７０３から自動車外部を見渡す範囲の画像が取得できるように配置されてもよい。

制御信号生成部４２は、撮像装置１００の判定部４１２から出力される、被写体が基準距離（又は基準面）よりも手前にあるか、それとも奥にあるかの判定結果に基づいて、自動車７００のドア７０３の開閉に関する制御信号を生成する。より具体的には、制御信号生成部４２は、被写体が基準距離よりも手前にあるならば、自動車７００のドア７０３を開かない状態にするための制御信号を生成する。これにより、自動車７００の乗員がたとえドア７０３を開く操作を行ったとしても、ドア７０３は開かないように制御される。そのため、例えば、ドア７０３が開いたことによって、ドア７０３と被写体とが接触するような事故を防ぐことができる。

また、制御信号生成部４２は、被写体が基準距離よりも奥にあるならば、自動車７００のドア７０３を開放可能状態にするための制御信号を生成する。これにより、自動車７００の乗員がドア７０３を開く操作を行った場合、ドア７０３が開くように制御される。つまり、ドア７０３が開いた時にドアと接触する距離に被写体がいない場合には、自動車７００の乗員の操作に従ってドア７０３が開かれる。

＜移動体＞
図２４は、撮像装置１００を含む移動体８００の機能構成例を示す。ここでは、移動体８００が、例えば、無人搬送車（Ａｕｔｏｍａｔｅｄ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ：ＡＧＶ）のような移動ロボット、床を掃除するための掃除ロボット、来場者に各種案内を行うコミュニケーションロボットなど自律的に移動するロボットであることを想定する。移動体８００は、このようなロボットに限らず、移動用の駆動機構を有するものであるならば、図２３に示したような自動車を含む車両、ドローンや飛行機などの飛翔体、船舶等、様々なものとして実現され得る。移動体８００にはさらに、ロボット本体が移動するものだけでなく、ロボットアームのような、ロボットの一部分の移動・回転用の駆動機構を有する産業用ロボットも含まれ得る。さらに、移動体３００は自動ドアであってもよい。

図２４に示すように、移動体８００は、撮像装置１００と駆動機構８０１とを有する。図２５に示すように、撮像装置１００は、例えば、移動体８００又はその一部分の進行方向の被写体を撮像するように設置される。移動体８００の進行方向の被写体を撮像するように設置される形態としては、前方を撮像するいわゆるフロントカメラとして設置され得るほか、バック時に後方を撮像するいわゆるリアカメラとして設置され得る。もちろん、これら両方が設置されてもよい。また、撮像装置１００は、いわゆるドライブレコーダーとしての機能を兼ねて設置されるものであってもよい。すなわち、撮像装置１００は、録画機器であってもよい。なお、移動体８００の一部分の移動及び回転を制御する場合、撮像装置１００は、例えば、ロボットアームで把持される物体を撮像するように、ロボットアームの先端等に設置されてもよい。

撮像装置１００内の制御信号生成部４２は、撮像装置１００から出力される、被写体が基準距離よりも手前にあるか、それとも奥にあるかの判定結果に基づいて、移動体８００の動き、すなわち、移動体８００又はその一部分の加速、減速、揚力の加減、方向転換、通常運転モードと自動運転モード（衝突回避モード）の切り替え、及びエアバック等の安全装置の作動の内の少なくとも一つに関する制御信号を生成する。より具体的には、制御信号生成部４２は、被写体が基準距離よりも手前にあるという判定結果に基づいて、減速、揚力の加減、被写体から遠ざかる方向への方向転換、通常運転モードから自動運転モード（衝突回避モード）への切り替え、及び安全装置の作動の内の少なくとも一つに関する制御信号を生成し得る。また、制御信号生成部４２は、被写体が基準距離よりも奥にあるという判定結果に基づいて、加速、揚力の加減、被写体に近寄る方向への方向転換、及び自動運転モード（衝突回避モード）から通常運転モードへの切り替えの内の少なくとも一つに関する制御信号を生成し得る。制御信号生成部４２は、生成された制御信号を駆動機構８０１に出力する。

駆動機構８０１は、この制御信号に基づいて移動体８００を動作させる。つまり、駆動機構８０１は、制御信号に基づいて、移動体８００又はその一部分によって加速、減速、揚力の加減、方向転換、通常運転モードと自動運転モード（衝突回避モード）の切り替え、及びエアバック等の安全装置の作動の内の少なくとも一つが行われるように動作する。上述したように、撮像装置１００は被写体が基準距離よりも手前にあるか、それとも奥にあるかを高速に判定できるので、このような構成は、リアルタイムでの制御が要求される、例えば、ロボットの移動や自動車の自動運転等に適している。

別の例として、例えば、移動体８００がドローンである場合、上空からのひび割れや電線破断等の点検時に、撮像装置１００は点検対象を撮影した画像を取得し、被写体が基準距離よりも手前にあるか、それとも奥にあるかを判定する。制御信号生成部４２は、この判定結果に基づいて、点検対象との距離が一定になるようにドローンの推力を制御するための制御信号を生成する。ここで、推力には揚力も含まれる。駆動機構８０１が、この制御信号に基づいてドローンを動作させることにより、ドローンを点検対象に並行して飛行させることができる。移動体８００が監視用のドローンである場合、監視対象の被写体との距離を一定に保つようにドローンの推力を制御するための制御信号を生成してもよい。

また、ドローンの飛行時に、撮像装置１００は地面方向を撮影した画像を取得し、地面が基準距離よりも手前にあるか、それとも奥にあるか（すなわち、地面からの高さが基準距離よりも小さいか、それとも大きいか）を判定する。制御信号生成部４２は、この判定結果に基づいて、地面からの高さが指定された高さになるようにドローンの推力を制御するための制御信号を生成する。駆動機構８０１が、この制御信号に基づいてドローンを動作させることにより、ドローンを指定された高さで飛行させることができる。農薬散布用ドローンであれば、ドローンの地面からの高さを一定に保つことで、農薬を均等に散布しやすくなる。

さらに、移動体８００がドローン又は自動車である場合、ドローンの連携飛行や自動車の連隊走行時に、撮像装置１００は、周囲のドローンや前方の自動車を撮影した画像を取得し、そのドローンや自動車が基準距離よりも手前にあるか、それとも奥にあるかを判定する。制御信号生成部４２は、この判定結果に基づいて、その周囲のドローンや前方の自動車との距離が一定になるように、ドローンの推力や自動車の速度を制御するための制御信号を生成する。駆動機構８０１が、この制御信号に基づいてドローンや自動車を動作させることにより、ドローンの連携飛行や自動車の連隊走行を容易に行うことができる。移動体８００が自動車である場合、ドライバーが基準距離を設定できるように、ユーザインタフェースを介してドライバーの指示を受理することで、基準距離を変化させてもよい。これにより、ドライバーが好む車間距離で自動車を走行させられる。あるいは、前方の自動車との安全な車間距離を保つために、自動車の速度に応じて基準距離を変化させてもよい。安全な車間距離は、自動車の速度によって異なる。そこで、自動車の速度が速いほど基準距離を長く設定するとよい。また、移動体８００が自動車である場合に、進行方向の所定の距離を基準距離に設定しておき、その基準距離の手前に被写体が現れた場合にブレーキが自動で作動したり、エアバック等の安全装置が自動で作動する制御信号生成部４２を構成するとよい。この場合、自動ブレーキやエアバック等の安全装置が駆動機構８０１である。

＜監視システム＞
図２６は、撮像装置１００を含む監視システム９００の機能構成を示す。ここでは、監視システム９００が、図２７に示すように、例えば、駐車場における人や車の流れ等を時間帯毎に把握するためのシステムであることを想定する。なお、監視システム９００は、駐車場に限らず、店舗内における人の流れのような、撮像装置１００の撮像範囲内を移動する様々な被写体の監視に用いられ得る。

図２６に示すように、監視システム９００は、撮像装置１００と、監視部９０１と、ユーザインタフェース部９０２とを有する。撮像装置１００と監視部９０１とは、ネットワーク経由で接続されていてもよい。

監視部９０１は、撮像装置１００に連続的に撮像を行わせ、第１に、撮像装置１００により撮像される画像を、ユーザインタフェース部９０２を介して表示する。ユーザインタフェース部９０２は、例えばディスプレイ装置などへの表示処理と、例えばキーボードやポインティングデバイスからの入力処理とを実行する。ディスプレイ装置とポインティングデバイスとは、例えばタッチスクリーンディスプレイなどの一体型のデバイスであってもよい。

また、監視部９０１は、第２に、撮像装置１００から順次出力されてくる、被写体が基準距離よりも手前にあるか、それとも奥にあるかを示す判定結果に基づいて、撮像装置１００の撮像範囲内の状態を監視する。監視部９０１は、例えば、人がある基準距離内に入ったこと、人がある基準距離内から出たこと等の人の流れや、車がある基準距離内に入ったこと、車がある基準距離内から出たこと等の車の流れを解析し、その解析結果を例えばＨＤＤ（Hard Disk Drive）などの記憶装置に記録する。なお、この解析は、必ずしもリアルタイムに実行されるものでなくともよく、記憶装置に蓄積された被写体が基準距離よりも手前にあるか、それとも奥にあるかを示す判定結果を用いるバッチ処理として実行されてもよい。また、監視部９０１は、例えば、人や車が基準距離内に入ったこと、又は人や車が基準距離内から出たことを、ユーザインタフェース部９０２を介して通知するようにしてもよい。

以上説明したように、本実施形態によれば、基準位置に対する被写体の位置を高速に判定することができる。したがって、被写体が基準位置の手前にあるか、それとも奥にあるかを示す判定結果をリアルタイムで得ることができるので、被写体との位置関係が動的に変化する環境において、その環境内の各種の機器を適切に制御するシステムを実現することができる。

また、本実施形態に記載された様々な機能の各々は、回路（処理回路）によって実現されてもよい。処理回路の例には、中央処理装置（ＣＰＵ）のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム（命令群）を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたＣＰＵ以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…撮像装置、１０…フィルタ、２０…レンズ、３０…イメージセンサ、４０…ＣＰＵ、５０…ＲＡＭ、６０…メモリカードスロット、７０…ディスプレイ、８０…通信部、９０…不揮発性メモリ、１１０…バス、１１…第１フィルタ領域、１２…第２フィルタ領域、１３…光学中心、３１…第１センサ、３２…第２センサ、３３…第３センサ、４１…画像処理部、４１１…取得部、４１２…判定部、４２…制御信号生成部、４３…受理部、４４…属性情報生成部。

Claims (17)

1. 非点対称なぼけ関数を有し第１被写体を含む第１色成分の画像と前記第１被写体を含む第２色成分の画像とを取得する取得部と、
   前記第１被写体の３段階以上の分解能の距離を計算することなく、エッジ領域の前記第１色成分の画像の画素値と前記第２色成分の画像の画素値を用いて前記第１色成分のぼけの偏りを判定することにより、撮像位置からみて前記第１被写体が第１位置の手前にあるか奥にあるかを判定する判定部と、
   を具備する処理装置。
2. 非点対称なぼけ関数を有し第１被写体を含む第１色成分の画像と前記第１被写体を含む第２色成分の画像とを取得する取得部と、
   前記第１色成分の画像の画素値の勾配と前記第２色成分の画像の画素値の勾配に基づいて前記第１色成分のぼけの偏りを判定することにより、撮像位置からみて前記第１被写体が第１位置の手前にあるか奥にあるかを判定する判定部と、
   を具備する処理装置。
3. 非点対称なぼけ関数を有し第１被写体を含む第１色成分の画像と前記第１被写体を含む第２色成分の画像とを取得する取得部と、
   前記第１色成分の画像におけるエッジと前記第２色成分の画像におけるエッジの少なくとも一方に基づいて設定された２つの領域に含まれる複数の画素値を用いて前記第１色成分のぼけの偏りを判定することにより、撮像位置からみて前記第１被写体が第１位置の手前にあるか奥にあるかを判定する判定部と、
   を具備する処理装置。
4. 前記判定部は、前記第１色成分の画像のぼけの形状と前記第２色成分の画像のぼけの形状に基づいて、前記第１被写体が前記第１位置の手前にあるか、それとも奥にあるかを判定する請求項１記載の処理装置。
5. 前記判定部による判定結果に基づいて、外部機器を制御するための制御信号を生成し、前記生成された制御信号を前記外部機器に出力する信号生成部をさらに具備する請求項１乃至請求項３のいずれか一項に記載の処理装置。
6. 前記外部機器は、自動ドアであり、
   前記制御信号は、前記自動ドアの開閉に関する制御信号を含む請求項５記載の処理装置。
7. 前記信号生成部は、前記第１被写体が前記第１位置の手前にあると判定された場合、前記自動ドアを開いた状態にするための制御信号を生成し、前記第１被写体が前記第１位置の奥にあると判定された場合、前記自動ドアを閉じた状態にするための制御信号を生成する請求項６記載の処理装置。
8. 前記外部機器は、自動車であり、
   前記制御信号は、前記自動車のドアの開閉に関する制御信号を含む請求項５記載の処理装置。
9. 前記信号生成部は、前記第１被写体が前記第１位置の手前にあると判定された場合、前記ドアが開かない状態にするための制御信号を生成し、前記第１被写体が前記第１位置の奥にあると判定された場合、前記ドアが開く状態にするための制御信号を生成する請求項８記載の処理装置。
10. 前記外部機器は、移動体であり、
    前記制御信号は、前記移動体の加速、減速、揚力の加減、方向転換、通常運転モードと自動運転モードとの切り替え、及び安全装置の作動の内の少なくとも一つに関する制御信号を含む請求項５記載の処理装置。
11. 前記画像上の処理対象の画素を指定する情報を受け取る受理部をさらに具備し、
    前記判定部は、前記処理対象の画素を含む前記第１被写体が撮像位置からみて前記第１位置の手前にあるか奥にあるかを判定する請求項１乃至請求項３のいずれか一項に記載の処理装置。
12. 前記判定部による判定結果に基づいて、イベントを検知し、前記画像に関連付けられる属性情報を生成する属性情報生成部をさらに具備する請求項１乃至請求項３のいずれか一項に記載の処理装置。
13. 請求項１乃至１２のいずれか一項に記載の処理装置と、
    前記画像を撮像する撮像部と、
    を具備する撮像装置。
14. 前記判定部による判定結果に基づいて、前記撮像部の合焦距離を変更するための制御信号を生成する第２信号生成部をさらに具備する請求項１３記載の撮像装置。
15. 前記判定部による判定結果に基づいて、前記第１被写体に対するズームイン又はズームアウトのための制御信号を生成する第２信号生成部をさらに具備する請求項１３記載の撮像装置。
16. 請求項１乃至１２のいずれか一項に記載の処理装置と、
    移動体と、
    前記判定部による判定結果に基づいて前記移動体の動きを制御する制御信号を生成する信号生成部とを備える自動制御システム。
17. 第１色成分の画像と第２色成分の画像とを撮像する撮像部をさらに備える、請求項１６に記載の自動制御システム。

Images