JP6970066B2 - Image processing device and ranging device - Google Patents
Image processing device and ranging device Download PDFInfo
- Publication number
- JP6970066B2 JP6970066B2 JP2018171504A JP2018171504A JP6970066B2 JP 6970066 B2 JP6970066 B2 JP 6970066B2 JP 2018171504 A JP2018171504 A JP 2018171504A JP 2018171504 A JP2018171504 A JP 2018171504A JP 6970066 B2 JP6970066 B2 JP 6970066B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- filter
- unit
- distance
- subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Focusing (AREA)
- Blocking Light For Cameras (AREA)
- Optical Filters (AREA)
- Automatic Focus Adjustment (AREA)
Description
本発明の実施形態は、画像処理装置および測距装置に関する。 Embodiments of the present invention relate to an image processing device and a distance measuring device.
２つのカメラやステレオカメラ（複眼のカメラ）で画像を撮像し、その画像から被写体までの距離を取得する技術が知られている。また近時、１つのカメラ（単眼のカメラ）で撮像された画像から被写体までの距離を取得する技術が提案されている。 There is known a technique of capturing an image with two cameras or a stereo camera (compound eye camera) and acquiring the distance from the image to the subject. Recently, a technique for acquiring a distance from an image captured by one camera (monocular camera) to a subject has been proposed.
１つのカメラで撮像された画像から被写体までの距離を取得する方法として、開口部にカラーフィルタが配置されたカメラを用いる方法がある。 As a method of acquiring the distance from the image captured by one camera to the subject, there is a method of using a camera in which a color filter is arranged in the opening.
カメラは１つ以上のレンズを含むレンズユニットを備え、開口部はそのレンズユニットの内部に位置する。そのため市販のカメラ内の開口部にカラーフィルタを配置することは困難であり、また開口部に一旦配置されたカラーフィルタの向きを変更することも困難である。 The camera comprises a lens unit containing one or more lenses, the aperture of which is located inside the lens unit. Therefore, it is difficult to arrange the color filter in the opening in a commercially available camera, and it is also difficult to change the direction of the color filter once arranged in the opening.
本発明が解決しようとする課題は、被写体までの距離を精度良く算出できる画像処理装置および測距装置を提供することである。 An object to be solved by the present invention is to provide an image processing device and a distance measuring device capable of accurately calculating the distance to a subject.
実施形態によれば、画像処理装置は、取得部と、処理部とを具備する。前記取得部は、第１波長帯域の光を透過する第１フィルタ領域と、第２波長帯域の光を透過する第２フィルタ領域とを備え、前記第１波長帯域と前記第２波長帯域は共通の波長帯域を含むフィルタ部を通過した光を受光するイメージセンサを有する撮像装置を用いて撮像された、キャリブレーションのための第１被写体が撮像された第１画像と、前記第１被写体とは異なる第２被写体が撮像された第２画像とを取得する。前記処理部は、前記イメージセンサを用いて、キャリブレーションのための第１被写体が撮像された第１画像と、第２被写体が撮像された第２画像とを取得し、前記第１画像と前記第２画像とを用いて前記第２被写体までの距離を算出する。 According to the embodiment, the image processing apparatus includes an acquisition unit and a processing unit. The acquisition unit includes a first filter region that transmits light in the first wavelength band and a second filter region that transmits light in the second wavelength band, and the first wavelength band and the second wavelength band are common. The first image in which the first subject for calibration is captured and the first subject is captured by using an image sensor having an image sensor that receives light that has passed through the filter unit including the wavelength band of A second image in which a different second subject is captured is acquired. The processing unit uses the image sensor to acquire a first image in which the first subject for calibration is captured and a second image in which the second subject is captured, and the first image and the above are described. The distance to the second subject is calculated using the second image.
以下、実施の形態について図面を参照して説明する。 Hereinafter, embodiments will be described with reference to the drawings.
（第１実施形態）
まず、図１を参照して、第１実施形態に係る撮像装置を備える測距装置の構成を説明する。この測距装置１は、画像を撮像し、撮像された画像を用いて被写体の位置を実スケールで推定する。推定される被写体の位置は、撮像地点から被写体までの距離（奥行きとも称する）を少なくとも含み、例えば、三次元空間の座標として表される。
(First Embodiment)
First, with reference to FIG. 1, a configuration of a distance measuring device including the image pickup device according to the first embodiment will be described. The distance measuring
この測距装置１は、画像を撮像する撮像部１１と、撮像された画像を処理する画像処理部１２とを備える。測距装置１は、撮像部１１と画像処理部１２とを備える１つの装置として実現されてもよいし、撮像部１１に相当する撮像装置と、画像処理部１２に相当する画像処理装置とのような複数の装置で構成されるシステムとして実現されてもよい。あるいは、撮像装置１１が画像処理部１２をさらに備えていてもよい。撮像部１１は、被写体の画像と当該被写体までの距離に関する情報とを一度の撮影で取得する機能を有する。撮像部１１は、この機能により、例えば撮像時の被写体までの距離情報が符号化された画像を取得する。また、画像処理部１２は、例えば、コンピュータ、または各種電子機器に内蔵される組み込みシステムとして実現され得る。画像処理部１２は、撮像部１１により撮像された１つ以上の画像を用いて、被写体の三次元情報（例えば、被写体の三次元座標、被写体までの距離等）を生成する機能を有している。
The
測距装置１はディスプレイ１３をさらに備えていてもよい。画像処理部１２はディスプレイ１３に映像信号を送出し、ディスプレイ１３はその映像信号に基づく画面画像を表示する。表示される画面画像には、撮像画像が含まれていてもよいし、撮像画像を処理することにより得られた様々な情報が含まれていてもよい。
The distance measuring
図１に示すように、撮像部１１は、フィルタユニット２とレンズユニット（例えばレンズ鏡筒）３とイメージセンサ４１とを備える単眼カメラによって構成され得る。レンズユニット３の一端は、イメージセンサ４１を備えるカメラ本体に対して着脱自在である。フィルタユニット２は、レンズユニット３の他端に対して着脱自在である。撮像部１１は、イメージセンサ４１を備えるカメラ本体にレンズユニット３の一端が直接的にまたは間接的に装着され、レンズユニット３の他端にフィルタユニット２が直接的にまたは間接的に取り付けられて構成されてもよい。
As shown in FIG. 1, the
カメラ本体とレンズユニット３とは、機械的および光学的に結合する嵌合構造であるマウントを備え得る。例えば、カメラ本体側のマウント（レンズマウントとも称する）と、レンズユニット３側のマウント（ボディマウントとも称する）とが対応する形状を有している場合、レンズマウントとボディマウントとを結合することによりカメラ本体にレンズユニット３が装着される。マウントの装着形態には例えばねじ込み式（スクリューマウント）とバヨネット式とがあり、いずれの装着形態であってもよい。
The camera body and the
また例えば、カメラ本体側のレンズマウントとレンズユニット３側のボディマウントとが対応する形状を有していない場合、これら形状を媒介するマウントアダプタを用いてカメラ本体にレンズユニット３の一端が間接的に装着される。つまり、カメラ本体にレンズユニット３の一端が間接的に装着されるとは、例えば、カメラ本体にマウントアダプタが装着され、このマウントアダプタにレンズユニット３の一端が取り付けられることを意味する。
Further, for example, when the lens mount on the camera body side and the body mount on the
また、レンズユニット３の他端にフィルタユニット２が間接的に取り付けられるとは、例えば、レンズユニット３の他端にフィルタユニット２とは別のフィルタが取り付けられ、その別のフィルタにフィルタユニット２が取り付けられることを意味する。
Further, the fact that the
フィルタユニット２は、互いに異なる波長帯域の光（例えば互いに異なる色成分の光）を透過する複数のフィルタ領域を含む光学フィルタ２１（以下、単にフィルタとも称する）を備える。複数の波長帯域の一部は重複していてもよい。フィルタ２１は、例えば２色のカラーフィルタ領域である第１フィルタ領域２１１と第２フィルタ領域２１２とで構成される。例えば、第１フィルタ領域２１１は第１波長帯域の光を透過する。第２フィルタ領域２１２は第２波長帯域の光を透過する。第１波長帯域と第２波長帯域は共通の波長帯域を含む。
レンズユニット３は１つ以上のレンズ３１を備える。
The
The
イメージセンサ４１は、フィルタ２１とレンズ３１とを透過（通過）した光を受光し、受光した光を電気信号に変換（光電変換）する。イメージセンサ４１には、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）が用いられる。イメージセンサ４１は、少なくとも二種類の撮像素子を含み、例えば、赤色（Ｒ）の光を受光する撮像素子を含む第１センサ４１１と、緑色（Ｇ）の光を受光する撮像素子を含む第２センサ４１２と、青色（Ｂ）の光を受光する撮像素子を含む第３センサ４１３とを備える。各撮像素子は、対応する波長帯域の光を受光し、受光した光を電気信号に変換する。この電気信号をＡ／Ｄ変換することによりカラー画像を生成することができる。以下では、画像のＲ成分、Ｇ成分、Ｂ成分である色成分画像（波長成分画像とも称する）を、それぞれＲ画像、Ｇ画像、Ｂ画像とも称する。なお、赤色、緑色、青色の撮像素子毎の電気信号を用いて、Ｒ画像、Ｇ画像、Ｂ画像をそれぞれ生成することもできる。つまり、撮像部１１は、一度の撮像（ワンショット）で、カラー画像、Ｒ画像、Ｇ画像、およびＢ画像の少なくとも１つを生成することができる。
The
次いで図２はフィルタ２１の構成の例を示す。フィルタ２１は互いに異なる光の波長帯域（色成分）を透過する複数のフィルタ領域を有し、２つ以上のフィルタ領域は撮像装置１１（レンズ３１）の光学中心２１３に対して非点対称な形状である。フィルタ２１は、例えば二色のカラーフィルタ領域である第１フィルタ領域２１１と第２フィルタ領域２１２とで構成される。フィルタ２１の中心は撮像装置１１の光学中心２１３と一致している。第１フィルタ領域２１１および第２フィルタ領域２１２はそれぞれ、光学中心２１３に対して非点対称である形状を有している。また例えば、２つのフィルタ領域２１１，２１２は重複せず、且つ２つのフィルタ領域２１１，２１２によってフィルタ２１の全領域を構成している。
Next, FIG. 2 shows an example of the configuration of the
図２に示す例では、第１フィルタ領域２１１および第２フィルタ領域２１２はそれぞれ、円形のフィルタ２１が光学中心２１３を通る線分（境界線とも称する）２１４で分割された半円の形状を有している。第１フィルタ領域２１１はイメージセンサ４１で受光される光の色（例えば赤色（Ｒ）、緑色（Ｇ）、および青色（Ｂ））の内、第１の組み合わせの複数色（例えば赤色および緑色）を透過する。第２フィルタ領域２１２はイメージセンサ４１で受光される光の色の内、第１の組み合わせとは異なる第２の組み合わせの複数色（例えば青色および緑色）を透過する。したがって、第１フィルタ領域２１１と第２フィルタ領域２１２とからなるフィルタ２１の全面は共通の光の色（例えば緑色）を透過する。第１フィルタ領域２１１は、例えばイエロー（Ｙ）のフィルタ領域であり、第２フィルタ領域２１２は、例えばシアン（Ｃ）のフィルタ領域である。なお、第１フィルタ領域２１１がマゼンタ（Ｍ）のフィルタ領域であって、第２フィルタ領域２１２がイエロー（Ｙ）のフィルタ領域であってもよい。さらに、第１フィルタ領域２１１がシアン（Ｃ）のフィルタ領域であって、第２フィルタ領域２１２がマゼンタ（Ｍ）のフィルタ領域であってもよい。
In the example shown in FIG. 2, the
各カラーフィルタが透過する波長帯域は異なる。１つのフィルタ領域が透過する光の波長帯域の一部と、別の１つのカラーフィルタ領域が透過する光の波長帯域の一部は、例えば重複する。１つのカラーフィルタ領域が透過する光の波長帯域は、例えば別の１つのカラーフィルタ領域が透過する光の波長帯域を含んでもよい。 The wavelength band transmitted by each color filter is different. A part of the wavelength band of light transmitted through one filter region and a part of the wavelength band of light transmitted through another color filter region overlap, for example. The wavelength band of light transmitted through one color filter region may include, for example, the wavelength band of light transmitted through another color filter region.
なお、第１フィルタ領域２１１と第２フィルタ領域２１２とは、任意の波長帯域の透過率を変更するフィルタ、任意方向の偏光光を通過させる偏光フィルタ、または任意の波長帯域の集光パワーを変更するマイクロレンズであってもよい。例えば、任意の波長帯域の透過率を変更するフィルタは、原色フィルタ（ＲＧＢ）、補色フィルタ（ＣＭＹ）、色補正フィルタ（ＣＣ−ＲＧＢ／ＣＭＹ）、赤外線・紫外線カットフィルタ、ＮＤフィルタ、または遮蔽板であってもよい。第１フィルタ領域２１１や第２フィルタ領域２１２がマイクロレンズである場合は、レンズにより光線の集光の分布に偏りが生じることでぼけの形状が変化する。
The
以下では説明を分かりやすくするために、図２に示すフィルタ２１において、第１フィルタ領域２１１がイエロー（Ｙ）のフィルタ領域であり、第２フィルタ領域２１２がシアン（Ｃ）のフィルタ領域である場合を主に例示する。
In the following, in order to make the explanation easier to understand, in the
図２に示したフィルタ２１が、例えばカメラの開口部に配置されることにより、開口部が２色で二分割された構造開口であるカラー開口が構成される。このカラー開口を透過する光線に基づいて、イメージセンサ４１は画像を生成する。イメージセンサ４１に入射する光の光路上において、フィルタ２１とイメージセンサ４１との間にレンズ３１が配置されてもよい。イメージセンサ４１に入射する光の光路上において、レンズ３１とイメージセンサ４１との間にフィルタ２１が配置されてもよい。レンズ３１が複数設けられる場合、フィルタ２１は２つのレンズ３１の間に配置されてもよい。
By arranging the
第２センサ４１２に対応する波長帯域の光は、イエローの第１フィルタ領域２１１とシアンの第２フィルタ領域２１２の両方を透過する。第１センサ４１１に対応する波長帯域の光は、イエローの第１フィルタ領域２１１を透過し、シアンの第２フィルタ領域２１２を透過しない。第３センサ４１３に対応する波長帯域の光は、シアンの第２フィルタ領域２１２を透過し、イエローの第１フィルタ領域２１１を透過しない。
Light in the wavelength band corresponding to the
なお、ある波長帯域の光がフィルタまたはフィルタ領域を透過するとは、フィルタまたはフィルタ領域が高い透過率でその波長帯域の光を透過し、そのフィルタまたはフィルタ領域による当該波長帯域の光の減衰（すなわち、光量の低下）が極めて小さいことを意味する。また、ある波長帯域の光がフィルタまたはフィルタ領域を透過しないとは、光がフィルタまたはフィルタ領域に遮蔽されることであり、例えば、フィルタまたはフィルタ領域が低い透過率でその波長帯域の光を透過し、そのフィルタまたはフィルタ領域による当該波長帯域の光の減衰が極めて大きいことを意味する。例えばフィルタまたはフィルタ領域は、ある波長帯域の光を吸収することにより光を減衰させる。 When light in a certain wavelength band passes through a filter or a filter region, the filter or the filter region transmits light in the wavelength band with a high transmittance, and the filter or the filter region attenuates the light in the wavelength band (that is,). , The decrease in the amount of light) is extremely small. Also, the fact that light in a certain wavelength band does not pass through the filter or filter area means that the light is shielded by the filter or filter area, for example, the filter or filter area transmits light in that wavelength band with low transmittance. However, it means that the attenuation of light in the wavelength band by the filter or the filter region is extremely large. For example, a filter or filter region attenuates light by absorbing light in a certain wavelength band.
図３は、第１フィルタ領域２１１および第２フィルタ領域２１２の透過率特性の例を示す。なお、可視光の波長帯域のうち７００ｎｍより長い波長の光に対する透過率は図示を省略してあるが、その透過率は７００ｎｍの場合に近いものである。図３に示すイエローの第１フィルタ領域２１１の透過率特性２１５では、波長帯域が６２０ｎｍから７５０ｎｍ程度のＲ画像に対応する光と、波長帯域が４９５ｎｍから５７０ｎｍ程度のＧ画像に対応する光とが高い透過率で透過され、波長帯域が４５０ｎｍから４９５ｎｍ程度のＢ画像に対応する光がほとんど透過されていない。また、シアンの第２フィルタ領域２１２の透過率特性２１６では、Ｂ画像およびＧ画像に対応する波長帯域の光が高い透過率で透過され、Ｒ画像に対応する波長帯域の光がほとんど透過されていない。
FIG. 3 shows an example of the transmittance characteristics of the
したがって、Ｒ画像（第１センサ４１１）に対応する波長帯域の光はイエローの第１フィルタ領域２１１のみを透過し、Ｂ画像（第３センサ４１３）に対応する波長帯域の光はシアンの第２フィルタ領域２１２のみを透過する。Ｇ画像（第２センサ４１２）に対応する波長帯域の光は、第１フィルタ領域２１１と第２フィルタ領域２１２を透過する。
Therefore, the light in the wavelength band corresponding to the R image (first sensor 411) is transmitted only through the yellow
このようなＲ画像、Ｂ画像およびＧ画像上のぼけの形状は被写体までの距離ｄに応じて、より詳細には距離ｄと合焦距離ｄｆとの差分に応じて変化する。合焦距離ｄｆは、撮像位置から、画像上にぼけが発生しない（すなわちピントが合う）合焦位置までの距離である。また、各フィルタ領域２１１，２１２が光学中心２１３に対して非点対称な形状であるので、Ｒ画像上およびＢ画像上のぼけの形状は、被写体が合焦距離ｄｆよりも手前にあるか、それとも奥にあるかによって異なり、また偏っている。Ｒ画像上およびＢ画像上のぼけの偏りの方向は、撮像位置から見て、被写体が合焦距離ｄｆよりも手前にあるか、それとも奥にあるかによってそれぞれ反転する。
The shape of the blur on the R image, the B image, and the G image changes according to the distance d to the subject, and more specifically according to the difference between the distance d and the focusing distance df. The in-focus distance df is the distance from the imaging position to the in-focus position where blurring does not occur (that is, is in focus) on the image. Further, since each of the
図４を参照して、フィルタ２１を備える撮像部１１における光線変化と撮像画像上のぼけ形状との関係について説明する。
被写体２１０が合焦距離ｄｆよりも奥にある場合（ｄ＞ｄｆ）、イメージセンサ４１によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）は、Ｒ画像、Ｇ画像およびＢ画像でそれぞれ異なっている。例えば、Ｒ画像のぼけ関数２０１Ｒは左側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数２０１Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数２０１Ｂは右側に偏ったぼけの形状を示している。
With reference to FIG. 4, the relationship between the light ray change in the
When the subject 210 is deeper than the focusing distance df (d> df), the image captured by the
また、被写体２１０が合焦距離ｄｆにある場合（ｄ＝ｄｆ）、イメージセンサ４１によって撮像された画像にはほとんどぼけが発生しない。この画像のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像およびＢ画像でほぼ同じである。すなわち、Ｒ画像のぼけ関数２０１Ｒ、Ｇ画像のぼけ関数２０１Ｇ、およびＢ画像のぼけ関数２０１Ｂは、偏りのないぼけの形状を示している。
Further, when the subject 210 is at the focusing distance df (d = df), almost no blur occurs in the image captured by the
また、被写体２１０が合焦距離ｄｆよりも手前にある場合（ｄ＜ｄｆ）、イメージセンサ４１によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像およびＢ画像でそれぞれ異なっている。すなわち、Ｒ画像のぼけ関数２０１Ｒは右側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数２０１Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数２０１Ｂは左側に偏ったぼけの形状を示している。
Further, when the subject 210 is in front of the focusing distance df (d <df), the image captured by the
このように、被写体２１０が合焦距離ｄｆよりも手前または奥にある場合、イエローの第１フィルタ領域２１１を透過した光線に基づくＲ画像のぼけ関数２０１Ｒ，２０３Ｒは非対称であり、またシアンの第２フィルタ領域２１２を透過した光線に基づくＢ画像のぼけ関数２０１Ｂ，２０３Ｂも非対称である。そして、そのＲ画像のぼけ関数２０１Ｒ，２０３Ｒは、Ｂ画像のぼけ関数２０１Ｂ，２０３Ｂとは異なっている。
As described above, when the subject 210 is in front of or behind the focusing distance df, the blur functions 201R and 203R of the R image based on the light rays transmitted through the
図５はこのような画像上のぼけを利用して被写体２１０までの距離を算出（推定）する方法を示す。図５に示す例では、フィルタ２１はイエローの第１フィルタ領域２１１とシアンの第２フィルタ領域２１２とによって構成されている。そのため、Ｒ画像に対応する波長帯域の光が第１フィルタ領域２１１に対応する部分５１Ｒを通過し、Ｇ画像に対応する波長帯域の光が第１フィルタ領域２１１および第２フィルタ領域２１２に対応する部分５１Ｇを通過し、Ｂ画像に対応する波長帯域の光が第２フィルタ領域２１２に対応する部分５１Ｂを通過する。
FIG. 5 shows a method of calculating (estimating) the distance to the subject 210 by using such a blur on the image. In the example shown in FIG. 5, the
このようなフィルタ２１を用いて撮像された画像上にぼけが生じた場合、Ｒ画像、Ｇ画像およびＢ画像上のぼけはそれぞれ異なる形状になる。図５に示すように、Ｇ画像のぼけ関数５２Ｇは左右対称であるぼけの形状を表している。また、Ｒ画像のぼけ関数５２ＲおよびＢ画像のぼけ関数５２Ｂは非点対称であるぼけの形状を表し、ぼけの偏りはそれぞれ異なっている。
When blurring occurs on an image captured by using such a
Ｒ画像のぼけ関数５２ＲおよびＢ画像のぼけ関数５２Ｂには、Ｒ画像およびＢ画像上の非点対称なぼけを左右対称なぼけに補正するためのぼけ補正フィルタ５３，５４が適用され、ぼけ補正フィルタ５３、５４が適用された後のぼけ関数がＧ画像のぼけ関数５２Ｇと一致するかどうかが判定される。ぼけ補正フィルタ５３，５４は複数用意されており、複数のぼけ補正フィルタ５３、５４のそれぞれは、被写体との複数の距離にそれぞれ対応する。あるぼけ補正フィルタ５３，５４が適用されたぼけ関数が、Ｇ画像のぼけ関数５２Ｇと一致した場合には、そのぼけ補正フィルタ５３，５４に対応する距離が、撮影された被写体２１０までの距離に決定される。
Blurring
このぼけ関数が一致しているかどうかの判定には、例えば、ぼけ補正フィルタが適用されたＲ画像またはＢ画像と、Ｇ画像との相関が用いられる。したがって例えば、複数のぼけ補正フィルタから、ぼけ補正フィルタが適用されたぼけ関数とＧ画像のぼけ関数との相関がより高くなるぼけ補正フィルタを探索することで、画像上の各画素に写る被写体までの距離が推定される。 In determining whether or not the blur functions match, for example, the correlation between the R image or the B image to which the blur correction filter is applied and the G image is used. Therefore, for example, by searching for a blur correction filter that has a higher correlation between the blur function to which the blur correction filter is applied and the blur function of the G image, from a plurality of blur correction filters to the subject reflected in each pixel on the image. Distance is estimated.
ぼけ補正フィルタが適用されたＲ画像またはＢ画像と、Ｇ画像との相関を示す相関値には、例えば、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣ（Ｚｅｒｏ−ｍｅａｎ Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ）、Ｃｏｌｏｒ Ａｌｉｇｎｍｅｎｔ Ｍｅａｓｕｒｅ、等が用いられ得る。 Correlation values indicating the correlation between the R image or B image to which the blur correction filter is applied and the G image include, for example, NCC (Normalized Cross-Correlation), ZNCC (Zero-main Normalized Cross-Correlation), and Color Alignment Measurement. , Etc. can be used.
また、あるぼけ補正フィルタ５３，５４が適用されたぼけ関数５５Ｒ，５５Ｂが、Ｇ画像のぼけ関数５２Ｇと一致しているかどうかの判定に、ぼけ補正フィルタが適用されたＲ画像またはＢ画像とＧ画像との相違度が用いられてもよい。この相違度がより低くなる距離を求めることで、被写体までの距離を算出することができる。相違度には、例えば、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、等が用いられ得る。 Further, the R image or B image to which the blur correction filter is applied and G are used to determine whether the blur functions 55R and 55B to which a certain blur correction filters 53 and 54 are applied match the blur function 52G of the G image. The degree of difference from the image may be used. The distance to the subject can be calculated by obtaining the distance at which the degree of difference becomes lower. For the degree of difference, for example, SSD (Sum of Squared Difference), SAD (Sum of Absolute Difference), and the like can be used.
なお、ぼけ補正フィルタ５３が適用されたＲ画像のぼけ関数が、ぼけ補正フィルタ５４が適用されたＢ画像のぼけ関数と一致するかどうかが判定されてもよい。これらぼけ補正フィルタ５３，５４は同一の距離に対応する。ぼけ補正フィルタ５３が適用されたＲ画像のぼけ関数が、ぼけ補正フィルタ５４が適用されたＢ画像のぼけ関数と一致した場合には、それらぼけ補正フィルタ５３，５４に対応する距離が、撮影された被写体２１０までの距離に決定される。
It may be determined whether or not the blur function of the R image to which the
このように、２つの色成分画像上のぼけ（例えば、ぼけ関数、ぼけ形状）の相対的な関係が、被写体までの距離と相関を持つので、画像処理部１２はこの相関関係を予めキャリブレーションして保持することもできる。キャリブレーションにより、一方の色成分画像上のぼけを他方の色成分画像上のぼけに補正するためのぼけ補正量と、被写体までの距離との対応を示すルックアップテーブル（ＬＵＴ）やモデルが作成される。例えば、Ｒ画像またはＢ画像のぼけ関数をＧ画像のぼけ関数と一致させるために用いられるぼけ補正フィルタ５３，５４と被写体までの距離との対応を示すＬＵＴまたはモデルが作成される。なお、ぼけ補正量の代わりに、一方の色成分画像上のぼけと他方の色成分画像上のぼけとの関係を示す、例えばぼけの大きさのような他の値（パラメータ）が用いられてもよい。このＬＵＴまたはモデルを参照することにより、ぼけ補正量を被写体までの距離に変換することができる。
In this way, the relative relationship between the blurs (for example, the blur function and the blur shape) on the two color component images correlates with the distance to the subject, and the
図６のフローチャートは、画像処理部１２によって実行される測距処理の手順の例を示す。測距処理では、撮像部１１により取得された画像を用いて、撮像された時点の撮像部１１の位置から画像に写っている被写体までの距離が算出される。
The flowchart of FIG. 6 shows an example of a procedure of distance measurement processing executed by the
まず、画像処理部１２は、撮像部１１から画像が取得されたか否かを判定する（ステップＳ１１）。画像処理部１２は、例えば撮像部１１によって新たな画像が生成された場合に、撮像部１１から画像が取得されたと判断する。また、画像処理部１２は、撮像部１１によって生成され、ストレージ等に格納された１つ以上の画像から、１つの画像を取得してもよい。撮像部１１から画像が取得されていない場合（ステップＳ１１のＮＯ）、ステップＳ１１に戻り、撮像部１１から画像が取得されたか否かが再度判定される。
First, the
撮像部１１から画像が取得された場合（ステップＳ１１のＹＥＳ）、画像処理部１２は取得された画像内の注目画素を設定する（ステップＳ１２）。注目画素は、例えば画像の左上端の画素から右下端の画素までラスタ走査の順に設定され得る。また、画像上のエッジに対応する画素が注目画素として設定されてもよい。
When an image is acquired from the image pickup unit 11 (YES in step S11), the
次いで画像処理部１２は、あるぼけ補正量に対応するぼけ補正フィルタを取得する（ステップＳ１３）。画像処理部１２は、例えば予め用意された複数のぼけ補正量にそれぞれ対応する複数のぼけ補正フィルタ５３，５４から、１つのぼけ補正フィルタを取得する。画像処理部１２は、取得されたぼけ補正フィルタをＲ画像またはＢ画像内の注目画素を含む第１領域に適用することにより、補正された第１領域を生成する（ステップＳ１４）。第１領域は、例えば注目画素を中心とする特定のサイズの領域である。
Next, the
そして画像処理部１２は、補正された第１領域と、Ｇ画像内の注目画素を含む第２領域とが一致したか否かを判定する（ステップＳ１５）。第２領域は、例えば注目画素を中心とする第１領域と同一のサイズを有する領域である。なお、画像処理部１２は、補正された第１領域と第２領域とが一致したか否かを判定する代わりに、補正された第１領域と第２領域との相関値が第１閾値を超えているか否かを、あるいは補正された第１領域と第２領域との相違度が第２閾値未満であるか否かを判定してもよい。補正された第１領域と第２領域とが一致していない場合（ステップＳ１５のＮＯ）、ステップＳ１３に戻り、別のぼけ補正フィルタを用いた処理が行われる。
Then, the
補正された第１領域と第２領域とが一致した場合（ステップＳ１５のＹＥＳ）、画像処理部１２は、適用されたぼけ補正フィルタに対応するぼけ補正量に基づいて、被写体までの距離を算出する（ステップＳ１６）。この算出には、上述したように、ぼけ補正量と被写体までの距離との対応を示すＬＵＴやモデルが用いられてもよい。
When the corrected first region and the second region match (YES in step S15), the
次いで画像処理部１２は、取得された画像内に、被写体までの距離を算出すべき別の画素があるか否かを判定する（ステップＳ１７）。被写体までの距離を算出すべき別の画素がある場合（ステップＳ１７のＹＥＳ）、ステップＳ１２に戻り、その別の画素に写っている被写体までの距離を算出するための処理が行われる。
Next, the
被写体までの距離を算出すべき別の画素がない場合（ステップＳ１７のＮＯ）、処理を終了する。 If there is no other pixel for which the distance to the subject should be calculated (NO in step S17), the process ends.
以上により、画像処理部１２は、撮像部１１によって取得された画像を用いて、画像内の各画素に写っている被写体までの距離を算出することができる。
As described above, the
ところで、フィルタ２１は、被写体までの距離を精度良く算出するために、理想的にはレンズユニット３内の開口部に設けられることが望ましい。図７に示すように、レンズユニット３内の開口部３Ａの位置は、レンズユニット３内に配置される１つ以上のレンズ３１１，３１２，３１３の各々の光学特性、レンズ３１１，３１２，３１３の配置等に基づく光学設計によって決定される。開口部３Ａは、いずれか２つのレンズ３１１，３１２，３１３の間、レンズユニット３の第１端部３Ｅ−１とレンズ３１１（すなわち第１端部３Ｅ−１に最も近いレンズ）との間、またはレンズユニット３の第２端部３Ｅ−２とレンズ３１３（すなわち第２端部３Ｅ−２に最も近いレンズ）との間に位置する。
By the way, it is desirable that the
フィルタ２１が開口部３Ａに設けられたレンズユニットを利用するには、例えば、開口部３Ａにフィルタ２１が組み込まれた特殊なレンズユニットを製造するか、あるいは市販のレンズユニットを分解し、開口部３Ａにフィルタ２１を挿入し、レンズユニットを組み立てなおして改造する必要がある。このような方法は汎用性に乏しく、一般的なユーザが、開口部３Ａにフィルタ２１が設けられたレンズユニットを利用することは困難である。
To utilize a lens unit in which the
また、被写体のエッジがフィルタ２１内の第１フィルタ領域２１１と第２フィルタ領域２１２との境界線２１４と直交する場合（例えば撮像されるシーンが境界線２１４に直交するエッジを多く含む場合）、被写体までの距離に応じたぼけを含む画像が得られず、画像から被写体までの距離を算出する測距性能が劣化する。このような場合には、被写体のエッジと、第１フィルタ領域２１１と第２フィルタ領域２１２との境界線２１４とが直交しないように、フィルタ２１の向きを変更すること（すなわちフィルタ２１を回転させること）により、被写体までの距離を精度良く算出可能な画像を取得できる。
Further, when the edge of the subject is orthogonal to the
さらに、開口部３Ａに配置されたフィルタ２１の向きは振動等で意図しない向きにずれることがある。しかし、レンズユニット３内部の開口部３Ａに配置されたフィルタ２１の向きを変更することは、ユーザにとって非常に困難な作業である。
Further, the direction of the
そのため本実施形態では、フィルタ２１がレンズユニット３の外部に設けられる。フィルタ２１は、開口部３Ａから距離Ｄ１だけ離間した、レンズユニット３の外部の位置に設けられる。フィルタ２１から開口部３Ａまでの距離Ｄ１は、フィルタ２１を含むフィルタユニット２が取り付けられるレンズユニット３の第１端部３Ｅ−１から開口部３Ａまでの距離Ｄ２よりも長い。これにより、種々のレンズユニット３（あるいはレンズユニット３を備えるカメラ）に対して、レンズユニット３の構造を変更することなく、フィルタ２１を備えるフィルタユニット２を容易に取り付けられる。またユーザが容易に操作できるレンズユニット３の外部にフィルタユニット２が設けられるので、被写体上のエッジ等に応じてフィルタ２１の向きも容易に調節できる。
Therefore, in the present embodiment, the
図８は本実施形態に係る撮像装置１１の構造の例を示す。撮像装置１１は、フィルタ２１を備えるフィルタユニット２と、１つ以上のレンズ３１を備えるレンズユニット３と、イメージセンサ４１を備えるカメラ本体４とから構成される。フィルタユニット２およびレンズユニット３は、例えば円筒形状を有する。撮像装置１１は、カメラ本体４に画像処理部１２が設けられた測距装置１であってもよい。また、カメラ本体４にディスプレイ１３が組み込まれていてもよい。以下では説明を分かりやすくするために、撮像装置１１において、カメラ本体４からフィルタユニット２への向きを前方と称し、フィルタユニット２からカメラ本体４への向きを後方と称する。
FIG. 8 shows an example of the structure of the
カメラ本体４の正面には、レンズユニット３を装着するためのレンズマウント４２が設けられている。レンズマウント４２には、レンズユニット３の第２端部３Ｅ−２に設けられるボディマウント（図示せず）が結合される。これによりレンズユニット３がカメラ本体４に装着される。ここではレンズユニット３が交換レンズである例を示したが、レンズユニット３は、コンパクトデジタルカメラ、スマートフォンまたはタブレットＰＣに設けられるカメラ等のように、カメラ本体４に固定され一体化されていてもよい。
A
レンズユニット３の第１端部３Ｅ−１には、フィルタユニット２を取り付けるためのネジ部３２が設けられている。ネジ部３２は、一般的なレンズユニット３（交換レンズ）において、レンズ３１を保護するためのプロテクタや各種のフィルタ（例えばＵＶカットフィルタ、偏光フィルタ等）を取り付けるために設けられているものであってもよい。
The
フィルタユニット２はフィルタ２１を保持するフィルタ枠２２と、フィルタ枠２２に連結する取り付け部２３とを備える。フィルタ枠２２は、例えば円形のフィルタ２１を保持するために円筒形状を有する。取り付け部２３はフィルタ枠２２の少なくとも一部を囲み、支持する円筒形状を有する。
The
また取り付け部２３は、レンズユニット３の第１端部３Ｅ−１に着脱可能に取り付けられる。取り付け部２３は、フィルタユニット２をレンズユニット３の第１端部３Ｅ−１に取り付けるためのネジ部２３１を備える。ネジ部２３１をレンズユニット３のネジ部３２に螺合させることにより、フィルタユニット２がレンズユニット３に取り付けられる。この取り付けにより、取り付け部２３がレンズユニット３に対して固定される。
Further, the
なお、レンズユニット３に取り付けられた別のフィルタ等に設けられるネジ部３２に、フィルタユニット２のネジ部２３１が螺合されてもよい。すなわちその別のフィルタ等を挟んで、フィルタユニット２がレンズユニット３に取り付けられてもよい。フィルタユニット２のネジ部２３１は、対応するネジ部３２を有する他の円筒形状の対象への取り付けを可能とするものである。
The
フィルタ枠２２は光軸１５を中心として（すなわち光学中心２１３に対して）回転自在である構造を有する。つまりフィルタ枠２２は、光軸１５を中心として回転することによりフィルタ２１の向き（すなわち回転方向の角度）を調節できる調節機構を有する。したがってユーザは、フィルタ枠２２を回転させる操作を行うことで、フィルタ２１の向きを被写体上のエッジ等に応じて適切に変更できる。フィルタ２１の向きは、例えばフィルタ２１内の第１フィルタ領域２１１と第２フィルタ領域２１２との境界線２１４の方向で特定される。以下ではこの境界線２１４の方向をフィルタ２１の向きとも称する。
The
また図９に示すように、フィルタ枠２２は取り付け部２３の側面を貫通するネジ２３２を固定部として用いて、取り付け部２３に対して固定される。ネジ２３２が締め付けられた場合、フィルタ枠２２が取り付け部２３に対して固定される。一方、ネジ２３２が緩められた場合、フィルタ枠２２は回転自在になる。ネジ２３２には、例えばネジ頭部がネジ部と同じ大きさである止めネジが用いられる。
Further, as shown in FIG. 9, the
あるいは図１０に示すように、フィルタ枠２２はロックリング２５と、取り付け部２３に設けられる締め付け部２４１，２４３とを固定部として用いて、取り付け部２３に対して固定されてもよい。２つの締め付け部２４１，２４３は、例えばフィルタ枠２２を上方と下方から挟み込むように設けられる。締め付け部２４１の基端部２４１Ａは取り付け部２３の上部に支持（固定）され、基端部２４１Ａからフィルタ枠２２に接触する先端部２４１Ｂに亘って連続的に延出されている。また、締め付け部２４３の基端部２４３Ａは取り付け部２３の下部に支持（固定）され、基端部２４３Ａからフィルタ枠２２に接触する先端部２４３Ｂに亘って連続的に延出されている。
Alternatively, as shown in FIG. 10, the
各先端部２４１Ｂ，２４３Ｂには、光軸１５に対して外側に、ネジ状の刻みを有するテーパ２４２，２４４が設けられている。同様のネジ状の刻みを内側に有するロックリング２５がテーパ２４２，２４４のネジ状の刻みに対してねじ込まれることにより、フィルタ枠２２が取り付け部２３に対して固定される。一方、ロックリング２５が緩められた場合、フィルタ枠２２は回転自在になる。
Each of the
フィルタ枠２２を取り付け部２３に対して固定するための機構（固定部）は、上述した構成に限られず、例えばフィルタ枠２２と取り付け部２３との間の摩擦力で簡易的に固定される機構であってもよいし、あるいはフィルタ枠２２が取り付け部２３に圧入されることによって固定力を得る機構であってもよい。つまりフィルタ枠２２は、取り付け部２３との摩擦力により、または取り付け部２３に対する圧入により、取り付け部２３に対する位置が保持され得る。
The mechanism (fixing portion) for fixing the
フィルタユニット２には、フィルタ枠２２が取り付け部２３に対して固定された後に、取り付け部２３に対するフィルタ枠２２の位置を調整する機構がさらに設けられていてもよい。この機構は、例えば図９に示した例と同様に、取り付け部２３の側面を貫通してフィルタ枠２２に接触し得る微調整用のネジである。微調整用のネジは、取り付け部２３に対するフィルタ枠２２の位置を、例えば水平方向と垂直方向に調整（シフト）できるように複数設けられ得る。これにより微調整用のネジを締め付けるか、あるいは緩めることにより、取り付け部２３に対するフィルタ枠２２の位置を調整できる。
The
次いで図１１は、撮像装置１１がレンズフード８を取り付けるための構造をさらに有する例を示す。レンズフード８はその一端にネジ部８１を有している。レンズフード８には、円筒形状以外のレンズフード（例えば花形のレンズフード）のように、取り付けられるべき向きを有するものがある。
Next, FIG. 11 shows an example in which the
フィルタ枠２２には、その前方に、レンズフード８を取り付けるためのレンズフード枠２９がさらに設けられる。レンズフード枠２９の前方の端部には、例えばその内側に、レンズフード８が着脱自在に取り付けられるネジ部２９１（取り付け部）が設けられる。このネジ部２９１にレンズフード８のネジ部８１を螺合させることにより、レンズフード８がレンズフード枠２９に取り付けられる。
The
レンズフード枠２９は光軸１５を中心として（すなわち光学中心２１３に対して）摺動可能（回転自在）である構造を有する。つまりレンズフード枠２９は、光軸１５を中心として回転することによりレンズフード８の向きを調整できる構造を有する。したがってユーザは、レンズフード枠２９を回転させる操作を行うことで、レンズフード８の向きを適切に変更できる。
The
以上の構成により、撮像装置１１においてフィルタ２１が容易に取り付けられる。フィルタ２１は、第１波長帯域の光を透過する第１フィルタ領域２１１と、第２波長帯域の光を透過する第２フィルタ領域２１２とを備える。第１波長帯域と第２波長帯域は共通の波長帯域を含む。フィルタ枠２２は、フィルタ２１を保持する。取り付け部２３は、フィルタ枠２２に連結し、レンズユニット３の第１端部３Ｅ−１に着脱可能に取り付けられる。取り付け部２３がレンズユニット３の第１端部３Ｅ−１に取り付けられた場合、フィルタ２１からレンズユニット３内の開口部３Ａまでの距離は、第１端部３Ｅ−１から開口部３Ａまでの距離よりも長い。
With the above configuration, the
このように、フィルタ枠２２に連結する取り付け部２３はレンズユニット３の第１端部３Ｅ−１に取り付けられ、着脱自在である。したがって撮像装置１１において、フィルタ２１が容易に取り付けられると共に、フィルタ２１の向きも容易に変更できる。
In this way, the
ところで画像処理部１２は、図５および図６を参照して上述したように、ある特定の方向（例えば、水平方向、垂直方向等）にぼけの偏りが生じることを前提としたぼけ補正フィルタを用いて、画像に写った被写体までの距離を算出する。フィルタ２１の向きが想定された方向からずれることは画像処理部１２における測距性能を劣化させ得る。測距性能を高めるためには、撮像時のフィルタ２１の向きを、前提としている画像上に生じるぼけの偏りの方向に対応するように設定すること、すなわちフィルタ２１の向きを、前提としている画像上に生じるぼけの偏りの方向に直交するように設定することが必要である。
By the way, as described above with reference to FIGS. 5 and 6, the
例えばＲ画像およびＢ画像上に生じるぼけの偏りが水平方向であることを前提としたぼけ補正フィルタが用意されている場合、フィルタ２１の向き（より詳しくはフィルタ２１内の境界線２１４の向き）を垂直方向に設定しておくことで、その意図された水平方向のぼけの偏りが発生した画像を取得できる。また例えばＲ画像およびＢ画像上に生じるぼけの偏りが垂直方向であることを前提としたぼけ補正フィルタが用意されている場合、フィルタ２１（境界線２１４）の向きを水平方向に設定しておくことで、その意図された垂直方向のぼけの偏りが発生した画像を取得できる。
For example, when a blur correction filter is prepared on the premise that the blur bias generated on the R image and the B image is in the horizontal direction, the orientation of the filter 21 (more specifically, the orientation of the
しかしユーザによる手動の作業では、フィルタ２１の向きを、前提としている画像上に生じるぼけの偏りの方向に対応するように正確に設定することが困難であり得る。
However, by manual work by the user, it may be difficult to accurately set the orientation of the
そのため本実施形態では、画像処理部１２がフィルタ２１の向きに関する補正のための機能を有する。画像処理部１２は上述した撮像装置１１を用いて、キャリブレーションのための第１被写体（例えばキャリブレーションチャート）が撮像された第１画像と、測距対象の第２被写体が撮像された第２画像とを取得する。そして画像処理部１２は、これら第１画像と第２画像とを用いて第２被写体までの距離を算出する。画像処理部１２は、第１画像を用いてフィルタ２１の向きを算出し、そのフィルタ２１の向きと第２画像とを用いて第２被写体までの距離を算出できる。例えば算出されたフィルタ２１の向きに基づいて第２画像が補正され、補正された第２画像からぼけ補正フィルタ５３，５４を用いて第２被写体までの距離が算出される。
Therefore, in the present embodiment, the
図１２は画像処理部１２の機能構成の例を示す。画像処理部１２は、取得部１２１、キャリブレーション処理部１２２、補正部１２３、および距離算出部１２４を備える。
FIG. 12 shows an example of the functional configuration of the
取得部１２１は撮像装置１１を用いて画像を取得する。取得部１２１は、撮像装置１１内のイメージセンサによって送出された信号を用いて画像を生成してもよい。あるいは取得部１２１は、撮像装置１１によって生成され、ストレージ（メモリ）等に保存された画像を取得してもよい。取得部１２１は、例えばキャリブレーションのための第１被写体が撮像された第１画像を取得する。第１被写体は例えばキャリブレーションチャートである。また取得部１２１は例えば第１画像が取得された後に、測距対象の第２被写体が撮像された第２画像を取得する。第２被写体は複数であってもよい。
The
なお、取得された第２画像をストレージ等に保存しておいて、第１画像が取得されてもよい。つまり、保存されている第２画像とその後に取得された第１画像とを用いて、第２画像に撮像された被写体までの距離が算出されてもよい。この場合、第２画像の撮像時と第１画像の撮像時とで撮像装置１１に設けられるフィルタ２１の向きは変更されないものとする。
The acquired second image may be stored in a storage or the like, and the first image may be acquired. That is, the distance to the subject captured in the second image may be calculated using the stored second image and the first image acquired thereafter. In this case, the orientation of the
図１３はキャリブレーションチャート６の例を示す。キャリブレーションチャート６は例えば撮像対象となる平面を有するボード（例えば平板）であって、その平面上に１つ以上の円形または多角形の要素６１を含む。キャリブレーションチャート６に複数の要素６１が含まれる場合、それら複数の要素６１は等間隔で配置される。
FIG. 13 shows an example of the
またキャリブレーションチャート６において、要素６１の部分とそれ以外の背景部分６２とが高いコントラストを有するように、各部分の色が設定されることが望ましい。例えば要素６１を黒に、背景部分６２を白に設定する。また例えば要素６１を白に、背景部分６２を黒に設定する。
Further, in the
図１３に示す例では、キャリブレーションチャート６は、白い背景部分６２と、黒い円形である８１個（＝９×９）の要素６１とで構成されている。各要素６１は、隣り合う要素６１との間隔がＸｃｍである二次元のマトリクス状に配置されている。
In the example shown in FIG. 13, the
図１４は、フィルタ２１を備える撮像装置１１を用いて、キャリブレーションチャート６の一部が撮像された第１画像７１の例を示す。第１画像７１上には、撮像時における撮像装置１１からキャリブレーションチャート６までの距離に応じたぼけが発生している。また、撮像時のフィルタ２１の向きに対応する方向にぼけの偏りが生じている。
FIG. 14 shows an example of the
ここでは一例として、被写体までの距離を算出するために、画像上の水平方向にぼけの偏りが発生すること、すなわちフィルタ２１内の境界線２１４の方向が垂直方向であることを前提としたぼけ補正フィルタが用いられる場合について説明する。
Here, as an example, in order to calculate the distance to the subject, it is assumed that a blur is generated in the horizontal direction on the image, that is, the direction of the
キャリブレーションチャート６上のある要素６１を撮像して得られた、第１画像７１上の要素７１１には、水平方向ではない方向にぼけの偏りが生じている。つまり、第１画像７１において、要素７１１のＧ成分７１１Ｇに対して水平方向に、要素７１１のＲ成分７１１ＲおよびＢ成分７１１Ｂが位置していない。Ｒ成分７１１ＲはＧ成分７１１Ｇの右斜め上側にずれ、Ｂ成分７１１ＢはＧ成分７１１Ｇの左斜め下側にずれている。もし要素７１１に水平方向のぼけの偏りが生じているならば、Ｒ成分７１１ＲはＧ成分７１１Ｇに対して水平に右側にずれ、Ｂ成分７１１ＢはＧ成分７１１Ｇに対して水平に左側にずれる。したがって、第１画像７１を撮像した時点におけるフィルタ２１内の境界線２１４の方向は垂直方向ではなかったと云える。
The
図１５に示すように、キャリブレーション処理部１２２、補正部１２３、および距離算出部１２４は、キャリブレーションチャート６（すなわち第１被写体）が撮像された第１画像７１と、測距対象の第２被写体が撮像された第２画像７７とを用いて第２被写体までの距離を算出する。
As shown in FIG. 15, the
より具体的には、まずキャリブレーション処理部１２２は、第１画像７１を用いて撮像時のフィルタ２１の向き（より詳しくはフィルタ２１内の境界線２１４の方向）２１Ｄを算出する。図１６を参照して、第１画像７１上の要素７１１から、第１画像７１が撮像された時点におけるフィルタ２１内の境界線２１４の方向が算出される例を説明する。
More specifically, first, the
キャリブレーション処理部１２２は、要素７１１のＲ成分７１１Ｒの重心７２ＲとＢ成分７１１Ｂの重心７２Ｂとをそれぞれ算出する。キャリブレーション処理部１２２は、重心７２Ｒと重心７２Ｂとをつなぐ線分の方向を、第１画像７１上のぼけの偏りの方向７１Ｄとして決定する。このぼけの偏りの方向７１Ｄは、第１画像７１上の垂直方向７１Ｖに対して角度θｂを有している。また、ぼけの偏りの方向７１Ｄとフィルタ２１内の境界線２１４の方向２１Ｄとは直交するので、フィルタ２１内の境界線２１４の方向２１Ｄは、第１画像７１上の垂直方向７１Ｖに対して角度（９０°−θｂ）を有している。キャリブレーション処理部１２２は、ぼけの偏りの方向７１Ｄを示す角度θｂと、フィルタ２１内の境界線２１４の方向２１Ｄを示す角度（９０°−θｂ）とを算出する。
The
なお、フィルタ２１が３つ以上のフィルタ領域で構成される場合、キャリブレーション処理部１２２は、第１画像７１を用いて、フィルタ２１の向き２１Ｄとして、いずれか２つのフィルタ領域の境界線の方向を算出してもよいし、フィルタ２１内の複数の境界線の方向をそれぞれ算出してもよい。
When the
図１５に戻り、補正部１２３は、フィルタ２１の境界線２１４の方向２１Ｄに基づいて第２画像７７を補正することにより、補正された第２画像７８を生成する。図１５に示す例では、補正部１２３は第２画像７７を、フィルタ２１の境界線２１４の方向２１Ｄを示す角度（９０°−θｂ）だけ時計回りに回転させることにより、補正された第２画像７８を生成する。これにより第２画像７７上の被写体７７Ａに生じているぼけの偏りの方向は、補正された第２画像７８上の被写体７８Ａでは、前提とされているぼけの偏りの方向（例えば水平方向）に補正される。
Returning to FIG. 15, the
そして距離算出部１２４は、補正された第２画像７８を用いて第２被写体までの距離を算出する。距離算出部１２４は、例えば予め用意された複数のぼけ補正量にそれぞれ対応する複数のぼけ補正フィルタ５３，５４と補正された第２画像７８とを用いて第２被写体までの距離を算出する。距離を算出する具体的な方法については、図５および図６を参照して上述した通りである。以上により、フィルタ２１の向き２１Ｄが、前提とされているぼけの偏りの方向に対応していない場合にも、第２画像７８上の被写体までの距離を精度良く算出することができる。
Then, the
なお、画像処理部１２は通知部１２５をさらに備えていてもよい。通知部１２５は、キャリブレーション処理部１２２によって算出されたフィルタ２１の向き２１Ｄ（例えば角度（９０°−θｂ））をユーザに通知する。ユーザは、この通知に応じてフィルタ２１を保持するフィルタ枠２２を回転させることにより、フィルタ２１の向き２１Ｄを、前提としている画像上に生じるぼけの偏りの方向に対応するように調整すること、すなわちフィルタ２１の向き２１Ｄが、前提としている画像上に生じるぼけの偏りの方向に直交するように調整することもできる。この場合、補正部１２３による第２画像７７の補正は必要なく、距離算出部１２４は、撮像装置１１で取得された第２画像７７上の被写体までの距離を、予め用意された複数のぼけ補正量にそれぞれ対応する複数のぼけ補正フィルタ５３，５４を用いて容易に算出できる。
The
図１７のフローチャートは、画像処理部（あるいは画像処理装置）１２によって実行されるキャリブレーション処理の手順の例を示す。 The flowchart of FIG. 17 shows an example of a procedure of calibration processing executed by the image processing unit (or image processing apparatus) 12.
まず画像処理部１２は、キャリブレーションチャート６が撮像された第１画像７１を取得する（ステップＳ２１）。画像処理部１２は、第１画像７１に写ったキャリブレーションチャート６内のある要素７１１のＲ成分７１１Ｒの重心７２ＲとＢ成分７１１Ｂの重心７２Ｂとを算出する（ステップＳ２２）。そして、画像処理部１２は、第１画像７１上の垂直方向７１Ｖに対して、Ｒ成分７１１Ｒの重心７２ＲとＢ成分７１１Ｂの重心７２Ｂとをつなぐ線分がなす角度θｂを算出する（ステップＳ２３）。角度θｂは、第１画像７１上のぼけの偏りの方向７１Ｄを示す。ぼけの偏りの方向７１Ｄとフィルタ２１内の境界線２１４の方向とは直交するので、画像処理部１２は、フィルタ２１の向き（フィルタ２１内の境界線２１４の方向）２１Ｄを示す角度（９０°−θｂ）を算出できる。
First, the
また画像処理部１２は、フィルタ２１の向き２１Ｄをユーザに通知してもよい（ステップＳ２４）。画像処理部１２は、例えばディスプレイ１３の画面にフィルタ２１の向き２１Ｄを示す角度（９０°−θｂ）を表示する。
Further, the
また図１８のフローチャートは、画像処理部１２によって実行される、フィルタの向きに関する補正機能を有する測距処理の手順の例を示す。測距処理では、撮像装置１１により取得された第２画像７７を用いて、撮像された時点の撮像装置１１の位置から第２画像７７に写っている第２被写体までの距離が算出される。ここでは、この測距処理が実行される前に図１７に示したキャリブレーション処理の実行が完了し、且つ第１画像７１と第２画像７７とで撮像時のフィルタ２１の向き２１Ｄが変更されていないことを想定する。
Further, the flowchart of FIG. 18 shows an example of a procedure of distance measurement processing having a correction function regarding the direction of the filter, which is executed by the
まず画像処理部１２は、撮像装置１１を用いて第２画像７７が取得されたか否かを判定する（ステップＳ３１）。第２画像７７が取得されていない場合（ステップＳ３１のＮＯ）、ステップＳ３１に戻り、撮像装置１１を用いて第２画像７７が取得されたか否かが再度判定される。
First, the
第２画像７７が取得された場合（ステップＳ３１のＹＥＳ）、画像処理部１２は、撮像時のフィルタ２１の向き２１Ｄを示す角度（９０°−θｂ）に基づいて第２画像７７を回転した補正画像７８を生成する（ステップＳ３２）。これにより、第２画像７７上のぼけの偏りの方向７１Ｄが水平方向に補正される。
When the
画像処理部１２は取得された補正画像７８内の注目画素を設定する（ステップＳ３３）。注目画素は、例えば補正画像７８の左上端の画素から右下端の画素までラスタ走査の順に設定され得る。また、補正画像７８上のエッジに対応する画素が注目画素として設定されてもよい。
The
次いで画像処理部１２は、あるぼけ補正量に対応するぼけ補正フィルタを取得する（ステップＳ３４）。画像処理部１２は、例えば予め用意された複数のぼけ補正量にそれぞれ対応する複数のぼけ補正フィルタから、１つのぼけ補正フィルタを取得する。画像処理部１２は、取得されたぼけ補正フィルタを、補正画像７８のＲ成分の画像（以下Ｒ画像と称する）またはＢ成分の画像（以下Ｂ画像と称する）内の注目画素を含む第１領域に適用することにより、補正された第１領域を生成する（ステップＳ３５）。第１領域は、例えば注目画素を中心とする特定のサイズの領域である。
Next, the
そして画像処理部１２は、補正された第１領域と、補正画像７８のＧ成分の画像（以下Ｇ画像と称する）内の注目画素を含む第２領域とが一致したか否かを判定する（ステップＳ３６）。第２領域は、例えば注目画素を中心とする第１領域と同一のサイズを有する領域である。なお、画像処理部１２は、補正された第１領域と第２領域とが一致したか否かを判定する代わりに、補正された第１領域と第２領域との相関値が第１閾値を超えているか否かを、あるいは補正された第１領域と第２領域との相違度が第２閾値未満であるか否かを判定してもよい。補正された第１領域と第２領域とが一致していない場合（ステップＳ３６のＮＯ）、ステップＳ３４に戻り、別のぼけ補正フィルタを用いた処理が行われる。
Then, the
補正された第１領域と第２領域とが一致した場合（ステップＳ３６のＹＥＳ）、画像処理部１２は、適用されたぼけ補正フィルタに対応するぼけ補正量に基づいて、被写体までの距離を算出する（ステップＳ３７）。この算出には、上述したように、ぼけ補正量と被写体までの距離との対応を示すＬＵＴやモデルが用いられてもよい。
When the corrected first region and the second region match (YES in step S36), the
次いで画像処理部１２は、補正画像７８内に、被写体までの距離を算出すべき別の画素があるか否かを判定する（ステップＳ３８）。被写体までの距離を算出すべき別の画素がある場合（ステップＳ３８のＹＥＳ）、ステップＳ３３に戻り、その別の画素に写っている被写体までの距離を算出するための処理が行われる。
Next, the
被写体までの距離を算出すべき別の画素がない場合（ステップＳ３８のＮＯ）、処理を終了する。 If there is no other pixel for which the distance to the subject should be calculated (NO in step S38), the process ends.
以上により、画像処理部１２は、キャリブレーション処理で取得されたフィルタ２１の向き２１Ｄと撮像装置１１によって取得された第２画像７７とを用いて、第２画像７７内の各画素に写っている被写体までの距離を算出することができる。
As described above, the
なお図１９に示すように、補正画像７８を生成することなく、第２画像７７内の各画素に写っている被写体までの距離を算出することもできる。図１９に示す例では、補正部１２３は、第１画像７１を用いて算出されたフィルタ２１の向き２１Ｄに応じて変更されたぼけ補正フィルタ５６，５７を算出する。画像処理部１２は、例えば予め用意された複数のぼけ補正量にそれぞれ対応する複数のぼけ補正フィルタ５３，５４をフィルタ２１の向き２１Ｄに応じて変更することにより、ぼけ補正フィルタ５６，５７を算出する。
As shown in FIG. 19, it is also possible to calculate the distance to the subject reflected in each pixel in the
距離算出部１２４は、この変更されたぼけ補正フィルタ５６，５７と第２画像７７とを用いて第２被写体までの距離を算出する。距離を算出する具体的な方法は、図５および図６を参照して上述した方法と同様である。
The
また図２０に示すように、キャリブレーション処理部１２２は、キャリブレーションチャート６を撮像した第１画像７１を用いて撮像装置１１の画角（有効画角とも称する）を算出することもできる。図２０では説明を分かりやすくするために、ぼけが発生していない第１画像７１Ａを例示している。またここでは、キャリブレーションチャート６上の隣り合う要素間の距離が２ｃｍであり、且つキャリブレーションチャート６が撮像装置１１の位置から３０ｃｍ離れた位置に設置されていることを想定する。
Further, as shown in FIG. 20, the
第１画像７１Ａには、実空間の高さ１０ｃｍ（＝２×５）、幅１４ｃｍ（＝２×７）の領域が撮像されている。この場合、水平方向の画角および垂直方向の画角は以下のように算出される。
水平画角θｈ＝２×ａｔａｎ（１４／３０／２）＝２６．３°
垂直画角θｖ＝２×ａｔａｎ（１０／３０／２）＝１８．９°
In the
Horizontal angle of view θh = 2 × atan (14/30/2) = 26.3 °
Vertical angle of view θv = 2 × atan (10/30/2) = 18.9 °
このように、キャリブレーションチャート６を撮像した第１画像７１を用いて撮像装置１１の画角を算出することができる。例えばレンズユニット３にフィルタユニット２を取り付ける前後それぞれでキャリブレーションチャート６を撮像した画像を取得し、画角を算出することにより、フィルタユニット２を取り付けることによる画角の変化を計測することができる。
In this way, the angle of view of the
撮像されるキャリブレーションチャート６は、撮像装置１１と正対していることが望ましい。撮像装置１１に正対したキャリブレーションチャート６を撮像するためには、例えば水準器等を用いて水平に設置された撮像装置１１で、鉛直方向に立てられたキャリブレーションチャート６を正面から撮像する必要がある。
It is desirable that the
撮像装置１１に正対していないキャリブレーションチャート６が撮像されたならば、傾いたキャリブレーションチャート６が撮像された画像が取得される。このような場合、キャリブレーション処理部１２２は、キャリブレーションチャート６の傾きが補正された画像を生成し、その補正画像を用いてフィルタ２１の向き２１Ｄ、画角等の算出を行う。
If the
図２１に示す例では、撮像装置１１によって、傾いたキャリブレーションチャート６が撮像された画像７４３が取得されている。キャリブレーション処理部１２２は、画像７４３上の要素を検出し、画像７４３上で水平方向に並んでいるべき要素群をつなぐ線分７４３Ｘと、画像７４３上で垂直方向に並んでいるべき要素群をつなぐ線分７４３Ｙとを検出する。なおこの例では、線分７４１Ｙは垂直方向に延び、傾いていない。
In the example shown in FIG. 21, the
キャリブレーション処理部１２２は、算出された線分７４１Ｘの傾きおよび線分７４１Ｙの傾きに基づき、例えばカメラキャリブレーションに用いられるＺｈａｎｇの手法（Zhengyou Zhang、“A Flexible New Technique for Camera Calibration”、［online］、１９９８年１２月２日、Technical Report MSR-TR-98-71、［平成３０年９月１２日検索］、インターネット＜URL：https://www.microsoft.com/en-us/research/wp-content/uploads/2016/02/tr98-71.pdf＞）を用いて、傾きが補正された画像７４４を生成する。キャリブレーション処理部１２２は、例えば線分７４１Ｘの傾きが水平方向に、線分７４１Ｙの傾きが垂直方向になるように画像７４３を回転させ、傾きが補正された画像７４４を生成する。これによりキャリブレーション処理部１２２は、撮像装置１１と正対して撮像されたキャリブレーションチャート６の画像を用いる場合と同様にして、補正画像７４４を用いてフィルタ２１の向き２１Ｄ、画角等を算出できる。
The
さらに、フィルタ２１（フィルタユニット２）はレンズユニット３に対して、フィルタ２１の中心２１３が撮像装置１１の光軸１５と一致しない位置（すなわち光軸１５がフィルタ２１の中心を通らない位置）に取り付けられることがある。このようにレンズユニット３に対するフィルタ２１の位置ずれがある場合、レンズ３１に光を透過するフィルタ２１内の第１フィルタ領域２１１の面積と第２フィルタ領域２１２の面積とが不均一になる。
Further, the filter 21 (filter unit 2) is located at a position where the
図２２は、フィルタ２１の中心２１３が光軸１５と一致していない場合に、撮像装置１１によって取得されたキャリブレーションチャート６の画像上の要素７５１の例を示す。ここでは、フィルタ２１の中心２１３が光軸１５と一致せず、例えばイエローの第１フィルタ領域２１１の面積が、シアンの第２フィルタ領域２１２の面積よりも広くなっていることを想定する。
FIG. 22 shows an example of the
キャリブレーション処理部１２２は、取得された画像上の要素７５１において、例えばＲ成分のぼけ７５１Ｒの大きさＳｒとＢ成分のぼけ７５１Ｂの大きさＳｂとを比較することにより、フィルタ２１の中心２１３が光軸１５と一致していないことを検出する。検出のために用いられる要素７５１は、例えば画像上の中央付近に位置していることが望ましい。
In the
イエローの第１フィルタ領域２１１の面積がシアンの第２フィルタ領域２１２の面積よりも広い場合、取得された画像上の要素７５１において、広い第１フィルタ領域２１１を透過する赤の波長帯域の光により得られるＲ成分のぼけ７５１Ｒの大きさＳｒは、狭い第２フィルタ領域２１２を透過する青の波長帯域の光により得られるＢ成分のぼけ７５１Ｂの大きさＳｂよりも大きい。したがってキャリブレーション処理部１２２は、Ｒ成分およびＢ成分のそれぞれのぼけの大きさに基づいて、フィルタ領域２１１，２１２の面積が均一でなく、またいずれのフィルタ領域２１１，２１２の面積がより広く（あるいは狭く）なっているかを検出できる。
When the area of the yellow
通知部１２５は、キャリブレーション処理部１２２による処理結果を用いて、フィルタ２１の位置がずれていること、フィルタ２１の中心２１３が光軸１５と一致していないこと、フィルタ領域２１１，２１２の面積が均一でないこと、いずれのフィルタ領域の面積がより広くなっているか等を、ユーザに通知する。ユーザはこの通知に応じて、レンズユニット３に対してフィルタ２１を正しく取り付けることができる。
The
またフィルタ２１の中心２１３が光軸１５と一致していない場合には、図２３に示すように、撮像装置１１によって取得される画像７６にフィルタ枠２２等のフィルタユニット２の一部による影が写り込むこともある。取得された画像７６には、キャリブレーションチャート６の要素６１が撮像された領域７６１と、フィルタ枠２２等による影が写り込んだことによって欠けた領域７６２とが含まれている。
When the
キャリブレーション処理部１２２は、フィルタ２１を取り付ける前の第１画角とフィルタ２１を取り付けた後の第２画角とを比較し、第１画角と第２画角との差が閾値を超えている場合に、フィルタ枠２２等による影が画像７６に写り込んでいると判断する。通知部１２５は、フィルタ枠２２等による影が画像７６に写り込んでいることをユーザに通知する。ユーザはこの通知に応じて、レンズユニット３に対してフィルタ２１を正しく取り付けることができる。
The
なお、フィルタユニット２はクリップ形状を有していてもよい。図２４は撮像装置１１の構造の別の例を示す。ここでは撮像装置１１が、レンズユニット３およびイメージセンサ４１を備えるスマートフォン１Ａと、クリップ形状を有するフィルタユニット２Ａとして実現される場合を例示する。スマートフォン１Ａは一例であって、レンズユニット３（レンズ３１）上に重ね合わせるように、クリップ形状のフィルタユニット２Ａを取り付けられる電子機器であればよい。この電子機器には、例えばレンズユニット３が取り付けられたカメラ本体４や、レンズユニット３を備える電子機器（例えばタブレットＰＣ）が含まれ得る。
The
スマートフォン１Ａは画像処理部１２およびディスプレイ１３を備えていてもよい。この場合、フィルタユニット２が取り付けられたスマートフォン１Ａは、撮像装置１１として用いられるだけでなく、測距装置１として用いることもできる。
The
図２４（Ａ）に示すように、クリップ形状のフィルタユニット２Ａは、スマートフォン１Ａの筐体を挟み込むための２つのクリップ部２０１，２０２を備える。クリップ部２０１，２０２は、スマートフォン１Ａの筐体に対してフィルタユニット２Ａを固定する固定部である。クリップ部２０１の第１端部２０１Ｅ−１はフィルタ２１を保持する薄い円筒形状を有する。クリップ部２０２の第１端部２０２Ｅ−１も同様の薄い円筒形状を有するが、フィルタ２１は保持されていない。
As shown in FIG. 24A, the clip-shaped
クリップ部２０１の第２端部２０１Ｅ−２とクリップ部２０２の第２端部２０２Ｅ−２とを外側から挟み込むように力を加えることで、クリップ部２０１の第１端部２０１Ｅ−１とクリップ部２０２の第１端部２０２Ｅ−１は開放される。クリップ部２０１の第２端部２０１Ｅ−２とクリップ部２０２の第２端部２０２Ｅ−２とに力が加えられなければ、クリップ部２０１の第１端部２０１Ｅ−１とクリップ部２０２の第１端部２０２Ｅ−１は閉じる。
By applying a force so as to sandwich the
図２４（Ｂ）に示すように、ユーザはクリップ部２０１の第２端部２０１Ｅ−２とクリップ部２０２の第２端部２０２Ｅ−２とを外側から挟み込むように力を加えて第１端部２０１Ｅ−１，２０２Ｅ−１を開放し、フィルタ２１がレンズユニット３を覆うように第１端部２０１Ｅ−１と第１端部２０２Ｅ−１との間にスマートフォン１Ａを挟み込む。
As shown in FIG. 24B, the user applies a force so as to sandwich the
ユーザはさらに、スマートフォン１Ａを挟み込んでいる第１端部２０１Ｅ−１および第１端部２０２Ｅ−１の位置および向きを調節することもできる。この調節のために、第１端部２０１Ｅ−１および第１端部２０２Ｅ−１に移動や回転のための微動ステージが組み込まれていてもよい。微動ステージは、例えば第１端部２０１Ｅ−１および第１端部２０２Ｅ−１を水平方向および垂直方向にそれぞれシフトする微調整ネジを備える。
The user can also adjust the position and orientation of the
ユーザはレンズユニット３（より詳しくはレンズユニット３に内蔵されるレンズ３１）とフィルタ２１とが光学的に正しく結合されるように調節する。より具体的には、ユーザはフィルタ２１の中心が光軸１５上（すなわちレンズユニット３の中心上）に位置するように第１端部２０１Ｅ−１，２０２Ｅ−１を移動する。
The user adjusts the lens unit 3 (more specifically, the
ユーザはさらに、フィルタ２１内の境界線２１４の方向がスマートフォン１Ａの垂直方向４５、水平方向４６等のある特定の方向に設定されるように、第１端部２０１Ｅ−１，２０２Ｅ−１を回転することもできる。その際、スマートフォン１Ａのディスプレイ１３の画面には、フィルタ２１内の境界線２１４の方向を特定の方向に設定するためのガイドが表示されてもよい。
The user further rotates the first ends 201E-1, 202E-1 so that the direction of the
図２５はディスプレイ１３に表示されるガイド画面９０の例を示す。このガイド画面９０には、例えばフィルタ２１内の境界線２１４の現在の方向を示す線９１と、境界線２１４の現在の方向を特定の方向（ここでは垂直方向４５）に設定するためにフィルタユニット２を回転すべき向き９２（ここでは時計回り）とが示されている。ガイド画面９０を用いることにより、ユーザはフィルタ２１の向きを容易に調節できる。
FIG. 25 shows an example of the
ガイド画面９０には、フィルタ２１の向きだけでなく、キャリブレーションによって得られた画角等の処理結果や被写体までの距離のような測距処理の結果が表示されてもよい。さらに、ガイド画面９０には、取り付けられるべき位置（すなわちフィルタ２１の中心が光軸１５に一致する位置）からずれた位置にフィルタ２１が取り付けられていること、フィルタ枠２２等の影が画像に写り込んでいること等が示されてもよい。
The
なお、フィルタユニット２Ａの形状および構造は、レンズユニット３を備えるスマートフォン１Ａの筐体等に取り付けることができればどのような形状および構造であってもよい。
The shape and structure of the
例えば図２６に示すように、フィルタユニット２Ａは、レンズユニット３を備えるスマートフォン１Ａの筐体全体を嵌め込んで取り付けるケース（あるいはカバー）の形状を有していてもよい。ケース形状のフィルタユニット２Ａでは、スマートフォン１Ａに取り付けられた場合にレンズユニット３上に重なる位置に、フィルタ２１を保持するフィルタ枠２２が設けられる。フィルタ枠２２は回転可能であり、ユーザはフィルタ２１の向きを任意の方向に調節できる。
For example, as shown in FIG. 26, the
以上により、レンズユニット３がフィルタユニット２を取り付けるための構造を有していない場合にも、レンズユニット３を備える筐体に対してレンズユニット３上に重なるようにフィルタユニット２を取り付けられるので、ハードウェア構成によってフィルタ２１の向きを精度良く調節できる。フィルタ２１の向きが調節されることにより、撮像装置１１（例えばスマートフォン１Ａ）を用いて理想的なぼけ（すなわち意図したぼけ）が発生した画像を取得できる。
As described above, even when the
以上説明したように、本実施形態によれば被写体までの距離を精度良く算出できる。フィルタ２１は、第１波長帯域の光を透過する第１フィルタ領域２１１と、第２波長帯域の光を透過する第２フィルタ領域２１２とを備える。第１波長帯域と第２波長帯域は共通の波長帯域を含む。取得部１２１は、フィルタ２１を通過した光を受光するイメージセンサ４１を有する撮像装置１１を用いて撮像された、キャリブレーションのための第１被写体が撮像された第１画像７１と、第２被写体が撮像された第２画像７７とを取得する。画像処理部１２は、第１画像７１と第２画像７７とを用いて第２被写体までの距離を算出する。
As described above, according to the present embodiment, the distance to the subject can be calculated with high accuracy. The
これによりフィルタ２１がレンズユニット３の外部に設けられる場合にも、レンズユニット３に取り付けられたフィルタ２１の向きを考慮して、被写体までの距離を精度良く算出できる。
As a result, even when the
なお、上述したキャリブレーションのための構成は、フィルタ２１がレンズユニット３内の開口部３Ａに設けられる場合にも適用できる。したがって、例えば開口部３Ａに配置されたフィルタ２１の向きが振動等で意図しない向きにずれた場合にも、撮像装置１１を用いて取得された画像からその画像上の被写体までの距離を精度良く算出できる。
The above-mentioned configuration for calibration can also be applied when the
また、本実施形態に記載された様々な機能の各々は、回路（処理回路）によって実現されてもよい。処理回路の例には、中央処理装置（ＣＰＵ）のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム（命令群）を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたＣＰＵ以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。 Further, each of the various functions described in the present embodiment may be realized by a circuit (processing circuit). Examples of processing circuits include programmed processors such as central processing units (CPUs). This processor executes each of the described functions by executing a computer program (instruction group) stored in the memory. This processor may be a microprocessor including an electric circuit. Examples of processing circuits also include digital signal processors (DSPs), application specific integrated circuits (ASICs), microcontrollers, controllers, and other electrical circuit components. Each of the components other than the CPU described in this embodiment may also be realized by the processing circuit.
また、本実施形態の各種処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。 Further, since various processes of the present embodiment can be realized by a computer program, the present embodiment and the present embodiment can be obtained by simply installing and executing the computer program on a computer through a computer-readable storage medium in which the computer program is stored. A similar effect can be easily achieved.
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other embodiments, and various omissions, replacements, and changes can be made without departing from the gist of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are also included in the scope of the invention described in the claims and the equivalent scope thereof.
１…測距装置、１１…撮像部（撮像装置）、１２…画像処理部（画像処理装置）、１３…ディスプレイ、１５…光軸、１２１…取得部、１２２…キャリブレーション処理部、１２３…補正部、１２４…距離算出部、１２５…通知部、２…フィルタユニット、２１…フィルタ、２１１…第１フィルタ領域、２１２…第２フィルタ領域、２１３…光学中心、２１４…境界線、２２…フィルタ枠、２３…取り付け部、３…レンズユニット、３１…レンズ、３Ａ…開口部、４…カメラ本体、４１…イメージセンサ、４１１…第１センサ、４１２…第２センサ、４１３…第３センサ、４２…レンズマウント。 1 ... Distance measuring device, 11 ... Imaging unit (imaging device), 12 ... Image processing unit (image processing device), 13 ... Display, 15 ... Optical axis, 121 ... Acquisition unit, 122 ... Calibration processing unit, 123 ... Correction Unit, 124 ... Distance calculation unit, 125 ... Notification unit, 2 ... Filter unit, 21 ... Filter, 211 ... First filter area, 212 ... Second filter area, 213 ... Optical center, 214 ... Boundary line, 22 ... Filter frame , 23 ... mounting part, 3 ... lens unit, 31 ... lens, 3A ... opening, 4 ... camera body, 41 ... image sensor, 411 ... first sensor, 412 ... second sensor, 413 ... third sensor, 42 ... Lens mount.
Claims (16)
前記第１画像と前記第２画像とを用いて前記第２被写体までの距離を算出する処理部とを具備する画像処理装置。 A first filter region that transmits light in the first wavelength band and a second filter region that transmits light in the second wavelength band are provided, and the first wavelength band and the second wavelength band include a common wavelength band. The first image in which the first subject for calibration is captured and the second subject different from the first subject is captured by using an image sensor having an image sensor that receives light that has passed through the filter unit. An acquisition unit that acquires the captured second image,
An image processing apparatus including a processing unit that calculates a distance to the second subject using the first image and the second image.
前記フィルタ部の向きに基づいて前記第２画像を回転した補正画像を生成し、
前記補正画像を用いて前記第２被写体までの距離を算出する請求項２記載の画像処理装置。 The processing unit
A corrected image obtained by rotating the second image based on the orientation of the filter unit is generated.
The image processing apparatus according to claim 2, wherein the distance to the second subject is calculated using the corrected image.
前記フィルタ部の向きに基づいて、前記撮像装置を用いて取得された画像上のぼけを補正するためのぼけ補正フィルタを変更し、
変更された前記ぼけ補正フィルタと前記第２画像とを用いて、前記第２被写体までの距離を算出する請求項２記載の画像処理装置。 The processing unit
Based on the orientation of the filter unit, the blur correction filter for correcting the blur on the image acquired by using the image pickup device is changed.
The image processing apparatus according to claim 2, wherein the distance to the second subject is calculated by using the modified blur correction filter and the second image.
前記撮像装置とを具備する測距装置。 The image processing apparatus according to any one of claims 1 to 7.
A distance measuring device including the image pickup device.
前記フィルタ部から前記レンズユニット内の開口部までの距離は、前記フィルタ部側の前記レンズユニットの端部から前記開口部までの距離よりも長い請求項８記載の測距装置。 The image pickup apparatus further comprises a lens unit including one or more lenses through which light transmitted through the first filter region and light transmitted through the second filter region pass.
The distance measuring device according to claim 8, wherein the distance from the filter unit to the opening in the lens unit is longer than the distance from the end of the lens unit on the filter unit side to the opening.
前記フィルタ部を保持するフィルタ枠と、
前記フィルタ枠に連結し、前記レンズユニットの第１端部に着脱可能に取り付けられる取り付け部とをさらに具備し、
前記取り付け部が前記レンズユニットの前記第１端部に取り付けられた場合、前記フィルタ部から前記レンズユニット内の開口部までの距離は、前記第１端部から前記開口部までの距離よりも長い請求項９記載の測距装置。 The image pickup device is
A filter frame that holds the filter unit and
Further provided with a mounting portion that is connected to the filter frame and detachably attached to the first end portion of the lens unit.
When the mounting portion is attached to the first end portion of the lens unit, the distance from the filter portion to the opening in the lens unit is longer than the distance from the first end to the opening. The distance measuring device according to claim 9.
前記取り付け部は、前記フィルタ枠の少なくとも一部を囲む円筒形状を有する請求項１０乃至請求項１２のいずれか一項に記載の測距装置。 The filter frame has a cylindrical shape and has a cylindrical shape.
The distance measuring device according to any one of claims 10 to 12, wherein the mounting portion has a cylindrical shape that surrounds at least a part of the filter frame.
前記レンズフード枠は、前記第２取り付け部に取り付けられたレンズフードの向きを調節するために光軸を中心として回転自在である請求項８記載の測距装置。 The image pickup apparatus further comprises a lens hood frame including a second attachment portion to which the lens hood is detachably attached.
The distance measuring device according to claim 8, wherein the lens hood frame is rotatable about an optical axis in order to adjust the direction of the lens hood attached to the second mounting portion.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018171504A JP6970066B2 (en) | 2018-09-13 | 2018-09-13 | Image processing device and ranging device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018171504A JP6970066B2 (en) | 2018-09-13 | 2018-09-13 | Image processing device and ranging device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020041973A JP2020041973A (en) | 2020-03-19 |
| JP6970066B2 true JP6970066B2 (en) | 2021-11-24 |
Family
ID=69798076
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018171504A Active JP6970066B2 (en) | 2018-09-13 | 2018-09-13 | Image processing device and ranging device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6970066B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002189243A (en) * | 2000-12-22 | 2002-07-05 | Mamiya Op Co Ltd | Device for attaching accessory of lens |
| JP2013003159A (en) * | 2011-06-10 | 2013-01-07 | Olympus Corp | Imaging apparatus |
| JP2018084571A (en) * | 2016-11-11 | 2018-05-31 | 株式会社東芝 | Processing device, imaging device, and automatic control system |
| JP3211867U (en) * | 2017-05-18 | 2017-08-10 | 炎 喬 | Ringlight adapter for early diagnosis of pressure ulcers |
-
2018
- 2018-09-13 JP JP2018171504A patent/JP6970066B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020041973A (en) | 2020-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8049801B2 (en) | Image sensor and imaging apparatus | |
| JP5901246B2 (en) | Imaging device | |
| US8854533B2 (en) | Image capture apparatus and control method therefor | |
| JP6124564B2 (en) | Focus detection apparatus and method, and imaging apparatus | |
| US9398199B2 (en) | Image capture apparatus capable of shifting electrical signal when center of gravity is shifted due to an eclipse of pupil area | |
| JP6989466B2 (en) | Optical filter, image pickup device and ranging device | |
| US8937662B2 (en) | Image processing device, image processing method, and program | |
| JP6991957B2 (en) | Image processing device, image pickup device and image processing method | |
| WO2011095026A1 (en) | Method and system for photography | |
| JP5784395B2 (en) | Imaging device | |
| JP6942480B2 (en) | Focus detector, focus detection method, and focus detection program | |
| JP2015046019A (en) | Image processing device, imaging device, imaging system, image processing method, program, and storage medium | |
| JP2005128092A (en) | Camera | |
| JP5560766B2 (en) | Image processing apparatus, imaging apparatus, and program | |
| JP6970066B2 (en) | Image processing device and ranging device | |
| JP6997295B2 (en) | Imaging device, imaging method, and program | |
| JP7171331B2 (en) | Imaging device | |
| JP5038448B2 (en) | camera | |
| JP2017040704A (en) | Imaging apparatus and imaging system | |
| JP2015087494A (en) | Imaging device | |
| WO2018235709A1 (en) | Distance measuring camera and distance measurement method | |
| JP7235068B2 (en) | Imaging device | |
| JP7445508B2 (en) | Imaging device | |
| KR100860700B1 (en) | Realizing method of depth of field and digital camera using thereof | |
| US8531753B1 (en) | Adaptive optical filter |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200316 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210309 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210928 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211028 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6970066 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |