JP2018017568A - 距離測定装置、撮像装置、および距離測定方法 - Google Patents
距離測定装置、撮像装置、および距離測定方法 Download PDFInfo
- Publication number
- JP2018017568A JP2018017568A JP2016146929A JP2016146929A JP2018017568A JP 2018017568 A JP2018017568 A JP 2018017568A JP 2016146929 A JP2016146929 A JP 2016146929A JP 2016146929 A JP2016146929 A JP 2016146929A JP 2018017568 A JP2018017568 A JP 2018017568A
- Authority
- JP
- Japan
- Prior art keywords
- image
- shift amount
- image shift
- distortion
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
Abstract
Description
該組み合わせをRGBD画像と呼ぶ)、物体の3Dモデルを取得する3Dモデリングや移動しながら空間の地図を取得する空間マッピングを実現する場合がある。この場合、例えば1つの視野に収まらないような大きな被写体を撮影したり、高精細な情報を得るために接写したりする状況では、複数の3次元モデルデータのつなぎ合わせが必要となる(特許文献2)
。そのためには、いわゆるピンホールモデルに従うような歪曲がないRGBD画像を3Dモデル化処理の入力としなければならない。
開口すなわち瞳領域全体を透過した光束により形成される光像)と距離値のD画像とのセ
ットである場合が多い。だがこの全開口を利用したAB混合像に合わせてA像およびB像に歪曲補正を施しても、歪曲量が大きいとエピポーラ線を水平に改善することはできない。また、歪曲量がさらに大きい場合には、エピポーラ線が補正前よりも大きくずれてしまい、例えば上下方向にずれたり水平から大きく曲がったりすることもある。結果、例えば領域ベースの相関手法等によるずれ量の算出が複雑あるいは困難になる。
処理を考えると、歪曲補正によるタイムラグが生じることや、歪曲を含んだファインダー像に距離画像を重畳する際には距離画像に歪曲を再度付加する必要が生じることが問題となる。
結像光学系の第一の瞳領域を通過した光束に対応する第一の信号からなる第一の像と、前記結像光学系の前記第一の瞳領域とは異なる第二の瞳領域を通過した光束に対応する第二の信号からなる第二の像と、のあいだの像ズレ量を取得する第一の取得手段と、
前記像ズレ量に基づいて距離情報を取得する第二の取得手段と、
を備え、
前記第一の取得手段は、歪曲を含んだ前記第一の像および前記第二の像に基づいて前記像ズレ量を取得し、
前記第二の取得手段は、前記第一の取得手段が取得した前記像ズレ量に対して、画素位置に応じた歪曲量に基づく像ズレ量補正を行い、補正後の像ズレ量に基づいて前記距離情報を取得する、
ことを特徴とする。
距離測定装置における距離測定方法であって、
結像光学系の第一の瞳領域を通過した光束に対応する第一の信号からなる第一の像と、前記結像光学系の前記第一の瞳領域とは異なる第二の瞳領域を通過した光束に対応する第二の信号からなる第二の像と、のあいだの像ズレ量を取得する像ズレ量取得ステップと、
前記像ズレ量に基づいて距離情報を取得する距離情報取得ステップと、
を含み、
前記像ズレ量取得ステップでは、歪曲を含んだ前記第一の像および前記第二の像に基づいて前記像ズレ量を取得し、
前記距離情報取得ステップでは、画素位置に応じた歪曲量に基づく像ズレ量補正を行い、補正後の像ズレ量に基づいて前記距離情報を取得する、
ことを特徴とする。
<構成>
図1(A)は、本実施形態に係る距離測定装置102を備えた撮像装置100を示す模式図である。撮像装置100は、結像光学系101と、本実施形態に係る距離測定装置102を備えて構成されている。距離測定装置102は、撮像素子103と演算処理部104とメモリ105、幾何変形部140を有している。
ような論理回路によって構成される。
図2は、基本的な測距演算処理を示すフローチャートである。この測距演算処理は、像ズレ量算出ステップS101、距離算出ステップS102、距離マップ歪曲補正ステップS103からなる。
異なる歪曲補正を行い、歪曲のないA像およびB像を生成することを提案している。しかし、像ズレ量探索のためだけにA像およびB像のそれぞれに特別な歪曲補正を行うので、演算回路等のリソース、電力、計算量やその演算時間等の面で大きな負荷となる。さらには最終出力のAB混合像の座標空間への座標変換も必要となる。
図4(A)は、本実施形態に係る測距演算処理のフローチャートの一例を示す図である。図4(B)は、本実施形態に係る測距演算処理のデータフローを示す図である。本実施形態に係る測距演算処理は、像ズレ量算出ステップS201、歪曲収差による影響を考慮した距離算出ステップS202、距離マップ歪曲補正ステップS203からなる。歪曲収差による影響を考慮した距離算出ステップS202は、像ズレ量補正ステップS2021および距離算出ステップS2022からなる。
特有の誤差を補正する補正値の寄与を含んでも良い。上述したように、ステップS201における像ズレ算出の具体的な方法は複数あり、それぞれの手法に応じて算出される像ズレ量に誤差が含まれる。例えば、水平方向のみのズレ量探索を行ったり、A像、B像それぞれで上下方向に画素加算を行うことで上下方向の像ズレを軽減したりする手法を選択した場合には、無視した垂直方向の像ズレ量が誤差となる。また特許文献3に示すような像シフトフィルタを適用した場合、シフトで失われた垂直方向の像ズレ量が誤差となり、またフィルタのタップ数の制限等によっても誤差が生じる。したがって、Rn(xd,yd,rd)はこのような誤差を補正する補正値の寄与を含むことが好ましい。距離測定装置は、像ズレ算出手法に応じて複数のRnを保持するように構成し、ステップS201において選択した手法に対応するRnを用いてステップS2021において像ズレ量の補正を行うとよい。
本実施形態では、各像高位置に対する補正係数Rnをあらかじめ求めておき、テーブルとして保持する。各像高位置に対する補正係数Rnは、例えば、CG画像上のシミュレーション探索により算出することができる。
って被写体点の奥行きを変化させることで、A像上での位置を変化させることなく、B像上の位置、およびA像とB像間のずれ量を任意に変化させることができる。歪のない光学系間のずれ量は、例えばフォーカスが無限遠の場合、平行配置のステレオカメラと近似的にみなすことができるため、以下の(式7)で表せる。
以下、図を用いて本実施形態における測距方法を説明する。図11は、本実施形態に係る距離測定装置を備えた撮像装置200を示す模式図である。撮像装置200は撮像装置100と同様に、結像光学系101と、距離測定装置102を備えて構成されている。距離測定装置102は、撮像素子103と演算処理部104とメモリ105を有している。本実施形態に係る距離測定装置102は、実施形態1における距離測定装置102から幾何変形部140を省略した構成となっており、演算処理部104で行う処理に変更が加えられている。以下では、実施形態1と同様の構成については説明を省略する。
換算係数は像光学系101の焦点距離や絞りなどの測距条件あるいは像高(撮像素子103上における測距する位置)に応じて変化する。また補正係数は、歪曲量や、像ズレ算出処理ステップS301で採用された探索手法(前処理含む)に応じて変化する。
い。これらの処理により、RGB像(AB混合像)とマップの対応が取れ、かつ、歪曲がなくなり3Dモデル算出唐の後処理で矛盾なくマップを利用できるようになる。また、同一視点で撮影したRGB画像を同時に歪曲補正しても良い。AB混合像に合わせる座標変換、および歪曲補正は、それぞれ個別に有効無効を切り替えられるようにしてもよい。
・距離情報マップに対する歪曲補正(幾何変形処理)の省略
・像ズレ量の補正と距離算出を同時に実行
・位置および像ズレ量に応じた換算係数の補正
・距離情報算出におけるベストポイント位置の補正
上記の実施形態における撮像素子においては、一つの測距画素が、第1の瞳領域を透過した光束を受光する第1の光電変換部と、第2の瞳領域を透過した光束を受光する第2の光電変換部とを備えるが、この構成は必須ではない。第1の瞳領域を透過した光束に基づく第1の像(A像)と、第2の瞳領域を透過した光束に基づく第2の像(B像)を取得可能であれば、撮像素子の構成は適宜変更可能である。例えば、一部の画素は、第1の瞳領域を透過した光束を受光する第1の光電変換部を有し、他の一部の画素が、第2の瞳領域を透過した光束を受光する第2の光電変換部を有していてもよい。あるいは、一部の画素は、第1の瞳領域を透過した光束を受光する第1の光電変換部を有し、他の画素は、結像光学系の射出瞳の全体を透過した光束を受光する第3の光電変換部を有していても良い。この場合、第1の光電変換部はA像を取得し、第3の光電変換部がA+B像を取得するので、差分を取ることでB像が得られる。
回路を用いて構成することができ、IC、LSI、システムLSI、マイクロ処理ユニット(MPU)、中央演算装置(CPU)等で構成することができる。演算部をマイクロ処理ユニットや中央演算装置(CPU)等で構成する場合には、演算部は、コンピュータとして捉えることが可能である。本発明のプログラムは、所定の結像光学系と、所定の撮像部、コンピュータと、を備えた撮像装置のコンピュータにインストールすることによって、撮像装置を高精度の距離測定が可能なものとなすことができる。本発明のプログラムは、記録媒体の他、インターネットを通じて頒布することも可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
104 演算処理部
Claims (12)
- 結像光学系の第一の瞳領域を通過した光束に対応する第一の信号からなる第一の像と、前記結像光学系の前記第一の瞳領域とは異なる第二の瞳領域を通過した光束に対応する第二の信号からなる第二の像と、のあいだの像ズレ量を取得する第一の取得手段と、
前記像ズレ量に基づいて距離情報を取得する第二の取得手段と、
を備え、
前記第一の取得手段は、歪曲を含んだ前記第一の像および前記第二の像に基づいて前記像ズレ量を取得し、
前記第二の取得手段は、前記第一の取得手段が取得した前記像ズレ量に対して、画素位置に応じた歪曲量に基づく像ズレ量補正を行い、補正後の像ズレ量に基づいて前記距離情報を取得する、
距離測定装置。 - 前記第二の取得手段は、画素位置に応じて異なる値を保持する係数マップに基づいて、前記像ズレ量補正を行う、
請求項1に記載の距離測定装置。 - 前記係数マップは、前記第一の取得手段によって取得される像ズレ量に応じて異なる値を保持する、
請求項2に記載の距離測定装置。 - 前記係数マップは、前記第一の取得手段が像ズレ量の取得において利用する手法に応じて異なる値を保持する、
請求項2または3に記載の距離測定装置。 - 前記係数マップは、歪曲を含む前記第一および第二の像から得られる像ズレ量を、歪曲を補正した第一および第二の像から得られる像ズレ量に補正する像ズレ補正量を記憶し、
前記第二の取得手段は、像ズレ量を距離情報に変換するための換算係数を記憶しており、
前記第二の取得手段は、前記第一の取得手段が取得する前記像ズレ量と、前記換算係数と、前記係数マップに記憶される前記像ズレ補正量に基づいて、前記距離情報を計算し、歪曲を含む画像に対応する距離情報マップを出力する、
請求項2から4のいずれか1項に記載の距離測定装置。 - 前記係数マップは、歪曲を含む前記第一および第二の像から得られる像ズレ量を、歪曲を補正した第一および第二の像から得られる像ズレ量に補正する像ズレ補正量と、像ズレ量を距離情報に変換するための換算係数であって画素位置に応じて異なる値を有する換算係数との積を記憶しており、
前記第二の取得手段は、前記第一の取得手段が取得する前記像ズレ量と、前記係数マップに記憶される前記像ズレ補正量と前記換算係数の積に基づいて、前記距離情報を計算し、歪曲を含む画像に対応する距離情報マップを出力する、
請求項2から4のいずれか1項に記載の距離測定装置。 - 前記第二の取得手段によって取得された距離情報のマップに対して、歪曲補正を施す幾何変形手段をさらに備える、
請求項1から6のいずれか1項に記載の距離測定装置。 - 前記第二の取得手段によって取得された距離情報のマップに対して、前記第一の取得手段が前記像ズレ量を取得する際に基準とされた第一の像または第二の像の画素位置を、前
記第一の像および第二の像を混合して得られる混合像における対応位置に移動させる座標変換を施す幾何変形手段をさらに備える、
請求項1から7のいずれか1項に記載の距離測定装置。 - 前記幾何変形手段は、補間手法としてスプライン補間、Lanczos-n補間、またはカイ自
乗補間を用いる、
請求項7または8に記載の距離測定装置。 - 結像光学系と、
前記結像光学系の第一の瞳領域を通過した光束に対応する第一の信号および、前記結像光学系の前記第一の瞳領域とは異なる第二の瞳領域を通過した光束に対応する第二の信号とを取得する撮像素子と、
請求項1から9のいずれか1項に記載の距離測定装置と、
を備える撮像装置。 - 距離測定装置における距離測定方法であって、
結像光学系の第一の瞳領域を通過した光束に対応する第一の信号からなる第一の像と、前記結像光学系の前記第一の瞳領域とは異なる第二の瞳領域を通過した光束に対応する第二の信号からなる第二の像と、のあいだの像ズレ量を取得する像ズレ量取得ステップと、
前記像ズレ量に基づいて距離情報を取得する距離情報取得ステップと、
を含み、
前記像ズレ量取得ステップでは、歪曲を含んだ前記第一の像および前記第二の像に基づいて前記像ズレ量を取得し、
前記距離情報取得ステップでは、画素位置に応じた歪曲量に基づく像ズレ量補正を行い、補正後の像ズレ量に基づいて前記距離情報を取得する、
距離測定方法。 - 請求項11に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016146929A JP6755737B2 (ja) | 2016-07-27 | 2016-07-27 | 距離測定装置、撮像装置、および距離測定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016146929A JP6755737B2 (ja) | 2016-07-27 | 2016-07-27 | 距離測定装置、撮像装置、および距離測定方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018017568A true JP2018017568A (ja) | 2018-02-01 |
JP2018017568A5 JP2018017568A5 (ja) | 2019-08-29 |
JP6755737B2 JP6755737B2 (ja) | 2020-09-16 |
Family
ID=61081674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016146929A Active JP6755737B2 (ja) | 2016-07-27 | 2016-07-27 | 距離測定装置、撮像装置、および距離測定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6755737B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020042727A (ja) * | 2018-09-13 | 2020-03-19 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 |
WO2022014148A1 (ja) * | 2020-07-17 | 2022-01-20 | キヤノン株式会社 | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008298589A (ja) * | 2007-05-31 | 2008-12-11 | Konica Minolta Holdings Inc | 位置検出装置及び位置検出方法 |
JP2009288042A (ja) * | 2008-05-29 | 2009-12-10 | Nikon Corp | 距離測定装置 |
JP2010041418A (ja) * | 2008-08-05 | 2010-02-18 | Olympus Corp | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 |
JP5192096B2 (ja) * | 2010-03-24 | 2013-05-08 | 富士フイルム株式会社 | 立体撮像装置 |
JP2013224920A (ja) * | 2012-03-21 | 2013-10-31 | Ricoh Co Ltd | 距離計測装置及び車両 |
JP2014006179A (ja) * | 2012-06-26 | 2014-01-16 | Ricoh Co Ltd | ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置 |
JP2014028008A (ja) * | 2012-07-31 | 2014-02-13 | Olympus Corp | ステレオ計測装置およびステレオ計測方法 |
-
2016
- 2016-07-27 JP JP2016146929A patent/JP6755737B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008298589A (ja) * | 2007-05-31 | 2008-12-11 | Konica Minolta Holdings Inc | 位置検出装置及び位置検出方法 |
JP2009288042A (ja) * | 2008-05-29 | 2009-12-10 | Nikon Corp | 距離測定装置 |
JP2010041418A (ja) * | 2008-08-05 | 2010-02-18 | Olympus Corp | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 |
JP5192096B2 (ja) * | 2010-03-24 | 2013-05-08 | 富士フイルム株式会社 | 立体撮像装置 |
JP2013224920A (ja) * | 2012-03-21 | 2013-10-31 | Ricoh Co Ltd | 距離計測装置及び車両 |
JP2014006179A (ja) * | 2012-06-26 | 2014-01-16 | Ricoh Co Ltd | ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置 |
JP2014028008A (ja) * | 2012-07-31 | 2014-02-13 | Olympus Corp | ステレオ計測装置およびステレオ計測方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020042727A (ja) * | 2018-09-13 | 2020-03-19 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 |
JP7241492B2 (ja) | 2018-09-13 | 2023-03-17 | キヤノン株式会社 | 画像処理装置および画像処理方法、プログラム、並びに記憶媒体 |
WO2022014148A1 (ja) * | 2020-07-17 | 2022-01-20 | キヤノン株式会社 | 画像処理方法、プログラム、画像処理装置、学習済みモデルの製造方法、および、画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
JP6755737B2 (ja) | 2020-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6576945B2 (ja) | 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法 | |
JP6675478B2 (ja) | 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法 | |
WO2018173551A1 (ja) | 較正装置、較正方法、光学装置、撮影装置および投影装置 | |
JP6664000B2 (ja) | 較正装置、較正方法、光学装置、撮影装置、および投影装置 | |
US8929677B2 (en) | Image processing apparatus and method for synthesizing a high-resolution image and a refocused image | |
JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
JP6168794B2 (ja) | 情報処理方法および装置、プログラム。 | |
JP5997645B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
US20090002574A1 (en) | Method and a system for optical design and an imaging device using an optical element with optical aberrations | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
JP2014010783A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2013254097A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2020088689A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP6755737B2 (ja) | 距離測定装置、撮像装置、および距離測定方法 | |
JP2008298589A (ja) | 位置検出装置及び位置検出方法 | |
JP5446285B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6628678B2 (ja) | 距離測定装置、撮像装置、および距離測定方法 | |
Ueno et al. | Compound-Eye Camera Module as Small as 8.5$\times $8.5$\times $6.0 mm for 26 k-Resolution Depth Map and 2-Mpix 2D Imaging | |
JP2017103695A (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP2013120435A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2016066995A (ja) | 像ズレ量算出装置、撮像装置、および像ズレ量算出方法 | |
CN112927299A (zh) | 标定方法、装置及电子设备 | |
JP2013110711A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP2016062447A (ja) | 画像処理装置、画像処理方法、および画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190722 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190722 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200527 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200616 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200728 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200826 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6755737 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |