JP7380146B2 - 情報取得装置 - Google Patents

情報取得装置 Download PDF

Info

Publication number
JP7380146B2
JP7380146B2 JP2019217478A JP2019217478A JP7380146B2 JP 7380146 B2 JP7380146 B2 JP 7380146B2 JP 2019217478 A JP2019217478 A JP 2019217478A JP 2019217478 A JP2019217478 A JP 2019217478A JP 7380146 B2 JP7380146 B2 JP 7380146B2
Authority
JP
Japan
Prior art keywords
light
optical system
information acquisition
optical
acquisition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019217478A
Other languages
English (en)
Other versions
JP2021087199A (ja
Inventor
和弘 藤田
一也 宮垣
優 熊谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2019217478A priority Critical patent/JP7380146B2/ja
Publication of JP2021087199A publication Critical patent/JP2021087199A/ja
Application granted granted Critical
Publication of JP7380146B2 publication Critical patent/JP7380146B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)
  • Stroboscope Apparatuses (AREA)
  • Shutters For Cameras (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報取得装置に関する。
従来、光学的に3D情報を取得する3Dセンシング技術が各方面で利用されている。
例えば、ロボットやドローン、VR(Virtual Reality)などで利用される、ジェスチャー認識や物体認識、障害物検知に関する3Dセンシング技術が開示されている。このような3Dセンシング技術においては、面計測可能な撮像素子などの2次元センサを用いる場合がある。
しかしながら、2次元センサを用いる3Dセンシングの精度は、当該2次元センサの物理的な解像度により制限される。
本発明は、上記に鑑みてなされたものであって、使用する2次元センサの物理的な解像度より大きい解像度で被撮像面に関する情報を取得することを目的とする。
上述した課題を解決し、目的を達成するために、本発明は、光の遅延情報を取得するセンサであって、撮像面へ入射する光の強度分布に応じた受光信号を出力する光センサと、被撮像面からの光を前記被撮像面の共役面に伝達する第1の光学系と、前記第1の光学系により伝達可能な前記被撮像面の領域のうちの複数の領域からの光を前記撮像面のうちの同一の領域に結像する第2の光学系と、時分割された前記受光信号に基づいて、前記被撮像面に関する情報を取得する処理回路とを備える情報取得装置を特徴とする。
本発明によれば、使用する2次元センサの物理的な解像度より大きい解像度で被撮像面に関する情報を取得することができるという効果を奏する。
図1は、実施形態に係る情報取得装置の構成の一例を示す図である。 図2は、図1の撮像系の構成の一例を示す断面図である。 図3は、図1の情報取得装置における、被撮像面のうちの第1の領域に関する像形成について説明するための図である。 図4は、図1の情報取得装置における、被撮像面のうちの第2の領域に関する像形成について説明するための図である。 図5は、図1の情報取得装置における、被撮像面のうちの第3の領域に関する像形成について説明するための図である。 図6は、図1の情報取得装置の機能構成の一例を示す図である。 図7は、図1の情報取得装置において実行される、情報取得処理の一例を示すタイミングチャートである。 図8は、図1の第2の光学系が中間像を3つに分割する場合の被撮像面に関する情報の取得について説明するための図である。 図9は、図1の第2の光学系が中間像を9つに分割する場合の被撮像面に関する情報の取得について説明するための図である。 図10は、図7の情報取得処理における照明制御の別の一例について説明するための図である。 図11は、図1の情報取得装置により実行される、情報取得処理の別の一例を示すタイミングチャートである。 図12は、図1の第2の光学系の構成の別の一例を示す図である。 図13は、図12の第2の光学系が中間像を9つに分割する場合の被撮像面に関する情報の取得について説明するための図である。 図14は、図1の撮像系及び照明系の構成の別の一例を示す断面図である。 図15は、図14の撮像系及び照明系の構成の別の一例を示す断面図である。
近年、3D情報を取得するセンシング技術が各方面で利用されている。例えば、近距離においては、スマートフォンなどの認証時の顔検知において3D情報を利用して個人を特定したり、ジェスチャー操作によりコマンド入力する際に3D情報を利用して手の動きなどを取得したりする技術がある。また、例えば、中長距離においては、自動車における自動ブレーキシステムにおける前方車両や人物などの検知に利用されたり、自動運転のための前方の障害物検知などの3Dセンシングに利用されたりしている。また、AGV(Automatic Guided Vehicle)などと呼ばれている、自動搬送車の周辺障害物の検知に利用されたり、ロボットの目としての3次元センサに利用されたりしている。これらのことから、センシング精度を高めたいという要求がある。
従来、3D情報を取得するための手段として、ステレオカメラを利用する手段がある。ステレオカメラでは、左右のカメラで得られる視差情報を奥行き情報に変換して3D情報を取得する。また、TOF(Time of Flight)カメラという3D距離センサもある。TOFカメラ(TOFセンサ)は、赤外光などを対象物に投光し、その対象物からの反射光がセンサに到達する時間差を算出して距離換算をしている。どちらの方式にも一長一短があるが、ステレオカメラでは2つのカメラを用い、かつ、キャリブレーションが必要であるなど利用が煩雑である反面、TOFセンサでは単純なカメラ構成であるため、TOFカメラの利用機会が多くなっている。このように、3Dセンシング用途として、ロボットやドローン、VRなどの市場で、ジェスチャー認識や物体認識、障害物検知のために利用されている。
しかし、今までの3Dセンシング、特に2次元TOFセンサを利用した3Dセンシングでは、センサ解像度が25万画素~VGA(約30万画素)程度であることから、より広角で広い範囲の3Dセンシングを行うためには、分解能が不足していた。したがって、画素間の情報をより詳細にセンシングできなかった。そこで、以下に説明する情報取得装置1では、使用する2次元センサの物理的な解像度より大きい解像度で被撮像面に関する情報を取得する。
以下に添付図面を参照して、情報取得装置1の実施の形態を詳細に説明する。
(第1の実施形態)
図1は、実施形態に係る情報取得装置1の構成の一例を示す図である。図1に示すように、情報取得装置1は、撮像系2、照明系3、処理回路4及びメモリ5を有する。
図2は、図1の撮像系2の構成の一例を示す断面図である。図1及び図2に示すように、撮像系2は、第1の光学系21、第2の光学系22及び光センサ23を有する。
第1の光学系21は、被撮像面上の物体情報を中間像として形成する。つまり、第1の光学系21は、被撮像面からの光を中間像面に伝達する。第1の光学系21により形成される中間像は、被撮像面の領域のうちの第1の光学系21が伝達可能な領域Rに関する。換言すれば、第1の光学系21により形成される中間像は、被撮像面の領域のうちの第1の光学系21の画角内の領域Rである。ここで、中間像面は、第1の光学系21を介した被撮像面の共役面であり、撮像系2の被撮像面から結像面までの光路上であるとする。なお、第1の光学系21は、被撮像面上の物体あるいは空間情報を共役な位置に光強度情報として伝達するとも表現できる。
なお、図2には、説明の簡単のために、単独のレンズ(単レンズ)で構成される第1の光学系21を示しているが、これに限らない。第1の光学系21に含まれる少なくとも1つの光学素子がパワーを有することにより所望の結像性能を有していればよい。ここで、パワーとは、焦点距離の逆数を言う。例えば、第1の光学系21は、正又は負のパワーを有するレンズ系や反射系などによって構成され得る。もちろん、第1の光学系21としては、少なくとも1つの単レンズを含む複合レンズも適宜利用可能である。
第2の光学系22は、撮像系2の第1の光学系21から結像面までの光路上において、第1の光学系21の像側に配置される。第2の光学系22は、第1の光学系21により伝達された光強度情報を分割する。つまり、第2の光学系22は、第1の光学系21によって形成された中間像を複数の中間像に分割する。以下、分割された中間像の各々を分割中間像と言う。なお、中間像面及び被撮像面は共役の関係にあるため、複数の分割中間像の各々は、対応する被撮像面の各領域からの光により形成されているとも表現できる。
第2の光学系22は、複数の分割中間像の情報を結像面に伝達する。具体的には、第2の光学系22は、複数の分割中間像の情報を結像面に重畳して像を形成する。ここで、結像面は、第2の光学系22を介した中間像面の共役面であるとする。つまり、第2の光学系22は、複数の分割中間像をそれぞれ結像面上の同一の領域に結像する。
第2の光学系22としては、図2に示すように、第1のレンズアレイ221、第2のレンズアレイ222及び結像レンズ223を含む構成が利用可能である。第1のレンズアレイ221及び第2のレンズアレイ222は、中間像面に形成された中間像を分割する。このとき、第1のレンズアレイ221は、第1の光学系21によって収束してくる光を、第2のレンズアレイ222へ効率よく導くためのフィールドレンズとして機能する。第1のレンズアレイ221及び第2のレンズアレイ222は、中間像の分割数に応じた数の集光素子を有する。また、各集光素子の形状は、被撮像面の各領域の形状に対応する。結像レンズ223は、複数の分割中間像を結像面上に重ねて像形成する。結像レンズ223は、第1の光学系と同様に、正又は負のパワーを有するレンズ系や反射系などによって構成され得る。
図2に示す例では、第1のレンズアレイ221及び第2のレンズアレイ222は、それぞれ3つの集光素子を有し、中間像面に形成された中間像、すなわち被撮像面の領域Rに関する中間像を、第1の分割中間像A´、第2の分割中間像B´及び第3の分割中間像C´の3つの中間像に分割する。ここで、第1の分割中間像A´は、被撮像面の第1の領域Aに対応する中間像である。また、第2の分割中間像B´は、被撮像面の第2の領域Bに対応する中間像である。第3の分割中間像C´は、被撮像面の第3の領域Cに対応する中間像である。結像レンズ223は、3つの分割中間像A´,B´,C´を結像面上に重ねて像形成している。
第1のレンズアレイ221は、被撮像面上の各領域に対応した正のパワーを有する集光素子を、被撮像面上の各領域の数だけ配列した光学素子であればよく、レンズアレイに限らない。第1のレンズアレイ221としては、例えば、フレネルレンズアレイや回折レンズアレイも適宜利用可能である。なお、照明光として単一波長の赤外レーザ光を使用する場合には、回折レンズアレイが利用されるとよい。
なお、第1のレンズアレイ221は、設けられていなくてもよい。この場合、例えば第1の光学系21を複数の光学素子によって像側にテレセントリック性を持たせた構成とすることで、効率よく結像面上に結像することも可能である。
なお、中間像面に領域分割に応じて配列された第1のレンズアレイ221では、それぞれの領域の境界にも情報が存在する。したがって、その領域の境界は可能な限り0に近づけることが好ましい。そのため、第1のレンズアレイ221としては、例えば矩形の集光素子を縦横に配列して境界部を低減する構成が好適である。また、第1のレンズアレイ221としては、例えば6角形の集光素子を配列したハニカム状の構成であってもよい。複数の集光素子を矩形状又はハニカム状に連続して配列することにより、各集光素子間でのデータの欠落を低減できる。第2のレンズアレイ222の構成は、第1のレンズアレイ221の構成に応じて適宜決定されればよい。
このように、第2の光学系22は、第1の光学系21により伝達可能な被撮像面の領域Rのうちの複数の領域からの光を結像面のうちの同一の領域に結像するように構成されている。一例として、第2の光学系22は、複数の分割中間像にそれぞれ対応した集光素子が配列された第1のレンズアレイ221及び/又は第2のレンズアレイ222(少なくとも1つの集光素子アレイ)と、集光素子アレイを通過した複数の分割中間像に対応する光をそれぞれ結像面のうちの同一の領域に結像する少なくとも1つの結像レンズ223(集光素子)を有する。また、集光素子アレイにおいて、各集光素子は、矩形状又はハニカム状に配列される。
光センサ23は、撮像面231へ入射する光の強度分布に応じた受光信号を出力する。光センサ23としては、例えばCCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)センサなどの各種の2次元センサが適宜利用可能である。光センサ23は、第2の光学系22の結像面上に配置される。撮像面231には、第2の光学系22により、分割数に応じて重畳された像が形成される。つまり、第2の光学系22は、第1の光学系21により伝達可能な被撮像面の領域Rのうちの複数の領域からの光を撮像面231のうちの同一の領域に結像する。また、光センサ23は、撮像面231に像形成された複数の分割中間像の各々に関して、光の強度情報を取得する。
照明系3は、複数の分割中間像(A´,B´,C´)にそれぞれ対応する被撮像面の領域(A,B,C)ごとに被撮像面を照明する。照明系3は、照明光学系31及び光源32を有する。照明光学系31は、光源32からの光を被撮像面の各領域(A,B,C)へ効率よく導くために設けられる光学系である。照明光学系31は、第1の光学系などと同様に、正又は負のパワーを有するレンズ系や反射系などによって構成され得る。光源32としては、撮像系2の波長依存性などの各種の特性に応じて、発光ダイオード(LED)や水銀灯、蛍光管、白熱電球などの各種の光源が適宜利用可能である。
図3~5は、図1の情報取得装置1における、被撮像面上の各領域に関する像形成について説明するための図である。図3は、第1の領域Aに関する。図4は、第2の領域Bに関する。図5は、第3の領域Cに関する。また、図3~5には、それぞれ、被撮像面上の各領域を照射する光と、被撮像面上の各領域により反射(散乱)された光との光線経路(上光線及び下光線)が示されている。
図3~5に示すように、照明光学系31は、第1の照明光学系CL1、第2の照明光学系CL2及び第3の照明光学系CL3を有する。光源32は、第1の光源LS1、第2の光源LS2及び第3の光源LS3を有する。図3に示すように、第1の光源LS1からの光(照明光)は、第1の照明光学系CL1により被撮像面上の第1の領域Aに照射される。照明された第1の領域Aからの光は、第1の光学系21により第1の分割中間像A´を形成する。第1の分割中間像A´は、第2の光学系22により第1の分割像A´´として撮像面231上に形成される。図4に示すように、第2の光源LS2からの光(照明光)は、第2の照明光学系CL2により被撮像面上の第2の領域Bに照射される。照明された第2の領域Bからの光は、第1の光学系21により第2の分割中間像B´を形成する。第2の分割中間像B´は、第2の光学系22により第2の分割像B´´として撮像面231上に形成される。図5に示すように、第3の光源LS3からの光(照明光)は、第3の照明光学系CL3により被撮像面上の第3の領域Cに照射される。照明された第3の領域Cからの光は、第1の光学系21により第3の分割中間像C´を形成する。第3の分割中間像C´は、第2の光学系22により第3の分割像C´´として撮像面231上に形成される。
なお、照明系3としては、複数の照明光学系CL1,CL2,CL3のうちの2つ以上の照明光学系により、少なくとも1つの光源32が共有される構成であってもよい。
処理回路4は、メモリ5から読み出したプログラムを実行することにより、情報取得装置1の全体の動作を制御する。処理回路4は、光センサ23からの受光信号に基づいて、被撮像面に関する情報を取得する。具体的には、処理回路4は、時分割された光センサ23からの受光信号に基づいて、被撮像面に関する情報を取得する。処理回路4は、バスや各種のネットワーク等を介して、撮像系2の光センサ23、照明系の光源32及びメモリ5に対して通信可能に接続される。処理回路4としては、例えばCPU(Central Processing Unit)が利用されるが、GPU(Graphics Processing Unit)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)などの種々のプロセッサが適宜利用可能である。
メモリ5としては、ROM(Read Only Memory)やRAM(Random Access Memory)等が適宜利用可能である。例えばROMには、処理回路4によって使用されるプログラムやデータ等が格納される。また例えばRAMは、記録データのロードや環境データの格納に用いられる。メモリ5としては、HDD(Hard Disk Drive)やSSD(Solid State Drive)、CD-ROMドライブなどの記憶装置も適宜利用可能である。
なお、処理回路4及びメモリ5としては、CPU、ROM、RAM等を有する汎用のコンピュータが利用されてもよい。また、処理回路4及びメモリ5は、それぞれ、光センサ23や光源32と一体に構成されていてもよい。
図6は、図1の情報取得装置1の機能構成の一例を示す図である。処理回路4は、メモリ5に記憶されている情報取得プログラムを実行することにより、照明制御部41、撮像制御部42及び情報取得部43としての機能を実現する。
照明制御部41は、各光源LS1,LS2,LS3を順次発光させ、被撮像面上の各領域A,B,Cを順次照明する。なお、照明制御部41は、照明系3の構成に応じて、各照明光学系CL1,CL2,CL3を順次駆動させることにより、被撮像面上の各領域A,B,Cを順次照明してもよい。
撮像制御部42は、領域が照明されている間、すなわち照明制御部41が各領域を照明するタイミングに同期するタイミングで、各領域からの光に応じた受光信号を光センサ23に出力させる。
情報取得部43は、各領域に関する情報として、各領域が照明されている間に受光した光に関する光センサ23からの受光信号を取得する。換言すれば、情報取得部43は、各領域に関する情報として、光センサ23からの受光信号の時系列を、各領域の照明タイミングに応じて時分割して取得する。また、情報取得部43は、各領域に関する情報に基づいて、被撮像面に関する情報を取得する。被撮像面に関する情報(光強度情報)は、例えば被撮像面のうちの第1の光学系21の画角内の領域に関する画像などの画像情報や、被撮像面上における被検出物の有無、当該被検出物上の任意の物点までの距離、当該被検出物の形状などのTOF(Time-of-Flight)センサの光遅延情報を含む。
以下、図面を参照して、実施形態に係る情報取得装置1の作用について説明する。
図7は、図1の情報取得装置1において実行される、情報取得処理の一例を示すタイミングチャートである。図7に示す例では、任意のフレームnと、フレームnに続くフレームn+1が示されている。
照明制御部41は、各フレームの時間内において、各光源LS1,LS2,LS3を順次発光させ、被撮像面上の各領域A,B,Cを順次照明する。撮像制御部42は、各領域が照明されている間、すなわち照明制御部41が各領域を照明するタイミングに同期するタイミングで、各領域からの光に応じた受光信号を光センサ23に出力させる。また、情報取得部43は、各領域に関する情報として、各領域が照明されている間に受光した光に関する光センサ23からの受光信号を取得する。
図7に示す例では、フレームnのタイミングt0~t1と、フレームn+1のタイミングt3~t4とにおいて、被撮像面上の第1の領域Aが照明されるとともに、第1の領域Aからの光に応じた受光信号が第1の領域Aに関する情報として取得される。フレームnのタイミングt1~t2と、フレームn+1のタイミングt4~t5とにおいて、被撮像面上の第2の領域Bが照明されるとともに、第2の領域Bからの光に応じた受光信号が第2の領域Bに関する情報として取得される。フレームnのタイミングt2~t3と、フレームn+1のタイミングt5~t6とにおいて、被撮像面上の第3の領域Cが照明されるとともに、第3の領域Cからの光に応じた受光信号が第3の領域Cに関する情報として取得される。なお、各光源LS1,LS2,LS3の発光順序は任意に設定可能であり、設定された各光源の発光順序に応じて、受光信号の時系列が順次取得される。
なお、受光信号を時分割して取得する処理は、各領域が照明されている間に順次実施されてもよいし、複数の領域に関する受光信号の時系列が取得された後に実施されてもよい。この場合、各領域の照明タイミングが受光信号時系列とともに記録されればよい。
図8は、図1の第2の光学系22が中間像を3つに分割する場合の被撮像面に関する情報の取得について説明するための図である。一例として、情報取得部43は、各領域A,B,Cに関する画像データ(受光信号)をつなぎ合わせることにより、被撮像面に関する情報を取得する。
このように、本実施形態に係る情報取得装置1は、分割した領域に照明光を順次照射するため、確実にその領域の情報を得ることができる。また、情報取得装置1では、各領域を照明するタイミングと、光センサ23に到達した光強度情報を取得するタイミングとを同期させる。換言すれば、情報取得装置1では、照明系3に各領域を照明させる照明タイミングと同期するタイミングで、光センサ23からの各フレームの受光信号を領域の分割数に応じた数に時分割して取得する。ここで、本実施形態に係る撮像系2では、各領域に関する分割像A´´,B´´,C´´は、撮像面231上に重畳して形成される。このため、時間をシフトすることで、光センサ23の受光信号を互いに違った情報、すなわち各領域A,B,Cに関する情報として分離して取得することができる。ここで、各領域A,B,Cに関する画像データ(受光信号)は、それぞれ、光センサ23の物理的な解像度(画素数)に応じた解像度を有する。つまり、複数に分割された中間像の各々である小領域に関して、光センサ23の有効領域全体で取得することができるため、高解像化が容易に達成できる。したがって、本実施形態に係る情報取得装置1によれば、光センサ23の解像度より大きい解像度で被撮像面に関する情報を取得することができる。
(第2の実施形態)
第2の光学系22の第1のレンズアレイ221及び第2のレンズアレイ222としては、9つの集光素子が配列された集光素子アレイも利用可能である。図9は、図1の第2の光学系22が中間像を9つに分割する場合の被撮像面に関する情報の取得について説明するための図である。図9に示す例では、集光素子アレイの各集光素子は、縦及び横方向にそれぞれ3つ配列されているとする。このとき、被撮像面の領域や中間像は、9つに分割される。図9に示す例では、図8に示す被撮像面の各領域A,B,Cが、それぞれ3つに分割されている。この場合、情報取得装置1は、例えばA1→A2→A3→B1→B2→B3→C1→C2→C3の順に各領域に関する情報を取得し、9分割して得られた情報をつなぎ合わせて被撮像面に関する情報を取得する。なお、撮像面上の各領域A1,A2,A3からの光は、図7のフレームnでは、タイミングt0~t1の間に取得される。このとき、照明系3は、撮像面上の各領域A1,A2,A3を順次照明可能に構成され得る。なお、3分割や9分割の場合を例示したが、これに限らない。分割数は、所望の解像性能や光学系のサイズなどの各種の制限に応じて適宜設定され得る。
このように、撮像面上の第1の光学系21の画角内の複数の領域に対応する複数の分割像が撮像面231上に重畳して形成される撮像系2と、複数の領域に対応する複数の分割像を時間分割して光センサ23へ伝達する照明系3とを有する情報取得装置1によれば、各領域に関する情報として分離して取得することができるため、被投射面(被撮像面)上の情報の解像度を分割数の数に応じて増やすことが可能となる。
(第3の実施形態)
各実施形態に係る情報取得装置1は、夜間などの外部照明がない場合や、被撮像領域内に照明系3の他の発光体がない場合に、最もS/Nが高い情報を得ることができる。このような中、光センサ23が可視光に感度を有し、かつ、被撮像面から撮像面231までの光路上の光学系が一定の可視光透過率を有する場合には、照明系3が照明光を被撮像面上に照射しなくても、被撮像面からの光が光センサ23に到達する。したがって、このような場合には、撮像面上のある領域の情報を取得する際に、他の領域の情報も光センサ23に到達するため、他の領域からの光の成分がノイズとして取得される。このため、例えば情報取得部43は、照明光を被撮像面上に照射する前に、照明光の被投射領域全体、すなわち被撮像面のうちの第1の光学系21の画角全体に関する情報(情報N)を取得する。情報取得部43は、取得した情報Nをバイアス成分として、上述したようにそれぞれ単独で取得した各領域A,B,Cに関する情報から、情報Nを差し引く。この構成によれば、S/Nを向上させることが可能となる。
(第4の実施形態)
情報取得装置1は、赤外領域を含む波長の光を使用するように構成されてもよい。具体的には、照明系3の各光源LS1,LS2,LS3は、赤外領域を含む発光波長の照明光源である。また、撮像系2の各光学系は、赤外領域の波長を有する光に対してパワーを有する。また、光センサ23は、赤外領域の波長を有する光を検出可能なセンサである。この構成によれば、外光の影響を受けずに、被検出物を検出することが可能となる。
(第5の実施形態)
上述の各実施形態では、被撮像面上の各領域に応じて配置された照明系3から、選択的に各領域を照明する場合を例として説明したが、これに限らない。例えば、中間像位置又はその近傍に、対象とする領域の他の領域からの光を遮光又は偏向する手段も適宜利用可能である。
例えば、各分割中間像A´,B´,C´が形成される位置に、それぞれ光シャッタ機能を設け、時間順次に第2の光学系22に各領域A,B,Cからの光を導いてもよい。図10は、図7の情報取得処理における照明制御の別の一例について説明するための図である。図10に示す例では、分割数は、図9に示す例と同様に、縦方向に3つ、横方向に3つの9分割である。ここで、照明光学系31及び光源32は、例えば被撮像面の全体を照明するように構成される。情報取得装置1の照明系3は、図10に示す光シャッタ33さらに備える。光シャッタ33は、被撮像面の分割数に応じた数の複数のシャッタを有する。光シャッタ33は、各シャッタが独立して動作可能に構成される。光シャッタ33の各シャッタは、撮像面上の各領域に対応するように配列される。換言すれば、光シャッタ33は、複数の分割中間像にそれぞれ対応する被撮像面の領域からの光を選択的に通過させる。
照明制御部41は、各フレームにおいて、光シャッタ33の各領域A1→A1→A2→A3→B1→B2→B3→C1→C2→C3に対応する順序で各シャッタの透過/遮光を切り替える。撮像制御部42は、照明制御部41が光シャッタ33の透過領域を切り替えるタイミング、すなわち光シャッタ33に各領域からの光を通過させるタイミングに同期するタイミングで、光シャッタ33の透過領域に応じた受光信号を光センサ23に出力させる。また、情報取得部43は、各領域に関する情報として、光シャッタ33の透過領域を通過した光に関する光センサ23からの受光信号を取得する。
なお、光シャッタ33に代えて、例えばデジタルマイクロミラーアレイなどを中間像位置に配置してもよい。デジタルマイクロミラーアレイは、撮像面上の各領域に対応するように配列された各ミラーの傾斜をミラーごとに制御し、各領域からの光を偏向する。また、例えば、光シャッタ33に代えて、液晶シャッタや機械的なシャッタを中間像位置に設けることにより、被撮像面上の領域ごとに選択的に撮像面231上に結像させてもよい。これらの構成であっても、上述の実施形態と同様の効果が得られる。
(第6の実施形態)
上述の実施形態に係る技術は、TOFセンサに適用可能である。つまり、情報取得装置1は、被撮像面上における被検出物の有無や、当該被検出物上の任意の物点までの距離、当該被検出物の形状などのTOFセンサの光遅延情報を含む被撮像面に関する情報(光強度情報)を取得することもできる。
図3~5に示す構成において、照明系3は、照明光として、例えばパルス光を被撮像面の複数の領域の各々に照射可能に構成される。光センサ23は、光の遅延情報を取得するためのセンサである。情報取得部43は、照明系3がパルス光を被撮像面に照射してから、被撮像面で反射された光が撮像面231で検出されるまでの時間を計測する。情報取得部43は、計測された時間に基づいて、光センサ23の基準位置(発光点/面や撮像面231)から被検出物までの距離を取得することができる。また、2次元TOFセンサに適用する場合には、被検出物上の複数の物点までの複数の距離に基づいて、被検出物の3次元形状を取得することもできる。また、時間計測において、複数の微小な時間を区切り、その前後の区間の計測値の差分を比較することで、被検出物の移動を検出できる。なお、照明光としては、パルス光に限らず、周波数変調された連続波も適宜利用可能である。この場合、送信波と受信波との周波数差を測定して距離を算出する。
図11は、図1の情報取得装置1により実行される、情報取得処理の別の一例を示すタイミングチャートである。図11に示す例では、任意のフレームnと、フレームnに続くフレームn+1が示されている。
照明制御部41は、各フレームの時間内において、各光源LS1,LS2,LS3を順次パルス発光させ、被撮像面上の各領域A,B,Cを順次照明する。撮像制御部42は、各領域が照明された後、すなわち照明制御部41が各領域を照明するタイミングに同期するタイミングで、各領域からの光に応じた受光信号を光センサ23に出力させる。また、情報取得部43は、各領域に関する情報として、各領域が照明された後に受光した光に関する光センサ23からの受光信号を取得し、当該時分割された受光信号と、照明光の発光タイミングとに基づいて時間を計測する。
なお、図10を参照して上述した、光シャッタ33などが設けられた情報取得装置1に係る技術もTOFセンサに適用可能である。この場合、パルス光の照明は、被撮像面の全体に対して行われてもよいし、領域ごとに行われてもよい。
なお、光シャッタ33などが設けられて、被撮像面から撮像面231までの光路が、各領域に関する情報の取得タイミング間で互いに異なるように制限されている場合には、照明系3からの照明光と、被撮像面からの反射光とを同一の光線経路とすることも可能である。
このように、本実施形態に係る技術を適用したTOFセンサによれば、分割数に応じて分解能(解像度)を向上させることができる。したがって、当該TOFセンサによれば、光センサ23の分解能よりが大きい分解能で計測可能であるため、解像性能を向上させることができる。例えば3分割した場合には、3倍の解像度で計測可能である。
なお、被撮像面上の対象の領域ごとに1回のパルス照明を行う場合を例として説明したが、これに限らない。情報取得の期間中、被撮像面上の対象の領域に複数回パルス照射したり、複数回変調駆動したりすることにより、計測精度をさらに向上させることができる。
(第7の実施形態)
上述した各実施形態では、分割された複数の領域が同一のサイズである場合、すなわち各領域に関する取り込み画角が同一である場合を例として説明したが、これに限らない。集光レンズアレイの集光素子の配列数が増加すると、集光素子間の境界部が増加するため、境界部の情報が正しく取得されないおそれがある。
図12は、図1の第2の光学系22の構成の別の一例を示す図である。図13は、図12の第2の光学系22が中間像を9つに分割する場合の被撮像面に関する情報の取得について説明するための図である。例えば図13に示すように、被撮像領域の中央部には、周辺部より優先度の高い情報が存在することがある。このような中、被撮像面上を複数の領域に分割する場合、その境界部に関するデータが欠落するおそれがある。そこで、本実施形態に係る情報取得装置1では、中央部の欠落データをなくすために、中央部の領域が周辺部の領域より大きくなるように、被撮像面上を複数の領域に分割する。具体的には、図12に示すように、本実施形態に係る集光素子アレイにおいて、中央部に配置される集光素子のサイズは、周辺部に配置される集光素子のサイズより大きい。なお、分割された中間像(分割中間像)の各々を光センサ23の撮像面231上に結像させるため、各レンズ(集光素子)の間において、サイズは異なるが、焦点距離は概略一致している。なお、第1の光学系21は、第2の光学系22の構成と同様の構成を有する。この構成によれば、被撮像領域内で比較的重要な情報が存在することが多い中央部に関して、境界部が現れる頻度を小さくすることができる。つまり、集光レンズアレイの各集光素子間でのデータの欠落をなくすことができる。また、一般に、撮像レンズ(各集光素子)の周辺部を通過した光を撮像すると、収差により解像度が低下する。つまり、集光レンズアレイの中央部に、集光レンズアレイの各集光素子間の境界部が現れる頻度を小さくすることにより、この各集光素子の周辺解像の小ささを補完できるという効果もある。
なお、被撮像領域の周辺部に、中央部より優先度の高い情報が存在する場合もあり得る。この場合には、周辺部の領域が中央部の領域より大きくなるように、被撮像面上を複数の領域に分割する。具体的には、本実施形態に係る集光素子アレイにおいて、周辺部に配置される集光素子のサイズは、中央部に配置される集光素子のサイズより大きい。この構成によれば、周辺部に境界部が現れる頻度を小さくすることができる。つまり、被撮像領域のレンズアレイ間のデータの欠落をなくすことができ、また、各集光素子の周辺解像の小ささを補完できる。
このように、本実施形態に係る集光レンズアレイにおいて、隣接する各集光素子のサイズは互いに異なる。このように、精度を高めたい領域に対応する各集光素子のサイズを適宜大きくすることで、レンズアレイ間で生じる、被撮像領域に関するデータの欠落を低減できる。
(第8の実施形態)
上述の各実施形態に係る第1のレンズアレイ221は、例えば図2に示すように、配列されているレンズ(集光素子)ごとにレンズ中心を有している。つまり、第1のレンズアレイ221は、配列されているレンズごとに光軸を有しているため、複数の光軸(光軸群)を有する。一方で、光センサ23の物体側であって、撮像系2の光センサ23に近い側に配置された集光素子(結像レンズ)は、単レンズ又は共通の光軸を有する複合レンズ(組レンズ)である。このような中、第1のレンズアレイ221の光軸群のうちの中央の光軸と、結像レンズの光軸とは、略一致していることが好ましい。
しかしながら、第1のレンズアレイ221の光軸群のうちの中央の光軸と、結像レンズの光軸とを略一致させた場合には、第1のレンズアレイ221の周辺部に配置された集光素子の光軸と、結像レンズの光軸は一致しない。したがって、第1のレンズアレイ221の中央部のレンズで形成される像と、周辺部のレンズで形成される像とは、倍率誤差や、歪の度合いが必ずしも一致しない。換言すれば、複数の分割中間像にそれぞれ対応する撮像面231上の各分割像A´´,B´´,C´´に発生する光学的な収差は、各領域の間で異なる。
そこで、本実施形態に係るメモリ5は、それぞれの領域で発生する収差の量をあらかじめテーブルとして記憶している。収差は、倍率誤差や球面収差、コマ収差、非点収差などの領域ごとに異なる収差を含む。テーブルは、収差の種類ごとにメモリ5に用意されていてもよい。例えば歪量に関して、処理回路4の情報取得部43は、領域ごとの歪補正データ(テーブル)を用いて画像処理を施し、それぞれの領域で異なった歪量で光センサ23上に形成される分割像を歪補正する。換言すれば、情報取得部43は、複数の領域それぞれに適した画像処理パラメータを用いて補正を行う。情報取得部43は、補正された情報を合成して1つの被撮像情報(被撮像面に関する情報)として生成する。
このように、本実施形態に係る情報処理装置1は、複数の分割中間像にそれぞれ対応する撮像面231上の各分割像に発生する光学的な収差を、領域ごとに補正する画像処理を行う。また、当該画像処理においては、複数の分割中間像に対応する複数の領域のうちの少なくとも2つの領域に関して、互いに異なるパラメータを用いて分割像を補正する。このため、第1のレンズアレイ221の周辺部に配置されたレンズと、中央部に配置されたレンズとの間で歪量が異なっていても、個別に補正することができるので被撮像として正しい情報を得ることができる。
(第9の実施形態)
なお、第1のレンズアレイ221において、各集光素子の間の境界部を完全にゼロにすることはできないため、データが欠落する場合もある。そこで、取り込み画像の機械学習を行うことで欠落したデータを補完して、被撮像情報を生成してもよい。つまり、本実施形態に係る情報取得装置1は、境界部のデータが欠落した画像データの入力に応じて、欠落した境界部のデータが補完された画像データを出力するようにパラメータが学習された機械学習モデルを使用して、複数の分割像の各々を補正してもよい。機械学習モデルの入出力データは、各領域の画像データに限らず、各領域の受光信号であってもよい。情報取得部43は、光センサ23からの時分割された受光信号又は当該受光信号に基づいて生成された各領域の画像データを機械学習モデルに入力する。また、情報取得部43は、機械学習モデルの出力を取得する。このような機械学習モデルは、例えば高解像度の光センサを用いて得られた受光信号又は画像データを正解データとして学習されればよい。なお、入力側の学習用データは、高解像度の光センサを用いて得られた受光信号又は画像データから生成されてもよい。
なお、機械学習モデルは、複数の関数が合成されたパラメータ付き合成関数であり、複数の調整可能な関数及びパラメータの組合せにより定義されるとする。機械学習モデルは、複数の調整可能な関数及びパラメータの組合せにより定義される如何なるパラメータ付き合成関数であってもよい。なお、機械学習モデルは、畳み込みニューラルネットワーク(CNN)であってもよいし、全結合のネットワークであってもよい。なお、学習済みの機械学習モデルのパラメータは、例えばメモリ5に記憶されているとする。
(第10の実施形態)
図14は、図1の撮像系2及び照明系3の構成の別の一例を示す断面図である。図14の構成において、照明系3の光源32は、第1の波長λ1の光を発する第1の光源LS1と、第2の波長λ2の光を発する第2の光源LS2とを有する。ここで、波長λ1の光とは、波長スペクトルのピーク波長が波長λ1である光を言う。同様に、波長λ2の光とは、波長スペクトルのピーク波長が波長λ2である光を言う。第1の光源LS1及び第2の光源LS2は、被撮像面上の同一の領域を照射する。第1の光学系21は、被投射面(被撮像面)からの光を、被撮像面の共役面である結像面に配置された光センサ23の撮像面231上に結像する。第2の光学系22は、第1の光学系21の光路上に配置され、被撮像面からの光を、当該光の波長に応じた方向へ偏向する。具体的には、第2の光学系22は、第1の光学系21と、光センサ23との間に配置される。また、第2の光学系22は、一例として、平板状の回折格子である。回折格子としての第2の光学系22は、第1の波長λ1に対しては第1次偏向角α1を有し、第2の波長λ2に対しては第1次偏向角α2を有し、いずれの波長に対しても第1次偏向角の強度が最も強くなるように設計されているとする。なお、回折格子としては、0次光の少ないブレーズドタイプが望ましい。
図14に示すように、回折格子としての第2の光学系22によって、被撮像面上の同一の領域からの光のうち、第1の波長λ1の光と、第2の波長λ2の光とは、光センサ23の撮像面231上のわずかにずれた位置に結像する。この撮像面231上でのズレ量をΔとする。このとき、第1の光学系21及び第2の光学系22によって、撮像面231上の同一の領域に結像する光は、被撮像面上の領域のうちの異なる領域からの光である。つまり、本実施形態に係る第2の光学系22は、第1の光学系21により伝達可能な被撮像面の領域のうちの、撮像面231上でのズレ量Δに応じた量だけずれた複数の領域からの光を、撮像面231のうちの同一の領域に結像する光学系である。
回折格子としての第2の光学系22は、撮像面231上でのズレ量Δが光センサ23の画素ピッチの整数倍の値とならないように、回折角度が設計されている。一例として、撮像面231上でのズレ量Δは、光センサ23の半画素ピッチである。
照明制御部41は、各光源LS1,LS2を順次発光させ、被撮像面上の同一の領域を順次照明する。撮像制御部42は、領域が照明されている間、すなわち照明制御部41が各波長の光を被撮像面上に照射するタイミングに同期するタイミングで、被撮像面からの光に応じた受光信号を光センサ23に出力させる。情報取得部43は、光の波長ごとの被撮像面に関する情報として、光センサ23からの受光信号の時系列を、各波長の光の照明タイミングに応じて時分割して取得する。情報取得部43は、光の波長ごとの被撮像面に関する情報を合成し、光センサ23の画素数の約2倍の数のデータを取得する。
構成によれば、一方の波長の光によって各画素の間に形成される像と、他方の波長の光によって各画素に形成される光とを読み取ることができるため、光センサ23の物理的な解像度より大きい解像度に高解像化することができる。
なお、撮像面231上でのズレ量Δは、半画素ピッチに限らず、1.5画素ピッチや2.5画素ピッチなどあっても構わない。これらのズレ量Δの場合には、情報取得後の処理において補正すればよい。また、後処理において補正する場合には、2波長の場合であっても、0.5画素ピッチ単位のズレ量Δでなくてもよい。また、後処理における補正は、超解像と同様にして実施されても構わない。
なお、本実施形態では、2波長を使用する場合を例示したが、3波長以上の複数の波長が使用されてもよい。撮像面231上でのズレ量Δを、使用される波長の数の逆数の値とすれば、簡易に画素間を補完することができる。また、第2の光学系22として平板状の回折格子を利用するため、第1の光学系21(撮像光学系)の構成を変更することなく光学系に配置できる。
(第11の実施形態)
図15は、図14の撮像系2及び照明系3の構成の別の一例を示す断面図である。本実施形態に係る第1の光学系21は、少なくとも2つの光学素子を有する。図15に示す例では、第1の光学系21は、第1の光学素子211及び第2の光学素子212を有する。第1の光学素子211及び第2の光学素子212としては、例えばレンズが利用可能である。本実施形態に係る第2の光学系22は、第1の光学系21の少なくとも2つの光学素子の間に配置される。第2の光学系22は、第1の光学系21の絞り位置に配置することが望ましい。この構成によれば、第1の光学系21の内部に第2の光学系22が配置されるため、第2の光学系22の配置精度の要求を緩和することができる。
また、本実施形態に係る技術によれば、第1の光学系21及び第2の光学系22を一体に形成することもできる。一体化された第1の光学系21及び第2の光学系22によれば、各素子の保持精度を向上させることができるため、結像性能の品質を向上できる。
なお、第10の実施形態及び第11の実施形態において、透過タイプの第2の光学系22を例示したが、これに限らない。第2の光学系22としては、透過タイプであってもよいし、反射タイプであってもよい。また、第2の光学系22として最も好適な回折格子を例示したが、これに限らない。第2の光学系22としては、波長依存性を有する光学素子であればよい。第2の光学系22としては、高い分散特性を有する光学素子も適宜利用可能である。
なお、第1~9の実施形態において、各分割中間像が形成される位置に領域ごとに異なる波長選択性を有するカラーフィルタなどが設けられている場合や、第10~11の実施形態において、光センサ23からの受光信号(画像データ)がカラー分離されることにより、波長ごとの情報が取得されてもよい。この場合には、照明光を順次照明したり、受光信号を時分割して取得したりしなくてもよい。
なお、各実施形態に係る技術は、適宜組合せ可能である。例えば、第10~11の実施形態に係る撮像系2及び照明系3の構成がTOFセンサに適用されてもよい。
各実施形態に係る情報取得装置1は、CPUなどの制御装置と、ROMやRAMなどの記憶装置と、HDD、CDドライブ装置などの外部記憶装置と、ディスプレイ装置などの表示装置と、キーボードやマウスなどの入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっていても構わない。
各実施形態に係る情報取得装置1で実行される情報取得プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD-ROM、フレキシブルディスク(FD)、CD-R、DVD(Digital Versatile Disk)等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、各実施形態に係る情報取得装置1で実行される情報取得プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の~装置で実行される情報取得プログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。
また、各実施形態に係る情報取得装置1で実行される情報取得プログラムを、ROM等に予め組み込んで提供するように構成してもよい。
各実施形態に係る情報取得装置1で実行される情報取得プログラムは、上述した各部(照明制御部41、撮像制御部42及び情報取得部43)を含むモジュール構成となっており、実際のハードウェアとしてはCPU(プロセッサ)が上記記憶媒体から情報取得プログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、照明制御部41、撮像制御部42及び情報取得部43が主記憶装置上に生成されるようになっている。
1 情報取得装置
2 撮像系
3 照明系
4 処理回路
5 メモリ
21 第1の光学系
22 第2の光学系
23 光センサ
31,CL1,CL2,CL3 照明光学系
32,LS1,LS2,LS3 光源
33 光シャッタ
41 照明制御部
42 撮像制御部
43 情報取得部
211 第1の光学素子
212 第2の光学素子
221 第1のレンズアレイ
222 第2のレンズアレイ
223 結像レンズ
231 撮像面
特開2016-035398号公報

Claims (15)

  1. 光の遅延情報を取得するセンサであって、撮像面へ入射する光の強度分布に応じた受光信号を出力する光センサと、
    被撮像面からの光を前記被撮像面の共役面に伝達する第1の光学系と、
    前記第1の光学系により伝達可能な前記被撮像面の領域のうちの複数の領域からの光を前記撮像面のうちの同一の領域に結像する第2の光学系と、
    時分割された前記受光信号に基づいて、前記被撮像面に関する情報を取得する処理回路と
    を具備する情報取得装置。
  2. 前記第1の光学系は、前記被撮像面から前記撮像面までの光路上の前記被撮像面の前記第1の光学系を介した共役面に中間像を形成し、
    前記第2の光学系は、前記第1の光学系から前記撮像面までの光路上に配置され、前記中間像を分割し、複数の分割中間像をそれぞれ前記撮像面の同一の領域に結像する、
    請求項1に記載の情報取得装置。
  3. 前記複数の分割中間像の各々は、対応する前記被撮像面の各領域からの光により形成される、請求項2に記載の情報取得装置。
  4. 前記複数の分割中間像にそれぞれ対応する前記被撮像面の領域ごとに照明可能な照明系をさらに備え、
    前記処理回路は、前記照明系に前記各領域を照明させる照明タイミングと同期するタイミングで、前記光センサからの前記受光信号を時分割して取得する、
    請求項3に記載の情報取得装置。
  5. 前記照明系は、赤外領域を含む発光波長の照明光源を有する、請求項4に記載の情報取得装置。
  6. 前記複数の分割中間像にそれぞれ対応する前記被撮像面の領域からの光を選択的に通過させる光シャッタをさらに備え、
    前記処理回路は、前記光シャッタに前記各領域からの光を通過させるタイミングと同期するタイミングで、前記光センサからの前記受光信号を時分割して取得する、
    請求項3から請求項5のうちのいずれか1項に記載の情報取得装置。
  7. 前記第2の光学系は、
    前記複数の分割中間像にそれぞれ対応した集光素子が配列された1つの集光素子アレイと、
    前記集光素子アレイを通過した前記複数の分割中間像に対応する光をそれぞれ前記撮像面の同一の領域に結像する1つ又は複数の集光素子と
    を有する、請求項2から請求項6のうちのいずれか1項に記載の情報取得装置。
  8. 前記集光素子アレイにおいて、各集光素子は、矩形状又はハニカム状に配列される、請求項7に記載の情報取得装置。
  9. 前記集光素子アレイにおいて、隣接する各集光素子のサイズは、互いに異なる、請求項8に記載の情報取得装置。
  10. 前記集光素子アレイにおいて、中央部の集光素子のサイズは、周辺部の集光素子のサイズより大きい、請求項9に記載の情報取得装置。
  11. 前記処理回路は、前記複数の分割中間像にそれぞれ対応する、前記撮像面に形成される分割像に発生する光学的な収差を、前記複数の分割中間像の各々に対応する領域ごとに補正する画像処理を実行する、請求項2から請求項10のうちのいずれか1項に記載の情報取得装置。
  12. 前記処理回路は、前記画像処理において、前記複数の分割中間像に対応する前記複数の領域のうちの少なくとも2つの領域に関して、互いに異なるパラメータを用いて補正する、請求項11に記載の情報取得装置。
  13. 前記第2の光学系は、前記第1の光学系の光路上に配置され、前記被撮像面からの光を、当該光の波長に応じた方向へ偏向し、
    前記時分割された受光信号は、当該光の波長ごとの前記被撮像面に関する情報である、
    請求項1に記載の情報取得装置。
  14. 前記第2の光学系は、回折格子である、請求項13に記載の情報取得装置。
  15. 前記第1の光学系は、少なくとも2つの光学素子を有し、
    前記第2の光学系は、前記少なくとも2つの光学素子の間に配置される、
    請求項13又は14に記載の情報取得装置。
JP2019217478A 2019-11-29 2019-11-29 情報取得装置 Active JP7380146B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019217478A JP7380146B2 (ja) 2019-11-29 2019-11-29 情報取得装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019217478A JP7380146B2 (ja) 2019-11-29 2019-11-29 情報取得装置

Publications (2)

Publication Number Publication Date
JP2021087199A JP2021087199A (ja) 2021-06-03
JP7380146B2 true JP7380146B2 (ja) 2023-11-15

Family

ID=76085885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019217478A Active JP7380146B2 (ja) 2019-11-29 2019-11-29 情報取得装置

Country Status (1)

Country Link
JP (1) JP7380146B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007047660A2 (en) 2005-10-16 2007-04-26 Mediapod Llc Apparatus, system and method for increasing quality of digital image capture
JP2009272758A (ja) 2008-05-01 2009-11-19 Nippon Hoso Kyokai <Nhk> カラー撮像装置
JP2017034722A (ja) 2016-11-04 2017-02-09 株式会社ニコン 画像処理装置および撮像装置
JP2017207695A (ja) 2016-05-20 2017-11-24 株式会社ニコン 光学装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007047660A2 (en) 2005-10-16 2007-04-26 Mediapod Llc Apparatus, system and method for increasing quality of digital image capture
JP2009512396A (ja) 2005-10-16 2009-03-19 メディアポッド リミテッド ライアビリティ カンパニー デジタル映像捕獲の質を高めるための装置、システム及び方法
JP2009272758A (ja) 2008-05-01 2009-11-19 Nippon Hoso Kyokai <Nhk> カラー撮像装置
JP2017207695A (ja) 2016-05-20 2017-11-24 株式会社ニコン 光学装置
JP2017034722A (ja) 2016-11-04 2017-02-09 株式会社ニコン 画像処理装置および撮像装置

Also Published As

Publication number Publication date
JP2021087199A (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
US11002538B2 (en) Device, method, and medium for measuring distance information using a parallax calculated from multi-viewpoint images
JP2022001882A (ja) 測距装置及び移動体
US10345684B2 (en) Pattern projection and imaging using lens arrays
JP6784295B2 (ja) 距離測定システム、距離測定方法およびプログラム
JP6484072B2 (ja) 物体検出装置
JP6478725B2 (ja) 計測装置及びロボット
US9383549B2 (en) Imaging system
US9402067B2 (en) Imaging optical system for 3D image acquisition apparatus, and 3D image acquisition apparatus including the imaging optical system
KR101974578B1 (ko) 3차원 영상 획득 장치용 결상 광학계 및 이를 포함하는 3차원 영상 획득 장치
US20170142406A1 (en) Apparatus for and method of illumination control for acquiring image information and depth information simultaneously
EP3683542B1 (en) Distance measuring module
EP3170025B1 (en) Wide field-of-view depth imaging
JP2019502921A (ja) Lidar式走査装置およびlidar式走査システム
WO2019204479A1 (en) Image reconstruction from image sensor output
JP2013124985A (ja) 複眼式撮像装置および測距装置
US11601607B2 (en) Infrared and non-infrared channel blender for depth mapping using structured light
JP2019216376A (ja) 画像処理装置、撮像装置、および画像処理方法
US10362235B2 (en) Processing apparatus, processing system, image pickup apparatus, processing method, and storage medium
US20230291885A1 (en) Stereoscopic image capturing systems
JP2006322795A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11812137B2 (en) Measurement apparatus, image capturing apparatus, control method, and recording medium
US10084978B2 (en) Image capturing apparatus and image processing apparatus
JP2017167126A (ja) 測距装置及び移動体
JP7380146B2 (ja) 情報取得装置
US10900770B2 (en) Distance measuring device, imaging apparatus, moving device, robot device, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231016

R151 Written notification of patent or utility model registration

Ref document number: 7380146

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151