JP2020139937A - 測距装置及び電子機器 - Google Patents
測距装置及び電子機器 Download PDFInfo
- Publication number
- JP2020139937A JP2020139937A JP2019173702A JP2019173702A JP2020139937A JP 2020139937 A JP2020139937 A JP 2020139937A JP 2019173702 A JP2019173702 A JP 2019173702A JP 2019173702 A JP2019173702 A JP 2019173702A JP 2020139937 A JP2020139937 A JP 2020139937A
- Authority
- JP
- Japan
- Prior art keywords
- distance
- light
- control
- subject
- exposure
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
【課題】光源から測距範囲のより広い区間に対して光を十分に照射し、測距範囲のより広い区間に亘って自動露光制御による露光変動が起こるようにした測距装置、及び、当該測距装置を有する電子機器を提供する。【解決手段】本開示の測距装置1は、被写体に対して光を照射する光源20、光源20からの照射光に基づく、被写体からの反射光を受光する光検出部30、及び、測距装置1と被写体との間の距離に応じて露光制御を行う制御部40を備える。また、本開示の電子機器は、上記の構成の測距装置を有する。【選択図】図2
Description
本開示は、測距装置及び電子機器に関する。
被写体までの距離情報(距離画像情報)を取得する測距装置(距離測定装置)として、ToF(Time of Flight:光飛行時間)方式を利用した装置(センサ)がある(例えば、特許文献1参照)。ToF方式は、被写体(測定対象物)に対して光源から光を照射し、その照射光が被写体で反射されて光検出部に戻ってまでの光の飛行時間を検出することにより、被写体までの距離を測定する方式である。
ToF方式の測距装置では、光源に対する自動露光(AE:Automatic Exposure)の制御が行われる。このAE制御では、高品質な距離画像(Depth Map)を取得するために、飽和閾値をターゲットとして、当該飽和閾値を超えない範囲で最大の信頼値(Confidence)レベルを取得できるように制御が行われる。
しかしながら、消費電力の許容限界や光源のレーザ出力強度の設定限界などによって、光源から測距範囲の全区間に対して光の照射を行うことができず、例えば近距離の一部の区間でしか自動露光制御による露光変動が起こらないという状況にあった。
そこで、本開示は、光源から測距範囲のより広い区間に対して光を十分に照射し、測距範囲のより広い区間に亘って自動露光制御による露光変動が起こるようにした測距装置、及び、当該測距装置を有する電子機器を提供することを目的とする。
上記の目的を達成するための本開示の測距装置は、
被写体に対して光を照射する光源、
光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
測距装置と被写体との間の距離に応じて露光制御を行う制御部を備える。
被写体に対して光を照射する光源、
光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
測距装置と被写体との間の距離に応じて露光制御を行う制御部を備える。
また、上記の目的を達成するための本開示の電子機器は、上記の構成の測距装置を有する。
以下、本開示の技術を実施するための形態(以下、「実施形態」と記述する)について図面を用いて詳細に説明する。本開示の技術は実施形態に限定されるものではなく、実施形態における種々の数値などは例示である。以下の説明において、同一要素又は同一機能を有する要素には同一符号を用いることとし、重複する説明は省略する。尚、説明は以下の順序で行う。
1.本開示の測距装置及び電子機器、全般に関する説明
2.ToF方式の測距システム
3.本開示の技術が適用される測距装置
3−1.システム構成
3−2.光検出部の構成例
3−3.画素の回路構成例
4.距離と信頼値(Confidence)のダイナミックについて
5.従来例に係るAE制御
6.第1実施形態に係るAE制御(遠景、近景、及び、超近景におけるAE制御の例)
6−1.露光時間の計算処理について
6−2.距離に応じたAE制御の仕組みについて
6−3.AE制御の具体的な処理の流れについて
6−4.発光・露光条件の制御について
7.第2実施形態に係るAE制御(超近景におけるAE制御の変形例)
8.変形例
9.応用例
10.本開示の電子機器(スマートフォンの例)
11.本開示がとることができる構成
1.本開示の測距装置及び電子機器、全般に関する説明
2.ToF方式の測距システム
3.本開示の技術が適用される測距装置
3−1.システム構成
3−2.光検出部の構成例
3−3.画素の回路構成例
4.距離と信頼値(Confidence)のダイナミックについて
5.従来例に係るAE制御
6.第1実施形態に係るAE制御(遠景、近景、及び、超近景におけるAE制御の例)
6−1.露光時間の計算処理について
6−2.距離に応じたAE制御の仕組みについて
6−3.AE制御の具体的な処理の流れについて
6−4.発光・露光条件の制御について
7.第2実施形態に係るAE制御(超近景におけるAE制御の変形例)
8.変形例
9.応用例
10.本開示の電子機器(スマートフォンの例)
11.本開示がとることができる構成
<本開示の測距装置及び電子機器、全般に関する説明>
本開示の測距装置及び電子機器にあっては、制御部について、光検出部が出力する信号値に基づいて露光制御を行う構成とすることができる。また、制御部について、光検出部が出力する現フレームの撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を制御する構成とすることができる。
本開示の測距装置及び電子機器にあっては、制御部について、光検出部が出力する信号値に基づいて露光制御を行う構成とすることができる。また、制御部について、光検出部が出力する現フレームの撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を制御する構成とすることができる。
上述した好ましい構成を含む本開示の測距装置及び電子機器にあっては、制御部について、相対的に遠景の制御においては、指定した第1信頼値を維持するように露光制御を行う構成とすることができる。また、制御部について、相対的に近景の制御においては、指定した露光時間を維持するように露光制御を行う構成とすることができる。
また、上述した好ましい構成を含む本開示の測距装置及び電子機器にあっては、制御部について、光検出部に入射する環境光成分と、被写体からの反射光成分とを分離し、反射光成分を制御対象とする構成とすることができる。また、制御部について、光検出器が出力する画像データを基に環境光成分を推定し、反射光成分と環境光成分とを分離する構成とすることができる。
また、上述した好ましい構成を含む本開示の測距装置及び電子機器にあっては、制御部について、反射光成分のノイズ量を、光検出部が出力する信号値を参照して適応的に制御する構成とすることができる。
また、上述した好ましい構成を含む本開示の測距装置及び電子機器にあっては、光検出部の画素毎に検出した距離情報を含む現フレームの画像データを用いて距離画像を取得する処理を行う測距部を備える構成とすることができる。
また、上述した好ましい構成を含む本開示の測距装置及び電子機器にあっては、制御部について、相対的に超近景の制御においては、指定した第2信頼値を維持するように露光制御を行う構成とすることができる。超近景については、被写体までの距離(即ち、測距装置と被写体との間の距離)が、測距対象外の被写体の存在によって散乱光の影響が発生するような近い距離とすることができる。
<ToF方式の測距システム>
図1は、ToF方式の測距システムの概念図である。本例に係る測距装置1では、測定対象物である被写体10までの距離を測定する測定方式として、ToF方式が採用されている。ToF方式は、被写体10に向けて照射した光が、当該被写体10で反射されて戻ってくるまでの時間を測定する方式である。ToF方式による距離測定を実現するために、測距装置1は、被写体10に向けて照射する光(例えば、赤外の波長領域にピーク波長を有するレーザ光)を出射する光源20、及び、被写体10で反射されて戻ってくる反射光を検出する光検出部30を備えている。
図1は、ToF方式の測距システムの概念図である。本例に係る測距装置1では、測定対象物である被写体10までの距離を測定する測定方式として、ToF方式が採用されている。ToF方式は、被写体10に向けて照射した光が、当該被写体10で反射されて戻ってくるまでの時間を測定する方式である。ToF方式による距離測定を実現するために、測距装置1は、被写体10に向けて照射する光(例えば、赤外の波長領域にピーク波長を有するレーザ光)を出射する光源20、及び、被写体10で反射されて戻ってくる反射光を検出する光検出部30を備えている。
<本開示の技術が適用される測距装置>
[システム構成]
図2は、本開示の技術が適用されるToF方式の測距装置の構成の一例を示すブロック図である。本適用例に係る測距装置1(即ち、本開示の測距装置1)は、光源20及び光検出部30の他に、光検出部30が出力する信号値に基づいて露光制御を行うAE制御部40、及び、測距部50を備えている。そして、本適用例に係るToF方式の測距装置1は、光検出部30の画素毎に距離情報を検出し、高精度な距離画像(Depth Map:深度マップ)を撮像フレームの単位で取得することができる。
[システム構成]
図2は、本開示の技術が適用されるToF方式の測距装置の構成の一例を示すブロック図である。本適用例に係る測距装置1(即ち、本開示の測距装置1)は、光源20及び光検出部30の他に、光検出部30が出力する信号値に基づいて露光制御を行うAE制御部40、及び、測距部50を備えている。そして、本適用例に係るToF方式の測距装置1は、光検出部30の画素毎に距離情報を検出し、高精度な距離画像(Depth Map:深度マップ)を撮像フレームの単位で取得することができる。
本適用例に係る測距装置1は、光源20から発した光が測定対象物(被写体)で反射し、その反射光の光検出部30への到達位相差の検出に基づいて光飛行時間を計測することによって、測距装置1から測定対象物までの距離を測定する間接(Indirect)ToF方式の距離画像センサである。
光源20は、AE制御部40による制御の下に、オン/オフ動作を所定の周期で繰り返すことによって測定対象物に向けて光を照射する。光源20の照射光としては、例えば、850nm付近の近赤外光が利用されることが多い。光検出部30は、光源20からの照射光が測定対象物で反射されて戻ってくる光を受光し、画素毎に距離情報を検出する。光検出部30からは、画素毎に検出した距離情報を含む現フレームのRAW画像データ、及び、発光・露光設定情報が出力され、AE制御部40及び測距部50に供給される。
AE制御部40は、次フレーム発光・露光条件計算部41及び次フレーム発光・露光制御部42を有する構成となっている。次フレーム発光・露光条件計算部41は、光検出部30から供給される現フレームのRAW画像データ、及び、発光・露光設定情報に基づいて、次フレームの発光・露光条件を計算する。次フレームの発光・露光条件は、次フレームの距離画像を取得する際の光源20の発光時間や発光強度、及び、光検出部30の露光時間である。次フレーム発光・露光制御部42は、次フレーム発光・露光条件計算部41で算出された次フレームの発光・露光条件に基づいて、次フレームの光源20の発光時間や発光強度、及び、光検出部30の露光時間を制御する。
測距部50は、距離画像を計算する距離画像計算部51を有する構成となっている。距離画像計算部51は、光検出部30の画素毎に検出した距離情報を含む現フレームのRAW画像データを用いて計算を行うことによって距離画像を算出し、奥行き情報である深度情報、及び、受光情報である信頼値情報を含む距離画像情報として測距装置1外へ出力する。ここで、距離画像とは、例えば、画素毎に検出した距離情報に基づく距離値(深度/奥行きの値)がそれぞれ画素に反映された画像である。
[光検出部の構成例]
ここで、光検出部30の具体的な構成例について、図3を用いて説明する。図3は、光検出部30の構成の一例を示すブロック図である。
ここで、光検出部30の具体的な構成例について、図3を用いて説明する。図3は、光検出部30の構成の一例を示すブロック図である。
光検出部30は、センサチップ31、及び、当該センサチップ31に対して積層された回路チップ32を含む積層構造を有している。この積層構造において、センサチップ31と回路チップ32とは、ビア(VIA)やCu−Cu接合などの接続部(図示せず)を通して電気的に接続される。尚、図3では、センサチップ31の配線と回路チップ32の配線とが、上記の接続部を介して電気的に接続された状態を図示している。
センサチップ31上には、画素アレイ部33が形成されている。画素アレイ部33は、センサチップ31上に2次元のグリッドパターンで行列状(アレイ状)に配置された複数の画素34を含んでいる。画素アレイ部33において、複数の画素34はそれぞれ、入射光(例えば、近赤外光)を受光し、光電変換を行ってアナログ画素信号を出力する。画素アレイ部33には、画素列毎に、2本の垂直信号線VSL1,VSL2が配線されている。画素アレイ部33の画素列の数をM(Mは、整数)とすると、合計で(2×M)本の垂直信号線VSLが画素アレイ部33に配線されている。
複数の画素34はそれぞれ、第1のタップA及び第2のタップB(その詳細については後述する)を有している。2本の垂直信号線VSL1,VSL2のうち、垂直信号線VSL1には、対応する画素列の画素34の第1のタップAの電荷に基づくアナログの画素信号AINP1が出力される。また、垂直信号線VSL2には、対応する画素列の画素34の第2のタップBの電荷に基づくアナログの画素信号AINP2が出力される。アナログの画素信号AINP1,AINP2については後述する。
回路チップ32上には、行選択部35、カラム信号処理部36、出力回路部37、及び、タイミング制御部38が配置されている。行選択部35は、画素アレイ部33の各画素34を画素行の単位で駆動し、画素信号AINP1,AINP2を出力させる。行選択部35による駆動の下に、選択行の画素34から出力されたアナログの画素信号AINP1,AINP2は、2本の垂直信号線VSL1,VSL2を通してカラム信号処理部36に供給される。
カラム信号処理部36は、画素アレイ部33の画素列に対応して、例えば、画素列毎に設けられた複数のアナログ−デジタル変換器(ADC)39を有する構成となっている。アナログ−デジタル変換器39は、垂直信号線VSL1,VSL2を通して供給されるアナログの画素信号AINP1,AINP2に対して、アナログ−デジタル変換処理を施し、出力回路部37に出力する。出力回路部37は、カラム信号処理部36から出力されるデジタル化された画素信号AINP1,AINP2に対してCDS(Correlated Double Sampling:相関二重サンプリング)処理などを実行し、回路チップ32外へ出力する。
タイミング制御部38は、各種のタイミング信号、クロック信号、及び、制御信号等を生成し、これらの信号を基に、行選択部35、カラム信号処理部36、及び、出力回路部37等の駆動制御を行う。
[画素の回路構成例]
図4は、光検出部30における画素34の回路構成の一例を示す回路図である。
図4は、光検出部30における画素34の回路構成の一例を示す回路図である。
本例に係る画素34は、光電変換部として、例えば、フォトダイオード341を有している。画素34は、フォトダイオード341の他、オーバーフロートランジスタ342、2つの転送トランジスタ343,344、2つのリセットトランジスタ345,346、2つの浮遊拡散層347,348、2つの増幅トランジスタ349、350、及び、2つの選択トランジスタ351,352を有する構成となっている。2つの浮遊拡散層347,348は、先述した図3に示す第1,第2のタップA,B(以下、単に、「タップA,B」と記述する場合がある)に相当する。
フォトダイオード341は、受光した光を光電変換して電荷を生成する。フォトダイオード341については、例えば、基板裏面側から照射される光を取り込む裏面照射型の画素構造とすることができる。但し、画素構造については、裏面照射型の画素構造に限られるものではなく、基板表面側から照射される光を取り込む表面照射型の画素構造とすることもできる。
オーバーフロートランジスタ342は、フォトダイオード341のカソード電極と電源電圧VDDの電源ラインとの間に接続されており、フォトダイオード341をリセットする機能を持つ。具体的には、オーバーフロートランジスタ342は、行選択部35から供給されるオーバーフローゲート信号OFGに応答して導通状態になることで、フォトダイオード341の電荷をシーケンシャルに電源電圧VDDの電源ラインに排出する。
2つの転送トランジスタ343,344は、フォトダイオード341のカソード電極と2つの浮遊拡散層347,348(タップA,B)のそれぞれとの間に接続されている。そして、転送トランジスタ343,344は、行選択部35から供給される転送信号TRGに応答して導通状態になることで、フォトダイオード341で生成された電荷を、浮遊拡散層347,348にそれぞれシーケンシャルに転送する。
第1,第2のタップA,Bに相当する浮遊拡散層347,348は、フォトダイオード341から転送された電荷を蓄積し、その電荷量に応じた電圧値の電圧信号に変換し、アナログの画素信号AINP1,AINP2を生成する。
2つのリセットトランジスタ345,346は、2つの浮遊拡散層347,348のそれぞれと電源電圧VDDの電源ラインとの間に接続されている。そして、リセットトランジスタ345,346は、行選択部35から供給されるリセット信号RSTに応答して導通状態になることで、浮遊拡散層347,348のそれぞれから電荷を引き抜いて、電荷量を初期化する。
2つの増幅トランジスタ349、350は、電源電圧VDDの電源ラインと2つの選択トランジスタ351,352のそれぞれとの間に接続されており、浮遊拡散層347,348のそれぞれで電荷から電圧に変換された電圧信号をそれぞれ増幅する。
2つの選択トランジスタ351,352は、2つの増幅トランジスタ349、350のそれぞれと垂直信号線VSL1,VSL2のそれぞれとの間に接続されている。そして、選択トランジスタ351,352は、行選択部35から供給される選択信号SELに応答して導通状態になることで、増幅トランジスタ349、350のそれぞれで増幅された電圧信号を、アナログの画素信号AINP1,AINP2として2本の垂直信号線VSL1,VSL2に出力する。
2本の垂直信号線VSL1,VSL2は、画素列毎に、カラム信号処理部36内の1つのアナログ−デジタル変換器39の入力端に接続されており、画素列毎に画素34から出力されるアナログの画素信号AINP1,AINP2をアナログ−デジタル変換器39に伝送する。
尚、画素34の回路構成については、光電変換によってアナログの画素信号AINP1,AINP2を生成することができる回路構成であれば、図3に例示した回路構成に限定されるものではない。
ここで、ToF方式による距離の算出について図5を用いて説明する。図5は、ToF方式の測距装置1における距離の算出について説明するためのタイミング波形図である。ToF方式の測距装置1における光源20及び光検出部30は、図5のタイミング波形図に示すタイミングで動作する。
光源20は、AE制御部40による制御の下に、所定の期間、例えば、パルス発光時間Tpの期間だけ、測定対象物に対して光を照射する。光源20から発せられた照射光は、測定対象物で反射されて戻ってくる。この反射光(active光)が、フォトダイオード341によって受光される。測定対象物への照射光の照射が開始されてから、フォトダイオード341が反射光を受光する時間、即ち、光飛行時間は、測距装置1から測定対象物までの距離に応じた時間となる。
図4において、フォトダイオード341は、照射光の照射が開始された時点から、パルス発光時間Tpの期間だけ、測定対象物からの反射光を受光する。このとき、フォトダイオード341が受光する光には、測定対象物に照射された光が、当該測定対象物で反射されて戻ってくる反射光(active光)の他に、物体や大気などで反射・散乱された環境光(ambient光)も含まれている。
1回の受光の際に、フォトダイオード341で光電変換された電荷が、タップA(浮遊拡散層347)に転送され、蓄積される。そして、タップAから、浮遊拡散層347に蓄積した電荷量に応じた電圧値の信号n0が取得される。タップAの蓄積タイミングが終了した時点で、フォトダイオード341で光電変換された電荷が、タップB(浮遊拡散層348)に転送され、蓄積される。そして、タップBから、浮遊拡散層348に蓄積した電荷量に応じた電圧値の信号n1が取得される。
このように、タップA及びタップBに対して、蓄積タイミングの位相を180度異ならせた駆動(位相を全く逆にした駆動)が行われることで、信号n0及び信号n1がそれぞれ取得される。そして、このような駆動が複数回繰り返され、信号n0及び信号n1の蓄積、積算が行われることで、蓄積信号N0及び蓄積信号N1がそれぞれ取得される。
例えば、1つの画素34について、1つのフェーズに2回受光が行われ、タップA及びタップBに4回ずつ、即ち、0度、90度、180度、270度の信号が蓄積される。このようにして取得した蓄積信号N0及び蓄積信号N1を基に、測距装置1から測定対象物までの距離Dが算出される。
蓄積信号N0及び蓄積信号N1には、測定対象物で反射されて戻ってくる反射光(active光)の成分の他に、物体や大気などで反射・散乱された環境光(ambient光)の成分も含まれている。従って、上述した動作では、この環境光(ambient光)の成分の影響を除き、反射光(active光)の成分を残すため、環境光に基づく信号n2に関しても蓄積、積算が行われ、環境光成分についての蓄積信号N2が取得される。
このようにして取得された、環境光成分を含む蓄積信号N0及び蓄積信号N1、並びに、環境光成分についての蓄積信号N2を用いて、以下の式(1)及び式(2)に基づく演算処理により、測距装置1から測定対象物までの距離Dを算出することができる。
式(1)及び式(2)において、Dは測距装置1から測定対象物までの距離を表し、cは光速を表し、Tpはパルス発光時間を表している。
図2に示した距離画像計算部51は、環境光成分を含む蓄積信号N0及び蓄積信号N1、並びに、環境光成分についての蓄積信号N2を用いて、光検出部30から出力される、上記した式(1)及び式(2)に基づく演算処理により、測距装置1から測定対象物までの距離Dを算出し、距離画像情報として出力する。距離画像情報としては、例えば、距離Dに応じた濃度の色で色付けされた画像情報を例示することができる。尚、ここでは、算出した距離Dを距離画像情報として出力するとしたが、算出した距離Dをそのまま距離情報として出力するようにしてもよい。
<距離と信頼値(Confidence)のダイナミックについて>
ところで、点光源からの光強度は、点光源からの距離の2乗に反比例して減衰することが知られている。本実施形態に係る測距装置1において、タップA及びタップBに蓄積された0度、90度、180度、270度の信号の場合の光検出部30の信号値と距離との関係を図6に示す。図6において、破線が0度の信号の場合を、点線が90度の信号の場合を、一点鎖線が180度の信号の場合を、実線が270度の信号の場合をそれぞれ表している。この特性図から明らかなように、光強度に基づく光検出部30の信号値が、距離の2乗に反比例して減衰することがわかる。
ところで、点光源からの光強度は、点光源からの距離の2乗に反比例して減衰することが知られている。本実施形態に係る測距装置1において、タップA及びタップBに蓄積された0度、90度、180度、270度の信号の場合の光検出部30の信号値と距離との関係を図6に示す。図6において、破線が0度の信号の場合を、点線が90度の信号の場合を、一点鎖線が180度の信号の場合を、実線が270度の信号の場合をそれぞれ表している。この特性図から明らかなように、光強度に基づく光検出部30の信号値が、距離の2乗に反比例して減衰することがわかる。
シンプルなモデルでは、信号値は、次式で表される。
信号値=発光源の振幅×露光時間(=発光時間)×被写体の反射率×定数
ここで、定数は、その他(発光源の振幅、露光時間、及び、被写体の反射率以外)の変換係数である。
但し、AEの制御対象となる露光時間と信号値とは線形の関係にある。
信号値=発光源の振幅×露光時間(=発光時間)×被写体の反射率×定数
ここで、定数は、その他(発光源の振幅、露光時間、及び、被写体の反射率以外)の変換係数である。
但し、AEの制御対象となる露光時間と信号値とは線形の関係にある。
図7に、タップA及びタップBの0度、90度、180度、270度の信号から計算して作成したIQ平面の信頼値(Confidence)についての信号値と距離との関係を示す。ここで、「信頼値」とは、光検出部30の受光情報であり、光源20から出射(照射)された光が、測定対象物(被写体)で反射されて光検出部30に戻ってくる反射光(active光)の量(度合い)のことである。図7において、実線が信頼値を表し、点線がI値(=dm0−dm2)を表し、破線がQ値(=dm1−dm3)を表している。dmの詳細については後述する。
図8に、ある反射率の被写体(測定対象物)を10[cm]の距離に置いた場合を基準とした、距離に対する露光時間(発光時間)の関係を示す。図8の特性図は、例えば、1000[μsec]の露光時間の下で、同じ反射率の被写体を徐々に遠ざけたとき、50[cm]の距離では、約2500[μsec]の時間の照射が必要であることを表している。
図8の特性図では、距離に対する信頼値の比(Confidence比)は、31.6[cm]で1/1000倍となる。これは、ある反射率の被写体を10[cm]の距離に置き、露光時間を1[msec]とした場合に得られる信頼値と、同じ反射率の被写体を31.6[cm]の距離に置き、露光時間を1000[msec]とした場合に得られる信頼値とが同じであることを意味する。
<従来例に係るAE制御>
従来例に係るAE制御では、常に最大のSN比が得られるようにするために、飽和しないギリギリの状態(飽和閾値に限りなく近い状態)にするための露光時間を計算し、当該露光時間に基づいて制御を行うようにしている。従来例に係るAE制御について、図9に簡易的に示す。従来例に係るAE制御では、反射光(active光)+環境光(ambient光)を制御ターゲットとし、現フレームの制御ターゲットが飽和閾値よりも低ければ、次フレームの制御ターゲットを飽和閾値に限りなく近づける制御が行われる。
従来例に係るAE制御では、常に最大のSN比が得られるようにするために、飽和しないギリギリの状態(飽和閾値に限りなく近い状態)にするための露光時間を計算し、当該露光時間に基づいて制御を行うようにしている。従来例に係るAE制御について、図9に簡易的に示す。従来例に係るAE制御では、反射光(active光)+環境光(ambient光)を制御ターゲットとし、現フレームの制御ターゲットが飽和閾値よりも低ければ、次フレームの制御ターゲットを飽和閾値に限りなく近づける制御が行われる。
従来例に係るAE制御における露光時間の計算について、図10に簡易的に示す。図10において、cmは、反射光(active光)及び環境光(ambient光)に関して、タップAとタップBの小さい方(本例では、タップB)の共通部分であり、|dm|は、反射光(active光)に関して、タップAとタップBの大きい方と小さい方の差分の絶対値である。また、飽和閾値(Saturation Threshold)、目標制御レベル(target_controllable_level)、目標制御ギャップ(target_controllable_gap)、及び、ダークオフセット(dark_offset)は、パラメータであり、共通部分cm、差分の絶対値|dm|、反射光(active光)、及び、環境光(ambient光)は、観測値である。ここで、目標制御ギャップ(target_controllable_gap)は、
target_controllable_gap=target_controllable_level−dark_offset
である。
target_controllable_gap=target_controllable_level−dark_offset
である。
<第1実施形態に係るAE制御>
ToF方式の測距装置1は、カメラ機能を備える電子機器、例えば、スマートフォン、デジタルカメラ、タブレット、パーソナルコンピュータ等のモバイル機器に搭載して用いることができる。そして、測距装置1のAE制御では、高品質な距離画像を取得するために、飽和閾値をターゲットとして、当該飽和閾値を超えない範囲で最大の信頼値(Confidence)レベルを取得できるように制御することを目的としている。
ToF方式の測距装置1は、カメラ機能を備える電子機器、例えば、スマートフォン、デジタルカメラ、タブレット、パーソナルコンピュータ等のモバイル機器に搭載して用いることができる。そして、測距装置1のAE制御では、高品質な距離画像を取得するために、飽和閾値をターゲットとして、当該飽和閾値を超えない範囲で最大の信頼値(Confidence)レベルを取得できるように制御することを目的としている。
しかしながら、特にモバイル機器に搭載する測距装置にあっては、モバイル機器の消費電力の許容限界や手振れの影響で、レーザ光の照射時間を長く設定できなかったり、光源20のレーザ出力強度の設定限界などにより、光源20から測距範囲の全区間に対して光の照射を行うことができない。その結果、従来例に係るAE制御では、測距範囲の一部の区間、例えば近距離の一部の区間でしかAE制御が効かない(即ち、AE制御による露光変動が起こらない)という状況にあった。
そこで、本開示の第1実施形態に係るAE制御では、光源20から測距範囲のより広い区間に対して光を十分に照射し、測距範囲のより広い区間に亘ってAE制御が効く(即ち、AE制御による露光変動が起こる)ようにする。より具体的には、第1実施形態に係るAE制御では、指定した信頼値(Confidence)を常に維持することを目的とし、反射光(active光)の部分を制御対象として、反射光の光量が常に一定になるようにするための露光時間を計算し、当該露光時間に基づいて制御を行うようにする。
本開示の第1実施形態に係るAE制御について、図11に簡易的に示す。反射光の部分を制御対象とする場合、反射光成分と環境光成分とを分離することが必要になる。光源20をオフ状態にして、同一露光時間で撮像することで、環境光成分を個別に取得することができる。第1実施形態では、光検出器30のRAW画像データを基に環境光成分を推定し、反射光成分と環境光成分とを分離する方法を採用することとする。但し、この方法に限定されるものではない。
(露光時間の計算処理について)
本開示の第1実施形態に係るAE制御における露光時間の計算処理について、図12に簡易的に示す。図12において、cmは、反射光及び環境光に関して、タップAとタップBの小さい方(本例では、タップB)の共通部分であり、|dm|は、反射光に関して、タップAとタップBの大きい方と小さい方の差分の絶対値である。また、飽和閾値(Saturation Threshold)、目標制御レベル(target_controllable_level)、目標制御ギャップ(target_controllable_gap)、反射光ノイズオフセット(active_noise_offset)、目標反射光レベル(target_active_level)、及び、ダークオフセット(dark_offset)は、パラメータであり、共通部分cm、差分の絶対値|dm|、反射光、及び、環境光は、観測値である。ここで、目標制御ギャップ(target_controllable_gap)は、
target_controllable_gap=target_controllable_level−dark_offset
である。
本開示の第1実施形態に係るAE制御における露光時間の計算処理について、図12に簡易的に示す。図12において、cmは、反射光及び環境光に関して、タップAとタップBの小さい方(本例では、タップB)の共通部分であり、|dm|は、反射光に関して、タップAとタップBの大きい方と小さい方の差分の絶対値である。また、飽和閾値(Saturation Threshold)、目標制御レベル(target_controllable_level)、目標制御ギャップ(target_controllable_gap)、反射光ノイズオフセット(active_noise_offset)、目標反射光レベル(target_active_level)、及び、ダークオフセット(dark_offset)は、パラメータであり、共通部分cm、差分の絶対値|dm|、反射光、及び、環境光は、観測値である。ここで、目標制御ギャップ(target_controllable_gap)は、
target_controllable_gap=target_controllable_level−dark_offset
である。
ここで、タップAとタップBの大きい方と小さい方の差分dmについて説明する。タップAの0度、90度、180度、270度の信号値をTapA0、TapA1、TapA2、TapA3とし、タップBの0度、90度、180度、270度の信号値をTapB0、TapB1、TapB2、TapB3とするとき、
dm0=TapA0−TapB0
dm1=TapA1−TapB1
dm2=TapA2−TapB2
dm3=TapA3−TapB3
と表すことができる。
dm0=TapA0−TapB0
dm1=TapA1−TapB1
dm2=TapA2−TapB2
dm3=TapA3−TapB3
と表すことができる。
上記のdm0,dm1,dm2,dm3を基に、
I=dm0−dm2
の計算式からI値を求めてX軸にとり、
Q=dm1−dm3
の計算式からQ値を求めてY軸にとり、IQ平面(図7参照)を作成する。図7には、タップA及びタップBの0度、90度、180度、270度の信号から計算したIQ平面の信頼値についての信号値と距離との関係を示している。また、信頼値について、
信頼値=|I|+|Q|
と表すことができる。
I=dm0−dm2
の計算式からI値を求めてX軸にとり、
Q=dm1−dm3
の計算式からQ値を求めてY軸にとり、IQ平面(図7参照)を作成する。図7には、タップA及びタップBの0度、90度、180度、270度の信号から計算したIQ平面の信頼値についての信号値と距離との関係を示している。また、信頼値について、
信頼値=|I|+|Q|
と表すことができる。
反射光の光量が常に一定になるようにするための露光時間の計算に当たっては、タップAとタップBの大きい方と小さい方の差分dmに相当する測定値(measured_active)を求める。差分dmに相当する測定値(measured_active)については、差分dmの平均値、あるいは、所定の関心領域(ROI:Region Of Interest)内の信頼値の平均値を当該測定値として求めることができる。そして、求めた測定値、並びに、目標制御ギャップ(target_controllable_gap)、目標反射光レベル(target_active_level)、及び、反射光ノイズオフセット(active_noise_offset)等のパラメータを用いて、所定の演算式に基づいて次フレームの積分係数を求め、当該積分係数及び現フレームの露光時間(current_exposure_time)から次フレームの露光時間(next_exposure_time)を求める。
(距離に応じたAE制御の仕組みについて)
図13は、本開示の第1実施形態に係るAE制御についてのAE線図である。第1実施形態では、測距装置1と被写体(測定対象物)との間の距離に応じて制御を分けるAE制御の仕組みとなっており、その距離に応じた制御は、大きくは、区間A、区間B、及び、区間Cの3区間の制御に分けられる。区間Aは、測距装置1と被写体との間の距離が相対的に遠い、所謂、遠景の場合の制御である。区間Bは、測距装置1と被写体との間の距離が相対的に近い、所謂、近景の場合の制御である。区間Cは、測距装置1と被写体との間の距離が非常に近い、所謂、超近景の場合の制御である。
図13は、本開示の第1実施形態に係るAE制御についてのAE線図である。第1実施形態では、測距装置1と被写体(測定対象物)との間の距離に応じて制御を分けるAE制御の仕組みとなっており、その距離に応じた制御は、大きくは、区間A、区間B、及び、区間Cの3区間の制御に分けられる。区間Aは、測距装置1と被写体との間の距離が相対的に遠い、所謂、遠景の場合の制御である。区間Bは、測距装置1と被写体との間の距離が相対的に近い、所謂、近景の場合の制御である。区間Cは、測距装置1と被写体との間の距離が非常に近い、所謂、超近景の場合の制御である。
図13のAE線図において、縦軸は、次フレームの露光時間を表し、横軸は、光検出部30の最大タップmaxtapの信号値[LSB]を表している。最大タップmaxtapは、
maxtap=max{cm[i]+|dm[i]|}
で与えられる。ここで、i=0〜3である。また、図6の特性図から明らかなように、光強度に基づく光検出部30の信号値が、距離の2乗に反比例して減衰することから、横軸の信号値[LSB]は、測距装置1と被写体との間の距離に対応していることになる。そして、第1実施形態に係るAE制御では、光検出部30が出力する信号値に基づいて、測距部50での深度情報(奥行き情報)の取得に最適な制御値(露光時間)を算出して露光制御を行う。
maxtap=max{cm[i]+|dm[i]|}
で与えられる。ここで、i=0〜3である。また、図6の特性図から明らかなように、光強度に基づく光検出部30の信号値が、距離の2乗に反比例して減衰することから、横軸の信号値[LSB]は、測距装置1と被写体との間の距離に対応していることになる。そして、第1実施形態に係るAE制御では、光検出部30が出力する信号値に基づいて、測距部50での深度情報(奥行き情報)の取得に最適な制御値(露光時間)を算出して露光制御を行う。
第1実施形態に係るAE制御において、区間A(遠景)の制御では、制御パラメータ(閾値)として指定した第1信頼値(目標反射光レベル(target_active_level)−反射光ノイズオフセット(active_noise_offset)を維持し、最低限のSN比の距離画像(Depth Map:深度マップ)を得るための処理が行われる。具体的には、区間Aにおける信号値−露光時間の特性が、図13に記載の式で与えられる勾配slopの直線(線形)となるように制御が行われる。
区間B(近景)の制御では、指定した典型的な露光時間を維持し、高SN比の距離画像を得るための処理が行われる。具体的には、区間Aで求めた勾配slopの直線(図中、点線で示す直線)から、典型的な露光時間に乗り換え、信号値(距離)に対して一定の露光時間となるように制御が行われる。これにより、近景が重要なアプリケーションに対して、指定した最低値以上の信頼値を確保することができる。
区間C(超近景)の制御では、飽和閾値を超える飽和画素が出始めてくるため、従来例に係るAE制御の場合のように、飽和画素率によって露光時間を下げる制御が行われる。ここで、「飽和画素率」とは、最適化したい所定の関心領域(ROI)における総画素数に対する、飽和閾値を超える飽和画素の比率である。
また、第1実施形態に係るAE制御では、反射光(active光)成分のノイズ量を、光検出部30が出力する信号値を参照して適応的に制御するようにしている。具体的には、第1実施形態に係るAE制御では、反射光(active光)成分のノイズ量は、光検出部30のショットノイズと線形の関係にあると仮定し、図12に示す反射光ノイズオフセット(active_noise_offset)について適応的に制御を行うようにしている。図14に、全信号値(平均値)に対するショットノイズの特性図を示し、図15に、全信号値(平均値)に対する反射光ノイズオフセットの特性図を示す。
この反射光ノイズオフセットの適応的制御では、図15に示すように、ダークオフセットのときの反射光ノイズオフセット(active_noise_offset[0])と、飽和閾値相当のときの反射光ノイズオフセット(active_noise_offset[1])とを設定し、両者間で反射光ノイズオフセットを線形に遷移させる制御が行われる。このように、反射光ノイズオフセットについて適応的な制御を行うことにより、屋内と屋外でノイズの大きさが異なったとしても、ノイズの大きさの影響を受けることなく、良好なAE制御を行うことができる。
以上説明したことから明らかなように、本開示の第1実施形態に係るAE制御によれば、光源20から測距範囲のより広い区間に対して光を十分に照射し、測距範囲のより広い区間に亘ってAE制御が効くようになる。ここで、「AE制御が効く」とは、次のことを意味する。
・露光時間(発光時間)を制御することによって信頼値(Confidence)が一定になる。
・飽和閾値を超えないように制御することができる。
すなわち、本開示の第1実施形態に係るAE制御によれば、あるシーン(被写体までの距離、被写体の形状、被写体の反射率、環境光の光量、などの条件)で飽和閾値を超える可能性があったとしても、飽和閾値を超えないように制御することができる。
・露光時間(発光時間)を制御することによって信頼値(Confidence)が一定になる。
・飽和閾値を超えないように制御することができる。
すなわち、本開示の第1実施形態に係るAE制御によれば、あるシーン(被写体までの距離、被写体の形状、被写体の反射率、環境光の光量、などの条件)で飽和閾値を超える可能性があったとしても、飽和閾値を超えないように制御することができる。
また、本開示の第1実施形態に係るAE制御によれば、近景については、遠景とは別制御とすることで、本測距装置1を、例えば後述するように、スマートフォン等のモバイル機器に搭載した場合に、ジェスチャーアプリケーションなどで重要な測距区間について、SN比を維持できるようになる、という効果を得ることができる。
(AE制御の具体的な処理の流れについて)
本開示の第1実施形態に係るAE制御の具体的な処理の流れについて、図16のフローチャートを用いて説明する。ここに例示するAE制御の処理は、図2に示すAE制御部40における処理である。図2では、AE制御部40が次フレーム発光・露光条件計算部41及び次フレーム発光・露光制御部42から成る構成としたが、次フレーム発光・露光条件計算部41及び次フレーム発光・露光制御部42の各機能をプロセッサによって実現する構成とすることもできる。
本開示の第1実施形態に係るAE制御の具体的な処理の流れについて、図16のフローチャートを用いて説明する。ここに例示するAE制御の処理は、図2に示すAE制御部40における処理である。図2では、AE制御部40が次フレーム発光・露光条件計算部41及び次フレーム発光・露光制御部42から成る構成としたが、次フレーム発光・露光条件計算部41及び次フレーム発光・露光制御部42の各機能をプロセッサによって実現する構成とすることもできる。
以下では、次フレーム発光・露光条件計算部41及び次フレーム発光・露光制御部42の各機能をプロセッサによって実現する構成の場合において、AE制御部40を構成するプロセッサによる制御の下に、AE制御の処理が実行されることとする。
AE制御部40を構成するプロセッサ(以下、単に「プロセッサ」と記述する)は、AE制御処理の終了か否かを判断し(ステップS11)、終了でなければ(S11のNO)、現フレームのRAW撮像データ、及び、発光・露光条件を光検出部30から取得する(ステップS12)。現フレームのRAW撮像データ、及び、発光・露光条件は、現フレームの撮像時における光源20の発光時間や発光強度、及び、光検出部30の露光時間である。
次に、プロセッサは、取得した現フレームのRAW撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を計算する(ステップS13)。次フレームの発光・露光条件は、次フレームの撮像時における光源20の発光時間や発光強度、及び、光検出部30の露光時間である。ステップS13の具体的な処理の詳細については後述する。
次に、プロセッサは、ステップS13の処理で算出された次フレームの発光・露光条件を光源20に通知し(ステップS14)、ステップS11に戻って、ステップS11からステップS14までの処理を、ステップS11の処理において、AE制御処理が終了と判断するまで繰り返して実行する。そして、プロセッサは、ステップS11の処理において、AE制御処理が終了(S11のYES)であれば、AE制御のための上述した一連の処理を終了する。
続いて、ステップS13の具体的な処理、即ち、現フレームのRAW撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を計算する処理の詳細について、図17のフローチャートを用いて説明する。
プロセッサは、図16のステップS12の処理で取得した現フレームのRAW撮像データに基づいて、最適化したい所定の関心領域(ROI)における総画素数に対する飽和画素の比率である飽和画素率を計算する(ステップS21)。次に、プロセッサは、飽和画素率が、あらかじめ設定した比率を上回るか否かを判断し(ステップS22)、上回ると判定した場合(S22のYES)、飽和時の次フレームの発光・露光条件を計算する(ステップS23)。飽和画素率があらかじめ設定した比率を上回る場合、即ち、飽和画素が相対的に多い場合は、リニアリティが崩れ、最適な露光時間を計算することが難しくなるため、ステップS23では単純に露光時間を短くする処理が行われる。
プロセッサは、飽和画素率があらかじめ設定した比率を上回らないと判定した場合(S22のNO)、図16のステップS12の処理で取得した現フレームの発光・露光条件に基づいて、次フレームの発光・露光条件を計算する(ステップS24)。ステップS24の処理では、先述した「露光時間の計算処理について」及び、「距離に応じたAE制御の仕組みについて」の項で述べた処理の下に、最適な露光時間(発光時間)の計算及び距離に応じたAE制御が行われる。
プロセッサは、ステップS23の処理後、又は、ステップS24の処理後、図16のフローに戻り、ステップS14の処理に移行する。
(発光・露光条件の制御について)
発光・露光条件を制御する具体例としては、次の2つを例示することができる。
・発光時間(露光時間)を制御する例
図18は、発光時間(露光時間)を制御する例を示すタイミングチャートである。この制御例では、図18に示すように、発光間隔を制御することによって発光・露光条件を制御することができる。
・発光振幅(発光強度)を制御する例
図19は、発光振幅(発光強度)を制御する例を示すタイミングチャートである。この制御例では、図19に示すように、発光振幅、即ち、発光強度を制御することによって発光・露光条件を制御することができる。
発光・露光条件を制御する具体例としては、次の2つを例示することができる。
・発光時間(露光時間)を制御する例
図18は、発光時間(露光時間)を制御する例を示すタイミングチャートである。この制御例では、図18に示すように、発光間隔を制御することによって発光・露光条件を制御することができる。
・発光振幅(発光強度)を制御する例
図19は、発光振幅(発光強度)を制御する例を示すタイミングチャートである。この制御例では、図19に示すように、発光振幅、即ち、発光強度を制御することによって発光・露光条件を制御することができる。
<第2実施形態に係るAE制御>
ところで、ToF方式の測距装置では、非常に近距離に測距対象外の物体(例えば、障害物)が存在している状態で測距を行おうとすると、測距対象の被写体が存在していない領域でも、近距離の測距対象外の物体からの散乱光を受光してしまい、当該散乱光に起因して誤検出が発生する場合がある。
ところで、ToF方式の測距装置では、非常に近距離に測距対象外の物体(例えば、障害物)が存在している状態で測距を行おうとすると、測距対象の被写体が存在していない領域でも、近距離の測距対象外の物体からの散乱光を受光してしまい、当該散乱光に起因して誤検出が発生する場合がある。
そこで、第2実施形態では、散乱光の影響が発生してしまうような極めて近距離(例えば、20cm程度の距離)に、測距対象外の物体が存在する環境においても、測距対象の被写体及びその背景について、正確な測距を可能とするAE制御を行うようにする。具体的には、第2実施形態に係るAE制御では、被写体までの距離が、測距対象外の物体の存在によって散乱光の影響が発生するような極めて近距離である超近景の制御においては、信頼値の上限を第2信頼値(制御パラメータ/閾値)として定義し、当該第2信頼値を維持するようにAE制御を行うようにする。
ここで、制御パラメータ/閾値としての第2信頼値については、一例として、第1実施形態に係るAE制御における遠景の制御の場合の第1信頼値よりも高い信頼値とする(第1信頼値<第2信頼値)。そして、超近景の制御においては、近距離の測距対象外の物体からの散乱光の光量を抑制するように、露光時間(又は、発光強度)に制御を反映させるようにする。第2実施形態に係るAE制御についてのAE線図を図20に示す。
尚、ここでは、第2信頼値として、第1信頼値よりも高い信頼値を指定するとしたが、使用ケースに応じて(例えば、遠距離の制御が不要な場合)、第1信頼値=第2信頼値としてもよい。
第2実施形態に係るAE制御の処理の流れについて、図21のフローチャートを用いて説明する。ここに例示するAE制御の処理は、図2に示すAE制御部40における処理である。以下では、AE制御部40の機能をプロセッサによって実現する構成の場合において、AE制御部40を構成するプロセッサによる制御の下に、第2実施形態に係るAE制御の処理が実行されることとする。
AE制御部40を構成するプロセッサ(以下、単に「プロセッサ」と記述する)は、先ず、次フレームの露光時間を計算し(ステップS31)、次いで、算出した露光時間が、指定した代表値(typical)を下回るか否かを判断する(ステップS32)。
プロセッサは、ステップS31で算出した露光時間が代表値以上であると判断した場合には(S32のNO)、次フレームの露光時間としてステップS31での計算結果を採用する(ステップS33)。この制御は、区間A(遠景)の制御となる。そして、この遠景の制御により、制御パラメータ(閾値)として指定した第1信頼値を維持し、最低限のSN比の距離画像を得るための処理が行われる。具体的には、区間Aにおける信号値−露光時間の特性が、図20に記載の式で与えられる勾配slopの直線となるように制御が行われる。
プロセッサは、ステップS31で算出した露光時間が代表値を下回ると判断した場合には(S32のYES)、続いて、信頼値が、制御パラメータである閾値(=第2信頼値)以上であるか否かを判断する(ステップS34)。
プロセッサは、信頼値が閾値を下回ると判断した場合(S34のNO)、次フレームの露光時間に代表値を適用する(ステップS35)。この制御は、区間B(近景)の制御となる。この近景の制御により、代表値として指定した露光時間を維持し、高SN比の距離画像を得るための処理、即ち、信号値(距離)に対して一定の露光時間となるような処理が行われる。これにより、近景が重要なアプリケーションに対して、指定した最低値以上の信頼値を確保することができる。
プロセッサは、信頼値が閾値以上と判断した場合(S34のYES)、次フレームの露光時間を補正する、具体的には、露光時間を短くする制御を行う(ステップS36)。この制御は、区間C’の制御、即ち、超近景の制御となる。超近景については、被写体までの距離(即ち、測距装置と被写体との間の距離)が、測距対象外の物体の存在によって散乱光の影響が発生するような近い距離とすることができる。
そして、超近景の制御では、制御パラメータ(閾値)として指定した第2信頼値を維持するように、露光時間を再び短くする露光制御が行われる。区間C’(超近景)の場合の露光時間の勾配slopは、区間A(遠景)の制御の場合の勾配slopと同じである。この超近景の制御により、散乱光の影響が発生してしまうような極めて近距離に、測距対象外の物体が存在する環境において、当該物体からの散乱光の光量を抑制することができる。
測距対象外の物体が近くに存在する環境下では、散乱光の影響を受けるが、画面全体の信頼値を適切に制御することにより、散乱光の相対強度が低下する。従って、測距対象外の物体の存在によって散乱光の影響が発生するような超近景では、信頼値の上限を第2信頼値として定義し、当該第2信頼値を維持するようにAE制御を行うことで、測距対象外の物体からの散乱光の影響を抑えつつ、測距対象の被写体及びその背景について、正確な測距を行うことができる。
上述した第2実施形態に係るAE制御については、1撮像フレームの情報に基づいて実行される。通常、散乱光が発生しているのか、散乱光が発生している環境に実際に被写体が存在しているのかを、1撮像フレームの情報から判定することは困難であり、複数枚撮像を行ったり、散乱光除去フィルタを用いたりすることになる。
第2実施形態に係るAE制御によれば、測距対象外の物体の存在によって散乱光の影響が発生するような超近景においても、複数枚撮像を行ったり、散乱光除去フィルタを用いたりすることなく、測距対象外の物体からの散乱光の影響を抑えつつ、適切な測距性能を維持することができる。超近景以外では、露光時間は長い方が、SN比を確保できるメリットがある。
<変形例>
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の各実施形態において説明した測距装置の構成、構造は例示であり、適宜、変更することができる。例えば、第1実施形態では、測距装置1と被写体(測定対象物)との間の距離に応じて制御を分けるに当たり、遠景、近景、超近景の3区間の制御としたが、これに限られるものではない。具体的には、大きくは、遠景、近景の2区間の制御とすることもできるし、遠景、近景を更に細分化して4区間以上の制御とすることもできる。
以上、本開示の技術について、好ましい実施形態に基づき説明したが、本開示の技術は当該実施形態に限定されるものではない。上記の各実施形態において説明した測距装置の構成、構造は例示であり、適宜、変更することができる。例えば、第1実施形態では、測距装置1と被写体(測定対象物)との間の距離に応じて制御を分けるに当たり、遠景、近景、超近景の3区間の制御としたが、これに限られるものではない。具体的には、大きくは、遠景、近景の2区間の制御とすることもできるし、遠景、近景を更に細分化して4区間以上の制御とすることもできる。
<応用例>
上記の各実施形態では、本開示の測距装置について、距離画像(深度マップ)を取得する手段として用いる場合を例に挙げて説明したが、単に距離画像を取得する手段として用いるだけでなく、自動的にカメラの焦点(ピント)を合わせるオートフォーカスに応用することができる。
上記の各実施形態では、本開示の測距装置について、距離画像(深度マップ)を取得する手段として用いる場合を例に挙げて説明したが、単に距離画像を取得する手段として用いるだけでなく、自動的にカメラの焦点(ピント)を合わせるオートフォーカスに応用することができる。
<本開示の電子機器>
以上説明した本開示の測距装置は、種々の電子機器に搭載される測距装置として用いることができる。測距装置を搭載する電子機器としては、例えば、スマートフォン、デジタルカメラ、タブレット、パーソナルコンピュータ等のモバイル機器を例示することができる。但し、モバイル機器に限定されるものではない。ここでは、本開示の測距装置を搭載することができる電子機器(本開示の電子機器)の具体例として、スマートフォンを例示する。
以上説明した本開示の測距装置は、種々の電子機器に搭載される測距装置として用いることができる。測距装置を搭載する電子機器としては、例えば、スマートフォン、デジタルカメラ、タブレット、パーソナルコンピュータ等のモバイル機器を例示することができる。但し、モバイル機器に限定されるものではない。ここでは、本開示の測距装置を搭載することができる電子機器(本開示の電子機器)の具体例として、スマートフォンを例示する。
本開示の電子機器の具体例に係るスマートフォンについて、正面側から見た外観図を図22Aに示し、裏面側から見た外観図を図22Bに示す。本具体例に係るスマートフォン100は、筐体110の正面側に表示部120を備えている。また、スマートフォン100は、例えば、筐体110の裏面側の上方部に撮像部130を備えている。
先述した本開示の第1実施形態又は第2実施形態に係る測距装置1は、例えば、上記の構成のモバイル機器の一例であるスマートフォン100に搭載して用いることができる。この場合、測距装置1の光源20及び光検出部30については、例えば図22Bに示すように、撮像部130の近傍に配置することができる。但し、図22Bに示す光源20及び光検出部30の配置例は、一例であって、この配置例に限られるものではない。
上述したように、本具体例に係るスマートフォン100は、本開示の第1実施形態又は第2実施形態に係る測距装置1を搭載することによって作製される。そして、本具体例に係るスマートフォン100は、上記の測距装置1を搭載することにより、測距範囲のより広い区間に亘って、良好な距離画像(深度マップ)を取得することができるとともに、散乱光が発生してしまうような近距離に、測距対象外の被写体が存在する環境においても、測距対象の被写体の正確な測距を行うことができる。
<本開示がとることができる構成>
尚、本開示は、以下のような構成をとることもできる。
尚、本開示は、以下のような構成をとることもできる。
≪A.測距装置≫
[A−1]被写体に対して光を照射する光源、
光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
測距装置と被写体との間の距離に応じて露光制御を行う制御部を備える、
測距装置。
[A−2]制御部は、光検出部が出力する信号値に基づいて露光制御を行う、
上記[A−1]に記載の測距装置。
[A−3]制御部は、光検出部が出力する現フレームの撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を制御する、
上記[A−2]に記載の測距装置。
[A−4]制御部は、相対的に遠景の制御においては、指定した第1信頼値を維持するように露光制御を行う、
上記[A−3]に記載の測距装置。
[A−5]制御部は、相対的に近景の制御においては、指定した露光時間を維持するように露光制御を行う、
上記[A−3]に記載の測距装置。
[A−6]制御部は、光検出部に入射する環境光成分と、被写体からの反射光成分とを分離し、反射光成分を制御対象とする、
上記[A−4]又は上記[A−5]に記載の測距装置。
[A−7]制御部は、光検出器が出力する画像データを基に環境光成分を推定し、反射光成分と環境光成分とを分離する、
上記[A−6]に記載の測距装置。
[A−8]制御部は、反射光成分のノイズ量を、光検出部が出力する信号値を参照して適応的に制御する、
上記[A−2]に記載の測距装置。
[A−9]光検出部の画素毎に検出した距離情報を含む現フレームの画像データを用いて距離画像情報を取得する処理を行う測距部を備える、
上記[A−1]乃至上記[A−8]のいずれかに記載の測距装置。
[A−10]制御部は、相対的に超近景の制御においては、指定した第2信頼値を維持するように露光制御を行う、
上記[A−3]に記載の測距装置。
[A−11]超近景は、被写体までの距離が、測距対象外の被写体の存在によって散乱光の影響が発生するような近い距離である、
上記[A−10]に記載の測距装置。
[A−1]被写体に対して光を照射する光源、
光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
測距装置と被写体との間の距離に応じて露光制御を行う制御部を備える、
測距装置。
[A−2]制御部は、光検出部が出力する信号値に基づいて露光制御を行う、
上記[A−1]に記載の測距装置。
[A−3]制御部は、光検出部が出力する現フレームの撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を制御する、
上記[A−2]に記載の測距装置。
[A−4]制御部は、相対的に遠景の制御においては、指定した第1信頼値を維持するように露光制御を行う、
上記[A−3]に記載の測距装置。
[A−5]制御部は、相対的に近景の制御においては、指定した露光時間を維持するように露光制御を行う、
上記[A−3]に記載の測距装置。
[A−6]制御部は、光検出部に入射する環境光成分と、被写体からの反射光成分とを分離し、反射光成分を制御対象とする、
上記[A−4]又は上記[A−5]に記載の測距装置。
[A−7]制御部は、光検出器が出力する画像データを基に環境光成分を推定し、反射光成分と環境光成分とを分離する、
上記[A−6]に記載の測距装置。
[A−8]制御部は、反射光成分のノイズ量を、光検出部が出力する信号値を参照して適応的に制御する、
上記[A−2]に記載の測距装置。
[A−9]光検出部の画素毎に検出した距離情報を含む現フレームの画像データを用いて距離画像情報を取得する処理を行う測距部を備える、
上記[A−1]乃至上記[A−8]のいずれかに記載の測距装置。
[A−10]制御部は、相対的に超近景の制御においては、指定した第2信頼値を維持するように露光制御を行う、
上記[A−3]に記載の測距装置。
[A−11]超近景は、被写体までの距離が、測距対象外の被写体の存在によって散乱光の影響が発生するような近い距離である、
上記[A−10]に記載の測距装置。
≪B.電子機器≫
[B−1]被写体に対して光を照射する光源、
光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
測距装置と被写体との間の距離に応じて露光制御を行う制御部を備える、
測距装置を有する電子機器。
[B−2]制御部は、光検出部が出力する信号値に基づいて露光制御を行う、
上記[B−1]に記載の電子機器。
[B−3]制御部は、光検出部が出力する現フレームの撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を制御する、
上記[B−2]に記載の電子機器。
[B−4]制御部は、相対的に遠景の制御においては、指定した第1信頼値を維持するように露光制御を行う、
上記[B−3]に記載の電子機器。
[B−5]制御部は、相対的に近景の制御においては、指定した露光時間を維持するように露光制御を行う、
上記[B−3]に記載の電子機器。
[B−6]制御部は、光検出部に入射する環境光成分と、被写体からの反射光成分とを分離し、反射光成分を制御対象とする、
上記[B−4]又は上記[B−5]に記載の電子機器。
[B−7]制御部は、光検出器が出力する画像データを基に環境光成分を推定し、反射光成分と環境光成分とを分離する、
上記[B−6]に記載の電子機器。
[B−8]制御部は、反射光成分のノイズ量を、光検出部が出力する信号値を参照して適応的に制御する、
上記[B−2]に記載の電子機器。
[B−9]光検出部の画素毎に検出した距離情報を含む現フレームの画像データを用いて距離画像情報を取得する処理を行う測距部を備える、
上記[B−1]乃至上記[B−8]のいずれかに記載の電子機器。
[B−10]制御部は、相対的に超近景の制御においては、指定した第2信頼値を維持するように露光制御を行う、
上記[B−3]に記載の電子機器。
[B−11]超近景は、被写体までの距離が、測距対象外の被写体の存在によって散乱光の影響が発生するような近い距離である、
上記[B−10]に記載の電子機器。
[B−1]被写体に対して光を照射する光源、
光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
測距装置と被写体との間の距離に応じて露光制御を行う制御部を備える、
測距装置を有する電子機器。
[B−2]制御部は、光検出部が出力する信号値に基づいて露光制御を行う、
上記[B−1]に記載の電子機器。
[B−3]制御部は、光検出部が出力する現フレームの撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を制御する、
上記[B−2]に記載の電子機器。
[B−4]制御部は、相対的に遠景の制御においては、指定した第1信頼値を維持するように露光制御を行う、
上記[B−3]に記載の電子機器。
[B−5]制御部は、相対的に近景の制御においては、指定した露光時間を維持するように露光制御を行う、
上記[B−3]に記載の電子機器。
[B−6]制御部は、光検出部に入射する環境光成分と、被写体からの反射光成分とを分離し、反射光成分を制御対象とする、
上記[B−4]又は上記[B−5]に記載の電子機器。
[B−7]制御部は、光検出器が出力する画像データを基に環境光成分を推定し、反射光成分と環境光成分とを分離する、
上記[B−6]に記載の電子機器。
[B−8]制御部は、反射光成分のノイズ量を、光検出部が出力する信号値を参照して適応的に制御する、
上記[B−2]に記載の電子機器。
[B−9]光検出部の画素毎に検出した距離情報を含む現フレームの画像データを用いて距離画像情報を取得する処理を行う測距部を備える、
上記[B−1]乃至上記[B−8]のいずれかに記載の電子機器。
[B−10]制御部は、相対的に超近景の制御においては、指定した第2信頼値を維持するように露光制御を行う、
上記[B−3]に記載の電子機器。
[B−11]超近景は、被写体までの距離が、測距対象外の被写体の存在によって散乱光の影響が発生するような近い距離である、
上記[B−10]に記載の電子機器。
1・・・測距装置、10・・・被写体(測定対象物)、20・・・光源、30・・・光検出部、40・・・AE制御部、41・・・次フレーム発光・露光条件計算部、42・・・次フレーム発光・露光制御部、50・・・測距部、51・・・距離画像計算部
Claims (12)
- 被写体に対して光を照射する光源、
光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
測距装置と被写体との間の距離に応じて露光制御を行う制御部を備える、
測距装置。 - 制御部は、光検出部が出力する信号値に基づいて露光制御を行う、
請求項1に記載の測距装置。 - 制御部は、光検出部が出力する現フレームの撮像データ、及び、発光・露光条件に基づいて、次フレームの発光・露光条件を制御する、
請求項2に記載の測距装置。 - 制御部は、相対的に遠景の制御においては、指定した第1信頼値を維持するように露光制御を行う、
請求項3に記載の測距装置。 - 制御部は、相対的に近景の制御においては、指定した露光時間を維持するように露光制御を行う、
請求項3に記載の測距装置。 - 制御部は、光検出部に入射する環境光成分と、被写体からの反射光成分とを分離し、反射光成分を制御対象とする、
請求項4に記載の測距装置。 - 制御部は、光検出器が出力する画像データを基に環境光成分を推定し、反射光成分と環境光成分とを分離する、
請求項6に記載の測距装置。 - 制御部は、反射光成分のノイズ量を、光検出部が出力する信号値を参照して適応的に制御する、
請求項2に記載の測距装置。 - 光検出部の画素毎に検出した距離情報を含む現フレームの画像データを用いて距離画像情報を取得する処理を行う測距部を備える、
請求項1に記載の測距装置。 - 制御部は、相対的に超近景の制御においては、指定した第2信頼値を維持するように露光制御を行う、
請求項3に記載の測距装置。 - 超近景は、被写体までの距離が、測距対象外の被写体の存在によって散乱光の影響が発生するような近い距離である、
請求項10に記載の測距装置。 - 被写体に対して光を照射する光源、
光源からの照射光に基づく、被写体からの反射光を受光する光検出部、及び、
測距装置と被写体との間の距離に応じて露光制御を行う制御部を備える、
測距装置を有する電子機器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/430,653 US20220146648A1 (en) | 2019-02-22 | 2020-02-14 | Distance measuring device, method for controlling distance measuring device, and electronic device |
PCT/JP2020/005818 WO2020170969A1 (ja) | 2019-02-22 | 2020-02-14 | 測距装置及び測距装置の制御方法、並びに、電子機器 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019030134 | 2019-02-22 | ||
JP2019030134 | 2019-02-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020139937A true JP2020139937A (ja) | 2020-09-03 |
Family
ID=72280273
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019173702A Pending JP2020139937A (ja) | 2019-02-22 | 2019-09-25 | 測距装置及び電子機器 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020139937A (ja) |
-
2019
- 2019-09-25 JP JP2019173702A patent/JP2020139937A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI628785B (zh) | 具有像素級偏壓控制之單光子崩潰二極體陣列 | |
US10764526B1 (en) | Spatial derivative pixel array with adaptive quantization | |
WO2020170969A1 (ja) | 測距装置及び測距装置の制御方法、並びに、電子機器 | |
TWI424742B (zh) | 用於像素單元之高動態運作之方法及裝置 | |
US11869273B2 (en) | Object recognition with removal of event as noise when the event is detected for a group of pixels exceeding a threshold | |
JPWO2017098725A1 (ja) | 固体撮像装置、距離測定装置および距離測定方法 | |
US20080231832A1 (en) | Ranging apparatus and ranging method | |
JP2015198361A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
TW201332354A (zh) | 攝像元件、控制方法及攝像裝置 | |
US9967499B2 (en) | Readout circuit for image sensors | |
JP2017107132A (ja) | 電子機器 | |
WO2021059748A1 (ja) | 情報処理装置、補正方法およびプログラム | |
US10560653B2 (en) | Image sensing apparatus and control method for performing analog-to-digital conversion | |
WO2021084832A1 (ja) | 物体認識システム及び物体認識システムの信号処理方法、並びに、電子機器 | |
JP2020139937A (ja) | 測距装置及び電子機器 | |
WO2020027221A1 (ja) | 撮像装置、及びそれに用いられる固体撮像素子 | |
CN113597567A (zh) | 距离图像的获得方法、以及距离检测装置 | |
WO2021059698A1 (ja) | 測距装置及び測距装置の制御方法、並びに、電子機器 | |
WO2021059699A1 (ja) | 測距装置及び測距装置の制御方法、並びに、電子機器 | |
WO2023119918A1 (ja) | 測距装置および電子機器 | |
JP6268563B2 (ja) | 撮像装置、及び固体撮像装置 | |
JP2009010627A (ja) | 固体撮像装置およびこれを用いたカメラ | |
KR102598514B1 (ko) | 시간 종속 이미지 데이터를 검출하는 이미지 센서 및 센서 장치 | |
WO2021124763A1 (ja) | 測距装置及び測距装置の制御方法、並びに、電子機器 | |
US10904456B1 (en) | Imaging with ambient light subtraction |