JP2022020871A - 物体認識装置、物体認識方法、およびプログラム - Google Patents

Abstract

【課題】低エネルギーで対象シーンに含まれる物体を認識する。【解決手段】物体認識装置は、光源と、イメージセンサと、制御回路と、信号処理回路とを備える。前記制御回路は、前記光源に、第１の空間分布を有する第１の光をシーンに向けて出射させ、その後、第２の空間分布を有する第２の光を前記シーンに向けて出射させ、前記イメージセンサに、前記第１の光によって生じた前記シーンからの第１の反射光、および前記第２の光によって生じた前記シーンからの第２の反射光を、同一の露光期間内に検出させる。前記信号処理回路は、前記イメージセンサから出力された受光データ、および機械学習アルゴリズムによって予め訓練された物体認識モデルに基づいて前記シーンに含まれる物体を認識する。【選択図】図３

Description

本開示は、物体認識装置、物体認識方法、およびプログラムに関する。

従来、光で空間をスキャンできる種々のデバイスが提案されている。

特許文献１は、２次元的に配列された複数のナノフォトニックアンテナ素子を有する光フェーズドアレイを開示している。それぞれのアンテナ素子は位相シフタに光学的に結合される。この光フェーズドアレイでは、コヒーレント光ビームが導波路によってそれぞれのアンテナ素子に誘導され、位相シフタによって光ビームの位相がシフトされる。これにより、遠視野放射パターンの振幅分布を変化させることができることが開示されている。

特許文献２は、内部を光が導波する光導波層、および光導波層の上面および下面に形成された第１分布ブラッグ反射鏡を備える導波路と、導波路内に光を入射させるための光入射口と、光入射口から入射して導波路内を導波する光を出射させるために導波路の表面に形成された光出射口とを備える光偏向素子を開示している。

特許文献３から５は、空間的にランダムに変調された光を出射し、反射光を受光することで得られた信号に解析的な信号処理を施すことによって距離画像を生成する装置を開示している。

特許文献６は、観測対象からの光の信号に基づいて観測対象の判別を機械学習を用いて最適化する方法を開示している。

特許文献７は、スローライト導波路と呼ばれる光導波路を利用して、任意の方向に光を出射することのできる発光デバイスを開示している。

特表２０１６－５０８２３５号公報 特開２０１３－１６５９１号公報 特開２０１６－０９９３４６号公報 米国特許出願公開２０１３／００８８７２６号 米国特許出願公開２０１５／０３７８０１１号 国際公開台２０１７／０７３７３７号 米国特許出願公開２０１８／２２４７０９号

本開示は、比較的低いエネルギーで対象シーン内の物体を認識する新規な技術を提供する。

本開示の一態様に係る物体認識装置は、光源と、受光装置と、前記光源および前記受光装置を制御する制御回路と、信号処理回路とを備える。前記受光装置は、複数の受光素子を有し、指示された露光期間中に前記複数の受光素子の各々に入射した光の量に応じた受光データを出力する。前記制御回路は、前記光源に、第１の空間分布を有する第１の光をシーンに向けて出射させ、その後、第２の空間分布を有する第２の光を前記シーンに向けて出射させ、前記受光装置の前記複数の受光素子の少なくとも一部に、前記第１の光によって生じた前記シーンからの第１の反射光、および前記第２の光によって生じた前記シーンからの第２の反射光を、同一の露光期間内に検出させる。前記信号処理回路は、前記受光装置から出力された受光データ、および機械学習アルゴリズムによって予め訓練された物体認識モデルに基づいて前記シーンに含まれる物体を認識し、前記受光データに基づいて前記物体までの距離を導出し、前記物体および前記距離を示す情報を出力する。

本開示の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ‐Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含み得る。装置は、１つ以上の装置で構成されてもよい。装置が２つ以上の装置で構成される場合、当該２つ以上の装置は、１つの機器内に配置されてもよく、分離した２つ以上の機器内に分かれて配置されてもよい。本明細書及び特許請求の範囲では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置からなるシステムも意味し得る。

本開示の一態様によれば、比較的低いエネルギーで、対象シーン内の物体を認識することができる。

本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１つ以上を得るために全てが必要ではない。

図１は、実施形態１に係る物体認識装置の概略構成を示すブロック図である。 図２は、物体認識装置の利用シーンの一例を模式的に示す図である。 図３は、実施形態１に係る物体認識装置の構成の一例を示すブロック図である。 図４Ａは、遠距離ビーム情報の一例を示す図である。 図４Ｂは、近距離ビーム情報の一例を示す図である。 図５は、複数の遠距離用ビームと複数の近距離用ビームとが投光される様子を模式的に示す図である。 図６Ａは、間接ＴｏＦ方式における投光および露光のタイミングの例を示す図である。 図６Ｂは、間接ＴｏＦ方式における投光および露光のタイミングの他の例を示す図である。 図７は、発光デバイスの一例を模式的に示す斜視図である。 図８は、光導波路素子の断面の構造および伝搬する光の例を模式的に示す図である。 図９Ａは、光導波路アレイの出射面に垂直な方向に光が出射されている様子を示す模式図である。 図９Ｂは、光導波路アレイの出射面に垂直な方向とは異なる方向に光が出射されている様子を示す模式図である。 図１０は、３次元空間における光導波路アレイを模式的に示す斜視図である。 図１１は、光導波路アレイおよび位相シフタアレイの一例を示す図である。 図１２は、光源の一例を示す図である。 図１３は、光源の他の例を示す図である。 図１４は、光源のさらに他の例を示す図である。 図１５は、実施形態１に係る物体認識装置の動作の概要を示すフローチャートである。 図１６は、実施形態１における各光ビームの投光および露光のタイミングの例を示す模式図である。 図１７は、実施形態１における各光ビームの投光および露光のタイミングの他の例を示す模式図である。 図１８は、電荷計測動作の例を示すフローチャートである。 図１９は、距離情報生成の動作の例を示すフローチャートである。 図２０は、図１９におけるステップＳ１４０３の動作の具体例を示すフローチャートである。 図２１は、物体認識システムの一例を示す図である。 図２２は、物体認識システムの他の例を示す図である。 図２３は、物体認識システムのさらに他の例を示す図である。 図２４は、表示装置に表示され得る画面の一例を示す図である。 図２５は、実施形態１の他の変形例を示す図である。 図２６は、実施形態２に係る学習システムの構成の一例を示すブロック図である。 図２７は、実施形態３に係る物体認識装置の構成の一例を示すブロック図である。 図２８Ａは、実施形態３における遠距離ビーム情報の一例を示す図である。 図２８Ｂは、実施形態３における遠距離ビーム情報の一例を示す図である。 図２９は、実施形態３に係る物体認識装置の動作の一例を示すフローチャートである。 図３０は、実施形態１の変形例における動作を説明するための図である。

以下、本開示の実施形態を、図面を参照しながら具体的に説明する。なお、以下で説明する実施形態は、いずれも包括的又は具体的な例を示すものである。以下の実施形態で示される数値、形状、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する趣旨ではない。また、以下の実施形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は模式図であり、必ずしも厳密に図示されたものではない。さらに、各図において、実質的に同一または類似の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化されることがある。

本開示において、回路、ユニット、装置、部材または部の全部または一部、またはブロック図における機能ブロックの全部または一部は、例えば、半導体装置、半導体集積回路（ＩＣ）、またはＬＳＩ（ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）を含む１つまたは複数の電子回路によって実行され得る。ＬＳＩまたはＩＣは、１つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、１つのチップに集積されてもよい。ここでは、ＬＳＩまたはＩＣと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（ｖｅｒｙ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）、もしくはＵＬＳＩ（ｕｌｔｒａ ｌａｒｇｅ ｓｃａｌｅ ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるものであってもよい。ＬＳＩの製造後にプログラムされる、Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ（ＦＰＧＡ）、またはＬＳＩ内部の接合関係の再構成またはＬＳＩ内部の回路区画のセットアップができるｒｅｃｏｎｆｉｇｕｒａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅも同じ目的で使うことができる。

さらに、回路、ユニット、装置、部材または部の全部または一部の機能または操作は、ソフトウェア処理によって実行することが可能である。この場合、ソフトウェアは１つまたは複数のＲＯＭ、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウェアが処理装置（ｐｒｏｃｅｓｓｏｒ）によって実行されたときに、そのソフトウェアで特定された機能が処理装置（ｐｒｏｃｅｓｓｏｒ）および周辺装置によって実行される。システムまたは装置は、ソフトウェアが記録されている１つまたは複数の非一時的記録媒体、処理装置（ｐｒｏｃｅｓｓｏｒ）、および必要とされるハードウェアデバイス、例えばインターフェースを備えていてもよい。

（実施形態１）
図１は、実施形態１に係る物体認識装置の概略構成を示すブロック図である。物体認識装置は、光源１００と、受光装置１５０と、制御回路３００と、信号処理回路４００とを備える。

光源１００は、例えば同時に複数の光ビームを異なる方向に出射することが可能な構成を備え得る。受光装置１５０は、複数の受光素子（本明細書において、「画素」とも呼ぶ。）を有する。受光装置１５０は、指示された露光期間において各受光素子が受けた光の量に応じた受光データを出力する。受光装置１５０は、例えば、１次元的または２次元的に配列された複数の受光素子を有するイメージセンサであり得る。制御回路３００は、光源１００および受光装置１５０を制御する。信号処理回路４００は、受光装置１５０から出力された受光データに基づいて、シーン内の物体を認識し、認識した物体の距離情報を生成して出力する。

本実施形態における制御回路３００は、概略的には、以下の動作を実行する。

（１）光源１００に、第１の空間分布を有する第１の光をシーンに向けて出射させる。第１の光は、複数の第１の光ビームを含んでいてもよく、ひとつながりのパターンをもつ単一の光ビームであってもよい。

（２）光源１００に、第２の空間分布を有する第２の光をシーンに向けて出射させる。第２の光は、複数の第２の光ビームを含んでいてもよく、ひとつながりのパターンをもつ単一の光ビームであってもよい。

第１の光の到達距離と第２の光の到達距離とが異なっていてもよい。例えば、第２の光は、第１の光のエネルギー密度よりも低いエネルギー密度を有していてもよい。第１の光と第２の光との到達距離を異ならせる他の例として、第１の光の波長と第２の光の波長とが異なっていてもよい。例えば、第２の光の波長として、第１の光の波長よりも大気中での吸収率が高い波長を選択としてもよい。後述するように、第１の光の到達距離と第２の光の到達距離とが同一であってもよい。

本実施形態において、第２の空間分布は、第１の空間分布とは異なる。光ビームの「空間分布」は、その光ビームが到達し得る３次元的な空間の範囲を意味する。第１の光と第２の光とが同一の方向および同一の角度範囲に出射される場合であっても、両者の到達可能な距離が異なる場合には、第１の空間分布と第２の空間分布とが異なるといえる。後述するように、第１の空間分布と第２の空間分布とが同一であってもよい。

（３）受光装置１５０の複数の受光素子の少なくとも一部に、第１の光によって生じたシーンからの第１の反射光、および第２の光によって生じたシーンからの第２の反射光を、同一の露光期間において受光させる。

信号処理回路４００は、受光装置から出力された受光データ、および機械学習アルゴリズムによって予め訓練された物体認識モデルに基づいて、シーンに含まれる１つ以上の物体を認識する。信号処理回路４００は、さらに、受光データに基づいて、当該物体までの距離を導出し、当該物体および当該物体までの距離を示す情報を出力する。

以上の構成によれば、第１の光および第２の光は、シーンの全体をカバーする必要がない。このため、出射光のエネルギーを低減することができる。さらに、相対的に近い距離範囲と相対的に遠い距離範囲のそれぞれでの物体認識および測距を、同時に行うことができる。近距離での物体認識および測距と遠距離での物体認識および測距とを別々に行う場合に比べて、処理全体の時間を短縮することができる。

露光期間は、シーンにおける、受光装置から第１の距離だけ離れた位置で生じた第１の反射光の一部が受光装置に到達する時点を含まず、受光装置から第１の距離よりも長い第２の距離だけ離れた位置で生じた第１の反射光の他の一部が受光装置に到達する時点を含み、受光装置から第１の距離だけ離れた位置で生じた第２の反射光の一部が受光装置に到達する時点を含むように設定され得る。このような構成により、装置から相対的に近い第１の距離にある物体からの第１の反射光は検出されず、第１の距離にある物体からの第２の反射光は検出され、装置から相対的に遠い第２の距離にある物体からの第１の反射光は検出されるようにすることができる。これにより、近距離にある物体の測距と遠距離にある物体の測距とを同時に行うことができる。

図２は、本実施形態の利用シーンの一例を模式的に示す図である。この例では、受光装置１５０は、２次元画像を取得するイメージセンサ２００によって実現されている。光源１００は、複数の第１の光ビーム２１０を含む第１の光と、複数の第２の光ビーム２２０を含む第２の光とを、順に出射する。各第１の光ビーム２１０は、相対的に高いエネルギー密度を有し、遠方まで届く。これに対し、各第２の光ビーム２２０は、相対的に低いエネルギー密度を有し、それほど遠方までは届かない。以下の説明において、第１の光ビーム２１０を「遠距離用ビーム」と称し、第２の光ビーム２２０を「近距離用ビーム」と称することがある。図２に示す例では、いずれの光ビームも、全体として同程度のエネルギーを有する。このため、各第２の光ビーム２２０の広がり角は、各第１の光ビーム２１０の広がり角よりも大きい。

図２では、４本の第１の光ビーム２１０と２本の第２の光ビーム２２０とが例示されているが、実際にはさらに多くの第１の光ビーム２１０および第２の光ビーム２２０が出射され得る。

イメージセンサ２００は、第１の光によって生じたシーンからの第１の反射光２３０と、第２の光によって生じたシーンからの第２の反射光２４０とを、同一の露光期間において受光する。信号処理回路４００は、イメージセンサ２００から出力された受光データに、機械学習アルゴリズムによって予め訓練された学習済みモデルである物体認識モデルを適用して、シーン内の少なくとも１つの物体を認識する。信号処理回路４００は、さらに、受光データに基づいて、認識した物体と物体認識装置との距離を導出し、当該物体および距離の情報を出力する。本実施形態では、距離は、間接ＴｏＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）法に基づく計算によって導出される。後述するように、予め訓練された学習済みモデルである距離画像生成モデルを用いて、受光データから物体までの距離を導出することもできる。

物体認識モデルは、各々が、学習用受光データと、学習用受光データが示すシーンに含まれる物体を識別するラベルデータとを含む複数の訓練データセットによって予め訓練されている。

複数の第１の光ビーム２１０の本数は、撮影対象のシーン全体をカバーする光ビームの本数よりも少ない。同様に、複数の第２の光ビーム２２０の本数は、撮影対象のシーン全体をカバーする光ビームの本数よりも少ない。言い換えれば、第１の光ビーム２１０および第２の光ビームのいずれも、「疎な光ビーム」である。イメージセンサ２００における複数の受光素子は、第１の反射光を受光し第２の反射光を受光しない複数の第１の受光素子と、第２の反射光を受光し第１の反射光を受光しない複数の第２の受光素子と、第１の反射光および第２の反射光のいずれも受光しない複数の第３の受光素子とを含み得る。本実施形態の物体認識装置は、疎な光ビームを用いて物体を認識し、その距離を推定する。これにより、撮影対象のシーン全体をカバーする光ビームを用いる場合と比較して、低い消費電力で物体を認識することができる。

以下、本実施形態の構成および動作をより具体的に説明する。

［１－１ 物体認識装置の構成］
図３は、実施形態１に係る物体認識装置の構成の一例を示すブロック図である。図３に示される物体認識装置は、光源１００と、イメージセンサ２００と、制御回路３００と、信号処理回路４００と、記憶装置５００と、ディスプレイ６００とを備える。制御回路３００は、記憶媒体３１０と、プロセッサ３２０とを備える。

光源１００は、例えばレーザ光を出射する発光デバイスであり得る。光源１００は、より遠くまで届く複数の遠距離用ビームと、遠距離用ビームよりも到達距離の短い複数の近距離用ビームとを出射する。光源１００は、複数の遠距離用ビーム、および複数の近距離用ビームを、例えばランダムな方向に出射する。遠距離用ビームの到達距離は、例えば１００ｍから２００ｍであり得る。近距離用ビームの到達距離は、例えば０ｍから１００ｍであり得る。これらの光ビームの到達距離は、この例に限らず、任意に設定できる。

イメージセンサ２００は、２次元的に配列された複数の受光素子を有する。各受光素子は、例えばフォトダイオードなどの光電変換素子を含み得る。各受光素子は、光を受けると光電変換を行い、受光量に応じた電気信号を出力する。

制御回路３００は、光源１００、イメージセンサ２００、および信号処理回路４００の動作を制御する。制御回路３００は、例えばマイクロコントローラユニット（ＭＣＵ）などの電子回路によって実現され得る。図３に示す制御回路３００は、プロセッサ３２０と、記憶媒体３１０とを備える。プロセッサ３２０は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）によって実現され得る。記憶媒体３１０は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性メモリ、およびＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリを含み得る。記憶媒体３１０は、プロセッサ３２０によって実行されるコンピュータプログラム３１４を格納する。プロセッサ３２０は、当該プログラム３１４を実行することにより、後述する動作を実行することができる。

制御回路３００は、光源１００による光ビームの投光のタイミングと、イメージセンサ２００の露光のタイミングとを決定し、決定したタイミングに従って、投光制御信号と、露光制御信号とを出力する。投光制御信号は、予め記憶媒体３１０に格納された投光パターン情報に従って生成される。投光パターン情報は、各光ビームの空間分布を示すデータである。投光パターン情報は、遠距離ビーム情報３１１および近距離ビーム情報３１２を含む。遠距離ビーム情報３１１は、複数の遠距離用ビームの出射方向およびビーム形状に関する情報を含み得る。近距離ビーム情報３１２は、複数の近距離用ビームの出射方向およびビーム形状に関する情報を含み得る。

信号処理回路４００は、イメージセンサ２００から露光期間ごとに出力される受光データを取得する。信号処理回路４００は、受光データが示す画素ごとの電荷の情報に基づき、予め機械学習によって訓練された物体認識モデルに従い、シーン内の物体を認識する。信号処理回路４００は、さらに、受光データから、認識した物体の領域に対応する画素領域の情報を抽出し、その情報から距離を計算する。距離の計算方法の詳細は後述する。信号処理回路４００は、認識した物体およびその距離の情報を出力する。出力結果は、記憶装置５００に記憶され、ディスプレイ６００などの表示装置に表示され得る。

［１－１－１ 制御回路３００の構成］
以下、制御回路３００の構成のより具体的な例を説明する。制御回路３００は、プロセッサ３２０と、記憶媒体３１０とを備える。プロセッサ３２０は、投光／露光タイミング決定部３２２と、計時部３２４と、投光制御信号出力部３２６と、露光制御信号出力部３２８とを備える。記憶媒体３１０は、遠距離ビーム情報３１１と、近距離ビーム情報３１２と、プロセッサ３２０が実行するコンピュータプログラム３１４とを格納する。

物体認識装置は、間接ＴｏＦ（Ｔｉｍｅ－ｏｆ－Ｆｒｉｇｈｔ）方式による測距を行う。物体認識装置は、予め機械学習によって生成された物体認識モデルに基づいてシーン中の物体を認識する。物体認識モデルを生成する際に圧縮センシングの技術が利用される。圧縮センシングの技術を用いることで、複数の近距離用ビームと複数の近距離用ビームとが、いずれも空間的に疎であったとしても、適切な物体認識モデルを生成することができる。言い換えれば、複数の近距離用ビームの数、および複数の遠距離用ビームの数の各々は、測距対象のシーンの全体を網羅するビーム数よりも少なくてもよい。

図４Ａは、遠距離ビーム情報３１１の一例を示す図である。図４Ｂは、近距離ビーム情報３１２の一例を示す図である。この例では、遠距離ビーム情報３１１および近距離ビーム情報３１２の各々は、各光ビームに共通する情報として、ビームの形状、ビームの広がり角、および距離レンジの情報を含む。ここで距離レンジは、そのビームによって測定される距離の範囲を指す。遠距離ビーム情報３１１および近距離ビーム情報３１２の各々は、さらに、各光ビームについて、ビーム番号と、出射方向の情報とを含む。図４Ａおよび図４Ｂの例では、イメージセンサ２００の受光面に平行に、互いに直交するｘ軸およびｙ軸が設定され、受光面に垂直でシーンに向けた方向にｚ軸が設定されている。各光ビームの出射方向は、ｘｚ平面に投影した場合のｚ軸からの角度と、ｙｚ平面に投影した場合のｚ軸からの角度とによって指定される。

図４Ａおよび図４Ｂに示す例において、複数の近距離用ビームおよび複数の遠距離用ビームの方向はランダムに決定されている。さらに、近距離用ビームの数および遠距離用ビーム数のいずれについても、測距対象のシーン全体を網羅する光ビームの数よりも少ない。

なお、図４Ａおよび図４Ｂに示す遠距離ビーム情報３１１および近距離ビーム情報３１２は、一例に過ぎず、上記とは異なる情報を含んでいてもよい。また、図４Ａおよび図４Ｂの例では、ｘｚ平面およびｙｚ平面にそれぞれ投影した場合の角度によって投光方向が記述されるが、これ以外の方法で投光の方向を記述してもよい。

図５は、本実施形態における複数の遠距離用ビーム２１０と複数の近距離用ビーム２２０とが投光される様子を模式的に示す図である。図５の例では、光源１００に最も近い位置に自転車があり、続いて人、乗用車、トラックの順に、より遠方にある様子が示されている。小さい円は遠距離用ビーム２１０の投光領域を示し、大きい円は近距離用ビーム２２０の投光領域を示す。図５におけるマス目は、イメージセンサ２００の画素を示す。なお、イメージセンサ２００の画素は、実際には微細であるが、図５では、見易さのため、実際よりも粗く示されている。この例では、近距離用ビーム２２０の空間分布の空間密度は、遠距離用ビーム２１０の空間分布の空間密度よりも高い。

図５の例において、遠距離用ビーム２１０および近距離用ビーム２２０は、それぞれランダムな方向に投光されている。投光される領域は、イメージセンサ２００の全画素を網羅しない。投光の方向には、遠距離用ビーム２１０も近距離用ビーム２２０も照射されない方向と、遠距離用ビーム２１０のみ照射される方向と、近距離用ビーム２２０のみ照射される方向と、遠距離用ビーム２１０および近距離用ビーム２２０の両方が照射される方向とが含まれる。反射光を受光するイメージセンサ２００の受光面においても上記の４種類の方向にそれぞれ対応する４種類の画素領域が存在する。

ここで、光源１００とイメージセンサ２００との間の距離は、例えば数ｍｍ程度であり得る。一方、測距の距離レンジは、例えば０ｍから２００ｍ程度の範囲であり、多くの場合数ｍ以上である。このことを考慮すると、光源１００およびイメージセンサ２００は、空間座標において同一の点に位置するとみなすことができる。従って、光源１００から出射した光ビームは、光ビームの方向にある物体によって反射され、光源１００とほぼ同じ位置にあるイメージセンサ２００によって受光される。遠距離にある物体と近距離にある物体とが光ビームの方向に存在する場合、近距離にある物体によって光ビームが反射され、遠距離にある物体には光ビームが届かない。

一方、本実施形態では、相対的に遠い第１の距離レンジにある物体によって遠距離用ビーム２１０が反射されてイメージセンサ２００に到達する期間と、相対的に近い第２の距離レンジにある物体によって近距離用ビーム２２０が反射されてイメージセンサ２００に到達する期間とが、少なくとも部分的に重なる。そのような条件が満たされるように、各光ビームの出射のタイミングおよび露光のタイミングが調整される。第１の距離レンジは、例えば１００ｍから２００ｍの範囲に設定され、第２の距離レンジは、例えば０ｍから１００ｍの範囲に設定され得る。第１の距離レンジ以外の距離にある物体によって反射された遠距離用ビーム２１０、および第２の距離レンジ以外の距離にある物体によって反射された近距離用ビーム２２０は、イメージセンサ２００によって検出されない。すなわち、遠距離用ビーム２１０および近距離用ビーム２２０の両方が照射される方向に物体が存在していたとしても、イメージセンサ２００によって検出されるのは、それらのビームの一方のみである。画素ピッチが十分に小さく、物体の輪郭線によって当該物体の内側と外側とに分割される画素がない場合、イメージセンサ２００の受光面には、遠距離用ビーム２１０と近距離用ビーム２２０の両方を受光する画素はない。この場合、遠距離用ビーム２１０も近距離用ビーム２２０も受光しない画素、遠距離用ビーム２１０のみ受光する画素、近距離用ビーム２２０のみ受光する画素の３種類のみが生じ得る。ただし、物体の輪郭線によって当該物体の内側と外側とに分割される画素がある場合、そのような画素は、遠距離用ビーム２１０および近距離用ビーム２２０の両方を受光し得る。その場合には、第１の光ビームも第２の光ビームも受光しない画素、第１の光ビームのみ受光する画素、第１の光ビームのみ受光する画素、第１の光ビームおよび第２の光ビームの両方を受光する画素の４種類が生じ得る。

図３に示す投光／露光タイミング決定部３２２は、光源１００が複数の遠距離用ビーム２１０を出射するタイミングと、光源１００が複数の近距離用ビーム２２０を出射するタイミングと、イメージセンサ２００が露光を行うタイミングとを決定する。

計時部３２４は、時間を計測する。

投光制御信号出力部３２６は、光源１００を制御する投光制御信号を出力する。投光制御信号には、複数の遠距離用ビームを投光するための第１の制御信号と、複数の遠距離用ビームを投光するための第２の制御信号とがある。第１の制御信号は、各遠距離用ビームの方向、ビーム形状、および強度を規定する遠距離ビーム情報３１１に基づいて生成される。第２の制御信号は、各近距離用ビームの方向、ビーム形状、および強度を規定する近距離ビーム情報３１２に基づいて生成される。

露光制御信号出力部３２８は、イメージセンサ２００の露光を制御する露光制御信号を出力する。イメージセンサ２００は、出力された露光制御信号に従って露光を実行する。

投光／露光タイミング決定部３２２、計時部３２４、投光制御信号出力部３２６、露光制御信号出力部３２８のそれぞれの機能は、例えばプロセッサ３２０がプログラム３１４を実行することによって実現され得る。その場合、プロセッサ３２０が、投光／露光タイミング決定部３２２、計時部３２４、投光制御信号出力部３２６、および露光制御信号出力部３２８として機能する。これらの各機能部は、専用のハードウェアによって実現されていてもよい。

ここで、一般的な間接ＴｏＦ方式による測距方法の一例を説明する。ＴｏＦ方式は、光源から出射した光が物体によって反射されて光源の近傍の光検出器まで戻ってくるまでの飛行時間を測定することで、装置から物体までの距離を測定する方式である。飛行時間を直接計測する方式を直接ＴｏＦと呼ぶ。複数の露光期間を設け、露光期間ごとの反射光のエネルギー分布から、飛行時間を計算する方式を間接ＴｏＦと呼ぶ。

図６Ａは、間接ＴｏＦ方式における投光タイミング、反射光の到達タイミング、および２回の露光タイミングの例を示す図である。横軸は時間を示している。矩形部分は、投光、反射光の到達、および２回の露光のそれぞれの期間を表している。図６Ａの（ａ）は、光源から光が出射するタイミングを示している。Ｔ０は測距用の光ビームのパルス幅である。図６Ａの（ｂ）は、光源から出射して物体で反射された光ビームがイメージセンサに到達する期間を示している。Ｔｄは光ビームの飛行時間である。図６Ａの例では、光パルスの時間幅Ｔ０よりも短い時間Ｔｄで反射光がイメージセンサに到達している。図６Ａの（ｃ）は、イメージセンサの第１の露光期間を示している。この例では、投光の開始と同時に露光が開始され、投光の終了と同時に露光が終了している。第１の露光期間では、反射光のうち、早期に戻ってきた光が光電変換され、生じた電荷が蓄積される。Ｑ１は、第１の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ１は、第１の露光期間の間に蓄積された電荷の量に比例する。図６Ａの（ｄ）は、イメージセンサの第２の露光期間を示している。この例では、第２の露光期間は、投光の終了と同時に開始し、光ビームのパルス幅Ｔ０と同一の時間、すなわち第１の露光期間と同一の時間が経過した時点で終了する。Ｑ２は、第２の露光期間の間に光電変換された光のエネルギーを表す。このエネルギーＱ２は、第２の露光期間の間に蓄積された電荷の量に比例する。第２の露光期間では、反射光のうち、第１の露光期間が終了した後に到達した光が受光される。第１の露光期間の長さが光ビームのパルス幅Ｔ０に等しいことから、第２の露光期間で受光される反射光の時間幅は、飛行時間Ｔｄに等しい。

ここで、第１の露光期間の間に画素に蓄積される電荷の積分容量をＣｆｄ１、第２の露光期間の間に画素に蓄積される電荷の積分容量をＣｆｄ２、光電流をＩｐｈ、電荷転送クロック数をＮとする。第１の露光期間における画素の出力電圧は、以下のＶｏｕｔ１で表される。
Ｖｏｕｔ１＝Ｑ１／Ｃｆｄ１＝Ｎ×Ｉｐｈ×（Ｔ０－Ｔｄ）／Ｃｆｄ１

第２の露光期間における画素の出力電圧は、以下のＶｏｕｔ２で表される。
Ｖｏｕｔ２＝Ｑ２／Ｃｆｄ２＝Ｎ×Ｉｐｈ×Ｔｄ／Ｃｆｄ２

図６Ａの例では、第１の露光期間の時間長と第２の露光期間の時間長とが等しいため、Ｃｆｄ１＝Ｃｆｄ２である。従って、Ｔｄは以下の式で表すことができる。
Ｔｄ＝｛Ｖｏｕｔ２／（Ｖｏｕｔ１＋Ｖｏｕｔ２）｝×Ｔ０

光速をＣ（≒３×１０^８ｍ／ｓ）とすると、装置と物体との距離Ｌは、以下の式で表される。
Ｌ＝Ｃ×Ｔｄ／２＝Ｃ×｛Ｖｏｕｔ２／（Ｖｏｕｔ１＋Ｖｏｕｔ２）｝×Ｔ０／２

イメージセンサ２００は、実際には露光期間に蓄積した電荷を出力するため、時間的に連続して２回の露光を行うことができない場合がある。図６Ｂは、連続で２つの露光期間を設けることができない場合の投光と露光、および電荷出力のタイミングを模式的に示す図である。図６Ｂの例では、まず、光源１００が投光を開始すると同時にイメージセンサ２００は露光を開始し、光源１００が投光を終了すると同時にイメージセンサ２００は露光を終了する。この露光期間Ｐ１は、図６Ａにおける露光期間１に相当する。イメージセンサ２００は、露光直後にこの露光期間Ｐ１で蓄積された電荷を出力する。次に、光源１００は再度投光を開始し、１回目と同一の時間Ｔ０が経過すると投光を終了する。イメージセンサ２００は、光源１００が投光を終了すると同時に露光を開始し、第１の露光期間Ｐ１と同一の時間長が経過すると露光を終了する。この露光期間Ｐ２は、図６Ａにおける露光期間２に相当する。イメージセンサ２００は、露光直後にこの露光期間Ｐ２で蓄積された電荷を出力する。

このように、図６Ｂの例では、上記の距離計算のための電圧を取得するために、光源１００は投光を２回行い、イメージセンサ２００はそれぞれの投光に対して異なるタイミングで露光する。このようにすることで、２つの露光期間を時間的に連続して設けることができない場合でも、露光期間ごとに電圧を取得できる。このように、露光期間ごとに電荷の出力を行うイメージセンサ２００では、予め設定された複数の露光期間の各々で蓄積される電荷の情報を得るために、同一条件の光を、設定された露光期間の数と等しい回数だけ投光することになる。

なお、実際の測距では、イメージセンサ２００は、光源１００から出射されて物体で反射された光のみではなく、バックグラウンド光、すなわち太陽光または周辺の照明等の外部からの光を受光し得る。そこで、一般には、光ビームが出射されていない状態でイメージセンサ２００に入射するバックグラウンド光による蓄積電荷を計測するための露光期間が設けられる。バックグランド用の露光期間で計測された電荷量を、光ビームの反射光を受光したときに計測される電荷量から減算することで、光ビームの反射光のみを受光した場合の電荷量を求めることができる。本実施形態では、簡便のため、バックグランド光についての動作の説明を省略する。

［１－１－２ 光源１００の構成］
光源１００の構成例を説明する。光源１００は、例えば特許文献４に開示されているような、光源および符号化マスクを利用して、任意の空間パターンの光を出射する光源であり得る。あるいは、光源１００は、例えば特許文献１に開示されているような、任意の空間パターンの光を出射できる光フェーズドアレイの構成を備えていてもよい。さらには、特許文献７に開示されている発光デバイスを利用してもよい。以下、光源１００の構成の一例を説明する。

図７は、光源１００において使用され得る発光デバイスの一例を模式的に示す斜視図である。光源１００は、各々が異なる方向に光を出射する複数の発光デバイスの組み合わせによって構成され得る。図７は、そのうちの１つの発光デバイスの構成を簡略化して示している。

発光デバイスは、複数の光導波路素子１０を含む光導波路アレイを備える。複数の光導波路素子１０の各々は、第１の方向（図７におけるＸ方向）に延びた形状を有する。複数の光導波路素子１０は、第１の方向に交差する第２の方向（図７におけるＹ方向）に規則的に配列されている。複数の光導波路素子１０は、第１の方向に光を伝搬させながら、第１および第２の方向に平行な仮想的な平面に交差する第３の方向Ｄ３に光を出射させる。

複数の光導波路素子１０のそれぞれは、互いに対向する第１のミラー３０および第２のミラー４０と、ミラー３０とミラー４０の間に位置する光導波層２０とを有する。ミラー３０およびミラー４０の各々は、第３の方向Ｄ３に交差する反射面を、光導波層２０との界面に有する。ミラー３０およびミラー４０、ならびに光導波層２０は、第１の方向に延びた形状を有している。

第１のミラー３０の反射面と第２のミラー４０の反射面とは略平行に対向している。２つのミラー３０およびミラー４０のうち、少なくとも第１のミラー３０は、光導波層２０を伝搬する光の一部を透過させる特性を有する。言い換えれば、第１のミラー３０は、当該光について、第２のミラー４０よりも高い光透過率を有する。このため、光導波層２０を伝搬する光の一部は、第１のミラー３０から外部に出射される。このようなミラー３０および４０は、例えば誘電体による多層膜（「多層反射膜」と称することもある。）によって形成される多層膜ミラーであり得る。

それぞれの光導波路素子１０に入力する光の位相を調整し、さらに、これらの光導波路素子１０における光導波層２０の屈折率もしくは厚さ、または光導波層２０に入力される光の波長を調整することで、任意の方向に光を出射させることができる。

図８は、１つの光導波路素子１０の断面の構造および伝搬する光の例を模式的に示す図である。図８では、図７に示すＸ方向およびＹ方向に垂直な方向をＺ方向とし、光導波路素子１０のＸＺ面に平行な断面が模式的に示されている。光導波路素子１０において、一対のミラー３０とミラー４０が光導波層２０を挟むように配置されている。光導波層２０のＸ方向における一端から導入された光２２は、光導波層２０の上面に設けられた第１のミラー３０および下面に設けられた第２のミラー４０によって反射を繰り返しながら光導波層２０内を伝搬する。第１のミラー３０の光透過率は第２のミラー４０の光透過率よりも高い。このため、主に第１のミラー３０から光の一部を出力することができる。

通常の光ファイバーなどの光導波路では、全反射を繰り返しながら光が光導波路に沿って伝搬する。これに対して、本実施形態における光導波路素子１０では、光は光導波層２０の上下に配置されたミラー３０および４０によって反射を繰り返しながら伝搬する。このため、光の伝搬角度に制約がない。ここで光の伝搬角度とは、ミラー３０またはミラー４０と光導波層２０との界面への入射角度を意味する。ミラー３０またはミラー４０に対して、より垂直に近い角度で入射する光も伝搬できる。すなわち、全反射の臨界角よりも小さい角度で界面に入射する光も伝搬できる。このため、光の伝搬方向における光の群速度は自由空間における光速に比べて大きく低下する。これにより、光導波路素子１０は、光の波長、光導波層２０の厚さ、および光導波層２０の屈折率の変化に対して光の伝搬条件が大きく変化するという性質を持つ。このような光導波路を、「反射型光導波路」または「スローライト光導波路」と称する。

光導波路素子１０から空気中に出射される光の出射角度θは、以下の式１によって表される。

式１からわかるように、空気中での光の波長λ、光導波層２０の屈折率ｎ_ｗおよび光導波層２０の厚さｄのいずれかを変えることで光の出射方向を変えることができる。

例えば、ｎ_ｗ＝２、ｄ＝３８７ｎｍ、λ＝１５５０ｎｍ、ｍ＝１の場合、出射角度は０°である。この状態から、屈折率をｎ_ｗ＝２．２に変化させると、出射角度は約６６°に変化する。一方、屈折率を変えずに厚さをｄ＝４２０ｎｍに変化させると、出射角度は約５１°に変化する。屈折率も厚さも変化させずに波長をλ＝１５００ｎｍに変化させると、出射角度は約３０°に変化する。このように、光の波長λ、光導波層２０の屈折率ｎ_ｗ、および光導波層２０の厚さｄのいずれかを変化させることにより、光の出射方向を変化させることができる。

光の波長λは、例えば一般的なシリコン（Ｓｉ）により光を吸収することで光を検出するイメージセンサで高い検出感度が得られる４００ｎｍから１１００ｎｍ（可視光から近赤外光）の波長域に含まれ得る。他の例では、波長λは、光ファイバーまたはＳｉ光導波路において伝送損失の比較的小さい１２６０ｎｍから１６２５ｎｍの近赤外光の波長域に含まれ得る。なお、これらの波長範囲は一例である。使用される光の波長域は、可視光または赤外光の波長域に限定されず、例えば紫外光の波長域であってもよい。

発光デバイスは、各光導波路素子１０における光導波層２０の屈折率、厚さ、および波長の少なくとも１つを変化させる第１調整素子を備え得る。これにより、出射光の方向を調製することができる。

光導波層２０の少なくとも一部の屈折率を調整するために、光導波層２０は、液晶材料または電気光学材料を含んでいてもよい。光導波層２０は、一対の電極によって挟まれ得る。一対の電極に電圧を印加することにより、光導波層２０の屈折率を変化させることができる。

光導波層２０の厚さを調整するために、例えば、第１のミラー３０および第２のミラー４０の少なくとも一方に少なくとも１つのアクチュエータが接続されてもよい。少なくとも１つのアクチュエータによって第１のミラー３０と第２のミラー４０との距離を変化させることにより、光導波層２０の厚さを変化させることができる。光導波層２０が液体から形成されていれば、光導波層２０の厚さは容易に変化し得る。

複数の光導波路素子１０が一方向に配列された光導波路アレイにおいて、それぞれの光導波路素子１０から出射される光の干渉により、光の出射方向は変化する。各光導波路素子１０に供給する光の位相を調整することにより、光の出射方向を変化させることができる。以下、その原理を説明する。

図９Ａは、光導波路アレイの出射面に垂直な方向に光を出射する光導波路アレイの断面を示す図である。図９Ａには、各光導波路素子１０を伝搬する光の位相シフト量も記載されている。ここで、位相シフト量は、左端の光導波路素子１０を伝搬する光の位相を基準にした値である。本実施形態における光導波路アレイは、等間隔に配列された複数の光導波路素子１０を含んでいる。図９Ａにおいて、破線の円弧は、各光導波路素子１０から出射される光の波面を示している。直線は、光の干渉によって形成される波面を示している。矢印は、光導波路アレイから出射される光の方向（すなわち、波数ベクトルの方向）を示している。図９Ａの例では、各光導波路素子１０における光導波層２０を伝搬する光の位相はいずれも同じである。この場合、光は光導波路素子１０の配列方向（Ｙ方向）および光導波層２０が延びる方向（Ｘ方向）の両方に垂直な方向（Ｚ方向）に出射される。

図９Ｂは、光導波路アレイの出射面に垂直な方向とは異なる方向に光を出射する光導波路アレイの断面を示す図である。図９Ｂに示す例では、複数の光導波路素子１０における光導波層２０を伝搬する光の位相が、配列方向に一定量（Δφ）ずつ異なっている。この場合、光は、Ｚ方向とは異なる方向に出射される。このΔφを変化させることにより、光の波数ベクトルのＹ方向の成分を変化させることができる。隣接する２つの光導波路素子１０の間の中心間距離をｐとすると、光の出射角度α_０は、以下の式２によって表される。

光導波路素子１０の本数がＮのとき、光の出射角度の広がり角Δαは、以下の式３によって表される。

したがって、光導波路素子１０の本数が多いほど、広がり角Δαを小さくすることができる。

図１０は、３次元空間における光導波路アレイを模式的に示す斜視図である。図１０に示す太い矢印は、発光デバイスから出射される光の方向を表す。θは、光の出射方向とＹＺ平面とがなす角度である。θは式１を満たす。α_０は、光の出射方向とＸＺ平面とがなす角度である。α_０は式２を満たす。

それぞれの光導波路素子１０から出射される光の位相を制御するために、例えば、光導波路素子１０に光を導入する前段に、光の位相を変化させる位相シフタが設けられ得る。発光デバイスは、複数の光導波路素子１０のそれぞれに接続された複数の位相シフタと、各位相シフタを伝搬する光の位相を調整する第２調整素子とを備え得る。各位相シフタは、複数の光導波路素子１０の対応する１つにおける光導波層２０に直接的にまたは他の光導波路を介して繋がる光導波路を含む。第２調整素子は、複数の位相シフタから複数の光導波路素子１０へ伝搬する光の位相の差をそれぞれ変化させることにより、複数の光導波路素子１０から出射される光の方向（すなわち、第３の方向Ｄ３）を変化させる。以下の説明では、光導波路アレイと同様に、配列された複数の位相シフタを「位相シフタアレイ」と称することがある。

図１１は、光導波路アレイ１０Ａおよび位相シフタアレイ８０Ａを、光出射面の法線方向（Ｚ方向）から見た模式図である。図１１に示す例では、全ての位相シフタ８０が同じ伝搬特性を有し、全ての光導波路素子１０が同じ伝搬特性を有する。それぞれの位相シフタ８０およびそれぞれの光導波路素子１０は同じ長さであってもよいし、長さが異なっていてもよい。それぞれの位相シフタ８０の長さが等しい場合は、例えば、駆動電圧によってそれぞれの位相シフト量を調整することができる。また、それぞれの位相シフタ８０の長さを等ステップで変化させた構造にすることで、同じ駆動電圧で等ステップの位相シフトを与えることもできる。さらに、この発光デバイスは、複数の位相シフタ８０に光を分岐して供給する光分岐器９０と、各光導波路素子１０を駆動する第１駆動回路１１０と、各位相シフタ８０を駆動する第２駆動回路１２０とをさらに備える。図１１における直線の矢印は光の入力を示している。別々に設けられた第１駆動回路１１０と第２駆動回路１２０とをそれぞれ独立に制御することにより、２次元的に光の出射方向を変化させることができる。この例では、第１駆動回路１１０は、第１調整素子の１つの要素として機能し、第２駆動回路１２０は、第２調整素子の１つの要素として機能する。

第１駆動回路１１０は、各光導波路素子１０における光導波層２０の屈折率および厚さの少なくとも一方を変化させることにより、光導波層２０から出射する光の角度を変化させる。第２駆動回路１２０は、各位相シフタ８０における光導波路２０ａの屈折率を変化させることにより、光導波路２０ａの内部を伝搬する光の位相を変化させる。光分岐器９０は、全反射によって光が伝搬する光導波路で構成してもよいし、光導波路素子１０と同様の反射型光導波路で構成してもよい。

なお、光分岐器９０で分岐したそれぞれの光の位相を制御した後に、それぞれの光を位相シフタ８０に導入してもよい。この位相制御には、例えば、位相シフタ８０に至るまでの光導波路の長さを調整することによるパッシブな位相制御構造を用いることができる。あるいは、位相シフタ８０と同様の機能を有する電気信号で制御可能な位相シフタを用いても良い。このような方法により、例えば、全ての位相シフタ８０に等位相の光が供給されるように、位相シフタ８０に導入される前に位相を調整してもよい。そのような調整により、第２駆動回路１２０による各位相シフタ８０の制御をシンプルにすることができる。

上記の発光デバイスの動作原理、および動作方法などの詳細は、特許文献７に開示されている。特許文献７の開示内容全体を本明細書に援用する。

本実施形態における光源１００は、各々が異なる方向に光を出射する複数の導波路アレイを組み合わせることによって実現され得る。以下、そのような光源１００の構成例を説明する。

図１２は、光源１００の一例を示す図である。この例における光源１００は、光導波路アレイ１０Ａと、光導波路アレイ１０Ａに接続された位相シフタアレイ８０Ａとを備える。光導波路アレイ１０Ａは、Ｙ方向に並ぶ複数の光導波路群１０ｇを含む。各光導波路群１０ｇは、１つ以上の光導波路素子１０を含む。位相シフタアレイ８０Ａは、Ｙ方向に並ぶ複数の位相シフタ群８０ｇを含む。各位相シフタ群８０ｇは、１つ以上の位相シフタ８０を含む。この例において、位相シフタ群８０ｇのまとまりは、光導波路群１０ｇのまとまりとは異なっている。より具体的には、１つの光導波路群１０ｇに、２つの位相シフタ群８０ｇが接続されている。

各位相シフタ８０の位相シフト量は、制御回路３００によって個別に制御される。各位相シフタ８０の位相シフト量は、その配列の順序に応じた第１の位相シフト量（Δφの整数倍）と、位相シフタ群８０ｇごとに異なる第２の位相シフト量（Ｖａ、Ｖｂ、Ｖｃ、Ｖｄのいずれか）との和になるように制御される。第２の位相シフト量を位相シフタ群８０ｇごとに変化させることにより、光ビームの出射方向のＹ成分、およびスポットサイズのＹ方向の広がり角が制御される。

一方、制御回路３００は、光導波路群１０ｇごとに、印加される電圧の値を個別に決定する。各光導波路群１０ｇへの印加電圧の制御により、光ビームの出射方向のＸ成分が制御される。位相シフタ群８０ｇと光導波路群１０ｇとの組み合わせに依存して、光の出射方向が決定される。図１２の例では、１つの位相シフタ群８０ｇに接続された隣り合う２つの光導波路群１０ｓから同一の方向に光が出射する。１つの光導波路群１０ｇから出射される光束を１つの光ビームとすると、図１２の例では、２本の光ビームを同時に出射することができる。光導波路素子１０および位相シフタ８０の数を増やせば、さらにビーム本数を増やすことができる。

図１３は、光源１００の他の構成例を示す図である。この例における光源１００は、各々が異なる方向に光ビームを出射する複数の発光デバイス７００を備える。この例では、１つのチップ上に複数の位相シフタ８０および複数の光導波路素子１０が実装される。制御回路３００は、各発光デバイス７００における各位相シフタ８０および各光導波路素子１０への印加電圧を制御する。これにより、制御回路３００は、各発光デバイス７００から出射する光ビームの方向を制御する。この例では、光源１００は３つの発光デバイス７００を備えるが、さらに多数の発光デバイス７００を備えていてもよい。近距離用ビームおよび遠距離用ビームの各々は、複数の発光デバイス７００から出射する光ビームの集合によって構成され得る。

図１４は、光源１００のさらに他の構成例を示す図である。この例における光源１００は、各々が異なるチップに実装された複数の発光デバイス７００を備える。複数の発光デバイス７００は、異なる方向に光ビームを出射する。各発光デバイス７００は、複数の位相シフタ８０および複数の光導波路素子１０に印加する電圧を決定する制御回路３００ａを備える。各発光デバイス７００における制御回路３００ａは、外部の制御回路３００によって制御される。この例でも、光源１００は３つの発光デバイス７００を備えるが、さらに多数の発光デバイス７００を備えていてもよい。近距離用ビームおよび遠距離用ビームの各々は、複数の発光デバイス７００から出射する光ビームの集合によって構成され得る。

［１－１－３ イメージセンサ２００の構成］
次に、図３に示すイメージセンサ２００の構成を説明する。

イメージセンサ２００は、受光面に２次元的に配列された複数の受光素子を備える。イメージセンサ２００は、例えばＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ、または赤外線アレイセンサであり得る。受光素子は、例えばフォトダイオードなどの光電変換素子と、１つ以上の電荷蓄積部とを含む。光電変換によって生じた電荷が、露光期間の間、電荷蓄積部に蓄積される。電荷蓄積部に蓄積された電荷は、露光期間終了後、出力される。このようにして、各受光素子は、露光期間の間に受けた光の量に応じた電気信号を出力する。この電気信号を「受光データ」と称する。イメージセンサ２００は、モノクロタイプの撮像素子であってもよいし、カラータイプの撮像素子であってもよい。例えば、Ｒ／Ｇ／Ｂ、Ｒ／Ｇ／Ｂ／ＩＲ、またはＲ／Ｇ／Ｂ／Ｗのフィルタを有するカラータイプの撮像素子を用いてもよい。イメージセンサ２００は、可視の波長範囲に限らず、例えば紫外、近赤外、中赤外、遠赤外などの波長範囲に検出感度を有していてもよい。イメージセンサ２００は、ＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）を利用したセンサであってもよい。イメージセンサ２００は、露光後に全画素の信号を一括で読出すことが可能な電子シャッタ、すなわちグローバルシャッタの機構を備え得る。

なお、本実施形態ではイメージセンサ２００が用いられるが、イメージセンサ２００とは異なる受光装置を用いてもよい。例えば、一次元的に配列された複数の受光素子を備えた受光装置を用いてもよい。

［１－１－４ 信号処理回路４００の構成］
信号処理回路４００は、イメージセンサ２００から出力された信号を処理するＣＰＵおよび／またはＧＰＵなどの１つ以上のプロセッサを含み得る。図３に示す信号処理回路４００は、認識処理部４１０と、物体距離計算部４３０とを備える。認識処理部４１０は、イメージセンサ２００から出力された信号に基づいて、シーン中の１つ以上の物体を認識する。物体距離計算部４３０は、認識されたそれぞれの物体までの距離を計算する。認識処理部４１０および物体距離計算部４３０の機能は、例えば信号処理回路４００のプロセッサがコンピュータプログラムを実行することによって実現され得る。その場合、当該プロセッサが、認識処理部４１０および物体距離計算部４３０として機能する。これらの各機能部は、専用のハードウェアによって実現されていてもよい。

［１－２ 物体認識装置の動作］
実施形態１に係る物体認識装置の動作を説明する。図１５は、実施形態１に係る物体認識装置の動作の概要を示すフローチャートである。物体認識装置は、図１５に示すステップＳ１１００からＳ１５００の動作を実行する。以下、各ステップの動作を説明する。

＜ステップＳ１１００＞
まず、制御回路３００は、光源１００による近距離用ビームおよび遠距離用ビームのそれぞれの投光のタイミングと、イメージセンサ２００の露光のタイミングとを決定する。投光と露光のタイミングの詳細については後述する。

＜ステップＳ１２００＞
次に、制御回路３００は、決定した投光タイミングに従って、光源１００に、投光を指示する制御信号を送信する。さらに、決定した露光タイミングに従って、イメージセンサ２００に、露光の開始および終了を指示する制御信号を送信する。これにより、光源１００から複数の遠距離用ビームおよび複数の近距離用ビームが出射され、イメージセンサ２００の各受光素子に電荷が蓄積される。本実施形態では、前述のように、２回の露光期間が設定される。イメージセンサ２００は、それぞれの露光期間で各受光素子に蓄積された電荷量に応じた受光データを出力する。

＜ステップＳ１３００＞
次に、信号処理回路４００は、ステップＳ１２００で出力された受光データを取得する。信号処理回路４００における認識処理部４１０は、取得した受光データに基づき、シーン中の物体を認識する。認識処理は、機械学習アルゴリズムに従って予め訓練された学習済みモデルである物体認識モデルに従って行われる。物体認識モデルは、後述する物体認識システムにおける学習装置によって生成され、信号処理回路４００が備える記憶媒体または信号処理回路４００に電気的に接続された記憶媒体に予め格納されている。認識処理部４１０は、イメージセンサ２００から出力された受光データに物体認識モデルを適用することにより、シーン中に存在する１つ以上の物体を認識する。認識される物体は、例えば人、自転車、および自動車を含み得る。認識処理部４１０は、物体の認識結果、例えば「人」、「自動車」、または「自転車」等のラベルとともに、その物体の画像上での位置、例えば画素領域を特定する情報を出力する。

＜ステップＳ１４００＞
信号処理回路４００における物体距離計算部４５０は、ステップＳ１３００で認識された物体ごとに、物体が位置する複数の画素の受光データから、当該物体までの距離を計算する。距離の計算方法の詳細については後述する。

（ステップＳ１５００）
信号処理回路４００は、ステップＳ１３００で認識された物体と、ステップＳ１４００で計算された当該物体までの距離とを示す情報とを出力する。出力結果は、例えば記憶装置５００に記録され、ディスプレイ６００に表示され得る。

［１－２－１ 投光／受光タイミング］
次に、本実施形態における各光ビームの投光および露光のタイミングの例を説明する。

図１６は、本実施形態における各光ビームの投光および露光のタイミングの例を示す模式図である。図１６の（ａ）は、遠距離ビームの投光のタイミングを示している。図１６の（ｂ）は、近距離用ビームの投光のタイミングを示している。図１６の（ｃ）は、第１の露光期間を示している。図１６の（ｄ）は、第２の露光期間を示している。

第１の露光期間は、近距離用ビームの投光が終了すると同時に開始し、各ビームのパルス幅と同一の時間が経過すると終了する。第２の露光期間は、第１の露光期間が終了すると開始し、第１の露光期間と同一の時間が経過すると終了する。

図１６の（ｅ）における実線のパルスは、遠距離用ビームが遠方（例えば装置から１００ｍから２００ｍの範囲）に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。図１６の（ｅ）における点線のパルスは、遠距離用ビームが近距離（例えば装置から１００ｍ未満の範囲）に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。図１６の（ｆ）は、近距離用ビームが近距離（例えば装置から１００ｍ未満の範囲）にある物体で反射されて装置に戻ってくるタイミングを示している。

遠距離用ビームの投光は近距離用ビームの投光に先行する。遠方で反射された遠距離用ビームと近くで反射された近距離用ビームの両方が、少なくとも一方の露光期間で受光されるように各露光期間が設定される。

図１６の（ｅ）において点線で示されたパルスは、近距離にある物体で反射して戻ってきた長距離用ビームの反射光を示している。この反射光は、すべての露光期間の外側のタイミングで装置に戻ってくる。このため、イメージセンサ２００は、このような光を検出しない。イメージセンサ２００は、例えば１００ｍ未満にある物体によって反射された遠距離用の光ビームを検出しない。一方、近距離用の光ビームについては、遠距離用の光ビームよりもエネルギー密度が小さいため、遠距離用の光ビームよりも到達距離が短い。よって、装置から例えば１００ｍ以上離れた物体で反射された場合には、強度の減衰により、検出することができなくなる。このため、近距離用の光ビームが、次回以降の投光に対する露光期間で検出されることはない。なお、近距離用の光ビームと遠距離用の光ビームの到達距離が同一であってもよい。その場合でも、次回の投光までの時間間隔を十分に空けることにより、遠距離物体で反射された近距離用の光ビームが次回以降の露光期間に検出されることを回避できる。

図１６に示す例では、第１の露光期間が終了すると直ちに第２の露光期間が開始する。イメージセンサ２００は各画素につき２つの電荷蓄積部を備えており、電荷を蓄積する電荷蓄積部を露光期間毎に切替えることができる。この例では、第１の露光期間および第２の露光期間が終了した後、各電荷蓄積部に蓄積された電荷を出力する期間が設けられ得る。

これに対し、イメージセンサ２００が各画素に１つの電荷蓄積部を備える場合は、各露光期間の終了後に、蓄積された電荷を出力する期間が設けられる。そのような場合には、図１７に示すように、遠距離用ビームおよび近距離用ビームの１回の投光については露光を１回のみ行い、次回の投光時に、前回と異なるタイミングで露光してもよい。

図１７は、露光期間の後に電荷出力のための期間が設けられる場合の投光および露光のタイミングの例を示す図である。この例では、遠距離用ビームおよび近距離用ビームの投光が行われた後、第１の露光期間において、イメージセンサ２００は、各ビームの反射光による電荷を蓄積し、出力する。続いて、所定の時間が経過した後、前回と同一の条件で遠距離用ビームおよび近距離用ビームの投光が行われる。この２回目の近距離用ビームの投光が終了してから、第１の露光期間に相当する時間が経過すると、第２の露光期間が開始される。第２の露光期間において、イメージセンサ２００は、各ビームの反射光による電荷を蓄積し、出力する。このように、図１７の例では、イメージセンサ２００は、露光が終了する度に電荷出力を行う。このため、光源１００は、同一の条件の遠距離用ビームと近距離用ビームの組み合わせで投光を連続して複数回行う。イメージセンサ２００は、投光ごとに、異なるタイミングで露光する。これにより、各露光期間で蓄積された電荷による電圧を取得することができる。

なお、露光期間は２つに限らず、連続する３つ以上の露光期間を設けてもよい。また、投光および露光のタイミングは、上記のタイミングとは異なっていてもよい。投光と受光のタイミングは、各光ビームの距離範囲の設定などの種々の条件に応じて調整され得る。

図１７の例のように、遠距離用ビームおよび近距離用ビームの投光のたびに露光を１回だけ行う場合においても、イメージセンサ２００が各画素に２つの電荷蓄積部を備え、露光期間ごとに蓄積される電荷蓄積部を切替えてもよい。この場合、イメージセンサ２００は、複数回の投光と露光を繰り返したのちに、各電荷蓄積部に蓄積された電荷を出力してもよい。

［１－２－２ 投光／露光による電荷計測の動作］
次に、ステップＳ１２００における電荷計測の動作の詳細を説明する。

図１８は、図１７に示す例における電荷計測の動作を示すフローチャートである。物体認識装置は、図１８に示すステップＳ１２０１からＳ１２１２の動作を実行する。以下、各ステップの動作を説明する。

＜ステップＳ１２０１＞
制御回路３００は、ステップＳ１１００で決定された全ての露光期間での電荷計測が終了したか否かを判断する。全ての露光期間での電荷計測が終了している場合、ステップＳ１３００に進む。全ての露光期間の電荷計測が終了していない場合、ステップＳ１２０２に進む。

＜ステップＳ１２０２＞
制御回路３００は、投光と露光とを制御するために時間の計時を開始する。

＜ステップＳ１２０３＞
制御回路３００は、ステップＳ１１００で決定された遠距離用ビームの投光タイミングで、投光制御信号を光源１００に出力する。投光制御信号は、遠距離ビーム情報３１２が示すビーム形状、広がり角、および光ビームの方向の情報と、ステップＳ１１００で決定された投光のパルス時間長の情報とを含む。

＜ステップＳ１２０４＞
光源１００は、ステップＳ１２０３で出力された投光制御信号に従って、遠距離用ビームを生成して投光する。

＜ステップＳ１２０５＞
制御回路３００は、ステップＳ１１００で決定された近距離用ビームの投光タイミングになると、投光制御信号を光源１００に出力する。この投光制御信号は、近距離ビーム情報３１１が示すビーム形状、広がり角、および光ビームの方向の情報と、ステップＳ１１００で決定された投光のパルス時間長の情報とを含む。

＜ステップＳ１２０６＞
光源１００は、ステップＳ１２０３で出力された投光制御信号に従って、近距離用ビームを生成して投光する。

＜ステップＳ１２０７＞
制御回路３００は、ステップＳ１１００で決定された複数の露光期間のうち、まだ露光を行っていない１つの露光期間を選択する。制御回路３００は、選択した露光期間の開始のタイミングでイメージセンサ２００に露光開始信号を出力する。

＜ステップＳ１２０８＞
イメージセンサ２００は、ステップＳ１２０７で出力された露光開始信号に従って露光を開始する。

＜ステップＳ１２０９＞
制御回路３００は、ステップＳ１２０７で選択した露光期間の終了のタイミングでイメージセンサ２００に露光終了信号を出力する。

＜ステップＳ１２１０＞
イメージセンサ２００は、ステップＳ１２０９で出力された露光終了信号に従って露光を終了する。

＜ステップＳ１２１１＞
イメージセンサ２００は、露光開始から露光終了までの期間に各画素に蓄積した電荷の量に応じた受光データを出力する。

＜ステップＳ１２１２＞
制御回路３００は、計時を終了する。ステップＳ１２１２の後、ステップＳ１２０１に戻る。

ステップＳ１２０１からステップＳ１２１２の一連の動作により、光源１００による投光とイメージセンサ２００による露光が行われる。露光期間ごとにイメージセンサ２００の画素ごとに蓄積された電荷の量に応じた受光データが出力される。

［１－２－３ 認識された物体の距離情報生成］
次に、図１５に示すステップＳ１４００における距離情報生成の動作の詳細を説明する。図１９は、ステップＳ１４００における距離情報生成の動作の例を示すフローチャートである。

信号処理回路４００は、ステップＳ１４０１からＳ１４０３の動作を実行することにより、ステップＳ１３００において認識された１つ以上の物体のそれぞれについての距離情報を生成する。これらの各ステップの動作は、信号処理回路４００における距離計算部４３０によって実行される。以下、各ステップの動作を説明する。

＜ステップＳ１４０１＞
まず、信号処理回路４００は、ステップＳ１３００において認識された１つ以上の物体のすべてについての距離情報の生成が終了したか否かを判定する。すべての物体についての距離情報の生成が終了している場合、ステップＳ１５００に進む。すべての物体についての距離情報の生成が終了していない場合、ステップＳ１４０２に進む。

＜ステップＳ１４０２＞
信号処理回路４００は、ステップＳ１３００において認識された物体のうち、まだ距離が計算されていない物体を選択する。

＜ステップＳ１４０３＞
信号処理回路４００は、ステップＳ１４０２で選択された物体と物体認識装置との間の距離を計算する。距離を計算すると、ステップＳ１４０１に戻る。距離計算の詳細については後述する。

ステップＳ１４０１からステップＳ１４０３を繰り返すことで、ステップＳ１３００において認識された１つ以上の物体のすべてについての距離情報を生成することができる。

次に、図２０を参照しながら、ステップＳ１４０３における距離計算の具体例を説明する。図２０は、図１９におけるステップＳ１４０３の動作の具体例を示すフローチャートである。

＜ステップＳ１４１１＞
信号処理回路４００は、ステップＳ１４０２において選択された物体が、画像上のどの画素領域に位置するかを特定する。本実施形態では、ステップＳ１３００において、認識処理部４１０が、物体の認識結果、例えば「人」または「自動車」等のラベルとともに、その物体の画像上の位置を示す情報を出力している。その情報に基づき、物体距離計算部４３０が、当該物体に対応する画素領域を特定する。

＜ステップＳ１４１２＞
信号処理回路４００は、ステップＳ１４１１で特定した画素領域内の画素のうち、ステップＳ１２００において反射光を受光し、測定結果のある全ての画素についての距離の計算が終了したか否かを判定する。この判定がＹｅｓの場合、ステップＳ１４１９に進む。この判定がＮｏの場合、ステップＳ１４１３に進む。

＜ステップＳ１４１３＞
信号処理回路４００は、各画素領域内の測定結果のある画素のうち、まだ距離の計算が終了していない画素を選択する。

＜ステップＳ１４１４＞
信号処理回路４００は、ステップＳ１４１３で選択した画素が、各露光期間中に近距離用ビームの反射光を受光した画素であるかを判定する。信号処理回路４００は、近距離ビーム情報３１２に含まれる投光方向の情報に基づいて、当該画素が各露光期間中に近距離用ビームの反射光を受光する画素であるかを判定することができる。当該画素が各露光期間中に近距離用ビームの反射光を受光した画素である場合、ステップＳ１４１５に進む。当該画素が各露光期間中に近距離用ビームの反射光を受光した画素ではない場合、ステップＳ１４１８に進む。

＜ステップＳ１４１５＞
信号処理回路４００は、ステップＳ１４１３で選択した画素が、各露光期間中に遠距離用ビームの反射光を受光した画素であるかを判定する。信号処理回路４００は、遠距離ビーム情報３１１に含まれる投光方向の情報に基づいて、当該画素が各露光期間中に近距離用ビームの反射光を受光した画素であるかを判定することができる。当該画素が各露光期間中に遠距離用ビームの反射光を受光した画素である場合、ステップＳ１４１６に進む。当該画素が各露光期間中に遠距離用ビームの反射光を受光した画素ではない場合、ステップＳ１４１７に進む。

＜ステップＳ１４１６＞
信号処理回路４００は、当該物体の画素領域内で、ステップＳ１４１３で選択した画素の近傍の領域が近距離の範囲に該当するか否かを判定する。例えば、当該画素に最も近い予め定められた数（例えば５個）の測定値をもつ画素の各々が、近距離用ビームの距離範囲に該当するか、遠距離用ビームの距離範囲に該当するかが判定される。そして、近距離用ビームの距離範囲に該当する画素の数が遠距離用ビームの距離範囲に該当する画素の数以上である場合、ステップＳ１４１７に進む。近距離用ビームの距離範囲に該当する画素が遠距離用ビームの距離範囲に該当する画素よりも少ない場合、ステップＳ１４１８に進む。各画素が近距離用ビームの距離範囲に該当するか、遠距離用ビームの距離範囲に該当するかは、遠距離ビーム情報３１１および近距離ビーム情報３１２のそれぞれに含まれる投光方向の情報によって判断することができる。

＜ステップＳ１４１７＞
信号処理回路４００は、イメージセンサ２００が出力した第１および第２の露光期間の各々における当該画素の信号値から、間接ＴｏＦによる方法で距離を計算する。距離の計算方法は、例えば図６Ａを参照して説明した方法と同様である。ただし、図１６および図１７の例では、露光期間の設定方法が図６Ａの例とは異なるため、その差異を考慮した計算方法が用いられる。ステップＳ１４１７の動作終了後、ステップＳ１４１２に戻る。

＜ステップＳ１４１８＞
信号処理回路４００は、イメージセンサ２００が出力した当該画素の第１および第２の露光期間の各々における信号値から、間接ＴｏＦによる方法で距離を計算する。信号処理回路４００は、計算した距離を、遠距離用ビームの反射光が検出される場合の最小の距離（例えば１００ｍ）に加算することにより、当該物体と物体認識装置との距離を求める。ステップＳ１４１８の動作終了後はステップＳ１４１２に戻る。

ステップＳ１４１２からステップＳ１４１８の動作を繰り返すことで、当該物体に対応する画素領域内で測定値をもつ全ての画素についての距離情報を生成することができる。

＜ステップＳ１４１９＞
信号処理回路４００は、当該物体に対応する画素領域内で測定値をもつ全ての画素の距離についての度数分布を作成する。度数分布の階級は、例えば計測距離範囲で、距離の対数に関して線形に２０分割したものであり得る。信号処理回路４００は、作成した度数分布における最頻値を特定する。

＜ステップＳ１４２０＞
信号処理回路４００は、ステップＳ１４１９で特定した最頻値の階級に属する画素の距離の値の平均値を求め、これを当該物体の距離の値とする。

［１－３ 物体認識システムの構成］
次に、本実施形態の物体認識装置を含む物体認識システムの構成例を説明する。

図２１は、物体認識システムの構成の一例を示す図である。この物体認識システムは、物体認識装置８００と、機械学習によって物体認識モデルを作成および訓練する学習装置９００とを備える。物体認識装置８００は、図３に示す前述の構成を備える。学習装置９００は、プロセッサ９１０と、記憶媒体９２０とを備える。プロセッサ９１０は、距離画像生成部９１２と、認識処理部９１４と、機械学習部９１６とを備える。距離画像生成部９１２、認識処理部９１４、および機械学習部９１６は、プロセッサ９１０が記憶媒体９２０に格納されたコンピュータプログラムを実行することによって実現され得る。記憶媒体９２０は、光源１００から発せられる複数の近距離用ビームの空間分布および複数の遠距離用ビームの空間分布に基づく重み情報を格納する。重み情報は、イメージセンサ２００から出力される受光データから各画素の距離を計算または推定するために用いられる。

学習装置９００は、物体認識装置８００におけるイメージセンサ２００から各画素の観測値を示す受光データを取得し、受光データと重み情報とに基づいて距離画像を生成する。学習装置９００は、生成した距離画像を解析することにより、シーン内に存在する１つ以上の物体を認識する。一方、学習装置９００は、イメージセンサ２００から出力された受光データを学習データとし、距離画像に基づいて認識したシーン内の物体の認識結果を教師データとして、機械学習を行う。これにより、学習装置９００は、受光データから物体認識モデルを作成することができる。

イメージセンサ２００は、露光期間ごとに、各画素の観測値を示す受光データＤ１を出力する。この受光データＤ１は、後述する圧縮センシングによる処理に用いられる。

距離画像生成部９１２は、イメージセンサ２００から出力された受光データＤ１と、記憶媒体９２０に格納された重み情報Ｗとを取得する。距離画像生成部９１２は、受光データＤ１と重み情報Ｗとを用いて、画素ごとに距離の値を持つ距離画像を生成して出力する。距離画像の生成方法の詳細については後述する。

認識処理部９１４は、距離画像生成部９１２から出力された距離画像を取得し、当該距離画像が示すシーン内の１つ以上の物体を認識し、認識結果を出力する。認識は、例えば公知の認識アルゴリズムを用いて行われ得る。例えば、距離画像から、距離の近い隣接する画素群からなる１つ以上の領域を抽出し、その領域の形状および距離分布に基づいて、物体を特定することができる。イメージセンサ２００がカラー画像を取得できる場合は、取得される色情報も利用して物体の認識精度を高めることもできる。認識結果は、例えばその物体を示すラベルとその物体の座標または座標群のデータであり得る。認識処理部９１４は、予め機械学習によって訓練された学習済みモデルを利用して、距離画像から物体を認識してもよい。その場合には、学習済みモデルが別途作成され、記憶媒体９２０に予め格納される。

機械学習部９１６は、イメージセンサ２００から出力された受光データを学習データＤ２として取得し、認識処理部９１４から出力された認識結果のデータを教師データＤ３として取得する。機械学習部９１６は、学習データＤ２と教師データＤ３とを用いて、物体認識モデルをさらに訓練する。学習済みの物体認識モデルＭは、信号処理回路４００に提供され、前述の物体認識処理に利用される。

このように、信号処理回路４００による物体の認識に利用される物体認識モデルは、複数の訓練データセットによって予め訓練される。各訓練データセットは、学習用受光データと、学習用受光データが示すシーンに含まれる物体を識別するラベルデータとを含む。学習用受光データは、イメージセンサ２００から信号処理回路４００に送られる各画素の受光データと同じデータである。言い換えれば、イメージセンサ２００から以前に出力された受光データが、学習用受光データとして用いられる。このような構成では、物体認識装置８００と学習装置９００とを共に実装し、実際に使用しながら学習を続けることができる。

なお、学習用受光データは、イメージセンサ２００と同等の性能を持つ他のイメージセンサの受光データであってもよい。すなわち、本実施形態における学習用受光データは、圧縮センシングデータ、言い替えれば、一部の画素の情報が欠落した受光データである。

本実施形態では、光源１００が出射する近距離用ビームおよび長距離用ビームのそれぞれの空間パターンは露光期間によらず一定である。しかし、近距離用ビームおよび長距離用ビームのそれぞれの空間パターンは、露光期間によって異なっていてもよい。その場合には、パターン数に応じた数の重み情報が用意され、重み情報ごとに物体認識モデルの学習が行われ得る。その場合、信号処理回路４００における認識処理部４１０は、認識を行うとき、受光データに加えて、制御回路３００から投光パターン情報も取得し、その投光パターン情報に対応する物体認識モデルを利用するように構成され得る。ラベルデータは、投光パターン情報および受光データを基に生成され得る。より具体的には、ラベルデータは、投光パターン情報に基づく重み情報と受光データとに基づいて生成された距離画像を認識することによって生成され得る。

学習装置９００における認識処理部９１４が距離画像中の物体を認識する際に用いられ得る学習済みモデルの作成には、ＴｏＦカメラにより取得された非圧縮の距離画像、あるいは圧縮センシングデータと重み情報Ｗとを基に復元された非圧縮の距離画像が用いられる。なお、この際に用いられる重み情報Ｗは、圧縮センシングデータを取得する際の投光パターン情報に対応し、制御回路３００から取得される。認識処理部９１４は、これらの非圧縮の距離画像を基に、教師データＤ３を生成し物体認識モデルを学習することができる。

図２１に示す例では、認識処理部９１４が教師データＤ３を生成するが、本開示はこのような例に限定されない。例えば、教師データＤ３が、外部から与えられてもよい。

図２２は、物体認識システムの構成の他の例を示す図である。この例では、学習装置９００は、図２１に示す距離画像生成部９１２および認識処理部９１４を備えていない。学習装置９００は、外部の装置に電気的に接続される入力インターフェース（ＩＦ）９３０を備える。プロセッサ９１０における機械学習部９１６は、入力インターフェース９３０を介して外部の装置から教師データＤ３を取得する。この場合、教師データＤ３が示すシーン中の物体の情報は、予め圧縮センシングによって復元された各画素の観測値のデータを用いて予め生成される。

教師データは、ユーザによって作成されてもよい。例えば、図２１に示す距離画像生成部９１２によって生成された距離画像を、人が確認して距離画像中の物体の領域を指定してラベルを付けることによって教師データを生成してもよい。その場合、認識処理部９１４は不要である。

図２１および図２２に示す物体認識システムにおける学習装置９００は、物体認識装置８００におけるイメージセンサ２００から出力された受光データをオンラインで取得して学習する。このような形態に限らず、例えばイメージセンサ２００から出力された受光データを予め記憶装置に記録しておき、記録された当該受光データを用いて、オフラインで物体認識モデルの学習を行ってもよい。

［１－４ 距離画像生成処理の例］
次に、図２１に示す学習装置９００における距離画像生成部９１２による距離画像生成処理の例を説明する。距離画像生成部９１２は、各画素の観測値と重み情報とに基づいて、圧縮センシングを利用して距離画像を生成する。

本実施形態の物体認識システムは、間接ＴｏＦ法による測距を行う。距離画像生成部９１２は、教師データＤ３を作成するために利用される距離画像を、以下の方法で生成する。距離画像の生成には、イメージセンサ２００から露光期間ごとに出力された各画素の信号と、近距離用ビームおよび遠距離用ビームのそれぞれの分布を反映した重み情報とが用いられる。

本実施形態における重み情報は、近距離用ビームおよび遠距離用ビームのそれぞれの投光パターンに基づく重み行列を表す。重み行列の行数はイメージセンサ２００の画素数Ｌの２倍であり、列数は画素数Ｌと距離の解析数Ｎとを掛けた値である。距離の解析数Ｎは、測距範囲の分割数であり、測距の分解能を表す。

イメージセンサ２００の画素ｉ（ｉ＝１，２，・・・，Ｌ）の距離ベクトルをｘｉとする。ｘｉは、要素数Ｎのベクトルであり、画素ｉに位置する物体の距離の範囲を表す。例えば、ｘｉ＝［１，０，０，０，…，０］^Ｔは１６．７メートル未満、ｘｉ＝［０，１，０，０，…，０］^Ｔは１６．７メートル以上３３．３メートル未満、ｘｉ＝［０，０，０，０，…，１］^Ｔは（Ｎ－１）×１６．７メートル以上Ｎ×１６．７メートル未満を示す。以下、説明を簡略化するため、Ｎ＝１２の場合の例を説明する。ここでは、近距離用ビームは、０メートルから１００メートルの範囲にある物体を検出するために使用され、遠距離用ビームは、１００メートルから２００メートルの範囲にある物体を検出するために使用されるものと仮定する。

画素ｉについて、露光期間１で蓄積された電荷量に対応する電圧をｙ１ｉ、露光期間２で蓄積された電荷量に対応する電圧をｙ２ｉとする。ただし、以下の式４が満たされるように正規化する。

近距離用ビームのみが照射される画素については、ｙ１ｉおよびｙ２ｉは、例えば以下の式５のように表される。

ａ１からａ６、およびｂ１からｂ６は、０以上１以下の実数であり、式４を満たす数である。この例では、装置から１００メートルを超える距離に位置する物体からの近距離用ビームの反射光は、強度の減衰によって検出されない。このため、式５における行列の第７列から第１２列の各値は０に設定される。

遠距離用ビームのみが照射される画素については、ｙ１ｉおよびｙ２ｉは、例えば以下の式６のように表される。

ａ７からａ１２、およびｂ７からｂ１２は、０以上１以下の実数であり、式４を満たす数である。この例では、装置から１００メートル未満の距離に位置する物体からの遠距離用ビームの反射光が検出されないように各露光期間が設定される。このため、式６における行列の第１列から第６列の各値は０に設定される。

近距離用ビームと遠距離用ビームとが同時に照射される画素については、ｙ１ｉおよびｙ２ｉは、例えば以下の式７のように表される。

いずれのビームも照射されない画素については、ｙ１ｉおよびｙ２ｉは、ゼロになるため、以下の式８のように表される。

ここで、式５から式８における行列の各要素の数値は、ｘｉ、ｙ１ｉおよびｙ２ｉの形式に依存する。上記の行列の各要素の数値は一例にすぎず、実装によって異なる。

式５から式８をまとめると、以下の式９のように表現できる。
Ｙ＝ＷＸ （９）
ここで、画素数をＬとして、Ｙは以下の式１０で表され、Ｘは以下の式１１で表される。

Ｙは、画素ごとに、露光期間１および露光期間２でそれぞれ検出された、正規化された電荷量または電圧値を並べたベクトルである。Ｘは、前述の要素数ＮのｘｉがＬ個並べられたベクトルであり、要素数はＬ×Ｎである。Ｘは、各画素の距離を表す。より具体的には、Ｘは、各画素に対応する位置にある物体が、測距範囲を解析数Ｎで分割した場合の何番目の距離レンジにあるかを示す。画素ごとに、分割された複数の距離レンジの各々を示す要素に、０または１の値を持つことにより、距離が表現される。物体が装置から２００メートル未満の位置に存在する画素については、ｘｉは、Ｎ個の要素中１つだけが１であり、他の要素が０のベクトルである。物体が装置から２００メートル未満の位置に存在しない画素については、ｘｉは、Ｎ個の要素の全てが０のベクトルである。

Ｗは、行数が２Ｌで列数がＬ×Ｎの行列である。上述の［ｙ１ｉ，ｙ２ｉ］およびｘｉの定義より、行列Ｗは、以下の式１２で表される。

ここで、式１２における行列Ｗの各要素ｗは、式５から８におけるいずれかの行列を表す。各ｗが、式５から８のいずれの行列に該当するかは、例えば予めキャリブレーションを行うことによって決定され得る。本実施形態では、式１２に示す重み行列Ｗが、重み情報として用いられる。

前述の式９を、ベクトルＹと行列Ｗが既知という条件で、ベクトルＸについて解くことにより、画素ごとの距離の値を得ることができる。しかしながら、この式では、ベクトルＹの要素数よりもベクトルＸの要素数の方が多いため、一意に解を求めることができない。そこで、拘束条件を導入し、式９を以下のように変形する。

ここで、行列Ｍは、以下の式１４で表されるＬ×（Ｌ×Ｎ）行列である。

すなわち、ベクトルＭＸは、画素ごとの距離を示す要素数Ｌのベクトルである。

式１３において、第１項は、式９を２乗誤差に緩和したものである。第２項は、ベクトルＸのＬ１ノルムを示しており、ベクトルＸの要素の多くが０になるための拘束項である。第３項におけるＴＶ（ＭＸ）は、距離画像を表すＭＸにおける近傍の画素との輝度変化の絶対値和であるtotal variationである。αおよびβは、重み係数を示している。total variationの詳細は、例えば、Rudin L. I., Osher S. J., and Fatemi E., "Nonlinear total variation based noise removal algorithms", Physica D, vol. 60, pp. 259-268, 1992.に開示されている。この文献の開示内容の全体を本明細書に援用する。

式１３は、括弧内の値が最小になるベクトルＸを求める演算を示している。式１３は、例えば、ＡＤＭＭ（Alternating Direction Method of Multipliers)を利用することで解くことができる。ＡＤＭＭの詳細は、例えばD. Gabay and B. Mercier, “A dual algorithm for the solution of nonlinear variational problems via finite-element approximations”, Computers & Mathematics with Applications, vol. 2, pp. 17-40, 1976.に開示されている。この文献の開示内容の全体を本明細書に援用する。

［１－５．効果］
以上のように、本実施形態における物体認識装置は、光源１００と、イメージセンサ２００と、制御回路３００と、信号処理回路４００とを備える。光源１００は、同時に複数の光ビームを異なる方向に出射することが可能な構成を備える。イメージセンサ２００は、複数の受光素子を有し、指示された露光期間において各受光素子が受けた光の量に応じた受光データを出力する。制御回路３００は、光源１００に、複数の遠距離用ビームを含み、第１の空間分布を有する第１の光をシーンに向けて出射させる。その後、制御回路３００は、光源１００に、複数の近距離用ビームを含み、第２の空間分布を有する第２の光をシーンに向けて出射させる。ここで第２の空間分布は、第１の空間分布とは異なる。また、各近距離用ビームのエネルギー密度は、各遠距離用ビームのエネルギー密度よりも低い。制御回路３００は、イメージセンサ２００の複数の受光素子に、第１の光によって生じたシーンからの第１の反射光と、第２の光によって生じたシーンからの第２の反射光とを、同一の露光期間において検出させる。信号処理回路４００は、機械学習によって予め訓練された物体認識モデルを、イメージセンサ２００から出力された受光データに適用することにより、前記シーンに含まれる物体を認識する。信号処理回路４００は、受光データに基づいて、認識した物体までの距離を推定することもできる。

以上の構成により、疎な光ビームを用いた場合であっても、シーン中の物体を認識し、その物体までの距離を推定することができる。複数の光ビームは、シーンの全体をカバーする必要がない。このため、出射光のエネルギーを低減することができる。

遠距離用の光ビームの投光のタイミングと近距離用の光ビームの投光のタイミングとを適切に調整し、反射光を同一の露光期間で受光することで、遠距離の範囲での測距と近距離の範囲での測距とを同時に行うことができる。遠距離の測距と近距離の測距とを別々に行う場合に比べて測距の時間を短縮することができる。これにより、大きな距離範囲にわたって測距する場合でも、測距に要する時間を短縮することができる。距離画像を動画像として生成する場合には、より高いフレームレートで物体の認識ラベルと距離の情報とを生成することができる。

＜実施形態１の変形例＞
実施形態１では、光の到達距離が異なる２種類の光ビームが用いられる。そのような構成に限定されず、例えば、光の到達距離が等しく、イメージセンサ２００の受光面に平行な平面上での分布が異なる２組の光ビームを用いてもよい。各組の光ビームは、複数の光ビームを含み得る。

図３０は、本変形例における各光ビームの投光および露光のタイミングの例を示す模式図である。図３０の（ａ）は、第１の光ビームの投光のタイミングを示している。左側のパルスはｋ回目の投光を示し、右側のパルスはｋ＋１回目の投光を示す。図３０の（ｂ）は、第２の光ビームの投光のタイミングを示している。図３０の（ｃ）は、第１の露光期間を示している。図３０の（ｄ）は、第２の露光期間を示している。

第１の露光期間は、第２の光ビームの投光が終了すると同時に開始し、各ビームのパルス幅と同一の時間が経過すると終了する。第２の露光期間は、第１の露光期間が終了すると開始し、第１の露光期間と同一の時間が経過すると終了する。

図３０の（ｅ）における実線のパルスは、第１の光ビームが遠方（例えば装置から１００ｍから２００ｍの範囲）に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。図３０の（ｅ）における点線のパルスは、第１の光ビームが近距離（例えば装置から１００ｍ未満の範囲）に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。図３０の（ｆ）における実線のパルスは、第２の光ビームが近距離（例えば装置から１００ｍ未満の範囲）にある物体で反射されて装置に戻ってくるタイミングを示している。図３０の（ｆ）における点線のパルスは、第２の光ビームが遠方に存在する物体で反射された場合の反射光が装置に戻ってくるタイミングを示している。

第１の光ビームの投光は第２の光ビームの投光に先行する。遠方で反射された第１の光ビームと近くで反射された第２の光ビームの両方が、少なくとも一方の露光期間で受光されるように各露光期間が設定される。

図３０の（ｅ）において点線で示された近距離からの第１の光ビームの反射光は、すべての露光期間の外側で装置に戻ってくる。このため、イメージセンサ２００は、このような光を検出しない。イメージセンサ２００は、例えば１００ｍ未満にある物体によって反射された第１の光ビームを検出しない。すなわち、イメージセンサ２００は、例えば１００ｍ未満にある物体によって反射された第１の光ビームが装置に到達する時間区間では露光を行わない。図３０の（ｆ）において点線で示された遠距離からの第２の光ビームの反射光も、すべての露光期間の外側で装置に戻ってくる。このため、イメージセンサ２００は、このような光を検出しない。イメージセンサ２００は、例えば装置から１００ｍ以上の距離にある物体によって反射された第２の光ビームを検出しない。さらに、図３０の（ａ）の右側に示すｋ＋１回目のパルスのタイミングは、左側に示すｋ回目のパルスのタイミングから十分に時間間隔を空けて設定される。この時間間隔は、ｋ回目の第２の光ビームを投光してから、当該第２の光ビームが遠方にある物体で反射されて戻ってくるまでの時間よりも長い時間に設定され得る。このようにすることにより、遠距離の物体で反射された第２の光ビームが次回以降の露光期間に検出されることを回避できる。より具体的には、第２の光ビームを投光してから、当該第２の光ビームの反射光が装置に到達するまでの時間のうち、最長の時間が経過した後に、次の投光に対する最初の露光期間が開始するように、次回の投光までの時間が設定され得る。

本変形例では、到達距離が同一である２種類の光ビームを用いて、複数の距離レンジの測距を、投光と露光のタイミングの制御により実現する。このようにすることで、到達距離の異なる２種類の光ビームを用いた場合と同様の効果を得ることができる。

上記の各例において、２種類の光ビームは、２次元的な空間分布が全く同一、あるいは３次元的な空間分布が全く同一であってもよい。空間分布が同一の場合、重み情報は、各画素の状態として、第１の光ビームと第２の光ビームの両方が照射される画素とどちらの光も照射されない画素の２種類の情報のみを含む。距離画像生成部９１２は、各画素について２種類の状態のいずれであるかを規定する重み情報に基づいて、全画素の距離を計算を行うことができる。シーンの状況および画素の位置によっては、遠近の２つの距離レンジのいずれを選択すべきかについての情報が不足する場合がある。そこで、たとえば「より近距離の候補を優先する」というような拘束条件を加えることにより、距離の推定を行ってもよい。

以上の実施形態では、２つの距離レンジを２種類の光ビームに割り当てているが、本開示の技術はそのような形態に限定されない。３つ以上の距離レンジを３種類以上の光ビームに割り当ててもよい。

図２３は、物体認識システムの他の例を示す図である。図２３の例では、画素ごとに距離情報を取得するＴｏＦカメラ８５０を用いて取得した距離画像Ｄ４が、学習装置９００の入力データとして用いられる。学習装置９００は、距離画像Ｄ４に基づいて学習を行う。

ＴｏＦカメラ８５０は、光源１０１と、イメージセンサ２０１と、制御回路３０１と、プロセッサ８６０とを備える。プロセッサ８６０は、距離画像生成部８６２を備える。距離画像生成部８６２は、イメージセンサ２０１から出力される信号に基づいて距離画像を生成して出力する。ＴｏＦカメラ８５０は、直接ＴｏＦまたは間接ＴｏＦのいずれの方法で距離画像を生成する。

学習装置９００におけるプロセッサ９１０は、認識処理部９１４と、機械学習部９１６と、圧縮データ生成部９１８とを備える。記憶媒体９２０は、図２１の例と同様、重み情報Ｗを記憶する。認識処理部９１４は、予め学習された認識モデルに従って距離画像Ｄ４からシーン中の物体を認識する。圧縮データ生成部９１８は、ＴｏＦカメラ８５０から出力された距離画像Ｄ４を、式９のベクトルＸの形式に変形し、重み情報Ｗが示す行列を用いて、圧縮データＹを生成する。機械学習部９１６は、圧縮データ生成部９１８が生成した圧縮データＹを学習データＤ２とし、認識処理部９１４が出力した認識結果を教師データＤ３として学習を行う。これにより、物体認識モデルＭが生成される。機械学習部９１６によって生成された物体認識モデルＭは、物体認識装置８００の信号処理回路４００に設定される。これにより、物体認識装置８００は、圧縮データから高い精度で物体を認識することができる。

このように、本変形例では、学習用受光データＤ２は、投光パターン情報に基づく重み情報Ｗ、および予め用意された距離画像データＤ４に基づいて生成される。

この例では、認識処理部９１４が距離画像から物体を認識することで教師データを生成する。このような形態に限らず、例えば図２２に示す例のように、距離画像に対応する物体の情報を外部から取得し、教師データを得るようにしてもよい。

図１５に示すステップＳ１５００において、認識結果は、例えばディスプレイ６００などの表示装置に表示され得る。ディスプレイ６００は、ステップＳ１３００において認識された物体の情報と、その物体のイメージセンサ２００の２次元座標上での位置情報と、ステップＳ１４００で生成された当該物体の距離情報と、当該シーンの輝度画像または距離画像を取得し、それらに関する画像を表示してもよい。

図２４は、ディスプレイ６００に表示され得る画面の一例を示す図である。図２４に示すように、ディスプレイ６００は、取得された輝度画像または距離画像と、認識された１つ以上の物体の画像上での位置を、枠または点で表示してもよい。また、画像上の物体の位置を示す表示の内部または周辺に、当該物体までの距離を表示してもよい。このように、ディスプレイ６００は、認識された物体を強調する画像と、距離情報を示す画像とが合成された合成画像を出力してもよい。

図２５は、実施形態１の他の変形例を示す図である。この変形例では、学習が２段階で行われる。第１の段階は、イメージセンサ２００から出力される圧縮センシングによる受光データを入力として距離画像を生成するための距離画像生成モデルの学習である。第２の段階は、圧縮センシングによる受光データから復元された距離画像を入力として、物体を認識するための物体認識モデルの学習である。

図２５に示す例では、学習装置９００におけるプロセッサ９１０は、２つの機械学習部９１５および９１６を備える。機械学習部９１５は、物体認識装置８００のイメージセンサ２００から受光データＤ１を取得する。機械学習部９１５は、イメージセンサ２００によって撮像されたシーンと同一のシーンをＴｏＦカメラで測距することによって生成された距離画像データも取得する。機械学習部９１５は、受光データＤ１を学習データＤ２ａとし、距離画像データを教師データＤ３ａとして、受光データから距離画像を復元するための距離画像生成モデルを学習する。図２１に示す例とは異なり、式１３を用いて距離画像を計算によって復元するのではなく、機械学習アルゴリズムによって訓練された学習済みモデルに従ってイメージセンサ２００から出力された受光データから距離画像が復元される。機械学習部９１５は、生成した距離画像を、他の機械学習部９１６に入力する。機械学習部９１６は、イメージセンサ２００によって撮像されたシーン中の物体の情報を外部の装置から取得する。機械学習部９１６は、機械学習部９１５が生成した距離画像を学習データＤ２ｂとし、取得した物体の情報を教師データＤ３ｂとして物体認識モデルを学習する。

物体認識装置８００の信号処理回路４００における認識処理部は、機械学習部９１５によって学習された距離画像生成モデルＭａと、機械学習部９１６によって学習された物体認識モデルＭｂとを取得する。信号処理回路４００は、これらの２つの学習済みモデルを利用して直列に処理する。すなわち、信号処理回路４００は、まず、イメージセンサ２００から出力された受光データに、距離画像生成モデルＭａを適用することにより、全画素の距離情報を含む距離画像を生成する。続いて、信号処理回路４００は、生成した距離画像に物体認識モデルＭｂを適用することにより、物体を認識する。これにより、信号処理回路４００は、イメージセンサ２００から出力された受光データから物体を認識し、物体までの距離情報を生成することができる。本変形例では、信号処理回路４００は、ＴｏＦによる距離計算を行うことなく、距離情報を生成する。

このように、本変形例では、信号処理回路４００は、機械学習アルゴリズムによって予め訓練された距離情報生成モデルに基づいて物体までの距離を導出する。

図２５に示す物体認識システムにおける学習装置９００は、物体認識装置８００におけるイメージセンサ２００から出力された受光データをオンラインで取得して学習する。このような形態に限らず、例えばイメージセンサ２００から出力された受光データを、対応するＴｏＦカメラによる距離画像および物体の情報に関連付けて予め記憶装置に記録しておいてもよい。記録された当該受光データと、距離画像および物体の情報とを用いて、オフラインで距離画像生成モデルおよび物体認識モデルの学習を行うことができる。

図２５の例では、機械学習部９１６のための教師データである物体情報を外部から取得する。このような形態に限定されず、図２１の例のように、プロセッサ９１０が自ら認識処理を行うことによって教師データを生成してもよい。

図２５に示す物体認識システムは、物体認識装置８００および学習装置９００に加えて、図２３に示す例のように、ＴｏＦカメラをさらに備えていてもよい。あるいは、ＴｏＦカメラと学習装置とを備える学習システムを構築してもよい。そのような学習システムにおける学習装置は、図２３に示すように、ＴｏＦカメラによって生成された距離画像と、重み情報とを取得し、それらを利用して、圧縮センシング用のスパースな距離画像を生成してもよい。学習装置は、圧縮センシング用のスパースな距離画像を学習データとし、ＴｏＦカメラから取得した距離画像を教師データとして、距離画像生成モデルを学習することができる。

（実施形態２）
次に、本開示の例示的な実施形態２による学習システムを説明する。

本実施形態における学習システムは、イメージセンサから出力された受光データを用いて物体を認識するためのモデルを学習するだけでなく、物体の認識精度がより高い投光パターンを学習によって決定する。物体認識装置における制御回路３００は、記憶媒体３１０に格納された、第１の光の空間分布および第２の光の空間分布を示す投光パターン情報に基づいて、第１の光の出射方向と、第２の光の出射方向とを決定する。投光パターン情報は、複数の訓練データセットを用いた機械学習アルゴリズムによって予め学習されている。

実施形態２の物体認識装置の構成は、実施形態１の物体認識装置の構成（図３参照）と同様である。このため、物体認識装置についての詳細な説明を省略する。

［２－１ 学習システムの構成］
実施形態２の学習システムの構成を説明する。図２６は、実施形態２に係る学習システムの機能的な構成の一例を示すブロック図である。本実施形態の学習システムは、ＴｏＦカメラ８５０と、学習装置９００とを備える。学習装置９００は、機械学習部９１６と、投光パターン生成部９１１とを備える。機械学習部９１６および投光パターン生成部９１１の各々は、いずれも、記憶媒体に格納されたプログラムを実行するプロセッサによって実現され得る。ＴｏＦカメラ８５０は、光源１０１と、イメージセンサ２０１と、制御回路３０１と、プロセッサ８６０とを備える。プロセッサ８６０は、距離画像生成部８６２を含む。機械学習部９１６は、距離画像入力レイヤと、複数のレイヤを含む重みレイヤと、出力レイヤとを含む。

光源１０１は、１つ以上の光ビームを投光する。光ビームの反射光は、イメージセンサ２０１の全画素を網羅する。

イメージセンサ２０１は、対象物によって反射された光源１０１から投光された光を受光する。イメージセンサ２０１は、光源１０１の投光からイメージセンサ２０１での受光までの時間を、直接ＴｏＦ法または間接ＴｏＦ法によって計測する。これにより、ＴｏＦカメラ８５０から対象物までの距離を測定する。

制御回路３０１は光源１０１から出射される光ビームの到達距離、ビーム形状、ビーム方向、および投光タイミングを制御する。制御回路３０１は、イメージセンサ２０１の露光タイミングも制御する。

プロセッサ８６０における距離画像生成部８６２は、イメージセンサ２０１が測定した各画素での距離の情報を１つまたは複数種類（例えばＲＧＢ）の輝度情報に変換して距離画像を生成する。

機械学習部９１６は、例えばＤＮＮ（Deep Neural Network）などの、複数層のネットワークによって機械学習を行うアルゴリズムに従って学習を行う。複数の層のうち、最初の層である入力レイヤは、学習データである距離画像を取得する。それに続く複数の層のうち、第１層は、圧縮センシングの重み情報に相当する。すなわち第１層は、前述の式９のＷに相当する。第１層では、図３に示すイメージセンサ２００から出力される圧縮センシング用の受光データに相当する圧縮データが生成され、続くレイヤへと出力される。加えて、第１層では圧縮データの生成に使用する重み情報Ｗが学習される。第１層の重み情報Ｗは投光パターン生成部９１１に出力される。投光パターン生成部９１１は、学習により最適化された第１層の重み情報Ｗに基づき、図３に示す光源１００によって投光される圧縮センシング用の光ビームの投光パターン情報を生成する。投光パターン情報は物体認識装置の制御回路３００内の記憶媒体３１０で保持され、光源１００の投光の制御に利用される。すなわち、第１層では光源１００の投光パターンが学習される。

第１層に続くレイヤから出力レイヤまでが、物体認識モデルに相当する。物体認識モデルは、物体認識装置の信号処理回路４００で保持され、認識処理に利用される。物体認識モデルを学習する際の教師データは、例えば図２２または図２５に示す例のように、外部から入力され得る。あるいは、図２１または図２３に示す例のように、学習装置９００が認識処理によって教師データを生成してもよい。

第１層での学習と投光パターンの生成の具体例を以下に説明する。

図３に示すイメージセンサ２００の複数の画素のうちのｉ番目の画素ｉにおける、光源１００から投光された光ビームの反射光の受光可能性を、便宜上「投光パターン」と呼ぶ。すなわち、投光パターンは、画素ｉが受光可能な位置にある物体の方向に光源１００が投光しているか否かを表す。ここで、画素ｉにおける投光パターンを表現する２要素の投光ベクトルＬｉを定義する。Ｌ_ｉ ^Ｔ＝［１，０］の場合、画素ｉは、近距離用ビームの反射光のみを受光することを示す。Ｌ_ｉ ^Ｔ＝［０，１］の場合、画素ｉは、遠距離用ビームの反射光のみを受光することを示す。Ｌ_ｉ ^Ｔ＝［１，１］の場合、画素ｉは、近距離用ビームの反射光および遠距離用ビームの反射光を同時に受光することを示す。Ｌ_ｉ ^Ｔ＝［０，０］の場合、画素ｉは、近距離用ビームおよび遠距離用ビームのいずれの反射光も受光しないことを示す。

図２１に示す距離画像生成部９１２の動作について説明したように、画素ｉの距離ベクトルをｘｉとし、第１の露光期間における画素ｉの電荷量に対応する電圧をｙ１ｉ、第２の露光期間における画素ｉの電荷量に対応する電圧をｙ２ｉとする。さらに、式４に示すようにｙ１ｉおよびｙ２ｉを正規化する。

投光ベクトルＬｉについて、以下の各式が成立する。

ただし、ｚ１ｉおよびｚ２ｉは、以下の式で表される。

上記の各行列におけるａ１からａ１２およびｂ１からｂ１２は、０以上１以下の実数であり、式４を満たす数である。これらの数値は、実装に応じて適切な値に設定される。

識別用ネットワークの第１層（即ち入力レイヤの次の層）に、投光ベクトルＬに対応する重み層を導入し、識別用ネットワークと同時にＬも学習することで、最適な投光パターンを選択することができる。

実際の学習においては、Ｌは上記以外の数値も選択され得る。このため、学習後、以下のように行列Ｌを修正し、Ｌを固定した状態で、識別用ネットワークを再学習するようにしてもよい。

また、Ｌに対応する層の学習には、係数がスパースになるように、すなわちＬｉ＝［０，０］となる画素ｉの数を最大化するように、Ｌに対するＬ１拘束とその重み係数λ_Ｌを導入し、投光ビーム数を調整するようにしてもよい。すなわち、識別のための損失関数をｆ（ｗ，Ｌ）とすると、新しい損失関数として、以下のものを利用してもよい。

この損失関数において、光ビーム数を減らしたい場合には、λ_Ｌを大きくし、光ビーム数を増やしたい場合にはλ_Ｌを小さくする。

［２－２ 効果］
本実施形態の学習システムによれば、物体認識装置の信号処理回路４００が保持する物体認識モデルと、記憶媒体３１０に格納される投光パターンの情報とが、機械学習を用いて生成される。これにより、物体認識に最も適した投光パターンによって圧縮センシングを行うことができる。これにより、より疎なデータ取得、すなわち少ない光ビームで、より精度の高い物体認識が可能になる。

（実施形態３）
前述の各実施形態では、光源１００から出射される近距離用ビームおよび遠距離用ビームの各投光パターンは１種類であり、前述の式９におけるＷは１つの行列である。信号処理回路４００は１つの投光パターンに対して物体認識モデルを保持し、そのモデルに従って物体の認識を行う。これに対し、実施形態３では、物体認識装置は複数の投光パターンの情報を保持する。記憶媒体３１０は、複数種類の投光パターン情報を格納する。各種類の投光パターン情報は、第１の光の空間分布および第２の光の空間分布を示す。制御回路３００は、記憶媒体３１０に格納された複数種類の投光パターン情報のうちの１つに基づいて、第１の光の出射方向と、第２の光の出射方向とを決定する。すなわち、制御回路３００は、投光パターンを選択し、選択した投光パターンに従って、光源１００およびイメージセンサ２００を制御する。制御回路３００は、選択した投光パターンの情報を信号処理回路４００に出力する。本実施形態における物体認識モデルは、複数種類の投光パターン情報にそれぞれ対応する複数のモデルを含む。信号処理回路４００は、その投光パターンに対応する物体認識モデルに従って、イメージセンサ２００から出力された受光データから、１つ以上の物体を認識する。

［３－１ 物体認識装置の構成］
図２７は、実施形態３に係る物体認識装置の構成の一例を示すブロック図である。図２７の構成は、図３の構成と比較して、プロセッサ３２０が投光パターン選択部３２９をさらに含み、認識処理部４１０が記憶装置５００から物体認識モデルを取得する点で異なっている。以下、図３の構成と異なる点を中心に説明し、重複する事項についての説明は省略する。

本実施形態における制御回路３００は、光源１００による光ビームの投光のタイミングと、イメージセンサ２００の露光のタイミングとを決定し、そのタイミングに従って、露光制御信号と投光制御信号とを出力する。制御回路３００は、複数の投光パターンから１つを選択し、選択した投光パターンに従って投光信号を出力する。投光制御信号は、投光パターンごとに、予め定められた遠距離ビーム情報３１１および近距離ビーム情報３１２に従って生成される。

記憶装置５００は、投光パターンごとに予め学習された物体認識モデルを記憶する。それらの物体認識モデルは、予め機械学習によって学習されている。

信号処理回路４００における認識処理部４１０は、露光期間ごとにイメージセンサ２００が出力した画素ごとの電荷量を示す信号から、制御回路３００の投光パターン選択部３２９から出力された投光パターンを示す情報に対応する物体認識モデルを選択する。認識処理部４１０は、選択した物体認識モデルに従って、シーン内の物体を認識する。

信号処理回路４００における物体距離計算部４３０は、露光期間ごとにイメージセンサ２００が出力した受光データから、認識された対象物の領域に該当する画素のデータを抽出し、当該データに基づいて距離を計算する。

制御回路３００における投光パターン選択部３２９は、予め定められた複数の投光パターンのうちの１つを選択する。ここで、選択された投光パターンは、複数の近距離用ビームおよび複数の遠距離用ビームの各々の投光方向を決定する。

本実施形態でも、実施形態１と同様に圧縮センシングの技術を利用してＴｏＦ方式による測距が行われる。測距方法は実施形態１と同様である。

図２８Ａは、本実施形態における遠距離ビーム情報の一例を示している。図２８Ｂは、本実施形態における近距離ビーム情報の一例を示している。本実施形態では、遠距離ビーム情報および近距離ビーム情報の各々が、複数の投光パターンを規定している。各透光パターンの情報は、実施形態１と同様である。

遠距離ビーム情報および近距離ビーム情報が示す複数の投光パターンのうち、同一の露光期間で受光される遠距離用ビームおよび近距離用ビームの投光パターンは、対応付けされて記録されている。対応付けは、例えば対応するパターンに同一のＩＤを付与することによって行われ得る。

遠距離ビーム情報および近距離ビーム情報は、図２８Ａおよび図２８Ｂに示す情報とは異なっていてもよい。図４Ａおよび図４Ｂを参照して説明したとおり、遠距離ビーム情報および近距離ビーム情報の表現形式は様々である。

［３－２ 物体認識装置の動作］
実施形態３に係る物体認識装置の動作を説明する。

図２９は、実施形態３に係る物体認識装置の動作の一例を示すフローチャートである。以下、各ステップの動作を説明する。

（ステップＳ１０００）
制御回路３００の投光パターン選択部３２９は、測距に用いる投光パターンを選択する。

（ステップＳ１１００）
制御回路３００の投光／露光タイミング決定部３２２は、近距離用ビームおよび遠距離用ビームのそれぞれの投光のタイミングと、イメージセンサ２００の露光のタイミングとを決定する。投光と露光のタイミングについては実施形態１と同様である。

（ステップＳ１２００）
次に、制御回路３００の計時部３３０は、投光／露光タイミング決定部３２２から出力された投光のタイミング情報に従って、投光制御信号出力部３４０に投光を指示する。投光制御信号出力部３４０は、投光／露光タイミング決定部３２２から出力された近距離用ビームと遠距離用ビームの投光制御信号を光源１００に出力する。また、計時部３３０は投光／露光タイミング決定部３２２から出力された露光のタイミング情報に従って、イメージセンサ２００に露光の開始と終了の制御信号を出力する。イメージセンサ２００は、反射光によって蓄積された電荷の計測を画素ごとに行う。

(ステップＳ１２５０)
信号処理回路４００の認識処理部４０１は、制御回路３００の投光パターン選択部３２９から出力された投光パターンを示すＩＤ情報に従って、その投光パターンに対応する物体認識モデルを記憶装置５００から抽出する。

（ステップＳ１３００）
信号処理回路４００の認識処理部４０１は、ステップＳ１２００で計測された各画素の電荷量に基づき、当該シーン中に含まれる１つ以上の物体を認識する。認識処理はステップＳ１２５０で抽出された物体認識モデルに従って、前述の方法で行われる
（ステップＳ１４００）
信号処理回路４００の物体距離計算部４５０は、ステップＳ１３００で認識された物体ごとに、物体の画素位置と、当該物体までの距離を計算する。距離の計算方法は前述のとおりである。

（ステップＳ１５００）
信号処理回路４００は、ステップＳ１３００で認識された物体を示す情報と、当該物体までの距離を示す情報とを、記憶装置５００および／またはディスプレイ６００に出力する。

本実施形態において記憶装置５００に記憶される物体認識モデルは、例えば実施形態１の物体認識システムもしくは学習システム、実施形態１の変形例の物体認識システム、または実施形態２の学習システムと同様のシステムによってあらかじめ学習され得る。

以上のように、本実施形態では、制御回路３００は、記憶媒体３１０に格納された、近距離用ビームの空間分布を示す第１の分布情報、および遠距離用ビームの空間分布を示す第２の分布情報に基づいて、各近距離用ビームの出射方向と、各遠距離用ビームの出射方向とを決定する。信号処理回路４００は、受光データ、第１の分布情報、第２の分布情報、および物体認識モデルに基づいて、当該シーンに含まれる物体を認識する。物体認識モデルは、各々が、学習用受光データ、および学習用受光データが示すシーンに含まれる物体を識別するラベルデータとを含む複数の訓練データセットによって予め訓練されている。

実施形態１とその変形例、実施形態２および実施形態３において、物体認識装置は、物体の認識結果と認識された物体までの距離の情報を出力する。本開示はそのような実施形態に限定されない。例えば、物体認識装置は、移動ロボットまたは自動車等の移動体の制御システムに含まれていてもよい。物体認識装置の出力に基づいて、移動体の制御システムは、進行速度と方向を制御してもよい。例えば、進行方向の比較的遠方にヒト等の物体が認識された場合には、移動体はその速度を低下させる制御を行ってもよい。

前述の各実施形態および変形例において、空間分布の異なる光ビームを順次照射したが、空間分布が同一の光ビームを順次照射してもよい。例えば、２次元の空間分布が同一である光ビームを順次照射してもよい。あるいは、３次元の空間分布が同一の光ビームを順次照射してもよい。

本開示の技術は、測距を行う装置に広く利用可能である。例えば、本開示の技術は、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｎｇ ａｎｄ Ｒａｎｇｉｎｇ）を利用した物体認識システムに利用可能である。認識結果は、例えば、移動体またはロボットの制御に利用され得る。

１００ 光源
１５０ 受光装置
２００ イメージセンサ
２１０ 遠距離用ビーム
２２０ 近距離用ビーム
２３０ 遠距離用ビームの反射光
２４０ 近距離用ビームの反射光
３００ 制御回路
３１０ 記憶媒体
３１１ 遠距離ビーム情報
３１２ 近距離ビーム情報
３１３ 重み情報
３２０ プロセッサ
３２２ 投光／露光タイミング決定部
３２４ 計時部
３２６ 投光制御信号出力部
３２８ 露光制御信号出力部
４００ 信号処理回路
４１０ 認識処理部
４３０ 物体距離計算部
５００ 記憶装置
６００ ディスプレイ
７００ 発光デバイス
８００ 物体認識装置
８５０ ＴｏＦカメラ
８６０ プロセッサ
９００ 学習装置
９１０ プロセッサ
９１１ 投光パタン生成部
９１２ 距離画像生成部
９１４ 認識処理部
９１６ 機械学習部
９１８ 圧縮データ生成部
９２０ 記憶媒体
９３０ 入力ＩＦ

Claims (19)

1. 光源と、
   複数の受光素子を有し、指示された露光期間中に前記複数の受光素子の各々に入射した光の量に応じた受光データを出力する受光装置と、
   前記光源および前記受光装置を制御する制御回路であって、
   前記光源に、第１の空間分布を有する第１の光をシーンに向けて出射させ、その後、第２の空間分布を有する第２の光を前記シーンに向けて出射させ、
   前記受光装置の前記複数の受光素子の少なくとも一部に、前記第１の光によって生じた前記シーンからの第１の反射光、および前記第２の光によって生じた前記シーンからの第２の反射光を、同一の露光期間内に検出させる、制御回路と、
   前記受光装置から出力された受光データ、および機械学習アルゴリズムによって予め訓練された物体認識モデルに基づいて前記シーンに含まれる物体を認識し、前記受光データに基づいて前記物体までの距離を導出し、前記物体および前記距離を示す情報を出力する信号処理回路と、
   を備える物体認識装置。
2. 前記受光装置における前記複数の受光素子は、前記第１の反射光を受光し前記第２の反射光を受光しない複数の第１の受光素子と、前記第２の反射光を受光し前記第１の反射光を受光しない複数の第２の受光素子と、前記第１の反射光および第２の反射光のいずれも受光しない複数の第３の受光素子とを含む、請求項１に記載の物体認識装置。
3. 前記物体認識モデルは、各々が、学習用受光データと、前記学習用受光データが示すシーンに含まれる物体を識別するラベルデータとを含む複数の訓練データセットによって予め訓練されている、請求項１または２に記載の物体認識装置。
4. 前記学習用受光データは、前記受光装置から以前に出力された前記受光データである、請求項３に記載の物体認識装置。
5. 前記制御回路は、記憶媒体に格納された、前記第１の空間分布および前記第２の空間分布を示す投光パターン情報に基づいて、前記第１の光の出射方向と、前記第２の光の出射方向とを決定し、
   前記学習用受光データは、前記投光パターン情報および予め用意された距離画像データを基に生成される、請求項３に記載の物体認識装置。
6. 前記制御回路は、記憶媒体に格納された、前記第１の空間分布および前記第２の空間分布を示す投光パターン情報に基づいて、前記第１の光の出射方向と、前記第２の光の出射方向とを決定し、
   前記ラベルデータは、前記投光パターン情報および前記受光データを基に生成される、請求項３に記載の物体認識装置。
7. 前記制御回路は、記憶媒体に格納された、前記第１の空間分布および前記第２の空間分布を示す投光パターン情報に基づいて、前記第１の光の出射方向と、前記第２の光の出射方向とを決定し、
   前記投光パターン情報は、前記複数の訓練データセットを用いた前記機械学習アルゴリズムによって予め学習されている、
   請求項３に記載の物体認識装置。
8. 前記制御回路は、記憶媒体に格納された、前記第１の空間分布および前記第２の空間分布を示す複数種類の投光パターン情報のうちの１つに基づいて、前記第１の光の出射方向と、前記第２の光の出射方向とを決定し、
   前記物体認識モデルは、前記複数種類の投光パターン情報にそれぞれ対応する複数のモデルを含む、
   請求項１に記載の物体認識装置。
9. 表示装置をさらに備え、前記表示装置は、認識された前記物体を強調する画像と、前記距離情報を示す画像とが合成された合成画像を出力する、請求項１から８のいずれかに記載の物体認識装置。
10. 前記距離は、前記機械学習アルゴリズムまたは他の機械学習アルゴリズムによって予め訓練された距離情報生成モデルに基づいて導出される、請求項１から９のいずれかに記載の物体認識装置。
11. 前記第２の空間分布は、前記第１の空間分布とは異なる、請求項１から１０のいずれかに記載の物体認識装置。
12. 前記第１の光は、互いに出射方向の異なる複数の第１の光ビームを含み、
    前記第２の光は、互いに出射方向の異なる複数の第２の光ビームを含む、
    請求項１から１１のいずれかに記載の物体認識装置。
13. 前記第２の光の到達距離は、前記第１の光の到達距離よりも短い、請求項１から１２のいずれかに記載の物体認識装置。
14. 前記第２の光のエネルギー密度は、前記第１の光のエネルギー密度よりも低い、請求項１から１３のいずれかに記載の物体認識装置。
15. 前記第１の光は第１の波長を有し、
    前記第２の光は第２の波長を有し、
    前記第２の波長の大気中の吸収率は、前記第１の波長の大気中の吸収率よりも高い、
    請求項１から１４のいずれかに記載の物体認識装置。
16. 前記制御回路は、
    前記光源に、第３の空間分布を有する第３の光を、前記第２の光の出射後に前記シーンに向けて出射させ、
    前記受光装置に、前記第３の光によって生じた前記シーンからの第３の反射光を、前記同一の露光期間内に検出させ、
    前記第３の光の到達距離は、前記第２の光の到達距離よりも短い、
    請求項１から１５のいずれかに記載の物体認識装置。
17. 前記露光期間は、
    前記シーンにおける、前記受光装置から第１の距離だけ離れた位置で生じた前記第１の反射光の一部が前記受光装置に到達する時点を含まず、
    前記受光装置から前記第１の距離よりも長い第２の距離だけ離れた位置で生じた前記第１の反射光の他の一部が前記受光装置に到達する時点を含み、
    前記受光装置から前記第１の距離だけ離れた位置で生じた前記第２の反射光の一部が前記受光装置に到達する時点を含む、
    請求項１から１６のいずれかに記載の物体認識装置。
18. 光源と、
    複数の受光素子を有し、指示された露光期間中に前記複数の受光素子の各々に入射した光の量に応じた受光データを出力する受光装置と、
    を備える装置において用いられる物体認識方法であって、
    前記光源に、第１の空間分布を有する第１の光をシーンに向けて出射させ、その後、第２の空間分布を有する第２の光を前記シーンに向けて出射させることと、
    前記受光装置の前記複数の受光素子の少なくとも一部に、前記第１の光によって生じた前記シーンからの第１の反射光、および前記第２の光によって生じた前記シーンからの第２の反射光を、同一の露光期間内に検出させることと、
    前記受光装置から出力された受光データ、および機械学習アルゴリズムによって予め訓練された物体認識モデルに基づいて前記シーンに含まれる物体を認識することと、
    前記受光データに基づいて前記物体までの距離を導出することと、
    前記物体および前記距離を示す情報を出力することと、
    を含む物体認識方法。
19. 光源と、
    複数の受光素子を有し、指示された露光期間中に前記複数の受光素子の各々に入射した光の量に応じた受光データを出力する受光装置と、
    を備える装置において用いられるプログラムであって、
    前記装置におけるコンピュータに、
    前記光源に、第１の空間分布を有する第１の光をシーンに向けて出射させ、その後、第２の空間分布を有する第２の光を前記シーンに向けて出射させることと、
    前記受光装置の前記複数の受光素子の少なくとも一部に、前記第１の光によって生じた前記シーンからの第１の反射光、および前記第２の光によって生じた前記シーンからの第２の反射光を、同一の露光期間内に検出させることと、
    前記受光装置から出力された受光データ、および機械学習アルゴリズムによって予め訓練された物体認識モデルに基づいて前記シーンに含まれる物体を認識することと、
    前記受光データに基づいて前記物体までの距離を導出することと、
    前記物体および前記距離を示す情報を出力することと、
    を実行させるプログラム。

Images