JP2019174308A

JP2019174308A - 撮像装置、撮像装置の距離算出方法、及び撮像装置の距離算出プログラム

Info

Publication number: JP2019174308A
Application number: JP2018063399A
Authority: JP
Inventors: 知弘大林; Tomohiro Obayashi
Original assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Current assignee: Toshiba Corp; Toshiba Infrastructure Systems and Solutions Corp
Priority date: 2018-03-29
Filing date: 2018-03-29
Publication date: 2019-10-10

Abstract

【課題】被写体までの距離を高精度に測定できる撮像装置を提供する。【解決手段】撮像装置は、光源、撮像部、参照距離算出部、記憶部、距離選択部を備える。光源は光を被写体に照射する。撮像部は光源が照射した光の被写体からの反射光を受光する。参照距離算出部は３つ以上の光源のうち少なくとも１つを除く光源が光を照射する点灯光源の組合せにより、光を照射してから撮像部が被写体からの反射光を受光するまでの時間に基づいてそれぞれの点灯光源の組合せにおいて画素ごとに被写体までの参照距離を算出し参照距離画像を生成する。記憶部は参照距離算出部が生成した参照距離画像における画素ごとの参照距離と参照距離を算出するのに用いた被写体からの反射光の受光量を対応付けて記憶する。距離選択部は記憶部に記憶された参照距離のうち有効な距離が算出された参照距離と受光量に基づいて画素ごとに当該画素における被写体までの距離として選択する。【選択図】図１

Description

本発明の実施形態は、被写体までの距離画像を取得する撮像装置、撮像装置の距離算出
方法及び撮像装置の距離算出プログラムに関する。

一般に、被写体までの距離を測定できるＴＯＦ（Time Of Flight）カメラなどの３次元
カメラが知られている。ＴＯＦカメラは、照射光が被写体に当たって撮像部に戻ってくる
までの時間により、距離を測定する技術である。しかし、被写体が細い円柱など平面が少
ない形状の場合、照射光が被写体により拡散し、反射光の受光量が減少してしまうため、
十分な精度で距離の測定ができないという問題がある。また、被写体が局所的に鏡面反射
するような場合は、鏡面反射した箇所の反射光が撮像部に戻らない場合や、光源からの照
射光のほとんどが撮像部に戻り、撮像部が飽和して距離を算出できない、という問題があ
る。このような例はビニールのような凹凸のある被写体や、アルミ箔で被写体を覆ったよ
うなケースで発生する。

特開２０１０−１９０６７５号公報

本発明が解決しようとする課題は、被写体までの距離を高精度に測定できる撮像装置、
撮像装置の距離算出方法、及び撮像装置の距離算出プログラムを提供することである。

実施形態によれば、撮像装置は、３つ以上の光源と、撮像部と、参照距離算出部と、記
憶部と、距離選択部とを備える。３つ以上の光源は、光を被写体に照射する。撮像部は、
光源が照射した光の被写体からの反射光を受光する。参照距離算出部は、３つ以上の光源
のうち、少なくとも１つの光源を除く光源が光を照射する点灯光源の組合せにより、光を
照射してから撮像部が被写体からの反射光を受光するまでの時間に基づいて、それぞれの
点灯光源の組合せにおいて画素ごとに前記被写体までの参照距離を算出して、参照距離画
像を生成する。記憶部は参照距離算出部が生成した参照距離画像における画素ごとの参照
距離と、参照距離を算出するのに用いた被写体からの反射光の受光量とを対応付けて記憶
する。距離選択部は、記憶部に記憶された参照距離のうち有効な距離が算出された参照距
離と受光量とに基づいて、所定の参照距離を画素ごとに当該画素における被写体までの距
離として選択する。

実施形態に係る撮像装置の外観の一例を示す正面図および及び光源の点灯の組合せを示す図。実施形態に係る撮像装置が備える制御部の機能構成の一例を示すブロック図。実施形態に係る撮像装置を用いた撮像状況の一例を示す斜視図。実施形態に係る撮像装置が取得する参照距離画像の画素の一例を示す図。実施形態に係る撮像装置が備える記憶部が記憶するデータの一例を示す図。実施形態に係る撮像装置が備える制御部が、被写体までの距離を選択する流れの一例を示すフローチャート

以下、実施形態に係る撮像装置１を、図面を用いて説明する。
図１（Ａ）は、実施形態に係る撮像装置１としてのＴＯＦカメラの外観の一例を示す正面
図である。撮像装置１は、被写体に光を照射する複数の光源２ａ乃至２ｆ、撮像部３を備
える。なお、光源については、図１に示した６個の光源２ａ乃至２ｆを個々に区別する必
要がないときは、光源２と略記する。

撮像装置１は、光源２からの照射光が被写体に当たって、撮像部３で受光するまでの時
間に基づいて、被写体までの距離を画素ごとに測定することが可能に構成されている。ま
た、撮像装置１は、測定した距離の情報を画素ごとに表わした距離画像を生成することが
可能である。

光源２は、撮像部３の周囲に３つ以上設置され、図１（Ａ）では６つの光源２から光を
被写体に向けて照射する。光源２が照射する光は、赤外線でも良いし、可視光でも良く、
撮像部３が受光することが可能な波長帯の光であれば良い。また、光源２は、被写体に照
射する光量、もしくは照射強度を高めるために、それぞれの光源に複数のＬＥＤ光源を有
しても良い。

光源２は６つの光源２のうち、少なくとも１つの光源２を除く光源２が光を照射する点
灯光源の組合せにより光源２を点灯させる。図１（Ｂ）は光源２の点灯の組合せを示す図
であり、光源２ａ乃至２ｆのうち少なくとも１つを除く光源２を順次点灯させる組合せを
示している。

なお、光源２の設置位置、個数は図１に限定されるものではない。例えば、図１におい
て光源２は、撮像部３を中心に対称に設置されているが、非対称に設置されても良い。ま
た、光量を増加したいときはそれぞれの光源２ａ乃至２ｆに複数のＬＥＤを配置してもよ
い。

撮像部３は、光源２が照射した光の被写体からの反射光を受光し、２次元画像を撮像す
る。例えば、撮像部３は、被写体からの反射光を、図示しない開口部、レンズ、受光部を
介して受光する。

開口部は、レンズに入射する光量を調節するための絞りである。また、レンズは、被写
体からの光を受光部に集光する。なお、レンズは、１枚に限らず、例えば、複数枚を組み
合わせることで、フォーカスレンズや、ズームレンズを構成しても良い。受光部は、イメ
ージセンサなどの受光素子である。

次に、図２を用いて、撮像装置１が備える制御部について説明する。図２は実施形態に
係る撮像装置１が備える機能構成の一例を示すブロック図である。

制御部４は、図示しないＣＰＵを備え、撮像装置１が有する各構成部の動作を統括的に
制御する。また、制御部４は、参照距離算出部５、２次元画像生成部６、発光制御部７、
記憶部８、距離選択部９、距離画像出力部１０を備える。

参照距離算出部５は、撮像部３が受光した被写体からの反射光に基づいて、被写体まで
の距離である参照距離を算出する処理を行う。つまり、参照距離算出部５は、３つ以上の
光源２のうち、少なくとも１つの光源２を除く光源２が光を照射する点灯光源の組合せに
より、光を照射してから撮像部３が被写体からの反射光を受光するまでの時間に基づいて
、それぞれの点灯光源の組合せにおいて画素ごとに被写体までの参照距離を算出し、参照
距離画像を生成する。

また、例えば被写体によって鏡面反射した光が全て撮像部３に到達した画素については
、撮像部３の受光量が飽和して有効な参照距離が得られないことがある。また、逆に鏡面
反射した光が撮像部３以外の方向に反射して撮像部３の受光量が不足して有効な参照距離
が得られない画素も存在する場合がある。つまり、参照距離算出部５は、有効な距離が算
出できず、距離を０とする場合がある。

２次元画像生成部６は、撮像部３が受光した光に基づいて、２次元画像を生成する。な
お、参照距離算出部５が算出する被写体までの参照距離、参照距離画像は、２次元画像生
成部６が生成する２次元画像の画素毎に算出される。

２次元画像は、光源２が照射した光の被写体からの反射光に基づいて２次元画像生成部
６によって生成されるため、グレースケール画像や、赤外画像など、光源に依存した種類
の画像である。

発光制御部７は、６つの光源２に対し、図１（Ｂ）に示すようにそれぞれ独立に点灯と
消灯を制御する。被写体を撮像する際には、６つの光源２のうち、少なくとも１つの光源
２を除く光源２が光を照射する点灯光源の組合せに従って、光源２を点灯させる。

また、制御部４は、被写体までの参照距離を測定する際には、全ての点灯光源の組合せ
に対して撮像を行うように各部を制御しても良いし、特定の点灯光源の組合せに対して撮
像を行うように各部を制御しても良い。

記憶部８は、図示しないがＲＯＭ（Read Only Memory）や、ＲＡＭ（Random Access Me
mory）などで構成されるメモリである。ＲＯＭは、制御プログラム及び制御データなどが
予め記憶された不揮発性のメモリである。ＲＯＭに記憶される制御プログラム及び制御デ
ータは、制御部４の仕様に応じて予め組み込まれる。ＲＯＭは、たとえば、制御部４の回
路基板を制御するプログラムなどを格納する。

ＲＡＭは、揮発性のメモリである。ＲＡＭは、制御部４の処理中のデータなどを一時的
に格納する。ＲＯＭは、制御部４からの命令に基づき種々のアプリケーションプログラム
を格納する。また、ＲＯＭは、アプリケーションプログラムの実行に必要なデータ及びア
プリケーションプログラムの実行結果などを格納してもよい。

さらに、記憶部８は、参照距離算出部５が生成した参照距離画像における画素ごとの参
照距離と、当該参照距離を算出するのに用いた被写体からの反射光の受光量とを対応付け
て記憶する。また、記憶部８は、２次元画像生成部６が生成する２次元画像を記憶しても
良い。さらに、記憶部８は、後述する距離画像出力部１０が出力する距離画像を記憶する
。

距離選択部９は、記憶部８に記憶された参照距離のうち有効な距離が算出された参照距
離と受光量とに基づいて、所定の参照距離を画素ごとに当該画素における被写体までの距
離として選択する。例えば、距離選択部９は、それぞれの点灯光源の組合せにおいて、各
画素における最も多くの受光量が記憶されている参照距離を当該画素における被写体まで
の距離として選択する。或いは、距離選択部９は、それぞれの点灯光源の組合せにおいて
、各画素における所定の範囲内で最も多くの受光量が記憶されている参照距離を当該画素
における被写体までの距離として選択する、としても良い。

距離画像出力部１０は、距離選択部９によって選択された各画素の距離を距離画像とし
て出力する。

次に、図３及び図４を用いて参照距離算出部５が画素ごとに参照距離を算出する方法を
説明する。まず、図３は、実施形態に係る撮像装置１を用いた撮像状況の一例を示す図で
ある。図３には、撮像装置１の正面に直方体の物体１２と、撮像装置１と物体１２との間
に柵１１がある状況を示す。なお、物体１２は、撮像装置１から見ると物体１２の一面の
みが見える角度で位置しているとする。

図４は、実施形態に係る撮像装置１が取得する参照距離画像の画素の一例を示す図であ
る。また、図４に示す画素は、図３の撮像状況において、撮像した画素の一例である。な
お、図４の画素は、光源２ｂ、２ｅを点灯させた点灯光源の組合せにおいて撮像されたも
のとする。また、説明を簡易にするために、図４に示す画素の行と列にはそれぞれアルフ
ァベットと数字を振っている。例えば、一番左上に位置する画素はＡ行１列と呼称する。

また、各画素に記載されている数値は、被写体までの距離を意味しており、数字が大き
いほど被写体までの距離が遠いこととしている。ただし、数値０の画素は距離を算出する
ことができなかったことを意味している。数値０の画素が意味する、距離を算出すること
ができないとは、例えば被写体までの距離が遠すぎる場合や、受光する光量が少なすぎる
場合や、受光する光量が多すぎるため撮像部３が飽和してしまうなどである。

図４に示す画素には、５列と８列を除く、Ｂ行４列とＢ行９列とＦ行４列とＦ行９列の
画素を頂点とする四角形の範囲に数値６が示されている。これは、物体１２の平面までの
距離が示されたもので、５列と８列は柵１１によって物体１２が遮られていることを示し
ている。ＴＯＦカメラは、一般的に、平面までの距離を測定するには有利であるが、エッ
ジである柵１１までの距離については照射光が拡散してしまうため、測定するには不利で
あることを例示した極端な例である。

ここで、図４では、光源２ｂ、２ｅを点灯させた点灯光源の組合せにより撮像したが、
光源２ｂ、２ｅに加え、例えば、光源２ａ、２ｄを点灯させた場合、位置、角度が違う光
源２からの光の照射が与えられるため、柵１１までの距離を算出できる場合がある。従っ
て、ある点灯光源の組合せでは、ある画素の被写体までの距離を算出できなかったとして
も、他の点灯光源の組合せを用いることで、その画素の被写体までの距離を算出でき、算
出結果を補完することが可能である。

図１では、６個の光源２を設置しているため、６つの光源２のうち、少なくとも１つの
光源２を除く光源２が光を照射する点灯光源の組合せは図１（Ｂ）に示すように６３通り
存在する。この場合、６３通り全てに対して距離を算出すると、組合せが多すぎるため、
かえって不便となることも考えられる。従って、参照距離を算出する点灯光源の組合せは
、事前に制限するよう設定しても良い。例えば、６つの光源２のうち、少なくとも１つの
光源２を除く光源２が点灯するのであれば、撮像部３との距離が短い光源２ｂ、２ｅは必
ず点灯させるとしても良い。また、光源２の数は６つに限らず３つ以上あればよい。

次に、図５を用いて、実施形態に係る撮像装置１が備える記憶部８が、参照距離と、当
該参照距離を算出するのに用いた被写体からの反射光の受光量とを対応付けて記憶するデ
ータについて説明する。図５は、実施形態に係る撮像装置１が備える記憶部８が、記憶す
るデータの一例を示す図である。

図５では、図４の撮像装置１が取得した参照距離画像の画素の一例を示す図である。点
灯光源の組合せを１０例、画素をＡ行１１列目、及びＢ行の１列目から７列目までの、参
照距離と受光量とを対応付けたデータとして示している。なお、受光量は１００％を最大
とした比率で示している。

図５に示すようにＡ行１１列目は全て１０％以下の受光量であるので有効な受光量でな
いとして参照距離は有効でない「０」となっている。また、Ｂ行の１列目から３列目も受
光量は１０％以下であるので有効な受光量ではないので、参照距離は有効でない「０」と
なっている。次に、Ｂ行４列目は全てが有効な受光量である。この組合せの中で最大の受
光量を示しているのは３番目と４番目の組合せで、いずれも９０％の受光量である。この
ため、最大の受光量と対応付けて記憶されている「６．０」の参照距離がＢ行４列目の距
離として選択されることになる。
同様にＢ行６列目についても、９０％の受光量が最大であるので、この最大の受光量に対
応付けて記憶されている３番目乃至５番目の組合せである、参照距離「６．０」がＢ行６
列目の距離として選択される。Ｂ行７列目は４番目と５番目の組合せで９０％の受光量が
最大の受光量であるのでこの受光量に対応付けて記憶されている参照距離「６．０」のＢ
行７列目の距離として選択される。

なお、上記の実施形態では最大の受光量に対応付けて記憶された参照距離を選択するよ
うにしたが、受光量が大きすぎると飽和して正確な距離を得られないときは有効な受光量
を例えば１５〜８９％と設定したときは、上記の例では８８％の受光量が所定の範囲内で
の最も多い受光量であるので、それに対応付けて記憶された参照距離「５．９」が当該画
素の距離として選択される。
次に、図６を用いて、実施形態に係る撮像装置１が備える制御部４が、被写体までの距離
を算出する方法を説明する。図６は、実施形態に係る撮像装置１が備える制御部４が、被
写体までの距離を算出する流れの一例を示すフローチャートである。

まず、制御部４は、設定された全ての点灯光源の組合せにおいて参照距離を算出する（
ステップＳ００）。次に、制御部４は、任意の画素を一つ選択し（ステップＳ０１）、全
ての参照距離の選択した画素に対応する画素の参照距離のうち、数値が０でない有効な参
照距離が存在するか否かを判定する（ステップＳ０３）。制御部４は、有効な参照距離が
存在する場合（ステップＳ０３、Ｙｅｓ）、選択した画素に対応し、距離が算出できなか
った数値０を除く有効な参照距離のうち、所定の条件を満たす参照距離を被写体までの距
離として選択する(ステップＳ０５)。なお、所定の条件とは、例えば最も多くの受光量が
記憶されている参照距離、或いは各画素における所定の範囲内で最も多くの受光量が記憶
されている参照距離などである。所定の範囲とは、例えば撮像部３が飽和してしまう受光
量の５割から８割の範囲などである。

また、ステップＳ０３において、有効な参照距離が存在しない場合（ステップＳ０３、
Ｎｏ）、制御部４は、数値０を被写体までの距離として選択する（ステップＳ０７）。

次に、制御部４は、全ての画素に対して処理を行ったか判定し（ステップＳ０９）、全
ての画素に対して処理を行ったと判定した場合（ステップＳ０９、Ｙｅｓ）、選択された
各画素の距離を距離画像として出力し（ステップＳ１０）、処理を終了する。

また、全ての画素に対して処理を行っていないと判定した場合（ステップＳ０９、Ｎｏ
）、処理をステップＳ０１に戻して次の画素に対する選択処理を実行する。

以上の流れで動作を実行することにより、実施形態に係る撮像装置１は、光源２から照
射される光が被写体によって拡散されてしまうことが少ない、かつ、受光量が多すぎて撮
像部３が飽和しない最適な点灯光源の組合せにより得られる被写体までの距離を画素ごと
に選択することができる。その結果、被写体までの距離をより高精度に測定することが可
能である。

なお、上記の実施形態では６つの光源２を例に説明したが、光源２は３つ以上であれば
良く、その数は制限されるものではない。

また、上記した実施形態の撮像装置１における処理はいくつかのソフトウェアによって
実行することが可能である。このため、上記処理の手順を実行するいくつかのプログラム
を格納したコンピュータ読み取り可能な記憶媒体を通じてこれらプログラムを撮像装置１
（ＴＯＦカメラ）へインストールして実行するだけで、上記処理を容易に実現することが
できる。例えば、撮像装置１は、上記プログラムをネットワーク経由でダウンロードし、
ダウンロードしたプログラムを記憶し、プログラムのインストールを完了することができ
る。或いは、撮像装置１は、上記プログラムを情報記憶媒体から読み取り、読み取ったプ
ログラムを記憶し、プログラムのインストールを完了することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したも
のであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その
他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の
省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や
要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる
。

１撮像装置
２、２ａ、２ｂ、２ｄ、２ｅ、２ｆ光源
３撮像部
４制御部
５参照距離算出部
６次元画像生成部
７発光制御部
８記憶部
９距離選択部
１０距離画像出力部
１１柵
１２物体

Claims

光を被写体に照射する３つ以上の光源と、
前記光源が照射した光の前記被写体からの反射光を受光する撮像部と、
前記３つ以上の光源のうち、少なくとも１つの光源を除く光源が光を照射する点灯光源
の組合せにより、光を照射してから前記撮像部が前記被写体からの反射光を受光するまで
の時間に基づいて、それぞれの前記点灯光源の組合せにおいて画素ごとに前記被写体まで
の参照距離を算出して参照距離画像を生成する参照距離算出部と、
前記参照距離算出部が生成した前記参照距離画像における画素ごとの前記参照距離と、
前記参照距離を算出するのに用いた前記被写体からの反射光の受光量とを対応付けて記憶
する記憶部と、
前記記憶部に記憶された前記参照距離のうち有効な距離が算出された前記参照距離と前
記受光量とに基づいて、所定の参照距離を画素ごとに当該画素における前記被写体までの
距離として選択する距離選択部と、
を備える撮像装置。
前記距離選択部は、それぞれの前記点灯光源の組合せにおいて、各画素における最も多
くの受光量が記憶されている前記参照距離を当該画素における前記被写体までの距離とし
て選択する、
請求項１に記載の撮像装置。
前記距離選択部は、それぞれの前記点灯光源の組合せにおいて、各画素における所定の
範囲内で最も多くの受光量が記憶されている前記参照距離を当該画素における前記被写体
までの距離として選択する、
請求項１に記載の撮像装置。
前記距離選択部によって選択された各画素の距離を距離画像として出力する距離画像出
力部、
をさらに備える請求項１乃至請求項３のいずれか１項に記載の撮像装置。
光を被写体に照射する３つ以上の光源が照射した光の前記被写体からの反射光を受光し
、
前記３つ以上の光源のうち、少なくとも１つの光源を除く光源が光を照射する点灯光源
の組合せにより、光を照射してから前記被写体からの反射光を受光するまでの時間に基づ
いて、それぞれの前記点灯光源の組合せにおいて画素ごとに前記被写体までの参照距離を
算出して参照距離画像を生成し、
生成した前記参照距離画像における画素ごとの前記参照距離と、前記参照距離を算出す
るのに用いた前記被写体からの反射光の受光量とを対応付けて記憶し、
記憶された前記参照距離のうち有効な距離が算出された前記参照距離と前記受光量とに
基づいて、所定の参照距離を画素ごとに当該画素における前記被写体までの距離として選
択する、
撮像装置の距離算出方法。
３つ以上の光源を有するＴＯＦカメラを制御するプログラムであって、
前記ＴＯＦカメラに、
光を被写体に照射する３つ以上の光源が照射した光の前記被写体からの反射光を受光す
る手順と、
前記３つ以上の光源のうち、少なくとも１つの光源を除く光源が光を照射する点灯光源
の組合せにより、光を照射してから前記被写体からの反射光を受光するまでの時間に基づ
いて、それぞれの前記点灯光源の組合せにおいて画素ごとに前記被写体までの参照距離を
算出して参照距離画像を生成する手順と、
生成した前記参照距離画像における画素ごとの前記参照距離と、前記参照距離を算出す
るのに用いた前記被写体からの反射光の受光量とを対応付けて記憶する手順と、
記憶された前記参照距離のうち有効な距離が算出された前記参照距離と前記受光量とに
基づいて、所定の参照距離を画素ごとに当該画素における前記被写体までの距離として選
択する手順と、
選択された各画素の距離を距離画像として出力する手順と、
を実行させる撮像装置の距離算出プログラム。