JP2022123679A - 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム - Google Patents
濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム Download PDFInfo
- Publication number
- JP2022123679A JP2022123679A JP2021021134A JP2021021134A JP2022123679A JP 2022123679 A JP2022123679 A JP 2022123679A JP 2021021134 A JP2021021134 A JP 2021021134A JP 2021021134 A JP2021021134 A JP 2021021134A JP 2022123679 A JP2022123679 A JP 2022123679A
- Authority
- JP
- Japan
- Prior art keywords
- grayscale
- information
- distance
- information acquisition
- distance information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000003702 image correction Methods 0.000 title claims abstract description 11
- 238000012937 correction Methods 0.000 claims abstract description 37
- 238000001514 detection method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 6
- 238000005286 illumination Methods 0.000 abstract description 19
- 238000003384 imaging method Methods 0.000 description 14
- 230000014509 gene expression Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000002238 attenuated effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
Abstract
【課題】対象物までの距離に応じて生成される濃淡画像において、遠距離にある対象物を明確に表示させることが可能な濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラムを提供する。【解決手段】濃淡画像生成装置３０は、距離情報取得部１１、濃淡情報取得部１２、補正部１３、画像生成部１４を備えている。距離情報取得部１１は、照明装置２１から照射された光の反射量に応じて対象物４０までの距離情報を取得する。濃淡情報取得部１２は、照明装置２１から照射された光の反射量に応じて濃淡情報を取得する。補正部１３は、濃淡情報取得部１２によって得られた濃淡情報を、距離情報取得部１１で得られた距離情報に基づいて補正する。画像生成部１４は、補正部１３によって補正された濃淡情報に基づいて対象物４０までの距離情報を含む濃淡画像を生成する。【選択図】図３
Description
新規性喪失の例外適用申請有り
本発明は、例えば、ＴＯＦセンサ等によって測定された対象物までの距離に基づいて生成される濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラムに関する。
近年、例えば、光源としてＬＥＤ（Light emitting diode）から測定対象物に向かって照射された光の反射光を受光して、測定対象物までの距離を測定するＴＯＦ（Time-of-Flight）センサが使用されている。
このようなＴＯＦセンサのうち、例えば、インダイレクト型ＴＯＦセンサでは、所定の周波数で変調された光をＬＥＤから測定対象物に向かって照射し、測定対象物に反射して戻ってきた反射光を受信するまでの光の飛行時間を測定することで、測定対象物までの距離を測定する。
このようなＴＯＦセンサのうち、例えば、インダイレクト型ＴＯＦセンサでは、所定の周波数で変調された光をＬＥＤから測定対象物に向かって照射し、測定対象物に反射して戻ってきた反射光を受信するまでの光の飛行時間を測定することで、測定対象物までの距離を測定する。
例えば、特許文献１には、ＴｏＦ方式に応じて輝度が調整された画像を副次的に利用する際の利便性を向上させるために、位相ごとの受光により受光部が出力した位相ごとの受光信号に基づいて算出された距離情報に応じて、位相ごとの受光信号のレベルを制御するとともに、距離情報の算出に応じて制御した位相毎の受光信号に基づいて、画像信号のレベルを調整する調整値を生成する測距装置について開示されている。
しかしながら、上記従来の測距装置では、以下に示すような問題点を有している。
通常、測距装置では、十分な光量の光が照射されるため、測定される距離、濃淡画像を高精度で得ることができる。しかし、遠距離の対象物については、反射光が検出できれば正確な距離の測定が可能である一方で、検出される反射光の光量は距離の二乗に反比例する関係にあるため、反射光の光量に応じた濃淡情報を含む濃淡画像では暗く示されてしまう。
通常、測距装置では、十分な光量の光が照射されるため、測定される距離、濃淡画像を高精度で得ることができる。しかし、遠距離の対象物については、反射光が検出できれば正確な距離の測定が可能である一方で、検出される反射光の光量は距離の二乗に反比例する関係にあるため、反射光の光量に応じた濃淡情報を含む濃淡画像では暗く示されてしまう。
このような濃淡画像における遠距離にある対象物が暗く示される課題は、上記測距装置において考慮されておらず、一般的なＨＤＲ（High-Dynamic Range）補正やコントラスト補正では解消することが困難であった。
本発明の課題は、対象物までの距離に応じて生成される濃淡画像において、遠距離にある対象物を明確に表示させることが可能な濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラムを提供することにある。
本発明の課題は、対象物までの距離に応じて生成される濃淡画像において、遠距離にある対象物を明確に表示させることが可能な濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラムを提供することにある。
第１の発明に係る濃淡画像生成装置は、距離情報取得部と、濃淡情報取得部と、補正部と、画像生成部と、を備えている。距離情報取得部は、照明装置から照射された電磁波の反射量に応じて対象物までの距離情報を取得する。濃淡情報取得部は、照明装置から照射された電磁波の反射量に応じて濃淡情報を取得する。補正部は、濃淡情報取得部によって得られた濃淡情報を、距離情報取得部で得られた距離に基づいて補正する。画像生成部は、補正部によって補正された濃淡情報に基づいて、対象物までの距離情報を含む濃淡画像を生成する。
ここでは、例えば、赤外線画像等の濃淡画像において、検出される電磁波の反射量が距離の二乗に反比例する関係にあるために暗く示される遠距離の対象物を明確に表示させるために、距離情報に基づいて反射量が増加する方向に補正された濃淡情報を用いて濃淡画像を生成する。
ここで、照明装置から照射される電磁波は、例えば、広義の光（紫外光・可視光・赤外光）、光よりも波長の短いγ（ガンマ）線、Ｘ線、光より波長の長いマイクロ波や放送用の電波（短波、中波、長波）、超音波、弾性波、量子波等を含み、その反射が距離の二乗で減衰するものであればよい。
ここで、照明装置から照射される電磁波は、例えば、広義の光（紫外光・可視光・赤外光）、光よりも波長の短いγ（ガンマ）線、Ｘ線、光より波長の長いマイクロ波や放送用の電波（短波、中波、長波）、超音波、弾性波、量子波等を含み、その反射が距離の二乗で減衰するものであればよい。
距離情報取得部は、例えば、ＴＯＦ（Time-of Flight）センサ、ＬｉＤＡＲ（Light Detection And Ranging）、またはＳＣ（Structural Camera）である。
濃淡情報取得部は、例えば、赤外線カメラまたはＲＧＢカメラである。
なお、距離情報取得部および濃淡情報取得部は、電磁波の反射を検出して距離情報および濃淡情報を算出する構成であってもよいし、例えば、外部装置として設けられた距離センサおよび赤外線カメラ等から、それぞれ距離情報および濃淡情報を取得する構成であってもよい。
濃淡情報取得部は、例えば、赤外線カメラまたはＲＧＢカメラである。
なお、距離情報取得部および濃淡情報取得部は、電磁波の反射を検出して距離情報および濃淡情報を算出する構成であってもよいし、例えば、外部装置として設けられた距離センサおよび赤外線カメラ等から、それぞれ距離情報および濃淡情報を取得する構成であってもよい。
これにより、濃淡画像を生成する際に、距離の二乗に反比例する関係にある反射量に応じた濃淡情報によって遠距離にある対象物を表示するのではなく、対象物までの距離に応じて反射量が増加する方向に補正された濃淡情報に基づいて遠距離にある対象物を表示することができる。
この結果、対象物までの距離に応じて生成される濃淡画像において、遠距離にある対象物を明確に表示させることができる。
この結果、対象物までの距離に応じて生成される濃淡画像において、遠距離にある対象物を明確に表示させることができる。
第２の発明に係る濃淡画像生成装置は、第１の発明に係る濃淡画像生成装置であって、補正部は、濃淡情報取得部によって得られた濃淡情報に距離情報取得部によって得られた距離の二乗を乗じて、濃淡情報を補正する。
これにより、距離の二乗に反比例する関係にある対象物に対して照射された電磁波の反射量に応じて変化する濃淡情報を、距離の二乗を乗じて補正することで、遠距離にある対象物の輪郭等が明確に示された濃淡画像を得ることができる。
これにより、距離の二乗に反比例する関係にある対象物に対して照射された電磁波の反射量に応じて変化する濃淡情報を、距離の二乗を乗じて補正することで、遠距離にある対象物の輪郭等が明確に示された濃淡画像を得ることができる。
第３の発明に係る濃淡画像生成装置は、第１または第２の発明に係る濃淡画像生成装置であって、距離情報取得部は、濃淡画像生成部において生成される濃淡画像に含まれる画素ごとに、距離情報を取得する。
これにより、濃淡画像に含まれる各画素ごとに、距離情報が取得されるため、各画素ごとに濃淡情報を補正することができる。
これにより、濃淡画像に含まれる各画素ごとに、距離情報が取得されるため、各画素ごとに濃淡情報を補正することができる。
第４の発明に係る濃淡画像生成装置は、第１から第３の発明のいずれか１つに係る濃淡画像生成装置であって、濃淡情報取得部は、濃淡画像生成部において生成される濃淡画像に含まれる画素ごとに、濃淡情報を取得する。
これにより、濃淡画像に含まれる各画素ごとに、濃淡情報が取得されるため、各画素ごとに取得された距離情報に基づいて濃淡情報を補正することができる。
これにより、濃淡画像に含まれる各画素ごとに、濃淡情報が取得されるため、各画素ごとに取得された距離情報に基づいて濃淡情報を補正することができる。
第５の発明に係る濃淡画像生成装置は、第１から第４の発明のいずれか１つに係る濃淡画像生成装置であって、補正部は、濃淡画像生成部において生成される濃淡画像に含まれる画素ごとに、距離情報取得部において取得された距離情報を用いて、濃淡情報取得部において取得された濃淡情報を補正する。
これにより、濃淡画像に含まれる各画素ごとに取得された距離情報に基づいて、濃淡情報が補正されるため、遠距離にある対象物が明確に表示された濃淡画像を得ることができる。
これにより、濃淡画像に含まれる各画素ごとに取得された距離情報に基づいて、濃淡情報が補正されるため、遠距離にある対象物が明確に表示された濃淡画像を得ることができる。
第６の発明に係る濃淡画像生成装置は、第１から第５の発明のいずれか１つに係る濃淡画像生成装置であって、距離情報取得部と照明装置との中心位置と濃淡情報取得部と照明装置との中心位置とが、互いに離間した位置に設置されている場合には、補正部は、濃淡情報取得部から見た距離に、距離情報取得部と濃淡情報取得部との位置関係に応じた座標変換を行い、距離情報の補正を行う。
これにより、距離情報取得部と濃淡情報取得部との相対位置に応じて行われる座標変換により、距離情報が補正されることで、より高精度な濃淡画像を得ることができる。
これにより、距離情報取得部と濃淡情報取得部との相対位置に応じて行われる座標変換により、距離情報が補正されることで、より高精度な濃淡画像を得ることができる。
第７の発明に係る濃淡画像生成装置は、第１から第６の発明のいずれか１つに係る濃淡画像生成装置であって、距離情報取得部および濃淡情報取得部は、一体化して設けられている。
これにより、距離情報取得部と濃淡情報取得部とが一体化して設けられていることで、上述した座標変換等を行うことなく、高精度な濃淡画像を得ることができる。
これにより、距離情報取得部と濃淡情報取得部とが一体化して設けられていることで、上述した座標変換等を行うことなく、高精度な濃淡画像を得ることができる。
第８の発明に係る濃淡画像生成装置は、第１から第７の発明のいずれか１つに係る濃淡画像生成装置であって、対象物に対して電磁波を照射するように照明装置を制御する照明制御部を、さらに備えている。
これにより、対象物までの距離、形状、色等の各種条件に応じて、最適な照射条件で電磁波を照射することができる。
これにより、対象物までの距離、形状、色等の各種条件に応じて、最適な照射条件で電磁波を照射することができる。
第９の発明に係る濃淡画像生成装置は、第１から第８の発明のいずれか１つに係る濃淡画像生成装置であって、距離情報取得部は、ＴＯＦ（Time-of-Flight）センサ、ＬｉＤＡＲ（Light Detection And Ranging）、またはＳＣ（Structural Camera）において測定された距離情報を取得する。
これにより、ＴＯＦ（Time-of-Flight）センサ、ＬｉＤＡＲ（Light Detection And Ranging）、またはＳＣ（Structural Camera）を用いて、対象物までの距離情報を取得することができる。
これにより、ＴＯＦ（Time-of-Flight）センサ、ＬｉＤＡＲ（Light Detection And Ranging）、またはＳＣ（Structural Camera）を用いて、対象物までの距離情報を取得することができる。
第１０の発明に係る濃淡画像生成装置は、第１から第９の発明のいずれか１つに係る濃淡画像生成装置であって、濃淡情報取得部は、赤外線カメラまたはＲＧＢカメラにおいて測定された濃淡情報を取得する。
これにより、濃淡情報取得部として、赤外線カメラまたはＲＧＢカメラを用いて、濃淡画像に含まれる濃淡情報を取得することができる。
これにより、濃淡情報取得部として、赤外線カメラまたはＲＧＢカメラを用いて、濃淡画像に含まれる濃淡情報を取得することができる。
第１１の発明に係る濃淡画像補正方法は、距離情報取得ステップと、濃淡情報取得ステップと、補正ステップと、画像生成ステップと、を備えている。距離情報取得ステップでは、照明装置から対象物に対して照射された電磁波の反射量に応じて対象物までの距離情報を取得する。濃淡情報取得ステップでは、照明装置から対象物に対して照射された電磁波の反射量に応じて濃淡情報を取得する。補正ステップでは、濃淡情報取得ステップにおいて得られた濃淡情報を、距離情報取得ステップにおいて得られた距離に基づいて補正する。画像生成ステップでは、補正ステップにおいて補正された濃淡情報に基づいて、濃淡画像を生成する。
ここでは、例えば、赤外線画像等の濃淡画像において、検出される電磁波の反射量が距離の二乗に反比例する関係にあるために暗く示される遠距離の対象物を明確に表示させるために、距離情報に基づいて反射量が増加する方向に補正された濃淡情報を用いて濃淡画像を生成する。
ここで、照明装置から照射される電磁波は、例えば、広義の光（紫外光・可視光・赤外光）、光よりも波長の短いγ（ガンマ）線、Ｘ線、光より波長の長いマイクロ波や放送用の電波（短波、中波、長波）、超音波、弾性波、量子波等を含み、その反射が距離の二乗で減衰するものであればよい。
ここで、照明装置から照射される電磁波は、例えば、広義の光（紫外光・可視光・赤外光）、光よりも波長の短いγ（ガンマ）線、Ｘ線、光より波長の長いマイクロ波や放送用の電波（短波、中波、長波）、超音波、弾性波、量子波等を含み、その反射が距離の二乗で減衰するものであればよい。
距離情報取得ステップは、例えば、ＴＯＦ（Time-of Flight）センサ、ＬｉＤＡＲ（Light Detection And Ranging）、またはＳＣ（Structural Camera）を用いて実施される。
濃淡情報取得ステップは、例えば、赤外線カメラまたはＲＧＢカメラを用いて実施される。
なお、距離情報の取得および濃淡情報の取得は、電磁波の反射を検出して距離情報および濃淡情報を算出してもよいし、例えば、外部装置として設けられた距離センサおよび赤外線カメラ等から、それぞれ距離情報および濃淡情報を取得してもよい。
濃淡情報取得ステップは、例えば、赤外線カメラまたはＲＧＢカメラを用いて実施される。
なお、距離情報の取得および濃淡情報の取得は、電磁波の反射を検出して距離情報および濃淡情報を算出してもよいし、例えば、外部装置として設けられた距離センサおよび赤外線カメラ等から、それぞれ距離情報および濃淡情報を取得してもよい。
これにより、濃淡画像を生成する際に、距離の二乗に反比例する関係にある反射量に応じた濃淡情報によって遠距離にある対象物を表示するのではなく、対象物までの距離に応じて反射量が増加する方向に補正された濃淡情報に基づいて遠距離にある対象物を表示することができる。
この結果、対象物までの距離に応じて生成される濃淡画像において、遠距離にある対象物を明確に表示させることができる。
この結果、対象物までの距離に応じて生成される濃淡画像において、遠距離にある対象物を明確に表示させることができる。
第１２の発明に係る濃淡画像補正プログラムは、距離情報取得ステップと、濃淡情報取得ステップと、補正ステップと、画像生成ステップと、を備えている濃淡画像補正方法をコンピュータに実行させる。距離情報取得ステップでは、照明装置から対象物に対して照射された電磁波の反射量に応じて対象物までの距離情報を取得する。濃淡情報取得ステップでは、照明装置から対象物に対して照射された電磁波の反射量に応じて濃淡情報を取得する。補正ステップでは、濃淡情報取得ステップにおいて得られた濃淡情報を、距離情報取得ステップにおいて得られた距離に基づいて補正する。画像生成ステップでは、補正ステップにおいて補正された濃淡情報に基づいて、濃淡画像を生成する。
ここでは、例えば、赤外線画像等の濃淡画像において、検出される電磁波の反射量が距離の二乗に反比例する関係にあるために暗く示される遠距離の対象物を明確に表示させるために、距離情報に基づいて反射量が増加する方向に補正された濃淡情報を用いて濃淡画像を生成する。
ここで、照明装置から照射される電磁波は、例えば、広義の光（紫外光・可視光・赤外光）、光よりも波長の短いγ（ガンマ）線、Ｘ線、光より波長の長いマイクロ波や放送用の電波（短波、中波、長波）、超音波、弾性波、量子波等を含み、その反射が距離の二乗で減衰するものであればよい。
ここで、照明装置から照射される電磁波は、例えば、広義の光（紫外光・可視光・赤外光）、光よりも波長の短いγ（ガンマ）線、Ｘ線、光より波長の長いマイクロ波や放送用の電波（短波、中波、長波）、超音波、弾性波、量子波等を含み、その反射が距離の二乗で減衰するものであればよい。
距離情報取得ステップは、例えば、ＴＯＦ（Time-of Flight）センサ、ＬｉＤＡＲ（Light Detection And Ranging）、またはＳＣ（Structural Camera）を用いて実施される。
濃淡情報取得ステップは、例えば、赤外線カメラまたはＲＧＢカメラを用いて実施される。
なお、距離情報の取得および濃淡情報の取得は、電磁波の反射を検出して距離情報および濃淡情報を算出してもよいし、例えば、外部装置として設けられた距離センサおよび赤外線カメラ等から、それぞれ距離情報および濃淡情報を取得してもよい。
濃淡情報取得ステップは、例えば、赤外線カメラまたはＲＧＢカメラを用いて実施される。
なお、距離情報の取得および濃淡情報の取得は、電磁波の反射を検出して距離情報および濃淡情報を算出してもよいし、例えば、外部装置として設けられた距離センサおよび赤外線カメラ等から、それぞれ距離情報および濃淡情報を取得してもよい。
これにより、濃淡画像を生成する際に、距離の二乗に反比例する関係にある反射量に応じた濃淡情報によって遠距離にある対象物を表示するのではなく、対象物までの距離に応じて反射量が増加する方向に補正された濃淡情報に基づいて遠距離にある対象物を表示することができる。
この結果、対象物までの距離に応じて生成される濃淡画像において、遠距離にある対象物を明確に表示させることができる。
この結果、対象物までの距離に応じて生成される濃淡画像において、遠距離にある対象物を明確に表示させることができる。
本発明に係る濃淡画像生成装置によれば、対象物までの距離に応じて生成される濃淡画像において、遠距離にある対象物を明確に表示させることができる。
（実施形態１）
本発明の一実施形態に係るＴＯＦセンサ２０を含む濃淡画像生成装置３０について、図１～図７を用いて説明すれば以下の通りである。
（１）濃淡画像生成装置３０の構成
本実施形態に係る濃淡画像生成装置３０は、図１に示すように、本体部３０ａの表面に設けられた照明装置２１から対象物４０に向かって照射された光Ｌ１（電磁波の一例）の反射光を、受光レンズ２２を介して撮像素子２３において受光して、光Ｌ１が照射されてから受光されるまでの光の飛行時間（Time-of-flight）に応じた距離情報および濃淡情報を含む濃淡画像を生成する。
本発明の一実施形態に係るＴＯＦセンサ２０を含む濃淡画像生成装置３０について、図１～図７を用いて説明すれば以下の通りである。
（１）濃淡画像生成装置３０の構成
本実施形態に係る濃淡画像生成装置３０は、図１に示すように、本体部３０ａの表面に設けられた照明装置２１から対象物４０に向かって照射された光Ｌ１（電磁波の一例）の反射光を、受光レンズ２２を介して撮像素子２３において受光して、光Ｌ１が照射されてから受光されるまでの光の飛行時間（Time-of-flight）に応じた距離情報および濃淡情報を含む濃淡画像を生成する。
そして、濃淡画像生成装置３０は、図２に示すように、内部に、濃淡画像生成部１０と、ＴＯＦセンサ２０と、を備えている。
濃淡画像生成部１０は、図２に示すように、ＴＯＦセンサ２０の制御部２４と接続されており、ＴＯＦセンサ２０において測定された対象物までの距離情報、濃淡情報を取得して、濃淡画像（例えば、赤外線画像）を生成する。なお、濃淡画像生成部１０の構成については、後段にて詳述する。
濃淡画像生成部１０は、図２に示すように、ＴＯＦセンサ２０の制御部２４と接続されており、ＴＯＦセンサ２０において測定された対象物までの距離情報、濃淡情報を取得して、濃淡画像（例えば、赤外線画像）を生成する。なお、濃淡画像生成部１０の構成については、後段にて詳述する。
ＴＯＦセンサ２０は、図２に示すように、照明装置２１と、受光レンズ２２と、撮像素子２３と、制御部（照明制御部）２４と、記憶部２５とを備えている。
照明装置２１は、例えば、ＬＥＤを有しており、対象物４０に対して所望の波長を有する光を照射する。なお、照明装置２１には、ＬＥＤから照射された光を集光して対象物４０の方向へ導く投光レンズ（図示せず）が設けられている。
照明装置２１は、例えば、ＬＥＤを有しており、対象物４０に対して所望の波長を有する光を照射する。なお、照明装置２１には、ＬＥＤから照射された光を集光して対象物４０の方向へ導く投光レンズ（図示せず）が設けられている。
受光レンズ２２は、照明装置２１から対象物４０に対して照射され、対象物４０において反射した反射光を受光して、撮像素子２３へと導くために設けられている。
撮像素子２３は、複数の画素を有しており、受光レンズ２２において受光された反射光を、複数の画素のそれぞれにおいて受光して、光電変換した電気信号を制御部２４へと送信する。また、撮像素子２３において検出される反射光の受光量に対応する電気信号は、制御部２４において距離情報および濃淡情報の算出に用いられる。
撮像素子２３は、複数の画素を有しており、受光レンズ２２において受光された反射光を、複数の画素のそれぞれにおいて受光して、光電変換した電気信号を制御部２４へと送信する。また、撮像素子２３において検出される反射光の受光量に対応する電気信号は、制御部２４において距離情報および濃淡情報の算出に用いられる。
制御部２４は、図２に示すように、照明装置２１、撮像素子２３および記憶部２５と接続されている。そして、制御部２４は、記憶部２５に保存された照明制御プログラムを読み込んで、対象物４０に対して光を照射する照明装置２１を制御する。より詳細には、制御部２４は、光を照射する対象物４０までの距離、形状、色等の対象物の性質等に応じて最適な光を照射するように、照明装置２１を制御する。また、制御部２４は、撮像素子２３から受信した各画素に対応する電気信号に基づいて、各画素ごとに、対象物までの距離情報および濃淡情報（例えば、輝度情報）を算出する。
なお、ＴＯＦセンサ２０による対象物４０までの距離測定原理については、後段にて詳述する。
記憶部２５は、図２に示すように、制御部２４と接続されており、照明装置２１および撮像素子２３を制御するための制御プログラム、撮像素子２３において検出された反射光の光量、受光タイミング、反射光の光量に基づいて算出された距離情報および濃淡情報等のデータを保存する。また、記憶部２５は、図２に示すように、濃淡画像生成部１０と接続されており、濃淡画像生成部１０において生成された濃淡画像、補正後の濃淡画像のデータを保存する。
記憶部２５は、図２に示すように、制御部２４と接続されており、照明装置２１および撮像素子２３を制御するための制御プログラム、撮像素子２３において検出された反射光の光量、受光タイミング、反射光の光量に基づいて算出された距離情報および濃淡情報等のデータを保存する。また、記憶部２５は、図２に示すように、濃淡画像生成部１０と接続されており、濃淡画像生成部１０において生成された濃淡画像、補正後の濃淡画像のデータを保存する。
（２）濃淡画像生成部１０の構成
濃淡画像生成部１０は、図３に示すように、距離情報取得部１１と、濃淡情報取得部１２と、補正部１３と、画像生成部１４と、を備えている。
距離情報取得部１１は、ＴＯＦセンサ２０の制御部２４から、撮像素子２３において撮影された濃淡画像の各画素に対応する対象物４０までの距離情報を取得する。
濃淡情報取得部１２は、ＴＯＦセンサ２０の制御部２４から、撮像素子２３において撮影された対象物４０を含む濃淡画像を構成する各画素に対応する濃淡情報（輝度情報）を取得する。
濃淡画像生成部１０は、図３に示すように、距離情報取得部１１と、濃淡情報取得部１２と、補正部１３と、画像生成部１４と、を備えている。
距離情報取得部１１は、ＴＯＦセンサ２０の制御部２４から、撮像素子２３において撮影された濃淡画像の各画素に対応する対象物４０までの距離情報を取得する。
濃淡情報取得部１２は、ＴＯＦセンサ２０の制御部２４から、撮像素子２３において撮影された対象物４０を含む濃淡画像を構成する各画素に対応する濃淡情報（輝度情報）を取得する。
補正部１３は、距離情報取得部１１において取得された距離情報に基づいて、濃淡情報取得部１２において取得された濃淡画像を構成する各画素ごとの濃淡情報を補正する。
画像生成部１４は、補正部１３によって補正された濃淡情報を用いて、濃淡画像を生成する。
画像生成部１４は、補正部１３によって補正された濃淡情報を用いて、濃淡画像を生成する。
＜ＴＯＦセンサ２０による距離測定原理＞
本実施形態のＴＯＦセンサ２０による対象物までの距離測定の原理について、図４を用いて説明すれば以下の通りである。
すなわち、本実施形態では、ＴＯＦセンサ２０の制御部２４が、照明装置２１から照射された光の投光波と、撮像素子２３において受光した光の受光波との位相差Φ（図４参照）に基づいて、対象物４０までの距離を算出する。
ここで、位相差Φは、以下の関係式（１）によって示される。
Φ＝ａｔａｎ（ｙ／ｘ） ・・・・・（１）
（ｘ＝ａ２－ａ０，ｙ＝ａ３－ａ１、ａ０～ａ３は、受光波を９０度間隔で４回サンプリングしたポイントにおける振幅）
本実施形態のＴＯＦセンサ２０による対象物までの距離測定の原理について、図４を用いて説明すれば以下の通りである。
すなわち、本実施形態では、ＴＯＦセンサ２０の制御部２４が、照明装置２１から照射された光の投光波と、撮像素子２３において受光した光の受光波との位相差Φ（図４参照）に基づいて、対象物４０までの距離を算出する。
ここで、位相差Φは、以下の関係式（１）によって示される。
Φ＝ａｔａｎ（ｙ／ｘ） ・・・・・（１）
（ｘ＝ａ２－ａ０，ｙ＝ａ３－ａ１、ａ０～ａ３は、受光波を９０度間隔で４回サンプリングしたポイントにおける振幅）
そして、位相差Φから距離Ｄへの変換式は、以下の関係式（２）によって示される。
Ｄ＝（ｃ／（２×ｆＬＥＤ））×（Φ／２π）＋ＤＯＦＦＳＥＴ ・・・・・（２）
（ｃは、光速（≒３×１０８ｍ／ｓ）、ｆＬＥＤは、ＬＥＤの投光波の周波数、ＤＯＦＦＳＥＴは、距離オフセット。）
これにより、照明装置２１から照射された光の反射光を受光して、その位相差を比較することで、光速ｃを用いて、対象物４０までの距離を容易に算出することができる。
Ｄ＝（ｃ／（２×ｆＬＥＤ））×（Φ／２π）＋ＤＯＦＦＳＥＴ ・・・・・（２）
（ｃは、光速（≒３×１０８ｍ／ｓ）、ｆＬＥＤは、ＬＥＤの投光波の周波数、ＤＯＦＦＳＥＴは、距離オフセット。）
これにより、照明装置２１から照射された光の反射光を受光して、その位相差を比較することで、光速ｃを用いて、対象物４０までの距離を容易に算出することができる。
＜濃淡画像の補正＞
ここで、各画素に対応する距離情報に基づいて補正された濃淡画像を生成する画像生成部１４は、補正部１３によって濃淡情報が補正されることで、図５（ｂ）に示す濃淡画像を生成する。
なお、図５（ａ）および図５（ｂ）は、手摺が設置された階段を撮影した画像を示している。
ここで、各画素に対応する距離情報に基づいて補正された濃淡画像を生成する画像生成部１４は、補正部１３によって濃淡情報が補正されることで、図５（ｂ）に示す濃淡画像を生成する。
なお、図５（ａ）および図５（ｂ）は、手摺が設置された階段を撮影した画像を示している。
図５（ｂ）に示す濃淡画像は、例えば、比較例としての図５（ａ）に示される補正なしの濃淡画像と比較して、特に、濃淡画像生成装置３０から見て、遠距離にある階段の部分や手摺、壁面等がはっきりと示されている。
これにより、対象物までの距離が遠くなると距離の二乗に反比例して反射光の光量が減衰するために、遠距離にある対象物の輪郭等が不鮮明に示されることを防止して、遠距離にある対象物まで明確に示すことが可能な濃淡画像を得ることができる。
これにより、対象物までの距離が遠くなると距離の二乗に反比例して反射光の光量が減衰するために、遠距離にある対象物の輪郭等が不鮮明に示されることを防止して、遠距離にある対象物まで明確に示すことが可能な濃淡画像を得ることができる。
なお、画像生成部１４において生成された補正後の濃淡画像は、例えば、ＴＯＦセンサ２０において測定された距離情報を用いて生成される距離画像と組み合わせて、人体の検出、人の顔検出等の判定に使用される。
また、画像生成部１４において生成された補正後の濃淡画像は、各種判定等に使用されるために、濃淡画像として外部へ出力されてもよい。
さらに、画像生成部１４において生成される濃淡画像は、図６（ａ）および図６（ｂ）に示すように、図５（ａ）および図５（ｂ）に示す白黒反転させた赤外線画像であってもよい。
また、画像生成部１４において生成された補正後の濃淡画像は、各種判定等に使用されるために、濃淡画像として外部へ出力されてもよい。
さらに、画像生成部１４において生成される濃淡画像は、図６（ａ）および図６（ｂ）に示すように、図５（ａ）および図５（ｂ）に示す白黒反転させた赤外線画像であってもよい。
＜濃淡画像補正方法＞
本実施形態の濃淡画像生成装置３０は、以下のような補正処理によって、濃淡画像における濃淡情報（輝度）を補正した濃淡画像を生成する。
本実施形態の濃淡画像生成装置３０は、以下のような補正処理によって、濃淡画像における濃淡情報（輝度）を補正した濃淡画像を生成する。
すなわち、図７のフローチャートに示すように、ステップＳ１１では、ＴＯＦセンサ２０の制御部２４が、対象物４０に対して所定の光を照射するように、照明装置２１を制御する。
次に、ステップＳ１２では、撮像素子２３によって撮影された濃淡画像に含まれる各画素ごとに、全ての画素について処理が完了するまで、ステップＳ１３～ステップＳ１５までの処理が繰り返し実行される。
次に、ステップＳ１２では、撮像素子２３によって撮影された濃淡画像に含まれる各画素ごとに、全ての画素について処理が完了するまで、ステップＳ１３～ステップＳ１５までの処理が繰り返し実行される。
次に、ステップＳ１３では、上述したＴＯＦセンサ２０による測定原理によって、対応する画素ごとの対象物までの距離情報が測定され、濃淡画像生成部１０の距離情報取得部１１がこれを取得する。
次に、ステップＳ１４では、撮像素子２３によって撮影された画像における対応する画素ごとの対象物の濃淡情報（輝度情報）が測定され、濃淡画像生成部１０の濃淡情報取得部１２がこれを取得する。
次に、ステップＳ１４では、撮像素子２３によって撮影された画像における対応する画素ごとの対象物の濃淡情報（輝度情報）が測定され、濃淡画像生成部１０の濃淡情報取得部１２がこれを取得する。
次に、ステップＳ１５では、ステップＳ１４において取得された濃淡情報（輝度）に、ステップＳ１３において取得された距離情報の二乗を乗じて、補正後の濃淡情報（輝度）を算出する。
このようなステップＳ１２～ステップＳ１５までの処理を、全ての画素に対して実施して、処理を終了する。
このようなステップＳ１２～ステップＳ１５までの処理を、全ての画素に対して実施して、処理を終了する。
ここで、濃淡画像の補正方法について、より詳細に説明すれば以下の通りである。
すなわち、本実施形態の濃淡画像生成装置３０では、ＴＯＦセンサ２０の撮像素子２３によって、ＸＹＺの３軸で表される点群情報と、ＱＶＧＡ（Quarter VGA）の濃淡画像（赤外線グレー画像）とが取得される。
点群情報は、ＱＶＧＡの各点に対応している。このため、補正部１３は、点群情報を用いて赤外線グレー画像の濃淡情報（輝度値）を補正する。
すなわち、本実施形態の濃淡画像生成装置３０では、ＴＯＦセンサ２０の撮像素子２３によって、ＸＹＺの３軸で表される点群情報と、ＱＶＧＡ（Quarter VGA）の濃淡画像（赤外線グレー画像）とが取得される。
点群情報は、ＱＶＧＡの各点に対応している。このため、補正部１３は、点群情報を用いて赤外線グレー画像の濃淡情報（輝度値）を補正する。
ここで、各点のＸＹＺ座標をそれぞれｘ（ｎ），ｙ（ｎ），ｚ（ｎ）、標準化する距離をｄｉｓｔ、補正前の輝度値をＬｏｒｇ（ｎ）とすると、補正後の輝度値Ｌｃｏｒｒｅｃｔ（ｎ）は、以下の関係式（３）によって算出される。
例えば、メートル単位で計算し１ｍの距離に補正する場合、上記の関係式（３）は、単純化されて以下の関係式（４）として示される。
距離情報がＸＹＺの３軸の点群情報で表される場合には、上記通りであるが、直接、極座標系の距離情報（Ｄｅｐｔｈ情報）が得られる場合には、１ｍの距離への補正の場合には、上記関係式（３）は、さらに単純化され、以下の関係式（５）として示される。
照明装置２１から照射された光は、対象物４０によって反射され、センサから対象物までの距離（反射光の距離も考慮するならその倍の距離）の二乗に反比例して減衰した反射光として検出される。
このため、本実施形態では、濃淡情報取得部１２において取得された濃淡情報に、距離情報取得部１１において取得された対象物４０までの距離の二乗を乗じることで、このような反射光の減衰による影響を抑制した濃淡画像が得られるように補正する。
このため、本実施形態では、濃淡情報取得部１２において取得された濃淡情報に、距離情報取得部１１において取得された対象物４０までの距離の二乗を乗じることで、このような反射光の減衰による影響を抑制した濃淡画像が得られるように補正する。
これにより、距離の二乗に反比例して減衰する反射光の光量に応じた濃淡情報（輝度）に、距離の二乗を乗じて補正することで、図５（ｂ）または図６（ｂ）に示すように、遠距離にある対象物まではっきりと示される濃淡画像を生成することができる。
（実施形態２）
本発明の他の実施形態に係る濃淡画像生成装置１３０について、図８を用いて説明すれば以下の通りである。
本実施形態の濃淡画像生成装置１３０は、図８に示すように、距離情報および濃淡情報を取得するために、対象物４０に対して光を照射する照明装置１２１ａ，１２１ｂが、それぞれ別々に設けられているとともに、その反射光を検出する受光部１２３ａ，１２３ｂがそれぞれ別々に設けられている点で、距離情報および濃淡情報を取得するために単一の照明装置２１および撮像素子２３を用いる上記実施形態１とは異なっている。
本発明の他の実施形態に係る濃淡画像生成装置１３０について、図８を用いて説明すれば以下の通りである。
本実施形態の濃淡画像生成装置１３０は、図８に示すように、距離情報および濃淡情報を取得するために、対象物４０に対して光を照射する照明装置１２１ａ，１２１ｂが、それぞれ別々に設けられているとともに、その反射光を検出する受光部１２３ａ，１２３ｂがそれぞれ別々に設けられている点で、距離情報および濃淡情報を取得するために単一の照明装置２１および撮像素子２３を用いる上記実施形態１とは異なっている。
つまり、本実施形態では、距離情報を取得するための照明装置１２１ａおよび受光部１２３ａと、濃淡情報を取得するための照明装置１２１ｂおよび受光部１２３ｂとが、それぞれ別々に設けられている。
ここで、距離情報を取得する装置と濃淡情報を取得する装置とが互いに独立した装置として離間した位置に配置されている場合には、距離情報を取得する装置から特定の対象物までの距離情報は、濃淡情報を取得する装置から当該対象物までの距離情報とズレがあり一致しない。
ここで、距離情報を取得する装置と濃淡情報を取得する装置とが互いに独立した装置として離間した位置に配置されている場合には、距離情報を取得する装置から特定の対象物までの距離情報は、濃淡情報を取得する装置から当該対象物までの距離情報とズレがあり一致しない。
このため、厳密な補正を行うためには、濃淡情報を取得する装置から当該対象物までの距離情報を使用する必要がある。
本実施形態の濃淡画像生成装置１３０では、距離情報を取得する装置と濃淡情報を取得する装置との設置位置のずれは、設計によって既知であることから、設置位置の位置ずれ量に応じて距離情報を補正する。
本実施形態の濃淡画像生成装置１３０では、距離情報を取得する装置と濃淡情報を取得する装置との設置位置のずれは、設計によって既知であることから、設置位置の位置ずれ量に応じて距離情報を補正する。
例えば、図８に示すように、距離情報を取得する装置の中心位置Ｃ１からＸ軸方向に－１０ｃｍだけ離れた位置に、互いの光軸が略平行となった状態で、濃淡情報を取得する装置の中心位置Ｃ２が設置されているとする。
中心位置Ｃ１は、距離情報を取得する装置（照明装置１２１ａおよび受光部１２３ａ）の中心位置として設定される。中心位置Ｃ２は、濃淡情報を取得する装置（照明装置１２１ｂおよび受光部１２３ｂ）の中心位置として設定される。
中心位置Ｃ１は、距離情報を取得する装置（照明装置１２１ａおよび受光部１２３ａ）の中心位置として設定される。中心位置Ｃ２は、濃淡情報を取得する装置（照明装置１２１ｂおよび受光部１２３ｂ）の中心位置として設定される。
この場合には、上述した関係式（３）および（４）は、距離情報を取得する装置の中心位置Ｃ１と濃淡情報を取得する装置の中心位置Ｃ２とに基づく座標変換により、それぞれ、以下の関係式（３’）および（４’)として示される。
これにより、距離情報を取得する装置の中心位置Ｃ１と濃淡情報を取得する装置の中心位置Ｃ２とが離間した位置に配置されている場合でも、互いの装置の位置ずれを座標変換によって補正することで、上記実施形態と同様の効果を得ることができる。
なお、図８に示す例では、一般的なセンサ構成を想定しているが、距離情報および濃淡情報を取得するための両照明装置として、単一の照明装置が併用されている構成であってもよい。あるいは、照明装置は別々に設けられており反射光の光量を受光するセンサが単一のセンサによって共用されていてもよい。
なお、図８に示す例では、一般的なセンサ構成を想定しているが、距離情報および濃淡情報を取得するための両照明装置として、単一の照明装置が併用されている構成であってもよい。あるいは、照明装置は別々に設けられており反射光の光量を受光するセンサが単一のセンサによって共用されていてもよい。
この場合には、座標変換の基準となる装置の中心位置は、共用される照明装置あるいは受光部と、それぞれの受光部あるいは照明装置との間の中心に設定されていればよい。
以上のように、距離情報および濃淡情報を取得する装置がそれぞれ離間した位置に設けられている場合でも、互いの位置ずれ量が既知であれば、上記実施形態１で説明した補正方法に、装置間の位置ずれに応じた座標変換を加えることで、距離情報に応じて補正された高精度な濃淡画像を得ることができる。
以上のように、距離情報および濃淡情報を取得する装置がそれぞれ離間した位置に設けられている場合でも、互いの位置ずれ量が既知であれば、上記実施形態１で説明した補正方法に、装置間の位置ずれに応じた座標変換を加えることで、距離情報に応じて補正された高精度な濃淡画像を得ることができる。
［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
（Ａ）
上記実施形態では、濃淡画像生成装置および濃淡画像補正方法として、本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
（Ａ）
上記実施形態では、濃淡画像生成装置および濃淡画像補正方法として、本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、上述した濃淡画像生成装置による濃淡画像補正方法をコンピュータに実行させる濃淡画像補正プログラムとして本発明を実現してもよい。
この濃淡画像補正プログラムは、濃淡画像生成装置に搭載されたメモリ（記憶部）に保存されており、ＣＰＵがメモリに保存された濃淡画像補正プログラムを読み込んで、ハードウェアに各ステップを実行させる。
この濃淡画像補正プログラムは、濃淡画像生成装置に搭載されたメモリ（記憶部）に保存されており、ＣＰＵがメモリに保存された濃淡画像補正プログラムを読み込んで、ハードウェアに各ステップを実行させる。
より具体的には、ＣＰＵが濃淡画像補正プログラムを読み込んで、上述した距離情報取得ステップと、濃淡情報取得ステップと、補正ステップと、画像生成ステップとを実行することで、上記と同様の効果を得ることができる。
また、本発明は、濃淡画像補正プログラムを保存した記録媒体として実現されてもよい。
また、本発明は、濃淡画像補正プログラムを保存した記録媒体として実現されてもよい。
（Ｂ）
上記実施形態では、濃淡画像を構成する各画素ごとに対応する距離情報を、ＴＯＦセンサ２０を用いて測定する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、ＬｉＤＡＲ（Light Detection And Ranging）やＳＣ（Structural Camera）等の他の手段を用いて測定された距離情報を、濃淡画像生成部へ送信する構成であってもよい。
上記実施形態では、濃淡画像を構成する各画素ごとに対応する距離情報を、ＴＯＦセンサ２０を用いて測定する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、ＬｉＤＡＲ（Light Detection And Ranging）やＳＣ（Structural Camera）等の他の手段を用いて測定された距離情報を、濃淡画像生成部へ送信する構成であってもよい。
（Ｃ）
上記実施形態では、濃淡画像を構成する各画素ごとに対応する距離情報および濃淡情報を、撮像素子２３を用いて測定する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、赤外線カメラやＲＧＢカメラ等を用いて測定された濃淡情報を、濃淡画像生成部へ送信する構成であってもよい。
上記実施形態では、濃淡画像を構成する各画素ごとに対応する距離情報および濃淡情報を、撮像素子２３を用いて測定する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、赤外線カメラやＲＧＢカメラ等を用いて測定された濃淡情報を、濃淡画像生成部へ送信する構成であってもよい。
（Ｄ）
上記実施形態では、濃淡画像生成装置３０に含まれるＴＯＦセンサ２０の撮像素子２３において測定された距離情報および濃淡情報を用いて、濃淡画像を生成する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、外部に設けられたＴＯＦセンサ等の距離センサ、赤外線カメラ等の濃淡画像センサから、それぞれ距離情報および濃淡情報を受信して、距離情報に応じて補正された濃淡画像を生成する濃淡画像生成装置であってもよい。
上記実施形態では、濃淡画像生成装置３０に含まれるＴＯＦセンサ２０の撮像素子２３において測定された距離情報および濃淡情報を用いて、濃淡画像を生成する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、外部に設けられたＴＯＦセンサ等の距離センサ、赤外線カメラ等の濃淡画像センサから、それぞれ距離情報および濃淡情報を受信して、距離情報に応じて補正された濃淡画像を生成する濃淡画像生成装置であってもよい。
（Ｅ）
上記実施形態では、照明装置２１から対象物に対して照射された光の反射光を検出して、対象物までの距離を測定する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、照明装置から対象物に対して、広義の光（紫外光・可視光・赤外光）以外に、光よりも波長の短いγ（ガンマ）線、Ｘ線、光より波長の長いマイクロ波や放送用の電波（短波、中波、長波）等の電磁波を照射して、その反射を検出することで対象物までの距離を測定する構成であってもよい。
すなわち、対象物に対して照射される光は、その反射量が距離の二乗に反比例して減衰する性質を有する他の電磁波であってもよい。
上記実施形態では、照明装置２１から対象物に対して照射された光の反射光を検出して、対象物までの距離を測定する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、照明装置から対象物に対して、広義の光（紫外光・可視光・赤外光）以外に、光よりも波長の短いγ（ガンマ）線、Ｘ線、光より波長の長いマイクロ波や放送用の電波（短波、中波、長波）等の電磁波を照射して、その反射を検出することで対象物までの距離を測定する構成であってもよい。
すなわち、対象物に対して照射される光は、その反射量が距離の二乗に反比例して減衰する性質を有する他の電磁波であってもよい。
（Ｆ）
上記実施形態２では、図８に示すように、図中のＸ軸方向に位置ずれするように距離情報および濃淡情報を取得する装置が配置された例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
上記実施形態２では、図８に示すように、図中のＸ軸方向に位置ずれするように距離情報および濃淡情報を取得する装置が配置された例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、実施形態２で説明した座標変換による補正は、Ｘ軸方向における位置ずれに限定されるものではなく、Ｙ方向、Ｚ方向における位置ずれであってもよいし、ＸＹＺ軸の３方向に位置ずれした場合でもあっても、上述した関係式（４’）を用いることで、同様に実施することができる。
さらには、平行移動による位置ずれだけでなく、回転、すなわち距離情報と濃淡情報の取得手段の測定方向（光軸等）自体がずれて配置された構成であっても、距離情報取得手段によって測定された空間内での位置情報を回転変換し、濃淡情報取得手段から見た距離情報を求めることで、本発明を適用することが可能である。
さらには、平行移動による位置ずれだけでなく、回転、すなわち距離情報と濃淡情報の取得手段の測定方向（光軸等）自体がずれて配置された構成であっても、距離情報取得手段によって測定された空間内での位置情報を回転変換し、濃淡情報取得手段から見た距離情報を求めることで、本発明を適用することが可能である。
（Ｇ）
上記実施形態２では、図８に示すように、距離情報および濃淡情報を取得する２つの装置が同一の筐体に配置された例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、距離情報および濃淡情報を取得する２つの装置が別々の筐体に独立して設けられた構成であってもよい。
上記実施形態２では、図８に示すように、距離情報および濃淡情報を取得する２つの装置が同一の筐体に配置された例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、距離情報および濃淡情報を取得する２つの装置が別々の筐体に独立して設けられた構成であってもよい。
この場合でも、互いの装置の位置ずれ量が既知であれば、上記実施形態２と同様に、座標変換を加えた補正処理によって、上記実施形態２と同様の効果を得ることができる。
本発明の濃淡画像生成装置は、対象物までの距離に応じて生成される濃淡画像において、遠距離にある対象物を明確に表示させることができるという効果を奏することから、濃淡画像を用いる各種センサに対して広く適用可能である。
１０ 濃淡画像生成部
１１ 距離情報取得部
１２ 濃淡情報取得部
１３ 補正部
１４ 画像生成部
２０ ＴＯＦセンサ
２１ 照明装置
２２ 受光レンズ
２３ 撮像素子
２４ 制御部（照明制御部）
２５ 記憶部
３０ 濃淡画像生成装置
３０ａ 本体部
４０ 対象物
１２１ａ，１２１ｂ 照明装置
１２３ａ，１２３ｂ 受光部
１３０ 濃淡画像生成装置
Ｃ１，Ｃ２ 中心位置
Ｄ 距離
Ｌ１ 照明光
１１ 距離情報取得部
１２ 濃淡情報取得部
１３ 補正部
１４ 画像生成部
２０ ＴＯＦセンサ
２１ 照明装置
２２ 受光レンズ
２３ 撮像素子
２４ 制御部（照明制御部）
２５ 記憶部
３０ 濃淡画像生成装置
３０ａ 本体部
４０ 対象物
１２１ａ，１２１ｂ 照明装置
１２３ａ，１２３ｂ 受光部
１３０ 濃淡画像生成装置
Ｃ１，Ｃ２ 中心位置
Ｄ 距離
Ｌ１ 照明光
Claims (12)
- 照明装置から対象物に対して照射された電磁波の反射量に応じて前記対象物までの距離情報を取得する距離情報取得部と、
前記照明装置から照射された前記電磁波の反射量に応じて濃淡情報を取得する濃淡情報取得部と、
前記濃淡情報取得部によって得られた濃淡情報を、前記距離情報取得部で得られた距離に基づいて補正する補正部と、
前記補正部によって補正された濃淡情報に基づいて、前記対象物までの距離情報を含む濃淡画像を生成する画像生成部と、
を備えている濃淡画像生成装置。 - 前記補正部は、前記濃淡情報取得部によって得られた濃淡情報に前記距離情報取得部によって得られた距離の二乗を乗じて、前記濃淡情報を補正する、
請求項１に記載の濃淡画像生成装置。 - 前記距離情報取得部は、前記画像生成部において生成される前記濃淡画像に含まれる画素ごとに、前記距離情報を取得する、
請求項１または２に記載の濃淡画像生成装置。 - 前記濃淡情報取得部は、前記画像生成部において生成される前記濃淡画像に含まれる画素ごとに、前記濃淡情報を取得する、
請求項１から３のいずれか１項に記載の濃淡画像生成装置。 - 前記補正部は、前記画像生成部において生成される前記濃淡画像に含まれる画素ごとに、前記距離情報取得部において取得された前記距離情報を用いて、前記濃淡情報取得部において取得された前記濃淡情報を補正する、
請求項１から４のいずれか１項に記載の濃淡画像生成装置。 - 前記距離情報取得部と前記照明装置との中心位置と前記濃淡情報取得部と前記照明装置との中心位置とが、互いに離間した位置に設置されている場合には、
前記補正部は、前記濃淡情報取得部から見た距離に、前記距離情報取得部と前記濃淡情報取得部との位置関係に応じた座標変換を行い、前記距離情報の補正を行う、
請求項１から５のいずれか１項に記載の濃淡画像生成装置。 - 前記距離情報取得部および前記濃淡情報取得部は、一体化して設けられている、
請求項１から６のいずれか１項に記載の濃淡画像生成装置。 - 前記対象物に対して前記電磁波を照射するように前記照明装置を制御する照明制御部を、さらに備えている、
請求項１から７のいずれか１項に記載の濃淡画像生成装置。 - 前記距離情報取得部は、ＴＯＦ（Time-of-Flight）センサ、ＬｉＤＡＲ（Light Detection And Ranging）、またはＳＣ（Structural Camera）において測定された前記距離情報を取得する、
請求項１から８のいずれか１項に記載の濃淡画像生成装置。 - 前記濃淡情報取得部は、赤外線カメラまたはＲＧＢカメラにおいて測定された前記濃淡情報を取得する、
請求項１から９のいずれか１項に記載の濃淡画像生成装置。 - 照明装置から対象物に対して照射された電磁波の反射量に応じて前記対象物までの距離情報を取得する距離情報取得ステップと、
前記照明装置から前記対象物に対して照射された前記電磁波の反射量に応じて濃淡情報を取得する濃淡情報取得ステップと、
前記濃淡情報取得ステップにおいて得られた濃淡情報を、前記距離情報取得ステップにおいて得られた距離に基づいて補正する補正ステップと、
前記補正ステップにおいて補正された濃淡情報に基づいて、濃淡画像を生成する画像生成ステップと、
を備えている濃淡画像補正方法。 - 照明装置から対象物に対して照射された電磁波の反射量に応じて前記対象物までの距離情報を取得する距離情報取得ステップと、
前記照明装置から前記対象物に対して照射された前記電磁波の反射量に応じて濃淡情報を取得する濃淡情報取得ステップと、
前記濃淡情報取得ステップにおいて得られた濃淡情報を、前記距離情報取得ステップにおいて得られた距離に基づいて補正する補正ステップと、
前記補正ステップにおいて補正された濃淡情報に基づいて、濃淡画像を生成する画像生成ステップと、
を備えている濃淡画像補正方法をコンピュータに実行させる濃淡画像補正プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021021134A JP2022123679A (ja) | 2021-02-12 | 2021-02-12 | 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム |
| CN202280013700.7A CN116848372A (zh) | 2021-02-12 | 2022-01-17 | 浓淡图像生成装置及浓淡图像修正方法、浓淡图像修正程序 |
| PCT/JP2022/001258 WO2022172690A1 (ja) | 2021-02-12 | 2022-01-17 | 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム |
| DE112022001051.7T DE112022001051T5 (de) | 2021-02-12 | 2022-01-17 | Graustufenbildgenerierungsvorrichtung, Graustufenbildkorrekturverfahren und Graustufenbildkorrekturprogramm |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021021134A JP2022123679A (ja) | 2021-02-12 | 2021-02-12 | 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022123679A true JP2022123679A (ja) | 2022-08-24 |
Family
ID=82837784
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021021134A Pending JP2022123679A (ja) | 2021-02-12 | 2021-02-12 | 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP2022123679A (ja) |
| CN (1) | CN116848372A (ja) |
| DE (1) | DE112022001051T5 (ja) |
| WO (1) | WO2022172690A1 (ja) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101690243B (zh) * | 2008-05-14 | 2012-08-22 | 松下电器产业株式会社 | 摄像装置以及摄像方法 |
| FR3036187B1 (fr) * | 2015-05-12 | 2019-09-13 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de correction d’une image de fluorescence |
| JP2020148510A (ja) * | 2019-03-11 | 2020-09-17 | ソニーセミコンダクタソリューションズ株式会社 | 測距装置 |
-
2021
- 2021-02-12 JP JP2021021134A patent/JP2022123679A/ja active Pending
-
2022
- 2022-01-17 WO PCT/JP2022/001258 patent/WO2022172690A1/ja active Application Filing
- 2022-01-17 DE DE112022001051.7T patent/DE112022001051T5/de active Pending
- 2022-01-17 CN CN202280013700.7A patent/CN116848372A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| DE112022001051T5 (de) | 2024-02-22 |
| WO2022172690A1 (ja) | 2022-08-18 |
| CN116848372A (zh) | 2023-10-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dorrington et al. | Separating true range measurements from multi-path and scattering interference in commercial range cameras | |
| US10901090B2 (en) | TOF camera system and a method for measuring a distance with the system | |
| US11625845B2 (en) | Depth measurement assembly with a structured light source and a time of flight camera | |
| EP3715907B1 (en) | Methods and apparatuses for compensating light reflections from a cover of a time-of-flight camera | |
| JP6120611B2 (ja) | ビーム走査型表示装置 | |
| WO2014097539A1 (ja) | ３次元測定装置および３次元測定方法 | |
| WO2021189794A1 (zh) | 飞行时间测距***及其测距方法 | |
| CN110609299B (zh) | 一种基于tof的三维成像*** | |
| CN102567986A (zh) | 3d飞行时间相机和方法 | |
| CN111352120B (zh) | 飞行时间测距***及其测距方法 | |
| CN110007289B (zh) | 一种基于飞行时间深度相机的运动伪差减小方法 | |
| CN112034485A (zh) | 利用飞行时间相机的反射率感测 | |
| CN111366943B (zh) | 飞行时间测距***及其测距方法 | |
| CN113962875A (zh) | 使用机器学习增强图像的方法和*** | |
| CN114200466A (zh) | 畸变确定装置和确定畸变的方法 | |
| US11483539B2 (en) | Apparatus and method for generating three-dimensional image using optical system directing light in a dot pattern | |
| WO2022172690A1 (ja) | 濃淡画像生成装置および濃淡画像補正方法、濃淡画像補正プログラム | |
| Dorrington et al. | An evaluation of time-of-flight range cameras for close range metrology applications | |
| CN112379389A (zh) | 一种结合结构光相机和tof深度相机的深度信息获取装置和方法 | |
| US20220244392A1 (en) | High resolution lidar scanning | |
| US20220364849A1 (en) | Multi-sensor depth mapping | |
| JP6567199B2 (ja) | 距離計測装置、距離計測方法、及び距離計測プログラム | |
| WO2015145599A1 (ja) | 映像投影装置 | |
| JP7275941B2 (ja) | ３次元情報取得装置及び３次元情報取得方法 | |
| WO2020218283A1 (ja) | ＴｏＦカメラ、車両用灯具、自動車 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20210308 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240308 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240423 |