JP7259660B2 - イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム - Google Patents
イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム Download PDFInfo
- Publication number
- JP7259660B2 JP7259660B2 JP2019164860A JP2019164860A JP7259660B2 JP 7259660 B2 JP7259660 B2 JP 7259660B2 JP 2019164860 A JP2019164860 A JP 2019164860A JP 2019164860 A JP2019164860 A JP 2019164860A JP 7259660 B2 JP7259660 B2 JP 7259660B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- background light
- feature points
- reflected light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Description
故に、アプリケーションが反射光画像及びカメラ画像の両方を用いたとしても、これら画像の情報を最大限活用できないため、処理精度を十分に高めることができなかった。
反射光画像、背景光画像及びカメラ画像を取得する画像取得部(41)と、
背景光画像の特徴点(FPa)とカメラ画像の特徴点(FPb)との対応関係を特定することにより、背景光画像と同座標系の反射光画像と、カメラ画像とのイメージレジストレーションを実施する画像処理部(42)と、を備え、
画像処理部は、
背景光画像の特徴点とカメラ画像の特徴点とをそれぞれ検出し、
測距センサとカメラとの間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定し、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる。
また、開示された態様の他のひとつは、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを生成する測距センサ(10)に対して通信可能に接続されると共に、外部からの入射光をカメラ素子(22a)が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を生成するカメラ(20)に対して通信可能に接続されたイメージレジストレーション装置であって、
反射光画像、背景光画像及びカメラ画像を取得する画像取得部(41)と、
背景光画像の特徴点(FPa)とカメラ画像の特徴点(FPb)との対応関係を特定することにより、背景光画像と同座標系の反射光画像と、カメラ画像とのイメージレジストレーションを実施する画像処理部(42)と、を備え、
画像処理部は、
背景光画像の特徴点とカメラ画像の特徴点とをそれぞれ検出し、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定し、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させ、
背景光画像の特徴点とカメラ画像の特徴点との対応関係の特定において、各特徴点を含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いる。
また、開示された態様の他のひとつは、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを生成する測距センサ(10)に対して通信可能に接続されると共に、外部からの入射光をカメラ素子(22a)が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を生成するカメラ(20)に対して通信可能に接続されたイメージレジストレーション装置であって、
反射光画像、背景光画像及びカメラ画像を取得する画像取得部(41)と、
背景光画像の特徴点(FPa)とカメラ画像の特徴点(FPb)との対応関係を特定することにより、背景光画像と同座標系の反射光画像と、カメラ画像とのイメージレジストレーションを実施する画像処理部(42)と、を備え、
画像処理部は、
スケールに影響するパラメータを有する特徴点検出器を用いて、背景光画像の特徴点とカメラ画像の特徴点とをそれぞれ検出し、
背景光画像の解像度とカメラ画像の解像度との比を把握し、比に基づいて、背景光画像の特徴点の検出に使用するパラメータと、カメラ画像の特徴点の検出に使用するパラメータとを相違させており、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定し、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる。
光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより、反射光画像と同座標系となっている背景光画像とを生成する測距センサ(10)と、
外部からの入射光をカメラ素子(22a)が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を生成するカメラ(20)と、
背景光画像の特徴点(FPa)とカメラ画像の特徴点(FPb)との対応関係を特定することにより、背景光画像と同座標系の反射光画像と、カメラ画像とのイメージレジストレーションを実施して、距離情報とカメラ画像の情報とが統合された複合画像を生成する画像処理部(42)と、を備え、
画像処理部は、
背景光画像の特徴点とカメラ画像の特徴点とをそれぞれ検出し、
測距センサとカメラとの間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定し、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる。
また、開示された態様の他のひとつは、アプリケーションに処理させる画像を生成する画像生成システムであって、
光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより、反射光画像と同座標系となっている背景光画像とを生成する測距センサ(10)と、
外部からの入射光をカメラ素子(22a)が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を生成するカメラ(20)と、
背景光画像の特徴点(FPa)とカメラ画像の特徴点(FPb)との対応関係を特定することにより、背景光画像と同座標系の反射光画像と、カメラ画像とのイメージレジストレーションを実施して、距離情報とカメラ画像の情報とが統合された複合画像を生成する画像処理部(42)と、を備え、
画像処理部は、
背景光画像の特徴点とカメラ画像の特徴点とをそれぞれ検出し、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定し、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させ、
背景光画像の特徴点とカメラ画像の特徴点との対応関係の特定において、各特徴点を含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いる。
また、開示された態様の他のひとつは、アプリケーションに処理させる画像を生成する画像生成システムであって、
光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより、反射光画像と同座標系となっている背景光画像とを生成する測距センサ(10)と、
外部からの入射光をカメラ素子(22a)が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を生成するカメラ(20)と、
背景光画像の特徴点(FPa)とカメラ画像の特徴点(FPb)との対応関係を特定することにより、背景光画像と同座標系の反射光画像と、カメラ画像とのイメージレジストレーションを実施して、距離情報とカメラ画像の情報とが統合された複合画像を生成する画像処理部(42)と、を備え、
画像処理部は、
スケールに影響するパラメータを有する特徴点検出器を用いて、背景光画像の特徴点とカメラ画像の特徴点とをそれぞれ検出し、
背景光画像の解像度とカメラ画像の解像度との比を把握し、比に基づいて、背景光画像の特徴点の検出に使用するパラメータと、カメラ画像の特徴点の検出に使用するパラメータとを相違させており、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定し、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる。
少なくとも1つの処理部(31)に、
測距センサが生成した画像であって、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを、取得する処理と、
カメラが生成した画像であって、外部からの入射光をカメラ素子(22a)が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を取得する処理と、
測距センサとカメラとの間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、背景光画像の特徴点(FPa)とカメラ画像の特徴点(FPb)とをそれぞれ検出する処理と、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定する処理と、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる処理と、を実行させる。
また、開示された態様の他のひとつは、測距センサ(10)が生成した画像と、カメラ(20)が生成した画像とのイメージレジストレーションを実施するイメージレジストレーションプログラムであって、
少なくとも1つの処理部(31)に、
測距センサが生成した画像であって、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを、取得する処理と、
カメラが生成した画像であって、外部からの入射光をカメラ素子(22a)が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を取得する処理と、
背景光画像の特徴点(FPa)とカメラ画像の特徴点(FPb)とをそれぞれ検出する処理と、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定する処理と、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる処理と、を実行させ、
背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定する処理においては、各特徴点を含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いる。
また、開示された態様の他のひとつは、測距センサ(10)が生成した画像と、カメラ(20)が生成した画像とのイメージレジストレーションを実施するイメージレジストレーションプログラムであって、
少なくとも1つの処理部(31)に、
測距センサが生成した画像であって、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを、取得する処理と、
カメラが生成した画像であって、外部からの入射光をカメラ素子(22a)が検出することにより反射光画像及び背景光画像よりも高解像のカメラ画像を取得する処理と、
スケールに影響するパラメータを有する特徴点検出器を用いて、背景光画像の特徴点(FPa)とカメラ画像の特徴点(FPb)とをそれぞれ検出する処理と、
検出された背景光画像の特徴点とカメラ画像の特徴点との対応関係を特定する処理と、
対応関係の特定結果に基づき、背景光画像及びカメラ画像のうち一方の各画素を、他方の各画素に対応させる処理と、を実行させ、
検出する処理においては、背景光画像の解像度とカメラ画像の解像度との比を把握し、比に基づいて、背景光画像の特徴点の検出に使用するパラメータと、カメラ画像の特徴点の検出に使用するパラメータとを相違させている。
図1に示すように、本開示の第1実施形態によるイメージレジストレーション装置は、移動体としての車両1に用いられ、車両1に搭載されるように構成された画像処理ECU(Electronic Control Unit)30となっている。画像処理ECU30は、画像生成システム100を、測距センサ10及び外界カメラ20と共に構成している。本実施形態の画像生成システム100は、測距センサ10及び外界カメラ20の測定結果を統合した周辺監視画像情報を生成して、運転支援ECU50等に提供することが可能である。
以上説明した第1実施形態の作用効果を以下に改めて説明する。
図9に示すように、第2実施形態は第1実施形態の変形例である。第2実施形態について、第1実施形態とは異なる点を中心に説明する。
以上、複数の実施形態について説明したが、本開示は、それらの実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
Claims (11)
- 光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを生成する測距センサ(10)に対して通信可能に接続されると共に、外部からの入射光をカメラ素子(22a)が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を生成するカメラ(20)に対して通信可能に接続されたイメージレジストレーション装置であって、
前記反射光画像、前記背景光画像及び前記カメラ画像を取得する画像取得部(41)と、
前記背景光画像の特徴点(FPa)と前記カメラ画像の特徴点(FPb)との対応関係を特定することにより、前記背景光画像と同座標系の前記反射光画像と、前記カメラ画像とのイメージレジストレーションを実施する画像処理部(42)と、を備え、
前記画像処理部は、
前記背景光画像の特徴点と前記カメラ画像の特徴点とをそれぞれ検出し、
前記測距センサと前記カメラとの間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との前記対応関係を特定し、
前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させるイメージレジストレーション装置。 - 前記画像処理部は、
前記背景光画像及び前記カメラ画像のうち投影元の特徴点に対応するエピポーラ線(EL)を、投影先の画像に投影し、前記エピポーラ線に沿った所定の許容幅(W)を有する帯状の判定領域(JA)内に位置する前記投影先の特徴点を、前記投影元の特徴点に対応する点であると判定する請求項1に記載のイメージレジストレーション装置。 - 前記許容幅は、前記背景光画像の測定タイミングと前記カメラ画像の測定タイミングとの間に想定されるずれ量に応じて、設定されている請求項2に記載のイメージレジストレーション装置。
- 光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを生成する測距センサ(10)に対して通信可能に接続されると共に、外部からの入射光をカメラ素子(22a)が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を生成するカメラ(20)に対して通信可能に接続されたイメージレジストレーション装置であって、
前記反射光画像、前記背景光画像及び前記カメラ画像を取得する画像取得部(41)と、
前記背景光画像の特徴点(FPa)と前記カメラ画像の特徴点(FPb)との対応関係を特定することにより、前記背景光画像と同座標系の前記反射光画像と、前記カメラ画像とのイメージレジストレーションを実施する画像処理部(42)と、を備え、
前記画像処理部は、
前記背景光画像の特徴点と前記カメラ画像の特徴点とをそれぞれ検出し、
検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との前記対応関係を特定し、
前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させ、
前記背景光画像の特徴点と前記カメラ画像の特徴点との対応関係の特定において、各前記特徴点を含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いるイメージレジストレーション装置。 - 光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを生成する測距センサ(10)に対して通信可能に接続されると共に、外部からの入射光をカメラ素子(22a)が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を生成するカメラ(20)に対して通信可能に接続されたイメージレジストレーション装置であって、
前記反射光画像、前記背景光画像及び前記カメラ画像を取得する画像取得部(41)と、
前記背景光画像の特徴点(FPa)と前記カメラ画像の特徴点(FPb)との対応関係を特定することにより、前記背景光画像と同座標系の前記反射光画像と、前記カメラ画像とのイメージレジストレーションを実施する画像処理部(42)と、を備え、
前記画像処理部は、
スケールに影響するパラメータを有する特徴点検出器を用いて、前記背景光画像の特徴点と前記カメラ画像の特徴点とをそれぞれ検出し、
前記背景光画像の解像度と前記カメラ画像の解像度との比を把握し、前記比に基づいて、前記背景光画像の特徴点の検出に使用する前記パラメータと、前記カメラ画像の特徴点の検出に使用する前記パラメータとを相違させており、
検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との前記対応関係を特定し、
前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させるイメージレジストレーション装置。 - アプリケーションに処理させる画像を生成する画像生成システムであって、
光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより、前記反射光画像と同座標系となっている背景光画像とを生成する測距センサ(10)と、
外部からの入射光をカメラ素子(22a)が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を生成するカメラ(20)と、
前記背景光画像の特徴点(FPa)と前記カメラ画像の特徴点(FPb)との対応関係を特定することにより、前記背景光画像と同座標系の前記反射光画像と、前記カメラ画像とのイメージレジストレーションを実施して、前記距離情報と前記カメラ画像の情報とが統合された複合画像を生成する画像処理部(42)と、を備え、
前記画像処理部は、
前記背景光画像の特徴点と前記カメラ画像の特徴点とをそれぞれ検出し、
前記測距センサと前記カメラとの間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との前記対応関係を特定し、
前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させる画像生成システム。 - アプリケーションに処理させる画像を生成する画像生成システムであって、
光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより、前記反射光画像と同座標系となっている背景光画像とを生成する測距センサ(10)と、
外部からの入射光をカメラ素子(22a)が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を生成するカメラ(20)と、
前記背景光画像の特徴点(FPa)と前記カメラ画像の特徴点(FPb)との対応関係を特定することにより、前記背景光画像と同座標系の前記反射光画像と、前記カメラ画像とのイメージレジストレーションを実施して、前記距離情報と前記カメラ画像の情報とが統合された複合画像を生成する画像処理部(42)と、を備え、
前記画像処理部は、
前記背景光画像の特徴点と前記カメラ画像の特徴点とをそれぞれ検出し、
検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との前記対応関係を特定し、
前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させ、
前記背景光画像の特徴点と前記カメラ画像の特徴点との対応関係の特定において、各前記特徴点を含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いる画像生成システム。 - アプリケーションに処理させる画像を生成する画像生成システムであって、
光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより、前記反射光画像と同座標系となっている背景光画像とを生成する測距センサ(10)と、
外部からの入射光をカメラ素子(22a)が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を生成するカメラ(20)と、
前記背景光画像の特徴点(FPa)と前記カメラ画像の特徴点(FPb)との対応関係を特定することにより、前記背景光画像と同座標系の前記反射光画像と、前記カメラ画像とのイメージレジストレーションを実施して、前記距離情報と前記カメラ画像の情報とが統合された複合画像を生成する画像処理部(42)と、を備え、
前記画像処理部は、
スケールに影響するパラメータを有する特徴点検出器を用いて、前記背景光画像の特徴点と前記カメラ画像の特徴点とをそれぞれ検出し、
前記背景光画像の解像度と前記カメラ画像の解像度との比を把握し、前記比に基づいて、前記背景光画像の特徴点の検出に使用する前記パラメータと、前記カメラ画像の特徴点の検出に使用する前記パラメータとを相違させており、
検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との前記対応関係を特定し、
前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させる画像生成システム。 - 測距センサ(10)が生成した画像と、カメラ(20)が生成した画像とのイメージレジストレーションを実施するイメージレジストレーションプログラムであって、
少なくとも1つの処理部(31)に、
前記測距センサが生成した画像であって、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを、取得する処理と、
前記カメラが生成した画像であって、外部からの入射光をカメラ素子(22a)が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を取得する処理と、
前記背景光画像の特徴点(FPa)と前記カメラ画像の特徴点(FPb)とをそれぞれ検出する処理と、
前記測距センサと前記カメラとの間の相対位置に基づく画像上の対応点が映り込む位置の相違を考慮して、検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との対応関係を特定する処理と、
前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させる処理と、を実行させるイメージレジストレーションプログラム。 - 測距センサ(10)が生成した画像と、カメラ(20)が生成した画像とのイメージレジストレーションを実施するイメージレジストレーションプログラムであって、
少なくとも1つの処理部(31)に、
前記測距センサが生成した画像であって、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを、取得する処理と、
前記カメラが生成した画像であって、外部からの入射光をカメラ素子(22a)が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を取得する処理と、
前記背景光画像の特徴点(FPa)と前記カメラ画像の特徴点(FPb)とをそれぞれ検出する処理と、
検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との対応関係を特定する処理と、
前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させる処理と、を実行させ、
前記背景光画像の特徴点と前記カメラ画像の特徴点との対応関係を特定する処理においては、各前記特徴点を含む周辺領域から得られる特徴量であって、スケールに対して不変性が高い特徴量を用いるイメージレジストレーションプログラム。 - 測距センサ(10)が生成した画像と、カメラ(20)が生成した画像とのイメージレジストレーションを実施するイメージレジストレーションプログラムであって、
少なくとも1つの処理部(31)に、
前記測距センサが生成した画像であって、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを、取得する処理と、
前記カメラが生成した画像であって、外部からの入射光をカメラ素子(22a)が検出することにより前記反射光画像及び前記背景光画像よりも高解像のカメラ画像を取得する処理と、
スケールに影響するパラメータを有する特徴点検出器を用いて、前記背景光画像の特徴点(FPa)と前記カメラ画像の特徴点(FPb)とをそれぞれ検出する処理と、
検出された前記背景光画像の特徴点と前記カメラ画像の特徴点との対応関係を特定する処理と、
前記対応関係の特定結果に基づき、前記背景光画像及び前記カメラ画像のうち一方の各画素を、他方の各画素に対応させる処理と、を実行させ、
前記検出する処理においては、前記背景光画像の解像度と前記カメラ画像の解像度との比を把握し、前記比に基づいて、前記背景光画像の特徴点の検出に使用する前記パラメータと、前記カメラ画像の特徴点の検出に使用する前記パラメータとを相違させているイメージレジストレーションプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019164860A JP7259660B2 (ja) | 2019-09-10 | 2019-09-10 | イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム |
CN202080063314.XA CN114365189A (zh) | 2019-09-10 | 2020-09-08 | 影像配准装置、图像生成***、影像配准方法及影像配准程序 |
PCT/JP2020/033956 WO2021049490A1 (ja) | 2019-09-10 | 2020-09-08 | イメージレジストレーション装置、画像生成システム、イメージレジストレーション方法及びイメージレジストレーションプログラム |
US17/654,012 US20220201164A1 (en) | 2019-09-10 | 2022-03-08 | Image registration apparatus, image generation system, image registration method, and image registration program product |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019164860A JP7259660B2 (ja) | 2019-09-10 | 2019-09-10 | イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021043679A JP2021043679A (ja) | 2021-03-18 |
JP7259660B2 true JP7259660B2 (ja) | 2023-04-18 |
Family
ID=74862393
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019164860A Active JP7259660B2 (ja) | 2019-09-10 | 2019-09-10 | イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220201164A1 (ja) |
JP (1) | JP7259660B2 (ja) |
CN (1) | CN114365189A (ja) |
WO (1) | WO2021049490A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7294302B2 (ja) * | 2020-10-29 | 2023-06-20 | トヨタ自動車株式会社 | 物体検出装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014207493A (ja) | 2011-08-24 | 2014-10-30 | パナソニック株式会社 | 撮像装置 |
JP2018173346A (ja) | 2017-03-31 | 2018-11-08 | 株式会社トプコン | レーザスキャナ |
JP2019074419A (ja) | 2017-10-17 | 2019-05-16 | スタンレー電気株式会社 | 測距装置 |
JP2019128350A (ja) | 2018-01-23 | 2019-08-01 | 株式会社リコー | 画像処理方法、画像処理装置、車載装置、移動体、システム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3240835B2 (ja) * | 1994-06-09 | 2001-12-25 | 株式会社日立製作所 | 車両用距離計測装置 |
JP2019074429A (ja) * | 2017-10-17 | 2019-05-16 | 株式会社ジェイ・エム・エス | 超音波流量計及び血液浄化装置 |
-
2019
- 2019-09-10 JP JP2019164860A patent/JP7259660B2/ja active Active
-
2020
- 2020-09-08 CN CN202080063314.XA patent/CN114365189A/zh active Pending
- 2020-09-08 WO PCT/JP2020/033956 patent/WO2021049490A1/ja active Application Filing
-
2022
- 2022-03-08 US US17/654,012 patent/US20220201164A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014207493A (ja) | 2011-08-24 | 2014-10-30 | パナソニック株式会社 | 撮像装置 |
JP2018173346A (ja) | 2017-03-31 | 2018-11-08 | 株式会社トプコン | レーザスキャナ |
JP2019074419A (ja) | 2017-10-17 | 2019-05-16 | スタンレー電気株式会社 | 測距装置 |
JP2019128350A (ja) | 2018-01-23 | 2019-08-01 | 株式会社リコー | 画像処理方法、画像処理装置、車載装置、移動体、システム |
Also Published As
Publication number | Publication date |
---|---|
WO2021049490A1 (ja) | 2021-03-18 |
JP2021043679A (ja) | 2021-03-18 |
US20220201164A1 (en) | 2022-06-23 |
CN114365189A (zh) | 2022-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110799918B (zh) | 车辆用的方法、设备和计算机可读存储介质、车辆 | |
US11624835B2 (en) | Processing of LIDAR images | |
CN108377380B (zh) | 影像扫描***及其方法 | |
WO2020066637A1 (ja) | 奥行取得装置、奥行取得方法およびプログラム | |
US10107899B1 (en) | System and method for calibrating light intensity | |
US20160267668A1 (en) | Measurement apparatus | |
CN113034612B (zh) | 一种标定装置、方法及深度相机 | |
US20180276844A1 (en) | Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device | |
US11874403B2 (en) | Reflectance sensing with time-of-flight cameras | |
CN107203743B (zh) | 一种人脸深度跟踪装置及实现方法 | |
JP2006322795A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
KR101802894B1 (ko) | Tof 및 구조광 방식이 융합된 3차원 영상 획득 시스템 | |
EP3779882B1 (en) | Providing intensity peak position in image data from light triangulation in a three-dimensional imaging system | |
JP7259660B2 (ja) | イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム | |
US11940568B2 (en) | Enhanced multispectral sensor calibration | |
JP7206855B2 (ja) | 三次元位置検出装置、三次元位置検出システム、及び三次元位置検出方法 | |
JP7347398B2 (ja) | 物体検出装置 | |
JP7151676B2 (ja) | 物体認識装置及び物体認識プログラム | |
CN114599999A (zh) | 移动量估计装置、移动量估计方法、移动量估计程序以及移动量估计*** | |
JP7220835B1 (ja) | 物体検知装置および物体検知方法 | |
KR102525568B1 (ko) | 반사판을 이용한 원거리 라이다 위치 보정 시스템 및 방법 | |
WO2023047886A1 (ja) | 車両検出装置、車両検出方法、及び車両検出プログラム | |
JP7140091B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、及び画像処理システム | |
JP7103324B2 (ja) | 物体認識用異常検出装置及び物体認識用異常検出プログラム | |
Peppa | Precision analysis of 3D camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230307 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230320 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7259660 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |