JP7103324B2 - 物体認識用異常検出装置及び物体認識用異常検出プログラム - Google Patents
物体認識用異常検出装置及び物体認識用異常検出プログラム Download PDFInfo
- Publication number
- JP7103324B2 JP7103324B2 JP2019164861A JP2019164861A JP7103324B2 JP 7103324 B2 JP7103324 B2 JP 7103324B2 JP 2019164861 A JP2019164861 A JP 2019164861A JP 2019164861 A JP2019164861 A JP 2019164861A JP 7103324 B2 JP7103324 B2 JP 7103324B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- object recognition
- abnormality
- vehicle
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/50—Systems of measurement based on relative movement of target
- G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Electromagnetism (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
この明細書による開示は、車両の周辺物体認識における異常の検出に関する。
特許文献1に開示の装置は、測距センサ及び外界カメラの測定結果を用いて、車両の周辺物体を認識する。当該装置は、画像に映り込む物体の画像ロストの状態に基づき、物体の検出結果の信頼度及び検出状態が安定しているか否かを判定している。
測距センサ及び外界カメラは、様々な環境に移動する車両に搭載されるものである。したがって、測距センサ及び外界カメラ自体を原因とした、周辺物体認識おける異常が発生することがある。しかしながら、特許文献1の装置では、こうした異常を検出することができない。
この明細書の開示による目的のひとつは、測距センサと外界カメラとを用いた車両の周辺物体認識における異常を、高精度に検出可能な物体認識用異常検出装置及び物体認識用異常検出プログラムを提供することにある。
ここに開示された態様のひとつは、車両(1)に搭載され、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像を生成することに加えて、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像を生成する測距センサ(10)と、車両に搭載され、外界からの入射光をカメラ素子(22a)が検出することによりカメラ画像を生成する外界カメラ(20)とを用いた車両の周辺物体認識における異常を検出する物体認識用異常検出装置であって、
車両の速度状態を把握する速度状態把握部(43)と、
背景光画像及びカメラ画像を取得する画像情報取得部(41)と、
車両が低速域以下の速度である速度状態にて背景光画像とカメラ画像とが生成されている場合に、背景光画像とカメラ画像と間の投影誤差(PE)を検出する投影誤差検出部(44)と、を備える。
車両の速度状態を把握する速度状態把握部(43)と、
背景光画像及びカメラ画像を取得する画像情報取得部(41)と、
車両が低速域以下の速度である速度状態にて背景光画像とカメラ画像とが生成されている場合に、背景光画像とカメラ画像と間の投影誤差(PE)を検出する投影誤差検出部(44)と、を備える。
ここに開示された態様のひとつは、車両(1)の周辺物体認識における異常を検出する物体認識用異常検出プログラムであって、
少なくとも1つの処理部(31)に、
車両に搭載された測距センサ(10)が生成した画像であって、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを、取得する処理と、
車両に搭載された外界カメラ(20)が生成した画像であって、外界からの入射光をカメラ素子(22a)が検出することによるカメラ画像を取得する処理と、
車両が低速域以下の速度である速度状態にて背景光画像とカメラ画像とが生成されている場合に、背景光画像とカメラ画像と間の投影誤差を検出する処理と、を実行させる。
少なくとも1つの処理部(31)に、
車両に搭載された測距センサ(10)が生成した画像であって、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、反射光に対する背景光を受光素子が感知することにより反射光画像と同座標系となっている背景光画像とを、取得する処理と、
車両に搭載された外界カメラ(20)が生成した画像であって、外界からの入射光をカメラ素子(22a)が検出することによるカメラ画像を取得する処理と、
車両が低速域以下の速度である速度状態にて背景光画像とカメラ画像とが生成されている場合に、背景光画像とカメラ画像と間の投影誤差を検出する処理と、を実行させる。
これらの態様によると、背景光画像とカメラ画像と間の投影誤差が検出されるのは、車両が低速域以下の速度である速度状態下となっている。こうした速度状態下では、測距センサが生成する背景光画像の測定タイミングと、外界カメラが生成するカメラ画像の測定タイミングのずれを原因とした検出精度低下を抑制することができる。例えば、測定タイミングのずれの間に車両が移動することによる、背景光画像とカメラ画像との間の物体の映り込み位置ずれが低減されるので、当該位置ずれが投影誤差に包含されたとしても、位置ずれによる投影誤差の増大影響は小さい。故に、測距センサと外界カメラとを用いた車両の周辺物体認識における異常を、高精度に検出することが可能となる。
なお、括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。
一実施形態を図面に基づいて説明する。
(第1実施形態)
図1に示すように、本開示の第1実施形態による物体認識用異常検出装置は、車両1の周辺物体認識に用いられ、車両1に搭載されるように構成された画像処理ECU(Electronic Control Unit)30となっている。画像処理ECU30は、周辺監視画像情報提供システム100を、測距センサ10及び外界カメラ20と共に構成している。本実施形態の周辺監視画像情報提供システム100は、測距センサ10及び外界カメラ20の測定結果による周辺監視画像情報を、運転支援ECU50等に提供することが可能である。
図1に示すように、本開示の第1実施形態による物体認識用異常検出装置は、車両1の周辺物体認識に用いられ、車両1に搭載されるように構成された画像処理ECU(Electronic Control Unit)30となっている。画像処理ECU30は、周辺監視画像情報提供システム100を、測距センサ10及び外界カメラ20と共に構成している。本実施形態の周辺監視画像情報提供システム100は、測距センサ10及び外界カメラ20の測定結果による周辺監視画像情報を、運転支援ECU50等に提供することが可能である。
画像処理ECU30は、車両1に搭載された車載ネットワークの通信バスに通信可能に接続されている。画像処理ECU30は、車載ネットワークに設けられた複数のノードのうちの1つである。車載ネットワークには、測距センサ10、外界カメラ20の他、運転支援ECU50等がそれぞれノードとして接続されている。
運転支援ECU50は、プロセッサ、RAM(Random Access Memory)、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。運転支援ECU50は、車両1においてドライバの運転操作を支援する運転支援機能、及びドライバの運転操作を代行可能な運転代行機能の少なくとも一方を有している。運転支援ECU50は、記憶部に記憶された物体認識プログラムをプロセッサによって実行することにより、周辺監視画像情報提供システム100により提供される周辺監視画像情報に基づき、車両1の周辺物体を認識する。運転支援ECU50は、記憶部に記憶されたプログラムをプロセッサによって実行することにより、認識結果に応じた車両1の自動運転又は高度運転支援を実現する。
運転支援ECU50は、物体認識プログラムを実行することにより、例えばセマンティックセグメンテーション(Semantic Segmentation)を用いた周辺物体認識を実施する。運転支援ECU50の記憶部には、物体認識プログラムの一構成要素としてニューラルネットワークを主体とした物体認識モデル51(図3も参照)が構築されている。このニューラルネットワークには、例えばエンコーダとデコーダとを結合したSegNetと呼ばれる構造を採用することができる。なお、周辺物体認識は、バウンディングボックス(Bounding Box)を用いた物体認識であってもよい。
次に、周辺監視画像情報提供システム100に含まれる測距センサ10、外界カメラ20及び画像処理ECU30の各詳細を、順に説明する。
測距センサ10は、例えば車両1の前方、又は車両1のルーフに配置された、SPADRiDAR(Single Photon Avalanche Diode Light Detection And Ranging)となっている。測距センサ10は、車両1の周辺のうち少なくとも前方の測定範囲MA1を測定可能となっている。
測距センサ10は、発光部11、受光部12、制御ユニット13等を含む構成である。発光部11は、光源から発光された光ビームを、可動光学部材(例えばポリゴンミラー)を用いて走査することにより、図2に示す測定範囲MA1へ向けて照射する。光源は、例えば半導体レーザ(Laser diode)であり、制御ユニット13からの電気信号に応じて、乗員(ドライバ等)及び外界の人間から視認不能な近赤外域の光ビームを発光する。
受光部12は、照射された光ビームが測定範囲MA1内の物体から反射される反射光又は反射光に対する背景光を例えば集光レンズにより集光して、受光素子12aへ入射させる。
受光素子12aは、光電変換により光を電気信号に変換する素子であり、検出電圧を増幅することにより、高感度を実現したSPAD受光素子である。受光素子12aには、例えば近赤外域の反射光を検出するために、可視域に対して近赤外域の感度が高く設定されたCMOSセンサが採用されている。この感度は、受光部12に光学フィルタを設けることによっても調整できる。受光素子12aは、複数の受光画素を1次元方向又は2次元方向に並ぶようにアレイ状に有する。
制御ユニット13は、発光部11及び受光部12を制御するユニットである。制御ユニット13は、例えば受光素子12aと共通の基板上に配置され、例えばマイコンないしFPGA(Field-Programmable Gate Array)等の広義のプロセッサを主体として構成されている。制御ユニット13は、走査制御機能、反射光測定機能、及び背景光測定機能を実現している。
走査制御機能は、光ビーム走査を制御する機能である。制御ユニット13は、測距センサ10に設けられたクロック発振器の動作クロックに基づいたタイミングにて、光源から光ビームをパルス状に複数回発振させると共に、可動光学部材を動作させる。
反射光測定機能は、光ビーム走査のタイミングに合わせて、例えばローリングシャッタ方式を用いて各受光画素が受光した反射光に基づく電圧値を読み出し、反射光の強度を測定する機能である。反射光の測定においては、光ビームの発光タイミングと反射光の受光タイミングとの時間差を検出することにより、測距センサ10から反射光を反射した物体までの距離を測定することができる。反射光の測定により、制御ユニット13は、測定範囲MA1に対応した画像平面上の2次元座標に反射光の強度及び当該反射光を反射した物体の距離情報が関連付けられた画像状のデータである反射光画像を、生成することができる。
背景光測定機能は、反射光を測定する直前のタイミングにて、各受光画素が受光した背景光に基づく電圧値を読み出し、背景光の強度を測定する機能である。ここで背景光とは、反射光を実質的に含まない、外界のうち測定範囲MA1から受光素子12aへ入射する入射光を意味する。入射光には、自然光、外界の表示等から発光される表示光が含まれる。背景光の測定により、制御ユニット13は、測定範囲MA1に対応した画像平面上の2次元座標に背景光の強度が関連付けられた画像状のデータである背景光画像を、生成することができる。
反射光画像及び背景光画像は、共通の受光素子12aにより感知され、当該受光素子12aを含む共通の光学系から取得される。したがって、反射光画像の座標系と背景光画像の座標系とは、互いに一致する同座標系とみなすことができる。さらには、反射光画像と背景光画像との間にて、測定タイミングのずれも殆どない(例えば1ns未満)といえる。したがって、反射光画像と背景光画像とは、同期もとれているとみなすことができる。
例えば本実施形態では、各画素に対応して、反射光の強度、物体の距離、及び背景光の強度の3チャンネルのデータが格納された画像データが、センサ画像として、画像処理ECU30へ逐次出力される。
外界カメラ20は、例えば車両1のフロントウインドシールドの車室内側に配置されているカメラである。外界カメラ20は、車両1の外界のうち少なくとも前方の測定範囲MA2、より詳細には測距センサ10の測定範囲MA1と少なくとも一部を重複させた測定範囲MA2を、測定可能となっている。
外界カメラ20は、受光部22及び制御ユニット23を含む構成である。受光部22は、カメラ外部の測定範囲MA2から入射する入射光(背景光)を例えば受光レンズにより集光して、カメラ素子22aへ入射させる。
カメラ素子22aは、光電変換により光を電気信号に変換する素子であり、例えばCCDセンサ又はCMOSセンサを採用することが可能である。カメラ素子22aでは、可視域の自然光等を効率的に受光するために、近赤外域に対して可視域の感度が高く設定されている。カメラ素子22aは、複数の受光画素(いわゆるサブ画素に相当する)を2次元方向に並ぶようにアレイ状に有する。互いに隣接する受光画素には、例えば赤色、緑色、青色のカラーフィルタが配置されている。各受光画素は、配置されたカラーフィルタに対応した色の可視光を受光する。赤色の強度、緑色の強度、青色の強度がそれぞれ測定されることによって、外界カメラ20が撮影するカメラ画像は、反射光画像及び背景光画像よりも高解像の画像であって、可視域のカラー画像となり得る。
制御ユニット23は、受光部22を制御するユニットである。制御ユニット23は、例えばカメラ素子22aと共通の基板上に配置され、マイコンないしFPGA等の広義のプロセッサを主体として構成されている。制御ユニット23は、撮影機能を実現している。
撮影機能は、上述のカラー画像を撮影する機能である。制御ユニット23は、外界カメラ20に設けられたクロック発振器の動作クロックに基づいたタイミングにて、例えばグローバルシャッタ方式を用いて各受光画素が受光した入射光に基づく電圧値を読み出し、入射光の強度を感知して測定する。制御ユニット23は、測定範囲MA2に対応した画像平面上の2次元座標に入射光の強度が関連付けられた画像状のデータであるカメラ画像を、生成することができる。こうしたカメラ画像が、画像処理ECU30へ逐次出力される。
画像処理ECU30は、測距センサ10及び外界カメラ20の測定結果による周辺監視画像情報を、複合的に処理する電子制御装置である。画像処理ECU30は、図1に示すように、処理部31、RAM32、記憶部33、入出力インターフェース34、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。処理部31は、RAM32と結合された演算処理のためのハードウェアである。処理部31は、CPU(Central Processing Unit)、GPU(Graphical Processing Unit)、RISC(Reduced Instruction Set Computer)等の演算コアを少なくとも1つ含む構成である。処理部31は、FPGA及び他の専用機能を備えたIPコア等をさらに含む構成であってもよい。処理部31は、RAM32へのアクセスにより、後述する各機能部の機能を実現するための種々の処理を実行する。記憶部33は、不揮発性の記憶媒体を含む構成である。記憶部33には、処理部31によって実行される種々のプログラム(物体認識用異常検出プログラム等)が格納されている。
画像処理ECU30は、記憶部33に記憶されたプログラムを処理部31によって実行することで、複数の機能部を有する。具体的に図3に示すように、画像情報取得部41、イメージレジストレーション部42、速度状態把握部43、投影誤差検出部44、異常判断部45、異常通知情報出力部46等の機能部が構築される。
また、画像処理ECU30では、測定位置データ47及び投影誤差検出データ48が記憶部33に記憶されている。測定位置データ47は、測距センサ10の測定位置と外界カメラ20の測定位置との位置関係に関するデータを含む。位置関係に関するデータは、車両1における測距センサ10の受光素子12aの位置及び向き及び外界カメラ20のカメラ素子22aの位置及び向きのデータであってもよく、これらデータを変換して得られる、後述する変換行列の成分の値を示すデータであってもよい。
投影誤差検出データ48は、投影誤差検出部44の検出結果を記録したデータであって、異常判断部45が判断を実行するためのデータである。例えば投影誤差検出データ48は、検出日時、検出元の画像、及び検出された投影誤差PEの値の組を、複数組記録したデータである。
画像情報取得部41は、測距センサ10から反射光画像及び背景光画像を取得すると共に、外界カメラ20からカメラ画像を取得する。画像情報取得部41は、最新の反射光画像、背景光画像及びカメラ画像の組を、イメージレジストレーション部42及び投影誤差検出部44に提供する。
イメージレジストレーション部42は、反射光画像、背景光画像の座標系とカメラ画像の座標系との対応関係の特定、すなわちイメージレジストレーションを実施する。イメージレジストレーション部42は、イメージレジストレーション済みの反射光画像、背景光画像及びカメラ画像を、運転支援ECU50に逐次提供する。
速度状態把握部43は、車両1の速度状態を把握する。速度状態把握部43は、車両1の速度状態を、例えば車両1の速度センサから取得することにより、把握することができる。あるいは、速度状態把握部43は、車速センサからの車速の情報を得なくてもよく、直近の2枚の背景光画像(カメラ画像でもよい)を比較し、画像に映り込む背景等の移動量から、車両1の速度状態を推測することにより把握してもよい。
投影誤差検出部44は、図4~6に示すように、背景光画像とカメラ画像とを比較し、背景光画像とカメラ画像との間の投影誤差PEを検出する。投影誤差検出部44は、速度状態判定機能、対応点取得機能、対応点投影機能、及び投影誤差計測機能を備える。
速度状態判定機能は、車両1の速度状態が投影誤差PEの検出に適した条件であるか否か、換言すると投影誤差PEの検出処理を実行するか否かを判定する機能である。車両1の停止状態は、測距センサ10から測定される静止物体SOの位置精度及び外界カメラ20から測定される当該静止物体SOの位置精度が、実質的に最も高い状態であるので、投影誤差PEの検出に適した条件であるといえる。一方、車両1の走行状態では、その速度が大きくなる程、測距センサ10の測定タイミングと、外界カメラ20の測定タイミングのずれが、背景光画像の静止物体SOの映り込み位置とカメラ画像の静止物体SOの映り込み位置の位置ずれを生じさせる。故に、車両1の速度が増大すると、投影誤差PEの検出に適した条件は満たされなくなってしまう。
具体的に、投影誤差検出部44は、速度状態把握部43が把握した速度状態に基づき、投影誤差PEの検出対象である背景光画像及びカメラ画像が車両1の停止状態にて生成されているか否かを判定する。停止状態にて生成されている場合には、背景光画像及びカメラ画像を対象とした投影誤差PE検出のための処理が進められる。そうでない場合には、背景光画像及びカメラ画像を対象とした投影誤差PE検出のための処理が中止される。
対応点取得機能は、組になっている背景光画像及びカメラ画像から、対応点CPa,CPbを取得する機能である。対応点CPa,CPbは、背景光画像及びカメラ画像の両方に映り込む共通の静止物体SOの特徴点である(図4,6も参照)。
具体的に、投影誤差検出部44は、背景光画像及びカメラ画像が停止状態にて生成されたと判断した場合に、背景光画像及びカメラ画像に共通に映り込んでいる静止物体SOを抽出する。抽出する静止物体SOは、例えば看板、標識、信号機等、外形を抽出容易な静止物体であることが好適である。
投影誤差検出部44は、抽出した静止物体SOの特徴点(例えばコーナー)を、対応点CPa,CPbとして取得する。この対応点CPa,CPbは、背景光画像とカメラ画像との間で1対又は複数対取得される。特に本実施形態では、投影誤差検出部44は、1つの静止物体SOに複数の特徴点が存在する場合、複数の静止物体SOが抽出された場合等、特徴点が複数対取得可能である場合には、対応点CPa,CPbを複数対取得することが好ましい。なお、図4,6では、図示の簡略化のために、1対の対応点CPa,CPbが記載されている。
対応点投影機能は、取得された対応点CPa,CPbの各対に対して、背景光画像側の対応点CPaを、カメラ画像上に投影する機能である。図5に示すように、投影誤差検出部44は、反射光画像の距離情報を参照して、背景光画像側の対応点CPaの3次元座標P(x,y,z)を特定する。すなわち、背景光画像には距離情報が含まれないので、対応点CPaが背景光画像の画像平面上の2次元座標情報であったのに対し、当該2次元座標情報に反射光画像の距離情報を組み合わせることで、対応点CPaを、3次元座標情報に拡張することができる。3次元座標P(x,y,z)の特定は、図4に示すように、反射光画像と背景光画像とが同座標系とみなされ、同期がとれているとみなされていることによって可能となる。この3次元座標P(x,y,z)は、背景光画像の画像平面の2次元座標(x,y)に、当該画像平面に垂直な奥行き方向に沿ったz軸を追加した座標系にて表現される。
投影誤差検出部44は、変換行列を用いた座標変換により、3次元座標P(x,y,z)をカメラ画像の画像平面上の投影位置PPに投影する。ここで変換行列は、3次元座標P(x,y,z)に回転操作及び並進操作を加え、変換後の座標を背景光画像に逆投影する操作を加える行列である。この変換行列は、1つの行列の形態によって記述されていてもよく、複数の行列の積(例えば逆投影行列と並進行列Tと回転行列Rとの積)の形態によって記述されていてもよい。
投影誤差計測機能は、取得された対応点CPa,CPbの各対に対して、カメラ画像側の対応点CPbの位置と、座標変換によって背景光画像側から投影された投影位置PPとの位置のずれ量を、投影誤差PEとして計測する機能である。投影誤差PEは、例えばカメラ画像側の対応点CPbの位置と、投影位置PPとの距離によって表される。あるいは投影誤差PEは、受光部22の光学系に基づき、角度換算された角度誤差によって表されてもよい。検出された投影誤差PEの結果は、投影誤差検出データ48に検出日時、検出元の画像、及び検出された投影誤差PEの値の組を逐次追加する形で記憶部33に記憶される。
異常判断部45は、投影誤差検出部44によって検出された投影誤差PEに基づき、周辺物体認識における異常を判断する。ここでいう異常には、周辺物体認識機能の故障のみならず、周辺物体認識の精度が許容し難いレベルにまで低下している状態、又は低下する可能性が高い状態が含まれる。投影誤差PEが大きい値であれば、変換行列に問題があること及び測距センサ10が測定する距離情報に問題があることのうち少なくとも一方が推測される。
異常判断部45は、記憶部33へのアクセスにより投影誤差検出データ48を参照しつつ、以下の複数(例えば3つ)の判断条件を判断する。異常判断部45は、以下の複数の判断条件のうち、1つ以上の条件が成立する場合に、周辺物体認識における異常が存在すると判断する。異常判断部45は、複数の判断条件の全てが不成立の場合に、周辺物体認識における異常が存在しないと判断する。
第1の条件は、同じ反射光画像及びカメラ画像において、対応点CPa,CPbを複数対取得し、複数対に対してそれぞれ投影誤差PEを検出した場合に判断される条件である。具体的に異常判断部45は、第1の条件として、反射光画像及びカメラ画像の同じ組において、所定値A以上の投影誤差PEが所定の複数の検出数K以上検出されたか否かを判定する。所定値Aは、ノイズを除去するためのノイズ除去値である。所定値Aの適切な設定により、例えば車両1の内燃機関による車両振動に影響するノイズを除去することができる。検出数Kは、異常判断の信頼性を高めるための信頼性担保検出数であり、2以上の整数が採用される。
第2の条件は、同じ反射光画像及びカメラ画像であるか否かに関係なく、直近に検出されたN回の投影誤差PEが判断される条件である。具体的に異常判断部45は、第2の条件として、直近に検出された所定の複数回数N回の投影誤差PEの平均値が、所定値B以上であるか否かを判定する。回数Nは、例えば異常判断の信頼性を高めるための信頼性担保回数であり、2以上の整数が採用される。所定値Bは、運転支援ECU50にて実行される物体認識の認識性能に基づき設定され、当該物体認識の精度維持において許容される許容投影誤差の値である。所定値Bは、所定値Aと同じ値であってもよく、異なる値であってもよい。
第3の条件は、長期の投影誤差PEの推移に基づき判断される条件である。異常判断部45は、第3の条件として、継続的に投影誤差PEが増加しているか否かを判断する。図7に示すように、異常判断部45は、投影誤差検出データ48の検出日時に基づき、投影誤差PEを複数の期間毎(例えば月毎)に分類する。異常判断部45は、各期間の投影誤差PE同士を比較する。例えば直近の3期間において、前期よりも投影誤差PEが増加している場合、異常判断部45は、継続的に投影誤差PEが増加していると判断する。
異常通知情報出力部46は、異常判断部45が周辺物体認識における異常が存在すると判断した場合に、異常を通知するための異常通知情報を生成し、出力先に対して出力する。出力先は、例えば車両1の情報提示装置(例えばメータ、HUD、スピーカ)である。情報提示装置が乗員に異常を通知することによって、乗員が各種の対応を実施可能となる。
また、出力先は、DCM(Data Commumication Module)による通信を利用した車両外の情報収集センタであってもよい。DCMは、車両1に搭載される通信モジュールである。DCMは、LTE(Long Term Evolution)及び5G等の通信規格に沿った無線通信により、車両1と周囲の基地局との間で電波を送受信する。車両1が有人タクシー用の車両、有人バス用の車両、レンタカー用、ライドシェア用の車両、無人の搬送車両等の事業用車両の場合、事業所に設けられた情報取集センタに異常が通知されてもよい。
次に、異常検出プログラムに基づき、周辺物体認識における異常を検出する異常検出方法の詳細を、図8のフローチャートを用いて説明する。
まず、S11では、投影誤差検出部44は、背景光画像及びカメラ画像が車両1の停止状態にて生成されているか否かを判定する。S11にて肯定判定が下された場合、S12へ移る。S11にて否定判定が下された場合、一連の処理を終了する。
S12では、投影誤差検出部44は、背景光画像及びカメラ画像に共通に映り込む静止物体SOを抽出する。S12の処理後、S13へ移る。
S13では、投影誤差検出部44は、S12にて抽出した静止物体SOの対応点CPa,CPbを取得する。S13の処理後、S14へ移る。
S14では、投影誤差検出部44は、背景光画像側の対応点CPaを、カメラ画像上の投影位置PPに投影する。S14の処理後、S15へ移る。
S15では、投影誤差検出部44は、S14にて投影された投影位置PPと、カメラ画像側の対応点CPbとから投影誤差PEを測定する。投影誤差PEの検出結果は、投影誤差検出データ48として記録される。S15の処理後、S16へ移る。
S16では、異常判断部45は、投影誤差検出データ48を参照して、周辺物体認識における異常を判断する。S16にて異常ありと判断された場合、S17へ移る。S16にて異常なしと判断された場合、一連の処理を終了する。
S17では、異常通知情報出力部46は、出力先へ異常通知情報を出力する。S17を以って一連の処理を終了する。こうして画像処理ECU30は、車両1の周辺物体認識における異常を検出することができる。
(作用効果)
以上説明した第1実施形態の作用効果を以下に改めて説明する。
以上説明した第1実施形態の作用効果を以下に改めて説明する。
第1実施形態によると、背景光画像とカメラ画像と間の投影誤差PEが検出されるのは、車両1が低速域以下の速度である速度状態下となっている。こうした速度状態下では、測距センサ10が生成する背景光画像の測定タイミングと、外界カメラ20が生成するカメラ画像の測定タイミングのずれを原因とした検出精度低下を抑制することができる。例えば、測定タイミングのずれの間に車両1が移動することによる、背景光画像とカメラ画像との間の物体の映り込み位置ずれが低減されるので、当該位置ずれが投影誤差PEに包含されたとしても、位置ずれによる投影誤差PEの増大影響は小さい。故に、測距センサ10と外界カメラ20とを用いた車両1の周辺物体認識における異常を、高精度に検出することが可能となる。
また、第1実施形態によると、背景光画像とカメラ画像と間の投影誤差PEが検出されるのは、車両1の停止状態下となっている。停止状態下では、測定タイミングのずれの間に車両1が移動することだけを原因とした、背景光画像とカメラ画像との間の物体の映り込み位置ずれは解消される。したがって、こうした位置ずれが投影誤差PEに包含されてしまうことが抑制される。故に、測距センサ10と外界カメラ20とを用いた車両1の周辺物体認識における異常を、高精度に検出することが可能となる。
また、第1実施形態によると、背景光画像及びカメラ画像間で相互に対応する対応点CPa,CPbのうち、背景光画像側の対応点CPaの3次元座標P(x,y,z)が、距離情報を用いて特定される。カメラ画像の画像平面上の投影位置PPに投影される投影元が3次元座標P(x,y,z)であることにより、投影位置PPの位置精度は、格段に高まる。そして、投影誤差PEは、カメラ画像の画像平面上にて、カメラ画像側の対応点CPbの位置と、投影位置PPとのずれを、測定することで容易に検出可能となる。
また、第1実施形態によると、周辺物体認識における異常は、検出された投影誤差PEに基づいて、判断される。高精度に検出された投影誤差PEを用いることにより、異常判断の精度も、高精度なものとなる。
また、第1実施形態によると、反射光画像及びカメラ画像の同じ組において、所定値A以上の投影誤差PEが所定複数の検出数K以上検出された場合に、周辺物体認識における異常が存在するとの判断がなされる。同じ組の投影誤差PEが複数考慮されることにより、異常判断の信頼性を、大いに高めることができる。
また、第1実施形態によると、直近に検出された所定の複数回数Nの投影誤差PEの平均値が所定値B以上である場合に、周辺物体認識における異常が存在するとの判断がなされる。直近に検出された複数回数の投影誤差PEの平均値が考慮されることにより、異常判断の信頼性を、大いに高めることができる。
また、第1実施形態によると、継続的に投影誤差PEが増加している場合に、周辺物体認識における異常が存在するとの判断がなされる。投影誤差PEの継続的な増加状態をチェックして、今後に予測される投影誤差PEが許容できない範囲まで拡大された状態を防ぐための未然の対応が可能となる。
(他の実施形態)
以上、一実施形態について説明したが、本開示は、当該実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
以上、一実施形態について説明したが、本開示は、当該実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。
具体的に変形例1としては、投影誤差検出部44は、投影誤差PEの検出対象である背景光画像及びカメラ画像が低速域以下の速度である速度状態(以下、低速域状態)にて生成されているか否かを判定してもよい。ここで低速域状態とは、車両1が停止している停止状態と、車両1が低速域で走行している低速走行状態とを含む。本実施形態における低速域は、投影誤差PEの検出精度を担保するのに必要な許容上限速度未満の範囲を意味する。許容上限速度の値は、測距センサ10及び外界カメラ20におけるフレームレート、シャッタースピード等の画像測定仕様を考慮して変わり得るが、例えば10km/h、20km/h等の値を採用することができる。すなわち、本変形例1にて投影誤差検出部44は、停止状態のみならず、低速走行状態にて背景光画像とカメラ画像とが生成されている場合に、背景光画像とカメラ画像と間の投影誤差PEを検出していることになる。
変形例2としては、異常判断部45は、複数の判断条件を判断しなくてもよく、例えば第1実施形態に示された判断条件のうちいずれか1つのみを、判断してもよい。
変形例3としては、カメラ画像は、カラー画像でなく、グレースケール画像であってもよい。
変形例4としては、画像処理ECU30及び運転支援ECUのうち少なくとも1つは、車両に搭載されずに、車両外の路上等に固定設置されていてもよく、他車両に搭載されていてもよい。この場合には、インターネット、路車間通信、車車間通信等の通信によって、異常検出、運転操作等が遠隔操作されてもよい。
変形例5としては、画像処理ECU30等の物体認識用異常検出装置と、運転支援ECU50等の物体認識装置とが、1つに統合され、例えば1つの複合的な機能を実現する電子制御装置を構成していてもよい。
変形例6としては、物体認識用異常検出装置は、イメージレジストレーションの機能を備えずに、異常の検出に特化した装置であってもよい。
変形例7としては、画像処理ECU30によって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組み合わせによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。
変形例8としては、上記の異常検出方法を実現可能な異常検出プログラム等を記憶する記憶媒体の形態も、適宜変更されてもよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、画像処理ECU30の制御回路に電気的に接続される構成であってもよい。さらに、記憶媒体は、画像処理ECU30のプログラムのコピー基となる光学ディスク及びハードディスクであってもよい。
本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウエア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
1:車両、10:測距センサ、12a:受光素子、20:外界カメラ、22a:カメラ素子、41:画像情報取得部、43:速度状態把握部、44:投影誤差検出部、PE:投影誤差
Claims (9)
- 車両(1)に搭載され、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像を生成することに加えて、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像を生成する測距センサ(10)と、前記車両に搭載され、外界からの入射光をカメラ素子(22a)が検出することによりカメラ画像を生成する外界カメラ(20)とを用いた前記車両の周辺物体認識における異常を検出する物体認識用異常検出装置であって、
前記車両の速度状態を把握する速度状態把握部(43)と、
前記背景光画像及び前記カメラ画像を取得する画像情報取得部(41)と、
前記車両が低速域以下の速度である前記速度状態にて前記背景光画像と前記カメラ画像とが生成されている場合に、前記背景光画像と前記カメラ画像と間の投影誤差(PE)を検出する投影誤差検出部(44)と、を備える物体認識用異常検出装置。 - 前記投影誤差検出部は、前記速度状態としての前記車両が停止している停止状態にて前記背景光画像と前記カメラ画像とが生成されている場合に、前記投影誤差を検出する請求項1に記載の物体認識用異常検出装置。
- 前記投影誤差検出部は、
前記背景光画像及び前記カメラ画像間で相互に対応する対応点(CPa,CPb)を取得し、
前記距離情報を参照して前記背景光画像側の前記対応点の3次元座標を特定し、
前記3次元座標を前記カメラ画像の画像平面上の投影位置(PP)に投影し、
前記カメラ画像側の前記対応点の位置と、前記投影位置とのずれを、前記投影誤差として検出する請求項1に記載の物体認識用異常検出装置。 - 前記投影誤差検出部が検出した前記投影誤差に基づいて、前記周辺物体認識における異常を判断する異常判断部(45)を、さらに備える請求項1から3のいずれか1項に記載の物体認識用異常検出装置。
- 前記異常判断部は、前記反射光画像及び前記カメラ画像の同じ組において、所定値以上の前記投影誤差が所定複数の検出数以上検出された場合に、前記周辺物体認識における異常が存在すると判断する請求項4に記載の物体認識用異常検出装置。
- 前記異常判断部は、直近に検出された所定の複数回数の前記投影誤差の平均値が所定値以上である場合に、前記周辺物体認識における異常が存在すると判断する請求項4又は5に記載の物体認識用異常検出装置。
- 前記異常判断部は、継続的に前記投影誤差が増加している場合に、前記周辺物体認識における異常が存在すると判断する請求項4から6のいずれか1項に記載の物体認識用異常検出装置。
- 前記異常判断部が異常ありと判断した場合に、装置外部の出力先に対して異常通知情報を出力する異常通知情報出力部(46)を、さらに備える請求項4から7のいずれか1項に記載の物体認識用異常検出装置。
- 車両(1)の周辺物体認識における異常を検出する物体認識用異常検出プログラムであって、
少なくとも1つの処理部(31)に、
前記車両に搭載された測距センサ(10)が生成した画像であって、光照射に応じた反射光を受光素子(12a)が感知することにより距離情報を含む反射光画像と、前記反射光に対する背景光を前記受光素子が感知することにより前記反射光画像と同座標系となっている背景光画像とを、取得する処理と、
前記車両に搭載された外界カメラ(20)が生成した画像であって、外界からの入射光をカメラ素子(22a)が検出することによるカメラ画像を取得する処理と、
前記車両が低速域以下の速度である速度状態にて前記背景光画像と前記カメラ画像とが生成されている場合に、前記背景光画像と前記カメラ画像と間の投影誤差を検出する処理と、を実行させる物体認識用異常検出プログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019164861A JP7103324B2 (ja) | 2019-09-10 | 2019-09-10 | 物体認識用異常検出装置及び物体認識用異常検出プログラム |
CN202080063318.8A CN114391114A (zh) | 2019-09-10 | 2020-09-08 | 物体识别用异常检测装置、物体识别用异常检测程序以及物体识别用异常检测方法 |
PCT/JP2020/033957 WO2021049491A1 (ja) | 2019-09-10 | 2020-09-08 | 物体認識用異常検出装置、物体認識用異常検出プログラム及び物体認識用異常検出方法 |
US17/654,015 US20220196841A1 (en) | 2019-09-10 | 2022-03-08 | Object recognition abnormality detection apparatus, object recognition abnormality detection program product, and object recognition abnormality detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019164861A JP7103324B2 (ja) | 2019-09-10 | 2019-09-10 | 物体認識用異常検出装置及び物体認識用異常検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021043044A JP2021043044A (ja) | 2021-03-18 |
JP7103324B2 true JP7103324B2 (ja) | 2022-07-20 |
Family
ID=74862531
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019164861A Active JP7103324B2 (ja) | 2019-09-10 | 2019-09-10 | 物体認識用異常検出装置及び物体認識用異常検出プログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220196841A1 (ja) |
JP (1) | JP7103324B2 (ja) |
CN (1) | CN114391114A (ja) |
WO (1) | WO2021049491A1 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004317507A (ja) | 2003-04-04 | 2004-11-11 | Omron Corp | 監視装置の軸調整方法 |
JP2014179762A (ja) | 2013-03-14 | 2014-09-25 | Omron Corp | 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム |
US20150317781A1 (en) | 2012-11-05 | 2015-11-05 | The Chancellor Masters And Scholars Of The University Of Oxford | Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus |
CN108020825A (zh) | 2016-11-03 | 2018-05-11 | 岭纬公司 | 激光雷达、激光摄像头、视频摄像头的融合标定***及方法 |
US20180315214A1 (en) | 2017-04-27 | 2018-11-01 | Sick Ag | Method of calibrating a camera and a laser scanner |
JP2019007744A (ja) | 2017-06-20 | 2019-01-17 | 京セラ株式会社 | 物体検知装置、プログラムおよび物体検知システム |
JP2019086393A (ja) | 2017-11-07 | 2019-06-06 | トヨタ自動車株式会社 | 物体認識装置 |
-
2019
- 2019-09-10 JP JP2019164861A patent/JP7103324B2/ja active Active
-
2020
- 2020-09-08 CN CN202080063318.8A patent/CN114391114A/zh active Pending
- 2020-09-08 WO PCT/JP2020/033957 patent/WO2021049491A1/ja active Application Filing
-
2022
- 2022-03-08 US US17/654,015 patent/US20220196841A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004317507A (ja) | 2003-04-04 | 2004-11-11 | Omron Corp | 監視装置の軸調整方法 |
US20150317781A1 (en) | 2012-11-05 | 2015-11-05 | The Chancellor Masters And Scholars Of The University Of Oxford | Extrinsic calibration of imaging sensing devices and 2d lidars mounted on transportable apparatus |
JP2014179762A (ja) | 2013-03-14 | 2014-09-25 | Omron Corp | 画像処理装置、オブジェクト検出方法、およびオブジェクト検出プログラム |
CN108020825A (zh) | 2016-11-03 | 2018-05-11 | 岭纬公司 | 激光雷达、激光摄像头、视频摄像头的融合标定***及方法 |
US20180315214A1 (en) | 2017-04-27 | 2018-11-01 | Sick Ag | Method of calibrating a camera and a laser scanner |
JP2019007744A (ja) | 2017-06-20 | 2019-01-17 | 京セラ株式会社 | 物体検知装置、プログラムおよび物体検知システム |
JP2019086393A (ja) | 2017-11-07 | 2019-06-06 | トヨタ自動車株式会社 | 物体認識装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220196841A1 (en) | 2022-06-23 |
JP2021043044A (ja) | 2021-03-18 |
WO2021049491A1 (ja) | 2021-03-18 |
CN114391114A (zh) | 2022-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110799918A (zh) | 车辆用的方法、设备和计算机程序 | |
JP2019028967A (ja) | 側方の車両測位のための方法、装置、記憶媒体及びプログラム製品 | |
US11423663B2 (en) | Object detection device, object detection method, and non-transitory computer readable medium comprising computer program for object detection-use | |
JP6589926B2 (ja) | 物体検出装置 | |
JP2006252473A (ja) | 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム | |
CN110293973B (zh) | 驾驶支援*** | |
WO2015182147A1 (ja) | ステレオカメラ装置およびステレオカメラ装置を設置した車両 | |
CN114845917A (zh) | 用于杂散光实时感测的微透镜 | |
JP2018085059A (ja) | 情報処理装置、撮像装置、機器制御システム、情報処理方法およびプログラム | |
JP2018073275A (ja) | 画像認識装置 | |
JP6631691B2 (ja) | 画像処理装置、機器制御システム、撮像装置、画像処理方法、及び、プログラム | |
JP7103324B2 (ja) | 物体認識用異常検出装置及び物体認識用異常検出プログラム | |
JP5587852B2 (ja) | 画像処理装置及び画像処理方法 | |
US20220368873A1 (en) | Image sensor, imaging apparatus, and image processing method | |
US20220207884A1 (en) | Object recognition apparatus and object recognition program product | |
WO2021049490A1 (ja) | イメージレジストレーション装置、画像生成システム、イメージレジストレーション方法及びイメージレジストレーションプログラム | |
JP5964093B2 (ja) | 車両サイズ測定装置、車両サイズ測定方法、およびプログラム | |
JP2021103101A (ja) | 物体検出装置 | |
JP5487648B2 (ja) | 移動物体計測システム、移動物体計測装置、移動物体計測方法及びプログラム | |
JP2015219212A (ja) | ステレオカメラ装置及び距離算出方法 | |
US20240142628A1 (en) | Object detection device and object detection method | |
JP7511992B2 (ja) | 車両支援装置 | |
US20240242609A1 (en) | Parking information processing device, storage medium for storing computer program for processing parking information, method for processing parking information, parking information processing system, and parking information processing server | |
WO2024063133A1 (ja) | 物体検知方法、プログラム、及び物体検知システム | |
US20230252675A1 (en) | Mobile object control device, mobile object control method, learning device, learning method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220620 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7103324 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |