JP2023111192A - 画像処理装置、移動体制御装置、画像処理方法、およびプログラム - Google Patents
画像処理装置、移動体制御装置、画像処理方法、およびプログラム Download PDFInfo
- Publication number
- JP2023111192A JP2023111192A JP2022012904A JP2022012904A JP2023111192A JP 2023111192 A JP2023111192 A JP 2023111192A JP 2022012904 A JP2022012904 A JP 2022012904A JP 2022012904 A JP2022012904 A JP 2022012904A JP 2023111192 A JP2023111192 A JP 2023111192A
- Authority
- JP
- Japan
- Prior art keywords
- image
- interest
- vehicle
- unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 86
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000001514 detection method Methods 0.000 claims abstract description 51
- 238000003384 imaging method Methods 0.000 claims abstract description 36
- 238000006243 chemical reaction Methods 0.000 claims abstract description 29
- 230000008859 change Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 11
- 230000006399 behavior Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000009466 transformation Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 238000002485 combustion reaction Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Description
本発明は、画像処理装置、移動体制御装置、画像処理方法、およびプログラムに関する。
従来より、車両に搭載されたカメラで撮像された画像を用いて車両の周囲を認識し、認識結果を運転支援等の制御に利用する技術が知られている。また従来では、周囲の検出範囲を広げるために、魚眼レンズを用いた魚眼カメラを用いる技術が知られている(例えば、特許文献1参照)。
しかしながら、従来技術では、魚眼カメラにより撮像された画像は、魚眼レンズ等の影響により歪みが大きく、撮像画像のままでは画像中の物標の形状や大きさ等を高精度に認識できない場合があった。また、魚眼カメラにより撮像された画像に歪み補正を行って物体認識に用いる場合も考えられるが、撮影される画像範囲が広範囲であるため画像処理の負荷が大きくなり、周辺の物標を迅速に検出する必要がある状況下において魚眼カメラの画像が適切でないに適さない場合があった。
本発明の態様は、このような事情を考慮してなされたものであり、カメラ画像に対して、より適切な画像処理を行うことができる画像処理装置、移動体制御装置、画像処理方法、およびプログラムを提供することを目的の一つとする。
この発明に係る画像処理装置、移動体制御装置、画像処理方法、およびプログラムは、以下の構成を採用した。
(1):この発明の一態様に係る画像処理装置は、移動体に搭載された撮像部により時系列に撮像された第1画像を取得する取得部と、前記第1画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定する設定部と、前記設定部により設定された着目位置に基づいて設定される部分画像を第2画像に変換する変換部と、前記変換部により変換された第2画像に基づいて前記移動体の周囲の物標を検出する物標検出部と、を備え、前記設定部は、前記物標検出部による検出結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する、画像処理装置である。
(1):この発明の一態様に係る画像処理装置は、移動体に搭載された撮像部により時系列に撮像された第1画像を取得する取得部と、前記第1画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定する設定部と、前記設定部により設定された着目位置に基づいて設定される部分画像を第2画像に変換する変換部と、前記変換部により変換された第2画像に基づいて前記移動体の周囲の物標を検出する物標検出部と、を備え、前記設定部は、前記物標検出部による検出結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する、画像処理装置である。
(2):上記(1)の態様において、前記設定部は、前記撮像部により撮像された過去の第1画像に基づく前記第2画像に所定の物標が検出されてない場合に、前記着目位置を、前記第2画像から物標が検出された場合の着目位置よりも所定距離以上遠方の位置に変更するものである。
(3):上記(1)または(2)の態様において、前記設定部は、前記撮像部により撮像された過去の第1画像に基づく前記第2画像に所定の物標が検出された場合に、前記着目位置を変更しないものである。
(4):上記(3)の態様において、前記所定の物標は、前記移動体に対向して走行する対向移動体を含むものである。
(5):上記(1)~(4)のうち何れか一つの態様において、前記設定部は、前記移動体の角速度が所定角度以上である場合に、前記着目位置を、前記角速度に応じて水平方向に移動させるものである。
(6):上記(2)の態様において、前記所定距離以上遠方の位置は、前記移動体が走行するレーンに隣接するレーンから所定距離以内の位置を含むものである。
(7):上記(2)の態様において、前記所定距離以上遠方の位置は、前記物標検出部によって検出可能なレーンのうち、前記移動体から最も遠いレーンから所定距離以内の位置を含むものである。
(8):上記(1)~(7)のうち何れか一つの態様において、前記物標は、前記移動体が走行中のレーンを逸脱する可能性がある物標である。
(9):この発明の一態様に係る移動体制御装置は、請求項1から請求項8のうち何れか1項に記載された画像処理装置と、前記画像処理装置による処理結果に基づいて、前記移動体の操舵または速度のうち、一方または双方を制御する運転制御部と、を備える、移動体制御装置である。
(10):この発明の一態様に係る移動体制御方法は、コンピュータが、移動体に搭載された撮像部により時系列に撮像された第1画像を取得し、前記第1画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定し、設定された前記着目位置に基づいて設定される部分画像を第2画像に変換し、変換された前記第2画像に基づいて前記移動体の周囲の物標を検出し、検出された結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する、画像処理方法である。
(11):この発明の一態様に係るプログラムは、コンピュータに、移動体に搭載された撮像部により時系列に撮像された第1画像を取得させ、前記第1画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定させ、設定された前記着目位置に基づいて設定される部分画像を第2画像に変換させ、変換された前記第2画像に基づいて前記移動体の周囲の物標を検出させ、検出された結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更させる、プログラムである。
上記(1)~(11)の態様によれば、より適切な移動体制御を行うことができる。
以下、図面を参照し、本発明の画像処理装置、移動体制御装置、画像処理方法、およびプログラムの実施形態について説明する。なお、以下の説明では、画像処理装置が、移動体に搭載されている例について説明する。移動体とは、例えば、車両、マイクロモビリティ、自律移動ロボット、船舶、ドローンなど、自身が備える駆動機構によって移動可能な構造体をいう。以下の説明では、移動体は地上を移動する車両であることを前提とし、専ら車両に地上を移動させるための構成および機能について説明する。「移動体を制御する」とは、例えば、手動運転を主として、音声や表示等によって運転操作にアドバイスを行ったり、ある程度の干渉制御を行うことを意味する。また、移動体を制御することには、少なくとも一時的に、移動体の操舵または速度のうち一方または双方を制御して、移動体を自律的に移動させることが含まれたり、移動体の乗員を保護する保護装置の作動を制御することが含まれてよい。
[全体構成]
図1は、実施形態に係る画像処理装置を含む車両システム1の構成図である。車両システム1が搭載される車両(以下、自車両M)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
図1は、実施形態に係る画像処理装置を含む車両システム1の構成図である。車両システム1が搭載される車両(以下、自車両M)は、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
車両システム1は、例えば、カメラ10と、HMI(Human Machine Interface)30と、車両センサ40と、運転操作子80と、車両制御装置100と、走行駆動力出力装置200と、ブレーキ装置210と、ステアリング装置220とを備える。これらの装置や機器は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図1に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。カメラ10は、「撮像部(画像センサ)」の一例である。HMI30は、「出力部」の一例である。車両制御装置100は「移動体制御装置」の一例である。
カメラ10は、自車両Mの周辺を撮像する。カメラ10は、例えば、自車両Mの周辺を広角に(例えば360度で)撮像可能なカメラである。また、カメラ10は、例えば、広画角レンズや魚眼レンズが設けられたカメラであり、いわゆる広画角カメラまたは魚眼カメラ)と称される。カメラ10は、例えば、移動体Mの上部に取り付けられ、移動体Mの周辺を水平方向に関して広角に撮像する。カメラ10は、複数のカメラ(水平方向に関して約60~180度程度の範囲を撮像する複数のカメラ)を組み合わせて実現されてもよく、標準カメラを有してもよい。
図2は、カメラ10の撮像範囲について説明するための図である。図2の例では、自車両Mの前後左右に取り付けられた魚眼カメラと、自車両Mの前方を撮影するための任意の位置(例えば、自車両Mの前部中央)に取り付けられた標準カメラとにおける水平方向の撮像範囲を示している。自車両Mの前方に取り付けられた魚眼カメラは、例えば、撮像範囲IR1に含まれる風景を撮影する。撮像範囲IR1の中心C1は、自車両Mの真正面を向いている。自車両Mの右側に取り付けられた魚眼カメラは、撮像範囲IR2に含まれる風景を撮影する。撮像範囲IR2の中心C2は、自車両Mの右方の真横を向いている。自車両Mの後方に取り付けられた魚眼カメラは、撮像範囲IR3に含まれる風景を撮影する。撮像範囲IR3の中心C3は、自車両Mの真後ろを向いている。自車両Mの左側に取り付けられた魚眼カメラは、撮像範囲IR4に含まれる風景を撮影する。撮像範囲IR4の中心C4は、自車両Mの左方の真横を向いている。図2の例において各魚眼カメラの水平方向の画角は、約180度であるがこれに限定されない。標準カメラは、撮像範囲IR5に含まれる風景を撮影する。撮像範囲IR5の中心200Cは、自車両Mの真正面を向いている。標準カメラの水平方向の画角は、約30度程度であるがこれに限定されない。
自車両Mは、上述のカメラ10に加えて、物標を検出するレーダ装置やLIDAR(Light Detection and Ranging)、ソナー等を備えていてもよい。カメラ10、レーダ装置、LIDAR、およびソナーは、自車両Mの周辺状況を認識する外界センサの一例である。カメラ10によって周期的に繰り返し自車両Mの周辺を撮像することで、時系列の画像が撮像される。カメラ10によって時系列に撮像された複数の画像フレームを含む画像データは、車両制御装置100に出力される。
HMI30は、HMI制御部180の制御により自車両Mの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。HMI30は、例えば、各種表示装置、スピーカ、スイッチ、マイク、ブザー、タッチパネル、キー等を含む。各種表示装置は、例えば、LCD(Liquid Crystal Display)や有機EL(Electro Luminescence)表示装置等である。表示装置は、例えば、インストルメントパネルにおける運転席(ステアリングホイールに最も近い座席)の正面付近に設けられ、乗員がステアリングホイールの間隙から、或いはステアリングホイール越しに視認可能な位置に設置される。また、表示装置は、インストルメントパネルの中央に設置されてもよい。また、表示装置は、HUD(Head Up Display)であってもよい。HUDは、運転席前方のフロントウインドシールドの一部に画像を投影することで、運転席に着座した乗員の眼に虚像を視認させる。表示装置は、後述するHMI制御部180によって生成される画像を表示する。
車両センサ40は、自車両Mの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、自車両Mの向きを検出する方位センサ等を含む。また、車両センサ40には、自車両Mの操舵角(操舵輪の角度でもよいし、ステアリングホイールの操作角度でもよい)を検出する操舵角センサが含まれてよい。また、車両センサ40には、自車両Mの位置を取得する位置センサが含まれてよい。位置センサは、例えば、GPS(Global Positioning System)装置から位置情報(経度・緯度情報)を取得するセンサである。また、位置センサは、例えば、自車両Mに搭載されるナビゲーション装置(不図示)のGNSS(Global Navigation Satellite System)受信機を用いて位置情報を取得するセンサであってもよい。
運転操作子80は、例えば、ステアリングホイール、アクセルペダル、ブレーキペダル、シフトレバー、その他の操作子を含む。操作子は、必ずしも環状である必要は無く、異形ステアリングホイールやジョイスティック、ボタン等の形態であってもよい。運転操作子80には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、車両制御装置100、もしくは、走行駆動力出力装置200、ブレーキ装置210、およびステアリング装置220のうち一部または全部に出力される。
車両制御装置100は、例えば、画像処理部120と、判定部140と、運転制御部160と、HMI制御部180と、記憶部190とを備える。画像処理部120と、運転制御部160と、HMI制御部180とは、それぞれ、例えば、CPU(Central Processing Unit)等のハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。また、これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)等のハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め車両制御装置100のHDDやフラッシュメモリ等の記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD-ROM等の着脱可能な記憶媒体に格納されており、記憶媒体(非一過性の記憶媒体)がドライブ装置に装着されることで車両制御装置100のHDDやフラッシュメモリにインストールされてもよい。画像処理部120は、「画像処理装置」の一例である。HMI制御部180は、「出力制御部」の一例である。
記憶部190は、上記の各種記憶装置、或いはSSD(Solid State Drive)、EEPROM(Electrically Erasable Programmable Read Only Memory)、ROM(Read Only Memory)、またはRAM(Random Access Memory)等により実現されてもよい。記憶部190は、例えば、カメラ10により撮像された画像(時系列周辺画像)、地図情報、プログラム、その他の各種情報等が格納される。地図情報は、例えば、道路形状(道路幅、曲率、勾配)や車線数、交差点、車線(レーン)の中央の情報あるいは車線の境界(区画線)の情報等を含んでいてもよい。また、地図情報は、POI(Point Of Interest)情報、交通規制情報、住所情報(住所・郵便番号)、施設情報、電話番号情報等を含んでいてもよい。
画像処理部120は、カメラ10により撮像された画像(以下、カメラ画像を称する)に対して所定の画像処理等を行う。カメラ画像は、「第1画像」の一例である。カメラ画像に含まれる撮像範囲は、図2に示す撮像範囲IR1~IR5の少なくとも一つである。画像処理部120は、例えば、取得部122と、設定部124と、変換部126と、物標検出部128とを備える。
取得部122は、カメラ10により時系列に撮像されたカメラ画像を取得する。取得部122は、取得したカメラ画像を記憶部190等に記憶させてよい。
設定部124は、取得部122により取得されたカメラ画像のうち、一以上の着目位置を設定する。着目位置とは、例えば魚眼カメラで撮影された画像に対し、変換部126により画像変換が行われる場合の変換中心点である。変換中心点とは、例えば、カメラ画像上における自車両Mからの方向および自車両Mからの距離に対応付けられる点である。また、変換中心点は、例えば、自車両Mの状況(例えば、自車両Mの位置や、速度、角速度等の挙動)や、自車両Mが走行する道路の形状等に応じて設定されてよい。
また、設定部124は、カメラ画像のうち一以上の着目位置を設定し、設定した各着目位置に対する一以上の部分画像を設定する。部分画像の形状は、例えば矩形であるが、他の形状(例えば円形等)であってもよい。また、部分画像領域の大きさは、固定でもよく、設定した着目位置の位置や方向に応じて可変に設定されてもよい。設定した着目位置の位置や方向に応じて部分画像領域の大きさが設定される場合、例えば、設定部124は、設定した着目位置付近で他車両が検出されたと仮定した場合に想定される他車両の大きさに基づいて部分画像領域の大きさが設定される。
また、設定部124は、過去の時刻に撮像されたカメラ画像に対応する部分画像に対する物標検出部128による検出結果と、自車両Mの状況とのうち少なくとも一方に基づいて着目位置を変更する。
変換部126は、例えば取得部122により取得されたカメラ画像のうち、設定部124により設定された変換中心点に基づく部分画像に対して歪み補正処理等の所定の画像処理を行い、歪みを軽減させて正規化させた正規化画像に変換する。正規化画像は、「第2画像」の一例である。変換部126は、例えば、予め用意されたキャリブレーションデータや歪みモデルデータ等を用いて座標変換や補間演算等を行うことで歪み補正を行ってもよく、その他の既知の歪み補正アルゴリズムを用いて部分画像の歪み補正を行ってもよい。歪み補正処理によって、変換中心点より近い位置ほど歪みが軽減され、変換中心点から遠い位置ほど歪みが軽減されないか、歪みが増大される。したがって、設定部124では、カメラ画像のうち、特に着目したい地点(例えば、自車両Mの前方、側方、後方の道路上の地点)に変換中心点を設定することで、その領域について歪みが軽減した補正画像が生成されることになる。
また、変換部126は、複数の着目位置に対応付けられた部分画像に対する複数の正規化画像を合成してもよい。この場合、各部分画像(各着目位置)の撮像範囲の中心からの距離や角度(言い換えると、自車両Mからの距離や自車両Mの正面方向からの角度)が異なるため、補正結果に差が生じる場合がある。そのため、変換部126は、これらの誤差を調整するための変換(例えば、画像サイズや解像度、距離に応じた拡大、縮小等の調整を行うための変換)を行ってもよい。これにより、より物標検出に適した正規化画像を生成することができる。
物標検出部128は、変換部126により変換された正規化画像を用いて、自車両Mの周辺(周囲)の物標を検出する。例えば、物標検出部128は、正規化画像に含まれる自車両Mの周辺の物標の位置(相対位置)、速度(相対速度)等を認識する。物標には、例えば、他車両(例えば、自車両Mから所定距離以内に存在する周辺車両)、歩行者、自転車、道路構造物等の物体が含まれる。道路構造物には、例えば、道路標識や交通信号機、縁石、中央分離帯、ガードレール、フェンス、壁、踏切等が含まれる。物標の位置は、例えば、自車両Mの代表点(重心や駆動軸中心など)を原点とした絶対座標上の位置として認識され、制御に使用される。物標の位置は、その物標の重心やコーナー等の代表点で表されてもよいし、表現された領域で表されてもよい。物標の「状態」とは、例えば物標が他車両である場合には、他車両の加速度やジャーク、あるいは「行動状態」(例えば車線変更をしている、またはしようとしているか否か)を含んでもよい。また、物標には、自車両Mが走行する道路に含まれる各車線を区画する道路区画線(以下、区画線と称する)や自車両Mの走行車線が含まれてよい。また、物標検出部128は、自車両Mおよび他車両の挙動に基づき他車両が対向車両(対向移動体の一例)であるか否かを判定してもよい。
例えば、物標検出部128は、正規化画像に対して画像解析を行い、画像に含まれる物標ごとの特徴情報(例えば、色、大きさ、形状等に基づく特徴情報)を取得し、取得した特徴情報と、予め決められた物標の特徴情報とのマッチング処理により、画像に含まれる物標を検出する。また、物標の検出には、例えば、人工知能(AI)や機械学習による判定処理等が含まれてもよい。このように、歪みが軽減された正規化画像を用いて物標検出を行うため、より精度よく各種物体、標識等を検出することができる。また、実施形態では、部分画像に対する変換処理や物標検出を行うため、魚眼カメラの撮影範囲全体を用いる場合と比較して、より迅速な物標検出を行うことができる。
判定部140は、画像処理部120の処理結果に基づいて、自車両Mの周辺に自車両Mの運転制御(運転支援)が必要な物標が存在するか否かを判定する。例えば、判定部140は、画像処理部120により検出された物標の位置および速度と、車両センサ40から得られる自車両Mの位置および速度等に基づいて、物標と自車両Mとの相対距離や相対速度を導出し、導出した情報に基づいて自車両Mと物標とが将来接触する可能性があるか否かを判定する。以下、一例として、物標が他車両であるものとして説明する。
例えば、判定部140は、車両センサ40等により検出される自車両Mの位置、速度と、物標検出部128により検出される他車両の他車両の位置、速度に基づいて、自車両Mと他車両の相対位置や相対速度を取得する。そして、判定部140は、自車両Mと車線L2を走行する他車両M1との相対位置(相対距離)および相対速度を用いて接触余裕時間TTC(Time To Collision)を導出し、導出した接触余裕時間TTCが閾値未満であるか否かを判定する。接触余裕時間TTCは、例えば、相対距離から相対速度を除算することで算出される値である。接触余裕時間TTCは、例えば固定値であってもよく、自車両Mの速度VMや他車両の速度、道路状況等によって設定される可変値であってもよい。
接触余裕時間TTCが閾値未満である場合、判定部140は、自車両Mと他車両とが接触する可能性があると判定し、閾値以上である場合に接触する可能性がないと判定する。
運転制御部160は、判定部140により自車両Mと他車両とが接触する可能性があると判定された場合に、自車両Mの操舵および速度のうち一方または双方を制御して、接触を回避するために自車両Mの走行を制御する。例えば、運転制御部160は、ブレーキ装置210を制御して自車両Mを急停止させる制御、または、走行駆動力出力装置200を制御して自車両Mを急加速させる制御等の回避制御を実行する。また、運転制御部160は、急停止または急加速に代えて(または加えて)、ステアリング装置220を制御して操舵制御により他車両から離れる方向に自車両Mを移動させる回避制御を実行してもよい。
また、運転制御部160は、上述した制御に加えて、物標検出部128による検出結果に基づいて、例えば、ACC(Adaptive Cruise Control)やLKAS(Lane Keeping Assist System)、ALC(Auto Lane Changing)等のような運転者が自車両Mを走行させる際に行う運転操作を支援する運転支援制御を行ってもよい。
HMI制御部180は、HMI30により、乗員に所定の情報を通知したり、乗員の操作によってHMI30により受け付けられた情報を取得する。例えば、乗員に通知する所定の情報には、例えば、自車両Mの状態に関する情報や運転制御に関する情報等の自車両Mの走行に関連のある情報が含まれる。自車両Mの状態に関する情報には、例えば、自車両Mの速度、エンジン回転数、シフト位置等が含まれる。また、所定の情報には、物標と接触する可能性があることを警告するための情報や、接触を回避するための運転操作を促す情報が含まれてもよい。また、所定の情報には、テレビ番組、DVD等の記憶媒体に記憶されたコンテンツ(例えば、映画)等の自車両Mの運転制御に関連しない情報が含まれてもよい。
例えば、HMI制御部180は、上述した所定の情報を含む画像を生成し、生成した画像をHMI30の表示装置に表示させてもよく、所定の情報を示す音声を生成し、生成した音声をHMI30のスピーカから出力させてもよい。
走行駆動力出力装置200は、車両が走行するための走行駆動力(トルク)を駆動輪に出力する。走行駆動力出力装置200は、例えば、内燃機関、電動機、および変速機等の組み合わせと、これらを制御するECU(Electronic Control Unit)とを備える。ECUは、運転制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、上記の構成を制御する。
ブレーキ装置210は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキECUとを備える。ブレーキECUは、運転制御部160から入力される情報、或いは運転操作子80から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置210は、運転操作子80に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置210は、上記説明した構成に限らず、運転制御部160から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。
ステアリング装置220は、例えば、ステアリングECUと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングECUは、運転制御部160から入力される情報、或いは運転操作子80から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。
[画像処理部の機能]
以下、画像処理部120の機能について具体的に説明する。図3は、画像処理部120の機能について説明するための図である。図3の例では、車線(レーン)L1~L4からなる道路RD1を示している。車線L1、L2は、同一方向(図中X軸方向)に走行可能な車線であり、車線L3、L4は、車線L1、L2の対向車線である。図3において、車線L1は区画線RL1およびRL2により区画され、車線L2は区画線RL2およびRL3により区画され、車線L3は区画線RL3およびRL4により区画され、車線L4は区画線RL4およびRL5により区画されている。また、図3の例において、自車両Mは、車線L2の延伸方向に沿って速度VMで走行し、自車両Mの基準位置(例えば、前端部)が地点P1に到達しているものとする。
以下、画像処理部120の機能について具体的に説明する。図3は、画像処理部120の機能について説明するための図である。図3の例では、車線(レーン)L1~L4からなる道路RD1を示している。車線L1、L2は、同一方向(図中X軸方向)に走行可能な車線であり、車線L3、L4は、車線L1、L2の対向車線である。図3において、車線L1は区画線RL1およびRL2により区画され、車線L2は区画線RL2およびRL3により区画され、車線L3は区画線RL3およびRL4により区画され、車線L4は区画線RL4およびRL5により区画されている。また、図3の例において、自車両Mは、車線L2の延伸方向に沿って速度VMで走行し、自車両Mの基準位置(例えば、前端部)が地点P1に到達しているものとする。
取得部122は、カメラ10により撮像されたカメラ画像を取得する。設定部124は、取得部122により取得された画像のうち、変換部126により画像変換を行う一以上の着目位置を設定する。以下では、説明の便宜上、自車両Mの右側に取り付けられた魚眼カメラにより撮影された撮像範囲IR2を基準に説明する。設定部124は、図3に示すように、撮像範囲IR2に対して、自車両Mから見て右前方、右側方、右後方の3つの着目位置TP10~TP30を設定する。なお、着目位置の数や角度については、これに限定されない。着目位置は、例えば、車両センサ40から得られる自車両Mの挙動(例えば、速度や角速度)に基づいて設定されてもよく、これに代えて(または加えて)、車両センサ40から得られる自車両Mの位置情報に基づいて記憶部190に記憶した地図情報を参照して得られる自車両Mが走行する道路の形状に基づいて設定されてよい。図3の例では、自車両Mの走行車線L2よりも右側の車線上に着目位置TP10~TP30が設定されている。
また、設定部124は、着目位置TP10~TP30を中心に部分画像A10~A30を設定する。
変換部126は、設定部124により設定された部分画像A10~A30に対して、画像の歪み補正処理等の所定の画像処理行って正規化画像に変換する。なお、魚眼カメラにより撮像されたカメラ画像は、撮像範囲IR2の中心C2からの距離が離れるほど歪が大きくなるため、各部分画像A10~A30も中心C2からの距離および方向(角度)よって歪み度合が異なる。したがって、変換部126は、撮影範囲IR2の中心C2からの距離および方向に応じて歪みの補正度合を調整してもよい。また、変換部126は、部分画像A10~A30に対して歪み補正処理を行った画像を合成して正規化画像に変換する。
物標検出部128は、変換部126により変換された正規化画像を用いて、画像内に存在する物標を検出する。また、物標検出部128は、物標が検出された場合に、その物標が、自車両Mが走行中の車線L2を逸脱する可能性がある物標であるか否かを判定してもよい。自車両Mが車線L2を逸脱する可能性がある物標とは、例えば、自車両Mに接近している他車両である。他車両が自車両Mに接近している場合には、自車両Mは、他車両との接触を回避するため、車線変更等により車線を逸脱する可能性があるからである。また、自車両Mが車線L2を逸脱する可能性を発生がある物標には、例えば、自車両Mの前方の走行車線に進入してきた物体等が含まれる。また、物標検出部128は、正規化画像から物標が検出された場合に、物標の状況(例えば、位置や速度、進行方向等)の挙動を検出する。
また、設定部124は、過去の画像フレーム(例えば、時系列の直前または数フレーム前の画像フレーム)から得られた正規化画像に対する物標検出部128の検出結果と、自車両Mの状況とのうち少なくとも一方に基づいて着目位置を変更する。
図4は、着目位置を変更することについて説明するための図である。なお、以下では、着目位置TP10を用いて説明するが、他の着目位置についても同様の処理を行ってよい。例えば、物標検出部128により物標が検出されない場合、設定部124は、図4に示すように、過去の着目位置TP10よりも、自車両Mから見て所定距離D1以上離れた着目位置TP11を、新たな着目位置として設定する。なお、着目位置TP11は、例えば、自車両Mの走行車線L2の隣接車線L3付近(車線L3から所定距離以内)の位置である。また、着目位置TP11は、例えばカメラ画像により撮影範囲に含まれる車線のうち、自車両Mら最も遠い車線(例えば、車線L4)付近の位置であってもよく、物標検出部128により検出可能な車線のうち、最も遠い車線付近の位置であってもよい。例えば、前回の着目位置TP10が車線(例えば車線L3)上の位置である場合、設定部124は、同一車線上またはその車線よりも自車両Mから離れた車線で、自車両Mから見てその位置よりも遠方の位置に着目位置TP11が設定される。遠方の位置とは、例えば、カメラ画像を基準にすると、前回の位置よりも上方側の位置である。所定距離D1は、自車両Mの状況や道路形状等に基づいて可変に設定されてもよく、固定値でもよい。また、所定の距離D1は、物標検出部128による検出処理の回数に応じて段階的に距離が長くなるように設定されてもよい。また、設定部124は、着目位置TP11を中心とした部分画像A11を設定する。
なお、設定部124は、着目位置TP11を過去の着目位置TP10から変更するのではなく、着目位置TP11を追加してもよい。これにより、変換部126は、次の変換時には、前回の部分画像A10から部分画像A11に変更して画像変換を行うことで、遠方の歪み補正の精度を向上させて、より早期に遠方の物標を検出することができる。
また、設定部124は、物標検出部128により所定の物標が検出された場合には、着目位置の変更を行わない。所定の物標とは、例えば、自車両Mに接近する車両であり、より具体的には対向車両である。対向車両は、自車両Mに接近している他車両の一例であり、その挙動によって自車両Mが走行車線を逸脱する可能性がある物標の一例である。図5は、対向車両が検出された場合の変換中心位置の設定について説明するための図である。図5の例では、図4と比較して、自車両Mが走行する車線L2の対向車線である車線L4を延伸方向に向かって速度Vm1で走行する他車両M1が存在する点で相違する。
物標検出部128は、部分画像A10に対応する正規化画像から他車両M1を検出する。そのため、設定部124は、次の着目位置の設定において、着目位置TP10の変更を行わない。これにより、次回の物標検出時においても同じ着目位置TP10により変換された画像を用いて他車両m1を検出することができ、他車両m1をより確実に追跡することができる。なお、その他の着目位置TP20、TP30に対応する部分画像には物標が検出されていないため、設定部124は、着目位置TP20、TP30に対して、現在位置よりも遠方の位置に変更する処理を行ってよい。
なお、設定部124は、自車両Mの状況(位置、挙動)や他車両m1の状況(位置、挙動)に応じて、着目位置を水平方向に移動したり、近付けたりしてもよい。この場合、設定部124は、自車両Mと他車両m1の将来の位置と挙動から、他車両m1が部分画像の中心となるように着目位置を設定する。これにより、より確実に他車両m1を検出することができる。また、設定部124は、自車両Mの右折または左折動作、その他車線変更などの方位変更動作により、自車両Mの角速度が所定角度以上である場合に、着目位置を、自車両Mの角速度に応じて水平方向に移動させてよい。この場合、設定部124は、自車両Mが右折するのであれば、右折先の道路付近に着目位置が位置付けられるように、角速度に応じて着目位置を変更(水平移動)する。これにより、右左折先の道路上の物標をより迅速かつ確実に検出することができる。
このように、設定部124は、過去のカメラ画像から設定された部分画像に所定の物標が検出されない場合の着目位置を、過去のカメラ画像から設定された部分画像から物標が検出された場合の着目位置よりも所定距離以上離れた位置に設定することで、遠方の物標をより迅速且つ確実に検出することができる。なお、設定部124は、遠方の着目位置に基づく部分画像に物標が検出された場合に、着目位置を元の位置(初期位置)に戻してもよく、自車両Mや他車両の挙動に基づいて着目位置を段階的に自車両M付近に近づけてもよい。
運転制御部160は、画像処理部120による処理結果に基づいて、自車両Mと物標とが接触しないように、自車両Mの操舵または速度のうち、一方または双方を制御する走行制御が実行される。
HMI制御部180は、例えば、着目領域や部分画像領域に関する情報、物標検出結果、運転制御に関する情報等を、HMI30に出力させる。これにより、自車両Mによる制御内容をより正確に乗員に把握させることができる。
[処理フロー]
次に、実施形態の車両制御装置100よって実行される処理の流れについて説明する。なお、以下のフローチャートの処理は、車両システム1によって実行される処理を含むものとし、所定のタイミングで繰り返し実行されてよい。
次に、実施形態の車両制御装置100よって実行される処理の流れについて説明する。なお、以下のフローチャートの処理は、車両システム1によって実行される処理を含むものとし、所定のタイミングで繰り返し実行されてよい。
図6は、車両制御装置100よって実行される処理の流れの一例を示すフローチャートである。図6の例において、車両システム1は、魚眼カメラを含むカメラ10で自車両Mの周辺を撮像する(ステップS100)。次に、車両制御装置100の画像処理部120は、撮像された画像を取得して所定の画像処理を実行する(ステップS200)。次に、判定部140は、画像処理部120の処理結果に基づいて、自車両Mの周辺に自車両Mの運転制御(運転支援)が必要な物標が存在するか否かを判定する(ステップS300)。運転制御が必要な物標が存在すると判定された場合、運転制御部160は、例えば、物標の状況と自車両Mの状況とに基づく運転制御(例えば、接触回避制御等)を実行する(ステップS400)。これにより、本フローチャートの処理は終了する。また、ステップS300の処理において、運転制御が必要な物標が存在しないと判定された場合、本フローチャートの処理は終了する。
図7は、実施形態に係る画像処理の流れの一例を示すフローチャートである。なお、図7の例は、上述したステップS200の処理に相当するものである。図7の例において、取得部122は、魚眼カメラで撮像されたカメラ画像を取得する(ステップS210)。次に、設定部124は、カメラ画像から一以上の着目位置を設定する(ステップS220)。次に、設定部124は、設定された着目位置を基準に部分画像を設定する(ステップS230)。次に、変換部126は、設定された部分画像に対して歪み補正等の画像処理を行い、正規化画像に画像変換する(ステップS240)。次に、物標検出部128は、正規化画像に基づいて物標検出処理を行う(ステップS250)。これにより、本フローチャートの処理は終了する。
図8は、着目位置の設定処理の一例を示すフローチャートである。図8の例は、上述したステップS220の処理に相当するものである。また、図8の例では、処理の最初の着目位置の設定により基準の着目位置が既に設定されているものとする。図8の例において、設定部124は、前回の画像フレームにおける物標検出処理において、物標が検出されたか否かを判定する(ステップS222)。物標が検出されたと判定した場合、設定部124は、検出された物標は、対向車両か否かを判定する(ステップS224)。対向車両であると判定した場合、現在の着目位置を変更しない(同じ着目位置を設定する)(ステップS226)。また、ステップS222の処理において、物標が検出されたと判定した場合、またはステップS224の処理において、対向車両でないと判定された場合、設定部124は、現在の着目位置よりも所定距離以上遠方に着目位置を設定する(ステップS228)。これにより、本フローチャートの処理を終了する。
以上の通り説明した実施形態によれば、画像処理部120(画像処理装置の一例)において、移動体に搭載されたカメラ(撮像部の一例)により時系列に撮像された第1画像を取得する取得部122と、第1画像のうち、移動体の位置を基準とした一以上の着目位置を設定する設定部124と、設定部124により設定された着目位置に基づいて設定される部分画像を第2画像に変換する変換部126と、変換部126により変換された第2画像に基づいて移動体の周囲の物標を検出する物標検出部128と、を備え、設定部124は、物標検出部128による検出結果と、移動体の状況とのうち少なくとも一方に基づいて着目位置を変更することにより、カメラ画像に対して、より適切な画像処理を行うことができる。
また、実施形態によれば、魚眼カメラにより撮影される広範な撮像画像であっても、着目位置に基づいて部分画像を抽出して、画像変換(例えば、歪み補正)や、物標検出を行うため、より迅速且つ高精度に物標検出を行うことができる。したがって、魚眼カメラから得られる広範な撮像画像を、運転支援や自動運転等の運転制御のための物標検出処理や、接触判定処理等に有効に活用することができ、処理の信頼性をより向上させることができる。
上記説明した実施形態は、以下のように表現することができる。
コンピュータによって読み込み可能な命令を格納する記憶媒体と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより、
移動体に搭載された撮像部により時系列に撮像された第1画像を取得し、
前記第1画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定し、
設定された前記着目位置に基づいて設定される部分画像を第2画像に変換し、
変換された前記第2画像に基づいて前記移動体の周囲の物標を検出し、
検出された結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する、
画像処理装置。
コンピュータによって読み込み可能な命令を格納する記憶媒体と、
前記記憶媒体に接続されたプロセッサと、を備え、
前記プロセッサは、前記コンピュータによって読み込み可能な命令を実行することにより、
移動体に搭載された撮像部により時系列に撮像された第1画像を取得し、
前記第1画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定し、
設定された前記着目位置に基づいて設定される部分画像を第2画像に変換し、
変換された前記第2画像に基づいて前記移動体の周囲の物標を検出し、
検出された結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する、
画像処理装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…車両システム、10…カメラ、30…HMI、40…車両センサ、80…運転操作子、100…車両制御装置、120…画像処理部、122…取得部、124…設定部、126…変換部、128…物標検出部、140…判定部、160…運転制御部、180…HMI制御部、190…記憶部、200…走行駆動力出力装置、210…ブレーキ装置、220…ステアリング装置、M…自車両
Claims (11)
- 移動体に搭載された撮像部により時系列に撮像された第1画像を取得する取得部と、
前記第1画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定する設定部と、
前記設定部により設定された着目位置に基づいて設定される部分画像を第2画像に変換する変換部と、
前記変換部により変換された第2画像に基づいて前記移動体の周囲の物標を検出する物標検出部と、を備え、
前記設定部は、前記物標検出部による検出結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する、
画像処理装置。 - 前記設定部は、前記撮像部により撮像された過去の第1画像に基づく前記第2画像に所定の物標が検出されてない場合に、前記着目位置を、前記第2画像から物標が検出された場合の着目位置よりも所定距離以上遠方の位置に変更する、
請求項1に記載の画像処理装置。 - 前記設定部は、前記撮像部により撮像された過去の第1画像に基づく前記第2画像に所定の物標が検出された場合に、前記着目位置を変更しない、
請求項1または2に記載の画像処理装置。 - 前記所定の物標は、前記移動体に対向して走行する対向移動体を含む、
請求項3に記載の画像処理装置。 - 前記設定部は、前記移動体の角速度が所定角度以上である場合に、前記着目位置を、前記角速度に応じて水平方向に移動させる、
請求項1から4のうち何れか1項に記載の画像処理装置。 - 前記所定距離以上遠方の位置は、前記移動体が走行するレーンに隣接するレーンから所定距離以内の位置を含む、
請求項2に記載の画像処理装置。 - 前記所定距離以上遠方の位置は、前記物標検出部によって検出可能なレーンのうち、前記移動体から最も遠いレーンから所定距離以内の位置を含む、
請求項2に記載の画像処理装置。 - 前記物標は、前記移動体が走行中のレーンを逸脱する可能性がある物標である、
請求項1から7のうち何れか1項に記載の画像処理装置。 - 請求項1から請求項8のうち何れか1項に記載された画像処理装置と、
前記画像処理装置による処理結果に基づいて、前記移動体の操舵または速度のうち、一方または双方を制御する運転制御部と、
を備える、移動体制御装置。 - コンピュータが、
移動体に搭載された撮像部により時系列に撮像された第1画像を取得し、
前記第1画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定し、
設定された前記着目位置に基づいて設定される部分画像を第2画像に変換し、
変換された前記第2画像に基づいて前記移動体の周囲の物標を検出し、
検出された結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更する、
画像処理方法。 - コンピュータに、
移動体に搭載された撮像部により時系列に撮像された第1画像を取得させ、
前記第1画像のうち、前記移動体の位置を基準とした一以上の着目位置を設定させ、
設定された前記着目位置に基づいて設定される部分画像を第2画像に変換させ、
変換された前記第2画像に基づいて前記移動体の周囲の物標を検出させ、
検出された結果と、前記移動体の状況とのうち少なくとも一方に基づいて前記着目位置を変更させる、
プログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022012904A JP2023111192A (ja) | 2022-01-31 | 2022-01-31 | 画像処理装置、移動体制御装置、画像処理方法、およびプログラム |
CN202310078295.3A CN116524016A (zh) | 2022-01-31 | 2023-01-19 | 图像处理装置及方法、移动体控制装置、以及存储介质 |
US18/099,996 US20230245468A1 (en) | 2022-01-31 | 2023-01-23 | Image processing device, mobile object control device, image processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022012904A JP2023111192A (ja) | 2022-01-31 | 2022-01-31 | 画像処理装置、移動体制御装置、画像処理方法、およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023111192A true JP2023111192A (ja) | 2023-08-10 |
Family
ID=87401818
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022012904A Pending JP2023111192A (ja) | 2022-01-31 | 2022-01-31 | 画像処理装置、移動体制御装置、画像処理方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230245468A1 (ja) |
JP (1) | JP2023111192A (ja) |
CN (1) | CN116524016A (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3084631B1 (fr) * | 2018-07-31 | 2021-01-08 | Valeo Schalter & Sensoren Gmbh | Assistance a la conduite pour le controle longitudinal et/ou lateral d'un vehicule automobile |
-
2022
- 2022-01-31 JP JP2022012904A patent/JP2023111192A/ja active Pending
-
2023
- 2023-01-19 CN CN202310078295.3A patent/CN116524016A/zh active Pending
- 2023-01-23 US US18/099,996 patent/US20230245468A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230245468A1 (en) | 2023-08-03 |
CN116524016A (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11851090B2 (en) | Vehicle control apparatus, vehicle control method, and storage medium | |
JP6429217B2 (ja) | 経路生成装置、経路生成方法、および経路生成プログラム | |
JP7177862B2 (ja) | 位置決定装置 | |
US11548443B2 (en) | Display system, display method, and program for indicating a peripheral situation of a vehicle | |
US11287879B2 (en) | Display control device, display control method, and program for display based on travel conditions | |
EP3400556A1 (en) | Systems and methods for estimating future paths | |
US11701967B2 (en) | Display control device, display control method, and storage medium | |
US11137264B2 (en) | Display system, display method, and storage medium | |
US20230245468A1 (en) | Image processing device, mobile object control device, image processing method, and storage medium | |
WO2020250526A1 (ja) | 外部環境認識装置 | |
US20230242145A1 (en) | Mobile object control device, mobile object control method, and storage medium | |
US11830254B2 (en) | Outside environment recognition device | |
CN115195599A (zh) | 控制装置、控制装置的动作方法以及存储介质 | |
JP7139300B2 (ja) | 認識装置、認識方法、およびプログラム | |
US20220318960A1 (en) | Image processing apparatus, image processing method, vehicle control apparatus, and storage medium | |
US20220319191A1 (en) | Control device and control method for mobile object, and storage medium | |
JP7505443B2 (ja) | 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム | |
JP7461989B2 (ja) | 運転支援装置、運転支援方法、およびプログラム | |
CN112639808B (zh) | 用于机动车辆的纵向和/或横向控制的驾驶辅助 | |
JP7298323B2 (ja) | 外部環境認識装置 | |
WO2024069689A1 (ja) | 運転支援方法及び運転支援装置 | |
JP2022148585A (ja) | 車両並びにその制御装置及び制御方法 |