JP7025912B2 - 車載環境認識装置 - Google Patents
車載環境認識装置 Download PDFInfo
- Publication number
- JP7025912B2 JP7025912B2 JP2017238238A JP2017238238A JP7025912B2 JP 7025912 B2 JP7025912 B2 JP 7025912B2 JP 2017238238 A JP2017238238 A JP 2017238238A JP 2017238238 A JP2017238238 A JP 2017238238A JP 7025912 B2 JP7025912 B2 JP 7025912B2
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- distance
- vehicle
- monocular
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 54
- 230000000007 visual effect Effects 0.000 claims description 52
- 238000005259 measurement Methods 0.000 claims description 45
- 238000001514 detection method Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 31
- 238000000691 measurement method Methods 0.000 claims description 21
- 238000005206 flow analysis Methods 0.000 claims description 2
- 239000007787 solid Substances 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 238000004364 calculation method Methods 0.000 description 13
- 238000012937 correction Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 230000003449 preventive effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000005211 surface analysis Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
図1に車載環境認識装置1の構成図を示す。左右に平行に並べられた左カメラ100と右カメラ110の共通視野領域を、ステレオカメラとして利用し、車載周囲環境を認識する。しかしながら、図9のステレオ視と単眼視の1つの画像状況を説明する図に示すように、左右に設置したステレオカメラの場合には共通視野領域を最大限にしようとしても、かならず左右の端に単眼視領域が残る。また本実施例では、特に重要となる自車両前方は測距性能の高いステレオ視として割り当て、反対に飛び出し検知などの交差点などでは重要となるが一般的な走行シーンにおいては活躍の少ない広角領域は多少性能が低下するが単眼視でカバーすることで、同じ解像度のCMOSとレンズを利用していても、より広角を検知できるカメラ配置としている。
図2にステレオ視差画像生成部の構成図を示す。ステレオ視差画像生成部200では、複数台のカメラで撮像された画像を利用してステレオマッチングすることで視差画像を生成する。露光調整部210では、左右の露光条件が同じになるように、右カメラを基準画像として、右画像の輝度を解析することで時フレームの露光条件が適切になるようにフィードバック制御を実施する。更に右画像によりもとめられたカメラ露光条件を左カメラにも適用することで左右の露光条件が同一となるように設定する。左カメラ100と右カメラ110から取り込んだ画像に対し、同一の撮像物体ができる限り左右カメラで同じように見えるように、感度の補正を実施する。左右感度差やレンズ周囲の感度が低下するシェーディング、欠陥画素などの感度に関する、キャリブレーションを事前に実施しておき、リアルタイムの画像処理時にはその補正値を参照した上で、補正のみを感度補正部220で実施する。
図3に路面断面形状推定部の構成図を示す。路面断面形状推定部400では、路面の高さを横から解析したような路面の断面形状を推定する。まず、処理領域決定部410では、自車両の進行路を推定し、図10内の(a)に示すように左右タイヤが進行すると予測される進行路を処理領域とする。次に、視差横投票部420では処理領域内となる視差画像を解析する。図10内の(a)の左処理領域に矢印があるように、視差画像を矢印の方向に解析し、視差値を図10内の(b)に示すように頻度分布のグラフに投票する。自車進行路に絞ることで、路肩や溝などの路面以外の凹凸が極力含まれないような処理領域とする。また、自車進行路の代わりに自車走行レーンを処理領域としても同等の効果が得られる。
図4にステレオ視立体物検知部の構成図を示す。ステレオ視立体物検知部500では、ステレオ視で得られた視差画像から立体物抽出を実施、得られた立体物が何であるかを特定するために、歩行者、2輪車、車両などの識別を実施、種類ごとに識別することで、立体物の種別を特定する。更に、得られた立体物毎に、立体物を含む矩形内を更に詳細解析することで、位置と速度推定を実施する。
図5にハイブリット立体物検知部の構成図を示す。ハイブリット立体物検知部600では、図9に示したようなステレオカメラのステレオ視領域と、単眼視領域が、1つの画像上で横にある図9の下に示すような、ステレオ視と単眼視が1つの画像状況で融合されたような座標系にあることを活用し、ステレオ視の情報を単眼視に活用するハイブリットな立体物の検知を実施する。
図6にハイブリット移動体抽出部の構成図を示す。フロー生成部611では、オプティカルフローと一般的に呼ばれる画像上の動きを解析する処理を実施する。結果としては、図13内の(a)に示すような画像上で特徴的な点(コーナー)の時間的な移動方向を解析することができる。図13内の(a)に示す結果の矢印の向きが画像上での動きの解析結果を示す。説明用の図のため、図上では、特徴がない場所にも矢印を引いているが実際の路面であれば、模様が存在するために、特徴的な点の密度は少ないものの、フローの解析は可能である。
図7にハイブリット位置・速度推定部の構成図を示す。ハイブリット位置・速度推定部650においては、ハイブリット移動体抽出部610において抽出された立体物、移動体、更にその中で、単眼歩行者検知部620、単眼2輪車検知部630、単眼車両検知部640で、識別された物体に対して、優先度の比較的高いものから位置速度の推定を実施する。ここではステレオ視の領域の3次元位置を活用できる場合、ステレオ視の領域で視差が非常に少ない、もしくは至近距離に障害物がいて路面が見えないような状況においては単眼視の測距に切り替えるなどを、実施して、最終的な位置、速度の推定を実施する。
図8に警報制御部の構成図を示す。警報制御部700では、ステレオ視立体物検知部500で検知された結果と、ハイブリット立体物検知部600で検知された立体物結果に応じて、安全性や利便性を向上するために警報、制御を実施する。
図19に処理フローチャートを示す。
S01:まず、ステレオカメラで左右画像を撮像する。
S02:ステレオ視用に視差画像を生成する。
S03:路面断面形状の処理領域を決定するため、及び移動体抽出の背景の動きをキャンセルするために自車両の挙動の推定を実施する。
S04:上記、自車両の挙動推定結果に応じた路面断面形状推定のための処理領域を推定する。
S05:設定された処理領域内の視差を横方向に投票し、最頻値を利用することで、路面断面形状の観測値を奥行き別に入手する。
S06:得られた観測値の時系列データを利用し、自車挙動により補正することで、時系列の観測値を重ね合わせた密な観測値を得ることができる。これらを利用し、更に路面断面形状のカーブフィッテイングを行うことで、ノイズ除去した路面断面形状の推定を実施する。
S07:生成された視差画像を利用して、立体物の抽出を実施する。
S08:ステレオ視領域における歩行者、2輪車、車両の各種識別を実施する。
S09:ステレオ視を活かした視差画像から奥行きを推定し、この奥行きに基づいた横位置、及び時系列データを活用して速度を推定している。
S10:左右カメラで撮像されたカメラのうちステレオ視領域でない画像領域を基準に切り出して単眼処理用の画像を準備する。ただしステレオ視領域と単眼視領域の境界については、ある程度重なり領域を考慮したマージンを設定する。
S17:単眼視画像を利用して画像上の特徴的な点(コーナー)の時系列画像のトラッキングをすることで、画像の移動方向をフローとして解析する。更に、自車挙動と背景全てが路面であると仮定した画像上の動きを推定する。背景の路面はステレオ視で計算された路面断面形状の結果を利用することで、カメラ高さや俯角の誤差による影響を抑制した3次元位置を利用した移動予測を実施することが可能となる。
S18:移動体として抽出された物体のアスペクト比などを利用することで明らかに大きさの異なる物体は識別対象から除いた上で、各種識別(歩行者、2輪車、車両)の識別を実施する。
S19:上記識別された物体や、識別されなかったが移動体もしくは立体物として抽出された物体に対して、自車挙動に基づく優先順位をつけた上で、位置速度の推定を実施する。
この際に、単純な単眼視に基づく、立体物の足元位置からカメラ高さとカメラ姿勢を利用した三角測量により物体の奥行きを推定する。更に、この位置の時系列変化から、速度を推定する。
S20:更に、ここでは、立体物、移動体の位置、速度、自車挙動の予測に基づいて警報や制御の対象となる優先順位付けを行う。この際には、位置と速度の算出方式に伴う精度差や、算出方式が同じであっても、信頼度の違いなどを利用することで最終的にどの対象物に対する警報や制御の実施を決定する。
S21:上記優先度に基づいて、警報や制御の実施を行う。
100 左カメラ
110 右カメラ
200 ステレオ視差画像生成部
210 露光調整部
220 感度補正部
230 幾何補正部
240 マッチング部
250 ノイズ除去部
300 左右単眼画像生成部
400 路面断面形状推定部
410 処理領域決定部
420 視差横投票部
430 ノイズ除去部
440 時系列部
450 断面形状推定部
500 ステレオ視立体物検知部
510 視差画の立体物抽出部
520 歩行者検知部
530 2輪車検知部
540 車両検知部
550 位置速度推定部
600 ハイブリット立体物検知部
610 ハイブリット移動体抽出部
611 フロー生成部
612 自車挙動推定部
613 背景の仮想3次元位置推定部
614 背景フローキャンセル部
615 移動体候補抽出部
620 単眼歩行者検知部
630 単眼2輪車検知部
640 単眼車両検知部
650 ハイブリット位置・速度推定部
651 立体物外接矩形探索部
652 単眼視位置速度計算部
653 ハイブリット位置速度計算部
654 位置速度出力部
700 警報制御部
710 優先度・精度推定部
720 警報部
730 制御部
740 ギブアップ部
Claims (11)
- 2つのカメラをセンシングに活用する車載環境認識装置において、
前記2つのカメラ視野はステレオ視領域と単眼視領域を有し、
前記ステレオ視領域の出力結果である視差画像を横検索し、
前記ステレオ視領域における路面距離を推定し、
前記推定された路面距離を前記単眼視領域まで、横方向に拡張して単眼視領域の距離計測を行い、
前記ステレオ視領域における路面距離の推定は、自車走行予測路又は自車走行レーン内を処理領域に設定し、
前記処理領域に凹凸が存在する場合において、所定の閾値未満であれば凹凸をノイズとして除去して路面断面形状を推定し、所定の閾値以上であれば、凹凸が存在する領域の路面断面形状推定を抑制し、ステレオ視による予測を停止、単眼視による距離計測に切り替えることを特徴とする車載環境認識装置。 - 2つのカメラをセンシングに活用する車載環境認識装置において、
前記2つのカメラ視野はステレオ視領域と単眼視領域を有し、
前記ステレオ視領域の出力結果である視差画像を横検索し、
前記ステレオ視領域における路面距離を推定し、
前記推定された路面距離を前記単眼視領域まで、横方向に拡張して単眼視領域の距離計測を行い、
前記推定された路面距離を前記単眼視領域まで、横方向に拡張して単眼視領域の路面移動予測量を算出し、立体物検知に利用し移動体及び/又は立体物を検知することを特徴とする車載環境認識装置。 - 2つのカメラをセンシングに活用する車載環境認識装置において、
前記2つのカメラ視野はステレオ視領域と単眼視領域を有し、
前記ステレオ視領域の出力結果である視差画像を横検索し、
前記ステレオ視領域における路面距離を推定し、
前記推定された路面距離を前記単眼視領域まで、横方向に拡張して単眼視領域の距離計測を行い、
測距精度の異なる複数の位置推定手法を持ち、
その中の1つがステレオ視測距手法であり、
その中の1つが単眼視測距手法であり、
その中の1つが、前記ステレオ視領域の出力結果である視差画像を横検索し、前記ステレオ視領域における路面距離を推定し、前記推定された路面距離を前記単眼視領域まで、横方向に拡張して単眼視領域の距離計測を行うハイブリット測距手法であり、
測距手法別の測距精度を考慮し、対象物を計測した測距手法に応じて警報又は制御内容を変更することを特徴とする車載環境認識装置。 - 請求項2における車載環境認識装置において、
前記ステレオ視領域における路面距離の推定は、
自車走行予測路又は自車走行レーン内を処理領域に設定することを特徴とする車載環境認識装置。 - 請求項3における車載環境認識装置において、
前記ステレオ視領域における路面距離の推定は、
自車走行予測路又は自車走行レーン内を処理領域に設定することを特徴とする車載環境認識装置。 - 請求項4又は5に記載の車載環境認識装置において、
前記処理領域に凹凸が存在する場合において、所定の閾値未満であれば凹凸をノイズとして除去して路面断面形状を推定し、所定の閾値以上であれば、凹凸が存在する領域の路面断面形状推定を抑制し、ステレオ視による予測を停止、単眼視による距離計測に切り替えることを特徴とする車載環境認識装置。 - 請求項3又は5に記載の車載環境認識装置において、
前記推定された路面距離を前記単眼視領域まで、横方向に拡張して単眼視領域の路面移動予測量を算出し、立体物検知に利用し移動体及び/又は立体物を検知することを特徴とする車載環境認識装置。 - 請求項2又は7に記載の車載環境認識装置において、
前記単眼視領域の路面移動予測量を算出し、
画像上の自車挙動による撮像対象の画像上の移動をフロー解析し、
前記推定された路面距離を前記単眼視領域まで、横方向に拡張して利用して、前記フローから路面を仮定した自車挙動による路面移動予測量を減算することで、移動体及び/又は立体物を検知することを特徴とする車載環境認識装置。 - 請求項1から8のいずれか一項に記載の車載環境認識装置において、
ハイブリット立体物検知部において、
自車走行路と異なる高さの領域を判別し、
自車走行路と異なる高さに立つ立体物の測距手法が、単眼視による路面を仮定した三角測量の場合、又は、前記ステレオ視領域の出力結果である視差画像を横検索し、前記ステレオ視領域における路面距離を推定し、前記推定された路面距離を前記単眼視領域まで、横方向に拡張して単眼視領域の距離計測を行うハイブリット測距を活用した場合において、
距離誤差が生じることを予測し、警報、制御又はタイミング調整に利用することを特徴とする車載環境認識装置。 - 請求項9に記載の車載環境認識装置において、
自車走行路と異なる路面高さの路面に立つ立体物の距離が、自車走行路と比べて低い場合には近距離、自車走行路と比べて高い場合には遠距離と判断することを利用して、距離計測結果、警報又は制御タイミングを補正することを特徴とする車載環境認識装置。 - 請求項1から10のいずれか一項に記載の車載環境認識装置において、
前記ステレオ視領域の自車走行路面の距離計測結果を前記単眼視領域の横方向に拡張する際に、ステレオ視領域の一部の路面距離が信頼度が所定値未満の場合において、近距離から遠距離の計測結果を利用して求められたカーブフィッテイングの結果を利用して補間し、横方向に拡張して距離推定することを特徴とする車載環境認識装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017238238A JP7025912B2 (ja) | 2017-12-13 | 2017-12-13 | 車載環境認識装置 |
US16/764,959 US11093763B2 (en) | 2017-12-13 | 2018-12-04 | Onboard environment recognition device |
PCT/JP2018/044482 WO2019116958A1 (ja) | 2017-12-13 | 2018-12-04 | 車載環境認識装置 |
DE112018005656.2T DE112018005656T5 (de) | 2017-12-13 | 2018-12-04 | Bordinterne Umgebungserkennungsvorrichtung |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017238238A JP7025912B2 (ja) | 2017-12-13 | 2017-12-13 | 車載環境認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019106026A JP2019106026A (ja) | 2019-06-27 |
JP7025912B2 true JP7025912B2 (ja) | 2022-02-25 |
Family
ID=66819187
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017238238A Active JP7025912B2 (ja) | 2017-12-13 | 2017-12-13 | 車載環境認識装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11093763B2 (ja) |
JP (1) | JP7025912B2 (ja) |
DE (1) | DE112018005656T5 (ja) |
WO (1) | WO2019116958A1 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018086133A1 (en) * | 2016-11-14 | 2018-05-17 | SZ DJI Technology Co., Ltd. | Methods and systems for selective sensor fusion |
JP7043003B2 (ja) * | 2018-03-29 | 2022-03-29 | 豊田合成株式会社 | 車両用ドア開閉装置 |
WO2019202627A1 (ja) * | 2018-04-16 | 2019-10-24 | 三菱電機株式会社 | 障害物検出装置、障害物検出装置を利用した自動ブレーキ装置、障害物検出方法、および障害物検出方法を利用した自動ブレーキ方法 |
DE102018214959A1 (de) * | 2018-09-04 | 2020-03-05 | Robert Bosch Gmbh | Verfahren zur Auswertung von Sensordaten mit einer erweiterten Objekterkennung |
JP2020160914A (ja) * | 2019-03-27 | 2020-10-01 | 株式会社豊田自動織機 | 物体検出装置 |
JP7151654B2 (ja) | 2019-07-26 | 2022-10-12 | トヨタ自動車株式会社 | 検索装置、学習装置、検索システム、検索プログラム、及び学習プログラム |
JP7385412B2 (ja) * | 2019-09-25 | 2023-11-22 | 株式会社Subaru | 自動運転システム |
JP7484258B2 (ja) * | 2020-03-16 | 2024-05-16 | 株式会社デンソー | 交通システム |
CN111385537B (zh) * | 2020-03-17 | 2021-03-26 | 杭州鸿泉物联网技术股份有限公司 | 渣土车顶盖密闭识别的方法、装置、***和电子设备 |
US11854279B2 (en) * | 2020-05-25 | 2023-12-26 | Subaru Corporation | Vehicle exterior environment recognition apparatus |
JP7383356B2 (ja) * | 2020-06-10 | 2023-11-20 | アルプスアルパイン株式会社 | 障害物検知装置 |
US11961241B2 (en) | 2020-07-07 | 2024-04-16 | Lyft, Inc. | Systems and methods for deriving an agent trajectory based on tracking points within images |
US11961304B2 (en) * | 2020-07-07 | 2024-04-16 | Lyft, Inc. | Systems and methods for deriving an agent trajectory based on multiple image sources |
CN111990930B (zh) * | 2020-08-28 | 2022-05-20 | 北京石头创新科技有限公司 | 一种测距方法、装置、机器人和存储介质 |
JP7499140B2 (ja) * | 2020-10-14 | 2024-06-13 | 日立Astemo株式会社 | 物体認識装置 |
CN112650243B (zh) * | 2020-12-22 | 2023-10-10 | 北京百度网讯科技有限公司 | 车辆控制方法、装置、电子设备和自动驾驶车辆 |
JP7436400B2 (ja) | 2021-01-15 | 2024-02-21 | 日立Astemo株式会社 | ステレオ画像処理装置及び画像補正手段 |
US20220284619A1 (en) * | 2021-03-02 | 2022-09-08 | Lyft, Inc. | Offline optimization of sensor data for agent trajectories |
JP2022182335A (ja) * | 2021-05-28 | 2022-12-08 | 株式会社Subaru | 車両の車外撮像装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010079582A (ja) | 2008-09-25 | 2010-04-08 | Toshiba Corp | 物体を検出する装置、方法及びプログラム |
JP2017096777A (ja) | 2015-11-25 | 2017-06-01 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
WO2017159056A1 (ja) | 2016-03-17 | 2017-09-21 | 株式会社リコー | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6014440B2 (ja) | 2012-09-26 | 2016-10-25 | 日立オートモティブシステムズ株式会社 | 移動物体認識装置 |
-
2017
- 2017-12-13 JP JP2017238238A patent/JP7025912B2/ja active Active
-
2018
- 2018-12-04 WO PCT/JP2018/044482 patent/WO2019116958A1/ja active Application Filing
- 2018-12-04 US US16/764,959 patent/US11093763B2/en active Active
- 2018-12-04 DE DE112018005656.2T patent/DE112018005656T5/de active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010079582A (ja) | 2008-09-25 | 2010-04-08 | Toshiba Corp | 物体を検出する装置、方法及びプログラム |
JP2017096777A (ja) | 2015-11-25 | 2017-06-01 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
WO2017159056A1 (ja) | 2016-03-17 | 2017-09-21 | 株式会社リコー | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11093763B2 (en) | 2021-08-17 |
WO2019116958A1 (ja) | 2019-06-20 |
JP2019106026A (ja) | 2019-06-27 |
DE112018005656T5 (de) | 2020-07-09 |
US20200349366A1 (en) | 2020-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7025912B2 (ja) | 車載環境認識装置 | |
US10452931B2 (en) | Processing method for distinguishing a three dimensional object from a two dimensional object using a vehicular system | |
US10685449B2 (en) | Surrounding environment recognition device for moving body | |
US10580155B2 (en) | Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium | |
CN108243623B (zh) | 基于双目立体视觉的汽车防碰撞预警方法和*** | |
JP6424263B2 (ja) | 大型車両の移動オブジェクト衝突警告装置および方法 | |
WO2016129403A1 (ja) | 物体検知装置 | |
US20050232463A1 (en) | Method and apparatus for detecting a presence prior to collision | |
WO2017158958A1 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
US20170262734A1 (en) | Image processing apparatus, imaging device, moving object device control system, and image processing method | |
US11064177B2 (en) | Image processing apparatus, imaging apparatus, mobile device control system, image processing method, and recording medium | |
JP6458651B2 (ja) | 路面標示検出装置及び路面標示検出方法 | |
KR102104005B1 (ko) | 자동차의 도로변의 물체를 검출하는 방법, 컴퓨팅 장치, 운전자 보조 시스템 및 자동차 | |
EP2833096B1 (en) | Method for determining a current distance and/or a current speed of a target object based on a reference point in a camera image, camera system and motor vehicle | |
US20090052742A1 (en) | Image processing apparatus and method thereof | |
JP6769477B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP6816401B2 (ja) | 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム | |
JP7119317B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム | |
Lion et al. | Smart speed bump detection and estimation with kinect | |
EP3410345B1 (en) | Information processing apparatus and non-transitory recording medium storing thereon a computer program | |
JP2014035560A (ja) | 飛び出し検出装置 | |
JP2007280387A (ja) | 物体移動の検出方法及び検出装置 | |
JP4321410B2 (ja) | 物体検出装置、および方法 | |
JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
JP6812701B2 (ja) | 画像処理装置、移動体機器制御システム、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171215 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200710 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210914 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210917 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20210924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220214 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7025912 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |