JP6431204B2 - 状態予測装置及び状態予測方法 - Google Patents
状態予測装置及び状態予測方法 Download PDFInfo
- Publication number
- JP6431204B2 JP6431204B2 JP2017541735A JP2017541735A JP6431204B2 JP 6431204 B2 JP6431204 B2 JP 6431204B2 JP 2017541735 A JP2017541735 A JP 2017541735A JP 2017541735 A JP2017541735 A JP 2017541735A JP 6431204 B2 JP6431204 B2 JP 6431204B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- observation object
- attribute
- observation
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 230000007613 environmental effect Effects 0.000 claims description 28
- 238000012544 monitoring process Methods 0.000 claims description 20
- 230000008859 change Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 description 86
- 230000001133 acceleration Effects 0.000 description 14
- 230000012010 growth Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 239000002245 particle Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000035784 germination Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000008400 supply water Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Traffic Control Systems (AREA)
- Mechanical Engineering (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
第1実施形態は、状態予測装置を車両に搭載して観測対象物(以下「対象物」と略記する)、例えば前方車両や隣のレーンを走行する車両、対向車、歩行者、自転車の行動を予測する例である。
目的属性:{走行,移動,駐車,停車(停止),乗降,輸送,運搬,牽引,給油,充電,放電}
目標パラメータ{発進地(時間),目的地(時間),経路,経由地(時間),駐車地(時間)}
(道路/レーンの場合)
目的属性:順序付き道路名,{直進 , 左折 , 右折 , 合流 , 分岐 , Uターン}
目標パラメータ:{トポロジー名, 目的 ,目標 , 接続角, レーン数,長さ, 幅員, 曲率 ,勾配 , 等}
第2実施形態は、周辺監視センサとして定点カメラを用い、状態予測の定点観測対象物である作物を定点撮影し、作物の成長観察、例えば作物の成長予測や異常監視、作物生育環境の状態予測や異常監視を行う実施形態である。本実施形態では、作物の成長に伴う形状変化の系列を規定した有限状態系列を適用し、初期状態の作物の形状をモデル化したモデルを用意する。そして状態予測時における画像から作物の形状変化量を算出し、その変化量に応じてモデルを有限状態系列を基に幾何変換させて予測状態を演算してもよい。更に予測と観測の偏差から異常の検知通報や異常原因の推定をすることができる。
14 ・・・CPU
16 ・・・ROM
18 ・・・RAM
20 ・・・ファイルユニット
22 ・・・外部I/F
24 ・・・周辺監視センサ
Claims (6)
- 観測対象物の第1時刻における状態を周辺監視センサにより観測して得た第1センサ情報を取得するセンサ情報取得部と、
前記観測対象物の使用目的又は観測目的を示す目的属性、及び前記観測対象物の状態変化に影響を与える環境要因の使用目的又は観測目的を示す目的属性を格納する目的属性記憶部と、
前記第1センサ情報に基づいて前記観測対象物の種類を識別し、前記目的属性記憶部から当該観測対象物の目的属性を読み出すと共に、前記第1センサ情報に基づいて前記環境要因の種類を識別し、前記目的属性記憶部から当該環境要因の目的属性を読み出す対象物識別部と、
前記観測対象物の種類に対応した、時間経過に伴う複数の状態変化の系列を規定した有限状態系列を記憶する有限状態系列記憶部と、
前記有限状態系列記憶部から前記観測対象物の種類に対応する有限状態系列を複数検索し、前記観測対象物の目的属性及び前記環境要因の目的属性に基づいて、前記複数検索された有限状態系列の選択数を絞り込み、前記観測対象物を観測して得られた観測値を取得し、絞り込んだ有限状態系列を前記観測値に基づいて補正をし、補正後の有限状態系列を状態予測として出力する状態予測部と、
を備えることを特徴とする状態予測装置。 - 請求項1に記載の状態予測装置において、
前記観測対象物の目的属性、及び前記観測対象物の目的属性に規定された各目的を実現するために設定された目標パラメータ情報を格納する目標パラメータ情報記憶部を更に備え、
前記対象物識別部は、前記観測対象物の目的属性に対応する目標パラメータ情報を前記目標パラメータ情報記憶部から読み出し、前記環境要因の目的属性に対応する目標パラメータ情報を前記目標パラメータ情報記憶部から読み出し、
前記状態予測部は、前記観測対象物の目的属性に対応する目標パラメータ情報及び前記環境要因の目的属性に対応する目標パラメータ情報を更に用いて、前記複数検索された有限状態系列の選択数の絞込みを行う、
を備えることを特徴とする状態予測装置。 - 請求項1に記載の状態予測装置において、
前記センサ情報取得部は、前記第1時刻よりも後の第2時刻において前記周辺監視センサが前記観測対象物を観測して得た第2センサ情報を取得し、
前記状態予測部が出力した状態予測と、前記第2センサ情報に含まれる前記観測対象物の状態とのマッチング処理を行うマッチング部を更に備える、
ことを特徴とする状態予測装置。 - 請求項1に記載の状態予測装置において、
前記観測対象物は、車両であり、
前記周辺監視センサは、前記車両に搭載されたカメラである、
ことを特徴とする状態予測装置。 - 請求項1に記載の状態予測装置において、
前記観測対象物は、定点観測対象物であり、
前記周辺監視センサは、前記定点観測対象物を撮像する定点カメラである、
ことを特徴とする状態予測装置。 - 観測対象物の第1時刻における状態を周辺監視センサにより観測して得た第1センサ情報を取得するステップと、
前記第1センサ情報に基づいて前記観測対象物の種類を識別し、前記観測対象物の使用目的又は観測目的を示す目的属性、及び前記観測対象物の状態変化に影響を与える環境要因の使用目的又は観測目的を示す目的属性を格納する目的属性記憶部から当該観測対象物の目的属性を読み出すと共に、前記第1センサ情報に基づいて前記環境要因の種類を識別し、前記目的属性記憶部から当該環境要因の目的属性を読み出すステップと、
前記観測対象物の種類に対応した、時間経過に伴う複数の状態変化の系列を規定した有限状態系列を記憶する有限状態系列記憶部から前記観測対象物の種類に対応する有限状態系列を複数検索し、前記観測対象物の目的属性及び前記環境要因の目的属性に基づいて、前記複数検索された有限状態系列の選択数を絞り込み、前記観測対象物を観測して得られた観測値を取得し、絞り込んだ有限状態系列を前記観測値に基づいて補正をし、絞り込んだ有限状態系列を状態予測として出力するステップと、
を含むことを特徴とする状態予測方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/076934 WO2018051399A1 (ja) | 2016-09-13 | 2016-09-13 | 状態予測装置及び状態予測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018051399A1 JPWO2018051399A1 (ja) | 2018-09-13 |
JP6431204B2 true JP6431204B2 (ja) | 2018-11-28 |
Family
ID=61618696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017541735A Active JP6431204B2 (ja) | 2016-09-13 | 2016-09-13 | 状態予測装置及び状態予測方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10395127B2 (ja) |
EP (1) | EP3324360A4 (ja) |
JP (1) | JP6431204B2 (ja) |
CN (1) | CN109690619A (ja) |
WO (1) | WO2018051399A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11006107B2 (en) | 2017-05-29 | 2021-05-11 | Hitachi Information & Telecommunication Engineering, Ltd. | State prediction control apparatus and state prediction control method |
JP6971187B2 (ja) * | 2018-03-28 | 2021-11-24 | 京セラ株式会社 | 画像処理装置、撮像装置、および移動体 |
US11354406B2 (en) * | 2018-06-28 | 2022-06-07 | Intel Corporation | Physics-based approach for attack detection and localization in closed-loop controls for autonomous vehicles |
KR20210073281A (ko) * | 2019-12-10 | 2021-06-18 | 삼성전자주식회사 | 운동 정보 추정 방법 및 장치 |
JP7378285B2 (ja) * | 2019-12-11 | 2023-11-13 | Eneos株式会社 | セルフ給油管理システム |
US11967106B2 (en) | 2019-12-27 | 2024-04-23 | Motional Ad Llc | Object tracking supporting autonomous vehicle navigation |
CN117434916B (zh) * | 2022-07-15 | 2024-06-11 | 小米汽车科技有限公司 | 车辆功能测试***、方法及存储介质 |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3225264B2 (ja) | 1992-10-27 | 2001-11-05 | ヤンマー農機株式会社 | 収穫装置 |
US5519618A (en) * | 1993-08-02 | 1996-05-21 | Massachusetts Institute Of Technology | Airport surface safety logic |
JP2001268719A (ja) * | 2000-03-23 | 2001-09-28 | Toyota Motor Corp | ハイブリッド車両のバッテリ充電制御装置 |
JP4382597B2 (ja) | 2003-07-10 | 2009-12-16 | 株式会社国際電気通信基礎技術研究所 | 推定装置、推定方法および推定プログラム |
JP4123096B2 (ja) * | 2003-07-24 | 2008-07-23 | 株式会社デンソー | 三次元デジタル地図作成装置および三次元デジタル地図表示システム |
US7804980B2 (en) | 2005-08-24 | 2010-09-28 | Denso Corporation | Environment recognition device |
JP4595759B2 (ja) * | 2005-09-09 | 2010-12-08 | 株式会社デンソー | 環境認識装置 |
JP4921847B2 (ja) | 2006-05-02 | 2012-04-25 | 株式会社豊田中央研究所 | 対象物の三次元位置推定装置 |
US8718838B2 (en) * | 2007-12-14 | 2014-05-06 | The Boeing Company | System and methods for autonomous tracking and surveillance |
US7742623B1 (en) * | 2008-08-04 | 2010-06-22 | Videomining Corporation | Method and system for estimating gaze target, gaze sequence, and gaze map from video |
US8229663B2 (en) * | 2009-02-03 | 2012-07-24 | GM Global Technology Operations LLC | Combined vehicle-to-vehicle communication and object detection sensing |
JP5229912B2 (ja) | 2009-08-21 | 2013-07-03 | 独立行政法人産業技術総合研究所 | 物体認識装置および物体認識方法 |
JP5320331B2 (ja) * | 2010-03-17 | 2013-10-23 | 日立オートモティブシステムズ株式会社 | 車載用環境認識装置及び車載用環境認識システム |
CN102176285B (zh) * | 2011-02-28 | 2013-05-01 | 江苏怡和科技股份有限公司 | 视频流中的车辆行为模式判定方法 |
WO2012153629A1 (ja) * | 2011-05-12 | 2012-11-15 | 株式会社Ihi | 運動予測制御装置と方法 |
EP2562060B1 (en) * | 2011-08-22 | 2014-10-01 | Honda Research Institute Europe GmbH | A method and system for predicting movement behavior of a target traffic object |
JP5838940B2 (ja) | 2012-09-20 | 2016-01-06 | 株式会社デンソー | 画像処理装置及び車両制御システム |
CN104915628B (zh) | 2014-03-14 | 2018-09-25 | 株式会社理光 | 基于车载相机的场景建模进行运动行人预测的方法和装置 |
US9248834B1 (en) * | 2014-10-02 | 2016-02-02 | Google Inc. | Predicting trajectories of objects based on contextual information |
JP6020774B1 (ja) * | 2014-12-01 | 2016-11-02 | 東京電力ホールディングス株式会社 | 再利用可否判定方法、限度見本表示装置、および限度見本表示方法 |
CN104616498B (zh) * | 2015-02-02 | 2017-01-25 | 同济大学 | 基于马尔可夫链和神经网络的交通拥挤状态组合预测方法 |
US10459446B2 (en) * | 2015-02-12 | 2019-10-29 | Hitachi, Ltd. | Autonomous operation verification device and autonomous system |
CN108027974A (zh) * | 2015-09-25 | 2018-05-11 | 株式会社日立信息通信工程 | 图像处理装置以及图像处理方法 |
CN105468530B (zh) * | 2015-12-22 | 2018-03-20 | 武汉工程大学 | 一种基于有限状态机的程序错误检测方法及*** |
US9964952B1 (en) * | 2017-02-02 | 2018-05-08 | Uber Technologies, Inc. | Adaptive vehicle motion control system |
WO2019048034A1 (en) * | 2017-09-06 | 2019-03-14 | Swiss Reinsurance Company Ltd. | ELECTRONIC TRACKING AND RECORDING IDENTIFICATION SYSTEM FOR TELEMATIC DEVICES, AND CORRESPONDING METHOD THEREOF |
US10156850B1 (en) * | 2017-12-08 | 2018-12-18 | Uber Technologies, Inc. | Object motion prediction and vehicle control systems and methods for autonomous vehicles |
-
2016
- 2016-09-13 WO PCT/JP2016/076934 patent/WO2018051399A1/ja active Application Filing
- 2016-09-13 US US15/757,248 patent/US10395127B2/en not_active Expired - Fee Related
- 2016-09-13 JP JP2017541735A patent/JP6431204B2/ja active Active
- 2016-09-13 CN CN201680089158.8A patent/CN109690619A/zh active Pending
- 2016-09-13 EP EP16911784.3A patent/EP3324360A4/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
JPWO2018051399A1 (ja) | 2018-09-13 |
CN109690619A (zh) | 2019-04-26 |
US10395127B2 (en) | 2019-08-27 |
EP3324360A1 (en) | 2018-05-23 |
WO2018051399A1 (ja) | 2018-03-22 |
EP3324360A4 (en) | 2019-05-08 |
US20190138827A1 (en) | 2019-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6431204B2 (ja) | 状態予測装置及び状態予測方法 | |
JP7388971B2 (ja) | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム | |
US9915951B2 (en) | Detection of overhanging objects | |
JP6682833B2 (ja) | 物体認識アルゴリズムの機械学習のためのデータベース構築システム | |
JP2020052694A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
US10553117B1 (en) | System and method for determining lane occupancy of surrounding vehicles | |
CN110389584A (zh) | 用于评估自动驾驶车辆的轨迹候选项的方法 | |
CN108885108B (zh) | 基于操纵难度的u形转弯辅助 | |
US20210389133A1 (en) | Systems and methods for deriving path-prior data using collected trajectories | |
CN110389585A (zh) | 用于自动驾驶车辆的基于学习的速度规划器 | |
JP2020052695A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
JP7027054B2 (ja) | 情報処理装置、車両、情報処理方法およびプログラム | |
JP2022516857A (ja) | 交通参加者の運転マヌーバ予測のための方法 | |
JP7115502B2 (ja) | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 | |
US11702044B2 (en) | Vehicle sensor cleaning and cooling | |
JP2013242615A (ja) | 運転シーン遷移予測装置および車両用推奨運転操作提示装置 | |
JP2018063476A (ja) | 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム | |
JP7226368B2 (ja) | 物体状態識別装置 | |
US20220319322A1 (en) | Drive assist apparatus and drive assist method | |
JP6419260B1 (ja) | 交通情報取得装置、交通情報取得システム、交通情報取得方法、および交通情報取得プログラム | |
CN112985825B (zh) | 用于确定自动驾驶***的乘坐稳定性的方法 | |
US20230177844A1 (en) | Apparatus, method, and computer program for identifying state of lighting | |
JP2021163432A (ja) | 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置 | |
JP2023116424A (ja) | 歩行者の位置を決定する方法及び装置 | |
US20220053124A1 (en) | System and method for processing information from a rotatable camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181101 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6431204 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |