JP7006635B2 - 制御装置、移動体、および学習方法 - Google Patents
制御装置、移動体、および学習方法 Download PDFInfo
- Publication number
- JP7006635B2 JP7006635B2 JP2019035577A JP2019035577A JP7006635B2 JP 7006635 B2 JP7006635 B2 JP 7006635B2 JP 2019035577 A JP2019035577 A JP 2019035577A JP 2019035577 A JP2019035577 A JP 2019035577A JP 7006635 B2 JP7006635 B2 JP 7006635B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- control
- normalized
- unit
- control device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000012545 processing Methods 0.000 claims description 65
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 21
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 8
- 230000000052 comparative effect Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000001932 seasonal effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000004378 air conditioning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Description
この構成によれば、画像処理部は、場所や所定の条件ごとに正規化した画像を出力せずに、複数の入力画像を畳み込んだ特徴マップを出力する。制御学習部は、特徴マップと、任意の環境で取得された所定の制御とを関連付ける。特徴マップFMは、逆畳み込みによって正規化された画像を取得するために必要な情報を含んでいる。これにより、画像処理部は、特徴マップに逆畳み込みを行う処理を省略した上で、実質的に、正規化された画像と所定の制御とを関連付けられる。そのため、複数の画像の取得から関連付けの学習までの処理を高速化できる。
本態様の制御装置は、自律走行車両の制御に用いられる。車両が走行する環境は、天候、日照条件、および季節の変化などによって、同じ撮影範囲であっても見え方が異なる。この構成によれば、制御学習部から出力された所定の制御に基づいて、自律走行車両を制御する。これにより、制御装置は、環境の変化に影響されずに、同じ場所で、同じ制御を出力できる。
異なる複数の環境で取得される画像は、車両において画像を取得する画像取得部の位置によって変化する。また、例えば、操舵角に基づく所定の制御は、車両が進行する経路情報によって変化する。この構成によれば、画像取得部により取得される画像の範囲が特定され、車両の経路情報を用いた所定の制御が学習されるため、制御学習部は、車両に対してより適した自律走行支援を行う所定の制御を出力できる。
この構成によれば、表示部に表示された出力結果を確認することにより、画像の正規化および所定の制御の出力が、適切に行われているかを確認できる。
この構成によれば、画像処理部は、天候と、日照条件と、季節との内の少なくとも1つについて、画像における見え方の違いを正規化する。これにより、環境の違いによって生じる制御の相違を抑制できる。
この構成によれば、雨が降っていて画像が不明確な場合や、晴天時の影の有無により明確な画像を取得できない場合と比較して、画像全体の明るさが均一の画像を得ることができる。これにより、制御学習部は、異なる複数の環境で取得された画像を、正規化された明確な画像に変換できる。
この構成によれば、画像取得部により取得された移動体の前方画像を、制御装置の入力画像とすることにより、制御指令部は、制御学習部を用いて、前方画像が正規化された画像に対応する制御指令を求めることができる。これにより、異なる環境において見え方の違いを排除した精度の高い移動体の制御を実行できる。
この構成によれば、画像処理工程では、複数の画像における見え方の違いが正規化され、かつ、正規化された複数の画像から正規化のための変換関数が学習される。制御学習工程では、環境の変化によって異なる複数の画像ではなく、正規化された画像と、教示画像に関連付けられた所定の制御との関連付けが行われる。環境の違いによる見え方が取り除かれた状態で、同じ所定の制御が正規化された画像に関連付けられるため、見え方の違いを原因とする誤った制御が出力されずに済む。また、異なる環境に応じた複数の画像ではなく、正規化された画像に所定の制御が関連付けられるため、画像に対するラベル付けの手間が軽減され、開発コストを抑制できる。
図1は、本発明の一実施形態としての制御装置100を備える車両1の概略図である。車両(移動体)1は、運転手による手動運転と、車両1に搭載されたコンピュータによる自動運転と、を実行できる自動車である。図1に示されるように、車両1は、車両1の前方の画像を取得する2つのカメラ(画像取得部)2,3と、各種画像を表示するモニタ5(表示部)と、運転手などからの入力を受け付ける操作部4と、カメラ2,3により取得された取得画像および操作部4が受け付けた入力によって各種制御を実行する制御装置100と、を備えている。
図6は、第2実施形態における制御装置100aを備える車両1aの概略図である。図6に示されるように、第2実施形態の記憶部50aは、画像処理部14aにより作成される特徴マップFMを記憶する変換記憶部53を備えている。第2実施形態では、第1実施形態と異なり、画像処理部14aは、複数の画像に対して畳み込み(Convolution)を行った特徴マップFM(Feature Map)を作成する。また、制御学習部15aは、特徴マップFMと、運転制御との関連付けを学習する。第2実施形態では、第1実施形態と異なる構成および制御について説明し、第1実施形態と同じ構成および制御についての説明を省略する。
x1=G1(E2(x2))・・・(1)
画像処理部14aは、複数の画像を用いて、ネットワークE1,E2,G1,G2の学習と、復元により得られた画像か取得画像かを判別する識別器D1,D2の学習と、を敵対的に行う。これにより、画像処理部14aは、ラベルなし画像IM2が入力される度に、特徴マップFMを作成し、ネットワークE1,E2,G1,G2および識別器D1,D2を更新する。
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
上記第1実施形態の制御装置100および第2実施形態の制御装置100aは、画像処理部14,14aおよび制御学習部15,15aの構成に加えて、運転制御部13や記憶部50,50aを備えていたが、制御装置100,100aの構成については、種々変形可能である。例えば、変形例の制御装置は、画像処理部14および制御学習部15を備えていれば、運転制御部13および記憶部50を備えていなくてもよい。画像処理部14は、ラベルなし画像に対して、環境に依存する見え方の違いを正規化するための変換関数を学習すればよい。制御学習部15は、画像処理部14により正規化された画像と、教示画像に関連付けられた運転制御との関連付けを学習すればよく、カメラ2,3の位置情報や車両1の経路情報を用いなくてもよい。
2,3…カメラ(画像取得部)
4…操作部
5…モニタ(表示部)
10,10a…CPU
11…通信部
12…位置特定部
13…運転制御部(制御指令部)
14,14a…画像処理部
15,15a…制御学習部
20…ROM
30…RAM
41…操作パネル
42…マイク
50,50a…記憶部
51…地図データベース
52…画像データベース
53…変換記憶部
100,100a…制御装置
FM,z…特徴マップ
D1,D2…識別器
E1,E2,G1,G2…ネットワーク(変換関数)
DC1,DC2,DC2a…運転制御
IM1…教示画像
IM2…ラベル付き画像
IM3…正規化された画像
X1,X2…画像群
x1,x2…画像
Z…潜在共有空間
Claims (7)
- 制御装置であって、
異なる複数の環境で取得された複数の画像における環境に依存する見え方の違いを正規化する画像処理部と、
前記画像処理部により正規化された画像を用いて、前記正規化された画像と、前記複数の画像を取得する画像取得部を有する自律走行車両の制御情報である所定の制御情報との関連付けを学習する制御学習部と、を備え、
前記画像処理部は、前記所定の制御情報に関連付けられていない前記複数の画像を用いて、前記違いを正規化するための特徴マップへと畳み込み、かつ、前記特徴マップから逆畳み込みをして前記正規化された画像を出力するための変換関数を学習し、
前記制御学習部は、
任意の環境下で前記自律走行車両の手動運転時に取得された画像を前記変換関数を用いて正規化された手動運転時画像と、前記手動運転時画像に関連付けられた前記自律走行車両の手動運転時に取得された前記所定の制御情報と、前記画像取得部の位置情報と、前記自律走行車両の経路情報とを用いて、前記自律走行車両の自動運転時に取得される画像と前記所定の制御情報との関連付けを学習する、制御装置。 - 請求項1に記載の制御装置であって、
前記画像処理部は、学習した前記変換関数を用いて、前記複数の画像に対して畳み込みを行うことにより前記特徴マップを出力し、
前記制御学習部は、前記正規化された画像に代えて前記特徴マップと、前記所定の制御情報との関連付けを学習する、制御装置。 - 請求項1または請求項2に記載の制御装置であって、さらに、
画像を表示する表示部を備え、
前記制御学習部は、前記正規化された画像と、前記所定の制御情報との関連付けの出力結果を前記表示部に表示させる、制御装置。 - 請求項1から請求項3までのいずれか一項に記載の制御装置であって、
前記異なる複数の環境は、天候と、日照条件と、季節との内の少なくとも1つが異なる環境である、制御装置。 - 請求項4に記載の制御装置であって、
前記画像処理部は、前記正規化された画像として、天候が曇りとした画像を出力する、制御装置。 - 移動体であって、
請求項1から請求項5までのいずれか一項に記載の制御装置と、
前記移動体の前方画像を少なくとも取得する画像取得部と、
前記制御装置を用いて、前記移動体の走行を制御するための制御指令を出力する制御指令部と、を備え、
前記制御指令部は、
前記画像取得部により取得された前記前方画像を、前記制御装置の前記画像処理部によって正規化し、
前記正規化された画像と、前記制御装置の前記制御学習部とを用いて、前記正規化された画像に対応する前記制御指令を求める、移動体。 - 学習方法であって、
異なる複数の環境で取得された複数の画像における環境に依存する見え方の違いを正規化し、かつ、正規化された複数の画像を用いて、前記違いを正規化するための特徴マップへと畳み込み、かつ、前記特徴マップから逆畳み込みをして前記正規化された画像を出力するための変換関数を学習する画像処理工程と、
任意の環境で前記複数の画像を取得する画像取得部を有する自律走行車両の手動運転時に取得された画像を前記変換関数を用いて正規化された手動運転時画像と、前記手動運転時画像に関連付けられた前記自律走行車両の手動運転時に取得された所定の制御情報と、前記画像取得部の位置情報と、前記自律走行車両の経路情報とを用いて、前記自律走行車両の自動運転時に取得される画像と前記所定の制御情報との関連付けを学習する制御学習工程と、を備える、学習方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019035577A JP7006635B2 (ja) | 2019-02-28 | 2019-02-28 | 制御装置、移動体、および学習方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019035577A JP7006635B2 (ja) | 2019-02-28 | 2019-02-28 | 制御装置、移動体、および学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020140446A JP2020140446A (ja) | 2020-09-03 |
JP7006635B2 true JP7006635B2 (ja) | 2022-01-24 |
Family
ID=72265074
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019035577A Active JP7006635B2 (ja) | 2019-02-28 | 2019-02-28 | 制御装置、移動体、および学習方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7006635B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7447922B2 (ja) * | 2021-03-22 | 2024-03-12 | 株式会社リコー | 表示システム、通信システム、表示制御方法およびプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007279818A (ja) | 2006-04-03 | 2007-10-25 | Nissan Motor Co Ltd | 車両用交通標示検出装置、自動車及び車両用交通標示検出方法 |
JP2018097766A (ja) | 2016-12-16 | 2018-06-21 | クラリオン株式会社 | 画像処理装置、外界認識装置 |
-
2019
- 2019-02-28 JP JP2019035577A patent/JP7006635B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007279818A (ja) | 2006-04-03 | 2007-10-25 | Nissan Motor Co Ltd | 車両用交通標示検出装置、自動車及び車両用交通標示検出方法 |
JP2018097766A (ja) | 2016-12-16 | 2018-06-21 | クラリオン株式会社 | 画像処理装置、外界認識装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020140446A (ja) | 2020-09-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110070139B (zh) | 面向自动驾驶环境感知的小样本在环学习***和方法 | |
US11794749B2 (en) | Methods, systems, and media for determining characteristics of roads | |
US20180342165A1 (en) | Deploying human-driven vehicles for autonomous vehicle routing and localization map updating | |
US20200242408A1 (en) | Learning method and learning device of recurrent neural network for autonomous driving safety check for changing driving mode between autonomous driving mode and manual driving mode, and testing method and testing device using them | |
WO2020158219A1 (en) | Pothole detection system | |
DE112019001657T5 (de) | Signalverarbeitungsvorrichtung und signalverarbeitungsverfahren, programm und mobiler körper | |
US20200334861A1 (en) | Methods and Systems to Compensate for Vehicle Calibration Errors | |
US20190220775A1 (en) | Information processing apparatus, system, information processing method, and non-transitory computer-readable storage medium | |
CN111627054A (zh) | 用于预测高置信度密集点云的深度补全误差地图的方法和装置 | |
WO2019082670A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
US11521375B2 (en) | Method and system for improved object marking in sensor data | |
CN111009150A (zh) | 一种开放式停车场管理方法、***及后台服务器 | |
JP7006635B2 (ja) | 制御装置、移動体、および学習方法 | |
US11580695B2 (en) | Method for a sensor-based and memory-based representation of a surroundings, display device and vehicle having the display device | |
US20230215151A1 (en) | Information processing apparatus, information processing method, information processing system, and a program | |
CN113642372B (zh) | 在自主驾驶车辆的操作中基于灰度图像识别对象的方法和*** | |
US11106940B2 (en) | Training of a classifier | |
CN111191690B (zh) | 基于迁移学习的空间目标自主识别方法、电子设备和存储介质 | |
CN111923824A (zh) | 一种车辆远光灯控制方法、装置、车辆及存储介质 | |
WO2020236080A1 (en) | Dimming light that is interfering with an observer's vision | |
EP4177732A1 (en) | Information processing device, information processing method, information processing system, and program | |
US20230133867A1 (en) | Domain adaptation of autonomous vehicle sensor data | |
CN114612895A (zh) | 非标准道路场景中的道路检测方法及装置 | |
CN114863300A (zh) | 一种最短路径生成方法及装置 | |
CN112115741B (zh) | 一种泊车库位检测方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200721 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210511 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7006635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |