JP2008204102A - 画像処理システム - Google Patents
画像処理システム Download PDFInfo
- Publication number
- JP2008204102A JP2008204102A JP2007038439A JP2007038439A JP2008204102A JP 2008204102 A JP2008204102 A JP 2008204102A JP 2007038439 A JP2007038439 A JP 2007038439A JP 2007038439 A JP2007038439 A JP 2007038439A JP 2008204102 A JP2008204102 A JP 2008204102A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- image processing
- processing system
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】オンライン学習部5で、ドライバの操作データから障害物回避行動を認識し、回避時の画像から距離画像を作成し、この距離画像から教師画像を作成する。そして、作成した教師画像を用いて現在使っている木構造フィルタ列及びストックしている木構造フィルタ列を評価し、その評価結果に応じて、追加学習を行い、また、現在使っている木構造フィルタ列とストックしている木構造フィルタ列とを入れ替える。これにより、人為的な作業を要することなくオンラインで教師データを作成して自律的な学習体系を構築することができ、高精度且つロバストな画像処理が可能となる。
【選択図】図4
Description
木構造状画像フィルタを個体として、ランダムの生成される初期個体集団の各個体の適応度を評価する。適応度は、各個体から出力される画像の目標画像に対する類似度で定義され、以下の(1)式を用いて算出される。尚、各個体は、最適化されるまでの進化過程において、木構造を構成する終端ノードの数が予め設定した最大値(例えば40)を超えないように制限される。
K=1.0−(1/R)・Σf(ΣpW・│O−T│/ΣpW・V)…(1)
但し、Σf:フレーム数fについての総和
Σp:1フレーム中のピクセルについての総和
K:適応度
R:学習セット数(入力画像及び教師画像の組み合わせを学習セットとして
評価に用いたセット数)
O:出力画像
T:目標画像(最適化された処理で出力すべき画像
W:重み画像(目標とする画像内での領域の重要度を表し、
出力画像と目標画像との距離に応じた重みが画素毎に定義された画像)
V:最大階調度
個体の複製のために親集団を選択する過程であり、適応度Kに基づいてルーレット選択や期待値選択、ランキング選択、トーナメント選択等の方法で次世代に残すべき個体の選択及び増殖を行う。本形態の木構造状画像フィルタでは、トーナメント選択により設定数の個体を選択すると共に、適応度Kが最大の個体のエリート保存を同時に行う。
親集団から交叉、突然変異によって子集団を生成する過程であり、選択された個体をペアにして、それぞれの交叉点をランダムに選び、一点交叉、多点交叉、一様交叉等により、それぞれ交叉点に応じた部分木同士で交叉させ、子集団を生成する。生成された子集団は、個体毎に所定の割合でノードの変異、挿入、欠失等が行われ、突然変異による子集団が生成される。
突然変異で生成された各個体は前述した適応度が評価され、エリート保存された前世代の適応度が最大の個体を含めて、最適化の処理終了が判定される。この処理の終了は、実行すべき最大世代数まで達したか否か、予め設定した目標適応度に達した個体があるか否か(目的とする個体が得られたか否か)等によって判定される。
(2)回避時の画像から擬似距離画像を作成する。
(3)擬似距離画像から教師画像及び重み画像を作成する。
(4)作成した教師画像を用いて現在使っている木構造フィルタ列、及びストックしている木構造フィルタ列を評価する。
(5A)評価値の比較結果に応じて、現在使っている木構造フィルタ列とストックしている木構造フィルタ列とを入れ替える。
(5B)評価値の比較結果に応じて、追加学習を行う。
(ii)同じ段階の連続データは、ひとまとめにする。但し、同一段階が1秒以上経過した場合は分離する。
C=Σ│main(i,j)−sub(i,j)│…(2)
(b)ステアリングを切っている場合、オプティカルフローには左右方向にオフセット分が乗るため、ステアリング角(及び車速を用いたヨー角角速度)により、オフセット分の補正を行う。
(J2)その画素ブロックを構成する16個の画素の最大輝度値と最小輝度値との差が予め設定された閾値At以上である。
Z/F=X/λi …(3)
(Z+Vt)/F=X/λi’ …(4)
但し、λ:対象の画像上のずれ距離dを与える係数(d=λ(i’−i))
Z=i’Vt/(i−i’) …(5)
X‘=(X−0.5)×2 …(6)
但し、X :変換前の評価値
X’:変換後の評価値
4 認識処理部
4A 認識器
10 教師画像作成部(教師データ作成部)
20 追加学習部(学習更新部)
30 更新統合部(学習更新部)
Fn 画像フィルタ
Fv フローベクトル(オプティカルフロー)
Claims (10)
- 移動体の外部に存在する物体を検出した画像データを処理し、環境認識を可能とする画像処理システムであって、
上記画像データを認識器で処理し、上記画像データの中から特定の対象を抽出する認識処理部と、
上記物体を回避するための上記移動体の運転情報に基づいて、目標となる教師データをオンラインで作成する教師データ作成部と、
上記認識器を上記教師データを用いた学習により適応的に更新する学習更新部と
を備えることを特徴とする画像処理システム。 - 上記認識器を木構造状画像フィルタにより構成し、該木構造状画像フィルタを遺伝的プログラミングの初期個体として適応的に学習更新することを特徴とする請求項1記載の画像処理システム。
- 上記認識器を、予めオフラインの事前学習で作成して保持する教師データとオンラインで作成した上記教師データとを用いて評価し、評価結果に基づいて上記認識器を適応的に学習更新することを特徴とする請求項1又は2記載の画像処理システム。
- 上記認識器を、過去の結果を含めて累積的に評価し、累積した評価結果に基づいて上記認識器を適応的に学習更新することを特徴とする請求項3記載の画像処理システム。
- 上記運転情報を上記移動体を操縦する人の運転操作データとし、この運転操作データを用いて上記教師データを作成することを特徴とする請求項1〜4の何れか一に記載の画像処理システム。
- 上記運転操作データから認識した危険回避シーンのオプティカルフローを算出し、該オプティカルフローに基づく距離情報を用いて上記教師データを作成することを特徴とする請求項1〜5の何れか一に記載の画像処理システム。
- 上記オプティカルフローを、上記移動体の速度に応じて選択した時系列画像データのマッチング処理によって求めることを特徴とする請求項6記載の画像処理システム。
- 上記オプティカルフローを、上記運転操作データにより補正することを特徴とする請求項6又は7記載の画像処理システム。
- 上記運転操作データを、時系列の操舵角データとすることを特徴とする請求項5〜8の何れか一に記載の画像処理システム。
- 上記操舵角データを、所定の時間間隔及び操舵角で離散化することを特徴とする請求項9記載の画像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007038439A JP4910090B2 (ja) | 2007-02-19 | 2007-02-19 | 画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007038439A JP4910090B2 (ja) | 2007-02-19 | 2007-02-19 | 画像処理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008204102A true JP2008204102A (ja) | 2008-09-04 |
JP4910090B2 JP4910090B2 (ja) | 2012-04-04 |
Family
ID=39781559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007038439A Active JP4910090B2 (ja) | 2007-02-19 | 2007-02-19 | 画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4910090B2 (ja) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010257256A (ja) * | 2009-04-24 | 2010-11-11 | Nikon Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2010257140A (ja) * | 2009-04-23 | 2010-11-11 | Canon Inc | 情報処理装置及び情報処理方法 |
JP2010276556A (ja) * | 2009-05-29 | 2010-12-09 | Toyota Motor Corp | 移動体用スペクトル測定装置 |
JP2011014051A (ja) * | 2009-07-03 | 2011-01-20 | Nikon Corp | 生成装置、生成方法、および生成プログラム |
WO2014033885A1 (ja) * | 2012-08-30 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
JP2015175644A (ja) * | 2014-03-13 | 2015-10-05 | 株式会社リコー | 測距システム、情報処理装置、情報処理方法及びプログラム |
JP6002796B1 (ja) * | 2015-03-30 | 2016-10-05 | エヌ・ティ・ティ・コムウェア株式会社 | 感性評価装置、感性評価方法、およびプログラム |
CN106155082A (zh) * | 2016-07-05 | 2016-11-23 | 北京航空航天大学 | 一种基于光流的无人机仿生智能避障方法 |
JP2017162436A (ja) * | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像処理方法、画像処理装置およびプログラム |
WO2019049365A1 (ja) | 2017-09-11 | 2019-03-14 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
WO2019077854A1 (ja) | 2017-10-17 | 2019-04-25 | 株式会社日立製作所 | オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面 |
WO2019215868A1 (ja) * | 2018-05-10 | 2019-11-14 | 日本電気株式会社 | パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム |
JP2020006759A (ja) * | 2018-07-04 | 2020-01-16 | 株式会社シマノ | 抽出装置、制御システム、通信システム、学習モデル、情報処理装置、コンピュータプログラム、および、記憶媒体 |
CN110969064A (zh) * | 2018-09-30 | 2020-04-07 | 北京四维图新科技股份有限公司 | 一种基于单目视觉的图像检测方法、装置及存储设备 |
JP2020149095A (ja) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | 倒立振子型ロボット |
JP2020149096A (ja) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | 倒立振子型ロボット |
JP2020149097A (ja) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | 倒立振子型ロボット |
JP2021086541A (ja) * | 2019-11-29 | 2021-06-03 | 新東工業株式会社 | ロボット、制御方法、およびプログラム |
US11222267B2 (en) | 2018-12-20 | 2022-01-11 | Fujitsu Limited | Image inspection apparatus, image inspection learning method, and non-transitory computer-readable storage medium for storing image inspection program |
WO2023238751A1 (ja) * | 2022-06-10 | 2023-12-14 | 日立Astemo株式会社 | 環境認識装置および環境認識方法 |
JP7497298B2 (ja) | 2018-12-07 | 2024-06-10 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 |
-
2007
- 2007-02-19 JP JP2007038439A patent/JP4910090B2/ja active Active
Cited By (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010257140A (ja) * | 2009-04-23 | 2010-11-11 | Canon Inc | 情報処理装置及び情報処理方法 |
JP2010257256A (ja) * | 2009-04-24 | 2010-11-11 | Nikon Corp | 画像処理装置、画像処理方法、および画像処理プログラム |
JP2010276556A (ja) * | 2009-05-29 | 2010-12-09 | Toyota Motor Corp | 移動体用スペクトル測定装置 |
JP2011014051A (ja) * | 2009-07-03 | 2011-01-20 | Nikon Corp | 生成装置、生成方法、および生成プログラム |
US9639763B2 (en) | 2012-08-30 | 2017-05-02 | Fujitsu Limited | Image target detecting apparatus and method |
WO2014033885A1 (ja) * | 2012-08-30 | 2014-03-06 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN104584093A (zh) * | 2012-08-30 | 2015-04-29 | 富士通株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
JPWO2014033885A1 (ja) * | 2012-08-30 | 2016-08-08 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN104584093B (zh) * | 2012-08-30 | 2018-02-23 | 富士通株式会社 | 图像处理装置以及图像处理方法 |
JP2015175644A (ja) * | 2014-03-13 | 2015-10-05 | 株式会社リコー | 測距システム、情報処理装置、情報処理方法及びプログラム |
JP6002796B1 (ja) * | 2015-03-30 | 2016-10-05 | エヌ・ティ・ティ・コムウェア株式会社 | 感性評価装置、感性評価方法、およびプログラム |
JP2016191979A (ja) * | 2015-03-30 | 2016-11-10 | エヌ・ティ・ティ・コムウェア株式会社 | 感性評価装置、感性評価方法、およびプログラム |
JP2017162436A (ja) * | 2016-03-11 | 2017-09-14 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 画像処理方法、画像処理装置およびプログラム |
CN106155082A (zh) * | 2016-07-05 | 2016-11-23 | 北京航空航天大学 | 一种基于光流的无人机仿生智能避障方法 |
WO2019049365A1 (ja) | 2017-09-11 | 2019-03-14 | 富士通株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
US11328176B2 (en) | 2017-09-11 | 2022-05-10 | Fujitsu Limited | Information processing apparatus, information processing method, and storage medium |
WO2019077854A1 (ja) | 2017-10-17 | 2019-04-25 | 株式会社日立製作所 | オンライン認識装置、オンライン認識方法、及びそれに用いる設定画面 |
US11586850B2 (en) | 2018-05-10 | 2023-02-21 | Nec Corporation | Pattern recognition system, parameter generation method, and parameter generation program |
JPWO2019215868A1 (ja) * | 2018-05-10 | 2021-04-01 | 日本電気株式会社 | パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム |
WO2019215868A1 (ja) * | 2018-05-10 | 2019-11-14 | 日本電気株式会社 | パターン認識システム、パラメータ生成方法およびパラメータ生成プログラム |
JP7146491B2 (ja) | 2018-07-04 | 2022-10-04 | 株式会社シマノ | 抽出装置、制御システム、通信システム、学習モデル、情報処理装置、コンピュータプログラム、および、記憶媒体 |
JP2020006759A (ja) * | 2018-07-04 | 2020-01-16 | 株式会社シマノ | 抽出装置、制御システム、通信システム、学習モデル、情報処理装置、コンピュータプログラム、および、記憶媒体 |
CN110969064A (zh) * | 2018-09-30 | 2020-04-07 | 北京四维图新科技股份有限公司 | 一种基于单目视觉的图像检测方法、装置及存储设备 |
CN110969064B (zh) * | 2018-09-30 | 2023-10-27 | 北京四维图新科技股份有限公司 | 一种基于单目视觉的图像检测方法、装置及存储设备 |
JP7497298B2 (ja) | 2018-12-07 | 2024-06-10 | ソニーセミコンダクタソリューションズ株式会社 | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 |
US11222267B2 (en) | 2018-12-20 | 2022-01-11 | Fujitsu Limited | Image inspection apparatus, image inspection learning method, and non-transitory computer-readable storage medium for storing image inspection program |
JP7250573B2 (ja) | 2019-03-11 | 2023-04-03 | 本田技研工業株式会社 | 倒立振子型ロボット |
JP2020149095A (ja) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | 倒立振子型ロボット |
JP7250572B2 (ja) | 2019-03-11 | 2023-04-03 | 本田技研工業株式会社 | 倒立振子型ロボット |
JP2020149097A (ja) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | 倒立振子型ロボット |
JP7250571B2 (ja) | 2019-03-11 | 2023-04-03 | 本田技研工業株式会社 | 倒立振子型ロボット |
US11669096B2 (en) | 2019-03-11 | 2023-06-06 | Honda Motor Co., Ltd. | Route determination method |
US11693416B2 (en) | 2019-03-11 | 2023-07-04 | Honda Motor Co., Ltd. | Route determination method |
JP2020149096A (ja) * | 2019-03-11 | 2020-09-17 | 本田技研工業株式会社 | 倒立振子型ロボット |
JP7342664B2 (ja) | 2019-11-29 | 2023-09-12 | 新東工業株式会社 | ロボット、制御方法、およびプログラム |
JP2021086541A (ja) * | 2019-11-29 | 2021-06-03 | 新東工業株式会社 | ロボット、制御方法、およびプログラム |
WO2023238751A1 (ja) * | 2022-06-10 | 2023-12-14 | 日立Astemo株式会社 | 環境認識装置および環境認識方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4910090B2 (ja) | 2012-04-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4910090B2 (ja) | 画像処理システム | |
US11734918B2 (en) | Object identification apparatus, moving body system, object identification method, object identification model learning method, and object identification model learning apparatus | |
CN109300142B (zh) | 基于车辆的对象跟踪方法 | |
JP2008204103A (ja) | 画像認識システム | |
US20080069399A1 (en) | Image Processor | |
JP5180126B2 (ja) | 道路認識装置 | |
JP2009064162A (ja) | 画像認識システム | |
US11024042B2 (en) | Moving object detection apparatus and moving object detection method | |
CN103797529A (zh) | 三维物体检测装置 | |
JP2022509774A (ja) | 複数フレーム意味信号の高速cnn分類 | |
CN112115889B (zh) | 基于视觉的智能车运动目标检测方法 | |
CN110281949B (zh) | 一种自动驾驶统一分层决策方法 | |
Lavrenov et al. | Tool for 3D Gazebo map construction from arbitrary images and laser scans | |
JP2019139420A (ja) | 立体物認識装置、撮像装置および車両 | |
CN114120069B (zh) | 基于方向自注意力的车道线检测***、方法和存储介质 | |
Engel et al. | Deep object tracking on dynamic occupancy grid maps using rnns | |
CN113593035A (zh) | 一种运动控制决策生成方法、装置、电子设备及存储介质 | |
CN111292369A (zh) | 激光雷达的伪点云数据生成方法 | |
CN104508728A (zh) | 三维物体检测装置 | |
JP7122721B2 (ja) | 物体検出システム、物体検出方法及び物体検出プログラム | |
DE112021005708T5 (de) | Verfahren und Systeme zur Verfolgung einer Fahrspur über die Zeit | |
CN114578807A (zh) | 一种无人靶车雷视融合的主动目标检测与避障方法 | |
Asgarian et al. | Fast drivable area detection for autonomous driving with deep learning | |
Qin et al. | Deep imitation learning for autonomous navigation in dynamic pedestrian environments | |
JP2016143364A (ja) | 位置同定装置、位置同定方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091001 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110811 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111115 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111205 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4910090 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150127 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |