JP3394287B2 - 自立走行車 - Google Patents
自立走行車Info
- Publication number
- JP3394287B2 JP3394287B2 JP17247693A JP17247693A JP3394287B2 JP 3394287 B2 JP3394287 B2 JP 3394287B2 JP 17247693 A JP17247693 A JP 17247693A JP 17247693 A JP17247693 A JP 17247693A JP 3394287 B2 JP3394287 B2 JP 3394287B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- self
- neural network
- image
- traveling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013528 artificial neural network Methods 0.000 claims description 34
- 230000005856 abnormality Effects 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 7
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 6
- 229910052782 aluminium Inorganic materials 0.000 description 6
- 230000001276 controlling effect Effects 0.000 description 4
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 229930014626 natural product Natural products 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Feedback Control In General (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
らに詳しくは、ニューラルネットワークを用いて、自動
走行できる自立走行車に関する。
車として、例えば床面に走行ラインとなるアルミテープ
を貼着し、このアルミテープを車体の下部に取付けられ
たホトセンサにより検出しながら走行するものや、超音
波や電磁波などにより進行方向あるいは側部にある特定
対象物との距離あるいはその有無を検知しながら走行す
るものが知られている。また、CCDカメラにより前記
アルミテープ等の画像を取込み、画像処理を行って、ア
ルミテープの位置を算出し、該アルミテープの位置が常
時カメラの一定位置になるように車体の進行方向を制御
するものは知られている。
来のホトセンサーや、CCDカメラを用いた自立走行車
においては、アルミテープ等の検知対象物を走行路に沿
って配置する必要があるという問題点があった。また、
超音波や電磁波などを用いて走行する自立走行車は、進
行方向前面あるいは側部に特定の検知できる物を配置す
る必要があり、不特定の場所を一定の規則に基づいて走
行させることは難しいという問題点があった。また、例
えば自立走行車が目的地に到達して、走行車に搭載され
た荷物を別の搬送装置に移載する際などに、どの搬送装
置に移載すればよいのか、あるいはその搬送装置に故障
などの異常があっても何ら検出する手段はなかった。本
発明はこのような事情に鑑みなされたもので、ニューラ
ルネットワークにより学習された走行路のデータに基づ
いて、搭載されたテレビカメラの画像を判断して適性に
走行し、場合によっては周囲の対象物の異常、故障等を
判断できる自立走行車を提供することを目的とする。
記載の自立走行車は、モータ、エンジン等からなる駆動
手段と、該駆動手段の制御部と、これらが搭載された車
体とを備えた自立走行車において、前記車体にテレビカ
メラを取付け、該テレビカメラによって入力される画像
の2値化画像をモーメント不変量に数値処理し、該モー
メント不変量を予め学習させたニューラルネットワーク
に入力し演算して分類信号を出力させ、該分類信号を基
にし、集音マイク及びこれに接続される音声識別回路を
介して入力される命令信号から前記駆動手段を制御する
手段を前記制御部に備え、走行環境に応じて走行を行う
ようにして構成されている。また、請求項2記載の自立
走行車は、請求項1記載の自立走行車において、走行路
にある特定対象物の画像入力を数値化して、予め学習さ
せたニューラルネットワークを通して、特定対象物の異
常あるいは故障を判断する識別手段が設けられて構成さ
れている。
予め走行手段のニューラルネットワークにより、車体に
搭載されたテレビカメラによって、進行方向前面の画像
を取込み、これを学習させ、分類を行う。なお、この画
像は必ずしも、実際に走行する道路ではなく、仮想化さ
れた道路であっても良い。そして、実際に走行したとき
の進行方向前面の画像をテレビカメラによって取込み、
これを数値化して、走行制御を行う手段を有する制御部
に入力し、前記学習されたニューラルネットワークに入
力して、その状況を判断して分類信号を出力させる。こ
の分類信号を基にして、駆動手段を制御して、車体を特
定の方向に進行、あるいは停止させるようにする。特
に、請求項2記載の自立走行車においては、走行路にあ
る特定対象物の画像入力を数値化して、予め学習させた
ニューラルネットワークを通して、特定対象物や、その
異常あるいは故障を判断する識別手段が設けられて構成
されているので、例えば、前記特定対象物の形状、色等
から特定対象物、あるいはその異常、故障等を認識で
き、これによって特定対象物の選択、あるいはその状況
を判断でき、その後の該自立走行車あるいはその他の装
置等の動作の信号とすることができる。
を具体化した実施例につき説明し、本発明の理解に供す
る。ここに、図1は本発明の一実施例に係る自立走行車
の概略構成図、図2は同自立走行車の制御系統ブロック
図、図3〜図5は同自立走行車の動作説明図である。
る自立走行車10は、例えば、半割卵形の車体パネル1
1を上部に組み付けた車体12の前後端の下部には従動
車輪であるキャスタ13、14が配設されている。車体
12の前後方向の中間部両側にゴムタイヤを装着された
一対の駆動車輪15が設けられ、それぞれの駆動車輪1
5は、車体12の中央部上に配備された図2に示すよう
な右モータ16及び左モータ17によって独立に回転駆
動されるようになっている。
8及び右モータ駆動回路19からなるサーボパック20
と、内部にコンピュータを含む該自立走行車10の制御
部21と、電池からなる電源22と、テレビカメラの一
例である照明付きのCCDカメラ23と、該CCDカメ
ラ23の信号を処理する画像処理装置24とが搭載され
ている。前記CCDカメラ23は、首振り及び上下動移
動可能な駆動装置に搭載されて、その下部に集音マイク
25を備えている。
系統ブロック図を示す。CCDカメラ23の画像信号を
処理する画像処理装置24は、映像信号の画像処理、画
像圧縮、2値化を行うが、まずCCDカメラから取り込
んだ256×256の画素からなる赤、緑、青の3つの
映像信号を、輝度を64段階に分けてそれぞれ記憶す
る。そして、必要な場合は図形移動を行うが、自立走行
車10の走行制御の場合にはテレビカメラは固定し、図
形の全***置から判断するので、必ずしも必要でない。
前記テレビカメラの情報をそのまま処理すると、通常の
パーソナルコンピュータはメモリ容量が不足するので、
必要な場合には画像圧縮(例えば、32×32画素)を
行い、更に赤、緑、青の3つの映像信号の閾値を選択し
て処理信号とする。
て、まず特徴量を演算する。この特徴量は、例えば2値
化された画像そのものあるいはその画像のモーメント不
変量(慣性モーメント、重心の位置、画面を2、4また
は9以上の複数に分割した場合の各々の慣性モーメント
あるいは重心の位置等)をコンピュータで演算し、これ
らをニューラルネットワーク26に入力する。このニュ
ーラルネットワーク26については、先に本発明者が出
願した特開平4−352078号公報及び特願平4−2
44210号(モーメント不変量を用いた天然産物また
はその加工品の形状識別方法)に記載されているよう
に、入力層、中間層及び出力層を有するニューラルネッ
トワークを用い、予め、逆誤差伝播法(バックプロパゲ
ーション法)によって学習させておき、画像あるいはそ
の特徴量を入力して識別する。前記ニューラルネットワ
ークの出力信号の識別を行って、これを基準データと比
較して分類を行い、その出力をファジィコントローラ2
7に入力する。
5が設けられ、音声信号を音声識別回路28によって、
所定の命令信号に変換され、前記制御部21のメモリに
入力され、これによって該自立走行車10が停止、右旋
回、左旋回、加速、減速等が行えるようになっている。
前記ファジィコントローラ27は、予めプログラムされ
たROMを有し、ニューラルネットワークの処理信号
(2値化された信号、画像信号等を含む)を入力して、
各出力に応じた出力を演算し、左モータ駆動回路18、
及び右モータ駆動回路19に与えるようになっている。
なお、ファジィコントローラについては1992年6月
3から5日に Istanbul,TURKIYEで発表された『 “Fuzz
y Control of Mobil Vehicle " IFAC WORKSHOP ON AUTO
MATIC CONTROL FOR QUALITY AND PRODUCTIVITY, ACQP'9
2, Preprints,Vol. 2 』に詳細に実例が記載されてい
る。
代わりに通常のPIDコントローラによって出力を左モ
ータ駆動回路18、及び右モータ駆動回路19に信号を
与えるようにすることも可能である。この場合は、前記
ニューラルネットワーク26の処理信号を、予め設定さ
れたプログラムによって左右のモータの駆動信号に変
え、これを左モータ駆動回路18、及び右モータ駆動回
路19に与え、右モータ16及び左モータ17の何れか
一方、双方あるいは交互に正転あるいは逆転する制御を
行い、自立走行車10の制御を行うことになる。なお、
前記右モータ16及び左モータ17にはそれぞれロータ
リエンコーダ29、30が設けられて、基準回転角度と
比較しながら左右の駆動車輪15の回転状況(回転数、
回転速度)をフィードバックできるようになっている。
び故障の識別回路31に出力されている。該識別回路3
1は内部にニューラルネットワークを有し、前記画像処
理装置の2値化された信号から、特徴量を演算し、これ
を入力層、中間層及び出力層を有し、予め学習されたニ
ューラルネットワークによって判断し、例えば、その形
状、色彩から特定物の異常や、故障を診断するようにな
っている。なお、ここで、搬送装置等の特定物の形状に
ついても、予めニューラルネットワークによって識別
し、該自立走行車10が荷物等を運搬する場合には、受
け継ぎをさせるようにすることも可能である。そして、
この特定物の形状、異常や、故障の状況の診断は、予め
プログラムされた命令、あるいは集音マイク25を通じ
て入力される命令によって行われている。この場合、対
象物の形状、異常あるいは故障を診断する場合には、C
CDカメラ23は診断対象物に向けられる必要があるの
で、CCDカメラ23には昇降及び旋回の駆動装置32
が設けられ、予めプログラムされた命令によって対象物
を追尾するようになっている。なお、前記対象物の追尾
にあっても、例えば、ニューラルネットワークを使用し
て該対象物の形状、模様、色彩等について学習し、該学
習されたニューラルネットワークを用いて対象物の異
常、故障の程度を判断するようにしても良い。そして、
対象物の追尾にあっても、通常のPID制御であっても
良く、ニューラルネットワークとファジィ制御(例え
ば、本出願人が先に出願した特願平4−75141号
『移動物体識別追尾システム』)を用いても良い。以上
のようにして、該自立走行車10に搭載された特定物の
形状、異常及び故障の識別手段が構成されている。
際走行の場合について、図3及び図4を参照しながら説
明する。自立走行車10が、例えば、道路を走行する場
合には、車体12の中央に前方方向を向いて固定配置さ
れたCCDカメラ23によって撮像される画像は、図3
(A)〜(G)に示すようになる。ここで、33は道路
を、34は路肩線を示す。(A)の場合には道路が直線
状であり、(B)の場合には、前方に交差点があると認
識されるので、この状況を予めニューラルネットワーク
によって学習させておく。そして、例えば、交差点があ
る場合には予め入力されたプログラムあるいは集音マイ
クからの命令信号によって、走行方法の決定を行い、そ
のまま直進、減速して左折あるいは右折を行うことにな
る。ここで、直線走行を行う場合には、カメラの中心位
置Pが道路33の決められた位置になるように、左右の
車輪の回転数を計算し、それを駆動機構に出力する。そ
のとき用いる制御はファジィ制御、PID制御のいずれ
でも良い。
(C)、(D)の如くなり、徐々に路肩線の様子が変わ
ることになる。そして、(E)に示すように右折走行が
終了しようとしている場合、(F)に示すように左折走
行が終了しようとしている場合には、これを認識し、直
線走行の準備を始める。この場合であってもカメラの中
心位置を道路の所定の位置(この所定の位置は学習され
た画像によって変化させても良い)にあるように、左右
の車輪を制御することによって円滑に、左折あるいは右
折が完了することになる。即ち、画像処理されて得られ
たパターン(A)の間は直進走行をし、パターン(B)
では交差点前であるので、速度を下げて右折あるいは左
折の準備を行い、パターン(C)、(D)では右折また
は左折走行を続け、パターン(E)、(F)になった
ら、右折あるいは左折が終了するので、直進走行の準備
を行うことになる。各パターンはニューラルネットワー
クで学習済みなので、このようなパターンに似た交叉点
での走行が可能になる。なお、更に三叉路、五叉路等の
場合、路上に障害物等がある場合には予め学習させてお
くことによって、対応する処置を取ることができる。ま
た、曲線走行を行う場合には、(G)に示すような画面
となるが、これを学習済のニューラルネットワークによ
って判断し、曲線走行画面と判断すれば、カメラの中心
位置Pが道路33の画面の決められた位置(例えば、中
央)にくるように左右の車輪の回転数をファジィ制御ま
たはPID制御を用いて計算し、それを左モータ及び右
モータの駆動回路18、19に出力する。以下、同様の
手順を繰り返すことになる。この場合にニューラルネッ
トワークに学習させる対象物としては、カメラ前面に
見える道路全体の形状及びその特徴量、道路上の白線
や黄線の形状、その他(例えば、交通信号マーク、道
路の色、カメラによって見える道路の幅等)となる。
用した場合について説明すると、図4(A)に示すよう
に、壁からなる目標物35を現在停止している位置から
CCDカメラによって撮影し、該撮影した画像データを
処理しながら直線走行によって目標物に到達するように
制御を行い、次に予め学習されたニューラルネットワー
クのUターンのデータによって判断しながら、Uターン
を行い更に予め学習された目標物に向かって直線走行を
行う。また、図4(B)に示すように、目標物36がゴ
ルフボール等の場合には、予め目標物36の画像をニュ
ーラルネットワークによって学習しておき、これに近づ
くように走行することになる。そして、図5に示すよう
に、自立走行車10が道路38上を走行し、目標物37
が見えない場合には、予めCCDカメラによって見える
地点を順次学習しておき、あるいは白線、黄線等のガイ
ドラインをニューラルネットワークに学習させておき、
常時CCDカメラがこれを撮影し、その画像データを学
習されたニューラルネットワークに取り込んで、その出
力から自立走行車の走行を制御して、目標物37に近づ
けることになる。
0の前に他の自動車を走行させ、この自動車をCCDカ
メラによって撮像し、前の自動車が右折、左折しようと
する場合の画像データ、及び前の自動車との距離を示す
自動車の大きさ等の画像を予めニューラルネットワーク
に学習させておき、該学習されたニューラルネットワー
クを用いて、自立走行車10を前の自動車に一定の距離
を設けて追尾することが可能となる。
は、車体にテレビカメラを取付け、該テレビカメラによ
って入力される画像を数値処理し、予め学習させたニュ
ーラルネットワークによって演算して、駆動手段を制御
するようにしているので、目標対象物を逐次判断しなが
ら、走行が行える。従って、農業、工業、病院、福祉あ
るいはレジャー施設等において使用される自走車に、本
発明を適用することによって、周囲の環境が多少変わっ
ても、正確な走行ができる。特に、請求項2記載の自立
走行車においては、走行路にある特定対象物の画像入力
を数値化して、予め学習させたニューラルネットワーク
を通して、特定対象物の形状、その異常あるいは故障を
判断する識別手段が設けられているので、対象物の選
択、故障あるいは異常箇所の識別を高速で行え、これに
よって、特定物との連繋作業あるいは不慮の事故等に対
処できる。
図である。
3:キャスタ、14:キャスタ、15:駆動車輪、1
6:右モータ、17:左モータ、18:左モータ駆動回
路、19:右モータ駆動回路、20:サーボパック、2
1:制御部、22:電池、23:CCDカメラ、24:
画像処理装置、25:集音マイク、26:ニューラルネ
ットワーク、27:ファジィコントローラ、28:音声
識別回路、29:ロータリエンコーダ、30:ロータリ
エンコーダ、31:識別回路、32:駆動装置、33:
道路、34:路肩線、35:目標物、36:目標物、3
7:目標物、38:道路
Claims (2)
- 【請求項1】 モータ、エンジン等からなる駆動手段
と、該駆動手段の制御部と、これらが搭載された車体と
を備えた自立走行車において、 前記車体にテレビカメラを取付け、該テレビカメラによ
って入力される画像の2値化画像をモーメント不変量に
数値処理し、該モーメント不変量を予め学習させたニュ
ーラルネットワークに入力し演算して分類信号を出力さ
せ、該分類信号を基にし、集音マイク及びこれに接続さ
れる音声識別回路を介して入力される命令信号から前記
駆動手段を制御する手段を前記制御部に備え、走行環境
に応じて走行を行うことを特徴とする自立走行車。 - 【請求項2】 前記制御部には、走行路にある特定対象
物の画像入力を数値化して、予め学習させたニューラル
ネットワークを通して、特定対象物、及びその異常ある
いは故障を判断する識別手段が設けられている請求項1
記載の自立走行車。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17247693A JP3394287B2 (ja) | 1993-06-18 | 1993-06-18 | 自立走行車 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP17247693A JP3394287B2 (ja) | 1993-06-18 | 1993-06-18 | 自立走行車 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0778028A JPH0778028A (ja) | 1995-03-20 |
JP3394287B2 true JP3394287B2 (ja) | 2003-04-07 |
Family
ID=15942699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP17247693A Expired - Fee Related JP3394287B2 (ja) | 1993-06-18 | 1993-06-18 | 自立走行車 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3394287B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6319444B2 (ja) * | 2014-07-23 | 2018-05-09 | 株式会社村田製作所 | 手押し車 |
JP6833630B2 (ja) * | 2017-06-22 | 2021-02-24 | 株式会社東芝 | 物体検出装置、物体検出方法およびプログラム |
WO2022030274A1 (ja) * | 2020-08-05 | 2022-02-10 | キヤノン株式会社 | 振動型アクチュエータの制御装置及びそれを有する振動型駆動装置、交換用レンズ、撮像装置、自動ステージ |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0687204B2 (ja) * | 1983-12-28 | 1994-11-02 | 株式会社東芝 | 移動監視ロボツトシステム |
JPS60218121A (ja) * | 1984-04-13 | 1985-10-31 | Toshiba Corp | 移動点検作業ロボツト装置 |
JPH0313563U (ja) * | 1989-06-19 | 1991-02-12 | ||
JPH048639A (ja) * | 1990-04-25 | 1992-01-13 | Mitsubishi Electric Corp | 自動車運転装置 |
DE69130147T2 (de) * | 1990-10-03 | 1999-04-01 | Aisin Seiki K.K., Kariya, Aichi | Automatisches Steuersystem für Seitenführung |
JPH04252308A (ja) * | 1990-10-03 | 1992-09-08 | Aisin Seiki Co Ltd | ニューラル・ネットワークを利用した車両誘導システム |
JP2944774B2 (ja) * | 1991-03-20 | 1999-09-06 | ヤンマー農機株式会社 | 自動走行作業機における画像処理方法 |
JP2758282B2 (ja) * | 1991-05-02 | 1998-05-28 | 三菱電機株式会社 | 画像監視装置 |
JP3344731B2 (ja) * | 1991-05-29 | 2002-11-18 | 政典 杉坂 | 栗の形状識別方法 |
JP3333223B2 (ja) * | 1991-11-29 | 2002-10-15 | マツダ株式会社 | 移動車の走行路認識装置 |
JP3254241B2 (ja) * | 1992-02-25 | 2002-02-04 | 政典 杉坂 | 移動物体識別追尾システム |
JPH06131444A (ja) * | 1992-08-19 | 1994-05-13 | Masanori Sugisaka | モーメント不変量を用いた天然産物またはその加工品の形状識別方法 |
-
1993
- 1993-06-18 JP JP17247693A patent/JP3394287B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH0778028A (ja) | 1995-03-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP0782059B1 (en) | Driverless vehicle system and method of control therefor | |
JP5713623B2 (ja) | ドライバーアシスト方法 | |
EP1281562A3 (en) | Hybrid type vehicle drive control apparatus and method and program thereof | |
CN104797488A (zh) | 驾驶辅助装置 | |
JP7229804B2 (ja) | 画像処理装置及び画像処理方法 | |
KR20070027840A (ko) | 로봇청소기 및 이를 이용한 제어방법 | |
WO1999060545A1 (fr) | Procede et appareil de detection de la deviation d'une automobile par rapport a une voie de circulation | |
JPH03113513A (ja) | 自律走行車両の車速感応操舵制御装置 | |
JP3394287B2 (ja) | 自立走行車 | |
CN206466016U (zh) | 探测车辆周边障碍物的***及车辆 | |
JP2923670B2 (ja) | 自動操舵装置 | |
JPH07306717A (ja) | 自立走行車 | |
JP3740883B2 (ja) | 無人移動台車の制御方法 | |
JP3082507B2 (ja) | 移動体の画像処理装置 | |
JP2819551B2 (ja) | 自律走行車両制御装置 | |
JPH08161698A (ja) | 車載用画像データ生成装置 | |
CN114966222A (zh) | 接触检测装置 | |
JPH05324058A (ja) | 自律走行方式の無人搬送車における方向指示方式 | |
JP2003276542A (ja) | 車両用後方監視装置 | |
JP2002257688A (ja) | 車両検査方法及び車両検査装置 | |
JP3817775B2 (ja) | 車両の交差点通過表示装置 | |
JP2549661B2 (ja) | 自律走行車両制御装置 | |
JPH0937403A (ja) | 電動移動体 | |
JPS62222308A (ja) | 無人車の画像式障害物検出方法 | |
JPH06131040A (ja) | 自律移動ロボット |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090131 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100131 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110131 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110131 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120131 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130131 Year of fee payment: 10 |
|
LAPS | Cancellation because of no payment of annual fees |