JP2728170B2 - Travel control device for mobile vehicles - Google Patents
Travel control device for mobile vehiclesInfo
- Publication number
- JP2728170B2 JP2728170B2 JP63267072A JP26707288A JP2728170B2 JP 2728170 B2 JP2728170 B2 JP 2728170B2 JP 63267072 A JP63267072 A JP 63267072A JP 26707288 A JP26707288 A JP 26707288A JP 2728170 B2 JP2728170 B2 JP 2728170B2
- Authority
- JP
- Japan
- Prior art keywords
- recognition
- control
- traveling
- module
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008859 change Effects 0.000 description 12
- 230000015654 memory Effects 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 230000010365 information processing Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 2
- 101100136064 Mycobacterium tuberculosis (strain ATCC 25618 / H37Rv) PE13 gene Proteins 0.000 description 1
- 101100029138 Mycobacterium tuberculosis (strain ATCC 25618 / H37Rv) PE16 gene Proteins 0.000 description 1
- 101150032799 PE15 gene Proteins 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Description
【発明の詳細な説明】 （産業上の利用分野） 本発明は、例えば無人車等のような移動車の走行を制
御する制御装置に関し、特に、夫々が異なる認識周期を
有する２つの認識系統を組み合わせることにより、走行
路の状況に応じたきめ細かな走行制御における、高速性
と確実性の両立に関する。Description: TECHNICAL FIELD The present invention relates to a control device for controlling the traveling of a mobile vehicle such as an unmanned vehicle, and more particularly, to a control system which has two recognition systems each having a different recognition cycle. Combination of the two is related to achieving both high speed and reliability in fine travel control according to the conditions of the travel path.
（従来の技術） 従来におけるかかる走行制御においては、外部に設け
られた誘導路に沿つて走行制御を行なうのが一般的であ
る。しかしながら、かかる従来の走行制御では、誘導路
があることが前提になつており、誘導路がない場合、誘
導路が変更された場合は走行制御は不能となる。この問
題を解消するものとして、例えば、特開昭61−240307号
のような外界認識走行制御がある。この制御は、外界の
画像を入力する画像入力手段を備え、この入力された画
像から移動車の現在位置及び移動方向を認識し、この認
識に基づいて走行制御するようにしている。この場合の
走行制御は、現時点の自己の位置及び現時点の移動方
向、並びに路端の検出に基づいて走行方向を決定すると
いうものである。(Prior Art) In such conventional traveling control, it is general to perform traveling control along a guideway provided outside. However, such conventional traveling control is based on the premise that there is a taxiway, and if there is no taxiway, the traveling control becomes impossible if the taxiway is changed. In order to solve this problem, for example, there is an external recognition driving control as disclosed in Japanese Patent Application Laid-Open No. 61-240307. This control includes image input means for inputting an image of the outside world, recognizes the current position and moving direction of the moving vehicle from the input image, and controls the traveling based on the recognition. The traveling control in this case is to determine the traveling direction based on the current position of the vehicle, the current traveling direction, and the detection of the roadside.
（発明が解決しようとする課題） 即ち、かかる従来の外界認識に基づく走行制御では、
外界認識認識に基づく判断判断に基づく走行制御等
は一体の単一のアルゴリズムを形成している。即ち、１
つの処理ループを形成している。これは換言すれば、走
行制御は上記のような単一ループである故に、もし、走
行制御を走行路状況（走行路の大局的変化）に応じてき
め細かなものとすれば、走行制御アルゴリズムを精緻な
ものにしなければならず、これは制御プログラムの複雑
化、膨大化又はプログラム開発そのものの困難化を伴な
うものであつた。また、アルゴリズムの複雑化、膨大化
は制御の低速化を招き、高速走行時の自動走行制御には
不向きであつた。もつとも、現在の移動車の走行制御は
開発途上であり、専ら低速走行についての場合であり、
高速時の走行制御に対するニーズは低いというのが実情
である。(Problems to be Solved by the Invention) That is, in the conventional traveling control based on the external world recognition,
The running control based on the judgment based on the recognition of the outside world and the like form an integrated single algorithm. That is, 1
Form one processing loop. In other words, since the cruise control is a single loop as described above, if the cruise control is finely adjusted in accordance with the road condition (global change of the road), the cruise control algorithm is used. This had to be elaborate, and this involved complicated and enormous control programs or difficulties in program development itself. In addition, the complexity and enormousness of the algorithm have led to a reduction in control speed, making it unsuitable for automatic driving control during high-speed driving. In any case, the current traveling control of mobile vehicles is under development, and it is exclusively for low-speed traveling,
The fact is that the need for traveling control at high speeds is low.
そこで、本発明は上述従来例の欠点を除去するために
提案されたものでその目的は、確実性を必要とする走行
路環境の認識には比較的に長い認識周期で認識すること
により確実性を確保し、走行路環境認識に対する確実性
が担保されているが故に、走行路環境の一部を成す特定
情報を比較的早い認識周期で認識することが許容される
ようにすることにより、走行路の状況に応じたきめ細か
な走行制御を高速且つ確実に行なうことができる移動車
の走行制御装置を提供するところにある。Therefore, the present invention has been proposed to eliminate the drawbacks of the above-described conventional example, and its object is to recognize a traveling road environment requiring certainty by using a relatively long recognition cycle. Is ensured, and since certainty for the recognition of the traveling road environment is ensured, it is allowed to recognize the specific information forming a part of the traveling road environment at a relatively early recognition cycle, thereby enabling the traveling. It is an object of the present invention to provide a traveling control device for a mobile vehicle capable of performing high-speed and reliable fine traveling control according to road conditions.
（課題を達成するための手段） 上記課題を達成するための本発明にかかる移動車の走
行制御装置は、 移動車の移動とともに変化する移動車の外界の画像を
撮る撮像手段と、 該撮像手段の撮像結果に基づいて、第１の所定周期毎
に上記移動車の走行路環境を認識する第１の認識手段
と、 該第１の認識手段の認識結果に基づき上記移動車の制
御を実行するのに最適な走行ロジックを選択する選択手
段と、 上記撮像手段の撮像結果に基づいて、上記第１の所定
周期よりも短い第２の所定周期で上記走行路環境の一部
を成す特定情報を認識する第２の認識手段と、 上記選択手段において選択された走行ロジックと上記
第２の認識手段において認識された上記特定情報とに基
づいて上記移動車の走行制御を行う制御手段とを備え、 上記第１の認識手段は、該手段が認識した走行路環境
に基づいて上記第２の認識手段が認識すべき上記特定情
報を特定するように構成されていることを特徴とする。(Means for Achieving the Object) A traveling control device for a mobile vehicle according to the present invention for achieving the above object includes: an image capturing unit that captures an image of the outside of the mobile vehicle that changes with the movement of the mobile vehicle; A first recognizing means for recognizing a traveling road environment of the mobile vehicle at a first predetermined cycle based on the imaging result of the above, and controlling the mobile vehicle based on the recognition result of the first recognizing means. Selecting means for selecting the most suitable traveling logic; and identifying information forming a part of the traveling road environment in a second predetermined cycle shorter than the first predetermined cycle, based on an imaging result of the imaging means. Second recognition means for recognizing; and control means for controlling the traveling of the mobile vehicle based on the travel logic selected by the selection means and the specific information recognized by the second recognition means, The above first recognition hand The step is configured to specify the specific information to be recognized by the second recognition means based on the traveling road environment recognized by the means.
（作用） 即ち、第１の認識手段による認識周期は第２の認識手
段によるそれよりも長いものの、認識に時間をかけられ
ることにより走行路環境における認識結果の確実性が担
保される。(Operation) In other words, although the recognition cycle of the first recognition means is longer than that of the second recognition means, the time taken for recognition ensures the certainty of the recognition result in the traveling road environment.
この第１の認識手段の認識結果の確実性のために、選
択手段は移動車の制御を実行するのに最適な走行ロジッ
クを選択することが可能となる。Due to the certainty of the recognition result of the first recognition means, the selection means can select the optimum running logic for executing the control of the moving vehicle.
さらに、第１の認識手段は、認識した走行路環境に基
づいて第２の認識手段が認識すべき特定情報を特定する
ように構成されているので、その特定情報の特定は、第
１の認識手段の認識結果の確実性故に確実なものとな
る。この確実性故に、第２の認識手段による、走行路環
境の一部を成す特定情報を認識するための認識周期を比
較的に早い方に設定することが許され、即ち、高速に認
識を行っても、その特定情報の認識精度が下がることは
ない。Further, the first recognition means is configured to specify the specific information to be recognized by the second recognition means based on the recognized traveling road environment, so that the specific information is specified by the first recognition. It is certain because of the certainty of the recognition result of the means. Due to this certainty, the recognition cycle for recognizing the specific information forming a part of the traveling road environment by the second recognition means is allowed to be set relatively earlier, that is, the recognition is performed at high speed. However, the recognition accuracy of the specific information does not decrease.
（実施例） 以下添付図面を参照して、本発明に係る実施例を説明
する。(Example) Hereinafter, an example according to the present invention will be described with reference to the accompanying drawings.
第２図は、この実施例に係る走行制御装置の全体図で
ある。移動車１は、ビデオカメラ２、走行コントローラ
５、センサ３、車両コントローラ４を搭載している。こ
の移動車１は通常のガソリンエンジン（不図示）により
駆動され、不図示のステアリング機構により操舵され
る。車両コントローラ３は、スロツトルアクチユエータ
を制御することにより移動車走行速度を制御し、また、
ステアリングアクチユエータを制御することにより移動
車走行方向を制御し、ブレーキアクチユエータ（不図
示）を制御して移動車の制動を行なわしめる。センサ３
は移動車の走行ステータスを表わす物理情報を検出する
もので、例えば、速度センサ、横加速度センサ、タイヤ
回転数センサ等である。FIG. 2 is an overall view of a travel control device according to this embodiment. The moving vehicle 1 includes a video camera 2, a travel controller 5, a sensor 3, and a vehicle controller 4. The mobile vehicle 1 is driven by a normal gasoline engine (not shown) and is steered by a steering mechanism (not shown). The vehicle controller 3 controls the traveling speed of the moving vehicle by controlling the throttle actuator.
The traveling direction of the moving vehicle is controlled by controlling the steering actuator, and the braking of the moving vehicle is controlled by controlling the brake actuator (not shown). Sensor 3
Is a device for detecting physical information indicating a traveling status of a moving vehicle, and is, for example, a speed sensor, a lateral acceleration sensor, a tire speed sensor, or the like.
走行コントローラ５は本実施例の走行制御装置の中枢
を成すものであつて、その全体的な機能ブロツク図を第
１図に示し、ハードウエア構成図を第３図に示す。この
走行コントローラ５は、ビデオカメラ２からの画像とセ
ンサ３からのステータス情報とを入力して、本実施例に
係る走行制御のための所定の処理（後述）を行なつて、
ステアリング値とスロツトル開度値と、ブレーキ信号と
を車両コントローラ４に向けて出力する。The travel controller 5 forms the center of the travel control device of the present embodiment. FIG. 1 shows an overall functional block diagram, and FIG. 3 shows a hardware configuration diagram. The traveling controller 5 receives an image from the video camera 2 and status information from the sensor 3 and performs a predetermined process (described later) for traveling control according to the present embodiment.
A steering value, a throttle opening value, and a brake signal are output to the vehicle controller 4.
走行コントローラ５は、第１図に示すように、主に５
つの処理モジユールからなる。これらのモジユールは、
画像処理モジユール20と、走行環境認識モジユール21
と、低レベル認識モジユール22と、アルゴリズム選択モ
ジユール23と、移動制御実行モジユール24である。As shown in FIG. 1, the travel controller 5 mainly
It consists of two processing modules. These modules are
Image processing module 20 and driving environment recognition module 21
A low-level recognition module 22, an algorithm selection module 23, and a movement control execution module 24.
この第１図に示された実施例では、移動車に設置され
たビデオカメラから入力画像は、画像処理モジユールに
より、２つのバツフアメモリに入力される。このバツフ
アメモリの１つは、環境認識モジユール21により使わ
れ、他の１つは低レベル認識モジユール22により使われ
る。２つのバツフアメモリを設定したのは、２つのモジ
ユールによるバツフアメモリへのアクセスが競合するこ
とを防止するためである。走行環境認識モジユール21
は、走行路の画像に基づいて、その大局的な認識（例え
ば、直線路と曲線路の区別、障害物の有無の判断、障害
物の初期位置）を行ない、また、低レベル認識モジユー
ル22のために、この大局的な認識に基づいて、特定の認
識対象（センターライン，路端、障害物の位置変化）を
設定する。In the embodiment shown in FIG. 1, an input image from a video camera installed in a moving vehicle is input to two buffer memories by an image processing module. One of the buffer memories is used by the environment recognition module 21 and the other is used by the low-level recognition module 22. The reason why two buffer memories are set is to prevent contention between accesses to the buffer memory by the two modules. Driving environment recognition module 21
Performs global recognition (for example, distinction between straight roads and curved roads, determination of presence / absence of an obstacle, initial position of an obstacle) based on an image of a traveling road, For this purpose, specific recognition targets (center line, roadside, change in position of obstacles) are set based on the global recognition.
アルゴリズム選択モジユール23は、モジユール21から
の大局的認識結果を受けて、移動制御実行モジユール24
に、当該大局的認識結果に対応するアルゴリズムを選択
せしめる。The algorithm selection module 23 receives the global recognition result from the module 21 and receives the movement control execution module 24.
Next, an algorithm corresponding to the global recognition result is selected.
一方、低レベル認識モジユール22は、環境認識モジユ
ール21からの特定の認識対象を画像内で認識しつつ、そ
れらの対象に関する情報を移動制御実行モジユール24に
送る。On the other hand, the low-level recognition module 22 sends information about the specific recognition targets from the environment recognition module 21 to the movement control execution module 24 while recognizing the recognition targets in the image.
実行モジユール24では、大局的認識結果に対応した走
行制御アルゴリズムが選択されており、この走行制御ア
ルゴリズムに従つて、低レベル認識モジユール22からの
情報に従つて、実際の移動走行制御を行なう。In the execution module 24, a travel control algorithm corresponding to the global recognition result is selected, and according to the travel control algorithm, actual travel control is performed according to information from the low-level recognition module 22.
第３図は、第２図に示した走行コントローラ５のハー
ドウエア構成図である。第１図が概念的な構成を示した
ものであるのに対し、第３図は実際的なハードウエア構
成図を示している。このハイドウエア構成の特徴的な点
は、複数のPE（Processing Element）による多重並列処
理である。多重並列処理には従来から種々のアーキテク
チヤが提案されているが、第１図と第３図との対応を強
いて言えば、走行認識モジユール21はPE12に対応し、低
レベル認識モジユール22はPE13に対応し、アルゴリズム
選択モジユール23はPE15に対応し、移動制御実行モジユ
ール24はPE16に対応する。各PEはネツトワーク14により
並列的に接続されている。また、処理量が多過ぎて１つ
のPEでは不足の場合はPEを追加してもよい。移動制御実
行を行なうPEからの出力は、ネツトワーク14、I/Oコン
トローラ17を介して、車両コントローラ４に送られる。
また、センサ３からのステータス情報はI/Oコントロー
ラ17を介いて、移動制御実行PEに送られる。画像処理モ
ジユール20はフレームメモリ10を含むものとして実現さ
れる。FIG. 3 is a hardware configuration diagram of the travel controller 5 shown in FIG. FIG. 1 shows a conceptual configuration, while FIG. 3 shows a practical hardware configuration diagram. The characteristic point of this hardware configuration is multiple parallel processing by a plurality of PEs (Processing Elements). Conventionally, various architectures have been proposed for the multiple parallel processing. However, if the correspondence between FIG. 1 and FIG. 3 is forced, the driving recognition module 21 corresponds to the PE12, and the low-level recognition module 22 corresponds to the PE13. , The algorithm selection module 23 corresponds to PE15, and the movement control execution module 24 corresponds to PE16. Each PE is connected in parallel by a network 14. If the processing amount is too large and one PE is insufficient, a PE may be added. The output from the PE that executes the movement control is sent to the vehicle controller 4 via the network 14 and the I / O controller 17.
The status information from the sensor 3 is sent to the movement control execution PE via the I / O controller 17. The image processing module 20 is realized as including the frame memory 10.
第5A図〜第5C図は、各モジユールで独立して並列的に
行なわれる制御手順である。第5A図は環境認識モジユー
ル21の制御手順であり、ステツプS2で、バツフアメモリ
からの画像入力を行なう。ステツプS4では大局的な環境
認識を行なう。本実施例で認識可能な大局的な環境と
は、一例として、 直線路、 曲線路、 障害物のある道路、 の３種類とした、ステツプS6では、この大局的な認識結
果と、この認識結果に夫々対応する特定の認識対象の種
別を出力する。この特定の認識対象は前述したように、
時々刻々のセンターライン位置、路端位置、障害物の位
置等である。即ち、低レベル認識モジユール22は、走行
制御実行モジユール24のために、いかなる情報を集中的
に送つてやればよいのかを、環境認識モジユール21から
教えてもらうのである。例えば、直線路であれば、追跡
対象としてセンターライン等を指定する。曲線路であれ
ば、追跡対象として、センターラインと路端等とを指定
する。障害路であれば、追跡対象として、センターライ
ンと路端と障害物位置等とを指定する。認識結果として
の大局的な環境の種類は選択モジユール23に送られ、認
識対象の種別は低レベル認識モジユール22に送られる。5A to 5C show control procedures performed independently and in parallel in each module. FIG. 5A shows a control procedure of the environment recognition module 21. In step S2, an image is input from a buffer memory. In step S4, global environment recognition is performed. The global environment that can be recognized in the present embodiment is, for example, three types of: a straight road, a curved road, and a road with an obstacle. In step S6, the global recognition result and the recognition result And outputs the type of the specific recognition target corresponding to each. This particular target, as described above,
The center line position, the road end position, the position of an obstacle, and the like are continually indicated. That is, the low-level recognition module 22 is instructed from the environment recognition module 21 what information should be sent intensively for the driving control execution module 24. For example, if it is a straight road, a center line or the like is designated as a tracking target. In the case of a curved road, a center line and a road end are designated as tracking targets. If it is an obstacle road, a center line, a road end, an obstacle position, and the like are designated as tracking targets. The type of the global environment as the recognition result is sent to the selection module 23, and the type of the recognition target is sent to the low-level recognition module 22.
走行環境認識モジユール21は、上記ステツプS2〜ステ
ツプS6のループを一定時間T1毎に繰返す。但し、ステツ
プS4の環境認識には多量の情報処理が必要なために、T1
時間は比較的長時間となる。Traveling environment recognition modules 21 repeats the loop of the step S2~ step S6 at every predetermined time T 1. However, since a large amount of information processing is required for the environment recognition of step S4, T 1
The time is relatively long.
第5B図は走行制御アルゴリズム選択モジユール23の制
御手順である。このモジユールはステツプS10で、モジ
ユール21からの大局的な環境認識結果の入力を待つ。そ
の入力があると、ステツプS14で、当該認識結果に最適
な走行制御アルゴリズムを実行モジユール24に選択せし
め、ステツプS16で、その走行制御アルゴリズムを起動
する。FIG. 5B shows a control procedure of the traveling control algorithm selection module 23. This module waits for the input of the global environment recognition result from the module 21 in step S10. When the input is made, the execution module 24 selects the optimal running control algorithm for the recognition result in step S14, and starts the running control algorithm in step S16.
第5C図は、低レベル認識モジユール22と移動制御実行
モジユール24夫々の制御手順のフローチヤートである。
前述したように、低レベル認識モジユール22は、走行制
御実行モジユール24に対して如何なる情報を集中的に送
つてやればよいのかを、環境認識モジユール21から教え
てもらい、その上で、移動制御実行モジユール24に走行
制御のための特定認識対象の情報を送る。先ず、低レベ
ル認識モジユール22はステツプS18で、走行環境認識モ
ジユール21からの新たな特定認識対象の変更入力の有無
を調べる。変更入力がなければ、ステツプS24に進み、
前からの特定認識対象について追跡認識を行ない、その
情報を、ステツプS26で、ネツトワークを介して移動制
御実行モジユール24に送出する。もし、走行環境認識モ
ジユール21から、新たな認識対象の通知があれば、その
新たな認識対象の通知を受け、ステツプS24では、その
新たな認識対象について情報を収集する。FIG. 5C is a flowchart of the control procedure of each of the low-level recognition module 22 and the movement control execution module 24.
As described above, the low-level recognition module 22 receives from the environment recognition module 21 what information should be intensively transmitted to the traveling control execution module 24, and then executes the movement control. The information of the specific recognition target for traveling control is sent to the module 24. First, in step S18, the low-level recognition module 22 checks whether there is a change input of a new specific recognition target from the driving environment recognition module 21. If there is no change input, proceed to step S24,
The tracking recognition is performed on the specific recognition object from before, and the information is sent to the movement control execution module 24 via the network in step S26. If there is a notification of a new recognition target from the driving environment recognition module 21, the notification of the new recognition target is received, and information is collected on the new recognition target in step S24.
移動制御実行モジユール24のステツプS30のパラメー
タ再設定は、選択モジユール23により、移動制御実行モ
ジユール24のプログラムが変更されたときにのみ実行さ
れるものであり、これは、走行制御アルゴリズムがたと
え変更されても、走行路は連続しているから、過去の走
行制御アルゴリズムの実行中に蓄積していた走行情報
（例えば、路端位置等）を新たな走行制御アルゴリズム
が受け継ぐためである。ステツプS32では、低レベル認
識モジユール22からの特定認識対象についての走行情報
をもらう。ステツプS34では、この走行情報に基づいて
所定の演算を行ない、ステツプS36で移動車のアクチユ
エータに出力する。即ち、スロツトルを制御したり、ブ
レーキを制御したり、操舵する等である。第６図に直線
路走行時のステアリング角制御のアルゴリズムの一例を
示す。このアルゴリズムは、低レベル認識モジユール22
から送られてきたセンターライン情報（特定認識対象情
報）に基づいて走行パスを決定し、一方、移動車のセン
サ３から得られる車速等のステータス情報とこの走行パ
スとに基づいて、目標ステアリング角度を演算し、移動
車のステアリングアクチユエータに出力するものであ
る。The resetting of the parameters in step S30 of the movement control execution module 24 is executed only when the program of the movement control execution module 24 is changed by the selection module 23. However, since the traveling road is continuous, the new traveling control algorithm inherits traveling information (for example, road end position) accumulated during execution of the past traveling control algorithm. In step S32, the travel information on the specific recognition target from the low-level recognition module 22 is obtained. In step S34, a predetermined calculation is performed based on the traveling information, and in step S36, the result is output to the actuator of the moving vehicle. That is, the throttle is controlled, the brake is controlled, and the steering is performed. FIG. 6 shows an example of an algorithm for steering angle control when traveling on a straight road. This algorithm uses a low-level recognition module 22
A traveling path is determined based on the center line information (specific recognition target information) sent from the vehicle, and a target steering angle is determined based on status information such as the vehicle speed obtained from the sensor 3 of the moving vehicle and the traveling path. Is calculated and output to the steering actuator of the moving vehicle.
第４図に、カメラ２により捕えられたシーンの変化
（ＩIIIIIIVと変化）に対応して、上記４つのモ
ジユール、即ち、走行環境認識モジユール21〜移動制御
実行モジユール24の制御サイクルの変化を、時間経過と
共に示した。前述したように、環境認識モジユール21は
大局的な認識を行なうものであるから、高度の認識処理
を行ない、認識誤りのないようにする。大局的な環境は
変化が遅いために、高度の認識処理のために認識速度が
低くなつても問題はない。そこで、第４図に示すよう
に、走行環境認識モジユール21の認識サイクルはT1とい
う比較的長い周期となる。第４図の例では、走行環境認
識モジユール21はシーンIIを認識する前にシーンＩの認
識（シーンＩは直線路）を終了している。従つて、時刻
t1では、選択モジユール23はこの認識結果を受けて、移
動制御実行モジユール24の走行制御アルゴリズムを直線
路用に変更している。低レベル認識モジユール22は走行
環境認識モジユール21からの連絡により移動制御実行モ
ジユール24に対してT2という（T1に比して）かなり短い
周期で特定認識対象に関する情報を送り続ける。移動制
御実行モジユール24は、この情報を受けつつ、同じよう
にT2という短いサイクルで、直線路走行制御アルゴリズ
ムに従つて走行制御を実行する。FIG. 4 shows the change of the control cycle of the above four modules, that is, the control module of the traveling environment recognition module 21 to the movement control execution module 24, in response to the change of the scene (change of IIIIIIIV) captured by the camera 2. Shown over time. As described above, since the environment recognition module 21 performs global recognition, a high-level recognition process is performed to eliminate recognition errors. Since the global environment changes slowly, there is no problem even if the recognition speed is reduced due to advanced recognition processing. Therefore, as shown in FIG. 4, the recognition cycle of the running-environment recognition modules 21 is relatively long period of T 1. In the example of FIG. 4, the driving environment recognition module 21 completes the recognition of scene I (scene I is a straight road) before recognizing scene II. Therefore, the time
In t 1, is selected modules 23 receives the recognition result, and changing the travel control algorithm of movement control execution modules 24 for straight path. Low-level recognition modules 22 are running environment (compared to T 1) of T 2 to the mobile control execution modules 24 by communication from the recognition modules 21 continues to send information about a specific recognition target a fairly short period. Movement control execution modules 24, while receiving this information, in the same way short cycle of T 2, performing the Supporting connexion running control on a straight road running control algorithm.
一方、走行環境認識モジユール21は、低レベル認識モ
ジユール22,移動制御実行モジユール24が直線路走行制
御アルゴリズムを実行している最中も、次のシーンの環
境認識を行なつている。そして、シーンIIを得ると、走
行環境認識モジユール21は走行路は直線路から曲線路に
変化することを認識するから、T1後に選択モジユール23
に対して、移動制御実行モジユール24の走行制御アルゴ
リズムの変更を指令する。すると、移動制御実行モジユ
ール24では、新たに曲線路用の走行制御アルゴリズムが
起動される。また、同じく、曲線路に関する新たな認識
対象への変更を知らされた低レベル認識モジユール22か
ら受ける情報に基づき、曲線路用の走行制御アルゴリズ
ムに従つて走行制御を継続して行なう。On the other hand, the traveling environment recognition module 21 recognizes the environment of the next scene while the low-level recognition module 22 and the movement control execution module 24 are executing the straight road traveling control algorithm. When obtaining the scene II, because the traveling environment recognition modules 21 is traveling path recognizes that changes curved path from the straight path, selected after T 1 modules 23
, A command to change the travel control algorithm of the movement control execution module 24 is issued. Then, in the movement control execution module 24, a traveling control algorithm for a curved road is newly activated. Similarly, based on the information received from the low-level recognition module 22 informed of the change to the new recognition target regarding the curved road, the travel control is continuously performed according to the travel control algorithm for the curved road.
第４図からも明らかなように、低レベル認識モジユー
ル22は、走行制御実行モジユール24がセンターライン、
路端若しくは障害物等の追跡情報に基づいて、スロツト
ル，ステアリング等の制御を高速に行なうために、セン
ターライン，路端，障害物の追跡情報を高速処理して得
ることが必要である。一方、大局的な環境認識には、高
度の情報処理と多量のデータ処理が必要となる。従来の
ように、環境認識、情報収集、走行制御を一体として連
続して行なつていたのでは、走行制御のための高速処理
と環境認識のための多量の処理とが重畳して、高速走行
時の確実な走行制御には不適であつた。しかしながら、
上述の実施例によれば、 ：大局的な環境認識には、高度の情報処理と多量のデ
ータ処理が必要となる一方で、大局的な環境変化は頻繁
に変化することはないことに着目して、環境認識系（走
行環境認識モジユール21）と、実際の走行制御を行なう
系（低レベル認識モジユール22及び移動制御実行モジユ
ール24）とを別系統に分け、実際の走行制御を行なう系
は、環境認識結果に基づいて指定された特定の情報を収
集し、この情報に基づいて走行制御を行なうようにす
る。即ち、２つの系を独立制御しても差し支えないか
ら、そのように独立制御としたことで、両サイクルは互
いの制御サイクルに依存しなくなり、また、走行制御系
は、環境認識系が指定した特定の認識対象のみに関する
情報の収集及びその情報に基づいた制御に集中できるか
ら、即ち、情報処理対象の認識対象が絞られるから高速
移動時の確実な高速走行制御が可能となる。As is clear from FIG. 4, the low-level recognition module 22 includes a traveling control execution module 24 including a center line,
In order to control the throttle and the steering at a high speed based on the tracking information of the roadside or the obstacle, it is necessary to process and obtain the tracking information of the center line, the roadside and the obstacle at a high speed. On the other hand, global environment recognition requires advanced information processing and a large amount of data processing. As in the past, environment recognition, information collection, and running control were continuously performed as a single unit, and high-speed running for running control and a large amount of processing for environment recognition were superimposed, resulting in high-speed running. It was not suitable for reliable running control at the time. However,
According to the above-mentioned embodiment: Focusing on the fact that global environment recognition requires advanced information processing and a large amount of data processing, but global environment changes do not change frequently. Thus, the environment recognition system (driving environment recognition module 21) and the system for performing actual driving control (low-level recognition module 22 and movement control execution module 24) are separated into different systems, and the system for performing actual driving control is: Specific information specified based on the environment recognition result is collected, and travel control is performed based on this information. In other words, since the two systems can be independently controlled, by adopting such independent control, both cycles do not depend on each other's control cycles, and the traveling control system is designated by the environment recognition system. Since it is possible to concentrate on collecting information on only a specific recognition target and control based on the information, that is, narrowing down the recognition target of the information processing target, reliable high-speed traveling control during high-speed movement becomes possible.
：走行制御系と環境認識系とは独立系とした場合、第
３図にも示したような並列多重処理が最適で、最も効率
的なデータ処理が可能であるが、１つの制御処理ユニツ
トによるマルチタスク的な多重処理でも可能となる。い
ずれの多重処理でも、走行制御系と環境認識系とは独立
系となり、互いに依存しなくなり、高速処理が可能とな
る。: When the traveling control system and the environment recognition system are independent systems, parallel multiplex processing as shown in FIG. 3 is optimal, and the most efficient data processing is possible. Multitasking multiplex processing is also possible. In any of the multiple processes, the traveling control system and the environment recognition system become independent systems, do not depend on each other, and can perform high-speed processing.
：また、第３図にも示したような並列多重処理では、
第４図に示すように、現在の環境認識結果は、将来の走
行制御に使われる。これは、現在の環境認識に基づいて
現在の走行制御を行なわなくても、大局的な環境は前述
したように大きく変化しないから、問題ないことによ
る。従つて、環境認識と走行制御が独立したものとな
り、その結果、現時点の環境認識を将来の走行制御に使
うという、第４図に示したような、所謂『パイプライン
処理』が実現され、並列多重処理と相まつて、更に高速
制御処理が可能となる。: In parallel multiplex processing as shown in FIG. 3,
As shown in FIG. 4, the current environment recognition result is used for future traveling control. This is because there is no problem even if the current traveling control is not performed based on the current environment recognition, because the general environment does not greatly change as described above. Therefore, the so-called "pipeline processing" as shown in FIG. 4 is realized, in which the environment recognition and the traveling control become independent, and as a result, the present environment recognition is used for future traveling control. In addition to the multiplex processing, higher-speed control processing becomes possible.
：走行制御系の移動制御実行モジユール24は、選択モ
ジユール23により、認識された環境に最も適した走行制
御アルゴリズムに変更させられる。このことは、種々の
環境に適した走行制御アルゴリズムを必要最小限の規模
で作成できることを意味する。即ち、アルゴリズム選択
モジユール23は、外部の高速メモリ（不図示）に各走行
制御アルゴリズムプログラムを格納しておき、セグメン
テーシヨン若しくはページングの仮想記憶技術で、環境
認識結果に応じて、移動制御実行モジユール24のプログ
ラムメモリ領域内にオーバレイすれば、移動制御実行モ
ジユール24の回路規模も小さなものとなる。最も、移動
制御実行モジユール24のプログラムメモリサイズを捨象
すれば、１つの走行制御アルゴリズムによりあらゆる走
行環境に対応した走行制御は可能であるから、上述の
〜の効果を得るためには、選択モジユール23がアルゴ
リズム選択を行なうということは、本発明にとつて本質
的ではない。The travel control execution module 24 of the travel control system is changed by the selection module 23 to a travel control algorithm most suitable for the recognized environment. This means that a travel control algorithm suitable for various environments can be created on a minimum necessary scale. That is, the algorithm selection module 23 stores the respective travel control algorithm programs in an external high-speed memory (not shown) and uses a virtual memory technology of segmentation or paging to execute a movement control execution module in accordance with the environment recognition result. By overlaying the data in the 24 program memory areas, the circuit scale of the movement control execution module 24 becomes small. However, if the program memory size of the movement control execution module 24 is neglected, the running control corresponding to any running environment can be performed by one running control algorithm. That makes algorithm selection is not essential to the present invention.
（発明の効果） 以上説明したように本発明に係る移動車の走行制御装
置においては、第１の認識手段による認識周期が第２の
認識手段によるそれよりも長く設定されているために、
認識に時間をかけることが許され、走行路環境における
認識結果の確実性が担保される。この第１の認識手段の
認識結果の確実性のために、選択手段においては最適な
走行ロジックを選択することが可能となり、また、特定
情報の特定が確実なものとなる。そして、この特定情報
の特定の確実性故に、第２の認識手段においては、特定
情報の認識を高速に行っても、認識精度が下がることは
ない。(Effects of the Invention) As described above, in the traveling control device for a mobile vehicle according to the present invention, since the recognition cycle of the first recognition unit is set longer than that of the second recognition unit,
Time is allowed for recognition, and the certainty of the recognition result in the traveling road environment is ensured. Because of the certainty of the recognition result of the first recognition means, it becomes possible for the selection means to select the optimum traveling logic, and the specification of the specific information is ensured. Because of the certainty of the specific information, the second recognition unit does not lower the recognition accuracy even if the specific information is recognized at high speed.
このために、本発明により、走行路の状況に応じたき
め細かな走行制御を高速且つ確実に行なうことができる
制御装置を提供することが出来る。For this reason, according to the present invention, it is possible to provide a control device capable of performing high-speed and reliable fine-grained traveling control according to the situation of the traveling road.
第１図は本発明に係る一実施例の全体構成を示す機能ブ
ロツク図、 第２図は第１図実施例を装着した移動車の一例の全体
図、 第３図は第１図実施例を多重並列処理により実現したと
きのハードウエア構成図、 第４図は第１図実施例の各モジユールの制御の状態の時
間変化の一例を示す図、 第5A図〜第5C図は同実施例の制御手順を説明するフロー
チヤート、 第６図は同実施例における直線路走行用のアルゴリズム
におけるステアリング角決定制御のブロツク図である。 図中、 １……移動車、２……カメラ、３……センサ、４……車
両コントローラ、５……走行コントローラ、10……フレ
ームメモリ、11……ビデオバス、12,13,15,16……PE、1
4……ネツトワーク、17……I/Oコントローラ、20……画
像処理モジユール、21……走行環境認識モジユール、22
……低レベル認識モジユール、23……アルゴリズム選択
モジユール、24……移動制御実行モジユールである。FIG. 1 is a functional block diagram showing an overall configuration of an embodiment according to the present invention, FIG. 2 is an overall view of an example of a moving vehicle equipped with the embodiment of FIG. 1, and FIG. 3 is an embodiment of FIG. FIG. 4 is a diagram showing an example of a change over time in the control state of each module in the embodiment of FIG. 1; FIG. 5A to FIG. FIG. 6 is a flowchart for explaining a control procedure. FIG. 6 is a block diagram of steering angle determination control in the algorithm for traveling on a straight road in the embodiment. In the figure, 1 ... a moving vehicle, 2 ... a camera, 3 ... a sensor, 4 ... a vehicle controller, 5 ... a traveling controller, 10 ... a frame memory, 11 ... a video bus, 12, 13, 15, 16 …… PE, 1
4 ... Network, 17 ... I / O controller, 20 ... Image processing module, 21 ... Driving environment recognition module, 22
... Low-level recognition module, 23. Algorithm selection module, 24. Movement control execution module.
Claims (1)
界の画像を撮る撮像手段と、 該撮像手段の撮像結果に基づいて、第１の所定周期毎に
上記移動車の走行路環境を認識する第１の認識手段と、 該第１の認識手段の認識結果に基づき上記移動車の制御
を実行するのに最適な走行ロジックを選択する選択手段
と、 上記撮像手段の撮像結果に基づいて、上記第１の所定周
期よりも短い第２の所定周期で上記走行路環境の一部を
成す特定情報を認識する第２の認識手段と、 上記選択手段において選択された走行ロジックと上記第
２の認識手段において認識された上記特定情報とに基づ
いて上記移動車の走行制御を行う制御手段とを備え、 上記第１の認識手段は、該手段が認識した走行路環境に
基づいて上記第２の認識手段が認識すべき上記特定情報
を特定するように構成されていることを特徴とする、 移動車の走行制御装置。1. An image pickup means for taking an image of the outside of a moving vehicle that changes with the movement of the moving vehicle, and recognizing a traveling road environment of the moving vehicle at a first predetermined cycle based on an image pickup result of the image pickup means. A first recognizing means, a selecting means for selecting an optimal running logic for executing the control of the mobile vehicle based on the recognition result of the first recognizing means, A second recognizing means for recognizing specific information forming a part of the traveling road environment at a second predetermined cycle shorter than the first predetermined cycle; a driving logic selected by the selecting means; Control means for controlling travel of the mobile vehicle based on the specific information recognized by the recognition means, wherein the first recognition means is configured to control the second vehicle based on a travel path environment recognized by the means. The above features that the recognition means should recognize Characterized in that it is configured to identify the information, the travel control device of the transport vehicle.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63267072A JP2728170B2 (en) | 1988-10-25 | 1988-10-25 | Travel control device for mobile vehicles |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63267072A JP2728170B2 (en) | 1988-10-25 | 1988-10-25 | Travel control device for mobile vehicles |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02114304A JPH02114304A (en) | 1990-04-26 |
| JP2728170B2 true JP2728170B2 (en) | 1998-03-18 |
Family
ID=17439638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63267072A Expired - Fee Related JP2728170B2 (en) | 1988-10-25 | 1988-10-25 | Travel control device for mobile vehicles |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2728170B2 (en) |
Families Citing this family (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3197307B2 (en) * | 1991-10-14 | 2001-08-13 | マツダ株式会社 | Travel control device for mobile vehicles |
| RU2734732C1 (en) | 2017-02-10 | 2020-10-22 | Ниссан Норт Америка, Инк. | Traffic network blocking tracking during operational control of autonomous vehicle |
| JP6890757B2 (en) | 2017-02-10 | 2021-06-18 | ニッサン ノース アメリカ，インク | Partially Observed Markov Decision Process Autonomous vehicle motion management including operating a model instance |
| CN110603497B (en) * | 2017-02-10 | 2021-11-16 | 日产北美公司 | Autonomous vehicle and method of autonomous vehicle operation management control |
| US10836405B2 (en) | 2017-10-30 | 2020-11-17 | Nissan North America, Inc. | Continual planning and metareasoning for controlling an autonomous vehicle |
| US11027751B2 (en) | 2017-10-31 | 2021-06-08 | Nissan North America, Inc. | Reinforcement and model learning for vehicle operation |
| WO2019089015A1 (en) | 2017-10-31 | 2019-05-09 | Nissan North America, Inc. | Autonomous vehicle operation with explicit occlusion reasoning |
| US11084504B2 (en) | 2017-11-30 | 2021-08-10 | Nissan North America, Inc. | Autonomous vehicle operational management scenarios |
| US11874120B2 (en) | 2017-12-22 | 2024-01-16 | Nissan North America, Inc. | Shared autonomous vehicle operational management |
| EP3759563B1 (en) | 2018-02-26 | 2023-11-22 | Nissan North America, Inc. | Centralized shared autonomous vehicle operational management |
| US11120688B2 (en) | 2018-06-29 | 2021-09-14 | Nissan North America, Inc. | Orientation-adjust actions for autonomous vehicle operational management |
| US11635758B2 (en) | 2019-11-26 | 2023-04-25 | Nissan North America, Inc. | Risk aware executor with action set recommendations |
| US11899454B2 (en) | 2019-11-26 | 2024-02-13 | Nissan North America, Inc. | Objective-based reasoning in autonomous vehicle decision-making |
| US11613269B2 (en) | 2019-12-23 | 2023-03-28 | Nissan North America, Inc. | Learning safety and human-centered constraints in autonomous vehicles |
| US11300957B2 (en) | 2019-12-26 | 2022-04-12 | Nissan North America, Inc. | Multiple objective explanation and control interface design |
| US11577746B2 (en) | 2020-01-31 | 2023-02-14 | Nissan North America, Inc. | Explainability of autonomous vehicle decision making |
| US11714971B2 (en) | 2020-01-31 | 2023-08-01 | Nissan North America, Inc. | Explainability of autonomous vehicle decision making |
| US11782438B2 (en) | 2020-03-17 | 2023-10-10 | Nissan North America, Inc. | Apparatus and method for post-processing a decision-making model of an autonomous vehicle using multivariate data |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS4930068A (en) * | 1972-07-15 | 1974-03-18 | ||
| JPS62138906A (en) * | 1985-12-12 | 1987-06-22 | Toyoda Autom Loom Works Ltd | Controller for unmanned carrier |
-
1988
- 1988-10-25 JP JP63267072A patent/JP2728170B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH02114304A (en) | 1990-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2728170B2 (en) | Travel control device for mobile vehicles | |
| JP6725568B2 (en) | Vehicle control device, vehicle, vehicle control method, and program | |
| JP7388971B2 (en) | Vehicle control device, vehicle control method, and vehicle control computer program | |
| US20210387627A1 (en) | Methods, systems, and media for determining characteristics of roads | |
| JP2018206036A (en) | Vehicle control system, method thereof and travel support server | |
| JP6574224B2 (en) | Vehicle control apparatus, vehicle, vehicle control method, and program | |
| KR102266996B1 (en) | Method and apparatus for limiting object detection area in a mobile system equipped with a rotation sensor or a position sensor with an image sensor | |
| JP7115502B2 (en) | Object state identification device, object state identification method, computer program for object state identification, and control device | |
| CN111756990B (en) | Image sensor control method, device and system | |
| JP7226368B2 (en) | Object state identification device | |
| WO2021053763A1 (en) | Driving assistance device, driving assistance method, and program | |
| JP2021163432A (en) | Signal light state identification apparatus, signal light state identification method, signal light state-identifying program, and control apparatus | |
| JP6867257B2 (en) | Vehicle control devices, vehicles, vehicle control methods and programs | |
| CN114973644B (en) | Road information generating device | |
| JP2019164812A (en) | Vehicle control system and method, and travel support server | |
| JP7351321B2 (en) | Sensor abnormality estimation device | |
| JP2003121543A (en) | Driving lane determining apparatus for vehicle | |
| JP3082507B2 (en) | Mobile image processing device | |
| JP2022142165A (en) | Vehicle control device, vehicle control method, and computer program for controlling vehicle | |
| CN115179863A (en) | Control device and control method for moving body, storage medium, and vehicle | |
| JP2001180404A (en) | Rear monitor for vehicle | |
| JPH02291100A (en) | Travel controller for mobile vehicle | |
| JP2022059938A (en) | Travel control device of vehicle | |
| US12033397B2 (en) | Controller, method, and computer program for controlling vehicle | |
| JP7245859B2 (en) | VEHICLE CONTROL DEVICE, VEHICLE, VEHICLE CONTROL METHOD AND PROGRAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |