JP7344095B2 - control device - Google Patents
control device Download PDFInfo
- Publication number
- JP7344095B2 JP7344095B2 JP2019208453A JP2019208453A JP7344095B2 JP 7344095 B2 JP7344095 B2 JP 7344095B2 JP 2019208453 A JP2019208453 A JP 2019208453A JP 2019208453 A JP2019208453 A JP 2019208453A JP 7344095 B2 JP7344095 B2 JP 7344095B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- control device
- unit
- parking
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本発明の実施形態は、管制装置に関する。 Embodiments of the present invention relate to a control device.
近年、所定領域(例えば駐車場)内で車両の走行を制御するシステム(例えば自動バレー駐車システム)が検討されている。そのようなシステムでは、例えば、管制装置は、所定領域内に設けられた撮像部(カメラ)によって撮影された撮影画像に基づいて、所定領域内の車両の位置を推定する。 In recent years, systems (for example, automatic valet parking systems) that control the running of vehicles within a predetermined area (for example, a parking lot) have been studied. In such a system, for example, a control device estimates the position of a vehicle within a predetermined area based on an image taken by an imaging unit (camera) provided within the predetermined area.
また、例えば、所定領域内の車両がこれから駐車するのか所定領域から出るのかを推定するためなどの観点から、車両ごとに位置を追跡することが好ましい。 Further, it is preferable to track the position of each vehicle, for example, in order to estimate whether the vehicle within the predetermined area will park or leave the predetermined area.
しかしながら、上述のようなシステムにおいて、従来技術では、撮影画像において物体(車両や柱等)による死角領域に車両が入り、その死角領域から車両が出てきた場合に、それらの車両が同じか否かが不明で、車両ごとに位置を追跡することができないという問題があった。 However, in the above-mentioned system, in the conventional technology, when a vehicle enters a blind spot area caused by an object (vehicle, pillar, etc.) in a captured image and a vehicle emerges from the blind spot area, it is difficult to determine whether the two vehicles are the same or not. There was a problem that it was not possible to track the location of each vehicle.
そこで、実施形態の課題の一つは、所定領域内で車両の走行を制御するシステムにおいて、撮影画像において物体による死角領域に車両が入り、その死角領域から車両が出てきた場合に、それらの車両が同じか否かを判定することができる管制装置を提供することである。 Therefore, one of the problems of the embodiment is that in a system that controls the running of a vehicle within a predetermined area, when a vehicle enters a blind spot area caused by an object in a captured image and comes out of the blind spot area, An object of the present invention is to provide a control device that can determine whether the vehicles are the same or not.
実施形態の一例としての管制装置は、所定領域内で車両の走行を制御するシステムにおける管制装置であって、前記所定領域内に設けられた撮影部から前記所定領域内の撮影画像を取得する取得部と、前記撮影画像に基づいて、前記撮影画像に映っている車両の位置を推定する推定部と、経時的に複数の前記撮影画像を用いて、前記撮影画像において物体による死角領域に入った第1車両と、前記死角領域から出てきた第2車両が同じか否かを、前記第1車両の画像情報と前記第2車両の画像情報に基いて判定する判定部と、を備える。 A control device as an example of an embodiment is a control device in a system that controls the running of a vehicle within a predetermined area, and the control device acquires a captured image within the predetermined area from an imaging unit provided within the predetermined area. an estimation unit that estimates the position of the vehicle shown in the captured image based on the captured image; and an estimation unit that estimates the position of the vehicle shown in the captured image based on the captured image; The vehicle includes a determination unit that determines whether the first vehicle and the second vehicle that came out of the blind spot area are the same, based on image information of the first vehicle and image information of the second vehicle.
この構成によれば、撮影画像において物体による死角領域に入った第1車両と、死角領域から出てきた第2車両が同じか否かを、第1車両の画像情報と第2車両の画像情報に基いて判定することができる。 According to this configuration, whether or not the first vehicle that entered the blind spot area caused by the object and the second vehicle that came out of the blind spot area are the same in the photographed image is determined based on the image information of the first vehicle and the image information of the second vehicle. Judgment can be made based on.
また、前記管制装置において、前記判定部は、前記第1車両の画像情報と前記第2車両の画像情報それぞれに基づいてナンバープレートから車両ナンバーを認識することによって、前記第1車両と前記第2車両が同じか否かを判定するようにしてもよい。 Further, in the control device, the determination unit recognizes the vehicle number from the license plate based on the image information of the first vehicle and the image information of the second vehicle. It may be determined whether the vehicles are the same.
この構成によれば、車両ナンバーの画像認識によって、第1車両と第2車両が同じか否かを、高精度で判定することができる。 According to this configuration, it is possible to determine with high precision whether the first vehicle and the second vehicle are the same by image recognition of the vehicle number.
以下、実施形態を図面に基づいて説明する。なお、以下に記載する実施形態の構成、ならびに、当該構成によってもたらされる作用および結果(効果)は、あくまで一例であって、本発明は以下の記載内容に限定されない。 Hereinafter, embodiments will be described based on the drawings. Note that the configuration of the embodiment described below and the actions and results (effects) brought about by the configuration are merely examples, and the present invention is not limited to the following description.
まず、図1および図2を参照して、実施形態にかかる自動バレー駐車システムの概略について説明する。ここで、自動バレー駐車システムとは、例えば白線などの所定の区画線Lで区画された1以上の駐車領域Rを有する駐車場Pにおいて、以下に説明するような自動駐車および自動出庫を含む自動バレー駐車を実現するためのシステムである。なお、自動バレー駐車システムは、所定領域内で車両の走行を制御するシステムの一例である。 First, an outline of an automatic valet parking system according to an embodiment will be described with reference to FIGS. 1 and 2. Here, the automatic valet parking system refers to an automatic valet parking system that includes automatic parking and automatic exit as described below in a parking lot P that has one or more parking areas R divided by predetermined division lines L such as white lines. This is a system to realize valet parking. Note that the automatic valet parking system is an example of a system that controls the running of a vehicle within a predetermined area.
図1は、実施形態にかかる自動バレー駐車システムにおける自動駐車の一例を示した例示的かつ模式的な図である。また、図2は、実施形態にかかる自動バレー駐車システムにおける自動出庫の一例を示した例示的かつ模式的な図である。 FIG. 1 is an exemplary and schematic diagram showing an example of automatic parking in an automatic valet parking system according to an embodiment. Further, FIG. 2 is an exemplary and schematic diagram showing an example of automatic parking in the automatic valet parking system according to the embodiment.
図1および図2に示されるように、自動バレー駐車においては、駐車場P内の所定の降車領域P1で車両Vから乗員Xが降車した後、所定の指示に応じて車両Vが降車領域P1から空きの駐車領域Rへ自動で移動して駐車する自動駐車(図1の矢印C1参照)と、当該自動駐車が完了した後、所定の呼び出しに応じて車両Vが駐車領域Rから出庫して所定の乗車領域P2へ自動で移動して停車する自動出庫(図2の矢印C2参照)と、が実行される。なお、所定の指示および所定の呼び出しは、乗員Xによる端末装置Tの操作によって実現される。 As shown in FIGS. 1 and 2, in automatic valet parking, after a passenger After the automatic parking is completed, the vehicle V automatically moves from the parking area R to an empty parking area R and parks the vehicle (see arrow C1 in FIG. 1). Automatic exit (see arrow C2 in FIG. 2) in which the vehicle automatically moves to a predetermined boarding area P2 and stops is executed. Note that the predetermined instruction and the predetermined call are realized by the passenger X operating the terminal device T.
また、図1および図2に示されるように、自動バレー駐車システムは、駐車場Pに設けられた管制装置101と、車両Vに搭載された車両制御システム102と、を有している。管制装置101と車両制御システム102とは、無線通信によって互いに通信可能に構成されている。
Further, as shown in FIGS. 1 and 2, the automatic valet parking system includes a
ここで、管制装置101は、駐車場P内の状況を撮像する1以上の監視カメラ103から得られる画像データや、駐車場P内に設けられる各種のセンサ(不図示。検出部)などから出力されるデータを受け取ることで駐車場P内の状況を監視し、監視結果に基づいて、駐車領域Rを管理するように構成されている。以下では、駐車場P内の状況を監視するために管制装置101が受け取る情報を総称してセンサデータ(検出データ)と記載することがある。
Here, the
なお、実施形態において、駐車場Pにおける降車領域P1、乗車領域P2、および駐車領域Rの数や配置などは、図1および図2に示された例に限定されない。実施形態の技術は、図1および図2に示された駐車場Pとは異なる様々な構成の駐車場等の所定領域に適用可能である。 In the embodiment, the number and arrangement of the drop-off area P1, boarding area P2, and parking area R in the parking lot P are not limited to the examples shown in FIGS. 1 and 2. The technique of the embodiment is applicable to predetermined areas such as parking lots with various configurations different from the parking lot P shown in FIGS. 1 and 2.
次に、図3および図4を参照して、実施形態にかかる管制装置101および車両制御システム102の構成について説明する。なお、図3および図4に示される構成は、あくまで一例であり、実施形態にかかる管制装置101および車両制御システム102の構成は、種々に設定(変更)可能である。
Next, the configurations of the
まず、図3を参照して、実施形態にかかる管制装置101のハードウェア構成について説明する。図3は、実施形態にかかる管制装置101のハードウェア構成を示した例示的かつ模式的なブロック図である。図3に示されるように、実施形態にかかる管制装置101は、PC(Personal Computer)などといった一般的な情報処理装置と同様のコンピュータ資源を有している。
First, with reference to FIG. 3, the hardware configuration of the
図3に示される例において、管制装置101は、CPU(Central Processing Unit)301と、ROM(Read Only Memory)302と、RAM(Random Access Memory)303と、通信インターフェース(I/F)304と、入出力インターフェース(I/F)305と、SSD(Solid State Drive)306と、を有している。これらのハードウェアは、データバス350を介して互いに接続されている。
In the example shown in FIG. 3, the
CPU301は、管制装置101を統括的に制御するハードウェアプロセッサである。CPU301は、ROM302などに記憶された各種の制御プログラム(コンピュータプログラム)を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。
The
ROM302は、上述した各種の制御プログラムの実行に必要なパラメータなどを記憶する不揮発性の主記憶装置である。
The
RAM303は、CPU301の作業領域を提供する揮発性の主記憶装置である。
The
通信インターフェース304は、管制装置101と外部装置との間の通信を実現するインターフェースである。例えば、通信インターフェース304は、管制装置101と車両V(車両制御システム102)との間の無線通信による信号の送受信を実現する。
The communication interface 304 is an interface that realizes communication between the
入出力インターフェース305は、管制装置101と外部装置との接続を実現するインターフェースである。外部装置としては、例えば、管制装置101のオペレータが使用する入出力デバイスなどが考えられる。
The input/
SSD306は、書き換え可能な不揮発性の補助記憶装置である。なお、実施形態にかかる管制装置101においては、補助記憶装置として、SSD306に替えて(またはSSD306に加えて)、HDD(Hard Disk Drive)が設けられてもよい。
The SSD 306 is a rewritable nonvolatile auxiliary storage device. Note that in the
次に、図4を参照して、実施形態にかかる車両制御システム102のシステム構成について説明する。図4は、実施形態にかかる車両制御システム102のシステム構成を示した例示的かつ模式的なブロック図である。図4に示されるように、車両制御システム102は、制動システム401と、加速システム402と、操舵システム403と、変速システム404と、障害物センサ405と、走行状態センサ406と、通信インターフェース(I/F)407と、車載カメラ408と、モニタ装置409と、車両制御装置410と、車載ネットワーク450と、を有している。
Next, with reference to FIG. 4, the system configuration of the
制動システム401は、車両Vの制動を制御する。制動システム401は、制動部401aと、制動制御部401bと、制動部センサ401cと、を有している。
制動部401aは、例えば、ブレーキペダルなどを含んだ、車両Vを減速させるための装置である。
The
制動制御部401bは、例えば、CPUなどといったハードウェアプロセッサを有したコンピュータにより構成されるECU(Electronic Control Unit)である。制動制御部401bは、車両制御装置410からの指示に基づいてアクチュエータ(不図示)を駆動し、制動部401aを作動させることで、車両Vの減速度合を制御する。
The
制動部センサ401cは、制動部401aの状態を検出するための装置である。例えば、制動部401aがブレーキペダルを含む場合、制動部センサ401cは、制動部401aの状態として、ブレーキペダルの位置または当該ブレーキペダルに作用している圧力を検出する。制動部センサ401cは、検出した制動部401aの状態を車載ネットワーク450に出力する。
The
加速システム402は、車両Vの加速を制御する。加速システム402は、加速部402aと、加速制御部402bと、加速部センサ402cと、を有している。
加速部402aは、例えば、アクセルペダルなどを含んだ、車両Vを加速させるための装置である。
The
加速制御部402bは、例えば、CPUなどといったハードウェアプロセッサを有したコンピュータにより構成されるECUである。加速制御部402bは、車両制御装置410からの指示に基づいてアクチュエータ(不図示)を駆動し、加速部402aを作動させることで、車両Vの加速度合を制御する。
The
加速部センサ402cは、加速部402aの状態を検出するための装置である。例えば、加速部402aがアクセルペダルを含む場合、加速部センサ402cは、アクセルペダルの位置または当該アクセルペダルに作用している圧力を検出する。加速部センサ402cは、検出した加速部402aの状態を車載ネットワーク450に出力する。
The acceleration section sensor 402c is a device for detecting the state of the
操舵システム403は、車両Vの進行方向を制御する。操舵システム403は、操舵部403aと、操舵制御部403bと、操舵部センサ403cと、を有している。
操舵部403aは、例えば、ステアリングホイールやハンドルなどを含んだ、車両Vの転舵輪を転舵させる装置である。
The
操舵制御部403bは、例えば、CPUなどといったハードウェアプロセッサを有したコンピュータにより構成されるECUである。操舵制御部403bは、車両制御装置410からの指示に基づいてアクチュエータ(不図示)を駆動し、操舵部403aを作動させることで、車両Vの進行方向を制御する。
The
操舵部センサ403cは、操舵部403aの状態を検出するための装置である。例えば、操舵部403aがステアリングホイールを含む場合、操舵部センサ403cは、ステアリングホイールの位置または当該ステアリングホイールの回転角度を検出する。なお、操舵部403aがハンドルを含む場合、操舵部センサ403cは、ハンドルの位置または当該ハンドルに作用している圧力を検出してもよい。操舵部センサ403cは、検出した操舵部403aの状態を車載ネットワーク450に出力する。
The
変速システム404は、車両Vの変速比を制御する。変速システム404は、変速部404aと、変速制御部404bと、変速部センサ404cと、を有している。
The
変速部404aは、例えば、シフトレバーなどを含んだ、車両Vの変速比を変更するための装置である。
The
変速制御部404bは、例えば、CPUなどといったハードウェアプロセッサを有したコンピュータにより構成されるECUである。変速制御部404bは、車両制御装置410からの指示に基づいてアクチュエータ(不図示)を駆動し、変速部404aを作動させることで、車両Vの変速比を制御する。
The speed change control unit 404b is, for example, an ECU configured by a computer having a hardware processor such as a CPU. The speed change control section 404b controls the speed ratio of the vehicle V by driving an actuator (not shown) based on instructions from the
変速部センサ404cは、変速部404aの状態を検出するための装置である。例えば、変速部404aがシフトレバーを含む場合、変速部センサ404cは、シフトレバーの位置または当該シフトレバーに作用している圧力を検出する。変速部センサ404cは、検出した変速部404aの状態を車載ネットワーク450に出力する。
The
障害物センサ405は、車両Vの周囲に存在しうる障害物に関する情報を検出するための装置である。障害物センサ405は、例えば、障害物までの距離を検出するソナーなどといった測距センサを含んでいる。障害物センサ405は、検出した情報を車載ネットワーク450に出力する。
走行状態センサ406は、車両Vの走行状態を検出するための装置である。走行状態センサ406は、例えば、車両Vの車輪速を検出する車輪速センサや、車両Vの前後方向または左右方向の加速度を検出する加速度センサや、車両Vの旋回速度(角速度)を検出するジャイロセンサなどを含んでいる。走行状態センサ406は、検出した走行状態を車載ネットワーク450に出力する。
The running
通信インターフェース407は、車両制御システム102と外部装置との間の通信を実現するインターフェースである。例えば、通信インターフェース407は、車両制御システム102と管制装置101との間の無線通信による信号の送受信や、車両制御システム102と端末装置Tとの間の無線通信による信号の送受信などを実現する。
車載カメラ408は、車両Vの周辺の状況を撮像するための装置である。例えば、車載カメラ408は、車両Vの前方、後方、および側方(左右両方)の路面を含む領域を撮像するように複数設けられる。車載カメラ408によって得られた画像データは、車両Vの周辺の状況の監視(障害物の検出も含む)に使用される。車載カメラ408は、得られた画像データを車両制御装置410に出力する。なお、以下では、車載カメラ408から得られる画像データと、車両制御システム102に設けられる上述した各種のセンサから得られるデータと、を総称してセンサデータと記載することがある。
The vehicle-mounted
モニタ装置409は、車両Vの車室内のダッシュボードなどに設けられる。モニタ装置409は、表示部409aと、音声出力部409bと、操作入力部409cと、を有している。
The
表示部409aは、車両制御装置410の指示に応じて画像を表示するための装置である。表示部409aは、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)や、有機ELディスプレイ(OELD:Organic Electroluminescent Display)などによって構成される。
The
音声出力部409bは、車両制御装置410の指示に応じて音声を出力するための装置である。音声出力部409bは、例えば、スピーカによって構成される。
The
操作入力部409cは、車両V内の乗員の入力を受け付けるための装置である。操作入力部409cは、例えば、表示部409aの表示画面に設けられるタッチパネルや、物理的な操作スイッチなどによって構成される。操作入力部409cは、受け付けた入力を車載ネットワーク450に出力する。
The
車両制御装置410は、車両制御システム102を統括的に制御するための装置である。車両制御装置410は、CPU410aや、ROM410b、RAM410cなどといったコンピュータ資源を有したECUである。
より具体的に、車両制御装置410は、CPU410aと、ROM410bと、RAM410cと、SSD410dと、表示制御部410eと、音声制御部410fと、を有している。
More specifically, the
CPU410aは、車両制御装置410を統括的に制御するハードウェアプロセッサである。CPU410aは、ROM410bなどに記憶された各種の制御プログラム(コンピュータプログラム)を読み出し、当該各種の制御プログラムに規定されたインストラクションにしたがって各種の機能を実現する。
ROM410bは、上述した各種の制御プログラムの実行に必要なパラメータなどを記憶する不揮発性の主記憶装置である。 The ROM 410b is a nonvolatile main storage device that stores parameters and the like necessary for executing the various control programs described above.
RAM410cは、CPU410aの作業領域を提供する揮発性の主記憶装置である。
The RAM 410c is a volatile main storage device that provides a work area for the
SSD410dは、書き換え可能な不揮発性の補助記憶装置である。なお、実施形態にかかる車両制御装置410においては、補助記憶装置として、SSD410dに替えて(またはSSD410dに加えて)、HDDが設けられてもよい。
The SSD 410d is a rewritable nonvolatile auxiliary storage device. Note that in the
表示制御部410eは、車両制御装置410で実行される各種の処理のうち、主として、車載カメラ408から得られた画像データに対する画像処理や、モニタ装置409の表示部409aに出力する画像データの生成などを司る。
Among various processes executed by the
音声制御部410fは、車両制御装置410で実行される各種の処理のうち、主として、モニタ装置409の音声出力部409bに出力する音声データの生成などを司る。
Among the various processes executed by the
車載ネットワーク450は、制動システム401と、加速システム402と、操舵システム403と、変速システム404と、障害物センサ405と、走行状態センサ406と、通信インターフェース407と、モニタ装置409の操作入力部409cと、車両制御装置410と、を通信可能に接続する。
The in-
ところで、このような自動バレー駐車システムにおいて、従来技術では、車両が車載センサの検出データに基づいて推定した他車両の位置と、管制装置によって推定されたその他車両の位置とが異なる場合を想定しておらず、改善の余地がある。 By the way, in such an automatic valet parking system, the conventional technology assumes that the position of another vehicle estimated by the vehicle based on the detection data of the on-board sensor is different from the position of the other vehicle estimated by the control device. However, there is room for improvement.
そこで、以下では、自動バレー駐車システムシステムにおいて、車両が車載センサの検出データに基づいて推定した他車両の位置と、管制装置101によって推定されたその他車両の位置が異なる場合に適切に対応できる技術について説明する。
Therefore, in the following, we will discuss a technology that can appropriately deal with the case where the position of another vehicle estimated by the vehicle based on the detection data of the on-board sensor differs from the position of the other vehicle estimated by the
図5は、実施形態にかかる管制装置101および車両制御装置410の機能を示した例示的かつ模式的なブロック図である。この図5に示される機能は、ソフトウェアとハードウェアとの協働によって実現される。つまり、図5に示される例において、管制装置101の機能は、CPU301(図3)がROM302(図3)などに記憶された所定の制御プログラムを読み出して実行した結果として実現される。また、車両制御装置410の機能は、CPU410a(図4)がROM410b(図4)などに記憶された所定の制御プログラムを読み出して実行した結果として実現される。なお、実施形態では、図5に示される管制装置101および車両制御装置410の一部または全部が専用のハードウェア(回路)のみによって実現されてもよい。
FIG. 5 is an exemplary and schematic block diagram showing the functions of the
図5に示されるように、実施形態にかかる管制装置101は、機能的構成として、通信制御部511と、取得部512と、駐車場データ管理部513と、誘導経路生成部514と、推定部515と、判定部516と、車両制御部517と、報知部518と、を有している。
As shown in FIG. 5, the
通信制御部511は、車両制御装置410との間で実行される無線通信を制御する。例えば、通信制御部511は、車両制御装置410との間で所定のデータを送受信することで車両制御装置410の認証を行ったり、自動駐車および自動出庫が完了した際に車両制御装置410から出力される所定の完了通知を受信したり、後述する駐車場Pの地図データや誘導経路などを必要に応じて車両制御装置410に送信したりする。
Communication control unit 511 controls wireless communication performed with
取得部512は、駐車場P内に設けられた検出部から、駐車場P内の車両の検出データを取得する。つまり、取得部512は、駐車場P内に設けられる監視カメラ103や各種のセンサ(不図示)などから上述したセンサデータを取得する。例えば、取得部512は、監視カメラ103から駐車場P内の撮影画像を取得する。取得部512により取得されるセンサデータ(特に監視カメラ103から得られる画像データ)は、例えば、駐車領域Rの空き状況の把握などにも使用することが可能である。
The
駐車場データ管理部513は、駐車場Pに関するデータ(情報)を管理する。例えば、駐車場データ管理部513は、駐車場Pの地図データや、駐車領域Rの空き状況などを管理する。例えば、駐車場データ管理部513は、自動駐車が行われる際、空いている駐車領域Rの中から1つの駐車領域Rを選択し、選択した1つの駐車領域Rを、自動駐車における車両Vの到達目標である目標駐車領域として指定する。また、駐車場データ管理部513は、自動駐車が完了した後に車両Vが再び移動して駐車領域Rが変更された場合、取得部512から取得されるセンサデータに基づいて、変更後の駐車領域Rを特定する。
The parking lot data management unit 513 manages data (information) regarding the parking lot P. For example, the parking lot data management unit 513 manages the map data of the parking lot P, the availability status of the parking area R, and the like. For example, when automatic parking is performed, the parking lot data management unit 513 selects one parking area R from among the vacant parking areas R, and uses the selected one parking area R for the vehicle V in automatic parking. Specify it as the target parking area that is the goal to reach. Furthermore, when the vehicle V moves again after automatic parking is completed and the parking area R is changed, the parking lot data management unit 513 determines the changed parking area based on the sensor data acquired from the
誘導経路生成部514は、自動駐車および自動出庫が行われる際に車両制御装置410に指示する誘導経路を生成する。より具体的に、誘導経路生成部514は、自動駐車が行われる際においては、降車領域P1から目標駐車領域へ至る概略的な経路を誘導経路として生成し、自動出庫が行われる際においては、目標駐車領域(自動駐車後に車両Vが移動している場合には車両Vが現在駐車している駐車領域R)から乗車領域P2へ至る概略的な経路を誘導経路として生成する。
The guide
推定部515は、取得部512によって取得された撮影画像に基づいて、撮影画像に映っている車両の位置を推定する。具体的には、例えば、推定部515は、撮影画像を用いたディープラーニング(深層学習)に基づく手法によって車両の位置を推定することができるが、これに限定されない。
Based on the captured image acquired by the
判定部516は、経時的に複数の撮影画像を用いて、撮影画像において物体による死角領域に入った(つまり、監視カメラ103から見て手前にある物体によって撮影画像から見えなくなった)第1車両と、死角領域から出てきた第2車両が同じか否かを、第1車両の画像情報と第2車両の画像情報に基いて判定する。例えば、判定部516は、第1車両の画像情報と第2車両の画像情報それぞれに基づいてナンバープレートから車両ナンバーを認識することによって、第1車両と第2車両が同じか否かを判定する。しかし、これに限定されず、ほかに、例えば、判定部516は、第1車両の画像情報と第2車両の画像情報に基いて第1車両と第2車両の外観(大きさ、色、形等)を比較することで、第1車両と第2車両が同じか否かを判定してもよい。また、それらの複数の手法を組み合わせてもよい。
The
車両制御部517は、自動バレー駐車システムの対象車両の動作を制御する。例えば、車両制御部517は、対象車両を停止、減速、衝突回避(他車両や歩行者への衝突の回避)等させる制御を行う。
The
報知部518は、自動バレー駐車システムで異常が発生した場合に、対象者(例えば管制装置101の係員)に警報を報知(例えば音声や表示による報知)する。
When an abnormality occurs in the automatic valet parking system, the
一方、図5に示されるように、車両制御装置410は、機能的構成として、通信制御部521と、取得部522と、走行制御部523と、推定部524と、を有している。
On the other hand, as shown in FIG. 5, the
通信制御部521は、管制装置101との間で実行される無線通信を制御する。例えば、通信制御部521は、管制装置101との間で所定のデータを送受信することで車両制御装置410の認証を行ったり、自動駐車および自動出庫が完了した際に所定の完了通知を管制装置101に送信したり、駐車場Pの地図データや誘導経路などを必要に応じて管制装置101から受信したりする。
The
取得部522は、車載カメラ408によって得られる画像データや、車両制御システム102に設けられる各種のセンサから出力されるデータと、を含むセンサデータを取得する。取得部522により取得されるセンサデータは、例えば、管制装置101から受信された誘導経路を基にした実際の走行経路(駐車経路および出庫経路を含む)の生成や、当該走行経路に沿って実際に走行する際に必要となる各種のパラメータ(車速や舵角、進行方向など)の設定など、次の走行制御部523により実行される車両Vの各種の走行制御に使用することが可能である。
The
走行制御部523は、制動システム401や加速システム402、操舵システム403、変速システム404などを制御することで、降車領域P1からの発進制御や、降車領域P1から駐車領域Rへの走行制御(駐車制御を含む)、駐車領域Rから乗車領域P2への走行制御(出庫制御を含む)、乗車領域P2への停車制御などといった、自動駐車および自動出庫を実現するための各種の走行制御を実行するように、車両Vの走行状態を制御する。
The
推定部524は、自動駐車および自動出庫における自車両の自動走行中に、オドメトリ(車輪速センサなどの検出値を用いて自車両の現在位置を推定する手法)等によって自車両の現在位置を推定する。なお、自車両の現在位置の推定の手法としては、オドメトリのほかに、レーザセンサやソナーなどの検出結果に基づく手法や、車載カメラ408による撮影画像データに基づく手法や、GPSに基づく手法などであってもよい。また、それらの複数の手法の2つ以上を組み合わせてもよい。
The
次に、図6を参照して、撮影画像において物体(他車両)による死角領域に車両が入り、その死角領域から車両が出てきた場合に、それらの車両が同じであるときと違うときの例について説明する。図6は、実施形態において、撮影画像において物体による死角領域に車両が入り、その死角領域から車両が出てきた場合に、それらの車両が同じであるときと違うときの例を説明するための例示的かつ模式的な図である。 Next, with reference to FIG. 6, when a vehicle enters a blind spot area caused by an object (another vehicle) and a vehicle comes out of the blind spot area in the photographed image, when the vehicles are the same and when they are different, Let's discuss an example. FIG. 6 is a diagram illustrating an example in which the vehicles are the same and different when a vehicle enters a blind spot area due to an object in a photographed image and a vehicle comes out of the blind spot area in the embodiment. FIG. 2 is an exemplary and schematic diagram.
図6(a)は、撮影画像において物体(他車両)による死角領域に車両が入り、その死角領域から車両が出てきた場合に、それらの車両が同じであるときの説明図である。駐車場Pにおいて、監視カメラ103は、線L1aと線L1bで挟まれた領域を撮影領域として撮影する。その場合、車両V1の存在によって、線L2aと線L2bで挟まれた領域のうち、監視カメラ103から見て車両V1より奥の領域は、死角領域となる。その場合に、その死角領域内に、車両V3が駐車している。また、車両V2は、右側(紙面右側。以下同様)から左側に、途中で死角領域を通過して進行する。
FIG. 6A is an explanatory diagram of a case where a vehicle enters a blind spot area caused by an object (another vehicle) in a photographed image and a vehicle comes out of the blind spot area, and the two vehicles are the same. In the parking lot P, the
一方、図6(b)は、撮影画像において物体による死角領域に車両が入り、その死角領域から車両が出てきた場合に、それらの車両が違うときの説明図である。例えば、車両V2が左側に移動して死角領域に入った直後に、車両V3が動き出して死角領域を左側に出る。 On the other hand, FIG. 6(b) is an explanatory diagram when a vehicle enters a blind spot area caused by an object in a photographed image and a vehicle comes out from the blind spot area, but the vehicles are different. For example, immediately after vehicle V2 moves to the left and enters the blind spot area, vehicle V3 starts moving and exits the blind spot area to the left.
このような場合に、監視カメラ103による撮影画像では、死角領域に1台の車両(第1車両)が入り、その死角領域から1台の車両(第2車両)が出てくることになる。その場合、判定部516によれば、例えば、第1車両の画像情報と第2車両の画像情報それぞれに基づいてナンバープレートから車両ナンバーを認識することによって、第1車両と第2車両が同じか否かを判定することができる。
In such a case, in the image captured by the
次に、図7を参照して、実施形態にかかる管制装置101による処理について説明する。図7は、実施形態にかかる管制装置101による処理を示すフローチャートである。
Next, with reference to FIG. 7, processing by the
まず、ステップS1において、判定部516は、経時的に複数の撮影画像を用いて、死角領域に入った車両(第1車両)があるか否かを判定し、Yesの場合はステップS2に進み、Noの場合は処理を終了する。
First, in step S1, the
ステップS2において、判定部516は、経時的に複数の撮影画像を用いて、死角領域から出た車両(第2車両)があるか否かを判定し、Yesの場合はステップS3に進み、Noの場合は処理を終了する。
In step S2, the determining
ステップS3において、判定部516は、2つの車両が同じか否かを判定する。つまり、判定部516は、例えば、第1車両の画像情報と第2車両の画像情報それぞれに基づいてナンバープレートから車両ナンバーを認識することによって、第1車両と第2車両が同じか否かを判定する。
In step S3, the
次に、ステップS4において、判定部516は、ステップS3での判定結果を記憶部(例えばSSD306)に記憶する。これによって、撮影画像において物体(車両や柱等)による死角領域に車両が入り、その死角領域から車両が出てきた場合でも、それらの車両が同じか否かの判定結果を取得することができる。したがって、その判定結果を、例えば、駐車場P内の車両がこれから駐車するのか所定領域から出るのかを推定するため等に有効に活用できる。
Next, in step S4, the
このように、実施形態の管制装置101によれば、撮影画像において物体による死角領域に入った第1車両と、死角領域から出てきた第2車両が同じか否かを、第1車両の画像情報と第2車両の画像情報に基いて判定することができる。
In this way, according to the
その場合、例えば、車両ナンバーの画像認識によって、第1車両と第2車両が同じか否かを、高精度で判定することができる。 In that case, for example, by image recognition of the vehicle number, it is possible to determine with high accuracy whether the first vehicle and the second vehicle are the same.
以上、本発明の実施形態を説明したが、上述した実施形態はあくまで一例であって、発明の範囲を限定することは意図していない。上述した新規な実施形態は、様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上述した実施形態およびその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Although the embodiments of the present invention have been described above, the embodiments described above are merely examples and are not intended to limit the scope of the invention. The novel embodiment described above can be implemented in various forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. The above-described embodiments and their modifications are included within the scope and gist of the invention, as well as within the scope of the invention described in the claims and its equivalents.
例えば、図6では、死角領域に入った車両と死角領域から出た車両の移動方向が同じであるものとしたが、これに限定されない。それらの移動方向は異なっていてもよい。また、図6では、車両による死角領域について説明したが、これに限定されない。ほかに、柱等の他の物体による死角領域に関しても、本発明を適用できる。 For example, in FIG. 6, it is assumed that the moving direction of the vehicle entering the blind spot area and the vehicle leaving the blind spot area are the same, but the present invention is not limited to this. Their movement directions may be different. Further, although FIG. 6 describes the blind spot area caused by the vehicle, the present invention is not limited thereto. In addition, the present invention can also be applied to blind areas caused by other objects such as pillars.
また、監視カメラ103と解析装置(監視カメラ103による撮影画像に対して各種画像処理を行うコンピュータ装置)を含むインフラ設備を用いて、管制装置101は、インフラ設備から画像処理結果(推定車両位置等)を取得するようにしてもよい。その場合、インフラ設備は広義の管制装置の一部と解釈できる。
In addition, the
101…管制装置、102…車両制御システム、103…監視カメラ、410…車両制御装置、511…通信制御部、512…取得部、513…駐車場データ管理部、514…誘導経路生成部、515…推定部、516…判定部、517…車両制御部、518…報知部、521…通信制御部、522…取得部、523…走行制御部、524…推定部、P…駐車場、V…車両
DESCRIPTION OF
Claims (2)
前記所定領域内に設けられた撮影部から前記所定領域内の撮影画像を取得する取得部と、
前記撮影画像に基づいて、前記撮影画像に映っている車両の位置を推定する推定部と、
経時的に複数の前記撮影画像を用いて、前記撮影画像において物体による死角領域に入った第1車両と、前記死角領域から出てきた第2車両が同じか否かを、前記第1車両の画像情報と前記第2車両の画像情報に基いて判定する判定部と、
を備える管制装置。 A control device in a system that controls vehicle travel within a predetermined area,
an acquisition unit that acquires a captured image within the predetermined area from an imaging unit provided within the predetermined area;
an estimation unit that estimates the position of the vehicle shown in the photographed image based on the photographed image;
Using a plurality of the photographed images over time, it is determined whether or not the first vehicle that entered the blind spot area caused by the object in the photographed images is the same as the second vehicle that came out of the blind spot area. a determination unit that makes a determination based on image information and image information of the second vehicle;
A control device equipped with.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019208453A JP7344095B2 (en) | 2019-11-19 | 2019-11-19 | control device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019208453A JP7344095B2 (en) | 2019-11-19 | 2019-11-19 | control device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021081954A JP2021081954A (en) | 2021-05-27 |
JP7344095B2 true JP7344095B2 (en) | 2023-09-13 |
Family
ID=75965239
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019208453A Active JP7344095B2 (en) | 2019-11-19 | 2019-11-19 | control device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7344095B2 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011227874A (en) | 2010-03-30 | 2011-11-10 | Ns Solutions Corp | Information processing device, system, empty space guide method and program |
JP2016207120A (en) | 2015-04-28 | 2016-12-08 | トヨタ自動車株式会社 | Device for tracking moving object on image |
-
2019
- 2019-11-19 JP JP2019208453A patent/JP7344095B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011227874A (en) | 2010-03-30 | 2011-11-10 | Ns Solutions Corp | Information processing device, system, empty space guide method and program |
JP2016207120A (en) | 2015-04-28 | 2016-12-08 | トヨタ自動車株式会社 | Device for tracking moving object on image |
Also Published As
Publication number | Publication date |
---|---|
JP2021081954A (en) | 2021-05-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9308913B2 (en) | Automatic parking system | |
CN109747635B (en) | Vehicle control device and parking system | |
US11230284B2 (en) | Driving assistance apparatus and driving assistance method | |
JP7069772B2 (en) | Vehicle control system, parking lot control system and automatic valley parking system | |
JP2019160086A (en) | Parking control device and vehicle control device | |
JP6996246B2 (en) | Vehicle control device | |
EP3366540A2 (en) | Information processing apparatus and non-transitory computer-readable recording medium | |
CN105984342A (en) | Driving control device | |
CN108351958A (en) | The detection method and device of the wire on parking stall | |
JP7275520B2 (en) | vehicle controller | |
EP3290301A1 (en) | Parking assist device | |
JP2021000952A (en) | Parking support system | |
JP7251190B2 (en) | Vehicle cruise control system | |
JP2020032860A (en) | Vehicle control device, automatic operation control system, and vehicle control method | |
CN112977428B (en) | Parking assist system | |
JPWO2019142312A1 (en) | Vehicle control device, vehicle with it, and control method | |
KR20180012128A (en) | Apparatus for estimating 3d position of vehicle and method thereof | |
JP7102765B2 (en) | Vehicle control device | |
JP6595647B2 (en) | Travel control device, vehicle, and travel control method | |
CN113492846B (en) | Control device, control method, and computer-readable storage medium storing program | |
JP2020152192A (en) | Vehicle control apparatus, vehicle control method, vehicle, and program | |
JP2020042643A (en) | Vehicle controller | |
JP2020035105A (en) | Vehicle communication control device, vehicle communication control system, vehicle communication control method, and vehicle communication control program | |
JP7139618B2 (en) | Vehicle controller and parking lot | |
JP7344095B2 (en) | control device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20191129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20191129 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221025 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7344095 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |