JP2021009642A - Driving information control device and driving information control system - Google Patents
Driving information control device and driving information control system Download PDFInfo
- Publication number
- JP2021009642A JP2021009642A JP2019124279A JP2019124279A JP2021009642A JP 2021009642 A JP2021009642 A JP 2021009642A JP 2019124279 A JP2019124279 A JP 2019124279A JP 2019124279 A JP2019124279 A JP 2019124279A JP 2021009642 A JP2021009642 A JP 2021009642A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- information
- information control
- landmark
- driving information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000694 effects Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 38
- 238000012545 processing Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 240000004050 Pentaglottis sempervirens Species 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000002347 injection Methods 0.000 description 1
- 239000007924 injection Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、運転情報制御装置および運転情報制御システムに関する。 The present invention relates to a driving information control device and a driving information control system.
近年、自動車等の運転に関しては自動運転や駐車支援の実施に関する要求が高まっており、これに伴って自車両周辺の構造物などの情報を取得管理することが必要となっている。 In recent years, there has been an increasing demand for automatic driving and parking support for driving automobiles and the like, and along with this, it is necessary to acquire and manage information such as structures around the own vehicle.
このような、運転に係る情報の取り扱いに関する技術として、例えば、特許文献１には、車両に搭載される状態判定装置であって、前記車両の運転者が視認すべき対象物を特定する対象物特定手段と、前記車両の運転者の状態を検出する状態検出手段と、前記状態検出手段により検出された運転者の状態が、前記対象物特定手段により特定された前記対象物に応じた所定の状態であるか否かを判定する判定手段と、を備える状態判定装置が開示されている。
As such a technique for handling information related to driving, for example,
また、特許文献２には、車両の周辺環境を検知する画像認識手段と前記車両の走行を制御する走行制御装置を有する走行制御システムであって、前記車両の周辺環境を記憶する周辺環境記憶手段を有し、前記周辺環境記憶手段に記憶された周辺環境の情報と前記画像認識手段による検出情報とに基づいて求められた前記画像認識手段の検知性能の状態に基づき、前記走行制御装置にて行う走行制御のモードを変更させる走行制御システムが開示されている。
Further,
上記特許文献１に記載の従来技術においては、走行中に経路上や道路周辺のユーザーが視認すべき対象物となるオブジェクトを特定し、車内ユーザー監視装置の車内撮影カメラが撮影した顔画像に基づいて、ユーザーがオブジェクトを視認しているか否か、すなわち、運転可能状態であるか否かを判定している。認識すべきオブジェクトとしては、信号や各種標識、白線及び黄色線、横断歩道、道路標示などが挙げられる。また、自動運転や駐車支援などにおいては、自車両周辺のオブジェクトを特定し、その情報に基づいて自車両の動作を制御する必要があり、上記特許文献２に記載の従来技術においては、自車両が走行した経路と自車両周辺の物体や白線等といったオブジェクトを特定して周辺環境情報として記憶し、記憶した周辺環境情報を用いて自車両を制御している。
In the prior art described in
しかしながら、上記従来技術においては、自車両周辺のオブジェクトを特定することはできるものの、特定したオブジェクトが具体的にどこに存在するものであるかを特定することはできない。すなわち、特定されるオブジェクトの固体識別が出来ないため、特定したオブジェクトが自動運転や運転支援における自車両の走行経路上のオブジェクトであるのか否かを判定することができず、また、走行経路上のオブジェクトであったとしても、同様のオブジェクトが経路上に複数ある場合にはユニークな存在ではない可能性があり、自動運転や運転支援のような車両の走行の制御にランドマークとして用いるには情報の精度が不十分であった。 However, in the above-mentioned prior art, although it is possible to specify an object around the own vehicle, it is not possible to specify where the specified object is specifically located. That is, since the individual identification of the specified object cannot be performed, it cannot be determined whether or not the specified object is an object on the traveling path of the own vehicle in automatic driving or driving support, and it is not possible to determine on the traveling route. Even if it is an object of, it may not be unique if there are multiple similar objects on the route, and it can be used as a landmark for controlling the running of a vehicle such as automatic driving and driving assistance. The accuracy of the information was insufficient.
本発明は上記に鑑みてなされたものであり、車両の走行の制御に用いるオブジェクトのランドマークとしての情報の精度を向上することができる運転情報制御装置および運転情報制御システムを提供することを目的とする。 The present invention has been made in view of the above, and an object of the present invention is to provide a driving information control device and a driving information control system capable of improving the accuracy of information as landmarks of objects used for controlling the running of a vehicle. And.
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、車両に設けられた撮像センサで取得される画像から車両周辺の特定の物体をランドマークとして認識し、認識した前記物体を車両の走行の制御に用いる情報として記憶する運転情報制御装置であって、前記撮像センサで撮像された画像が表示された表示画面へのユーザーの接触操作による入力操作により選択された画像中の特定の物体をランドマークとして記憶するものとする。 The present application includes a plurality of means for solving the above problems. For example, a specific object around the vehicle is recognized and recognized as a landmark from an image acquired by an image sensor provided in the vehicle. An image selected by a user's contact operation on a display screen on which an image captured by the image sensor is displayed, which is a driving information control device that stores the object as information used for controlling the running of the vehicle. It is assumed that a specific object inside is memorized as a landmark.
本発明によれば、車両の走行の制御に用いるオブジェクトのランドマークとしての情報の精度を向上することができる。 According to the present invention, it is possible to improve the accuracy of information as a landmark of an object used for controlling the traveling of a vehicle.
以下、本発明の一実施の形態について図面を参照しつつ説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
図１は、車両の構成を模式的に示す図である。 FIG. 1 is a diagram schematically showing the configuration of a vehicle.
図１において、車両（以降、自車両と称する）１００は、駆動力源としての、例えば筒内噴射式ガソリンエンジン１と、エンジン１に接離可能な自動変速機２と、プロペラシャフト３と、ディファレンシャルギア４と、ドライブシャフト５と、４つの車輪６と、各車輪に設けられたブレーキ装置１０と、電動パワーステアリング１１とを備えて概略構成された後輪駆動車である。ブレーキ装置１０には、車輪６の回転速度に応じてパルス波形を生成して出力する車輪速センサ１０ａが設けられている。
In FIG. 1, the vehicle (hereinafter referred to as own vehicle) 100 includes, for example, an in-cylinder injection
車両１００の前方、後方、及び左右の側方には、それぞれ、撮像センサ７ａ〜７ｄが配備されている。撮像センサ７ａ〜７ｄは、車両１００の周囲の物体や白線等の道路環境を撮像して出力する。なお、撮像センサ７ａ〜７ｄの取り付け位置や数などは上記に限定されるものではなく、車両１００の周囲の情報を取得できるように設けられていれば良い。
また、自車両１００には、車両制御装置８及び各種センサ類９、アクチュエータ、機器類などが設けられており、これらは車内ＬＡＮやＣＡＮ通信を通じて信号やデータの授受が可能である。車両制御装置８は、撮像センサ７ａ〜７ｄ、し車輪速センサ１０ａ、センサ類９などから自車両１００内部および外部の情報を得て、自動駐車（駐車支援制御）や自動運転（自動運転制御）等の制御を実現するための指令値を、エンジン１、ブレーキ装置１０、電動パワーステアリング１１、トランスミッション２などへ送信する。
Further, the
なお、本実施の形態においては、駆動力源としてガソリンエンジンを例示して説明するが、これに限られず、例えば、駆動力源としてディーゼルエンジンや電動機などを用いてもよい。また、駆動方式として後輪駆動を例示して説明するが、これに限られず、例えば、前輪駆動や常時全輪駆動などに本発明を適用しても良い。また、自動変速機を用いた車両を例示して説明したが、これに限られず、例えば、無段変速機（ＣＶＴ）を採用した車両に本発明を適用しても良い。 In the present embodiment, the gasoline engine will be described as an example of the driving force source, but the present invention is not limited to this, and for example, a diesel engine, an electric motor, or the like may be used as the driving force source. Further, the rear wheel drive will be described as an example of the drive system, but the present invention is not limited to this, and the present invention may be applied to, for example, front wheel drive or constant all-wheel drive. Moreover, although the vehicle using the automatic transmission has been described as an example, the present invention is not limited to this, and the present invention may be applied to, for example, a vehicle using a continuously variable transmission (CVT).
図２は、運転情報制御システムを構成する車両制御装置を関連構成とともに抜き出して示す機能ブロック図である。なお、本実施の形態においては、駐車支援制御を行う駐車支援システムの一部として運転情報制御システムを適用する場合を例示して説明する。 FIG. 2 is a functional block diagram showing the vehicle control devices constituting the driving information control system extracted together with the related configurations. In the present embodiment, a case where the driving information control system is applied as a part of the parking support system that performs parking support control will be described as an example.
ここで、駐車支援制御の概要について説明する。 Here, the outline of the parking support control will be described.
図３は、駐車支援制御の一例を示す図である。 FIG. 3 is a diagram showing an example of parking support control.
図３では、自車両１００が、日常的に利用する経路（走行経路１０９）を通って保管場所まで走行し、駐車位置１０１で停止する駐車支援制御を行う場合を例示している。
FIG. 3 illustrates a case where the
駐車支援制御では、事前に走行経路１０９及び走行経路周辺の環境情報と、駐車を開始する駐車開始位置とを駐車支援システムに予め記憶させておく。例えば、乗員が自身で自車両１００を運転しているときに、地点１０２にて周辺環境情報の記憶開始を指示することで、事前に走行経路１０９及び走行経路周辺の環境情報を記憶させておく。また、ここでは、地点１０２を駐車開始位置１０２として設定したものとする。
In the parking support control, the
記憶の対象は、例えば、道路脇に存在する電柱１０３、信号機１０４、横断歩道１０５、標識１０７、路面標示１０６、白線１０８など、駐車支援システムにおける認識時点で運動していないものとする。
It is assumed that the object of memory is not exercising at the time of recognition in the parking support system, such as a
そして、この状態で、次に自車両１００が同じ経路を通って駐車開始位置に到達した場合に、乗員に対して駐車支援制御が可能である旨を通知する。ここで、乗員が駐車支援制御の開始を指示すると、駐車支援システムは、自車両１００の操舵および車速を制御することにより、記憶した経路１０９を追従しながら自動的に走行を行い、駐車位置１０１位置に停車（駐車）する。
Then, in this state, when the
図２において、運転情報制御システムは、撮像センサ７ａ〜７ｄ、ＨＭＩ３１、車輪センサ３４、位置検出器３５、通信装置３６、アクチュエータＥＣＵ４０、ＨＭＩ４１、及び車両制御装置８によって構成される。
In FIG. 2, the driving information control system includes
ＨＭＩ（Human Machine Interface）３１，４１は、内部構成として入力スイッチ部３２、タッチ操作機能部３３、表示器４２、音声出力器４３などを備えている。
The HMIs (Human Machine Interfaces) 31 and 41 include an
表示器４２は、例えば、液晶ディスプレイによって構成され、表示器４２の表示画面には、後述する撮像センサで撮像した俯瞰画像を表示したり、車両制御装置８からの画像信号の画像を表示したりする。タッチ操作機能部３３は、接触操作によって各種選択や指示の入力などを行う機能であり、例えば、静電容量式のタッチパネルなどで構成されている。例えば、ＨＭＩ３１，４１の一部を構成するタッチ操作機能部３３や表示器４２などの機能は、タッチパネル式の液晶ディスプレイで実現することができ、運転者を含む乗員によるディスプレイへの接触操作によって各種操作を行うことができる。
The
入力スイッチ部３２は、例えば、自車両１００の運転席周辺に設けられた専用の機械式スイッチである。なお、入力スイッチ部３２は、ＧＵＩ（Graphical User Interface）スイッチなどであってもよい。入力スイッチ部３２は、駐車支援制御等に先立って周辺環境を記憶させる指示や車両を自動制御させる指示を運転者を含む乗員の操作によって受け付ける。
The
音声出力器４３は、例えば、スピーカーによって構成され、自車両１００の車室内の適切な場所に配置され、運転者を含む乗員への音声案内や警告音の出力に利用される。
The
撮像センサ７ａ〜７ｄは、物体や白線や標識の情報を撮像するためのものであり、例えば、単眼のＣＣＤカメラ、或いは、ステレオカメラ等で構成することができる。撮像センサ７ａ〜７ｄにより撮像される画像は、例えば、自車両１００を含む周辺を車両上方に配置した仮想視点から見下ろした俯瞰画像に合成処理することができる。
The
車輪センサ３４は、自車両１００の各車輪６に取り付けられ車輪の回転速度を検出する車輪速センサ１０ａと、車輪速センサ１０ａにより検出された検出値を統合して車速信号データを生成して出力するコントローラ（図示せず）により構成されている。
The
位置検出器３５は、自車両１００の前方の方位（向き）を測定する方位センサと、衛星からの電波に基づいて車両の位置を測定するＧＰＳ（Global Positioning System）のためのＧＰＳ受信機などで構成される。
The
通信装置３６は、自車両１００の外部からの通信を授受する装置であり、例えば、自車両周辺の道路情報として路面情報（レーンマーカー位置、停止線位置、横断歩道、などの路面ペイント種別と位置など）と物体情報（標識、信号機、地物、など道路周辺に存在する物体）を取得する。これらの情報としては、道路インフラに設置されたセンサによって検知した情報、外部データセンタに記憶された道路周辺情報（路面情報や物体情報など）、他車両が検知した道路周辺情報（路面情報や物体情報など）を用いることが可能である。また、事前に記憶している走行周辺の道路情報を通信装置３６を用いて最新の情報に変更することも可能である。
The
アクチュエータＥＣＵ４０は、例えば、駆動力を操作するアクセルペダルや制動力を操作するブレーキペダル、パーキングブレーキ、車両の進路方向を操作するステアリング、車両の進行方向を操作するシフトレバー等の機械要素や信号変換装置である。
The
車両制御装置８は、自車位置推定部５１、外界認識情報変換部５２、周辺環境記憶部５３、記憶情報照合部５４、車両制御部５５と、及び自車位置推定部５１を備えている。情報制御部５６は、外界認識情報変換部５２、周辺環境記憶部５３、及び記憶情報照合部５４の動作を制御する。
The
自車位置推定部５１は、位置検出器３５や車輪センサ３４より出力される情報に基づいて、自車両１００が走行する位置を演算して推定する。
The own vehicle
外界認識情報変換部５２は、撮像センサ７ａ〜７ｄで撮像された画像から手動記憶または自動記憶により取得（記憶）された周辺環境情報（オブジェクトの位置等）と、自車位置推定部５１より出力される自車両１００の位置とを特定の座標系（例えば、地球座標系）における位置関係として座標情報に変換する。
The external world recognition
周辺環境記憶部５３は、外界認識情報変換部５２で得られた座標情報を記憶する。
The surrounding
記憶情報照合部５４は、周辺環境記憶部５３に記憶された座標情報（周辺環境情報、位置情報）と、自車位置推定部５１からの自車両１００の位置情報と、撮像センサ７ａ〜７ｄによって検知した自車両１００の周辺環境の情報とに基づいて、撮像センサ７ａ〜７ｄで撮像された画像から得られる周辺環境情報と周辺環境記憶部５３の周辺環境情報との特徴量を照合し、自車両１００の位置に対応した対象物が合致しているか否かを判定する。例えば、特徴量の合致度合が高い場合は、低速自動運転可能状態（駐車支援制御が可能な状態）であると判定し、特徴量が低い場合は低速時動運転不可状態（駐車支援制御が不可能な状態）であると判定する。
The storage
車両制御部５５は、駐車支援制御を実施する際にアクチュエータＥＣＵ４０を制御する目標値を演算すると共に、制御指示を出力する。
The
以上のように構成した運転情報制御システムにおける周辺環境情報の記憶手順について説明する。 The procedure for storing the surrounding environment information in the driving information control system configured as described above will be described.
図４及び図５は、周辺環境情報の記憶に係る処理を示すフローチャートであり、図４は手動走行時を、図５は自動走行時をそれぞれ示している。また、図６及び図７は、暫定記憶処理の処理内容を示すフローチャートであり、図６は自動記憶の場合を、図７は手動記憶の場合をそれぞれ示している。また、図８は、永久記憶処理の処理内容を示すフローチャートである。 4 and 5 are flowcharts showing processing related to storage of surrounding environment information, FIG. 4 shows a manual running time, and FIG. 5 shows an automatic running time. 6 and 7 are flowcharts showing the processing contents of the provisional storage process, FIG. 6 shows the case of automatic storage, and FIG. 7 shows the case of manual storage. Further, FIG. 8 is a flowchart showing the processing contents of the permanent storage process.
図４において、車両制御装置８は、運転者が手動走行を行っている場合に（ステップＳ１００）、暫定記憶処理（後の図６、図７参照）を行う（ステップＳ１１０）。続いて、自車両１００が停車しているかどうかを判定し（ステップＳ１２０）、判定結果がＮＯの場合、すなわち、停車していない場合（走行中などの場合）には、判定結果がＹＥＳになるまでステップＳ１００〜Ｓ１２０の処理を繰り返す。
In FIG. 4, the
また、ステップＳ１２０での判定結果がＹＥＳの場合、すなわち、自車両１００が停車している場合には、永久記憶処理（後の図８参照）を行い（ステップＳ１３０）、処理を終了する。
If the determination result in step S120 is YES, that is, when the
また、図５において、車両制御装置８は、まず、運転者が手動走行を行っている場合に（ステップＳ２００）、記憶済みのランドマークを検出したかどうかを判定し（ステップＳ２１０）、判定結果がＮＯの場合には、判定結果がＹＥＳになるまでステップＳ２００の手動運転を継続する。
Further, in FIG. 5, the
また、ステップＳ２１０での判定結果がＹＥＳの場合、すなわち、記憶済みのランドマークを検出した場合には、自車両１００の運転者を含む乗員全員に自動走行を実施する旨を報知し（ステップＳ２２０）、運転者または乗員に自動走行を指示された場合に自動走行を実行する（ステップＳ２３０）。このように、自動走行を実施するかしないかの判断を運転者に促すことで、自動車が記憶しているランドマークを検出しても意図せず自動走行を開始することを防ぐことができる。なお、本実施の形態においては説明の簡単のために、ステップＳ２２０において自動走行が指示される場合のみを考えている。
Further, when the determination result in step S210 is YES, that is, when the memorized landmark is detected, all the occupants including the driver of the
ステップＳ２３０において自動走行を行っている場合に、暫定記憶処理（後の図６、図７参照）を行い（ステップＳ２４０）、続いて、自車両１００が停止しているかどうかを判定する（ステップＳ２５０）。ステップＳ２５０での判定結果がＮＯの場合には、判定結果がＹＥＳになるまでステップＳ２３０，Ｓ２４０の処理を繰り返す。
When the automatic driving is performed in step S230, provisional storage processing (see FIGS. 6 and 7 below) is performed (step S240), and then it is determined whether or not the
また、ステップＳ２５０での判定結果がＹＥＳの場合、すなわち、すなわち、自車両１００が停車している場合には、永久記憶処理（後の図８参照）を行い（ステップＳ２６０）、処理を終了する。
If the determination result in step S250 is YES, that is, when the
ここで、暫定記憶処理について説明する。暫定記憶処理には、自動記憶する場合、すなわち、車両制御装置８が運転者を含む乗員の意図に問わずランドマークを記憶する場合と、手動記憶する場合、すなわち、運転者を含む乗員が特定の画面をタッチすることで記憶する場合とがある。本実施の形態においては、自動記憶と手動記憶とを可能にすることで、自動記憶による運転者の操作を低減しつつ、手動記憶により運転者を含む乗員の意図に沿うランドマークを記憶することが可能になる。
Here, the provisional storage process will be described. In the provisional storage process, the case of automatic storage, that is, the case where the
図６において、車両制御装置８は、自動記憶の暫定記憶処理（ステップＳ３００：図４のステップＳ１１０、図５のステップＳ２４０）の場合、まず、ランドマークを検出し（ステップＳ３０１）、検出したランドマークをＨＭＩ上で運転者を含む乗員に報知する（ステップＳ３０２）。ここでは、橙色の枠でランドマークを囲むことで運転者を含む乗員に検出したランドマークを報知する場合を例示している。なお、検出したランドマークの報知方法は他の方法を用いても良く、例えば、音を発生したり、囲んだ枠を点滅させたり、時間経過で色を変えたりしても良い。このように、ＨＭＩで検出したランドマークを枠で囲んだり、音を発生したりして運転者を含む乗員に報知することにより、視覚だけでなく聴覚でも理解することができ、運転者を含む乗員に何のランドマークを認識したか、またどのタイミングで認識したかを理解させることができる。
In FIG. 6, in the case of the provisional storage process of automatic storage (step S300: step S110 of FIG. 4, step S240 of FIG. 5), the
続いて、視認したランドマークを暫定記憶するかどうかを運転者を含む乗員（ユーザー）に問い合わせし（ステップＳ３０３）、判定結果がＮＯの場合、すなわち、暫定記憶をしない旨の指示がなされた場合には、ＨＭＩ上に記憶不可の旨のメッセージを表示し（ステップＳ３０４）、処理を終了する。また、ステップＳ３０３での判定結果がＹＥＳの場合、すなわち、暫定記憶をする旨の指示がなされた場合には、ＨＭＩ上に記憶済みの旨のメッセージを表示し（ステップＳ３０５）、処理を終了する。 Subsequently, the occupant (user) including the driver is inquired as to whether or not to temporarily memorize the visually recognized landmark (step S303), and when the determination result is NO, that is, when an instruction is given not to tentatively memorize the landmark. Displays a message to the effect that it cannot be stored on the HMI (step S304), and ends the process. If the determination result in step S303 is YES, that is, when an instruction to perform provisional storage is given, a message indicating that the memory has been stored is displayed on the HMI (step S305), and the process ends. ..
図７において、車両制御装置８は、手動記憶の暫定記憶処理（ステップＳ４００：図４のステップＳ１１０、図５のステップＳ２４０）の場合、まず、運転者を含む乗員がＨＭＩに表示されているカメラ画面をタッチし（ステップＳ４０１）、車両制御装置８は、暫定記憶可能かどうかを判定する（ステップＳ４０２）。ステップＳ４０２での判定結果がＮＯの場合、すなわち、例えば、メモリ容量が不足して暫定記憶が不可である場合には、ＨＭＩ上に記憶不可である旨のメッセージを表示して（ステップＳ４０３）、処理を終了する。また、ステップＳ４０２での判定結果がＹＥＳの場合、すなわち、暫定記憶が可能である場合には暫定記憶を実施し、ＨＭＩ上に記憶した旨のメッセージを表示して（ステップＳ４０４）、処理を終了する。
In FIG. 7, in the case of the provisional storage process of manual storage (step S400: step S110 in FIG. 4, step S240 in FIG. 5), the
なお、図６及び図７の処理において暫定記憶処理を行う場合、カメラ画面の例えば右上などにメモリ容量を表示し、その容量をリアルタイムで増減させることで運転者を含む乗員にメモリ容量をその都度確認させることができ、暫定記憶の可否の目安を知らせることができる。 When the provisional storage process is performed in the processes of FIGS. 6 and 7, the memory capacity is displayed on the upper right of the camera screen, for example, and the memory capacity is increased or decreased in real time to give the memory capacity to the occupants including the driver each time. It can be confirmed and can inform the guideline of whether or not the provisional memory is possible.
図８において、車両制御装置８は、永久記憶処理（ステップＳ４００：図４のステップＳ１３０、図５のステップＳ２６０）の場合、まず、運転者を含む乗員がセッティングボタン（例えば、入力スイッチ部３２）を押下し（ステップＳ５０１）、ＨＭＩにセッティング画面を表示させて運転者を含む乗員に永久記憶処理の開始を選択させ（ステップＳ５０３）、ＨＭＩに前提記憶のランドマークの画像（データファイル）と位置情報とをダイジェスト表示する（ステップＳ５０３）。なお、画像ファイルではなく、ＧＰＳ情報や自車位置推定の情報の位置情報により、複数記憶した暫定記憶のランドマークの推定位置を表示してもよい。この場合には、複数記憶した暫定記憶のランドマークを画像と位置情報でＨＭＩに表示する際に懸念されるファイルサイズの大きさを削減することができる。
In FIG. 8, in the case of the permanent storage process (step S400: step S130 of FIG. 4, step S260 of FIG. 5), the
続いて、運転者を含む乗員が、ＨＭＩ上に表示されている複数の暫定記憶のランドマーク（データファイル）の中から記憶させるランドマークをタッチすることで選択する（ステップＳ５０４）。このように、運転者を含む乗員が記憶させるランドマークを選択することで、次回手動走行する際に、どの経路を走行すればよいかを理解させることができる。また、ＨＭＩに表示することで、運転者を含む乗員がどのランドマークを記憶させればよいかを視覚的に報知することができる。また、記憶したランドマークを画像と位置表示を併せて表示することで、同じランドマークを記憶した場合でも、位置情報で判別することができる。さらに、運転者がどの経路を走行すれば自動走行が開始できるかを把握することができ、自動走行開始位置の精度をあげることが可能になる。 Subsequently, the occupant including the driver selects the landmark to be stored from the plurality of temporary storage landmarks (data files) displayed on the HMI by touching the landmark (step S504). In this way, by selecting the landmarks to be stored by the occupants including the driver, it is possible to make them understand which route should be taken the next time the manual driving is performed. In addition, by displaying it on the HMI, it is possible to visually notify which landmarks the occupants including the driver should memorize. Further, by displaying the stored landmark together with the image and the position display, even if the same landmark is stored, it can be discriminated by the position information. Further, it is possible to grasp which route the driver should take to start the automatic driving, and it is possible to improve the accuracy of the automatic driving start position.
続いて、永久記憶をするかどうかを運転者を含む乗員に問い合わせし（ステップＳ５０５）、判定結果がＮＯの場合には、ＨＭＩ上に当該暫定記憶を削除する旨のメッセージを表示して（ステップＳ５０６）、処理を終了する。また、ステップＳ５０５での判定結果がＹＥＳの場合、すなわち、永久記憶を行うことが選択された場合には、永久記憶を実施し、ＨＭＩ上に記憶した旨のメッセージを表示して（ステップＳ４０４）、処理を終了する。 Subsequently, the occupant including the driver is inquired as to whether or not to perform permanent memory (step S505), and if the determination result is NO, a message indicating that the provisional memory is to be deleted is displayed on the HMI (step S505). S506), the process is terminated. If the determination result in step S505 is YES, that is, if permanent storage is selected, permanent storage is performed and a message indicating that the memory is stored on the HMI is displayed (step S404). , End the process.
ここで、永久記憶したランドマークの映像ファイルやＧＰＳなどの各種情報はＥＣＵまたはＳＤカードなどのメモリに保存が可能であるものとする。ＳＤカードや外部媒体記憶に保存することで、大容量の記憶を保存することが可能になる。また、ＳＤカードに複数の目的地までの走行する経路上にあるランドマークを記憶することも可能となり、複数の目的地に到達できる。また、外部記憶媒体に保存することで、車両が変わったとしても、同じシステムを搭載している車両に適用することが可能となる。なお、外部記憶媒体はＳＤカード以外の記憶媒体でもよく、ネットワークなどで接続された外部のサーバーでもよい。 Here, it is assumed that the permanently stored landmark video file and various information such as GPS can be saved in a memory such as an ECU or an SD card. By saving to an SD card or external medium storage, it is possible to save a large amount of storage. In addition, it is possible to store landmarks on a route traveling to a plurality of destinations on the SD card, and it is possible to reach a plurality of destinations. Further, by saving in an external storage medium, even if the vehicle changes, it can be applied to a vehicle equipped with the same system. The external storage medium may be a storage medium other than the SD card, or may be an external server connected by a network or the like.
以上のような暫定記憶処理や永久記憶処理におけるＨＭＩでの表示の様子を図面を参照しつつ説明する。 The state of display by HMI in the above-mentioned provisional storage processing and permanent storage processing will be described with reference to the drawings.
図９〜図１２は、暫定記憶処理におけるＨＭＩでの表示の様子を示す図であり、図９は手動記憶の様子を、図１０は手動記憶および自動記憶の様子を、図１１は暫定記憶を行った場合の様子を、図１２は暫定記憶を行わなかった場合の様子をそれぞれ示している。 9 to 12 are diagrams showing a state of display by HMI in the provisional storage process, FIG. 9 shows a state of manual memory, FIG. 10 shows a state of manual memory and automatic memory, and FIG. 11 shows a state of provisional memory. FIG. 12 shows the state when the provisional memory was performed, and the state when the provisional memory was not performed.
図９〜図１２においては、ＨＭＩ３３，４２の表示例として、自車両１００の前方の映像として、自車両１００、標識２０１、信号機２０２、横断歩道２０３のほか、ランドマークとしてのオブジェ１＿２１１、オブジェ２＿２１２、オブジェ３＿２１３、及び、メモリ容量２２０が表示されている場合を示している。なお、各図においては符号を省略することもある。
In FIGS. 9 to 12, as a display example of the
図９は、運転者を含む乗員がカメラ画面に表示されているランドマークをタッチして手動で記憶させる様子を示している。図９では、図７のステップＳ４０１のように、ＨＭＩ３３，４２に表示されたオブジェクトのうち記憶させたいもの（ここでは、オブジェ１＿２１１）を運転者を含む乗員がタッチする場合を例示している。
FIG. 9 shows a state in which an occupant including a driver touches a landmark displayed on the camera screen and manually memorizes it. FIG. 9 illustrates a case where an occupant including a driver touches an object (here, object 1-211) to be stored among the objects displayed on the
図１０は、手動または自動でランドマークを記憶する様子を示している。図１０では、一般的な道路等を走行する自車両１００の環境情報として認識される頻度が多くなると想定される、すなわち、比較的普遍的に配置されていて数の多いオブジェクトである標識２０１や信号機２０２などが自動記憶の対象となり、例えば、図６のステップＳ３０２のように、ＨＭＩ３３，４２上において橙色等の枠２０１ａ，２０２ａで囲むことで運転者を含む乗員に当該オブジェクトがランドマークとして自動記憶の対象となったことを報知する。また、ランドマークとして手動記憶の対象となったオブジェクト（例えば、オブジェ１＿２１１、オブジェ２＿２１２）は、自動記憶の対象となったオブジェクトと区別するために、例えば、赤色等の枠２１１ａ，２１２ａで囲むことで、手動記憶の対象となったことを運転者を含む乗員に報知することができる。なお、報知の方法としては、音を発生させたり、枠を点滅させたりしてもよい。
FIG. 10 shows how the landmark is memorized manually or automatically. In FIG. 10, it is assumed that the frequency of recognition as environmental information of the
図１１は、暫定記憶処理において記憶を実施した（記憶が成功した）様子を示している。図１１では、図６のステップＳ３０５や図７のステップＳ４０４のように、暫定記憶を実施した旨を報知するメッセージ２４０をＨＭＩ３３，４２に表示して運転者を含む乗員に報知する。このとき、メモリ容量２２０をリアルタイムで更新し、また、枠線２２０ａ等で囲むことで運転者を含む乗員にそのことを報知する。なお、メモリ容量の表示内容については、メートル表示や時間表示などとし、運転者を含む乗員が容易に把握しやすい表示内容で報知する。また、記憶を続けることでメモリ容量が最大容量を超える場合は、古い記憶から削除してリライトを行う。メモリ容量を超える場合、古い情報を上書きして新しい情報を残すことで、運転者を含む乗員の記憶にも新しいものが残ることになり、常に最新の情報となるため、例えば、周辺環境の変化に対しても最新の情報を保持することができるので、利便性を向上することができる。
FIG. 11 shows how the memory was executed (memory was successful) in the provisional memory process. In FIG. 11, as in step S305 of FIG. 6 and step S404 of FIG. 7, a
図１２は、暫定記憶処理において記憶を実施していない（記憶が失敗した）様子を示している。図１２では、図６のステップＳ３０４や図７のステップＳ４０３のように、暫定記憶を実施していない旨を報知するメッセージ２４１をＨＭＩ３３，４２に表示して運転者を含む乗員に報知する。なお、運転者を含む乗員が記憶させる必要はないと判断した場合にも暫定記憶を取り消すことが可能であり、その際にもその旨を同様に報知する。
FIG. 12 shows a state in which memory is not executed (memory fails) in the provisional memory process. In FIG. 12, as in step S304 of FIG. 6 and step S403 of FIG. 7, a
図１３〜図１８は、永久記憶処理におけるＨＭＩでの表示の様子を示す図であり、図１３はセッティング画面の様子を、図１４及び図１５は永久記憶の対象となるオブジェクト（データファイル）を選択している様子を、図１６は永久記憶の選択画面の様子を、図１７は永久記憶を行った場合の様子を、図１８は永久記憶を行わなかった場合の様子をそれぞれ示している。 13 to 18 are diagrams showing a state of display in HMI in the permanent storage process, FIG. 13 shows a state of a setting screen, and FIGS. 14 and 15 show an object (data file) to be permanently stored. FIG. 16 shows a state of selection, FIG. 16 shows a state of a permanent memory selection screen, FIG. 17 shows a state of performing permanent memory, and FIG. 18 shows a state of not performing permanent memory.
図１３は、ＨＭＩ３３，４２に表示されるセッティング画面２５０の一例を示しており、セッティング画面２５０には、永久記憶に関する設定を行うための永久記憶選択ボタン２５０ａのほか、ナビ設定ボタン２５０ｂなどの他の設定を行うためのボタンなども配置されている。図１３では、停車後に永久記憶のセッティング画面に移る様子を示しており、運転者を含む乗員が永久記憶選択ボタン２５０ａをタッチすることで、永久記憶の処理を開始する。なお、このセッティング画面２５０には、暫定記憶をするかしないかを選択できる項目も備えてもよい。また、永久記憶選択ボタン２５０ａがセッティング画面２５０の階層に表示される場合を例示したが、他の階層に表示するようにしても良い。
FIG. 13 shows an example of the
図１４は、ＨＭＩ３３，４２において永久記憶選択ボタン２５０ａにより永久記憶の処理が開始された場合の情報一覧２６０の表示例を示しており、情報一覧２６０では、暫定記憶したランドマークのＩＤ２６０ａを画像ファイル２６０ｂと記憶者２６０ｃとＧＰＳによる位置情報２６０ｄとをダイジェストで表示している場合を例示している。この画面において永久記憶を行うランドマークを運転者を含む乗員がタッチして選択する（図８のステップＳ５０４参照）ことで、永久記憶の可否を選択する画面（後述）が表示される。
FIG. 14 shows a display example of the
図１５は、ＨＭＩ３３，４２において永久記憶選択ボタン２５０ａにより永久記憶の処理が開始された場合の情報一覧２６１の他の表示例を示しており、図１４の場合と比較してランドマークを示す画像ファイルを除き、ランドマークのＩＤ２６１ａと記憶者２６１ｂとＧＰＳによる位置情報２６１ｃのみを表示している場合を例示している。この画面において永久記憶を行うランドマークを運転者を含む乗員がタッチして選択することで、永久記憶の可否を選択する画面（後述）が表示される。暫定記憶したランドマークを画像と位置情報とでＨＭＩ３３，４２に表示するとファイルサイズが大きくなることが懸念されるが、図１５の表示方法のようにＧＰＳによる位置情報のみを簡易的に表示することにより、ファイルサイズを削減することができる。また、この場合にはファイルサイズの削減が期待されるため、例えば、ランドマークと対応する経路情報２６２を表示するようにしてもよい。
FIG. 15 shows another display example of the
図１６は、選択したランドマークを永久記憶するかの判断を運転者を含む乗員に選択させるための選択画面２７０を示している（図８のステップＳ５０５参照）。
FIG. 16 shows a
選択画面２７０においてＹＥＳボタン２７０ａを選択すると、図１７に示すように永久記憶を実施せずに削除した旨を示すメッセージ２７１を表示する（図８のステップＳ５０７参照）。メッセージ２７１には、次回以降の手動走行時に永久記憶にあるランドマークと同じランドマークを検出した場合は自動走行が可能である合図をＨＭＩ３３，４２に表示する旨のメッセージも含まれている。なお、このとき永久記憶の保存先は、ＥＣＵまたはＳＤカード等のメモリでもよい。
When the
また、選択画面２７０においてＮＯボタン２７０ｂを選択すると、図１８に示すように永久記憶を実施しなかった旨を示すメッセージ２７２を表示する（図８のステップＳ５０６参照）。
Further, when the
以上のように構成した本実施の形態においては、車両の走行の制御に用いるオブジェクトのランドマークとしての情報の精度を向上することができる。 In the present embodiment configured as described above, the accuracy of information as a landmark of an object used for controlling the running of a vehicle can be improved.
＜付記＞
なお、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内の様々な変形例や組み合わせが含まれる。また、本発明は、上記の実施の形態で説明した全ての構成を備えるものに限定されず、その構成の一部を削除したものも含まれる。また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等により実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
<Additional notes>
The present invention is not limited to the above-described embodiment, and includes various modifications and combinations within a range that does not deviate from the gist thereof. Further, the present invention is not limited to the one including all the configurations described in the above-described embodiment, and includes the one in which a part of the configurations is deleted. Further, each of the above configurations, functions and the like may be realized by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function.
１…エンジン、２…トランスミッション、３…プロペラシャフト、４…ディファレンシャルギア、５…ドライブシャフト、６…車輪、７ａ〜７ｄ…撮像センサ、８…車両制御装置、９…センサ類、１０…ブレーキ装置、１０ａ…車輪速センサ、１１…電動パワーステアリング、３２…入力スイッチ部、３３…タッチ操作機能部、３４…車輪センサ、３５…位置検出器、３６…通信装置、４２…表示器、４３…音声出力器、５１…自車位置推定部、５２…外界認識情報変換部、５３…周辺環境記憶部、５４…記憶情報照合部、５５…車両制御部、５６…情報制御部、１００…車両（自車両）、１０１…駐車位置、１０２…駐車開始位置、１０２…地点、１０３…電柱、１０４…信号機、１０５…横断歩道、１０６…路面標示、１０７…標識、１０８…白線、１０９…走行経路、１０９…経路、２０１…標識、２０１ａ…枠、２０２…信号機、２０２ａ…枠、２０３…横断歩道、２１１ａ…枠、２１２ａ…枠、２２０…メモリ容量、２２０ａ…枠線、２４０…メッセージ、２４１…メッセージ、２５０…セッティング画面、２５０ａ…永久記憶選択ボタン、２５０ｂ…ナビ設定ボタン、２６０…情報一覧、２６０ｂ…画像ファイル、２６０ｃ…記憶者、２６０ｄ…位置情報、２６１…情報一覧、２６１ｂ…記憶者、２６１ｃ…位置情報、２６２…経路情報、２７０…選択画面、２７０ａ…ＹＥＳボタン、２７０ｂ…ＮＯボタン、２７１…メッセージ、２７２…メッセージ 1 ... engine, 2 ... transmission, 3 ... propeller shaft, 4 ... differential gear, 5 ... drive shaft, 6 ... wheels, 7a-7d ... image sensor, 8 ... vehicle control device, 9 ... sensors, 10 ... brake device, 10a ... Wheel speed sensor, 11 ... Electric power steering, 32 ... Input switch unit, 33 ... Touch operation function unit, 34 ... Wheel sensor, 35 ... Position detector, 36 ... Communication device, 42 ... Display, 43 ... Voice output Instrument, 51 ... Own vehicle position estimation unit, 52 ... External world recognition information conversion unit, 53 ... Surrounding environment storage unit, 54 ... Storage information collation unit, 55 ... Vehicle control unit, 56 ... Information control unit, 100 ... Vehicle (own vehicle) ), 101 ... Parking position, 102 ... Parking start position, 102 ... Point, 103 ... Electric pole, 104 ... Signal, 105 ... Crosswalk, 106 ... Road marking, 107 ... Sign, 108 ... White line, 109 ... Travel route, 109 ... Route, 201 ... Mark, 201a ... Frame, 202 ... Signal, 202a ... Frame, 203 ... Crosswalk, 211a ... Frame, 212a ... Frame, 220 ... Memory capacity, 220a ... Frame line, 240 ... Message, 241 ... Message, 250 ... Setting screen, 250a ... Permanent storage selection button, 250b ... Navigation setting button, 260 ... Information list, 260b ... Image file, 260c ... Rememberer, 260d ... Position information, 261 ... Information list, 261b ... Rememberer, 261c ... Information, 262 ... Route information, 270 ... Selection screen, 270a ... YES button, 270b ... NO button, 271 ... Message, 272 ... Message
Claims (4)
前記撮像センサで撮像された画像が表示された表示画面へのユーザーの接触操作による入力操作により選択された画像中の特定の物体をランドマークとして記憶することを特徴とする運転情報制御装置。 A driving information control device that recognizes a specific object around the vehicle as a landmark from an image acquired by an image sensor provided in the vehicle and stores the recognized object as information used for controlling the running of the vehicle.
A driving information control device characterized in that a specific object in an image selected by an input operation by a user's contact operation on a display screen on which an image captured by the image pickup sensor is displayed is stored as a landmark.
撮像センサで撮像された画像の表示画面への表示と、前記表示画面へのユーザーの接触操作による入力操作とが可能な表示入力装置と
請求項１記載の運転情報制御装置とを備え、
前記運転情報制御装置は、前記ランドマークに基づいて、前記車両の走行の制御を行う車両制御部を備えたことを特徴とする運転情報制御システム。 An image sensor that captures the surroundings of the vehicle and
The operation information control device according to claim 1 is provided with a display input device capable of displaying an image captured by an image pickup sensor on a display screen and an input operation by a user's contact operation with the display screen.
The driving information control device is a driving information control system including a vehicle control unit that controls the running of the vehicle based on the landmark.
音声出力装置をさらに備え、
前記運転情報制御装置は、前記表示入力装置へのユーザーの操作によって前記ランドマークが記憶された場合に、その旨を前記音声出力装置によってユーザーに報知することを特徴とする運転情報制御システム。 In the operation information control system according to claim 2,
Equipped with an additional audio output device
The driving information control device is a driving information control system, characterized in that, when the landmark is memorized by the user's operation on the display input device, the voice output device notifies the user to that effect.
前記車両の位置情報を取得する位置情報取得装置をさらに備え、
前記運転情報制御装置は、前記ランドマークとその位置とを合わせて前記表示入力装置に表示することを特徴とする運転情報制御システム。 In the operation information control system according to claim 2,
Further equipped with a position information acquisition device for acquiring the position information of the vehicle,
The driving information control device is a driving information control system characterized in that the landmark and its position are combined and displayed on the display input device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019124279A JP7296265B2 (en) | 2019-07-03 | 2019-07-03 | Driving information control device and driving information control system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019124279A JP7296265B2 (en) | 2019-07-03 | 2019-07-03 | Driving information control device and driving information control system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021009642A true JP2021009642A (en) | 2021-01-28 |
| JP7296265B2 JP7296265B2 (en) | 2023-06-22 |
Family
ID=74199565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019124279A Active JP7296265B2 (en) | 2019-07-03 | 2019-07-03 | Driving information control device and driving information control system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7296265B2 (en) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10185607A (en) * | 1996-12-24 | 1998-07-14 | Aqueous Res:Kk | Navigation system |
| JP2002005668A (en) * | 2000-06-15 | 2002-01-09 | Matsushita Electric Ind Co Ltd | Navigation apparatus |
| JP2008026007A (en) * | 2006-07-18 | 2008-02-07 | Xanavi Informatics Corp | Navigation device |
| JP2009017540A (en) * | 2007-05-31 | 2009-01-22 | Panasonic Corp | Image capturing device, additional information providing server, and additional information filtering system |
| JP2013032949A (en) * | 2011-08-01 | 2013-02-14 | Aisin Aw Co Ltd | Display processing system for vehicle, display processing method for vehicle, and program |
| WO2018070022A1 (en) * | 2016-10-13 | 2018-04-19 | 日産自動車株式会社 | Host-position estimation method and host-position estimation device |
| JP2018116653A (en) * | 2017-01-20 | 2018-07-26 | 株式会社デンソーテン | Identification apparatus, identification system and identification method |
-
2019
- 2019-07-03 JP JP2019124279A patent/JP7296265B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10185607A (en) * | 1996-12-24 | 1998-07-14 | Aqueous Res:Kk | Navigation system |
| JP2002005668A (en) * | 2000-06-15 | 2002-01-09 | Matsushita Electric Ind Co Ltd | Navigation apparatus |
| JP2008026007A (en) * | 2006-07-18 | 2008-02-07 | Xanavi Informatics Corp | Navigation device |
| JP2009017540A (en) * | 2007-05-31 | 2009-01-22 | Panasonic Corp | Image capturing device, additional information providing server, and additional information filtering system |
| JP2013032949A (en) * | 2011-08-01 | 2013-02-14 | Aisin Aw Co Ltd | Display processing system for vehicle, display processing method for vehicle, and program |
| WO2018070022A1 (en) * | 2016-10-13 | 2018-04-19 | 日産自動車株式会社 | Host-position estimation method and host-position estimation device |
| JP2018116653A (en) * | 2017-01-20 | 2018-07-26 | 株式会社デンソーテン | Identification apparatus, identification system and identification method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7296265B2 (en) | 2023-06-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11008016B2 (en) | Display system, display method, and storage medium | |
| JP6254554B2 (en) | Information presentation system | |
| JP6801787B2 (en) | Parking support method and parking support device | |
| CN110450717B (en) | Parking assist apparatus | |
| EP3290301B1 (en) | Parking assist device | |
| EP2910423B1 (en) | Surroundings monitoring apparatus and program thereof | |
| US20200079359A1 (en) | Automated parking device and automated parking method | |
| US20210179087A1 (en) | Parking assist device, parking assist method, and computer program product | |
| JP4450028B2 (en) | Route guidance device | |
| JP2007176244A (en) | Parking support system | |
| CN114126954A (en) | Method for automatically parking a vehicle | |
| US11643070B2 (en) | Parking assist apparatus displaying perpendicular-parallel parking space | |
| WO2016146558A1 (en) | Method for operating a communication device for a motor vehicle during an autonomous drive mode, communication device as well as motor vehicle | |
| JP2012008019A (en) | Battery replacement support system, on-vehicle device, and battery replacement support device | |
| CN110450790A (en) | For the drive assistance device of vehicle, non-transitory computer-readable storage media and control method | |
| CN107539218B (en) | Display control device | |
| JP2019209763A (en) | Control device for vehicle | |
| US11073833B2 (en) | Vehicle control apparatus | |
| JP2019156355A (en) | Vehicle control device | |
| US20230205405A1 (en) | Control device and moving object | |
| JP2021094938A (en) | Vehicle display device and parking support system | |
| JP7059525B2 (en) | Parking support method and parking support device | |
| JP6044429B2 (en) | Parking assistance device and parking assistance method | |
| JP7296265B2 (en) | Driving information control device and driving information control system | |
| JP7306333B2 (en) | Image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230110 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230221 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230612 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7296265 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |