JP2019010909A - Parking support method and parking support device - Google Patents
Parking support method and parking support device Download PDFInfo
- Publication number
- JP2019010909A JP2019010909A JP2017127144A JP2017127144A JP2019010909A JP 2019010909 A JP2019010909 A JP 2019010909A JP 2017127144 A JP2017127144 A JP 2017127144A JP 2017127144 A JP2017127144 A JP 2017127144A JP 2019010909 A JP2019010909 A JP 2019010909A
- Authority
- JP
- Japan
- Prior art keywords
- parking
- image
- vehicle
- moving body
- completed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
Abstract
Description
本発明は、駐車支援方法及び駐車支援装置に関する。 The present invention relates to a parking assistance method and a parking assistance device.
従来より、駐車時における車両の上視面映像に対し、車両とその車輪を表す略画を重畳し、操舵角に応じて車輪の略画を動かす技術が知られている。 2. Description of the Related Art Conventionally, a technique is known in which a rough image representing a vehicle and its wheels is superimposed on a top view image of the vehicle at the time of parking, and the rough image of the wheel is moved according to the steering angle.
上記技術においては、車両周囲の画像に車両と車輪を重畳するので、車輪に隠れた部分が見えず、乗員は駐車時の状況を誤認識する可能性がある。 In the above technique, since the vehicle and the wheel are superimposed on the image around the vehicle, a portion hidden by the wheel cannot be seen, and the occupant may misrecognize the situation at the time of parking.
本発明は、上記問題に鑑みて成されたものであり、その目的は、駐車時の状況を誤認識する可能性を低減できる駐車支援方法及び駐車支援装置を提供することである。 The present invention has been made in view of the above problems, and an object of the present invention is to provide a parking support method and a parking support device that can reduce the possibility of erroneously recognizing a situation during parking.
本発明の一態様に係わる駐車支援方法は、移動体の周囲を上方から見た周囲画像を生成し、移動体が駐車する際に、移動体の舵角を検出し、周囲画像における移動体の操舵輪の位置に操舵輪を示す支援画像を舵角に応じた向きで表示する。移動体の駐車が完了したか否かを判定し、駐車が完了した場合、支援画像の表示を禁止する。 A parking support method according to an aspect of the present invention generates a surrounding image of a moving object viewed from above, detects a steering angle of the moving object when the moving object parks, and detects the moving object in the surrounding image. A support image indicating the steered wheel is displayed at the position of the steered wheel in a direction corresponding to the steering angle. It is determined whether or not parking of the moving body is completed. When parking is completed, display of the support image is prohibited.
本発明によれば、駐車時の状況を誤認識する可能性を低減できる。 According to the present invention, the possibility of erroneously recognizing the situation at the time of parking can be reduced.
以下、実施の形態を図面に基づいて説明する。同一部材には同一符号を付して再度の説明を省略する。 Hereinafter, embodiments will be described with reference to the drawings. The same members are denoted by the same reference numerals and the description thereof is omitted.
図１は、本発明の実施形態に係る駐車支援装置を搭載した車両の一部構成を示すブロック図である。車両は、コントローラ１、カメラ２ａ，２ｂ，２ｃ，２ｄ、舵角センサ３、シフトレンジセンサ４、パーキングブレーキセンサ５、車輪速センサ６、空間認識センサ７、入力インタフェース８、表示部９、車両制御ＥＣＵ１０及びアクチュエータ１１を備えている。舵角センサ３は駐車支援装置の構成要素となるものである。図１に示す車両を以下、単に車両という。また本実施形態における駐車とは、空き駐車スペースに向けて移動し、空き駐車スペースに停車することをいう。自動車においては、駐車場内の駐車スペースに、自動車を止める為に、空き駐車スペースに移動し、空き駐車スペースに停車することをいう。
FIG. 1 is a block diagram showing a partial configuration of a vehicle equipped with a parking assistance apparatus according to an embodiment of the present invention. The vehicle includes a controller 1,
コントローラ１は、周囲画像生成回路１０１、画像表示回路１０２、アイコン記憶部１０３、センサ情報処理部１０４及び駐車支援演算部１０５を備える。画像表示回路１０２は、支援画像生成部１０２１、表示切替制御部１０２２及び画像合成部１０２３を備える。
The controller 1 includes a surrounding
コントローラ１は、駐車支援装置を構成する周囲画像生成回路１０１と画像表示回路１０２を含み、ＣＰＵ（中央処理装置）、メモリ、及び入出力部を備えるマイクロコンピュータを用いて実現可能である。マイクロコンピュータをＥＣＵ１として機能させるためのコンピュータプログラムを、マイクロコンピュータにインストールして実行する。これにより、マイクロコンピュータは、コントローラ１として機能する。なお、ここでは、ソフトウェアによってコントローラ１を実現する例を示すが、もちろん、以下に示す各情報処理を実行するための専用のハードウェアを用意して、コントローラ１を構成することも可能である。
The controller 1 includes a surrounding
カメラ２ａは車両の前方に搭載されて車両前方を撮像する。カメラ２ｂは車両の後方に搭載されて車両後方を撮像する。カメラ２ｃは車両の左側に搭載されて車両左側を撮像する。カメラ２ｄは車両の右側に搭載されて車両右側を撮像する。それぞれのカメラは、車両のルーフより下方に設置される。
The
各カメラは、車両のルーフより下方に設置されるため、実際に車両の情報から撮像した画像を表示することは困難である。また、車両のタイヤがタイヤハウス内に格納されているため、車両のタイヤの外円面（タイヤを円柱とした場合の側面）を撮像することは困難である。すなわち、車両及び車両のタイヤを撮像が難しいため、実際の車両及びタイヤの画像を得ることが難しい。そこで、実際の車両の画像の代わりに後述の車両アイコン（車両を模した画像）を使用し、実際のタイヤの画像の代わりに後述の支援画像（タイヤを模した画像）を使用する。 Since each camera is installed below the roof of the vehicle, it is difficult to display an image actually captured from vehicle information. Moreover, since the vehicle tire is stored in the tire house, it is difficult to image the outer circular surface (side surface when the tire is a cylinder) of the vehicle tire. That is, since it is difficult to image the vehicle and the tire of the vehicle, it is difficult to obtain an image of the actual vehicle and tire. Therefore, a vehicle icon (image imitating the vehicle) described later is used instead of the actual vehicle image, and a support image (image imitating the tire) described later is used instead of the actual tire image.
舵角センサ３は、車両が空き駐車スペースに駐車する際に（もしくは、駐車するまでの間）、車両の舵角（操舵角）を検出する。車両の舵角を検出する場合、車両のタイヤの向きを直接検出してもよく、車両のステアリングの角度から舵角を検出するようにしてもよい。
The
シフトレンジセンサ４は、車両に設けられたシフトレバーの位置を検出する。パーキングブレーキセンサ５は、パーキングブレーキ（サイドブレーキ、フットブレーキを含む）が作動しているか否かを検出する。車輪速センサ６は、車輪の回転速度（車輪速）を算出する。車輪速より、車両の車速を検出する。尚、舵角を検出するタイミングは、駐車するまでの間、必ずしもずっと検出する必要はなく、予め設定したタイミングで算出されればよい。
The shift range sensor 4 detects the position of a shift lever provided in the vehicle. The parking brake sensor 5 detects whether a parking brake (including a side brake and a foot brake) is operating. The
空間認識センサ７は、車両周囲の空間を認識する。空間認識センサ７は、車両の周囲に存在する障害物を検出するためのセンサであり、例えば、レーザレンジファインダ（ＬＲＦ）を用いることができる。ＬＲＦは、対象物に向けて赤外線レーザを照射し、その反射光の強度により対象物までの距離を測定する。ＬＲＦの測定により、対象物までの距離をポイントクラウド情報として取得することができ、該ポイントクラウド情報をセンサ情報処理部１０４に出力する。また、空間認識センサ７は、対象物までの距離、対象物の有無を検出できればよく、他の例として、例えば、超音波を利用するクリアランスソナーや、単眼カメラ、一対のカメラを有するステレオカメラを用いることも可能である。
The
入力インタフェース８は、車両の乗員が駐車に関する各種の情報を入力する端末であり、例えば、ジョイスティックや操作スイッチ、タッチパネルなど、車両に搭載される各種操作入力デバイス等を入力インタフェース８として使用できる。 The input interface 8 is a terminal through which a vehicle occupant inputs various types of information related to parking. For example, various operation input devices mounted on the vehicle such as a joystick, operation switch, and touch panel can be used as the input interface 8.
表示部９は、例えば、車室内に設置されているナビゲーション用の液晶ディスプレイや、遠隔操作端末に取り付けられた既存のモニタを使用することができる。
The
周囲画像生成回路１０１は、４台のカメラ２ａ〜２ｄで撮像された車両周囲の画像に基づき、予め定めた仮想視点、投影面を設定し、車両の上方から下方（車両の方向）を見たように画像を生成する。上記のように各カメラは車両及びタイヤを撮像できないので、生成した画像には車両及びタイヤは含まれない。以下、この画像を「俯瞰画像」という。俯瞰画像はすなわち車両周囲を車両の上方から見た場合の画像である。俯瞰画像の生成方法は既知の技術であるので、詳細な説明を省略する。尚、本実施形態においては、必ずしも俯瞰画像である必要はなく、鳥瞰画像など、車両の周囲を表示する画像（周囲画像）であればよい。
The surrounding
アイコン記憶部１０３は、車両を模した画像（車両アイコンという）を予め記憶している。車両アイコンは、俯瞰画像における車両の位置に表示されるものである。
The
支援画像生成部１０２１は、舵角センサ３が検出する舵角に基づき、操舵輪の向きを示す支援画像を生成する。支援画像は、俯瞰画像に重畳された車両アイコンの各操舵輪の位置に表示される支援画像からなる。支援画像は、必ずしも操舵輪（タイヤ）を撮像したものでなく、例えば、操舵輪（タイヤ）を模した画像（アイコン）が使われる。尚、支援画像は、予めタイヤを撮像した画像を用いてもよい。
The support
画像合成部１０２３は、周囲画像生成回路１０１が生成した俯瞰画像を取得し、アイコン記憶部１０３から車両アイコンを読み出す。また画像合成部１０２３は、表示切替制御部１０２２を介して、支援画像生成部１０２１が生成した支援画像を取得する。
The
画像合成部１０２３は、俯瞰画像における車両の位置に車両アイコンを重畳し、車両の操舵輪（タイヤ）の位置に支援画像を合成して合成画像を生成する。車両の位置は、例えば、駐車支援演算部１０５から取得できる。そして、合成画像を表示部９に表示する。すなわち、画像合成部１０２３は、俯瞰画像における車両の操舵輪の位置に操舵輪を示す支援画像を舵角に応じた向きで表示する。
The
表示切替制御部１０２２は、舵角、シフトレバーの位置、パーキングブレーキの状態、車速などに基づいて、車両の駐車が完了したか否かを判定する。以下、明らかに駐車が完了した場合の他、駐車完了とみなせる場合及び駐車完了の時期が近い場合も、駐車が完了したこととする。例えば、あらかじめ記憶した対象物に対する距離と姿勢を検出し、予め設定した距離と姿勢になったことを空間認識センサ７により検出した場合に、駐車完了したと判定するようにしてもよい。また、このような定義による駐車完了前は、駐車が完了していないこととする。表示切替制御部１０２２は、駐車が完了した場合に、合成画像における支援画像の表示を禁止する。支援画像の表示及び表示の禁止については後で詳しく説明する。
The display
センサ情報処理部１０４は、空間認識センサ７が検出した結果に基づいて、車両が走行する走路を推定し、走路の近傍に存在する駐車領域を推定し、これらの走路情報、駐車領域情報に基づいて車両が走行可能な範囲を推定する。
Based on the result detected by the
駐車支援演算部１０５は、入力インタフェース８に入力された情報、センサ情報処理部１０４が得たデータ、舵角センサ３が検出する舵角及び車輪速センサ６が検出する車速を基に、駐車目標に駐車するための車速目標値を算出し、車両の制御信号を算出し、車両の制御信号を車両制御ＥＣＵ１０に出力する。また、駐車支援演算部１０５は、センサ情報処理部１０４が得たデータ、舵角及び車速に基づいて、駐車目標までの目標駐車経路を算出し、現在の車両の位置が目標駐車経路に沿うように、操舵制御、位置制御、車速制御を実行する。
The parking
車両制御ＥＣＵ１０は、車両の制御信号、舵角及び車速に基づいて、車両の駆動・制動、操舵におけるアクチュエータ１１の駆動を制御する。
The
尚、本実施形態における自動運転とは、例えば、ブレーキ（制動）、アクセル（駆動）、ステアリング（操舵）などのアクチュエータの内、少なくとも一つのアクチュエータを運転者の操作なしに制御している状態のことを指す。そのため、少なくとも一つのアクチュエータが制御されている状態であれば、その他のアクチュエータが運転者の操作により作動していたとしても構わない。また、本実施形態における手動運転とは、例えば、ブレーキ、アクセル、ステアリングなど走行のために必要な操作をドライバが操作している状態のことを指す。 The automatic driving in the present embodiment refers to a state in which at least one actuator among the actuators such as a brake (braking), an accelerator (driving), and a steering (steering) is controlled without a driver's operation. Refers to that. Therefore, as long as at least one actuator is controlled, other actuators may be operated by the driver's operation. In addition, the manual driving in the present embodiment refers to a state where the driver is operating an operation necessary for traveling such as a brake, an accelerator, and a steering.
車両制御ＥＣＵ１０においては、駐車支援演算部１０５で設定した目標経路に沿って車両が移動するように、自動運転を実行すれば、駐車動作時における運転者の操作負担をより低減できる。
In the
図２は、実施形態で表示する合成画像の一例を示す図である。図２は、車両が二輪操舵車で操舵輪は前輪である場合の合成画像である。 FIG. 2 is a diagram illustrating an example of a composite image displayed in the embodiment. FIG. 2 is a composite image when the vehicle is a two-wheel steering vehicle and the steering wheel is a front wheel.
合成画像２０は、俯瞰画像２１、車両アイコン２２、左支援画像２３ａ及び右支援画像２３ｂを含む。図２は、俯瞰画像２１が、駐車している他車両の画像２１ａ、駐車スペースの周囲に設けた枠線の画像２１ｂを含む例を示す。
The
合成画像２０は、俯瞰画像２１における空き駐車スペースの位置を示す画像２４、駐車を推奨する空き駐車スペースの位置を示す画像２５を含んでもよい。
The
左支援画像２３ａ及び右支援画像２３ｂは、例えば、ほぼ長方形の外形を有し、その長手方向が操舵輪の進行後退方向に一致することで、操舵輪の向きを示すようになっている。また、左支援画像２３ａ及び右支援画像２３ｂは、その向き以外（例えば、タイヤのサイズ）については実際のタイヤに対応していなくてもよい。例えば、実際のタイヤより大きく見えるように拡大されていてもよい。
The
支援画像生成部１０２１は、舵角センサ３が検出する舵角に基づき、左支援画像２３ａ及び右支援画像２３ｂの向きを設定する。
The support
次に、実施形態における駐車支援方法の一例について説明する。 Next, an example of the parking support method in the embodiment will be described.
上記の自動運転で空き駐車スペースに駐車する動作（自動駐車という）を前提に、以下のフローチャートを説明する。 The following flowchart will be described on the premise of an operation of parking in an empty parking space by automatic driving (referred to as automatic parking).
図２は、実施形態に係る駐車支援方法の一例を示すフローチャートである。実施形態では、図２に示す処理を繰り返し行う。 FIG. 2 is a flowchart illustrating an example of the parking support method according to the embodiment. In the embodiment, the process shown in FIG. 2 is repeated.
まず、表示切替制御部１０２２が、自動駐車開始フラグに基づき、自動駐車が開始されたか否かを判定し（Ｓ１）、自動駐車が開始されてない場合は（Ｓ１：ＮＯ）、ステップＳ１に戻る。
First, the display switching
表示切替制御部１０２２は、自動駐車が開始されていた場合は（Ｓ１：ＹＥＳ）、舵角センサ３が車両の舵角を検出する（Ｓ３）。
When the automatic parking is started (S1: YES), the display switching
次に、支援画像生成部１０２１は、検出した舵角に基づいて、例えば、タイヤの長手方向が操舵輪の進行後退方向に一致する支援画像を生成し（Ｓ５）、表示切替制御部１０２２に出力する。
Next, based on the detected steering angle, the support
次に、表示切替制御部１０２２は、支援画像を画像合成部１０２３に出力し、画像合成部１０２３は、表示している俯瞰画像における各操舵輪の位置に支援画像表示する（Ｓ７）。画像合成部１０２３は、ステップＳ７の前に支援画像が表示されている場合は、この支援画像に代えて、直前のステップＳ５で生成した支援画像を表示する（Ｓ７）。これにより、舵角に応じて、支援画像の向きが変更される。
Next, the display switching
このように、舵角に基づいて支援画像の向きを変更する、すなわち、タイヤの向きを表示することで、車両の乗員は、車両の旋回の方向を予測できる。すなわち、車両が目的の駐車スペースに向かって旋回するか否かを支援画像の向きにより予測できる。 Thus, the occupant of the vehicle can predict the turning direction of the vehicle by changing the direction of the support image based on the steering angle, that is, by displaying the direction of the tire. In other words, whether or not the vehicle turns toward the target parking space can be predicted from the direction of the support image.
次に、ステップＳ９、Ｓ１１、Ｓ１３及びＳ１５により、車両の駐車が完了したか否かを判定し、駐車が完了した場合は、合成画像における支援画像の表示を禁止する。上記のように、支援画像は、車両がどの方向に旋回するかを示すものなので、駐車が完了した場合は、乗員が操舵輪の向きを知る必要がなくなるため、支援画像の表示を禁止する。 Next, in steps S9, S11, S13, and S15, it is determined whether or not parking of the vehicle is completed. When parking is completed, display of the support image in the composite image is prohibited. As described above, since the support image indicates in which direction the vehicle turns, when the parking is completed, it is not necessary for the occupant to know the direction of the steered wheels, and display of the support image is prohibited.
具体的には、まず、表示切替制御部１０２２は、パーキングブレーキセンサ５からパーキングブレーキの状態を示す検出結果を取得し、検出結果に基づいて、パーキングブレーキが作動しているか否かを判定する（Ｓ９）。パーキングブレーキが作動している場合は（Ｓ９：ＹＥＳ）、すなわち、駐車が完了した場合は、ステップＳ１７に進む。一方、パーキングブレーキが作動していない場合は（Ｓ９：ＮＯ）、すなわち、駐車が完了してない場合は、ステップＳ１１に進む。
Specifically, first, the display switching
ステップＳ１１で表示切替制御部１０２２は、シフトレンジセンサ４からシフトレバーの位置を示す検出結果を取得し、検出結果に基づいて、シフトレバーがいわゆるパーキングレンジ（パーキングポジションともいう）にあるか否かを判定する（Ｓ１１）。シフトレバーがパーキングレンジにある場合は（Ｓ１１：ＹＥＳ）、すなわち、駐車が完了した場合は、ステップＳ１７に進む。一方、シフトレバーがパーキングレンジにない場合は（Ｓ１１：ＮＯ）、すなわち、駐車が完了していない場合は、ステップＳ１３に進む。
In step S11, the display switching
ステップＳ１３で表示切替制御部１０２２は、車輪速センサ６から車速し、車速が０（ｋｍ／ｈ）であるか否かを判定する（Ｓ１３）。車速が０（ｋｍ／ｈ）の場合は（Ｓ１３：ＹＥＳ）、すなわち、駐車が完了した場合は、ステップＳ１７に進む。一方、車速が０（ｋｍ／ｈ）でない場合は（Ｓ１３：ＮＯ）、すなわち、駐車が完了していない場合は、ステップＳ１５に進む。
In step S13, the display switching
ステップＳ１５で表示切替制御部１０２２は、自動駐車完了フラグに基づき、自動駐車が完了したか否かを判定し（Ｓ１５）、自動駐車が完了してない場合は（Ｓ１５：ＮＯ）、ステップＳ３に戻る。一方、自動駐車が完了していた場合は（Ｓ１５：ＹＥＳ）ステップＳ１７に進む。
In step S15, the display switching
ステップＳ１７で表示切替制御部１０２２は、画像合成部１０２３に対し、支援画像の表示を禁止し、これにより、画像合成部１０２３は、合成画像から支援画像を消去し（Ｓ１７）、処理を終える。尚、支援画像の消去した場合に、俯瞰画像を消去してもよく、俯瞰画像を表示してもよい。
In step S <b> 17, the display switching
なお、駐車の時期が近いとみなせる以下の場合において、支援画像の表示を禁止してもよい。すなわち、以下の場合も駐車が完了したこととし、支援画像の表示を禁止することができる。 Note that the display of the support image may be prohibited in the following cases where it can be considered that the parking time is close. That is, parking can be completed in the following cases, and display of the support image can be prohibited.
例えば、車速が予め設定した極低速（例えば、５ｋｍ／ｈ）以下の場合に支援画像の表示を禁止してもよい。
例えば、車両の現在位置と車両が駐車スペースに駐車した場合の車両の位置との距離、すなわち残りの走行予定距離が予め設定した閾値（例えば、１ｍ）以下の場合に支援画像の表示を禁止してもよい。
For example, the display of the support image may be prohibited when the vehicle speed is equal to or lower than a preset very low speed (for example, 5 km / h).
For example, the display of the support image is prohibited when the distance between the current position of the vehicle and the position of the vehicle when the vehicle is parked in the parking space, that is, the remaining planned travel distance is equal to or less than a preset threshold (for example, 1 m). May be.
例えば、駐車完了の時期が近くなり、ステアリングを戻す場合に、支援画像の表示を禁止してもよい。具体的には、例えば、ステアリングの切り返しタイミングでの舵角が予め設定した範囲（例えば、ステアリングの中立点を０度として−９０度から＋９０度の範囲）に属する場合に支援画像の表示を禁止すればよい。
例えば、駐車スペースの周囲に設けた枠線と車両の平行度が予め設定した閾値以下になった場合に支援画像の表示を禁止してもよい。
For example, the display of the support image may be prohibited when the parking completion time approaches and the steering is returned. Specifically, for example, display of a support image is prohibited when the steering angle at the timing of turning back the steering belongs to a preset range (for example, a range from -90 degrees to +90 degrees with the steering neutral point being 0 degrees). do it.
For example, the display of the support image may be prohibited when the parallelism between the frame line provided around the parking space and the vehicle is equal to or less than a preset threshold value.
また、これまで説明した、駐車完了の条件を２つ以上組み合わせて、駐車完了か否かを判定してもよい。例えば、パーキングブレーキが作動し、且つ、シフトレバーがパーキングレンジにあり、且つ、車速（移動速度）が０（ｋｍ／ｈ）の場合に支援画像の表示を禁止してもよい。例えば、残りの走行予定距離が予め設定した閾値以下で、且つ、舵角が予め設定した範囲に属する場合に支援画像の表示を禁止してもよい。条件を組み合わせることで、いずれか１つの条件で駐車完了を判定する場合に比べ、駐車が完了したか否かを確実に判定できる。 Moreover, you may determine whether it is parking completion combining 2 or more conditions of the parking completion demonstrated so far. For example, when the parking brake is activated, the shift lever is in the parking range, and the vehicle speed (movement speed) is 0 (km / h), the display of the support image may be prohibited. For example, the display of the support image may be prohibited when the remaining scheduled travel distance is equal to or less than a preset threshold value and the rudder angle belongs to a preset range. By combining the conditions, it is possible to reliably determine whether or not parking is completed, as compared with the case where parking completion is determined under any one condition.
また、図２は、自動駐車の実行中における駐車支援方法であるが、この駐車支援方法を、運転者が車両を操作して駐車させている間、すなわち手動運転による駐車中に実行してもよい。この場合、ステップＳ１、Ｓ１５は不要であり、開始後直ちにステップＳ３に進み、ステップＳ１３でＮＯと判定した場合にステップＳ３に戻ればよい。 FIG. 2 shows a parking support method during execution of automatic parking. This parking support method may be executed while the driver operates the vehicle to park the vehicle, that is, during parking by manual driving. Good. In this case, steps S1 and S15 are not necessary, and the process proceeds to step S3 immediately after the start, and if NO is determined in step S13, the process may return to step S3.
以上のように、実施形態によれば、駐車が完了したか否かを判定し（Ｓ９、Ｓ１１、Ｓ１３、Ｓ１５）、駐車が完了した場合、支援画像の表示を禁止する（Ｓ１７）ため、乗員は支援画像によって隠れた部分が見えるようになり、駐車時の状況を誤認識する可能性を低減できる。支援画像を表示するのは、支援画像が必要なタイミングであり、すなわち、適切なタイミングで支援画像を表示することができる。 As described above, according to the embodiment, it is determined whether or not parking is completed (S9, S11, S13, and S15). When parking is completed, display of a support image is prohibited (S17). The hidden part can be seen by the support image, and the possibility of misrecognizing the situation at the time of parking can be reduced. The support image is displayed at a timing when the support image is necessary, that is, the support image can be displayed at an appropriate timing.
例えば、駐車スペースの周囲に設けた枠線に支援画像が重なって表示されている場合、この支援画像の表示を禁止することで、枠線が見え、乗員は、駐車スペース内に駐車しているか否かを知ることができる。 For example, when a support image is displayed overlapping the frame line provided around the parking space, by prohibiting the display of this support image, the frame line is visible, and is the occupant parked in the parking space? You can know whether or not.
また、支援画像を実際の操舵輪のサイズに合わせて生成した場合、支援画像のサイズが小さいことにより、乗員が操舵輪の向きがわかりづらいことがある。そのため、支援画像を実際の操舵輪のサイズよりも拡大して表示する駐車支援装置がある。特に、支援画像を実際の操舵輪のサイズよりも拡大して表示する装置において、駐車が完了したと判定した場合に支援画像の表示を禁止することで、乗員は支援画像によって隠れた部分が見えるようになり、駐車時の状況を誤認識する可能性をより低減できる。具体的には、実際にはタイヤが枠線を踏んでいないにも拘わらず、タイヤが枠線を踏んでいるように表示され、乗員はタイヤが枠線を踏んでいると誤認識する可能性がある。このような場合に支援画像の表示を禁止することで、誤認識の可能性を低減できる。 In addition, when the support image is generated according to the actual size of the steering wheel, the direction of the steering wheel may be difficult for the occupant to understand because the size of the support image is small. Therefore, there is a parking assistance device that displays an assistance image in an enlarged size than the actual steering wheel size. In particular, in a device that displays a support image larger than the actual size of the steered wheel, the display of the support image is prohibited when it is determined that parking has been completed, so that the occupant can see a portion hidden by the support image. Thus, it is possible to further reduce the possibility of erroneously recognizing the parking situation. Specifically, even though the tire is not actually on the border, it appears as if the tire is on the border, and the occupant may misrecognize that the tire is on the border. There is. In such a case, the possibility of erroneous recognition can be reduced by prohibiting the display of the support image.
また、例えば、水たまり、落下物のような障害物に重なって表示されている支援画像の表示を禁止することで、障害物が見え、障害物により降車が困難である状況であることを認識できる。 Also, for example, by prohibiting the display of support images that are displayed overlapping obstacles such as puddles and falling objects, it is possible to recognize that obstacles are visible and it is difficult to get off due to obstacles. .
また、舵角が０でない場合、支援画像は車両アイコンに対して斜めに表示されるが、駐車完了時に支援画像が斜めに表示されるのは、美観上好ましくない。実施形態では、駐車が完了した場合、支援画像の表示を禁止する（Ｓ１７）ので、このような美観上好ましくない画像が表示されるのを防止できる。 Further, when the steering angle is not 0, the support image is displayed obliquely with respect to the vehicle icon. However, it is not aesthetically preferable that the support image is displayed diagonally when parking is completed. In the embodiment, when parking is completed, the display of the support image is prohibited (S17), so that it is possible to prevent such an image that is not aesthetically pleasing from being displayed.
また、実施形態では、車両のパーキングブレーキが作動しているか否かを判定し（Ｓ９）、パーキングブレーキが作動している場合（Ｓ９：ＹＥＳ）、車両の駐車が完了したと判定する。よって、パーキングブレーキによって、車両の駐車が完了したか否かを正確に判定でき、その結果、駐車が完了した時に、乗員が周囲の状況を誤認識する可能性を低減できる。 In the embodiment, it is determined whether or not the parking brake of the vehicle is operating (S9). If the parking brake is operating (S9: YES), it is determined that the parking of the vehicle is completed. Therefore, it is possible to accurately determine whether or not the vehicle has been parked by the parking brake, and as a result, it is possible to reduce the possibility that the occupant erroneously recognizes the surrounding situation when the parking is completed.
また、車両のシフトレバーがパーキングレンジにあるか否かを判定し（Ｓ１１）、シフトレバーがパーキングレンジにある場合（Ｓ１１：ＹＥＳ）、車両の駐車が完了したと判定する。よって、シフトレバーの位置によって、駐車完了か否かを正確に判定でき、その結果、駐車が完了した時に、乗員が周囲の状況を誤認識する可能性を低減できる。 Further, it is determined whether or not the shift lever of the vehicle is in the parking range (S11). If the shift lever is in the parking range (S11: YES), it is determined that the vehicle has been parked. Therefore, it is possible to accurately determine whether or not parking is completed based on the position of the shift lever. As a result, when parking is completed, the possibility that the occupant erroneously recognizes the surrounding situation can be reduced.
また、車両の車速が０であるか否かを判定し（Ｓ１３）、車両の車速が０の場合（Ｓ１３：ＹＥＳ）、車両の駐車が完了したと判定する。よって、車速によって、駐車完了か否かを正確に判定でき、その結果、駐車が完了した時に、乗員が周囲の状況を誤認識する可能性を低減できる。 Further, it is determined whether or not the vehicle speed is 0 (S13). If the vehicle speed is 0 (S13: YES), it is determined that the vehicle has been parked. Therefore, it is possible to accurately determine whether or not parking is completed based on the vehicle speed, and as a result, it is possible to reduce the possibility that an occupant erroneously recognizes the surrounding situation when parking is completed.
また、車両の車速が予め定めた閾値以下であるか否かを判定し、車両の車速が閾値以下の場合、車両の駐車が完了したと判定する。よって、車速と閾値により、駐車完了か否かを判定でき、その結果、駐車が完了したとした時に、乗員が周囲の状況を誤認識する可能性を低減できる。 Further, it is determined whether or not the vehicle speed is equal to or less than a predetermined threshold value. If the vehicle speed is equal to or less than the threshold value, it is determined that the vehicle has been parked. Therefore, it is possible to determine whether or not parking is completed based on the vehicle speed and the threshold value. As a result, when parking is completed, the possibility that the occupant erroneously recognizes the surrounding situation can be reduced.
また、舵角に基づいて車両の駐車が完了したか否かを判定する。よって、舵角に基づいて、駐車完了か否かを判定でき、その結果、駐車が完了したとした時に、乗員が周囲の状況を誤認識する可能性を低減できる。 Further, it is determined whether or not the vehicle has been parked based on the steering angle. Therefore, it is possible to determine whether or not parking is completed based on the steering angle. As a result, when parking is completed, the possibility that the occupant erroneously recognizes the surrounding situation can be reduced.
さて、駐車完了時以外でも、支援画像の表示を禁止することが好適な場合がある。支援画像は操舵輪の向きを示すものなので、舵角が比較的安定している場合、つまり搖動していない場合に表示するのが好ましい。舵角が搖動している状態とは、舵角の絶対値が上昇から下降に転じる切り返しの周期が比較的短い状態をいう。このような場合、運転者はステアリングの操作に集中すべきであり、支援画像はかえって煩わしいことが多い。 In some cases, it is preferable to prohibit display of the support image even when parking is not completed. Since the support image indicates the direction of the steered wheels, it is preferable to display the assist image when the rudder angle is relatively stable, that is, when the steering wheel is not swinging. The state in which the rudder angle is swinging refers to a state in which the turn-back cycle in which the absolute value of the rudder angle turns from rising to lowering is relatively short. In such a case, the driver should concentrate on the steering operation, and the support image is often troublesome.
そこで、表示切替制御部１０２２は、駐車が完了したか否かに拘わらず、舵角に基づいて、切り返しの周期（切り返しの回数でもよい）を算出し、周期や回数に基づいて、舵角が搖動しているか否かを判定し、舵角が搖動している場合、支援画像の表示を禁止する。その結果、支援画像が表示されることによる煩わしさを解消でき、ステアリングの操作に集中でき、車両を正しい空き駐車スペースに駐車することができる。
Therefore, the display switching
すなわち、舵角が搖動しているか否かを判定し、舵角が搖動している場合、支援画像の表示を禁止する。よって、舵角が搖動している場合は支援画像が表示されず、その結果、支援画像が表示されることによる煩わしさを解消できる。 That is, it is determined whether or not the rudder angle is swinging. When the rudder angle is swinging, display of the support image is prohibited. Therefore, when the rudder angle is swinging, the support image is not displayed, and as a result, the troublesomeness caused by displaying the support image can be eliminated.
さて、本実施形態では、支援画像の表示を行う対象車両に駐車支援装置を搭載した。しかし、対象車両に通信可能なサーバ装置又は対象車両でない他車両に駐車支援装置を搭載し、必要な情報と指示はサーバ装置又は他車両と対象車両の間の通信により送受信することで、同様の駐車支援方法を遠隔的に行ってもよい。サーバ装置と対象車両の間の通信は無線通信又は路車間通信により実行可能である。他車両と対象車両の間の通信は所謂車車間通信により実行可能である。 Now, in this embodiment, the parking assistance apparatus was mounted in the object vehicle which displays a support image. However, a parking assistance device is mounted on a server device that can communicate with the target vehicle or another vehicle that is not the target vehicle, and necessary information and instructions are transmitted and received through communication between the server device or the other vehicle and the target vehicle. The parking assistance method may be performed remotely. Communication between the server device and the target vehicle can be executed by wireless communication or road-to-vehicle communication. Communication between the other vehicle and the target vehicle can be executed by so-called inter-vehicle communication.
また、本実施形態では、俯瞰画像を用いたが、例えば、俯瞰画像に代えて、鳥瞰画像、いわゆる視点が車両の斜め上方の画像を用いてもよい。すなわち、車両の周囲を上方から見た周囲画像であれば、俯瞰画像に限らず、鳥瞰画像でもよい。その際は、車両アイコンと支援画像としては、車両の斜め上方の視点から車両を見た立体的な車両アイコンと、斜め上方の視点からタイヤを見た立体的な支援画像を使用すればよい。立体的な車両アイコンや支援画像を表示するには、車両アイコンや支援画像の３次元のデータを保持しておき、視点に応じて、３次元のデータから車両アイコンや支援画像（共に２次元データ）を生成し表示すればよい。尚、本実施形態における周囲画像は、必ずしも車両に設けられたカメラにより撮像される必要はなく、駐車スペースの周囲に設けられたカメラで撮像した画像を用いるようにしてもよい。 In the present embodiment, the bird's-eye view image is used. For example, instead of the bird's-eye view image, a bird's-eye view image, that is, an image with a so-called viewpoint obliquely above the vehicle may be used. That is, as long as the surrounding image of the periphery of the vehicle is viewed from above, the image is not limited to the bird's-eye view image and may be a bird's-eye view image. In that case, as a vehicle icon and a support image, a three-dimensional vehicle icon in which the vehicle is viewed from a diagonally upper viewpoint and a three-dimensional support image in which a tire is viewed from a diagonally upper viewpoint may be used. In order to display a three-dimensional vehicle icon and a support image, three-dimensional data of the vehicle icon and the support image is held, and depending on the viewpoint, the vehicle icon and the support image (both two-dimensional data are displayed). ) Can be generated and displayed. In addition, the surrounding image in this embodiment does not necessarily need to be imaged with the camera provided in the vehicle, You may make it use the image imaged with the camera provided around the parking space.
また、本実施形態では、二輪操舵車を例にしたが、二輪操舵車以外（例えば、三輪操舵車、四輪操舵車、六輪操舵車等）の車両では、各操舵輪に支援画像を表示し、上記のような条件によっては支援画像の表示を禁止すればよい。 In the present embodiment, a two-wheel steered vehicle is taken as an example. However, in a vehicle other than a two-wheel steered vehicle (for example, a three-wheel steered vehicle, a four-wheel steered vehicle, a six-wheel steered vehicle, etc.) Depending on the above conditions, the display of the support image may be prohibited.
また、本実施形態においては、自動車に限らず、移動体であれば適用することが可能であり、具体的には、工業用車両（例えば、トラック）、飛行機、飛行体、水中移動体（例えば、海底探査機、潜水艦）、倒立振り子型機械、お掃除ロボットなどにも適用することができる。飛行機、飛行体、水中移動体は、上記実施形態の駐車として、飛行機、飛行体、水中移動体が空きスペースへ移動し、空きスペースへの停まる場合に、それぞれの操舵翼、操舵フィンの角度を、上記実施形態の舵角として支援画像を生成し、乗員に表示することができる。そして、空きスペースへ停まったと判定した場合を、上記実施形態における駐車が完了したと判定し、空きスペースへ停まった場合に、支援画像の表示を禁止するように、適用することができる。倒立振り子型機械、お掃除ロボットも同様に、空きスペース（充電スペースも含む）へ移動し、空きスペースへの停まる場合に、それぞれの操舵装置の角度を、上記実施形態の舵角として支援画像を生成し、乗員に表示することができる。そして、空きスペースへ停まったと判定した場合を、上記実施形態における駐車が完了したと判定し、空きスペースへ停まった場合に、支援画像の表示を禁止するように、適用することができる。 In the present embodiment, the present invention is not limited to automobiles and can be applied to any mobile body. Specifically, industrial vehicles (for example, trucks), airplanes, flying bodies, underwater mobile bodies (for example, , Submarine spacecraft, submarine), inverted pendulum type machine, cleaning robot, etc. Airplanes, flying objects, and underwater vehicles are parked in the above embodiment. When the airplane, flying object, and underwater vehicle move to an empty space and stop in the empty space, the angles of the respective steering blades and steering fins Can be generated as the steering angle of the above embodiment and displayed to the passenger. And when it determines with having stopped to the empty space, it determines with the parking in the said embodiment having been completed, and when stopping to an empty space, it can apply so that a display of a support image may be prohibited. Similarly, when the inverted pendulum type machine and the cleaning robot move to an empty space (including a charging space) and stop at the empty space, the angle of each steering device is used as the steering angle of the above embodiment. Can be generated and displayed to the occupant. And when it determines with having stopped to the empty space, it determines with the parking in the said embodiment having been completed, and when stopping to an empty space, it can apply so that a display of a support image may be prohibited.
また、本実施形態において、乗員に支援画像、周囲画像を表示する場合のディスプレイは、必ずしも車両（移動体）に設置されている必要はなく、携帯電話、スマートデバイスなど、画像を表示するものであればよい。 In the present embodiment, the display for displaying the support image and the surrounding image to the occupant does not necessarily have to be installed in the vehicle (moving body), and displays an image such as a mobile phone or a smart device. I just need it.
以上、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。 As mentioned above, although embodiment of this invention was described, it should not be understood that the description and drawing which form a part of this indication limit this invention. From this disclosure, various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art.
１ コントローラ
２ａ カメラ（前）
２ｂ カメラ（後）
２ｃ カメラ（左）
２ｄ カメラ（右）
３ 舵角センサ
４ シフトレンジセンサ
５ パーキングブレーキセンサ
６ 車輪速センサ
７ 空間認識センサ
８ 入力インタフェース
９ 表示部
１０ 車両制御ＥＣＵ
１１ アクチュエータ
２０ 合成画像
２１ 俯瞰画像（周囲画像）
２２ 車両アイコン
２３ａ 左支援画像
２３ｂ 右支援画像
１０１ 周囲画像生成回路
１０２ 画像表示回路
１０３ アイコン記憶部
１０４ センサ情報処理部
１０５ 駐車支援演算部
１０２１ 支援画像生成部
１０２２ 表示切替制御部
１０２３ 画像合成部
1
2b Camera (rear)
2c Camera (left)
2d camera (right)
3 Steering angle sensor 4 Shift range sensor 5
11
22
Claims (8)
前記移動体の駐車が完了したか否かを判定し、
前記移動体の駐車が完了した場合、前記支援画像の表示を禁止する
ことを特徴とする駐車支援方法。 A surrounding image in which the periphery of the moving object is viewed from above is generated, and when the moving object is parked in an empty parking space, the steering angle of the moving object is detected, and the position of the steering wheel of the moving object in the surrounding image A parking support method of a parking support device for displaying a support image indicating the steered wheel in a direction according to the rudder angle,
It is determined whether parking of the moving body is completed,
When parking of the moving body is completed, display of the support image is prohibited.
前記パーキングブレーキが作動している場合、前記移動体の駐車が完了したと判定する
ことを特徴とする請求項１記載の駐車支援方法。 Determine whether the parking brake of the moving body is operating,
The parking support method according to claim 1, wherein when the parking brake is operated, it is determined that the parking of the moving body is completed.
前記シフトレバーがパーキングレンジにある場合、前記移動体の駐車が完了したと判定する
ことを特徴とする請求項１又は請求項２に記載の駐車支援方法。 Determining whether the shift lever of the moving body is in a parking range;
The parking support method according to claim 1 or 2, wherein when the shift lever is in a parking range, it is determined that parking of the moving body is completed.
前記移動体の移動速度が０の場合、前記移動体の駐車が完了したと判定する
ことを特徴とする請求項１〜３のいずれか一項に記載の駐車支援方法。 It is determined whether the moving speed of the moving body is 0,
The parking support method according to any one of claims 1 to 3, wherein when the moving speed of the moving body is 0, it is determined that the parking of the moving body is completed.
前記移動体の移動速度が前記閾値以下の場合、前記移動体の駐車が完了したと判定する
ことを特徴とする請求項１〜３のいずれか一項に記載の駐車支援方法。 Determining whether the moving speed of the moving body is equal to or less than a predetermined threshold;
The parking assistance method according to any one of claims 1 to 3, wherein when the moving speed of the moving body is equal to or less than the threshold value, it is determined that parking of the moving body is completed.
ことを特徴とする請求項１〜５のいずれか一項に記載の駐車支援方法。 It is determined whether parking of the said moving body was completed based on the said steering angle. The parking assistance method as described in any one of Claims 1-5 characterized by the above-mentioned.
前記舵角が搖動している場合、前記支援画像の表示を禁止する
ことを特徴とする請求項１〜６のいずれか一項に記載の駐車支援方法。 Determine whether the rudder angle is swinging,
The parking support method according to any one of claims 1 to 6, wherein display of the support image is prohibited when the rudder angle is swinging.
前記移動体が空き駐車スペースに駐車する際に、前記移動体の舵角を検出する舵角センサと、
前記周囲画像における前記移動体の操舵輪の位置に前記操舵輪を示す支援画像を前記舵角に応じた向きで表示する画像表示回路とを備え、
前記画像表示回路は、
前記移動体の駐車が完了したか否かを判定し、前記移動体の駐車が完了した場合、前記支援画像の表示を禁止する
ことを特徴とする駐車支援装置。 A surrounding image generation circuit for generating a surrounding image when the periphery of the moving object is viewed from above;
A rudder angle sensor for detecting a rudder angle of the moving body when the moving body is parked in an empty parking space;
An image display circuit that displays a support image indicating the steered wheel at a position of the steered wheel of the moving body in the surrounding image in an orientation according to the steering angle;
The image display circuit includes:
It determines whether the parking of the said moving body was completed, and when parking of the said moving body is completed, the display of the said assistance image is prohibited.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017127144A JP7059525B2 (en) | 2017-06-29 | 2017-06-29 | Parking support method and parking support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017127144A JP7059525B2 (en) | 2017-06-29 | 2017-06-29 | Parking support method and parking support device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019010909A true JP2019010909A (en) | 2019-01-24 |
| JP7059525B2 JP7059525B2 (en) | 2022-04-26 |
Family
ID=65227153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017127144A Active JP7059525B2 (en) | 2017-06-29 | 2017-06-29 | Parking support method and parking support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7059525B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021014245A (en) * | 2019-07-16 | 2021-02-12 | アイシン精機株式会社 | Vehicle periphery display device |
| WO2022024524A1 (en) * | 2020-07-29 | 2022-02-03 | 株式会社小松製作所 | Unmanned vehicle control system, unmanned vehicle, and unmanned vehicle control method |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011158609A1 (en) * | 2010-06-15 | 2011-12-22 | アイシン精機株式会社 | Drive support device |
| JP2012206657A (en) * | 2011-03-30 | 2012-10-25 | Panasonic Corp | Parking assistance device |
| JP2013212723A (en) * | 2012-03-30 | 2013-10-17 | Fujitsu Ten Ltd | Parking assist device and parking assist method |
| JP2014234057A (en) * | 2013-05-31 | 2014-12-15 | トヨタ自動車株式会社 | Parking support device |
| JP2015105070A (en) * | 2013-12-02 | 2015-06-08 | 株式会社デンソー | Parking assist system |
| US20160101734A1 (en) * | 2014-10-13 | 2016-04-14 | Lg Electronics Inc. | Under vehicle image provision apparatus and vehicle including the same |
| JP2016101872A (en) * | 2014-11-28 | 2016-06-02 | アイシン精機株式会社 | Vehicle periphery monitoring device |
| DE102015211079A1 (en) * | 2015-06-17 | 2016-12-22 | Bayerische Motoren Werke Aktiengesellschaft | Display of the wheel track of a vehicle |
-
2017
- 2017-06-29 JP JP2017127144A patent/JP7059525B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011158609A1 (en) * | 2010-06-15 | 2011-12-22 | アイシン精機株式会社 | Drive support device |
| JP2012206657A (en) * | 2011-03-30 | 2012-10-25 | Panasonic Corp | Parking assistance device |
| JP2013212723A (en) * | 2012-03-30 | 2013-10-17 | Fujitsu Ten Ltd | Parking assist device and parking assist method |
| JP2014234057A (en) * | 2013-05-31 | 2014-12-15 | トヨタ自動車株式会社 | Parking support device |
| JP2015105070A (en) * | 2013-12-02 | 2015-06-08 | 株式会社デンソー | Parking assist system |
| US20160101734A1 (en) * | 2014-10-13 | 2016-04-14 | Lg Electronics Inc. | Under vehicle image provision apparatus and vehicle including the same |
| JP2016101872A (en) * | 2014-11-28 | 2016-06-02 | アイシン精機株式会社 | Vehicle periphery monitoring device |
| DE102015211079A1 (en) * | 2015-06-17 | 2016-12-22 | Bayerische Motoren Werke Aktiengesellschaft | Display of the wheel track of a vehicle |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021014245A (en) * | 2019-07-16 | 2021-02-12 | アイシン精機株式会社 | Vehicle periphery display device |
| WO2022024524A1 (en) * | 2020-07-29 | 2022-02-03 | 株式会社小松製作所 | Unmanned vehicle control system, unmanned vehicle, and unmanned vehicle control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7059525B2 (en) | 2022-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6801787B2 (en) | Parking support method and parking support device | |
| CN107651015B (en) | Method and device for assisting in driving, computer-readable storage medium and vehicle | |
| US9896098B2 (en) | Vehicle travel control device | |
| JP6801786B2 (en) | Parking support method and parking support device | |
| CN110730735B (en) | Parking assist method and parking assist apparatus | |
| JP2021119074A (en) | Parking support method and parking support device | |
| JP7059525B2 (en) | Parking support method and parking support device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200409 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210127 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210412 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210413 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210824 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211014 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220315 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220328 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7059525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |