JP2019093806A - Automatic operation system - Google Patents
Automatic operation system Download PDFInfo
- Publication number
- JP2019093806A JP2019093806A JP2017223133A JP2017223133A JP2019093806A JP 2019093806 A JP2019093806 A JP 2019093806A JP 2017223133 A JP2017223133 A JP 2017223133A JP 2017223133 A JP2017223133 A JP 2017223133A JP 2019093806 A JP2019093806 A JP 2019093806A
- Authority
- JP
- Japan
- Prior art keywords
- display
- automatic driving
- vehicle
- virtual image
- display position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims description 21
- 230000004397 blinking Effects 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 4
- 239000003550 marker Substances 0.000 abstract description 45
- 238000000034 method Methods 0.000 description 16
- 238000012544 monitoring process Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Instrument Panels (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Controls And Circuits For Display Device (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、自動運転システムにおける自動運転と手動運転の切替の技術に関するものである。 The present invention relates to technology for switching between automatic operation and manual operation in an automatic operation system.
自動運転システムにおける自動運転と手動運転の切替の技術としては、状況に応じて自動的に自動運転と手動運転との切り替えを行う技術が知られている（特許文献１）。
また、自動運転システムにおける自動運転と手動運転の切替の技術としては、自動運転から手動運転に切り替える際に、ユーザに対して障害物や自動車前方の視認を促すと共に、ユーザの視線方向を検知し、検知した視線方向が視認を促した対象物の方向を向いているときに、ユーザが手動運転可能な状態にあると判定する技術が知られている（たとえば、特許文献２）。
As a technology for switching between automatic driving and manual driving in an automatic driving system, there is known a technology for automatically switching between automatic driving and manual driving according to the situation (Patent Document 1).
In addition, as switching technology between automatic driving and manual driving in the automatic driving system, when switching from automatic driving to manual driving, the user is urged to visually recognize obstacles and the front of the vehicle, and the gaze direction of the user is detected. There is known a technique for determining that the user is in a manually operable state when the detected gaze direction is directed to the direction of the object for which visual recognition has been prompted (for example, Patent Document 2).
また、プロジェクタがらフロントウインドウに画像を投影して反射させることにより、自動車の前方に虚像を表示するヘッドアップディスプレイにおいて、虚像までの前後方向の距離を可変とする技術も知られている（例えば、特許文献３、４）。 In addition, in a head-up display for displaying a virtual image in front of a car by projecting and reflecting an image on a front window of a projector, a technology is also known that makes the distance in the front-rear direction to the virtual image variable (for example, Patent documents 3, 4).
上述した、ユーザの視線方向が視認を促した対象物の方向を向いているときにユーザが手動運転可能な状態にあると判定する技術によれば、ユーザが漫然と対象物の方向を眺めているだけの場合、すなわち、ユーザが対象物に注意を向けていない場合にも、ユーザが手動運転可能な状態にあると判定されてしまう問題がある。 According to the above-described technology that determines that the user is in the state where the user can manually drive when the user's gaze direction is facing the direction of the target object for which visual recognition was prompted, the user is looking at the direction of the target There is a problem that it is determined that the user is in the state of being able to manually operate even when the user is not paying attention to the target, that is, in the case of only the user.
そこで、本発明は、自動運転システムにおいて、自動運転から手動運転に切り替える際に、より効果的にユーザの状態を手動運転に適した状態に導くことと、ユーザの状態が手動運転に適した状態にあるかどうかをより精度良く判定することとを課題とする。 Therefore, in the automatic driving system, when switching from automatic driving to manual driving, the present invention more effectively leads the state of the user to a state suitable for manual driving, and the state of the user is suitable for manual driving. And to determine more accurately whether or not the
前記課題達成のために、本発明は、自動車に搭載される、当該自動車の自動運転と手動運転とを選択的に行う自動運転システムに、前記自動車の運転席のユーザに対して、自動車のフロントウインドウの前方に虚像を表示する、当該虚像までの前記フロントウインドウからの前記自動車の前後方向の距離が可変なヘッドアップディスプレイと、前記自動運転から前記手動運転に切り替える際に、前記自動車前方に、表示位置を設定し、前記ヘッドアップディスプレイに、所定の図形の虚像を設定した表示位置に表示させる制御手段とを備え、制御手段において、前記自動車の車速が大きいほど前記表示位置までの前記フロントウインドウからの前記自動車の前後方向の距離が大きくなるように前記表示位置を設定するようにしたものである。 In order to achieve the above object, the present invention provides an automatic driving system for selectively performing automatic driving and manual driving of the vehicle mounted on the vehicle, wherein the front of the vehicle is provided to the user of the driver's seat of the vehicle. A head-up display for displaying a virtual image in front of a window, wherein a distance in a longitudinal direction of the vehicle from the front window to the virtual image is variable, and when switching from automatic driving to manual driving, in front of the vehicle; And a control means for setting a display position and displaying the virtual image of the predetermined figure on the display position at the head-up display, wherein the control means causes the front window to reach the display position as the vehicle speed of the vehicle increases. The display position is set so as to increase the distance in the front-rear direction of the vehicle.
ここで、このような自動運転システムは、前記制御手段において、前記表示位置として、前記自動車の左右方向について前記自動車の中央の位置、または、当該中央の位置と運転席正面との間の位置であって、路面上方の当該路面から所定範囲内となる位置を設定するように構成してもよい。 Here, in the automatic driving system, in the control means, at the central position of the automobile or the position between the central position and the front of the driver's seat in the lateral direction of the automobile as the display position. The position may be set to be within a predetermined range from the road surface above the road surface.
ここで、手動運転を行う場合に適した運転者の注視点は、自動車の速度が速いほど、より前方に遠い位置となる。よって、本自動運転システムにおいて、前記自動車の車速が大きいほど前記表示位置までの前記フロントウインドウからの前記自動車の前後方向の距離が大きくなるように前記表示位置を設定して、表示位置に所定の図形の虚像を表示することにより、運転席のユーザの注視点を手動運転を行う場合に適した位置に誘導することができる。 Here, the driver's gaze point suitable for manual driving is located at a position farther forward as the speed of the vehicle is higher. Therefore, in the present automatic driving system, the display position is set such that the distance in the front-rear direction of the car from the front window to the display position becomes larger as the vehicle speed of the car increases. By displaying the virtual image of the figure, it is possible to guide the user's gaze point of the driver's seat to a position suitable for manual driving.
また、前記課題達成のために、本発明は、自動車に搭載される、当該自動車の自動運転と手動運転とを選択的に行う自動運転システムに、前記自動車の運転席のユーザに対して、自動車のフロントウインドウの前方に虚像を表示する、当該虚像までの前記フロントウインドウからの前記自動車の前後方向の距離が可変なヘッドアップディスプレイと、前記自動車の前方の障害物を検出する障害物検出手段と、前記自動運転から前記手動運転に切り替える際に、前記自動車前方に、表示位置を設定し、前記ヘッドアップディスプレイに、所定の図形の虚像を設定した表示位置に表示させる制御手段とを備え、当該制御手段において、前記障害物検出手段が前記障害物を検出している場合に、前記自動車の上下左右前後方向について前記表示位置が当該障害物の位置となるように表示位置を設定するようにしたものである。 Further, in order to achieve the above object, the present invention relates to an automatic driving system for selectively performing automatic driving and manual driving of the vehicle mounted on the vehicle, wherein the user of the driver's seat of the vehicle is A head-up display for displaying a virtual image in front of the front window of the vehicle, the distance in the front-rear direction of the vehicle from the front window to the virtual image being variable, obstacle detection means for detecting an obstacle in front of the vehicle Control means for setting a display position in front of the vehicle and switching the head-up display to display a virtual image of a predetermined graphic at the set display position when switching from the automatic driving to the manual driving; In the control means, when the obstacle detection means detects the obstacle, the display position in the upper, lower, left, right, front and rear directions of the vehicle Is obtained so as to set the display position so that the position of the obstacle.
ここで、自動車前方に障害物が存在する場合における、手動運転を行う場合に適した運転者の注視点は、当該障害物の位置となる。よって、本自動運転システムにおいて、障害物の位置に所定の図形の虚像を表示することにより、運転席のユーザの注視点を手動運転を行う場合に適した位置に誘導することができる。 Here, in the case where an obstacle is present in front of the vehicle, the driver's gaze point suitable for manual driving is the position of the obstacle. Therefore, in the present automatic driving system, by displaying a virtual image of a predetermined figure at the position of the obstacle, it is possible to guide the user's gaze point of the driver's seat to a position suitable for manual driving.
ここで、以上の自動運転システムは、前記ヘッドアップディスプレイは、前記所定の図形の虚像を点滅表示するように構成してもよい。
また、以上の各自動運転システムに、前記運転席のユーザの視線方向を検知する視線方向検知手段を設け、前記制御手段において、前記所定の図形の虚像を前記ヘッドアップディスプレイに前記設定した表示位置に表示させた後に、少なくとも、前記視線方向検知手段が検知した視線方向が、前記表示位置に表示されている前記虚像を見る方向となるまで、前記自動運転から前記手動運転への切替を抑止するようにすることも好ましい。
Here, in the above-described automatic driving system, the head-up display may be configured to blink and display the virtual image of the predetermined figure.
Further, each automatic driving system described above is provided with a gaze direction detecting means for detecting the gaze direction of the user of the driver's seat, and the control means displays the virtual image of the predetermined figure on the head-up display. Switching from the automatic operation to the manual operation at least until the line-of-sight direction detected by the line-of-sight direction detection unit becomes a direction to view the virtual image displayed at the display position It is also preferable to do so.
このようにすることにより、運転席のユーザの注視点が、手動運転に適した位置である表示位置となったことを確認できるので、自動運転からの手動運転への切替に先だって、ユーザの状態が手動運転に適した状態にあるかどうかをより精度良く判定することができる。 By doing this, it can be confirmed that the user's gaze point of the driver's seat has become the display position that is a position suitable for manual operation, so the state of the user prior to switching from automatic operation to manual operation It can be determined more accurately whether or not is in a state suitable for manual operation.
また、以上の各自動運転システムに、前記運転席のユーザの視線方向を検知する視線方向検知手段を設け、前記制御手段において、前記自動運転から前記手動運転に切り替える際に、前記ヘッドアップディスプレイに前記所定の図形の虚像を設定した表示位置に表示させるのに先だって、当該時点において前記視線方向検知手段が検知した視線方向にある位置である初期表示位置に、前記所定の図形の虚像を前記ヘッドアップディスプレイに表示させ、その後、前記ヘッドアップディスプレイに、前記所定の図形の虚像の位置を前記初期表示位置から前記設定した表示位置まで移動させるように構成してもよい。 Further, each automatic driving system described above is provided with a gaze direction detection means for detecting the gaze direction of the user at the driver's seat, and the control means changes the automatic drive to the manual drive when switching from the automatic drive to the manual drive. Before displaying the virtual image of the predetermined figure at the set display position, the head of the predetermined figure at the initial display position which is a position in the line of sight direction detected by the line-of-sight direction detecting means at that time The display may be displayed on an up display, and then the head up display may be configured to move the position of the virtual image of the predetermined figure from the initial display position to the set display position.
また、この場合には、前記制御手段において、前記ヘッドアップディスプレイに前記初期表示位置に前記所定の図形の虚像を点滅表示させると共に、その後、前記所定の図形の虚像の位置の前記初期表示位置から前記設定した表示位置までの移動に伴って、前記ヘッドアップディスプレイに、前記所定の図形の虚像の点滅表示における点滅の速度を漸減させるように構成してもよい。 In this case, the control means causes the head-up display to blink the virtual image of the predetermined figure at the initial display position, and thereafter, from the initial display position of the position of the virtual image of the predetermined figure. The head-up display may be configured to gradually decrease the blinking speed in the blinking display of the virtual image of the predetermined figure in accordance with the movement to the set display position.
また、さらには、前記初期表示位置までの前記フロントウインドウからの前記自動車の前後方向の距離は、前記表示位置までの前記フロントウインドウからの前記自動車の前後方向の距離より小さくするようにしてもよい。 Furthermore, the distance in the front-rear direction of the vehicle from the front window to the initial display position may be smaller than the distance in the front-rear direction of the vehicle from the front window to the display position .
これらのように自動運転システムを構成することにより、運転席のユーザの注視点を、その時点の視線方向の位置から、手動運転に適した位置である表示位置までスムーズに誘導することができるようになる。 By configuring the automatic driving system as described above, it is possible to smoothly guide the gaze point of the user at the driver's seat from the position of the gaze direction at that time to the display position that is a position suitable for manual driving. become.
ここで、以上のような初期表示位置に前記所定の図形の虚像を表示する自動運転システムにも、前記制御手段において、前記所定の図形の虚像を前記ヘッドアップディスプレイに前記設定した表示位置に表示させた後に、少なくとも、前記視線方向検知手段が検知した視線方向が、前記表示位置に表示されている前記虚像を見る方向となるまで、前記自動運転から前記手動運転への切替を抑止することが好ましい。 Here, also in the automatic driving system for displaying the virtual image of the predetermined figure at the initial display position as described above, the control means displays the virtual image of the predetermined figure on the head-up display at the set display position. After switching, the switching from the automatic driving to the manual driving may be suppressed at least until the sight line direction detected by the sight line direction detecting unit becomes a direction for viewing the virtual image displayed at the display position. preferable.
以上のように、本発明によれば、自動運転システムにおいて、自動運転から手動運転に切り替える際に、より効果的にユーザの状態を手動運転に適した状態に導くことができる。また、本発明によれば、ユーザの状態が手動運転に適した状態にあるかどうかをより精度良く判定することができる。 As described above, according to the present invention, in the automatic driving system, when switching from automatic driving to manual driving, it is possible to more effectively lead the state of the user to a state suitable for manual driving. Further, according to the present invention, it is possible to more accurately determine whether the state of the user is in a state suitable for manual operation.
以下、本発明の実施形態について説明する。
図１に、本実施形態に係る車載システムの構成を示す。
車載システムは自動車に搭載されているシステムであり、図示するように、車載システムは、視線検知用カメラ１、ヘッドアップディスプレイ２、ＧＰＳ受信器や放送受信器や記憶装置やディスクドライブや入力装置などの各種周辺装置３、音声出力装置４、手動運転体勢検知システム５、周辺監視システム６、以上各部を制御する制御装置７を備えている。
Hereinafter, embodiments of the present invention will be described.
FIG. 1 shows the configuration of the in-vehicle system according to the present embodiment.
The in-vehicle system is a system installed in a car, and as shown in the figure, the in-vehicle system includes a gaze detection camera 1, a head-up display 2, a GPS receiver, a broadcast receiver, a storage device, a disk drive, an input device, etc. The various peripheral devices 3, the voice output device 4, the manual driving posture detection system 5, the periphery monitoring system 6, and the control device 7 for controlling the above-described components are provided.
そして、制御装置７は、自動車の自動運転と手動運転とを選択的に行う自動運転システム１００に接続している。
ここで、自動運転システム１００は、運転モードとして自動運転モードと手動運転モードとを備えており、自動運転モードは、操舵、制動、加速などの各種動作の全て自動制御を行う運転モードであり、手動運転モードは、操舵、制動、加速などの各種動作の全ての自動制御、または、当該各種動作の一部の動作の自動制御を行わない運転モードである。
The control device 7 is connected to an automatic driving system 100 that selectively performs automatic driving and manual driving of the vehicle.
Here, the automatic driving system 100 includes an automatic driving mode and a manual driving mode as driving modes, and the automatic driving mode is a driving mode for automatically controlling all operations such as steering, braking, and acceleration, The manual operation mode is an operation mode in which all automatic control of various operations such as steering, braking, and acceleration, or automatic control of a part of the various operations is not performed.
そして、自動運転システム１００は、運転モードを、走行状況や周囲状況に応じて切り替えながら、運転モードに応じた形態で自動車の操舵、制動、加速などの各種動作の自動制御を行う。 Then, the automatic driving system 100 performs automatic control of various operations such as steering, braking, and acceleration of the vehicle in a form according to the driving mode while switching the driving mode according to the traveling situation and the surrounding situation.
なお、運転モードとして、手動運転モードが設定されているときには、ユーザは自身で周囲の交通状況を監視し、自動運転システム１００が自動制御を行わない自動車の動作についてはユーザ自身が操作を行う必要がある。一方、運転モードとして、自動運転モードが設定されているときには、ユーザは自動車の操作を行う必要はなく、周囲の交通状況を監視する必要からも解放される。 In addition, when the manual operation mode is set as the operation mode, the user needs to monitor the surrounding traffic condition by himself, and the user himself must operate the operation of the automobile in which the automatic operation system 100 does not perform the automatic control. There is. On the other hand, when the automatic driving mode is set as the driving mode, the user does not have to operate the vehicle and is released from the need to monitor the surrounding traffic conditions.
次に、手動運転体勢検知システム５は、ユーザの手が自動車のステアリングホイールを握っているかどうかや、ユーザの足が自動車のペダル上に載置されているかどうか等より、ユーザの体勢が手動運転を行う体勢にあるかどうかを検知する。 Next, in the manual driving posture detection system 5, the user's posture is manually driven depending on whether the user's hand holds the steering wheel of the car, whether the user's foot is placed on the pedal of the car, etc. Detect if you are in a position to do
また、周辺監視システム６は、レーダやカメラ等より、自動車周辺に存在する他車などの障害物を検知する。
また、視線検知用カメラ１は、たとえば、図２ａに示すように、ダッシュボード上などに配置されて、ユーザの眼球を含む、ユーザの顔の画像を撮影する。
そして、ヘッドアップディスプレイ２は、運転席の前方のフロントウインドウに下方から画像を投影するディスプレイであり、フロントウインドウに投影された映像による虚像２００が、前方の景色に重畳した形態で、運転席のユーザに自動車の前方に視認される。
In addition, the surrounding area monitoring system 6 detects an obstacle such as another vehicle existing around the vehicle from a radar, a camera or the like.
Further, as shown in FIG. 2a, for example, the gaze detection camera 1 is disposed on a dashboard or the like and captures an image of the user's face including the eyeball of the user.
The head-up display 2 is a display that projects an image from below onto the front window in front of the driver's seat, and the virtual image 200 of the image projected on the front window is superimposed on the scene in front. It is viewed by the user in front of the car.
ここで、以下では、この虚像２００までのフロントウインドウからの距離を「表示距離」と称し、この虚像２００の位置を「表示位置」と称して説明を行う。
ここで、本実施形態に係るヘッドアップディスプレイ２は、図２ａ、図２ｂに示すように、表示距離が可変なヘッドアップディスプレイ２であり、ヘッドアップディスプレイ２は、制御装置７からの制御に従って表示距離を設定する。
Here, in the following, the distance from the front window to the virtual image 200 is referred to as “display distance”, and the position of the virtual image 200 is referred to as “display position”.
Here, as shown in FIGS. 2a and 2b, the head-up display 2 according to the present embodiment is a head-up display 2 whose display distance is variable, and the head-up display 2 performs display according to control from the control device 7. Set the distance.
以下、このような構成において、制御装置７が行う手動運転切替処理について説明する。
図３に、この手動運転切替処理の手順を示す。
図示するように、手動運転切替処理において制御装置７は、自動運転システム１００から手動運転切替許可要求の受信を監視する（ステップ３０２）。
ここで、自動運転システム１００は、運転モードを自動運転モードから手動運転モードに切り替える際に、手動運転モードへの切替に先立って、手動運転切替許可要求を制御装置７に発行する。そして、自動運転システム１００は、制御装置７から、手動運転切替許可が応答されたならば、運転モードを自動運転モードから手動運転モードに切り替える。
Hereinafter, the manual operation switching process performed by the control device 7 in such a configuration will be described.
FIG. 3 shows the procedure of the manual operation switching process.
As illustrated, in the manual driving switching process, the control device 7 monitors the reception of the manual driving switching permission request from the automatic driving system 100 (step 302).
Here, when switching the operation mode from the automatic operation mode to the manual operation mode, the automatic operation system 100 issues a manual operation switching permission request to the control device 7 prior to switching to the manual operation mode. Then, the automatic driving system 100 switches the driving mode from the automatic driving mode to the manual driving mode when the manual driving switching permission is answered from the control device 7.
さて、制御装置７は、自動運転システム１００から手動運転切替許可要求を受信したならば（ステップ３０２）、周辺監視システム６が自動車前方の所定距離以内に障害物を検出しているかどうかを調べ（ステップ３０４）、障害物を検出している場合には、表示位置を、周辺監視システム６が検知している障害物の位置に設定し（ステップ３０６）、ステップ３１２に進む。 Now, when the control device 7 receives the manual operation switching permission request from the automatic driving system 100 (step 302), the control device 7 checks whether the surrounding area monitoring system 6 detects an obstacle within a predetermined distance ahead of the vehicle ( Step 304) If an obstacle is detected, the display position is set to the position of the obstacle detected by the surrounding area monitoring system 6 (step 306), and the process proceeds to step 312.
一方、自動車前方の所定距離以内に障害物を検出していない場合には（ステップ３０４）、現時点の自動車の車速を自動運転システム１００から取得し（ステップ３０８）、表示位置を、左右方向について自動車の左右方向の中央位置、上下方向について路面から所定高さ（たとえば、普通車の標準的な車高の１／２の高さ）の位置、前後方向について車速に応じた距離、前方に離れた位置に設定し（ステップ３１０）、ステップ３１２に進む。ここで、ステップ３１０では、前後方向についての表示位置は、自動車の車速が大きいほど、前方により離れた位置とする。また、ステップ３１０では、左右方向についての表示位置を、自動車の左右方向の中央位置と運転席の正面との間の予め定めた位置とするようにしてもよい。 On the other hand, when an obstacle is not detected within a predetermined distance ahead of the vehicle (step 304), the vehicle speed of the vehicle at the present time is acquired from the automatic driving system 100 (step 308). Center position in the left and right direction, a predetermined height from the road surface in the vertical direction (for example, a half of the standard vehicle height of an ordinary car), a distance according to the vehicle speed in the front and rear direction The position is set (step 310), and the process proceeds to step 312. Here, in step 310, the display position in the front-rear direction is set to a position farther from the front as the vehicle speed of the vehicle is higher. In step 310, the display position in the left-right direction may be a predetermined position between the center position in the left-right direction of the vehicle and the front of the driver's seat.
そして、ステップ３０６またはステップ３１０からステップ３１２に進んだならば、ヘッドアップディスプレイ２に、所定のマーカ（図形）を、マーカの虚像２００が運転席のユーザによって表示位置に視認されるように表示させる。すなわち、ヘッドアップディスプレイ２の表示距離を、前後方向についての表示位置までの距離に設定し、ヘッドアップディスプレイ２が投影する画像中のマーカの位置を、上下左右方向について、マーカの虚像２００が運転席のユーザによって表示位置に視認される位置に設定した上で、ヘッドアップディスプレイ２にマーカを表示させる。 Then, when the process proceeds from step 306 or step 310 to step 312, the head-up display 2 displays a predetermined marker (graphic) so that the virtual image 200 of the marker is visually recognized at the display position by the driver's seat user. . That is, the display distance of the head-up display 2 is set to the distance to the display position in the front-rear direction, and the marker virtual image 200 drives the position of the marker in the image projected by the head-up display 2 The marker is displayed on the head-up display 2 after being set to a position where the user of the seat visually recognizes the display position.
そして、視線検知カメラで検知している運転席のユーザの視線方向を取得しながら（ステップ３１４）、運転席のユーザの視線方向が、マーカの虚像２００を見る方向となるのを待つ（ステップ３１６）。 Then, while acquiring the gaze direction of the user of the driver's seat detected by the gaze detection camera (step 314), it waits for the gaze direction of the user of the driver's seat to be the direction to look at the virtual image 200 of the marker (step 316). ).
そして、運転席のユーザの視線方向が、マーカの虚像２００を見る方向となったならば（ステップ３１６）、まもなく手動運転に切り替わることを音声出力装置４から音声メッセージを出力することによりユーザに通知する（ステップ３１８）。 Then, when the line of sight direction of the user at the driver's seat becomes a direction to look at the virtual image 200 of the marker (step 316), the user is notified by switching the manual driving soon by outputting a voice message from the voice output device 4 (Step 318).
そして、手動運転体勢検知システム５が、ユーザの体勢が手動運転を行う体勢となっていることを検知するのを待ち（ステップ３２０）、ユーザの体勢が手動運転を行う体勢となったならば、自動運転システム１００に手動運転切替許可を発行し（ステップ３２２）、ステップ３０２からの処理に戻る。 Then, when the manual driving posture detection system 5 waits for detection that the user's posture is the posture for performing the manual driving (Step 320), if the user's posture becomes the posture for performing the manual driving, A manual operation switching permission is issued to the automatic driving system 100 (step 322), and the process returns to step 302.
ここで、上述のように、自動運転システム１００は、制御装置７から、手動運転切替許可が応答されたならば、運転モードを自動運転モードから手動運転モードに切り替える。
以上、制御装置７が行う手動運転切替処理について説明した。
このような手動運転切替処理によれば、自動運転システム１００が自動運転モードから手動運転モードに切り替える際に、手動運転モードへの切替に先立って、以下のようなマーカの表示と、マーカの視認の確認が行われる。
Here, as described above, the automatic driving system 100 switches the driving mode from the automatic driving mode to the manual driving mode when the manual driving switching permission is answered from the control device 7.
The manual operation switching process performed by the control device 7 has been described above.
According to such manual operation switching processing, when the automatic operation system 100 switches from the automatic operation mode to the manual operation mode, prior to the switching to the manual operation mode, the display of the marker as described below and the visual recognition of the marker Confirmation is made.
すなわち、自動車前方の所定距離以内に障害物が存在する場合には、図４ａ１に示すように、ヘッドアップディスプレイ２によって、障害物（図では先行車５００）の位置に存在するように視認されるマーカ４００が表示される。ここで、この場合の、ヘッドアップディスプレイ２の表示距離ｄは、図４ａ２に示すように、自動車のフロントウインドウから障害物までの距離に一致するように設定される。 That is, when an obstacle is present within a predetermined distance in front of the vehicle, as shown in FIG. 4a1, the head-up display 2 visually recognizes the obstacle (preceding vehicle 500 in the figure) to be present. The marker 400 is displayed. Here, the display distance d of the head-up display 2 in this case is set to coincide with the distance from the front window of the car to the obstacle, as shown in FIG. 4a2.
ここで、自動車前方の所定距離以内に障害物が存在する場合における、手動運転を行う場合に適した運転者の注視点は、当該障害物の位置となる。
よって、本実施形態によれば、マーカ４００によって、運転席のユーザの注視点を自動車の前後方向についても障害物の位置に誘導することができる。
また、マーカ４００の方向に運転席のユーザの視線方向がある場合、当該ユーザは、マーカ４００を注視している、すなわち、当該ユーザの注視点が障害物の位置となっていると考えられるので、本実施形態にように、マーカ４００の方向に運転席のユーザの視線方向があることを検出することにより、ユーザの注視位置が、手動運転に適した位置にあることを適切に判定することができるようになる。
Here, in the case where an obstacle is present within a predetermined distance ahead of the vehicle, the driver's gaze point suitable for manual driving is the position of the obstacle.
Therefore, according to the present embodiment, the marker 400 can guide the user's gaze point of the driver's seat to the position of the obstacle also in the longitudinal direction of the vehicle.
In addition, when the gaze direction of the user of the driver's seat is in the direction of the marker 400, the user is gazing at the marker 400, that is, it is considered that the gaze point of the user is the position of the obstacle. As in the present embodiment, by appropriately detecting that the gaze direction of the user of the driver's seat is in the direction of the marker 400, it is appropriately determined that the user's gaze position is at a position suitable for manual operation. Will be able to
次に、自動車前方の所定距離以内に障害物が存在しない場合には、図４ｂ１、図４ｃ１に示すように、左右方向について自動車の左右方向の中央の位置（または、中央位置と運転席の正面との間の予め定めた位置）、上下方向について路面から所定高さの位置が存在するように視認されるマーカ４００が表示される。 Next, when there is no obstacle within a predetermined distance ahead of the car, as shown in FIGS. 4b1 and 4c1, the center position in the left-right direction of the car in the left-right direction (or the center position and the front of the driver's seat) And a predetermined position between the road surface and the road surface in the vertical direction).
ここで、図４ｂ１は自動車の車速が比較的遅い場合のマーカ４００の表示のようすを、図４ｃ１は自動車の車速が比較的速い場合のマーカ４００の表示のようすを表している。
そして、図４ｂ２に自動車の車速が比較的遅い場合表示距離ｄを、図４ｃ２に自動車の車速が比較的速い場合の表示距離ｄを示すように、自動車の車速が速いほど、表示距離ｄは大きく設定され、自動車の車速が速いほど、前方の遠い位置に視認されるようマーカ４００は表示される。
Here, FIG. 4 b 1 shows the display of the marker 400 when the vehicle speed of the vehicle is relatively slow, and FIG. 4 c 1 shows the display of the marker 400 when the vehicle speed of the vehicle is relatively fast.
As shown in FIG. 4b2 when the vehicle speed of the vehicle is relatively slow and as shown in FIG. 4c2 when the vehicle speed of the vehicle is relatively fast, the display distance d is larger as the vehicle speed of the vehicle is faster. The marker 400 is displayed so as to be visually recognized at a distant position ahead as it is set and the vehicle speed of the automobile is higher.
ここで、障害物が存在しない場合における、手動運転を行う場合に適した運転者の注視点は、自動車の速度が速いほど、より前方に遠い位置となる。
よって、本実施形態によれば、マーカ４００によって、運転席のユーザの注視点までの距離を、自動車の速度に応じた、手動運転に適した距離に誘導することができる。
また、マーカ４００の方向に運転席のユーザの視線方向がある場合、当該ユーザは、マーカ４００を注視している、すなわち、当該ユーザの注視点までの距離が、当該時点における自動車の速度に対して、手動運転に適した距離となっていると考えられるので、本実施形態にように、マーカ４００の方向に運転席のユーザの視線方向があることを検出することにより、ユーザの注視位置が手動運転に適した位置にあるかどうかを適切に判定することができるようになる。
Here, in the case where there is no obstacle, the driver's gaze point suitable for performing a manual operation is located farther from the front as the speed of the vehicle is higher.
Therefore, according to the present embodiment, the marker 400 can guide the distance from the user's gaze point of the driver's seat to a distance suitable for manual driving according to the speed of the vehicle.
When the gaze direction of the user at the driver's seat is in the direction of the marker 400, the user is gazing at the marker 400, that is, the distance to the gaze point of the user is the speed of the vehicle at that time. Since it is considered that the distance is suitable for manual driving, the gaze position of the user is detected by detecting that the user's gaze direction of the driver's seat is in the direction of the marker 400 as in the present embodiment. It becomes possible to appropriately determine whether or not the position is suitable for manual operation.
以上、本発明の実施形態について説明した。
ところで、以上の実施形態における手動運転切替処理では、マーカ４００を点滅表示するようにしてもよい。
または、以上の実施形態における手動運転切替処理では、マーカ４００の表示を以下のように行うようにしてもよい。
すなわち、図３に示した手動運転切替処理のステップ３１２において、まず、図５ａ１、ａ２に示すように、マーカ４００の運転席のユーザから見た方向がその時点における運転席のユーザの視線方向となる、マーカ４００までの前後方向の距離（表示距離ｄ）が比較的小さい位置に、マーカ４００を比較的速い点滅速度で点滅表示させる。
The embodiments of the present invention have been described above.
By the way, in the manual driving switching process in the above embodiment, the marker 400 may be displayed in a blinking manner.
Alternatively, in the manual operation switching process in the above embodiment, the marker 400 may be displayed as follows.
That is, in step 312 of the manual driving switching process shown in FIG. 3, first, as shown in FIGS. 5a1 and 5a2, the direction viewed from the user of the driver's seat of the marker 400 is the line of sight direction of the user of the driver's seat at that time. At a position where the distance in the front-rear direction to the marker 400 (display distance d) is relatively small, the marker 400 is blinked at a relatively fast blink speed.
そして、ステップ３０４において障害物を検出していない場合には、マーカ４００の表示を、図５ａ１、ａ２の位置から、ステップ３１０で算出した表示位置まで、点滅速度を徐々に低化させながら移動させる。すなわち、マーカ４００の表示位置を及び点滅速度を、図５ａ１、ａ２から図５ｂ１、ｂ２、図５ｂ１、ｂ２から図５ｃ１、ｂｃ、２と変化させる。 Then, when the obstacle is not detected in step 304, the display of the marker 400 is moved from the position of FIGS. 5a1 and 5a to the display position calculated in step 310 while gradually reducing the blink speed. . That is, the display position of the marker 400 and the blink rate are changed from FIG. 5a1, a2 to FIG. 5b1, b2, and from FIG. 5b1, b2 to FIG. 5c1, bc, 2.
そして、ステップ３１０で算出した表示位置までマーカ４００を移動したならば、ステップ３１４に進む。
一方、ステップ３０４において障害物を検出している場合には、マーカ４００の表示を、図５ａ１、ａ２の位置から、ステップ３０６で算出した表示位置まで、点滅速度を徐々に低化させながら移動させる。そして、ステップ３０６で算出した表示位置までマーカ４００を移動したならば、ステップ３１４に進む。
Then, when the marker 400 is moved to the display position calculated in step 310, the process proceeds to step 314.
On the other hand, when an obstacle is detected in step 304, the display of the marker 400 is moved from the position of FIGS. 5a1 and 5a to the display position calculated in step 306 while gradually reducing the blinking speed. . Then, when the marker 400 is moved to the display position calculated in step 306, the process proceeds to step 314.
このようにすることにより、マーカ４００によって、運転席のユーザの注視点を、その時点の視線方向の位置から、手動運転に適した位置までスムーズに誘導することができるようになる。 By doing this, the marker 400 can smoothly guide the user's gaze point of the driver's seat from the position of the gaze direction at that time to the position suitable for manual driving.
また、以上の実施形態の手動運転切替処理では、手動運転モードへの切替に先立って、図６に示すようにマーカ４００の表示を上下前後左右に移動させることにより、運転席のユーザに眼球運動を行わせるようにしてもよい。 Moreover, in the manual driving switching process of the above embodiment, the eye movement of the user at the driver's seat is performed by moving the display of the marker 400 up, down, front, rear, left, and right as shown in FIG. May be performed.
すなわち、たとえば、ステップ３１６でユーザの視線方向がマーカ４００の虚像２００を見る方向となったことが検出できたならば、マーカ４００の表示を一定期間上下前後左右に移動させる。そして、マーカ４００の表示位置を、ステップ３１２においてマーカ４００を表示した表示位置に戻し、その後、運転席のユーザの視線方向が、マーカ４００の虚像２００を見る方向となったならばステップ３１８以降の処理に進むようにするなどしてよい。 That is, for example, if it is detected in step 316 that the sight line direction of the user has become the direction to look at the virtual image 200 of the marker 400, the display of the marker 400 is moved vertically and horizontally for a certain period. Then, the display position of the marker 400 is returned to the display position where the marker 400 is displayed in step 312, and thereafter, if the line of sight direction of the user at the driver's seat becomes a direction to view the virtual image 200 of the marker 400 It may be made to proceed to processing.
１…視線検知用カメラ、２…ヘッドアップディスプレイ、３…種周辺装置、４…音声出力装置、５…手動運転体勢検知システム、６…周辺監視システム、７…制御装置、１００…自動運転システム、２００…虚像、４００…マーカ。 DESCRIPTION OF SYMBOLS 1 ... Camera for gaze detection, 2 ... Head-up display, 3 ... kind peripheral device, 4 ... Voice output device, 5 ... Manual operation posture detection system, 6 ... Peripheral monitoring system, 7 ... Control device, 100 .. Automatic operation system, 200 ... virtual image, 400 ... marker.
Claims (9)
前記自動車の運転席のユーザに対して、自動車のフロントウインドウの前方に虚像を表示する、当該虚像までの前記フロントウインドウからの前記自動車の前後方向の距離が可変なヘッドアップディスプレイと、
前記自動運転から前記手動運転に切り替える際に、前記自動車前方に、表示位置を設定し、前記ヘッドアップディスプレイに、所定の図形の虚像を設定した表示位置に表示させる制御手段とを有し、
当該制御手段は、前記自動車の車速が大きいほど前記表示位置までの前記フロントウインドウからの前記自動車の前後方向の距離が大きくなるように前記表示位置を設定することを特徴とする自動運転システム。 An automatic driving system for selectively carrying out the automatic driving and the manual driving of a car, which is mounted on the car, comprising:
A head-up display which displays a virtual image in front of a front window of the vehicle to a user at a driver's seat of the vehicle, and which has a variable distance in the front-rear direction of the vehicle from the front window to the virtual image;
When switching from the automatic driving to the manual driving, a display position is set in front of the vehicle, and control means is provided to display the virtual image of a predetermined figure on the display position at the head-up display.
The control system sets the display position such that the distance in the front-rear direction of the vehicle from the front window to the display position increases as the vehicle speed of the vehicle increases.
前記制御手段は、前記表示位置として、前記自動車の左右方向について前記自動車の中央の位置、または、当該中央の位置と運転席正面との間の位置であって、路面上方の当該路面から所定範囲内となる位置を設定することを特徴とする自動運転システム。 The automatic driving system according to claim 1, wherein
The control means is, as the display position, a central position of the automobile in the left-right direction of the automobile, or a position between the central position and the front of the driver's seat, and a predetermined range from the road surface above the road surface An automatic driving system characterized by setting an inner position.
前記自動車の運転席のユーザに対して、自動車のフロントウインドウの前方に虚像を表示する、当該虚像までの前記フロントウインドウからの前記自動車の前後方向の距離が可変なヘッドアップディスプレイと、
前記自動車の前方の障害物を検出する障害物検出手段と、
前記自動運転から前記手動運転に切り替える際に、前記自動車前方に、表示位置を設定し、前記ヘッドアップディスプレイに、所定の図形の虚像を設定した表示位置に表示させる制御手段とを有し、
当該制御手段は、前記障害物検出手段が前記障害物を検出している場合に、前記自動車の上下左右前後方向について前記表示位置が当該障害物の位置となるように表示位置を設定することを特徴とする自動運転システム。 An automatic driving system for selectively carrying out the automatic driving and the manual driving of a car, which is mounted on the car, comprising:
A head-up display which displays a virtual image in front of a front window of the vehicle to a user at a driver's seat of the vehicle, and which has a variable distance in the front-rear direction of the vehicle from the front window to the virtual image;
Obstacle detection means for detecting an obstacle in front of the vehicle;
When switching from the automatic driving to the manual driving, a display position is set in front of the vehicle, and control means is provided to display the virtual image of a predetermined figure on the display position at the head-up display.
The control means sets the display position so that the display position is the position of the obstacle in the upper, lower, left, right, front and rear directions of the vehicle when the obstacle detection means detects the obstacle. Features an autonomous driving system.
前記ヘッドアップディスプレイは、前記所定の図形の虚像を点滅表示することを特徴とする自動運転システム。 The automatic driving system according to claim 1, 2, or 3.
The automatic driving system, wherein the head-up display blinks a virtual image of the predetermined figure.
前記運転席のユーザの視線方向を検知する視線方向検知手段を有し、
前記制御手段は、前記所定の図形の虚像を前記ヘッドアップディスプレイに前記設定した表示位置に表示させた後に、少なくとも、前記視線方向検知手段が検知した視線方向が、前記表示位置に表示されている前記虚像を見る方向となるまで、前記自動運転から前記手動運転への切替を抑止することを特徴とする自動運転システム。 The automatic driving system according to claim 1, 2, 3 or 4, wherein
It has a gaze direction detection means for detecting the gaze direction of the user at the driver's seat,
After the control means causes the head-up display to display the virtual image of the predetermined figure at the set display position, at least the sight line direction detected by the sight line direction detection means is displayed at the display position An automatic driving system characterized by suppressing switching from the automatic driving to the manual driving until the virtual image is viewed.
前記運転席のユーザの視線方向を検知する視線方向検知手段を有し、
前記制御手段は、前記自動運転から前記手動運転に切り替える際に、前記ヘッドアップディスプレイに前記所定の図形の虚像を設定した表示位置に表示させるのに先だって、当該時点において前記視線方向検知手段が検知した視線方向にある位置である初期表示位置に、前記所定の図形の虚像を前記ヘッドアップディスプレイに表示させ、その後、前記ヘッドアップディスプレイに、前記所定の図形の虚像の位置を前記初期表示位置から前記設定した表示位置まで移動させることを特徴とする自動運転システム。 The automatic driving system according to claim 1, 2, 3 or 4, wherein
It has a gaze direction detection means for detecting the gaze direction of the user at the driver's seat,
The control means, when switching from the automatic driving to the manual driving, detects the visual line direction detecting means at that time before displaying the virtual image of the predetermined figure on the head-up display at the set display position. The virtual image of the predetermined figure is displayed on the head-up display at an initial display position which is a position in the same gaze direction, and then the position of the virtual image of the predetermined figure is displayed on the head-up display from the initial display position An automatic driving system characterized by moving to the set display position.
前記制御手段は、前記ヘッドアップディスプレイに前記初期表示位置に前記所定の図形の虚像を点滅表示させると共に、その後、前記所定の図形の虚像の位置の前記初期表示位置から前記設定した表示位置までの移動に伴って、前記ヘッドアップディスプレイに、前記所定の図形の虚像の点滅表示における点滅の速度を漸減させることを特徴とする自動運転システム。 The automatic driving system according to claim 6, wherein
The control means causes the head-up display to blink the virtual image of the predetermined figure in the initial display position, and thereafter, from the initial display position of the position of the virtual image of the predetermined figure to the set display position The automatic driving system according to claim 1, wherein the head-up display is made to gradually decrease the blinking speed in the blinking display of the virtual image of the predetermined figure as it moves.
前記初期表示位置までの前記フロントウインドウからの前記自動車の前後方向の距離は、前記表示位置までの前記フロントウインドウからの前記自動車の前後方向の距離より小さいことを特徴とする自動運転システム。 The automatic driving system according to claim 6 or 7, wherein
An automatic driving system characterized in that a distance in the front-rear direction of the vehicle from the front window to the initial display position is smaller than a distance in the front-rear direction of the vehicle from the front window to the display position.
前記運転席のユーザの視線方向を検知する視線方向検知手段を有し、
前記制御手段は、前記所定の図形の虚像を前記ヘッドアップディスプレイに前記設定した表示位置に表示させた後に、少なくとも、前記視線方向検知手段が検知した視線方向が、前記表示位置に表示されている前記虚像を見る方向となるまで、前記自動運転から前記手動運転への切替を抑止することを特徴とする自動運転システム。 The automatic driving system according to claim 6, 7, or 8.
It has a gaze direction detection means for detecting the gaze direction of the user at the driver's seat,
After the control means causes the head-up display to display the virtual image of the predetermined figure at the set display position, at least the sight line direction detected by the sight line direction detection means is displayed at the display position An automatic driving system characterized by suppressing switching from the automatic driving to the manual driving until the virtual image is viewed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017223133A JP7007055B2 (en) | 2017-11-20 | 2017-11-20 | Autonomous driving system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017223133A JP7007055B2 (en) | 2017-11-20 | 2017-11-20 | Autonomous driving system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019093806A true JP2019093806A (en) | 2019-06-20 |
| JP7007055B2 JP7007055B2 (en) | 2022-01-24 |
Family
ID=66970650
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017223133A Active JP7007055B2 (en) | 2017-11-20 | 2017-11-20 | Autonomous driving system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7007055B2 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013136374A1 (en) * | 2012-03-16 | 2013-09-19 | 三菱電機株式会社 | Driving assistance device |
| JP2016038768A (en) * | 2014-08-08 | 2016-03-22 | トヨタ自動車株式会社 | Vehicle controller |
| JP2016045705A (en) * | 2014-08-22 | 2016-04-04 | トヨタ自動車株式会社 | In-vehicle device, in-vehicle device control method, and in-vehicle device control program |
| JP2016172469A (en) * | 2015-03-16 | 2016-09-29 | 株式会社デンソー | Image forming apparatus |
| JP2017091115A (en) * | 2015-11-06 | 2017-05-25 | トヨタ自動車株式会社 | Vehicular display device |
| JP2017126287A (en) * | 2016-01-15 | 2017-07-20 | 株式会社デンソー | Transfer control device |
| JP2017187955A (en) * | 2016-04-06 | 2017-10-12 | 株式会社デンソー | Line of sight guiding device |
| JP2017532644A (en) * | 2014-10-06 | 2017-11-02 | トヨタ自動車株式会社 | A safety system that emphasizes road objects on a head-up display |
-
2017
- 2017-11-20 JP JP2017223133A patent/JP7007055B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013136374A1 (en) * | 2012-03-16 | 2013-09-19 | 三菱電機株式会社 | Driving assistance device |
| JP2016038768A (en) * | 2014-08-08 | 2016-03-22 | トヨタ自動車株式会社 | Vehicle controller |
| JP2016045705A (en) * | 2014-08-22 | 2016-04-04 | トヨタ自動車株式会社 | In-vehicle device, in-vehicle device control method, and in-vehicle device control program |
| JP2017532644A (en) * | 2014-10-06 | 2017-11-02 | トヨタ自動車株式会社 | A safety system that emphasizes road objects on a head-up display |
| JP2016172469A (en) * | 2015-03-16 | 2016-09-29 | 株式会社デンソー | Image forming apparatus |
| JP2017091115A (en) * | 2015-11-06 | 2017-05-25 | トヨタ自動車株式会社 | Vehicular display device |
| JP2017126287A (en) * | 2016-01-15 | 2017-07-20 | 株式会社デンソー | Transfer control device |
| JP2017187955A (en) * | 2016-04-06 | 2017-10-12 | 株式会社デンソー | Line of sight guiding device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7007055B2 (en) | 2022-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7024806B2 (en) | Information presentation device | |
| CN109032124B (en) | Vehicle control system, vehicle control method, and storage medium | |
| US11267480B2 (en) | Travel control apparatus and travel control method | |
| US9656690B2 (en) | System and method for using gestures in autonomous parking | |
| JP6342856B2 (en) | Vehicle control device | |
| US10222796B2 (en) | Autonomous driving control apparatus | |
| US11148683B2 (en) | Vehicle control system, vehicle control method, and program | |
| US10207640B2 (en) | Method and system for a warning message in a vehicle | |
| WO2018220826A1 (en) | Vehicle control system, vehicle control method, and vehicle control program | |
| JP6026011B2 (en) | Display control apparatus, information display method, and information display system | |
| KR20160039649A (en) | Method for using a communication terminal in a motor vehicle while autopilot is activated and motor vehicle | |
| JP2017033542A (en) | Information display | |
| JP5668765B2 (en) | In-vehicle acoustic device | |
| JP7068986B2 (en) | Agent system, agent control method, and program | |
| JP2014211787A (en) | Information providing device | |
| US9969266B2 (en) | Display control device, projection device, and non-transitory storage medium for vehicle speed limit notifications | |
| US11694408B2 (en) | Information processing device, information processing method, program, and movable object | |
| US20160062115A1 (en) | Display system | |
| WO2019058781A1 (en) | Parking assistance device | |
| JP2015102891A (en) | Driving support device and driving support method | |
| JP2019116244A (en) | vehicle | |
| JP2018032241A (en) | Display device for vehicle | |
| JP2019180075A (en) | Operation support system, image processing system, and image processing method | |
| JP6583395B2 (en) | Driving assistance device | |
| JP7007055B2 (en) | Autonomous driving system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200827 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210929 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211005 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220105 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7007055 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |