JP7336228B2 - 車両の非接触操作装置、および車両 - Google Patents
車両の非接触操作装置、および車両 Download PDFInfo
- Publication number
- JP7336228B2 JP7336228B2 JP2019060600A JP2019060600A JP7336228B2 JP 7336228 B2 JP7336228 B2 JP 7336228B2 JP 2019060600 A JP2019060600 A JP 2019060600A JP 2019060600 A JP2019060600 A JP 2019060600A JP 7336228 B2 JP7336228 B2 JP 7336228B2
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- image
- vehicle
- ecu
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 122
- 230000004044 response Effects 0.000 claims description 65
- 230000015541 sensory perception of touch Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 description 33
- 238000000034 method Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 230000000638 stimulation Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000004378 air conditioning Methods 0.000 description 12
- 230000001133 acceleration Effects 0.000 description 11
- 230000035807 sensation Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 238000012806 monitoring device Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000011796 hollow space material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
- B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/23—Head-up displays [HUD]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/11—Instrument graphical user interfaces or menu aspects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/177—Augmented reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/21—Optical features of instruments using cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/31—Virtual images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/80—Arrangements for controlling instruments
- B60K35/81—Arrangements for controlling instruments for controlling displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Transportation (AREA)
- Combustion & Propulsion (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
- Traffic Control Systems (AREA)
- Position Input By Displaying (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Description
特許文献1では、シートに着座する乗員の前に映像を提示する。また、提示した映像に対応する操作に応じて、超音波場による触覚刺激を乗員の操作部位へ出力する。このため、乗員は、映像への操作について、操作の実感を得ることができる。
しかしながら、車両は走行して移動するものである。走行中の車両には、走行のために加減速し、右左折などにより荷重が作用する。車両が加減速したり、車両に荷重が作用したりすると、乗員の身体は流れるように動くことになる。この場合、映像に対して操作をする乗員のたとえば手や指などは、車両の動きに起因する乗員の動きにより、振れて移動する。
そして、このような走行状態において、特許文献1のように、映像を固定的に投影し、その映像に対する操作を固定的に判定し、操作に対する触覚刺激を固定的に出力すると、乗員が映像に対してしようとしていた操作を正しく判定したり、映像に対して操作をしている操作部位に対して触覚刺激を正しく出力したりできなくなる。
これにより、本発明では、乗員が、車両の動きによらずに本来的にしようとした、中空に投影される映像に対する非接触の操作を、走行中の車両の動きによらずに、適切に判定することができる。本発明では、乗員の操作を、車両の挙動によって乗員の身体が流れている状態においても、正確に判定することができる。
図1は、本発明の実施形態に係る自動車1の模式的な説明図である。
図1(A)は上面図、図1(B)は側面図、である。
図1の自動車1は、車両の一例である。自動車1は、乗員が乗車する車室3が設けられる車体2を有する。車室3には、乗員が着座するシート4が設けられる。車室3の前部には、乗員が自動車1の走行を操作するために、ハンドル5、シフトレバー6、ブレーキペダル7、アクセルペダル8、が設けられる。乗員は、図1(B)に示すように、シート4に運転姿勢で着座することにより、これらハンドル5などの操作部材へ手を伸ばして操作することができる。
具体的には、図2には、駆動ECU11、操舵ECU12、制動ECU13、自動運転/運転支援ECU14、運転操作ECU15、検出ECU16、空調ECU17、乗員監視ECU18、外通信ECU19、非接触操作装置40の操作ECU20、システムECU21、が図示されている。これら複数の制御ECUは、自動車1で採用されるたとえばCAN(Controller Area Network)やLIN(Local Interconnect Network)といった車ネットワーク26により、中継装置としてのセントラルゲートウェイ(CGW)27に接続される。
そして、各制御モジュールにおいて、制御ECUは、自動車1で用いる電子機器に接続される。起動された制御ECUは、各種の処理を実行し、車ネットワーク26から取得する情報(データ)に基づいてそれぞれに接続されている電子機器の動作を制御する。また、制御ECUは、それぞれに接続されている電子機器の動作状態などの情報(データ)を車ネットワーク26へ出力する。
自動運転/運転支援ECU14は、たとえば自動車1の目的地まで自動車1の走行を制御する。自動運転/運転支援ECU14は、車ネットワーク26を通じて検出ECU16から情報を取得し、安全な走行のための制御情報を、車ネットワーク26へ出力する。駆動ECU11、操舵ECU12、制動ECU13は、車ネットワーク26から情報を取得し、自動車1の走行を制御する。
このため、自動車1では、自動車1の車室3へ投影された映像を操作するような新たな操作装置を開発することが求められている。このような操作装置として、たとえば非接触操作装置40が考えられる。非接触操作装置40は、シート4に着座する乗員の前に映像を投影する。非接触操作装置40は、投影した映像に対応する操作に応じて、入力情報を生成し、車ネットワーク26へ出力し得る。また、非接触操作装置40では、投影した映像に対応する操作に応じて、超音波場による触覚刺激を乗員の操作部位へ出力してもよい。このような触覚刺激による応答が得られることにより、乗員は、車室3の空間に投影された映像への非接触の操作をしているにもかかわらず、実体のある物に対して操作している場合と同様に、操作の実感を得ることができる。
そして、このような走行状態において、特許文献1のように、映像を固定的に投影し、その映像に対する操作を固定的に判定し、操作に対する触覚刺激を固定的に出力すると、乗員が映像に対してしようとしていた操作を正しく判定したり、映像に対して操作をしている操作部位に対して触覚刺激を正しく出力したりできなくなる。
このように、自動車1では、操作装置を改善することが求められている。
図3の非接触操作装置40は、車内通信部41、タイマ42、3D映像投影デバイス43、操作検出デバイス44、刺激出力デバイス45、音出力デバイス46、走行状態検出デバイス48、メモリ47、およびこれらが接続される操作ECU20、を有する。
メモリ47は、たとえば不揮発性メモリ47である。メモリ47は、非接触操作用のプログラム、およびデータを記録する。プログラムには、AIにより処理を実行するものであってもよい。プログラムには、AI処理のための学習プログラムが含まれてよい。データには、非接触操作の際に投影する映像の三次元モデルデータなどが含まれる。三次元モデルデータは、非接触操作のための映像データであり、たとえばモデルの表面を構成する複数のポリゴンデータを有する。
この他にもたとえば、刺激応答出力部53は、複数の圧力出力素子が配列される素子アレイを有してもよい。この場合、刺激応答出力部53は、複数の圧力出力素子の動作を個別に制御することにより、人の皮膚に対して圧力を作用させることができる。これにより、乗員は、操作に応じた感触を得ることができる。
図4には、図3の3D映像投影デバイス43、操作検出デバイス44、および、刺激出力デバイス45の具体的な組み合わせ例が模式的に示されている。
具体的には、3D映像投影デバイス43として、表示スクリーン61、ハーフミラー62が図示されている。操作検出デバイス44として、ステレオカメラ63が図示されている。刺激出力デバイス45として、素子アレイが図示されている。これらの非接触操作装置40の部材は、自動車1の車室3に設けられる。
また、操作ECU20は、操作情報に基づいて、車室3の空間に投影されている映像のたとえばボタンといった所定の映像部分に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を生成する。
操作ECU20は、刺激応答出力部53として、操作情報に基づいて、映像に接触している状態にある乗員の操作部位の位置を特定し、その位置へ向けて超音波を出力するように、超音波を出力する複数の超音波素子65を選択し、刺激出力デバイス45へ電気信号を出力する。刺激出力デバイス45は、選択された複数の超音波素子65から超音波を出力する。乗員は、超音波による応答により、映像を操作している触感を得ることができる。
操作ECU20は、音応答出力部54として、操作情報に基づいて特定される映像に接触している状態にある乗員の操作部位の動き、および映像の接触箇所に応じて、メモリ47から音声データを選択し、音信号を音出力デバイス46へ出力する。音出力デバイス46は、音信号に基づく音を車室3へ出力する。これにより、乗員は、操作の応答音として、乗員の操作部位の動きおよび映像の接触箇所に応じて異なる音を聞くことができる。
図6の処理は、図5において点線四角枠で囲ったステップST4からステップST6の処理に対応する。図6では、ステップST5の入力情報を外部へ出力する処理と、ステップST6の音応答出力処理とについては、省略している。
ステップST12において、操作ECU20は、操作判定のためにさらに、走行状態検出デバイス48から、走行状態を取得する。
操作ECU20は、たとえば取得した走行状態の加速度または加重が所定値以下である場合、自動車1の走行に起因する乗員の動きがないと判断する。この場合、操作ECU20は、処理をステップST16へ進める。
操作ECU20は、たとえば取得した走行状態の加速度または加重が所定値以下でない場合、自動車1の走行に起因する乗員の動きがあると判断する。この場合、操作ECU20は、処理をステップST14へ進める。
操作ECU20は、操作検出デバイス44により検出されている、映像に対する乗員の操作部位による操作について、映像に対して設定する入力可能エリアを用いて、乗員の操作部位が入力可能エリアに接触している状態にあるか否かを判定し、操作部位が入力可能エリアを操作している状態にある場合にはさらに操作部位の接触形状、位置および動き(方向、速度)を判定する。また、操作ECU20は、操作情報に基づいて、車室3の空間に投影されている映像のたとえばボタンといった所定の映像部分に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を生成する。
操作ECU20は、ステップST16において判定した操作に対する触覚刺激を、ステップST16において判定に使用した操作部位の位置に対して、刺激出力デバイス45から出力する。
自動車1の動きに起因する動きがない場合、操作ECU20は、触覚刺激を、走行状態検出デバイス48の検出により調整されていない乗員の操作部位の位置に対して出力するように、刺激出力デバイス45に指示する。
操作ECU20は、映像についての入力可能エリアの位置を、走行状態検出デバイス48により検出される乗員についての、自動車1の動きに起因する動きにより補正して、乗員の動きを調整する。そして、操作ECU20は、操作検出デバイス44により検出されている、映像についての乗員の操作について、位置を調整した入力可能エリアに対して操作しているか否かを判定する。これにより、乗員が映像に対してしようとした操作が判定できる。操作ECU20は、位置を調整した操作による入力可能エリアに対する操作を判定することにより、乗員の操作部位が映像に接触している状態にあるか否かを判定し、操作部位が映像を操作している状態にある場合にはさらに操作部位の接触形状、位置および動き(方向、速度)を判定する。また、操作ECU20は、操作情報に基づいて、車室3の空間に投影されている映像のたとえばボタンといった所定の映像部分に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を生成する。
操作ECU20は、ステップST14において判定した操作に対する触覚刺激を、刺激出力デバイス45から出力する。
自動車1の動きに起因する動きがある場合、操作ECU20は、触覚刺激を、走行状態検出デバイス48の検出により調整されている乗員の操作部位の位置に対してではなく、操作検出デバイス44により実際に検出されている乗員の操作部位に対して出力するように、刺激出力デバイス45に指示する。
操作ECU20は、ステップST14の操作判定において乗員の操作を走行状態検出デバイス48の検出により調整して判定している場合、ステップST16のように走行状態検出デバイス48の検出により調整しないで判定する場合と比べてより広い範囲に対して、乗員の操作に対する触覚刺激の応答を出力する。
図7において、3D映像投影デバイス43は、操作面にボタン71を有する立方体70の映像を、乗員の前に投影する。
そして、乗員について、自動車1の動きに起因する動きがある場合、操作ECU20は、入力可能エリア72を、ボタン71と重なる初期位置から移動させる。入力可能エリア72の初期位置からのオフセット方向は、走行状態検出デバイス48により検出される乗員についての、自動車1の動きに起因する動きと同じ方向とすればよい。入力可能エリア72の初期位置からのオフセット量は、走行状態検出デバイス48により検出される乗員についての、自動車1の動きに起因する動きの量と同じにすればよい。
これにより、本実施形態では、乗員が、自動車1の動きによらずに本来的にしようとした、中空に投影される映像に対する非接触の操作を、走行中の自動車1の動きによらずに、適切に判定することができる。本実施形態では、乗員の操作を、自動車1の挙動によって乗員の身体が流れている状態においても、正確に判定することができる。
次に、本発明の第二実施形態に係る自動車1の非接触操作装置40を説明する。本実施形態では、上述した実施形態に対応する構成要素に対してと上述した実施形態と同じ符号を使用して、その説明を省略する。
操作ECU20は、ステップST22と同様に、投影される映像に対して設定される入力可能エリアを用いて、乗員による操作を判定する。なお、ステップST22の処理は、ステップST16と同様である。そして、ステップST21では特に、操作ECU20は、映像についての入力可能エリアの範囲を、走行状態検出デバイス48により検出される乗員についての、自動車1の動きに起因する動きにより補正して、乗員の動きを調整する。操作ECU20は、自動車1の動きに起因する動きの大きさに応じて、入力可能エリアを拡大するように調整する。
そして、操作ECU20は、操作検出デバイス44により検出されている、映像についての乗員の操作について、範囲を拡大した入力可能エリアに対して操作しているか否かを判定する。これにより、乗員が映像に対してしようとした操作が判定できる。操作ECU20は、範囲を拡大した入力可能エリアに対する操作を判定することにより、乗員の操作部位が映像に接触している状態にあるか否かを判定し、操作部位が映像を操作している状態にある場合にはさらに操作部位の接触形状、位置および動き(方向、速度)を判定する。また、操作ECU20は、操作情報に基づいて、車室3の空間に投影されている映像のたとえばボタン71といった所定の映像部分に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を生成する。
操作ECU20は、ステップST21の操作判定において乗員の操作を走行状態検出デバイス48の検出により調整して判定している場合、ステップST22のように走行状態検出デバイス48の検出により調整しないで判定する場合と比べてより広い範囲に対して、乗員の操作に対する触覚刺激の応答を出力する。
図9において、3D映像投影デバイス43は、操作面にボタン71を有する立方体70の映像を、乗員の前に投影する。
そして、乗員について、自動車1の動きに起因する動きがある場合、操作ECU20は、入力可能エリア72を、初期サイズから拡大する。入力可能エリア72の初期サイズからの拡大率は、走行状態検出デバイス48により検出される乗員についての、自動車1の動きに起因する動きの量に対応する割合でよい。また、図9では、入力可能エリア72は、上下左右のすべての方向で拡大されている。この他にもたとえば、入力可能エリア72は、走行状態検出デバイス48により検出される乗員についての、自動車1の動きに起因する動きと同じ方向において拡大されてもよい。たとえば縦方向でのみ乗員が動いている場合には、操作ECU20は、入力可能エリア72を上下方向にのみ拡大してよい。
これにより、本実施形態では、乗員が、自動車1の動きによらずに本来的にしようとした、中空に投影される映像に対する非接触の操作を、走行中の自動車1の動きによらずに、適切に判定することができる。本実施形態では、乗員の操作を、自動車1の挙動によって乗員の身体が流れている状態においても、正確に判定することができる。
次に、本発明の第三実施形態に係る自動車1の非接触操作装置40を説明する。本実施形態では、上述した実施形態に対応する構成要素に対してと上述した実施形態と同じ符号を使用して、その説明を省略する。
本実施形態では、操作検出デバイス44、または走行状態検出デバイス48は、乗員などを撮像することにより、走行中の自動車1の動きに起因する乗員の全体的な動きを検出する。
操作ECU20は、ステップST32と同様に、投影される映像に対する乗員の操作部位の動きにより、乗員による操作を判定する。なお、ステップST32の処理は、ステップST16と同様である。そして、ステップST31では特に、操作ECU20は、操作検出デバイス44により検出されている、映像についての入力可能エリアに対する乗員の操作を、操作検出デバイス44または走行状態検出デバイス48により検出される乗員についての、自動車1の動きに起因する動きを相殺するように、補正して、調整する。これにより、乗員が映像に対してしようとした操作が得られる。操作ECU20は、調整した操作により、映像に対する操作を判定することにより、乗員の操作部位が映像に接触している状態にあるか否かを判定し、操作部位が映像を操作している状態にある場合にはさらに操作部位の接触形状、位置および動き(方向、速度)を判定する。また、操作ECU20は、操作情報に基づいて、車室3の空間に投影されている映像のたとえばボタン71といった所定の映像部分に対する乗員の操作がなされたと判断した場合、その乗員の操作による入力情報を生成する。
操作ECU20は、ステップST31の操作判定において乗員の操作を走行状態検出デバイス48の検出により調整して判定している場合、ステップST32のように走行状態検出デバイス48の検出により調整しないで判定する場合と比べてより広い範囲に対して、乗員の操作に対する触覚刺激の応答を出力する。
図11において、3D映像投影デバイス43は、球体75の映像を、乗員の前に投影する。
そして、乗員について、自動車1の動きに起因する動きがある場合、操作ECU20は、映像としての球体75を操作する乗員の指先の位置を、乗員についての、自動車1の動きに起因する動きを相殺するように、補正して、調整する。
たとえば、操作ECU20は、操作の前後の映像中の撮像位置の違いに基づいて、自動車1の動きに起因する乗員の頭部の移動方向および移動量を演算する。そして、操作ECU20は、乗員の指先の位置を、頭部の移動方向と逆向きに、頭部の移動量にて補正する。
これにより、本実施形態では、乗員が、自動車1の動きによらずに本来的にしようとした、中空に投影される映像に対する非接触の操作を、走行中の自動車1の動きによらずに、適切に判定することができる。本実施形態では、乗員の操作を、自動車1の挙動によって乗員の身体が流れている状態においても、正確に判定することができる。
Claims (5)
- 車両の車室の空間へ映像を投影する投影デバイスと、
前記投影デバイスにより投影される前記映像を生成および更新する生成部と、
前記車室の前記空間に投影されている前記映像に対して設定される入力可能エリアに非接触の操作をする前記車両の乗員の操作部位を検出する操作検出デバイスと、
前記車室の前記空間に投影されている前記映像に対する前記乗員の非接触の操作を、前記映像に対する前記乗員の前記操作部位の位置または動きに基づいて判定する操作判定部と、
前記車両の動き、または前記車両の動きに起因する前記乗員の動きを検出する動き検出デバイスと、
前記車室に乗っている前記乗員に対して配置され、前記映像に対して操作をする前記乗員へ超音波場による触覚刺激を出力可能な刺激出力デバイスと、
前記操作判定部により判定された操作に対する応答として、投影されている前記映像に対して前記操作をする前記乗員の操作部位に対して、前記超音波場による前記触覚刺激を出力する刺激応答出力部と、
を有し、
前記操作判定部は、
前記動き検出デバイスの検出に基づいて、前記映像の位置に対する前記入力可能エリアの位置を、前記映像と重なる第1の位置から、前記車両の動きに起因する前記乗員の動きと同じ方向に前記第1の位置よりも前記映像の位置に対してオフセットされた第2の位置に移動して、または、前記動き検出デバイスの検出に基づいて、前記映像のサイズに対する前記入力可能エリアのサイズを、前記映像と重なる第1のサイズから、前記車両の動きに起因する前記乗員の動きの量に対応する拡大率で前記第1のサイズを拡大した第2のサイズにすることで拡大して、前記車室の前記空間に投影される前記映像に対する前記乗員の操作部位による操作を判定し、
前記刺激応答出力部は、
前記操作判定部が、前記乗員の操作を、前記動き検出デバイスの検出により調整して判定している場合、
前記動き検出デバイスにより検出されている前記乗員の操作部位に対して、前記乗員の操作に対する前記触覚刺激の応答を出力するとともに、
前記動き検出デバイスの検出により調整されていない、前記操作検出デバイスより検出される前記乗員の操作部位の位置に対して、前記乗員の操作に対する前記触覚刺激の応答を出力して、
前記動き検出デバイスの検出により調整しないで判定する場合より広い範囲へ、前記乗員の操作に対する前記触覚刺激の応答を出力する、
車両の非接触操作装置。
- 前記操作判定部は、
前記投影デバイスにより投影される前記映像に対する前記乗員の動きにより、前記乗員による操作を判定し、
前記動き検出デバイスの検出に基づいて、前記操作検出デバイスにより検出される前記乗員の動きを、前記車両の動きに起因する身体、上体、肩、頭部のいずれかの動きを抑制するように調整して、前記乗員による操作を判定する、
請求項1記載の、車両の非接触操作装置。
- 前記動き検出デバイスは、前記車両の走行状態を検出する、
請求項1または2記載の、車両の非接触操作装置。
- 前記動き検出デバイスは、前記乗員を撮像した画像に基づいて、前記車両の動きに起因する前記乗員の動きを検出する、
請求項1から3のいずれか一項記載の、車両の非接触操作装置。
- 請求項1から4のいずれか一項記載の非接触操作装置と、
前記非接触操作装置とネットワークを通じて接続され、前記車両を制御する複数の被制御装置と、
を有し、
複数の前記被制御装置の各々は、前記非接触操作装置が車室に投影する映像に対する乗員の非接触操作に基づいて生成する入力情報を、前記ネットワークを通じて前記非接触操作装置から取得する、
車両。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019060600A JP7336228B2 (ja) | 2019-03-27 | 2019-03-27 | 車両の非接触操作装置、および車両 |
CN202010010661.8A CN111746436A (zh) | 2019-03-27 | 2020-01-06 | 车辆的非接触操作装置和车辆 |
DE102020101286.1A DE102020101286A1 (de) | 2019-03-27 | 2020-01-21 | Berührungsfreie betriebsvorrichtung für fahrzeuge und fahrzeug |
US16/751,443 US11440407B2 (en) | 2019-03-27 | 2020-01-24 | Non-contact operating apparatus for vehicle and vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019060600A JP7336228B2 (ja) | 2019-03-27 | 2019-03-27 | 車両の非接触操作装置、および車両 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020160877A JP2020160877A (ja) | 2020-10-01 |
JP7336228B2 true JP7336228B2 (ja) | 2023-08-31 |
Family
ID=72607516
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019060600A Active JP7336228B2 (ja) | 2019-03-27 | 2019-03-27 | 車両の非接触操作装置、および車両 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11440407B2 (ja) |
JP (1) | JP7336228B2 (ja) |
CN (1) | CN111746436A (ja) |
DE (1) | DE102020101286A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112977469A (zh) * | 2021-03-12 | 2021-06-18 | 乐视致新信息技术(武汉)有限公司 | 基于车载全息投影的导航装置及其控制方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293419A (ja) | 2004-04-02 | 2005-10-20 | Alpine Electronics Inc | 空間入力システム |
JP2009009261A (ja) | 2007-06-27 | 2009-01-15 | Pioneer Electronic Corp | タッチパネル表示装置およびタッチパネル制御方法 |
JP2010070066A (ja) | 2008-09-18 | 2010-04-02 | Toshiba Corp | ヘッドアップディスプレイ |
JP2012068706A (ja) | 2010-09-21 | 2012-04-05 | Alpine Electronics Inc | 車載用ナビゲーション装置及び車載用ナビゲーション装置の手書き入力方法 |
JP2016095311A (ja) | 2015-12-04 | 2016-05-26 | パイオニア株式会社 | 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体 |
JP2017027401A (ja) | 2015-07-23 | 2017-02-02 | 株式会社デンソー | 表示操作装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5028912A (en) * | 1988-02-03 | 1991-07-02 | Yazaki Corporation | Display apparatus for automotive vehicle |
US20110144857A1 (en) * | 2009-12-14 | 2011-06-16 | Theodore Charles Wingrove | Anticipatory and adaptive automobile hmi |
DE102015120799A1 (de) * | 2015-12-01 | 2017-06-01 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Kraftfahrzeug |
JP6323960B2 (ja) * | 2016-08-02 | 2018-05-16 | 本田技研工業株式会社 | 入力装置 |
KR102395288B1 (ko) * | 2017-05-18 | 2022-05-09 | 현대자동차주식회사 | 홀로그램 표시 제어 장치 및 방법, 그리고 차량 시스템 |
US20190005610A1 (en) * | 2017-06-28 | 2019-01-03 | The Boeing Company | Motion-adapting displays within vehicles |
-
2019
- 2019-03-27 JP JP2019060600A patent/JP7336228B2/ja active Active
-
2020
- 2020-01-06 CN CN202010010661.8A patent/CN111746436A/zh active Pending
- 2020-01-21 DE DE102020101286.1A patent/DE102020101286A1/de active Pending
- 2020-01-24 US US16/751,443 patent/US11440407B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005293419A (ja) | 2004-04-02 | 2005-10-20 | Alpine Electronics Inc | 空間入力システム |
JP2009009261A (ja) | 2007-06-27 | 2009-01-15 | Pioneer Electronic Corp | タッチパネル表示装置およびタッチパネル制御方法 |
JP2010070066A (ja) | 2008-09-18 | 2010-04-02 | Toshiba Corp | ヘッドアップディスプレイ |
JP2012068706A (ja) | 2010-09-21 | 2012-04-05 | Alpine Electronics Inc | 車載用ナビゲーション装置及び車載用ナビゲーション装置の手書き入力方法 |
JP2017027401A (ja) | 2015-07-23 | 2017-02-02 | 株式会社デンソー | 表示操作装置 |
JP2016095311A (ja) | 2015-12-04 | 2016-05-26 | パイオニア株式会社 | 画像認識装置、画像認識方法、画像認識プログラム、及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
CN111746436A (zh) | 2020-10-09 |
JP2020160877A (ja) | 2020-10-01 |
US20200307378A1 (en) | 2020-10-01 |
US11440407B2 (en) | 2022-09-13 |
DE102020101286A1 (de) | 2020-10-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10099576B2 (en) | Vehicle seat adjustment system | |
JP6244822B2 (ja) | 車載用表示システム | |
WO2019124158A1 (ja) | 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体 | |
JP2020104680A (ja) | 室内監視装置 | |
JP7336228B2 (ja) | 車両の非接触操作装置、および車両 | |
JP7070212B2 (ja) | 車両用運動支援装置 | |
JP7063652B2 (ja) | 車両遠隔操作装置、車両遠隔操作システム及び車両遠隔操作方法 | |
KR102559138B1 (ko) | 차량용 비 접촉식 제어 시스템 | |
JP7377615B2 (ja) | 車両の非接触操作装置、および車両 | |
JP2006047478A (ja) | バーチャルリアリティ演出装置、バーチャルリアリティ演出制御装置及びバーチャルリアリティ演出制御プログラム | |
JP7304184B2 (ja) | 車両の非接触操作装置、および車両 | |
JP4493575B2 (ja) | 移動体シミュレータ装置およびその制御方法並びに制御プログラム | |
US20230311720A1 (en) | Vehicle seat | |
JP7290972B2 (ja) | 車両の同乗者コミュニケーション装置 | |
JP6962035B2 (ja) | 周辺監視装置 | |
JP2020003953A (ja) | 画像照射方法及びユーザインタフェース装置 | |
JP7333185B2 (ja) | 車両の接近警報装置 | |
JP2023044589A (ja) | シート状態調整システム | |
JP6539621B2 (ja) | 車両用シート調整装置 | |
KR20220103850A (ko) | 차량의 거동 예측을 통한 멀미 저감 방법 | |
JP2016141303A (ja) | 視界支援装置 | |
JP2022038647A (ja) | 車両用表示装置 | |
JP2019023775A (ja) | 情報提示装置 | |
JP2021054254A (ja) | 表示制御装置、ヘッドアップディスプレイ装置、方法、及びコンピュータ・プログラム | |
JP2010018111A (ja) | 車両用操作装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20221223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230619 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7336228 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |