JP2020144663A - エージェント装置、エージェント装置の制御方法、およびプログラム - Google Patents
エージェント装置、エージェント装置の制御方法、およびプログラム Download PDFInfo
- Publication number
- JP2020144663A JP2020144663A JP2019041558A JP2019041558A JP2020144663A JP 2020144663 A JP2020144663 A JP 2020144663A JP 2019041558 A JP2019041558 A JP 2019041558A JP 2019041558 A JP2019041558 A JP 2019041558A JP 2020144663 A JP2020144663 A JP 2020144663A
- Authority
- JP
- Japan
- Prior art keywords
- agent
- display
- animation
- display area
- occupant
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 230000004044 response Effects 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims description 29
- 230000033001 locomotion Effects 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 5
- 239000003795 chemical substances by application Substances 0.000 description 448
- 230000006870 function Effects 0.000 description 99
- 239000008186 active pharmaceutical agent Substances 0.000 description 52
- 238000004891 communication Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 11
- 238000003058 natural language processing Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 5
- 239000012141 concentrate Substances 0.000 description 4
- 230000001052 transient effect Effects 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 3
- 230000008921 facial expression Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 241001122315 Polites Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
- B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
- B60K35/656—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/85—Arrangements for transferring vehicle- or driver-related data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/37—Details of the operation on graphic patterns
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/165—Videos and animations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/166—Navigation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/182—Distributing information between displays
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/592—Data transfer involving external databases
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/741—Instruments adapted for user detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Automation & Control Theory (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Navigation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
(1):この発明の一態様に係るエージェント装置は、車両の乗員の発話に応じて、音声による応答を含むサービスを提供するエージェント機能部と、前記エージェント機能部に対応するエージェントに関するアニメーションを、前記車両内に設けられた表示部に表示させる表示制御部と、を備え、前記表示制御部は、前記乗員からの指示に応じて、前記表示部が備える第1表示領域と、前記車両内における位置が前記第1表示領域と異なる第2表示領域との間で、前記アニメーションを移動させる、ものである。
図1は、エージェント装置100を含むエージェントシステム1の構成図である。エージェントシステム1は、例えば、エージェント装置100と、複数のエージェントサーバ200−1、200−2、200−3、…とを備える。符号の末尾のハイフン以下数字は、エージェントを区別するための識別子であるものとする。いずれのエージェントサーバであるかを区別しない場合、単にエージェントサーバ200と称する場合がある。図1では3つのエージェントサーバ200を示しているが、エージェントサーバ200の数は2つであってもよいし、4つ以上であってもよい。それぞれのエージェントサーバ200は、互いに異なるエージェントシステムの提供者が運営するものである。従って、本発明におけるエージェントは、互いに異なる提供者により実現されるエージェントである。提供者としては、例えば、自動車メーカー、ネットワークサービス事業者、電子商取引事業者、携帯端末の販売者や製造者などが挙げられ、任意の主体(法人、団体、個人等)がエージェントシステムの提供者となり得る。
[車両]
図2は、第1実施形態に係るエージェント装置100の構成と、車両Mに搭載された機器とを示す図である。車両Mには、例えば、一以上のマイクユニット10と、表示・操作装置20と、スピーカユニット30と、ナビゲーション装置40と、車両機器50と、車載通信装置60と、乗員認識装置80と、エージェント装置100とが搭載される。また、スマートフォンなどの汎用通信装置70が車室内に持ち込まれ、通信装置として使用される場合がある。これらの装置は、CAN(Controller Area Network)通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図2に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
図2に戻り、エージェント装置100は、管理部110と、エージェント機能部150−1、150−2、150−3と、ペアリングアプリ実行部152とを備える。管理部110は、例えば、音声取得部111と、音響処理部112と、エージェントごとWU(Wake Up)判定部114と、指示受付部115と、表示制御部116と、音声制御部118とを備える。いずれのエージェント機能部であるか区別しない場合、単にエージェント機能部150と称する。3つのエージェント機能部150を示しているのは、図1におけるエージェントサーバ200の数に対応させた一例に過ぎず、エージェント機能部150の数は、2つであってもよいし、4つ以上であってもよい。図2に示すソフトウェア配置は説明のために簡易に示しており、実際には、例えば、エージェント機能部150と車載通信装置60の間に管理部110が介在してもよいように、任意に改変することができる。
図5は、エージェントサーバ200の構成と、エージェント装置100の構成の一部とを示す図である。以下、エージェントサーバ200の構成と共にエージェント機能部150等の動作について説明する。ここでは、エージェント装置100からネットワークNWまでの物理的な通信についての説明を省略する。
表示制御部116は、エージェント機能部150が提供するサービスやエージェント等に関する情報を、第1ディスプレイ21と第2ディスプレイ22に表示させる。
エージェントごとWU判定部114およびエージェント機能部150は、AGアニメーションの移動に応じて、音声の取得方法を変更する。言い換えると、AGエージェントが他のディスプレイに移動されることによりエージェント対応が他の乗員に引き継がれた場合(つまり、AGユーザが切り替えられた場合)、エージェントごとWU判定部114およびエージェント機能部150は、音声の取得方法も、エージェント対応する乗員の音声を取得する取得方法に切り替える。なお、音声の取得方法は、音声取得部111により変更されてもよい。
図6は、AGユーザが運転席DSの乗員である場合の画面の一例を示す図である。第1ディスプレイ21には、運転席用画面501が、第2ディスプレイ22には、助手席用画面601が、それぞれ表示されている。運転席用画面501には、サービスタイトル510と、レコメンドリスト520と、AGアニメーション550とが表示されている。助手席用画面601は、レコメンドリストやAGアニメーションが表示されていないブランク状態である。ここでは、エージェント機能部150−1が、エージェントサーバ200−1と協働して、ネットワークNWを介して各種ウェブサーバ300にアクセスし、乗員の要求に応じたレコメンド情報を取得し、取得したレコメンド情報を乗員に提供するレコメンドサービスを提供する例について説明する。乗員によりレコメンド情報の一つが目的地として選択された場合、エージェント機能部150−1は、車両機器50を制御して、選択された目的地に向かって車両Mを走行させてもよい。
図8は、AGアニメーションが移動中と移動後の画面の一例を示す図である。ここでは、移動前の状態において、AGユーザが運転席DSの乗員である例について説明する。移動前の状態では、図6に示すような画像が第1ディスプレイ21に表示されている。図8に示したAGアニメーション550(t1)は、移動前のAGアニメーションである。なお、txは、時刻を示し、t1が最も過去で、t5が最も未来である。例えば、AGアニメーション550(t1)が運転席DSの乗員によりタッチ操作された場合、AGアニメーション550(t2)、550(t3)が順番に表示される。そして、AGアニメーション550(t3)が第1ディスプレイ21から消えると、AGアニメーションは、第2ディスプレイ22に移動し、AGアニメーション650(t4)、650(t5)が順番に表示される。こうすることにより、表示制御部116は、AGアニメーションが、第1ディスプレイ21から第2ディスプレイ22に移動している最中のアニメーションを表示させることができる。また、表示制御部116は、AGアニメーションの移動に伴い、図7に示したようなエージェント情報を第2ディスプレイ22に表示させる。
図9は、AGアニメーションが移動した後の画面の一例を示す図である。ここでのAGアニメーションの移動も、図8に示す例と同様であって、第1ディスプレイ21から第2ディスプレイ22への移動である。以下、図8の例と異なる点について説明する。表示制御部116は、AGアニメーションが移動し、第1ディスプレイ21にAGアニメーション550が表示さていない状態において、エージェント情報の概要を第1ディスプレイ21に表示させる。こうすることで、運転席DSの乗員は、エージェントとの対話を助手席ASの乗員に任せつつ、自身もエージェント情報を確認することができる。なお、図9の例では、エージェント情報の概要を第1ディスプレイ21に表示しているが、エージェント情報の詳細を第1ディスプレイ21に表示してもよい。
表示制御部116は、第2ディスプレイ22に表示されているエージェント情報の一部が、表示・操作装置20を用いて助手席ASの乗員により指定された場合、第1ディスプレイ21の表示を、助手席ASの乗員により指定されたエージェント情報の一部に基づく情報に変更してもよい。なお、エージェント情報の一部の指定は、指示受付部115によって音声認識機能を用いて受け付けられてもよい。
表示制御部116は、車両Mの運転状況に応じて、第1ディスプレイ21と第2ディスプレイ22との間で、AGアニメーションを移動させてもよい。この場合も、AGアニメーションが移動したときの上述の処理を実行してもよい。例えば、エージェント情報の表示態様や音声の取得方法を、AGアニメーションの移動に伴い変更してもよい。
音声制御部118は、AGアニメーションが第1ディスプレイ21と第2ディスプレイ22との間を移動に応じて、エージェント音声の音像を定位させる位置を変更してもよい。例えば、AGアニメーションが第1ディスプレイ21から第2ディスプレイ22に移動した場合、音声制御部118は、第2ディスプレイ22に表示されているAGアニメーションがエージェント音声を喋っていると助手席ASの乗員が感じると予測される位置に、音像を定位させる制御を行う。一方、AGアニメーションが第2ディスプレイ22から第1ディスプレイ21に移動した場合、音声制御部118は、第1ディスプレイ21に表示されているAGアニメーションがエージェント音声を喋っていると運転席DSの乗員が感じると予測される位置に、音像を定位させる制御を行う。
図12は、エージェント機能部150の起動時の処理の一例を示すフローチャートである。エージェント装置100は、ウエイクアップワードが発話されたか否かを判定する(ステップS101)。ウエイクアップワードが発話された場合、エージェント機能部150が起動する。そして、管理部110は、発話した乗員の座席を特定し、特定した座席をAGユーザの座席に決定する(ステップS102)。次いで、管理部110は、決定されたAGユーザの座席が運転席DSであるか否かを判定する(ステップS103)。AGユーザの座席が運転席DSである場合、表示制御部116は、運転席用画面501にAGアニメーションとエージェント情報の概要を表示する(ステップS104)。音声取得部111は、運転席用の取得方法で、音声を取得する制御を開始する(ステップS105)。音声制御部118は、第1ディスプレイ21に表示されているAGアニメーションがエージェント音声を喋っていると運転席DSの乗員が感じると予測される位置に、音像を定位させる制御を開始する(ステップS106)。
20 表示・操作装置
21 第1ディスプレイ
22 第2ディスプレイ
23 第3ディスプレイ
30 スピーカユニット
40 ナビゲーション装置
50 車両機器
60 車載通信装置
70 汎用通信装置
80 乗員認識装置
100 エージェント装置
110 管理部
111 音声取得部
112 音響処理部
114 エージェントごとWU判定部
115 指示受付部
116 表示制御部
118 音声制御部
120 起動エージェント選択部
150 エージェント機能部
152 ペアリングアプリ実行部
200 エージェントサーバ
Claims (15)
- 車両の乗員の発話に応じて、音声による応答を含むサービスを提供するエージェント機能部と、
前記エージェント機能部に対応するエージェントに関するアニメーションを、前記車両内に設けられた表示部に表示させる表示制御部と、を備え、
前記表示制御部は、
前記乗員からの指示に応じて、前記表示部が備える第1表示領域と、前記車両内における位置が前記第1表示領域と異なる第2表示領域との間で、前記アニメーションを移動させる、
エージェント装置。 - 前記表示制御部は、
前記発話をした乗員の前記車両内の位置に基づいて、前記第1表示領域あるいは前記第2表示領域のいずれか一方に、前記アニメーションを表示させる、
請求項1に記載のエージェント装置。 - 前記エージェント機能部は、
前記車両に設けられた一以上のマイクからの出力に基づいて前記乗員の発話を取得し、前記アニメーションが前記第1表示領域に表示されている場合と、前記アニメーションが前記第2表示領域に表示されている場合とで、前記乗員の発話を取得する取得方法を異ならせる、
請求項1または2に記載のエージェント装置。 - 前記エージェント機能部は、
前記第1表示領域あるいは前記第2表示領域のうち、前記アニメーションが表示されている方の表示領域と、着座した乗員の頭部を想定した位置が最も近い座席の乗員による発話に基づいて、前記サービスを提供する、
請求項1から3のうちいずれか一項に記載のエージェント装置。 - 前記第1表示領域は、
前記車両内における位置が、前記第2表示領域よりも運転者の頭部を想定した位置に近い、
請求項1から4のうちいずれか一項に記載のエージェント装置。 - 前記表示制御部は、
前記表示部と一体的に設けられておりタッチ操作を検出する検出部により、少なくとも前記アニメーションに対するタッチ操作が検出された場合、前記アニメーションに対するタッチ操作に応じて、前記アニメーションを移動させる、
請求項1から5のうちいずれか一項に記載のエージェント装置。 - 前記表示制御部は、
前記アニメーションが一方の表示領域から他方の表示領域に移動する場合、前記エージェントが前記一方の表示領域から前記他方の表示領域に移動している最中のアニメーションを、前記表示部に表示させる、
請求項1から6のうちいずれか一項に記載のエージェント装置。 - 前記表示制御部は、
前記乗員の発話に応じて提供するエージェント情報を前記表示部に表示させ、前記アニメーションが表示されている表示領域に前記エージェント情報を表示させる場合と、前記アニメーションが表示されていない表示領域に前記エージェント情報を表示させる場合とで、前記エージェント情報の表示態様を異ならせる、
請求項1から7のうちいずれか一項に記載のエージェント装置。 - 前記表示制御部は、
前記アニメーションの移動に応じて、前記エージェント情報を前記第1表示領域に表示させる場合と、前記エージェント情報を前記第2表示領域に表示させる場合とで、前記エージェント情報の表示態様を異ならせる、
請求項8に記載のエージェント装置。 - 前記表示制御部は、
前記エージェント情報の情報量が異なるように、前記エージェント情報の表示態様を異ならせる、
請求項8または9に記載のエージェント装置。 - 前記表示制御部は、
前記第1表示領域あるいは前記第2表示領域のうち前記アニメーションが移動した方の表示領域に前記エージェント情報の詳細を表示させ、移動する前の前記アニメーションが表示されていた方の表示領域に前記エージェント情報の概要を表示させる、
請求項8から10のうちいずれか一項に記載のエージェント装置。 - 前記表示制御部は、
前記第2表示領域に表示されている前記エージェント情報の一部が前記乗員により指定された場合、前記第1表示領域の表示を、前記乗員により指定された前記エージェント情報の一部に基づく情報に変更する、
請求項8から11のうちいずれか一項に記載のエージェント装置。 - 前記表示制御部は、
前記車両の運転状況に応じて、前記第1表示領域と前記第2表示領域との間で、前記アニメーションを移動させる、
請求項1から12のうちいずれか一項に記載のエージェント装置。 - コンピュータが、
エージェント機能を用いて、車両の乗員の発話に応じて、音声による応答を含むサービスを提供し、
前記エージェント機能に対応するエージェントに関するアニメーションを、前記車両内に設けられた表示部に表示させ、
前記乗員からの指示に応じて、前記表示部が備える第1表示領域と、前記車両内における位置が前記第1表示領域と異なる第2表示領域との間で、前記アニメーションを移動させる、
エージェント装置の制御方法。 - コンピュータに、
エージェント機能を用いて、車両の乗員の発話に応じて、音声による応答を含むサービスを提供する処理と、
前記エージェント機能に対応するエージェントに関するアニメーションを、前記車両内に設けられた表示部に表示させる処理と、
前記乗員からの指示に応じて、前記表示部が備える第1表示領域と、前記車両内における位置が前記第1表示領域と異なる第2表示領域との間で、前記アニメーションを移動させる処理と、
を実行させるプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019041558A JP7340940B2 (ja) | 2019-03-07 | 2019-03-07 | エージェント装置、エージェント装置の制御方法、およびプログラム |
CN202010145342.8A CN111661068B (zh) | 2019-03-07 | 2020-03-04 | 智能体装置、智能体装置的控制方法及存储介质 |
US16/808,414 US11211033B2 (en) | 2019-03-07 | 2020-03-04 | Agent device, method of controlling agent device, and storage medium for providing service based on vehicle occupant speech |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019041558A JP7340940B2 (ja) | 2019-03-07 | 2019-03-07 | エージェント装置、エージェント装置の制御方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020144663A true JP2020144663A (ja) | 2020-09-10 |
JP7340940B2 JP7340940B2 (ja) | 2023-09-08 |
Family
ID=72334988
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019041558A Active JP7340940B2 (ja) | 2019-03-07 | 2019-03-07 | エージェント装置、エージェント装置の制御方法、およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11211033B2 (ja) |
JP (1) | JP7340940B2 (ja) |
CN (1) | CN111661068B (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020144274A (ja) * | 2019-03-07 | 2020-09-10 | 本田技研工業株式会社 | エージェント装置、エージェント装置の制御方法、およびプログラム |
JP7169921B2 (ja) * | 2019-03-27 | 2022-11-11 | 本田技研工業株式会社 | エージェント装置、エージェントシステム、エージェント装置の制御方法、およびプログラム |
WO2021194177A1 (ko) * | 2020-03-23 | 2021-09-30 | 엘지전자 주식회사 | 디스플레이 제어 장치 |
JP7366850B2 (ja) * | 2020-07-28 | 2023-10-23 | 本田技研工業株式会社 | 情報共有システムおよび情報共有方法 |
JP7314898B2 (ja) * | 2020-10-09 | 2023-07-26 | トヨタ自動車株式会社 | エージェント装置、エージェント方法及びエージェントプログラム |
CN112373302B (zh) * | 2020-11-10 | 2022-07-12 | 广州小鹏汽车科技有限公司 | 显示控制方法、装置、车辆及存储介质 |
CN114564159B (zh) * | 2020-11-27 | 2024-01-30 | 上海擎感智能科技有限公司 | 控制方法、***及计算机存储介质 |
KR20230023330A (ko) * | 2021-08-10 | 2023-02-17 | 현대모비스 주식회사 | 차량의 표시 장치 및 그것의 동작 방법, 차량 |
CN114035878A (zh) * | 2021-11-11 | 2022-02-11 | 阿波罗智联(北京)科技有限公司 | 信息显示方法、装置、电子设备以及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06183286A (ja) * | 1992-09-16 | 1994-07-05 | Zanabui Infuomateikusu:Kk | 車載用情報表示装置 |
JP2000043652A (ja) * | 1998-07-31 | 2000-02-15 | Alpine Electronics Inc | 車載用装置の表示制御方式 |
JP2003022278A (ja) * | 2001-07-06 | 2003-01-24 | Alpine Electronics Inc | 情報交換システム |
JP2006154926A (ja) * | 2004-11-25 | 2006-06-15 | Denso Corp | キャラクタ表示を利用した電子機器操作システム及び電子機器 |
JP2006335231A (ja) * | 2005-06-02 | 2006-12-14 | Denso Corp | エージェントキャラクタ表示を利用した表示システム |
JP2008001247A (ja) * | 2006-06-23 | 2008-01-10 | Kenwood Corp | エージェント装置、プログラム、及びエージェント装置におけるキャラクタ表示方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6006161A (en) * | 1996-08-02 | 1999-12-21 | Aisin Aw Co., Ltd. | Land vehicle navigation system with multi-screen mode selectivity |
US8214219B2 (en) * | 2006-09-15 | 2012-07-03 | Volkswagen Of America, Inc. | Speech communications system for a vehicle and method of operating a speech communications system for a vehicle |
BRPI0809759A2 (pt) * | 2007-04-26 | 2014-10-07 | Ford Global Tech Llc | "sistema informativo emotivo, sistemas de informações emotivas, métodos de condução emotiva de informações, sistemas informativos emotivos para um veículo de passageiro e método implementado por computador" |
US20100118037A1 (en) * | 2008-09-08 | 2010-05-13 | Apple Inc. | Object-aware transitions |
US20110298808A1 (en) * | 2010-06-02 | 2011-12-08 | Toyota Motor Engineering & Manufacturing North America, Inc. | Animated Vehicle Attendance Systems |
US9008906B2 (en) * | 2011-11-16 | 2015-04-14 | Flextronics Ap, Llc | Occupant sharing of displayed content in vehicles |
KR101416378B1 (ko) * | 2012-11-27 | 2014-07-09 | 현대자동차 주식회사 | 영상 이동이 가능한 디스플레이 장치 및 방법 |
KR20150073269A (ko) * | 2013-12-20 | 2015-07-01 | 현대자동차주식회사 | 차량용 클러스터 장치 |
JP6508845B2 (ja) * | 2017-06-02 | 2019-05-08 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、およびプログラム |
-
2019
- 2019-03-07 JP JP2019041558A patent/JP7340940B2/ja active Active
-
2020
- 2020-03-04 US US16/808,414 patent/US11211033B2/en active Active
- 2020-03-04 CN CN202010145342.8A patent/CN111661068B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06183286A (ja) * | 1992-09-16 | 1994-07-05 | Zanabui Infuomateikusu:Kk | 車載用情報表示装置 |
JP2000043652A (ja) * | 1998-07-31 | 2000-02-15 | Alpine Electronics Inc | 車載用装置の表示制御方式 |
JP2003022278A (ja) * | 2001-07-06 | 2003-01-24 | Alpine Electronics Inc | 情報交換システム |
JP2006154926A (ja) * | 2004-11-25 | 2006-06-15 | Denso Corp | キャラクタ表示を利用した電子機器操作システム及び電子機器 |
JP2006335231A (ja) * | 2005-06-02 | 2006-12-14 | Denso Corp | エージェントキャラクタ表示を利用した表示システム |
JP2008001247A (ja) * | 2006-06-23 | 2008-01-10 | Kenwood Corp | エージェント装置、プログラム、及びエージェント装置におけるキャラクタ表示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7340940B2 (ja) | 2023-09-08 |
US20200286450A1 (en) | 2020-09-10 |
CN111661068B (zh) | 2023-09-29 |
CN111661068A (zh) | 2020-09-15 |
US11211033B2 (en) | 2021-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7340940B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP7239366B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
US11325605B2 (en) | Information providing device, information providing method, and storage medium | |
US20200286452A1 (en) | Agent device, agent device control method, and storage medium | |
US20200317055A1 (en) | Agent device, agent device control method, and storage medium | |
JP7340943B2 (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
CN111559328A (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
JP2020144264A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
US11518398B2 (en) | Agent system, agent server, method of controlling agent server, and storage medium | |
US11437035B2 (en) | Agent device, method for controlling agent device, and storage medium | |
US20200320997A1 (en) | Agent apparatus, agent apparatus control method, and storage medium | |
JP2020152298A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020142758A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020157853A (ja) | 車載エージェントシステム、車載エージェントシステムの制御方法、およびプログラム | |
JP2020157808A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020160848A (ja) | サーバ装置、情報提供システム、情報提供方法、およびプログラム | |
JP2020160133A (ja) | エージェントシステム、エージェントシステムの制御方法、およびプログラム | |
CN111559317B (zh) | 智能体装置、智能体装置的控制方法及存储介质 | |
US11518399B2 (en) | Agent device, agent system, method for controlling agent device, and storage medium | |
JP2020157854A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020156032A (ja) | エージェントシステム、サーバ装置、エージェントシステムの制御方法、およびプログラム | |
JP2020160132A (ja) | エージェント装置、エージェント装置の制御方法、プログラム、エージェントサーバ、およびエージェントサーバの制御方法 | |
JP2020160108A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム | |
JP2020157864A (ja) | エージェント装置、エージェント装置の制御方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230829 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7340940 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |