JP7003400B2 - 対話制御システム - Google Patents

対話制御システム Download PDF

Info

Publication number
JP7003400B2
JP7003400B2 JP2016210313A JP2016210313A JP7003400B2 JP 7003400 B2 JP7003400 B2 JP 7003400B2 JP 2016210313 A JP2016210313 A JP 2016210313A JP 2016210313 A JP2016210313 A JP 2016210313A JP 7003400 B2 JP7003400 B2 JP 7003400B2
Authority
JP
Japan
Prior art keywords
user
personality
information
current
dialogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016210313A
Other languages
English (en)
Other versions
JP2018068548A (ja
Inventor
彰 一星
タプリヤ ローシャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2016210313A priority Critical patent/JP7003400B2/ja
Priority to US15/647,279 priority patent/US20180121784A1/en
Publication of JP2018068548A publication Critical patent/JP2018068548A/ja
Application granted granted Critical
Publication of JP7003400B2 publication Critical patent/JP7003400B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/06—Electrically-operated teaching apparatus or devices working with questions and answers of the multiple-choice answer-type, i.e. where a given question is provided with a series of answers and a choice has to be made from the answers
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0295—Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、対話制御システムに関する。
特許文献１には、利用者との対話時における利用者の表情から得た感情、音声から得た感情、口調、およびテキストの情報を組み合わせることにより利用者の性格を分類し、分類に応じて応答を変化させる対話エージェントが開示されている。
特許文献２には、被験者の表情を認識して感情を推定する手段、前記被験者の生体情報を検出して感情を推定する手段、および、前記被験者の音声から感情を推定する手段、のうち少なくとも２種類の手段で感情を推定した感情推定結果を取得する感情推定装置、感情推定方法およびプログラムが開示されている。
特開２００６－０７１９３６号公報 特開２０１２－５９１０７号公報
本発明は、利用者から対話時に得た情報のみに応じて対話装置の振る舞いを制御した場合と比べて、より利用者の感情に沿った振る舞いを対話装置にさせることのできる対話制御システムを提供することを目的とする。
請求項１に係る本発明は、
対話装置と、
利用者の生体情報と、利用者の性格情報の入力により、利用者の精神状態を出力するための機械学習モデルと、利用者の現在の精神状態と対話装置がとるべき性格とを対応付けて記憶した対応テーブルを記憶する記憶手段と、
利用者によるアンケート又は性格診断テストの結果を解析することにより得られ、利用者の平常時の精神的傾向を表す数値化された平常時の性格情報を取得する取得手段と、
利用者の皮膚電位、心拍数および末梢血管の容積脈波を生体情報として検出する検出手段と、
検出された利用者の現時点の生体情報と、取得された利用者の平常時の性格情報とを、前記機械学習モデルに入力することにより出力した利用者の精神状態を利用者の現時点の精神状態と推定する推定手段と、
推定された利用者の現時点の精神状態に対応する、予め定められた何れかの精神状態に応じた対話装置がとるべき性格に関する性格情報を前記対応テーブルから取得して、取得した性格情報を前記対話装置に送信して前記対話装置の性格を変更する変更手段と、
前記対話装置を、変更後の性格で利用者と対話させる制御を行う制御手段とを備え、
前記機械学習モデルは、利用者の皮膚電位に関するデータに基づいて利用者の現時点における興奮度を算出し、利用者の心拍数データおよび抹消血管の容積脈波データに基づいて利用者の現時点における感情度を算出し、算出された利用者の現時点における興奮度および感情度に基づいて、利用者の現時点の精神状態が平常時の性格情報からどれだけ変位したかを算出することにより、利用者の現時点の精神状態を出力する
対話制御システムである。
請求項２に係る本発明は、請求項１記載の対話制御システムに係り、前記取得手段は、利用者の外交性－内向性尺度、神経症的尺度、および精神病傾向尺度を数値化した性格情報を取得する。
請求項１に係る本発明によれば、利用者から対話時に得た情報のみに応じて対話装置の振る舞いを制御した場合と比較して、より利用者の現在の精神状態に沿った振る舞いを対話装置にさせることのできる対話制御システムを提供できる。
また、請求項１に係る本発明によれば、機械学習を用いない対話制御システムと比較した場合に、対話装置に、利用者の現在の精神状態をより正確に反映した性格を取らせることができる。
また、請求項１に係る本発明によれば、生体センサを用いない対話制御システムと比較した場合に、対話装置に、利用者の現在の精神状態をより正確に反映した性格を取らせることができる。
また、請求項１に係る本発明によれば、アンケートを用いない対話制御システムと比較した場合に、対話装置に、利用者の平常時の性格と現在の精神状態をより正確に反映した性格を取らせることができる。
請求項２に係る本発明によれば、外交性－内向性尺度、神経症的尺度、および精神病傾向尺度のいずれも用いない対話制御システムと比較した場合に、対話装置に、利用者の平常時の性格と現在の精神状態をより正確に反映した性格を取らせることができる。
本発明の一実施形態の対話制御システム１０の一例を示す説明図である。 実施形態における対話型ロボット２０のハードウェア構成図である。 実施形態における対話型ロボット２０の機能ブロック図である。 実施形態における制御サーバ４０のハードウェア構成図である。 実施形態における制御サーバ４０の機能ブロック図である。 実施形態の利用者性格データベース４１７の一例を示す図である。 本実施形態の対話制御システム１０における対話制御処理の流れの一例を示すフローチャートである。 生体センサ７０から取得した生体データに基づいて推定される利用者６０の精神状態を表した概念図である。 利用者６０の平常時の性格、つまり精神的傾向に対して生体センサ７０から得られる生体データに基づく精神状態を考慮することによって現時点の精神状態を推定する方法を示した概念図である。 本実施形態の制御サーバ４０における対話制御処理の流れの他の例を示すフローチャートである。
本発明の一実施形態の対話制御システム１０を、図１を参照して説明する。本実施形態の対話制御システム１０は、オフィスビルのフロア等の比較的大きな所定の領域（以下、ワークプレイスという）１００に配置される対話型ロボット２０と、制御サーバ４０と、を備えて構成され、制御サーバ４０は、対話型ロボット２０にネットワーク３０、およびワークプレイス１０の壁面等に設置されたアクセスポイント５０を介して無線により接続される。さらに、ワークプレイス１０には、利用者６０が存在しており、利用者６０の手首或いは腕には生体センサ７０が取り付けられ、生体センサ７０と制御サーバ４０はアクセスポイント５０を介して無線により接続されている。
生体センサ７０は、利用者６０の現在の感情の身体的徴候、例えば生体情報を検出する。生体情報は、例えば、利用者６０の皮膚電位、心拍数、末梢血管の容積脈波に関するデータを少なくともいずれか一つを含む。皮膚電位に関する情報には、現在の皮膚電位の値だけでなく、平常時に対する皮膚電位の変位、分散、また単位時間当たりの皮膚電位の変動率も含まれる。同様に、心拍数に関する情報には、現在の心拍数だけでなく、平常時に対する心拍数の変位、また単位時間当たりの心拍数の変動率が含まれる。また、末梢血管の容積脈波に関するデータには、現在の血管の収縮拡張のデータが含まれる。
まず、図２、３を参照して、本実施形態の対話型ロボット２０について説明する。図２は、対話型ロボット２０のハードウェア構成図である。図２に示すように、対話型ロボット２０は、制御用マイクロプロセッサ２０１、メモリ２０２、ハードディスク・ドライブ（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等の記憶装置２０３、通信インタフェース２０４、カメラ２０５、マイクロフォン２０６、スピーカ２０７、モータ２０８、現在位置検出装置２０９を備えて構成され、それぞれ制御バス２１０に接続されている。
制御用マイクロプロセッサ２０１は、記憶装置２０３に記憶された制御プログラムに基づいて対話型ロボット２０の各部の動作を制御統括する。メモリ２０２には、対話型ロボット２０が利用者と行った対話時の対話の音声、対話内容、カメラ２０５により撮影された利用者６０の顔写真、表情、挙動、身体の状態の画像等が一時的に記憶される。記憶装置２０３には対話型ロボット２０の各部を制御するための制御プログラムが記憶される。通信インタフェース２０４は、対話型ロボット２０がアクセスポイント５０を介して制御サーバ４０と通信を行うための通信制御を行う。
カメラ２０５は、利用者の顔画像、表情、挙動、身体の状態の変化等を撮影し、メモリ２０２に記憶する。マイクロフォン２０６は、利用者と対話を行った際に、利用者の音声を検出し、メモリ２０２に記憶、つまり録音する。メモリ２０２には、音声を直接録音するのではなく、音声内容を解釈した後の対話内容、および音の高さや言葉の速さを記憶させてもよい。スピーカ２０７は、対話型ロボット２０の後述する対話制御部が生成した音声を出力する。モータ２０８は、後述する移動制御部において生成された移動制御情報に基づいて対話型ロボット２０を所定の位置に移動させる。現在位置検出装置２０９は、加速度センサ、ＧＰＳ信号受信装置、或いは位置情報信号受信装置等を含んで構成されており、対話型ロボット２０の現在位置を特定して、メモリ２０２に一時的に記憶させる。
図３は、対話型ロボット２０の機能ブロック図である。対話型ロボット２０は、記憶装置２０３に記憶されている制御プログラムを制御用マイクロプロセッサ２１１において実行することにより、図３に示されるように、センサ情報送信部２１１、ロボット性格情報受信部２１２、対話制御部２１３、移動制御部２１４、ロボット性格情報データベース２１５として機能する。
センサ情報送信部２１１は、対話型ロボット２０のカメラ２０５によって撮影された利用者６０の顔写真、およびカメラ２０５とマイクロフォン２０６によって検出された利用者６０の外面情報を制御サーバ４０に送信する。外面情報には、カメラ２０５によって撮影された利用者６０の表情、挙動についてのデータ、マイクロフォン２０６によって検出された利用者６０の音声の高さ、言葉の速さについてのデータが含まれる。なお、外面情報の一部、例えば、利用者６０の口角や眉の角度、瞬き回数、カメラで撮影された利用者６０のＲＧＢ画像を解析して得られる体温の情報、音声の高さといった情報は生体情報として扱うこともできるが、外面情報、生体情報のいずれであってもセンサ情報送信部２１１によって制御サーバ４０へ送信する。
ロボット性格情報受信部２１２は、後述する制御サーバ４０のロボット性格情報送信部から送信されてきた、対話型ロボット２０がとるべき性格についての情報を受信し、メモリ２０２に一時的に記憶する。
対話制御部２１３は、対話型ロボット２０が利用者６０と行う対話を制御する。具体的には、対話制御部２１３は、後述するロボット性格情報データベース２１５を参照し、ロボット性格情報受信部２１２が受信したロボットがとるべき性格に応じた対話方法および対話内容で、応答メッセージを生成してスピーカ２０７に出力したり、モータ２０８の駆動を制御して対話型ロボット２０の姿勢や挙動を変化させたりする。
移動制御部２１４は、対話型ロボット２０の移動を制御する。移動制御部２１４は、制御サーバ４０から移動指示があった場合に、現在位置から目的位地まで移動する移動制御情報を生成し、現在位置検出装置２０９によって検出される現在位置の情報を参照しつつモータ２０８の動作を制御し、対話型ロボット２０を移動させる。
ロボット性格情報データベース２１５は、対話型ロボット２０の対話方法や応答内容を、対話型ロボット２０がとる性格毎に蓄積したものである。
次に、図４、５を参照して、本実施形態の制御サーバ４０について説明する。図４は、制御サーバ４０のハードウェア構成図である。図４に示すように、制御サーバ４０は、ＣＰＵ４０１、メモリ４０２、記憶装置４０３、通信インタフェース４０４、ユーザインタフェース４０５を備えて構成され、それぞれ制御バス４０６に接続されている。
ＣＰＵ４０１は、記憶装置４０３に記憶された制御プログラムに基づいて制御サーバ４０各部の動作を制御統括する。メモリ４０２には、対話型ロボット２０から送信されてきた対話型ロボット２０の位置情報や利用者６０の顔写真、外面情報、或いは生体情報、利用者６０に取り付けられた生体センサ７０から送信されてきた利用者６０の生体情報が記憶される。
記憶装置４０３は、ハードディスク・ドライブ（ＨＤＤ）やソリッド・ステート・ドライブ（ＳＳＤ）等であり、制御サーバ４０を制御するための制御プログラムが記憶されている。さらに、記憶装置４０３には、後述するが、利用者性格データベースや制御サーバ４０が利用者６０の現在の精神状態を推定する際に使用する機械学習モデルが記憶されている。
通信インタフェース４０４は、制御サーバ４０がアクセスポイント５０を介して対話型ロボット２０、および利用者６０に取り付けられた生体センサ７０と各種データの送受信を行うための通信制御を行う。ユーザインタフェース４０５は、液晶ディスプレイ等の表示装置、キーボードやマウス等の入力装置によって構成されており、記憶装置４０３に記憶されている制御プログラムを管理者が調整したりするためのものである。
図５は、制御サーバ４０の機能ブロック図を示す。制御サーバ４０は、記憶装置４０３に記憶されている制御プログラムをＣＰＵ４０１において実行することにより、図５に示されるように、利用者特定部４１１、利用者性格取得部４１２、センサ情報取得部４１３、精神状態推定部４１４、ロボット性格決定部４１５、ロボット性格情報送信部４１６、利用者性格データベース４１７、学習モデル記憶部４１８として機能する。
利用者特定部４１１は、対話型ロボット２０のセンサ情報送信部２１１から送信されてきた利用者６０の顔写真に基づいて対話型ロボット２０の対話相手である利用者６０が誰であるかを特定する。なお、利用者６０の特定は、顔写真を使用する方法以外にも、音声データを解析する声紋認証を使用する方法を採用してもよい。
利用者性格取得部４１２は、利用者特定部４１１によって特定された利用者６０の平常時の精神的傾向を表す平常時の性格情報を利用者性格データベース４１５から取得する。これら利用者の平常時の性格情報は、それぞれの利用者に対して事前に行った性格診断テスト、或いはアンケートの結果を利用者性格取得部４１２が解析することによって利用者性格データベース４１７に記憶するようにしてもよい。或いは、利用者性格取得部４１２は、対話型ロボット２０を介して利用者６０に対して性格診断テストを予め行い、その結果を解析することによって、利用者６０の平常時の性格情報を生成し、利用者性格データベース４１７に記憶するようにしてもよい。
センサ情報取得部４１３は、対話型ロボット２０のセンサ情報送信部２１１から送信されてきた利用者６０の外面情報および生体情報、生体センサ７０から送信されてきた生体情報を受信し、メモリ４０２に記憶する。
精神状態推定部４１４は、利用者性格取得部４１２によって取得された利用者６０の平常時の性格情報と、センサ情報取得部４１３によって取得された利用者６０の外面情報と生体情報とを後述する学習モデル記憶部４１８に記憶された機械学習モデルに入力し、出力として利用者６０の精神状態を得ることにより現在の精神状態を推定する。
ロボット性格決定部４１５は、精神状態推定部４１４において推定された利用者６０の現在の精神状態に応じて、対話型ロボット２０がとるべき性格を決定する。これは利用者６０の現在の各種精神状態と対話型ロボット２０がとるべき性格とを関連付けて記憶した対応テーブル（図示せず）を予め生成しておき、ロボット性格決定部４１５はこの対応テーブルを参照することにより対話型ロボット２０がとるべき性格を決定する。例えば、利用者６０の現在の精神状態が「内向的かつ安定している」であれば、対話型ロボット２０が取るべき性格は「内向的かつ安定している」とする。この対応テーブルは、管理者が手動で作成してもよいし、機械学習によって生成してもよい。機械学習によって対応テーブルを生成する場合は、様々な性格（精神状態）の利用者６０と、様々な性格を発現させた対話型ロボット２０を対話させ、利用者６０に装着された生体センサ７０や対話型ロボット２０のカメラ２０５で検出した生体情報を解析し、それぞれの性格の利用者６０にとって最も心地よく感じたと推定される対話型ロボット２０の性格を対応テーブルに登録する。
ロボット性格情報送信部４１６は、ロボット性格決定部４１５によって決定された対話型ロボット２０がとるべき性格を対話型ロボット２０に送信する。
利用者性格データベース４１７は、利用者毎の平常時の精神的傾向を表す平常時の性格情報を蓄積したものである。例えば、利用者の平常時の性格情報を、外交的尺度、神経症的尺度、精神病的尺度で表し、数値で利用者毎に記憶している。なお、利用者の平常時の性格情報は、上述の要素で表される尺度に限定されず、他の尺度、例えば、精神的安定尺度、社会的適応尺度、衝動的尺度といった尺度で表してもよい。
学習モデル記憶部４１８は、機械学習モデルを格納している。機械学習モデルは、利用者の平常時の精神的傾向を表す平常時の性格情報と、利用者の現在の生体情報を入力した場合に、利用者の現在の精神状態を出力する。
図６は、利用者性格データベース４１７の一例を示す図である。図６を参照すると、「Ａさん」～「Ｃさん」それぞれの「外交的尺度」、「神経症的尺度」、「精神病的尺度」が数値化されて登録されている。これらの数値は、対話型ロボット２０と対話する可能性のある利用者６０に対してアンケートを行い、その結果を管理者が制御サーバ４０に手動で入力することにより登録されたものである。或いは、制御サーバ４０の利用者性格取得部４１２が対話型ロボット２０に対して性格診断テストを行うように指示し、その結果に基づいて利用者６０の平常時の精神的傾向を表す平常時の性格情報を数値化するようにしてもよい。その場合、対話型ロボット２０の対話制御部２１３は、制御サーバ４０からの性格診断テストを実施するようにという指示に基づいて利用者３０と対話を行いつつ性格診断テストを実施するとともに利用者３０の回答を制御サーバ４０に送信する。そして、制御サーバ４０の利用者性格取得部４１２は性格診断テストの回答に基づいてそれぞれの利用者６０の平常時の性格情報を数値化し、利用者性格データベース４１７に登録する。
次に、図７を参照して、対話制御システム１０における対話制御処理の流れを説明する。図７は、本実施形態の制御サーバ４０における対話制御処理の流れの一例を示すフローチャートである。なお、対話型ロボット２０と対話する利用者６０が誰であるかを特定する処理は、利用者特定部４１１により既に実施されているものとする。ステップＳ７０１において、制御サーバ４０のセンサ情報取得部４１３は、生体センサ７０から利用者６０の皮膚電位に関するデータＥ（ｔ）を取得し、メモリ４０２に記憶する。続くステップＳ７０２において、精神状態推定部４１４は、皮膚電位に関するデータＥ（ｔ）に基づいて現時点における興奮度Ａ（ｔ）を算出し、ステップＳ７０５に進む。
ステップＳ７０１と並行して実施されるステップＳ７０３において、制御サーバ４０のセンサ情報取得部４１３は、生体センサ７０から利用者６０の心拍数のデータＨ（ｔ）と末梢血管の容積脈波に関するデータＢ（ｔ）を取得し、メモリ４０２に記憶する。続くステップＳ７０４において、精神状態推定部４１４は、心拍数のデータＨ（ｔ）、末梢血管の容積脈波のデータＢ（ｔ）に基づいて現時点における感情度Ｖ（ｔ）を算出し、ステップＳ７０５に進む。
ステップＳ７０５において、制御サーバ４０の精神状態推定部４１４は、利用者６０の現時点における精神状態を推定する。具体的には、利用者性格取得部４１２が利用者性格データベース４１７を参照することにより利用者６０の平常時の精神的傾向を表す平常時の性格情報を取得する。さらに、精神状態推定部４１４は、ステップＳ７０２、Ｓ７０４においてそれぞれ算出された興奮度Ａ（ｔ）、感情度Ｖ（ｔ）に基づいて、利用者６０の現時点の精神状態が、平常時の性格情報Ｐ0からどれだけ変位したかを算出する。より具体的には、以下の式にて、精神状態ｆ（ｔ）を算出する。

f(t) = P0 × g(A(t), V(t))
図８は、生体センサ７０から取得した生体データに基づいて推定される利用者６０の精神状態を表した概念図である。図９は、利用者６０の平常時の性格情報に対して生体センサ７０から得られる生体データに基づく精神状態を考慮することによって現時点の精神状態を推定する方法を示した概念図である。図８では、横軸に感情度Ｖ（ｔ）をとり、縦軸に興奮度Ａ（ｔ）をとっている。したがって、ステップＳ７０２、Ｓ７０４において算出された感情度Ｖ（ｔ）、興奮度Ａ（ｔ）を図８上にプロットすることにより現時点の精神状態８１０をある程度推定することが可能である。しかしながら、本実施形態においては、生体センサ７０から取得した生体データと、当該利用者６０の平常時の性格情報のデータとに基づいて現時点の精神状態を推定している。
図９では、横軸を内向的－外交的尺度、縦軸を安定－不安定尺度で表している。例えば、図６に利用者性格データベース４１７から取得した利用者６０の外交的尺度をそのまま横軸にプロットし、神経症的尺度を縦軸（安定－不安定尺度）でプロットすることにより、平常時の性格（平常時の精神的傾向）９１０（Ｐ0）を推定することができる。さらに、この平常時の性格から生体センサ７０から取得したデータに基づいて算出された感情度Ｖ（ｔ）、興奮度Ａ（ｔ）の分だけそれぞれ横軸、縦軸方向に変位した領域を現在の精神状態９２０として推定している。なお、図８の感情度と図９の内向的－外交的尺度とは必ずしも一対一で対応しているわけではなく、同様に図８の興奮度と図９の安定－不安定尺度も一対一で対応しているわけではないが、ここでは説明を簡単にするために、略同一の尺度として説明している。
図７のステップＳ７０６において、制御サーバ４０のロボット性格決定部４１５は、上記ステップＳ７０５において推定された利用者６０の現時点の精神状態が、予め定められた何れかの精神状態に該当するかを判定する。利用者６０の精神状態が第１の精神状態（例えば、内向的かつ安定している）であると判定された場合、ステップＳ７０７の処理に進み、ロボット性格決定部４１５は、対話型ロボット２０が取るべき性格を、上述の対応テーブルを参照し、性格Ａ（例えば、利用者６０と同じ、内向的かつ安定している）とすることを決定してロボット性格情報を生成し、生成されたロボット性格情報はロボット性格情報送信部４１６により対話型ロボット２０に送信され、処理が終了される。なお、ロボット性格決定部４１５は、上述した対応テーブルを参照することにより対話型ロボット２０がとるべき性格を決定する。さらに、対話型ロボット２０のロボット性格情報受信部２１２は、制御サーバ４０から送信されてきたロボット性格情報を受信し、対話制御部２１３は、受信したロボット性格情報に基づいてロボット性格情報データベース２１５を参照しつつ、決定されたロボットの性格で利用者６０と対話を行う。
上記ステップＳ７０６において、利用者６０の精神状態が第２～４の精神状態であるとそれぞれ判定された場合、それら判定された精神状態に応じてそれぞれステップＳ７０８～Ｓ７１０の処理に進み、ロボット性格決定部４１５は、上述の対応テーブルを参照し、対話型ロボット２０が取るべき性格をＢ～Ｄとすることを決定するとともにそれぞれの性格に対応したロボット性格情報を生成し、ロボット性格情報送信部４１６がロボット性格情報を対話型ロボット２０に送信し、処理を終了する。
上記ステップＳ７０６において、利用者６０の精神状態が、予め定められた何れの精神状態にも該当しないと判定された場合は、処理を終了する。
次に、図１０を参照して、対話制御システム１０における対話制御処理の他の方法について説明する。図１０は、本実施形態の制御サーバ４０における対話制御処理の流れの他の例を示すフローチャートである。なお、対話型ロボット２０と対話する利用者６０が誰であるかを特定する処理は、利用者特定部４１１により既に実施されているものとする。ステップＳ１００１において、制御サーバ４０のセンサ情報取得部４１３は、生体センサ７０から利用者６０の皮膚電位に関するデータＥ（ｔ）を取得し、メモリ４０２に記憶し、ステップＳ１００４に進む。ステップＳ１００１と並行して実行されるステップＳ１００２において、制御サーバ４０のセンサ情報取得部４１３は、生体センサ７０から利用者６０の心拍数のデータＨ（ｔ）と末梢血管の容積脈波に関するデータＢ（ｔ）を取得し、メモリ４０２に記憶し、ステップＳ１００４に進む。
ステップＳ１００１、Ｓ１００２と並行して行われるステップＳ１００３において、利用者性格取得部４１２は、利用者性格データベース４１７を参照することにより、利用者６０の平常時の精神的傾向を表す平常時の性格情報Ｐ0（外交的尺度ｅ、神経症的尺度ｓ、精神病的尺度ｐ）を取得し、ステップＳ１００４に進む。
ステップＳ１００４において、精神状態推定部４１４は、上記ステップＳ１００１～Ｓ１００３において取得された皮膚電位に関するデータＥ（ｔ）、心拍数のデータＨ（ｔ）、末梢血管の容積脈波に関するデータＢ（ｔ）、利用者６０の平常時の性格情報（ｅ、ｓ、ｐ）を学習モデル記憶部４１８に記憶されている機械学習モデルに入力し、出力として利用者６０の現在の精神状態ｆ（ｔ）を得ることにより、現在の精神状態を推定する。
ステップＳ１００５において、制御サーバ４０のロボット性格決定部４１５は、上記ステップＳ１００５において推定された利用者６０の現時点の精神状態が、予め定められた何れかの精神状態に該当するかを判定する。利用者６０の精神状態が第１の精神状態（例えば、内向的かつ安定している）であると判定された場合、ステップＳ１００６の処理に進み、ロボット性格決定部４１５は、対話型ロボット２０が取るべき性格を、上述の対応テーブルを参照し、性格Ａ（例えば、利用者６０と同じ、内向的かつ安定している）とすることを決定してロボット性格情報を生成し、生成されたロボット性格情報はロボット性格情報送信部４１６により対話型ロボット２０に送信され、処理が終了される。なお、対話型ロボット２０のロボット性格情報受信部２１２は、制御サーバ４０から送信されてきたロボット性格情報を受信し、対話制御部２１３は、受信したロボット性格情報に基づいてロボット性格情報データベース２１５を参照しつつ、決定されたロボットの性格で利用者６０と対話を行う。
上記ステップＳ１００５において、利用者６０の精神状態が第２～４の精神状態であるとそれぞれ判定された場合、それら判定された精神状態に応じてそれぞれステップＳ１００７～Ｓ１００９の処理に進み、ロボット性格決定部４１５は、上述の対応テーブルを参照し、対話型ロボット２０が取るべき性格をＢ～Ｄとすることを決定するとともにそれぞれの性格に対応したロボット性格情報を生成し、ロボット性格情報送信部４１６がロボット性格情報を対話型ロボット２０に送信し、処理を終了する。
上記ステップＳ７０６において、利用者６０の精神状態が、予め定められた何れの精神状態にも該当しないと判定された場合は、処理を終了する。
なお、上記図７の説明においては、生体センサ７０によって測定されるデータに基づいて利用者６０の興奮度Ａ（ｔ）、感情度Ｖ（ｔ）を算出した場合を説明し、また、図１０の説明においては、生体センサ７０から取得したデータを機械学習モデルに入力する場合を説明したが、本発明は上記の例に限定されるものではなく、他のセンサによって利用者６０の外面情報、或いは生体情報を検出するようにしてもよい。例えば、対話型ロボット２０のカメラ２０５によって利用者６０の表情、瞬き回数、体温を検出し、マイクロフォン２０６によって利用者６０の音声の高さを検出し、これらに基づいて利用者６０の興奮度Ａ（ｔ）を算出し、また、カメラ２０５によって検出される利用者６０の表情、体の動き、姿勢、マイクロフォン２０６によって検出される利用者６０の音声の高さに基づいて利用者６０の感情度Ｖ（ｔ）を算出するようにしてもよい。
また、上記図１０の説明においては、利用者６０の平常時の精神的傾向を表す平常時の性格情報と、生体センサ７０から取得した利用者６０の現在の感情の身体的徴候を機械学習モデルに入力することによって利用者６０の現在の精神状態を推定する場合を説明したが、本発明は上記の例に限定されるものではなく、他のセンサの出力を機械学習モデルに入力するようにしてもよい。例えば、対話型ロボット２０のカメラ２０５によって検出される利用者６０の表情（口角や眉の角度）、瞬き回数、体温、体の動き、姿勢に関するデータ、およびマイクロフォン２０６によって検出される利用者６０の音声の高さのデータを生体情報として機械学習モデルに入力することにより利用者の現在の精神状態を出力として得ることにより、利用者６０の現在の精神状態を推定するようにしてもよい。
なお上記の実施形態においては、対話装置として対話型ロボット２０を使用した場合について説明した。しかしながら、本発明においては、対話装置は、対話型ロボット２０だけではなく、対話機能を備えた装置であればよく、例えば、対話機能を備える携帯端末装置であってもよい。
１０ 対話制御システム
２０ 対話型ロボット
３０ ネットワーク
４０ 制御サーバ
５０ アクセスポイント
６０ 利用者
７０ 生体センサ
１００ ワークプレイス
２０１ 制御用マイクロプロセッサ
２０２ メモリ
２０３ 記憶装置
２０４ 通信インタフェース
２０５ カメラ
２０６ マイクロフォン
２０７ スピーカ
２０８ モータ
２０９ 現在位置検出装置
２１０ 制御バス
２１１ センサ情報送信部
２１２ ロボット性格情報受信部
２１３ 対話制御部
２１４ 移動制御部
２１５ ロボット性格情報データベース
４０１ ＣＰＵ
４０２ メモリ
４０３ 記憶装置
４０４ 通信インタフェース
４０５ ユーザインタフェース
４０６ 制御バス
４１１ 利用者特定部
４１２ 利用者性格取得部
４１３ センサ情報取得部
４１４ 精神状態推定部
４１５ ロボット性格決定部
４１６ ロボット性格情報送信部
４１７ 利用者性格データベース
４１８ 学習モデル記憶部

Claims (2)

  1. 対話装置と、
    利用者の生体情報と、利用者の性格情報の入力により、利用者の精神状態を出力するための機械学習モデルと、利用者の現在の精神状態と対話装置がとるべき性格とを対応付けて記憶した対応テーブルを記憶する記憶手段と、
    利用者によるアンケート又は性格診断テストの結果を解析することにより得られ、利用者の平常時の精神的傾向を表す数値化された平常時の性格情報を取得する取得手段と、
    利用者の皮膚電位、心拍数および末梢血管の容積脈波を生体情報として検出する検出手段と、
    検出された利用者の現時点の生体情報と、取得された利用者の平常時の性格情報とを、前記機械学習モデルに入力することにより出力した利用者の精神状態を利用者の現時点の精神状態と推定する推定手段と、
    推定された利用者の現時点の精神状態に対応する、予め定められた何れかの精神状態に応じた対話装置がとるべき性格に関する性格情報を前記対応テーブルから取得して、取得した性格情報を前記対話装置に送信して前記対話装置の性格を変更する変更手段と、
    前記対話装置を、変更後の性格で利用者と対話させる制御を行う制御手段とを備え、
    前記機械学習モデルは、利用者の皮膚電位に関するデータに基づいて利用者の現時点における興奮度を算出し、利用者の心拍数データおよび抹消血管の容積脈波データに基づいて利用者の現時点における感情度を算出し、算出された利用者の現時点における興奮度および感情度に基づいて、利用者の現時点の精神状態が平常時の性格情報からどれだけ変位したかを算出することにより、利用者の現時点の精神状態を出力する
    対話制御システム。
  2. 前記取得手段は、利用者の外交性－内向性尺度、神経症的尺度、および精神病傾向尺度を数値化した性格情報を取得する、請求項１記載の対話制御システム。
JP2016210313A 2016-10-27 2016-10-27 対話制御システム Active JP7003400B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016210313A JP7003400B2 (ja) 2016-10-27 2016-10-27 対話制御システム
US15/647,279 US20180121784A1 (en) 2016-10-27 2017-07-12 Conversation control system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016210313A JP7003400B2 (ja) 2016-10-27 2016-10-27 対話制御システム

Publications (2)

Publication Number Publication Date
JP2018068548A JP2018068548A (ja) 2018-05-10
JP7003400B2 true JP7003400B2 (ja) 2022-01-20

Family

ID=62021589

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016210313A Active JP7003400B2 (ja) 2016-10-27 2016-10-27 対話制御システム

Country Status (2)

Country Link
US (1) US20180121784A1 (ja)
JP (1) JP7003400B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102497042B1 (ko) 2018-01-29 2023-02-07 삼성전자주식회사 사용자 행동을 바탕으로 반응하는 로봇 및 그의 제어 방법
US10841247B2 (en) * 2018-02-02 2020-11-17 Sony Interactive Entertainment Inc. Social media connection for a robot
WO2019227505A1 (en) * 2018-06-02 2019-12-05 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for training and using chatbot
KR102140685B1 (ko) * 2018-09-14 2020-08-04 한국과학기술연구원 사용자 성격을 고려한 강화학습 기반 적응형 로봇 대화시스템 및 이를 이용한 적응형 로봇 대화방법
KR102314385B1 (ko) * 2019-08-08 2021-10-19 엘지전자 주식회사 로봇 및 그의 제어 방법
US12039420B2 (en) * 2020-09-25 2024-07-16 Kpn Innovations, Llc. System and method for generating a direction inquiry response from biological extractions using machine learning
JP6990472B1 (ja) 2021-03-23 2022-01-12 ユニロボット株式会社 人とコミュニケーションを行うシステム及びそのためのプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222378A (ja) 1998-08-06 2000-08-11 Yamaha Motor Co Ltd 疑似感情及び／又は疑似性格を用いた制御対象の制御方法、使用者に適合して動作する自律装置、使用者の特徴に装置の動作を適合させる方法
JP2004021121A (ja) 2002-06-19 2004-01-22 Nec Corp 音声対話制御装置
JP2005258235A (ja) 2004-03-15 2005-09-22 Hitachi Ltd 感情発話検知による対話修正機能を備えた対話制御装置
JP2006313287A (ja) 2005-05-09 2006-11-16 Toyota Motor Corp 音声対話装置
JP2007133728A (ja) 2005-11-11 2007-05-31 Kenwood Corp エージェント装置、エージェント機能付車載用ナビゲーション装置、エージェント出力方法
JP2008278981A (ja) 2007-05-09 2008-11-20 Advanced Telecommunication Research Institute International 性格判別装置、性格判別方法、コミュニケーションロボットおよび電子機器
US20140234815A1 (en) 2013-02-18 2014-08-21 Electronics And Telecommunications Research Institute Apparatus and method for emotion interaction based on biological signals

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08339446A (ja) * 1995-06-09 1996-12-24 Sharp Corp 対話装置
JPH11259446A (ja) * 1998-03-12 1999-09-24 Aqueous Reserch:Kk エージェント装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222378A (ja) 1998-08-06 2000-08-11 Yamaha Motor Co Ltd 疑似感情及び／又は疑似性格を用いた制御対象の制御方法、使用者に適合して動作する自律装置、使用者の特徴に装置の動作を適合させる方法
JP2004021121A (ja) 2002-06-19 2004-01-22 Nec Corp 音声対話制御装置
JP2005258235A (ja) 2004-03-15 2005-09-22 Hitachi Ltd 感情発話検知による対話修正機能を備えた対話制御装置
JP2006313287A (ja) 2005-05-09 2006-11-16 Toyota Motor Corp 音声対話装置
JP2007133728A (ja) 2005-11-11 2007-05-31 Kenwood Corp エージェント装置、エージェント機能付車載用ナビゲーション装置、エージェント出力方法
JP2008278981A (ja) 2007-05-09 2008-11-20 Advanced Telecommunication Research Institute International 性格判別装置、性格判別方法、コミュニケーションロボットおよび電子機器
US20140234815A1 (en) 2013-02-18 2014-08-21 Electronics And Telecommunications Research Institute Apparatus and method for emotion interaction based on biological signals

Also Published As

Publication number Publication date
US20180121784A1 (en) 2018-05-03
JP2018068548A (ja) 2018-05-10

Similar Documents

Publication Publication Date Title
JP7003400B2 (ja) 対話制御システム
JP6761598B2 (ja) 感情推定システム、感情推定モデル生成システム
JP6264495B1 (ja) 運転者監視装置、運転者監視方法、学習装置及び学習方法
CN112673378B (zh) 推断器生成装置、监视装置、推断器生成方法以及推断器生成程序
EP3186751B1 (en) Localized learning from a global model
WO2017215297A1 (zh) 云端互动***及其多感知型智能机器人和感知互动方法
JP6774018B2 (ja) 対話装置
US9769166B1 (en) Wearable sensor based system for person identification
JP6191242B2 (ja) 集中度推定装置
KR20200048201A (ko) 전자 장치 및 이의 제어 방법
JP2004237022A (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP2012059107A (ja) 感情推定装置、感情推定方法およびプログラム
JP7520123B2 (ja) 人間－ロボット混在製造プロセスにおける自動異常検出のためのシステムおよび方法
CN112219234B (zh) 标识虚拟现实环境的用户的生理压力的方法、介质和***
JP6040745B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム及びコンテンツ提供システム
KR102363879B1 (ko) 환자의 상지 동작에 의해 도출되는 특징값을 이용한 임상평가척도 예측 방법
JP6573416B1 (ja) 血圧推定装置、血圧推定システム、および血圧推定プログラム
KR102511517B1 (ko) 음성 입력 처리 방법 및 이를 지원하는 전자 장치
KR102499379B1 (ko) 전자 장치 및 이의 피드백 정보 획득 방법
JP2004066367A (ja) 行動パターン生成装置、行動パターン生成方法、及び行動パターン生成プログラム
JP2021135363A (ja) 制御システム、制御装置、制御方法及びコンピュータプログラム
JP2018075657A (ja) 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム
JP6657048B2 (ja) 処理結果異常検出装置、処理結果異常検出プログラム、処理結果異常検出方法及び移動体
Ktistakis et al. A multimodal human-machine interaction scheme for an intelligent robotic nurse
KR101564933B1 (ko) 네트워크 기반의 사용자 감성 추론 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200923

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200928

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20201102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211213

R150 Certificate of patent or registration of utility model

Ref document number: 7003400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150