JP6682475B2 - 画像表示装置、話題選択方法、話題選択プログラム - Google Patents
画像表示装置、話題選択方法、話題選択プログラム Download PDFInfo
- Publication number
- JP6682475B2 JP6682475B2 JP2017120843A JP2017120843A JP6682475B2 JP 6682475 B2 JP6682475 B2 JP 6682475B2 JP 2017120843 A JP2017120843 A JP 2017120843A JP 2017120843 A JP2017120843 A JP 2017120843A JP 6682475 B2 JP6682475 B2 JP 6682475B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- character
- voice
- unit
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010187 selection method Methods 0.000 title 1
- 238000004891 communication Methods 0.000 claims description 116
- 238000001514 detection method Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 description 70
- 230000000694 effects Effects 0.000 description 64
- 230000007613 environmental effect Effects 0.000 description 44
- 238000003860 storage Methods 0.000 description 44
- 230000009471 action Effects 0.000 description 40
- 238000004458 analytical method Methods 0.000 description 40
- 230000005540 biological transmission Effects 0.000 description 36
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 28
- 230000006870 function Effects 0.000 description 24
- 230000033001 locomotion Effects 0.000 description 21
- 230000008451 emotion Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 17
- 230000004044 response Effects 0.000 description 15
- 238000013523 data management Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 239000000463 material Substances 0.000 description 8
- 235000013305 food Nutrition 0.000 description 7
- 235000019640 taste Nutrition 0.000 description 7
- 230000001680 brushing effect Effects 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000035622 drinking Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 235000021152 breakfast Nutrition 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- NIXOWILDQLNWCW-UHFFFAOYSA-N acrylic acid group Chemical group C(C=C)(=O)O NIXOWILDQLNWCW-UHFFFAOYSA-N 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 235000012054 meals Nutrition 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002618 waking effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 2
- 241000556720 Manga Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010411 cooking Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 235000012489 doughnuts Nutrition 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000001093 holography Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010034719 Personality change Diseases 0.000 description 1
- 210000003489 abdominal muscle Anatomy 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000007664 blowing Methods 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010409 ironing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000005477 standard model Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
Description
まず、図1乃至図4を用いて、実施形態に画像表示装置1の装置構成について説明する。図1は、画像表示装置1を上方から見た斜視図である。図2は、画像表示装置1を下方から見た斜視図である。
図4(c)に示すように、下部収容部22には、制御ボード701、人感センサ702、赤外線LED703、マイク704、スピーカ705、演出用LED706、赤外線受光部707、ステータスLED708、起動ボタン709、USBハブ710のほか、Wi−Fi(登録商標)モジュールやBluetooth(登録商標)モジュール等が設置されている。
《柱部の設置機器》
《上部収容部の設置機器》
次に、既述した各機器によって実現される機能について図5及び図6を参照して説明する。図5は、実施形態に係る画像表示装置1の機能ブロック図である。図5に示すように、画像表示装置1は、表示部700と、会話部717と、チャット部718とを備える。
画像表示装置1では、「スリープ状態」、「未召喚状態」、「召喚状態」等の各状態に応じて、画像の表示や音声の出力等の処理を実行する。図12に示すように、画像表示装置1は、コンセントが未接続の状態(S1)において、電源ボタン(図示せず)は有効ではないが、コンセントが挿されてコンセントが接続の状態になると(S2)、電源ボタンが有効になる。
コンセントが接続された状態(S2)で電源ボタンが押下されると、制御部71が起動する(S3)。この起動により、例えば、起動画面が表示され、「未召喚状態」に移行する(S4)。「未召喚状態」は、画像表示装置1に電源は入っており、プロジェクタ4は起動しているものの、キャラクター画像は表示されておらず、未召喚画像が表示される状態である。また、未召喚状態では、プロジェクタ4は起動しているものの、スピーカ705やカメラ722等は起動しておらず、環境信号を検出することはできない。画像表示装置1は、未召喚状態では、ステータスLED708が点灯している。
《召喚状態》
未召喚状態(S4)で電源ボタンが押下されるか、所定時間放置されると、「スリープ状態」に移行する(S6)。「所定時間放置される」とは、例えば、所定時間以上(例えば、20分以上)タッチボタン26が長押しされることがない状態である。スリープ状態は、省電力の待機モードの状態であり、プロジェクタ4も起動しておらず、スピーカ705やカメラ722等も起動していない状態である。画像表示装置1は、スリープ状態では、ステータスLED708が点灯している。
コミュニケーションモードは、キャラクター画像が表示され、キャラクターとユーザとがコミュニケーションをとることが可能な状態である。具体的には、画像表示装置1は、コミュニケーションモードでは、取得処理部711が取得する環境信号に応じたキャラクター画像を表示する。また、画像表示装置1は、環境信号に応じた演出用画像を表示する。さらに、画像表示装置1は、環境信号に応じて音声を出力する。
ライフモードは、キャラクター画像が表示され、このキャラクター画像が環境信号に依存せず、例えば、時刻に応じて変化する状態である。例えば、画像表示装置1では、朝であれば、朝ごはんを作ったり、朝ごはんを食べたり、掃除をしたりする画像が表示される。昼であれば、昼ごはんを作ったり、昼ごはんをたべたり、アイロンをかけたりする画像が表示される。夜であれば、夕ごはんを作ったり、夕ごはんを食べたり、ストレッチをしたりする画像が表示される。
ケアモードは、予め登録されたユーザのスケジュールに応じ、所定の各タイミングで、キャラクター画像や演出用画像を表示し、タイングに応じた音声を出力する。例えば、画像表示装置1は、「おはよう」、「いってらっしゃい」、「おはよう」、「おやすみ」等の音声を出力する。
アピールモードは、時刻やセンサ等で検出される信号等に応じ、各条件に応じたキャラクター画像や演出画像を表示し、各条件に応じた音声を出力する。例えば、画像表示装置1は、時刻に応じて、「もう8時だよ」等の音声を出力することができる。また、画像表示装置1は、温度に応じて、「なんか暑いね」等の音声を出力することができる。これにより、ユーザは思わぬタイミングでキャラクターから話しかけられるため、キャラクターをより身近に感じることができる。
チャットモードは、ユーザが外出中等、画像表示装置1と離れた場所にいる場合、ユーザが保持する通信端末との間でメッセージの送受信を実現する。ユーザが保持する通信端末とは、例えば、スマートフォンや携帯電話機等の携帯通信端末のことである。
例えば、ユーザがマイク704に向かってキャラクターの名前を呼ぶと、画像表示装置1は、その名前に対応するキャラクターの画像を表示させることができる。また、ユーザが、表示されたキャラクターに特定の話題について話しかけると、画像表示装置1は、ユーザに対して応答した音声を出力することができる。
赤外線LED703を用いた制御動作として、以下の動作を行うことができる。具体的には、制御部71は、タイマープログラムによって予めセットされた起床時刻になると、その時刻情報に紐付けられている行動情報に基づき、対応する機器の動作を制御する。
光センサ721を用い、例えば、昼間であるにもかかわらず、カーテンが開いていないことを検知して、ユーザにカーテンを開けるよう促すことができる。
騒音センサ613を用い、例えば、テレビが長時間つきっぱなしであることをユーザに注意することができる。具体的には、制御部71は、騒音センサ613により入力された音の音量、周波数等に基づき、テレビがつけられたと判断すると、その判断をしたときから計時を開始し、その状態の時間が所定時間を超過した場合に、予め記憶装置75に記憶している音声データ(「テレビ消そうよ」)を取り出し、スピーカ705から出力させる。これにより、省エネに貢献するとともに、あたかも嫁から注意されているかのような感覚をユーザに与えることができる。
振動センサ612を用い、地震の検出やその報知動作を行うことができる。
温湿度センサ611に対応した所定の音声出力制御を行うことができる。例えば、温湿度センサ611により検出された温度が10°C未満の場合、制御部71は、所定のタイミングで「今日は寒いね」といった音声をスピーカ705から出力させることができる。
カメラ722で撮影された画像に対応した画像表示及び音声出力制御を行うことができる。例えば、カメラ722で取得した画像を利用してフェイストラッキングや表情検出を実行してキャラクターの画像を変更することができる。
画像表示装置1が表示するキャラクターは、キャラクターのユーザに対する好感度に応じて動作を異ならせてもよい。例えば、キャラクターの設定情報として予め、好きな言葉や色などの嗜好や、好みの動作、されてうれしいこと、等のキャラクター情報を設定するとともに、キャラクターのユーザに対する好感度を設定しておく。そして、キャラクターの嗜好に合致する会話やチャット、行動をユーザがとった場合に、キャラクターの好感度値を上げ、合致しない会話やチャット、行動をユーザがとった場合に、キャラクターの好感度を下げることとしてもよい。
制御部71は、例えば、カレンダーサイトで記憶装置75に登録されたユーザの起床時刻を含むカレンダー情報と、データ管理部716が取得する時刻とを利用し、目覚ましの呼びかけをすることができる。その後、例えば、ユーザがベッドから起き上がり、解析部712で検出する顔が一定以上の大きさになると制御部71は、起床と判定し、ユーザが起床後の処理を実行する。例えば、ユーザは、自身の通信端末のスケジュール情報を、画像表示装置1に送信して、画像表示装置1は、受信したスケジュール情報に示される内容にしたがって、動作することとしてもよい。例えば、スケジュール情報に、「23日6時起床」とあった場合に、制御部71は、23日の6時に、キャラクターにユーザを起こす動作をさせることとしてもよい。
制御部71は、例えば、解析部712が検出するユーザの「いってきます」の音声に加え、取得処理部711が取得するユーザの通信端末の位置情報が、家の外にある場合、ユーザが外出したと判定することができる。また例えば、人感センサ702でユーザの存在が検出されないことに加え、取得処理部711が取得するユーザの通信端末の位置情報が、家の外にある場合、ユーザが外出したと判定することができる。
制御部71は、例えば、上述の外出判定においてユーザが外出したと判定した後に、人感センサ702でユーザの存在が検出された場合、ユーザが帰宅したと判定することができる。当該検出では、人感センサ702で人を検出することに加え、カメラ722で撮像した画像から、ユーザの顔を判定することとしてもよい。
制御部71は、ユーザが在宅中に、例えば、人感センサ702により、ユーザの動きが1時間検出されず、かつ、光センサ721によって検出される照度が、照明が消されていない程度の明るさであると解析部712で解析されると、ユーザが寝落ちしたと判定することができる。ここでいう、「寝落ち」とはユーザがテレビを見たり、ゲームをしたりする等、何かの作業中に、照明を消すことがなく寝てしまうことをいう。画像表示装置1は、ユーザが寝落ちしたと判定した場合であって、部屋の照明が消灯されていない場合に、部屋の照明を消灯するように証明を制御することとしてもよい。
制御部71は、例えば、翌朝の外出時間か?、普段の朝より早い場合、普段の朝の準備時間を確保すへ?く、翌朝の目覚まし時刻を早くするよう提案することができる。具値的には、翌日目覚まし時刻と翌日の外出予定時刻との時間差が、平均の起床時刻と外出時刻との時間差で求められる外出準備時間よりも短い場合、翌朝の目覚まし時刻より早くするよう提案する。例えば、制御部71は、音声データ752から、「明日は出発時刻か?早いみたいた?けと?、目覚まし時刻早める?」の音声を選択し、出力する。また、制御部71は、ユーザは「YES」の返答か?あった場合、記憶装置75に登録される目覚まし時刻を変更する。
制御部71は、例えば、解析部712が顔認識の上下運動を検出し、スクワットしている回数を数えるシステムを備えることができる。また、制御部71は、腕立て伏せだけでなく、腹筋の回数や、腕立てふせの回数を数えるシステムにも応用することもできる。これにより、表示処理部713は、ユーザの動作を応援するキャラクター画像や演出用画像を表示することができる。また、音声出力部714は、キャラクターがカウントする音声や応援する音声を出力することができる。
制御部71は、例えば、ユーザが、キャラクターと自撮り撮影できるようにしてもよい。この際、ユーザがカメラ722で撮像可能な範囲に移動することで、カメラ722でユーザの画像を撮像すると、制御部71は、撮像画像にキャラクター画像を合成する。また、制御部71は、キャラクター画像が合成された撮影画像を、インターネット等を介してSNS(ソーシャルネットワーキングサービス)等の提供サーバにアップロードしてもよい。
制御部71は、キャラクターがユーザにコーヒーブレイクを提案するようにしてもよい。例えば、データ管理部716が管理する時刻が所定時刻の場合に、送信処理部715が、コーヒーメーカーに、操作信号を送信する。また、表示処理部713は、ユーザにコーヒーブレイクを促す画像を選択して表示し、音声出力部714は、ユーザにコーヒーブレイクを促す音声を選択して出力する。さらに、解析部712が、画像や音声から、ユーザがコーヒーを飲み終わるのを検出すると、制御部71は、コーヒーブレイクを終了する。例えば、制御部71は、解析部712が、ユーザの「おいしかったよ」や「ごちそうさま」の音声を検出することにより、終了することができる。
制御部71は、ユーザとキャラクターと名前を呼びあうようにしてもよい。音声出力部713が、ユーザデータ754に登録される名前やニックネームを呼ぶキャラクターの音声を出力する。また、解析部712によってユーザが発したキャラクターの名前やニックネームの音声が検出されると、音声出力部713は、ユーザの名前やニックネームを呼ぶキャラクターの音声を出力することができる。
制御部71は、ユーザのコーディネートをレコメンドするようにしてもよい。例えば、解析部712によって、カメラ722が撮像した画像から「顔の上の正方形の帽子」、「顔の下の長い長方形のネクタイ」等のユーザが身につけているものの形状や色を判定する。また、制御部71は、取得処理部711で取得する環境情報から解析されるユーザの表情や気分や、記憶装置75に登録されるユーザのスケジュールや、天気情報、季節等を総合的に判断して、おすすめの色をレコメンドしてもよい。
制御部71は、ユーザから通信端末等の情報処理装置を介し、機器の操作や、スケジュール管理の依頼を受けることができる。例えば、機器の操作が依頼された場合、送信処理部715は、依頼された信号に応じて、操作信号を出力する。また、スケジュールの登録や変更が依頼された場合、データ管理部716は、この信号に応じて、データを登録又は更新する。具体的には、図13(b)を用いて上述したように、チャット機能を用いたり、メモや伝言板のようなものを用いて、制御部71を操作したりすることができる。ユーザは、自身がキャラクターにしてほしいことをキャラクターにお願いするように感じることができるため、人間にお願いしているように感じることができる。
制御部71は、所定の条件を満たした場合に、怒ってふて寝をするキャラクター画像を表示させてもよい。例えば、画像表示装置1が外部のネットワークに接続されていない場合、又は、画像表示装置1がユーザの通信端末との間でネットワーク接続がされていない場合、怒ってふて寝するような画像を選択し、表示する。これにより、画像表示装置1がユーザに訴えかけるようなキャラクター画像を表示することで、より人間らしく、よりリアルに表現することができる。
ユーザデータ754に複数種類の興味や趣味嗜好が登録されているとき、制御部71は、複数の中からいずれかをランダムに選択し、出力する画像や音声に反映させることができる。例えば、このとき、ユーザデータ754では、ユーザの嗜好情報についてそれぞれ重み値が設定され、制御部71は、その重み値を加味して、出力する画像や音声を選択することができる。また、これらの趣味嗜好の重み値は、時間の経過と共に増加させたり、減衰させたりすることができる。さらに、重み値が所定の値以下になったら、他の嗜好の重み値が大きくなることにより、別の趣味嗜好の話題を選択するようにしてもよい。
制御部71は、ライフモードにおいて、「ユーザの嗜好情報」や「キャラクター内部の嗜好情報」をもとに、表示する画像や、出力する音声を選択することができる。例えば、ユーザが漫画好きであれば、制御部71は、ライフモードにおいて、漫画を読むキャラクター画像を表示することができ、これに対応する音声を出力することができる。また、ユーザが料理好きであれば、制御部71は、暇な時に料理をするキャラクター画像を表示することができ、これに対応する音声を出力することができる。
制御部71は、ユーザとのインタラクションが発生した一定時間後に、そのインタラクションに関連する話題の画像及び音声を出力することができる。制御部71は、ユーザとのインタラクションが発生した時刻を記憶しておき、そこから、所定時間が経過したか否かを判定することで、当該制御を実現する。
《ユーザー行動分析推定システム》
制御部71でユーザの行動を判定するためのデータとしては、予め教師データとして与えられた複数パターンのデータを参照し、導きだすことができる。具体的には、画像表示装置1に備えられた各種センサを用いて、ユーザが所定の行動をした際のセンシングデータを取得しておき、その際の所定の行動を示す情報と対応付けて記憶しておき、これを教師データとする。そして、画像表示装置1は、備えられている各種のセンサから入力されたデータを、教師データとを比較することにより、ユーザの行動を分析、推定することができる。これにより、制御部71は、ユーザの行動に応じた動作をキャラクターにさせることができる。また、制御部71は、逐次、この教師データをユーザの行動に応じて更新することとしてもよい。
また、画像表示装置1は、ユーザの感情を推定して、キャラクターにそのユーザ感情に対応した動作を実行させてもよい。具体的には、以下のように処理を実行する。
画像表示装置1の制御部71は、ユーザから会話で伝達された、もしくは、チャット上で伝達された、ありがとう等、感謝の言葉を伝えられた内容を記憶する。そして、その時の条件を記憶する。即ち、制御部71(キャラクター)は、ユーザが、「いつ」、「何をする」とありがとうと言われるのかを記憶する。即ち、ユーザから感謝されたときの、「タイミング」と「キャラクターの行動」とを対応付けて記憶装置75に記憶する。そして、制御部71は、その「いつ」というタイミングにおいて、感謝された行動をキャラクターに再現させることとしてもよい。
画像表示装置1の制御部71は、カメラ722で撮像した画像に、ユーザと異なる人物の顔画像が含まれると判定した場合に、その顔画像をチャットに添付して、「この人誰?」と問いかけることとしてもよい。これに対して、ユーザが「お母さんだよ」と回答することで、画像表示装置1は、その人物を撮像して得られた顔画像と、「お母さん」という言葉を対応付けて記憶する。また、画像表示装置1の制御部71は、ユーザの「お母さんだよ」という回答に対して、例えば、「お母さんなんだね。覚えたよ」というようなメッセージをかえしてもよい。また、別のタイミングで、記憶した人物の顔画像を撮像して得た場合には、画像表示装置1は、「お母さんが来たよ」というメッセージをユーザの通信端末に送信することとしてもよい。また、その際にその人物の行動を推定できた場合に、その内容も含めて送信してもよい。また、当該構成は、画像表示装置1が撮像した顔画像がユーザにとって知らない人物の顔であった場合には防犯の役に立てることもできる。
画像表示装置1は、ユーザが外出したことを検出してから(人感センサ702が人を検出しないまま所定時間が経過してから)、一定以上遅くなってきた場合(例えば、現在時刻が夜22時を経過した場合)に、ユーザに対して、twitter(登録商標)、メール、チャット、電話などの手段で連絡をとってもよい。例えば、制御部71は、「遅いけど、大丈夫?」というようなメッセージを送信してもよいし、電話をかけてもよい。なお、電話を掛ける場合には、画像表示装置1に電話回線と接続するための設定しておく必要がある。また、当該行動をとるかどうかの閾値を定めておき、ランダム値がこの閾値を超えるかどうかで、このユーザを心配する行動をとるかどうかを判定してもよい。また、画像表示装置1は、この閾値を時間が遅くなればなるほど高くなるように制御してもよい。また、その日の朝のユーザの様子に応じて、この閾値を変更することとしてもよい。例えば、ユーザの体調が悪いと推定している場合には、通常よりも閾値が低くなるように制御することとしてもよい。
《赤外線情報監視システム》
画像表示装置1は更に赤外線センサを備えて、周囲の赤外線情報を取得し、取得した赤外線情報に応じた行動をキャラクターに取らせることとしてもよい。例えば、ユーザがテレビのリモコンを操作したことを、リモコンから出力された赤外線情報を取得して、検出し、テレビをオンした時間と曜日とチャンネルを記憶しておいてもよい。そして、別の日であって、同じ曜日の同じ時間になったときに、画像表示装置1がテレビを操作して、同じチャンネルをつけるように制御してもよい。
画像表示装置1は、ユーザが視聴しているテレビやラジオ番組に関する情報を取得し、記憶する構成を備えてもよい。具体的には、ネットワーク上からテレビ番組情報を取得し、テレビから発せられる音声に対して音声人気処理を行ってユーザの視聴している番組を推定する。あるいは、画像表示装置1は、各種家電と接続し、テレビのON/OFF情報や、チャンネル情報を取得して、ユーザが視聴した番組を特定し、記憶する。そして、記憶した番組に関する番組表からキーワードを取得して、会話のネタにしてもよい。
画像表示装置1の制御部71は、ユーザが忙しそうにしているか否かを判定し、判定した状態に応じた行動、所謂空気を読んだ行動をとることとしてもよい。画像表示装置1の制御部71(取得処理部711)が取得した種々の環境信号に応じてユーザの忙しさを判定する。例えば、ユーザの起床時刻が遅く、人感センサ702が検出するユーザの位置が所定時間内(例えば、5分以内)に左右に所定回数以上(例えば、10回以上)動くことを検出した場合に、ユーザが忙しいと判定して、画像表示装置1の制御部71は、キャラクターにユーザに話しかけないように制御する。また、ユーザがあまり動かない、即ち、人感センサ702が検出するユーザ位置が所定範囲内にとどまっている場合に、制御部71は、キャラクターにユーザに話しかけさせるように制御する。このように、画像表示装置1の制御部71は、キャラクターにユーザの状態を見て、即ち、空気を読んで、アクションを起こさせるか否かを判定することができる。
画像表示装置1の制御部71は、カメラ722が取得するユーザの顔画像と目の画像に基づいて、ユーザの視線を検出することとしてもよい。例えば、ユーザの顔画像が画像表示装置1の方向を向いていることを検出し、眼の瞳孔が双方とも画像表示装置1の方向を向いているか否かを検出する。そして、制御部71は、ユーザの視線がキャラクターの方を向いている場合に、キャラクターに恥ずかしがらせたり、ユーザと見つめ合わせたりするようにすることもできる。
画像表示装置1の制御部71は、マイク704に、ユーザが息を吹きかけていることを検出して、画像表示装置1内の世界に風を吹かせたエフェクトを発生させてもよい。例えば、キャラクターの服がひらひらと揺れたりする演出をしてもよい。当該構成はマイク704ではなく、画像表示装置1に風圧センサを設けることでも実現できる。
画像表示装置1は、通信部76を介して、ユーザが保持する体重計や運動量計など、ユーザの状態を検出することができる機器から、ユーザの状態情報を取得することとしてもよい。例えば、体重計から検出したユーザの体重が、所定期間内に所定以上減少していたような場合には、制御部71は、「ちゃんと食べてる?」とキャラクターに話させたり、ユーザの身長に対する体重が平均体重を所定以上多い場合には、「ちょっとは運動しなきゃ!」とリコメンドさせたりすることとしてもよい。また、ユーザが繰り返し運動するような場合には、制御部71は、カメラ722で撮像した画像を参照しながら、キャラクターに繰り返し運動の回数を数えるように音声を出力させることとしてもよい。例えば、腕立て伏せやスクワットの回数を数えることなどが考えられる。
画像表示装置1の制御部71は、通信部76を介して特殊な信号を受信することで特殊な動作をすることとしてもよい。具体的には、開発運営側の人物の体にモーションキャプチャセンサーを装着し、人物の動きを全ユーザの画像表示装置1に配信する。画像表示装置1は、配信されたモーションと同じ動きをするキャラクターを表示することで、番組配信を実現することもできる。例えば、特殊な信号として地震速報などを受信した場合には、「○○で、震度4の地震だよ。落ち着いて行動してね」といった音声を音声出力部714が出力することとしてもよい。また、特殊な信号内に、表示すべき画像データが含まれる場合に、その画像データを表示してもよい。この画像データとしては、例えば実在の人物であってもよく、例えば、有名人の会見を表示し、その音声を出力するようにしてもよい。これにより、例えば、ホログラムによる番組配信を実現することもできる。また、画像表示装置1は、実在の人物の画像データを取得し、その人物の音声データを取得することで、実在の人物を表示するキャラクターとして表示することができる。
画像表示装置1に電話機が接続、又は、画像表示装置1に電話機能が備えられている場合に、画像表示装置1は、以下の機能を備えてもよい。画像表示装置1は、このとき、カメラ722から取得した画像に基づいて、ユーザの表情を特定し、特定した表情と同じ表情のアバター情報を生成し、電話相手にそのアバター情報を送信して、電話相手の表示画面にそのアバター画像を表示させる構成を備えてもよい。
画像表示装置1の制御部71は、ユーザの帰宅を検出して、ユーザに対して、キャラクターにキャラクターの一日を報告させることとしてもよい。例えば、解析部712は、人感センサ702が、所定時間以上、ユーザを検出していない状態で、新たにユーザを検知した場合に、ユーザが帰宅したものと判定する。すると、制御部71は、キャラクターに周辺で起こった出来事(各種センサから取得できる情報に基づいて、その事象が起こったと推定される内容)を、ユーザに報告させることとしてもよい。例えば、温湿度センサ611が所定以上の温度を、所定時間以上、検出していた場合に、キャラクターに「今日は暑かったよ〜」と報告させたり、室温度センサ611が所定以上の温度と湿度を、所定時間以上検出していた場合に、「今日は蒸し暑かったねえ」と報告させたり、地震速報を受信していた場合には、「今日、地震があったね。そっちは大丈夫だった?」と報告させたり、「あなたがいないときに、誰々がきたよ〜」と報告させたりしてもよい。
画像表示装置1の制御部71は、画像表示装置1に電話機能が搭載されている場合に、ユーザの体調が悪い場合に、ユーザからの指示に従って、ユーザの勤務先や通学先など、予め設定されている電話番号に、「本日、体調不良のためお休みをいただきます」と、ユーザの代わりに電話連絡をさせることとしてもよい。
画像表示装置1の制御部71は、ユーザが装着または保持する特定のアイテムからの信号に従って、キャラクターを制御することとしてもよい。例えば、特定のアイテムが指輪の場合であって、画像解析によりユーザが指輪をこすっていることを検出した場合に、キャラクターに恥ずかし気な動作をさせることとしてもよい。また、あるいは、特定のアイテムとして、ユーザがペンライトを持って左右に振っていた場合には、制御部71は、キャラクターにペンライトを持たせた画像を表示し、その手を左右に振らせるように動かす映像を投影することとしてもよい。
画像表示装置1の制御部71は、キャラクターに着させる服装やアイテムなどを、適宜、変更することとしてもよい。そのために、制御部71は、各種の服装やアイテムの表示データを記憶装置75に記憶、あるいは、外部のサーバからダウンロードして取得する。そして、制御部71は、画像表示装置1が搭載する計時部(図示せず。現在日時を検出するクロック)からの日時が含まれる季節や、天気、気温、時間帯に応じた服装をしたキャラクターを表示することとしてもよい。
上記実施の形態に係る画像表示装置1をユーザが複数台保持する場合、各画像表示装置1を連動させて、そのうちの、ユーザが確認できる位置にのみキャラクターを表示することとしてもよい。その場合、制御部701は、ユーザが移動した移動先にある画像表示装置1に、キャラクターも移動してきたかのような演出をすることとしてもよい。
画像表示装置1の制御部71は、家電として、ロボット掃除機と通信を行って、そのロボット掃除機を制御して、ユーザの室内を掃除することとしてもよい。また、その際に、制御部71は、ユーザが普段掃除している箇所と掃除していない箇所とを特定し、
画像表示装置1の制御部71は、画像解析によりユーザが歯磨きをしていることを検出して、キャラクターにユーザの歯磨きを応援する行動をとらせてもよいし、ユーザが薬を飲んだり、患部に薬を塗ったりすることを検出して、キャラクターにその行動を応援させることとしてもよい。
画像表示装置1は、スポーツ中継などの映像を取得し、そのスポーツ中継に登場するスポーツ選手のモーションと同じモーションをキャラクターに実行させるように画像を投影してもよい。また、その際に、ユーザは、ユーザの通信端末や、画像表示装置1に備え付けられた操作パネルや、音声等により、キャラクターの向く向きを指示して、当該指示に従った映像を画像表示装置1は、表示することとしてもよい。また、このとき、キャラクターではなく、スポーツ選手そのものの映像を表示することとしてもよい。
画像表示装置1は、ユーザが何等かのアイドル等のライブなどを視聴している場合に、制御部71は、キャラクターにもそのライブ映像を視聴しているように表示するとともに、そのキャラクターにライブに参加しているかのように、掛け声を発したり、ケミカルライトを振る動作をさせてもよい。また、あるいは、制御部71は、キャラクターがバーチャルシンガーとしてアイドルのように、歌を歌って踊る動作をさせる場合に、ユーザからの手拍子や応援に応じて、その動作を連動させてもよい。例えば、ユーザの手拍子のタイミングを検出して、そのタイミングに合わせてステップを踏ませるように画像を出力することとしてもうよいし、ユーザからの応援の声量に合わせて行動を変化させてもよい。
画像表示装置1は、記憶装置75に複数のキャラクターに関する情報を記憶しておいてもよい。そして、制御部71は、ユーザの状況に応じて使用するキャラクターを選択し、投影することとしてもよい。また、画像表示装置1にマルチコアを搭載し、1コアで1キャラクターを制御する場合に、画像表示装置1は、同時に複数のキャラクターを投影することとしてもよい。
画像表示装置1は、キャラクターを表示する際に、一定時間でキャラクターが年をとるように画像を表示することとしてもよい。画像表示装置1は、例えば、キャラクターを初めて召還する場合には、赤ちゃんの状態を表示することとし、そこから、所定期間が経過するごと(例えば、1ヶ月経過するごと)に、キャラクターの画像を変化させるようにして、キャラクターが成長しているかのように、表示することとしてもよい。
画像表示装置1は、音声認識のアルゴリズムや、対話システムを、各国の各言葉に応じたモデルを搭載することで、各種の言語に対応することができる。
画像表示装置1が表示するキャラクターは、ユーザがオリジナルで作成することとしてもよい。画像表示装置1は、そのために必要とする各種データのフォーマットを用意し、ユーザがエディットできるように構成されてもよいし、エディット自体はユーザのPC等で作成したものを画像表示装置1に転送することとしてもよい。また、ユーザが作成したキャラクターデータは、ネットワークを介して配信することとしてもよい。
画像表示装置1が表示するキャラクターとしては、VR(Virtual Reality)コンテンツのキャラクターのデータを用いることとしてもよい。例えば、ユーザがHMD(Head Mounted Display)を利用して遊んだゲーム等のキャラクターを画像表示装置1が表示するキャラクターとして使用することとしてもよい。また、VRコンテンツに限らず、各種のゲーム(例えば、スマホゲームなど)のキャラクターをダウンロードして表示するキャラクターとして使用することができる。
上記では、画像表示装置1が、チャット機能を有することとしてが、チャット機能は、外部の装置が実行することとしてもよい。即ち、ユーザが通信端末を用いて、画像表示装置1のキャラクターとメッセージのやり取りをする際には、実際には、外部サーバとやり取りをしている構成をとってもよい。その場合に、外部のサーバは、キャラクターとしての応答アルゴリズムを保持するほか、画像表示装置1から、ユーザに関する会話履歴データ755、チャット履歴データ756を事前に取得しておく必要がある。そのため、ユーザからのチャット入力があった場合に、外部の装置は、画像表示装置1にアクセスして、それらの情報を取得する構成を備えていてもよい。また、外部の装置がユーザの通信端末とのチャットを終えた後には、外部の装置は、チャット履歴データ756を画像表示装置1に送信し、画像表示装置1は、受信したチャット履歴データ756を記憶装置75に上書きすることとしてもよい。このような実装により、画像表示装置1の外部にチャット機能を有する装置を設けたシステムを実現することができる。
2 ケース
21 上部収容部
22 下部収容部
221 台座
23 支柱
3 透過フィルム(平状部材)
4 プロジェクタ(映像出力手段)
5 反射ミラー(反射手段)
51 ミラー取付部(調整手段)
6 柱部
71 制御部(出力制御手段)
72 入力部(入力手段)
73 出力部(出力手段)
706 演出用LED(発光手段)
Claims (16)
- 表示装置とサーバとで構成されたシステムであって、
前記システムは、
キャラクターまたは人物の表示を行う表示部と、
ユーザの音声を検出する検出部と、
前記ユーザの端末から送信された第1メッセージを受信する通信部と、
前記検出部によって検出された前記ユーザの音声に基づいて、前記表示部に表示された前記キャラクターまたは前記人物の音声を出力する制御と、前記通信部によって前記ユーザの端末に第2メッセージを送信する制御とを行う制御部とを備え、
前記制御部は、前記端末から送信された前記第1メッセージと、前記検出部によって検出された前記ユーザの音声とに基づいて、前記端末に送信する前記第2メッセージを決定する。 - 請求項1に記載のシステムであって、
前記制御部は、前記端末から送信された前記第1メッセージと、前記検出部によって検出された前記ユーザの音声とに基づいて、出力する前記キャラクターまたは前記人物の音声の内容を決定する。 - 請求項1または請求項2に記載のシステムであって、
前記通信部は、第1通信部と第2通信部とを含み、
前記表示装置は、前記第1通信部を備え、
前記サーバは、前記第2通信部を備え、
前記第2通信部は、前記ユーザの端末から送信された前記第1メッセージを受信し、前記制御部によって決定された前記第2メッセージを前記端末に送信する。 - 請求項3に記載のシステムであって、
前記第1通信部は、前記検出部によって検出された前記ユーザの音声に関するデータを前記サーバに送信し、
前記第2通信部は、前記第1通信部から送信された、前記検出部によって検出された前記ユーザの音声に関するデータを受信する。 - 請求項1から請求項4のいずれか一項に記載のシステムであって、
前記制御部は、第1制御部と第2制御部とを含み、
前記表示装置は、前記第1制御部を備え、
前記サーバは、前記第2制御部を備え、
前記第2制御部は、前記端末から送信された前記第1メッセージと、前記検出部によって検出された前記ユーザの音声とに基づいて、前記端末に送信する前記第2メッセージを決定する。 - 請求項5に記載のシステムであって、
前記第1制御部は、前記検出部によって検出された前記ユーザの音声に基づいて、前記表示部に表示された前記キャラクターまたは前記人物の音声を出力する制御を行う。 - 請求項1または請求項2に記載のシステムであって、
前記制御部は、第1制御部と第2制御部とを含み、
前記通信部は、第1通信部と第2通信部とを含み、
前記表示装置は、前記第1制御部と前記第1通信部とを備え、
前記サーバは、前記第2制御部と前記第2通信部とを備え、
前記第2通信部は、前記端末から送信された前記第1メッセージを前記表示装置に送信し、
前記第1通信部は、前記第2通信部から送信された、前記端末から送信された前記第1メッセージを受信し、
前記第2制御部は、前記端末から送信された前記第1メッセージと、前記検出部によって検出された前記ユーザの音声とに基づいて、前記端末に送信する前記第2メッセージを決定し、
前記第1制御部は、前記端末から送信された前記第1メッセージと、前記検出部によって検出された前記ユーザの音声とに基づいて、出力する前記キャラクターまたは前記人物の音声の内容を決定する。 - 請求項5に記載のシステムであって、
前記第2制御部は、前記検出部によって検出された前記ユーザの音声に基づいて、前記表示部に表示された前記キャラクターまたは前記人物の音声を出力する制御を行う。 - 請求項1または請求項2に記載のシステムであって、
前記制御部は、第1制御部と第2制御部とを含み、
前記通信部は、第1通信部と第2通信部とを含み、
前記表示装置は、前記第1制御部と前記第1通信部とを備え、
前記サーバは、前記第2制御部と前記第2通信部とを備え、
前記第2制御部は、前記検出部によって検出された前記ユーザの音声に基づいて、前記表示部に表示された前記キャラクターまたは前記人物の音声を出力する制御を行い、
前記第2通信部は、前記第2制御部によって出力する制御が行われた、前記表示部に表示された前記キャラクターまたは前記人物の音声に関するデータを送信し、
前記第1通信部は、前記表示部に表示された前記キャラクターまたは前記人物の音声に関するデータを受信し、
前記第1制御部は、前記第1通信部によって受信した、前記表示部に表示された前記キャラクターまたは前記人物の音声に関するデータに基づく音を出力部に出力する制御を行う。 - 請求項1から請求項9のいずれか一項に記載のシステムであって、
前記制御部は、前記端末から送信された前記第1メッセージと、前記検出部によって検出された前記ユーザの音声とに基づいて、前記端末に送信する前記第2メッセージの話題を決定する。 - 請求項1から請求項10のいずれか一項に記載のシステムであって、
前記制御部は、前記端末から送信された前記第1メッセージと、前記検出部によって検出された前記ユーザの音声とに基づいて、出力する前記キャラクターまたは前記人物の音声の内容の話題を決定する。 - 請求項1から請求項11のいずれか一項に記載のシステムであって、
前記表示装置は、前記表示装置の周囲を検出する周囲検出部をさらに備え、
前記制御部は、前記周囲検出部による検出に基づいて、前記ユーザの端末に情報を送信する制御を行う。 - 請求項12に記載のシステムであって、
前記情報は、前記ユーザの端末と電話を行うことに関する情報である。 - 請求項1から請求項13のいずれか一項に記載のシステムであって、
前記表示装置は、
一部又は全部が透光性部材からなるケースと、
前記ケースの内部に設けられた透光性を有するスクリーンとをさらに備え、
前記表示部は、前記スクリーンに前記キャラクターまたは前記人物を投影し、前記キャラクターまたは前記人物の表示を行う。 - 表示装置とサーバとで構成されたシステムの表示方法であって、
キャラクターまたは人物を表示部に表示することと、
ユーザの音声を検出部によって検出することと、
前記ユーザの端末から送信された第1メッセージを通信部によって受信することと、
前記検出部によって検出された前記ユーザの音声に基づいて、前記表示部に表示された前記キャラクターまたは前記人物の音声を出力する制御と、前記通信部によって前記ユーザの端末に第2メッセージを送信する制御とを制御部によって行うこととを含み、
前記制御部は、前記端末から送信された前記第1メッセージと、前記検出部によって検出された前記ユーザの音声とに基づいて、前記端末に送信する前記第2メッセージを決定する。 - 表示装置とサーバとで構成されたシステムによって実行されるプログラムであって、
キャラクターまたは人物を表示部に表示することと、
ユーザの音声を検出部によって検出することと、
前記ユーザの端末から送信された第1メッセージを通信部によって受信することと、
前記検出部によって検出された前記ユーザの音声に基づいて、前記表示部に表示された前記キャラクターまたは前記人物の音声を出力する制御と、前記通信部によって前記ユーザの端末に第2メッセージを送信する制御とを制御部によって行うこととを含み、
前記制御部は、前記端末から送信された前記第1メッセージと、前記検出部によって検出された前記ユーザの音声とに基づいて、前記端末に送信する前記第2メッセージを決定する。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017120843A JP6682475B2 (ja) | 2017-06-20 | 2017-06-20 | 画像表示装置、話題選択方法、話題選択プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017120843A JP6682475B2 (ja) | 2017-06-20 | 2017-06-20 | 画像表示装置、話題選択方法、話題選択プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016141931A Division JP6165302B1 (ja) | 2016-07-19 | 2016-07-19 | 画像表示装置、話題選択方法、話題選択プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018014091A JP2018014091A (ja) | 2018-01-25 |
JP2018014091A5 JP2018014091A5 (ja) | 2018-11-29 |
JP6682475B2 true JP6682475B2 (ja) | 2020-04-15 |
Family
ID=61020355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017120843A Active JP6682475B2 (ja) | 2017-06-20 | 2017-06-20 | 画像表示装置、話題選択方法、話題選択プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6682475B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019235100A1 (ja) * | 2018-06-08 | 2019-12-12 | 株式会社Nttドコモ | 対話装置 |
JP6598227B1 (ja) * | 2019-04-10 | 2019-10-30 | 一般社団法人It&診断支援センター・北九州 | 猫型会話ロボット |
KR102433964B1 (ko) * | 2019-09-30 | 2022-08-22 | 주식회사 오투오 | 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템 |
JP2021081684A (ja) * | 2019-11-22 | 2021-05-27 | 株式会社ウェイブ | 対話システム、対話方法及び対話プログラム |
CN117557698B (zh) * | 2024-01-11 | 2024-04-26 | 广州趣丸网络科技有限公司 | 数字人肢体动画生成方法、装置、存储介质及计算机设备 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6598369B2 (ja) * | 2014-12-04 | 2019-10-30 | 株式会社トランスボイス・オンライン | 音声管理サーバー装置 |
-
2017
- 2017-06-20 JP JP2017120843A patent/JP6682475B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018014091A (ja) | 2018-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI692717B (zh) | 影像顯示裝置、話題選擇方法及程式 | |
JP6165302B1 (ja) | 画像表示装置、話題選択方法、話題選択プログラム | |
JP6682475B2 (ja) | 画像表示装置、話題選択方法、話題選択プログラム | |
JP2018014575A (ja) | 画像表示装置、画像表示方法及び画像表示プログラム | |
JP6367440B2 (ja) | 没入型環境用のインタラクティブ型オブジェクト | |
JP2019139170A (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
AU2014236686B2 (en) | Apparatus and methods for providing a persistent companion device | |
US10357881B2 (en) | Multi-segment social robot | |
US20170206064A1 (en) | Persistent companion device configuration and deployment platform | |
CN107000210A (zh) | 用于提供持久伙伴装置的设备和方法 | |
JP2019521449A (ja) | 永続的コンパニオンデバイス構成及び配備プラットフォーム | |
US10086265B2 (en) | Video teleconference object enable system | |
JP2024032778A (ja) | 表示装置等 | |
De Luca | Sensory everyday: Space, materiality and the body in the films of Tsai Ming-liang | |
JP2019139169A (ja) | 画像表示装置、画像表示方法および画像表示プログラム | |
JP7448142B2 (ja) | 表示装置等 | |
WO2018183812A1 (en) | Persistent companion device configuration and deployment platform | |
WO2017152167A1 (en) | Interactive toy device, and systems and methods of communication between the same and network devices | |
JP2022157245A (ja) | システム等 | |
JP2022157238A (ja) | システム等 | |
JP2023035270A (ja) | 表示装置等 | |
Rahman | Creating a Sense of Presence in Remote Relationships: A concept of Calm Ambient artifact |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181015 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181015 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190829 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191011 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200325 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6682475 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |