JP7448142B2 - 表示装置等 - Google Patents

表示装置等 Download PDF

Info

Publication number
JP7448142B2
JP7448142B2 JP2020064311A JP2020064311A JP7448142B2 JP 7448142 B2 JP7448142 B2 JP 7448142B2 JP 2020064311 A JP2020064311 A JP 2020064311A JP 2020064311 A JP2020064311 A JP 2020064311A JP 7448142 B2 JP7448142 B2 JP 7448142B2
Authority
JP
Japan
Prior art keywords
image
display
display device
light
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020064311A
Other languages
English (en)
Other versions
JP2021117478A (ja
Inventor
善宏 今重
昭仁 野添
慶介 高橋
忠 俣江
利夫 黒瀬
隆之 水野
勇喜 清水
幹雄 島津江
圭三 高橋
篤 石橋
康一 野口
隆 浅野
茂 小池
Original Assignee
株式会社ユピテル
株式会社ユピテル鹿児島
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ユピテル, 株式会社ユピテル鹿児島 filed Critical 株式会社ユピテル
Publication of JP2021117478A publication Critical patent/JP2021117478A/ja
Priority to JP2024023475A priority Critical patent/JP2024075565A/ja
Application granted granted Critical
Publication of JP7448142B2 publication Critical patent/JP7448142B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Description

本発明は、表示装置等に関する。
特許文献1には、特殊な眼鏡を用いない立体映像表示装置が記載されている。この立体映像表示装置は、光源と、液晶表示パネルと、この液晶表示パネルの観察者側に配置されるパララックスバリアとを備える。
特開2003-295113号公報
本発明の目的の一つは、表示装置の有する視覚的な効果を高めることである。
本願の発明の目的はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果を得ることを目的とする構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」と記載した箇所を「~が課題である」と読み替えた課題が本明細書には開示されている。課題はそれぞれ独立したものとして記載しているものであり、各々の課題を解決するための構成についても単独で分割出願・補正等により権利取得する意思を有する。課題が明細書の記載から黙示的に把握されるものであっても、本出願人は本明細書に記載の構成の一部を補正または分割出願にて特許請求の範囲とする意思を有する。またこれら独立の課題を組み合わせた課題を解決する構成についても開示しているものであり、権利取得する意思を有する。
(1)遮光された映像表示空間を内部に有し、前記映像表示空間の第1方向側に映像の観察領域を設けた筐体と、前記映像表示空間に空中映像を結像させる映像表示部と、を有する表示装置が提供されるとよい。
このようにすれば、映像表示空間に結合させられる空中映像が、観察側から見て比較的暗い空間に表示されるので、観察者に与えることのできる空中映像の立体感を高めることができる。よって、表示装置の有する視覚的な効果を高めることができる。
(2)前記観察領域から前記映像表示空間に進入する外光を減じる減光部材を有する表示装置が提供されるとよい。
このようにすれば、減光部材によって映像表示空間に進入する外光が減じられるので、映像表示空間を暗い状態に維持でき、観察者に与えることのできる空中映像の立体感を高めることができる。
(3)前記映像表示部は、第1画像光を発する第1表示部と、前記第1画像光に基づいて前記空中映像を結像させる光学系とを含み、前記第1画像光のうちの前記減光部材で反射した反射光の光路上であって、前記減光部材と前記光学系との間に遮光部材を有する表示装置とするとよい。
このようにすれば、第1画像光が減光部材で反射することで映像表示空間に表示される映像が、観察者によって観察されてしまうのを抑制することができる。
(4)前記遮光部材は、前記第1方向側から見て前記観察領域に重ならない位置に設けられている表示装置とするとよい。
このようにすれば、観察者が観察領域から映像表示空間を覗き込むようにした場合であっても、第1画像光が減光部材で反射することで映像表示空間に表示される映像が、観察者によって観察されてしまうのを抑制することができる。
(5)前記映像表示部は、第1画像光を発する第1表示部と、前記第1画像光に基づいて前記空中映像を結像させる光学系とを含み、前記光学系は、前記第1画像光のうちの前記減光部材で反射した反射光の光路上の領域を避けて配置される表示装置とするとよい。
このようにすれば、第1画像光が減光部材で反射することで映像表示空間に表示される映像が、観察者によって観察されてしまうのを抑制することができる。
(6)前記光学系は、前記第1画像光が入射する第1面と、前記第1面に対向する第2面とを有する光学部材を含み、前記光学部材は、前記第1画像光を前記第1方向側に反射させ、かつ前記第2面に入射した光を前記第1面側に透過させる表示装置とするとよい。
このようにすれば、光学部材を用いて結合させた空中映像に重ねて、光学部材の第2面側を観察者に観察させることができるので、観察者に与えることのできる空中映像の立体感をより高めることができる。
(7)前記第1方向側から見て前記空中映像と重なる第2画像光を発する第2表示部を有する表示装置とするとよい。
このようにすれば、空中映像に重ねて観察者に観察させる映像の選択の自由度を高めることができる。
(8)前記第1表示部の発光輝度を前記第2表示部の発光輝度よりも高くした表示装置とするとよい。
このようにすれば、第1表示部の発光輝度と第2表示部の発光輝度との差異により、観察者に与えることのできる空中映像の立体感をより高めることができる。
(9)前記第1表示部は、前記観察領域よりも上方において、表示面が下方を向くように配置され、かつ前記第1方向側よりも前記第1方向の反対側の第2方向側が低くなるように傾斜する表示装置とするとよい。
このようにすれば、観察領域よりも上方に配置された第1表示部により、光学部材を用いて空中映像を結像させることができる。
(10)前記第1表示部の表示面は、水平方向に対してほぼ20度で傾斜する表示装置とするとよい。
このようにすれば、観察者に与えることのできる空中映像の立体感をより高めることができるとともに、第1画像光が減光部材で反射して映像表示空間に表示される映像をより観察されにくくすることができる。
(11)前記第2表示部は、前記観察領域よりも下方において、表示面が上方を向くように配置される表示装置とするとよい。
このようにすれば、第2表示面に表示される映像が、空中結像された映像の下方に位置するように見えるので、観察者に与えることのできる空中映像の立体感をより高めることができる。
(12)前記第1表示部は、前記空中映像が前記第2表示面上に観察されるように前記第1画像光を発する表示装置とするとよい。
このようにすれば、空中映像が第2表示面に表示される映像の上に位置するように観察されるので、観察者に与えることのできる空中映像の立体感をより高めることができる。
(13)前記筐体は、前記第1表示部よりも上方に第1収容空間を有し、前記第1収容空間のうち前記第2方向側に配置された処理基板を有する表示装置とするとよい。
このようにすれば、第1表示部よりも上方に確保される第1収容空間のうち、比較的高さ方向の寸法に余裕がある領域に処理基板を配置することができる。
(14)前記処理基板は、外部機器を着脱可能な装着部を有し、前記装着部は、前記筐体のうち前記第2方向側から前記筐体の外部に露出する表示装置とするとよい。
このようにすれば、外部機器を着脱可能な装着部のうち筐体の外部に露出する部分が観察者から観察されにくくすることができる。
(15)前記観察領域よりも下方に設けられたセンサを有し、前記処理基板は、前記センサにより測定された情報に応じた処理を実行する表示装置とするとよい。
このようにすれば、センサに係る構成によって空中映像の観察が妨げられてしまうのを抑制できる。
(16)前記センサが実装されたセンサ基板を有し、前記センサ基板は、前記筐体の前記第1方向側の部分に設けられている表示装置とするとよい。
このようにすれば、センサに係る構成によって空中映像の観察が妨げられてしまうのを抑制することができる。
(17)前記センサは、ジェスチャを検出するセンサを含む表示装置とするとよい。
このようにすれば、観察者がジェスチャを行うときに、観察者の身体の部位によって空中映像の観察が妨げられてしまうのを抑制することができる。
(18)前記筐体は、前記映像表示空間の下方に第2収容空間を有し、前記第2収容空間に設けられ、前記センサからの信号を前記処理基板に供給する制御基板を有する表示装置とするとよい。
このようにすれば、第1表示部の上方の第1収容空間に制御基板が収容される場合に比べて、筐体の観察領域よりも上方の寸法が肥大化することを抑制できる。
(19)前記制御基板と前記処理基板とを電気的に接続する配線部と、前記映像表示空間側から前記配線部を観察できないように仕切る仕切部材とを有する表示装置とするとよい。
このようにすれば、制御基板と処理基板とを電気的に接続する配線部が観察されてしまうのを抑制することができる。
(20)前記処理基板は、前記センサにより測定された情報に応じて前記第1表示部の表示を制御する表示装置とするとよい。
このようにすれば、センサにより測定された情報によって空中映像を変化させることができる。
(21)前記第1表示部の表示面に設けられ、前記第1方向側への視野角を狭める視野角制御部材を有する表示装置とするとよい。
このようにすれば、第1表示面に表示される画像が直接観察者に観察されてしまうことを抑制することができる。
(22)前記第1画像光は、二次元の画像として認識される画像の画像光である表示装置とするとよい。
このようにすれば、二次元の画像として認識される画像を表示する第1表示部を使用した場合でも、観察者に空中映像の立体感を与えることができる。
(23)前記筐体は、複数の部分を固定具により結合された構成であり、前記固定具は、少なくとも前記第1方向側から露出しない表示装置とするとよい。
このようにすれば、固定部材が観察者に観察されてしまうのを抑制することができ、表示装置の美観を高めることができる。
(24)前記映像表示空間に面する部分の少なくとも一部に光の反射を低減する処理がなされている表示装置とするとよい。
このようにすれば、映像表示空間を暗い状態に維持しやすくなるので、観察者に与えることのできる空中映像の立体感をより高めることができる。
(25)前記筐体は、前記第1方向側から見たときに前記観察領域の周りを囲む部分を有する表示装置とするとよい。
このようにすれば、映像表示空間に表示される空中映像と、その手前側に位置する筐体とが相まって、観察者に与えることのできる空中映像の立体感をより高めることができる。
(26)前記映像表示部は、猫を示すキャラクタの映像を表示する表示装置とするとよい。
このようにすれば、立体感のある猫を示すキャラクタの映像を表示することができる。
(27)前記映像表示部は、前記キャラクタと前記キャラクタを観察する観察者とのコミュニケーションを再現するコミュニケーション機能に基づいて映像を変化させる表示装置とするとよい。
このようにすれば、コミュニケーション機能に基づいて猫を示すキャラクタの映像を変化させることができる。
(28)においを検知するにおいセンサと、前記においセンサによる検知結果に応じた動きをキャラクタが行う映像を前記映像表示部に表示する表示出力動作と、前記においセンサによる検知結果に応じた音声を前記映像表示部に表示されたキャラクタが発する音声として出力する音声出力動作との少なくとも一方を実行する動作制御手段と、をさらに備えるとよい。
このようにすれば、映像表示部に表示されたキャラクタとユーザとの間でにおいに関するコミュニケーションを再現することができる。例えば、においセンサによってにおいが検知されると、キャラクタが「何かにおう」などの音声を発する音声出力動作や、においを嗅ぐ動作をキャラクタが行う映像の表示出力動作が行われるように制御され得る。したがって、当該キャラクタとユーザとの間でより多様なコミュニケーションを図ることができる。
(29)前記表示出力動作は、検知されたにおいの種類に応じた動きを前記映像表示部に表示されたキャラクタが行う映像を前記映像表示部に表示する動作であり、前記音声出力動作は、検知されたにおいの種類に応じた音声を前記映像表示部に表示されたキャラクタが発する音声として出力する動作であるとよい。
このようにすれば、映像表示部に表示されたキャラクタとユーザとの間でにおいの種類に関するコミュニケーションを再現することができる。例えば、タバコのにおいが検知されたときには、煙たがる動きをキャラクタが行う映像を表示する表示出力動作やユーザの健康に気遣う言葉を発する音声出力動作が実行され得る。また、アロマオイルなどの香料のにおいが検知されたときには、香料に関する質問を発する音声出力動作が実行され得る。このような制御が行われることにより、映像表示部に表示されたキャラクタとユーザとの間でのコミュニケーションの幅を広げることができ、当該キャラクタへのユーザの愛着を増大させることができる。
(30)音声を検出可能な音声検出手段と、検知対象領域における人の存在を検知可能な検知手段と、をさらに備え、前記音声検出手段は、前記検知対象領域における人の存在が検知されると、前記映像表示部に表示されたキャラクタとの対話を行うための音声認識を有効化するとよい。
このようにすれば、ユーザと映像表示部に表示されたキャラクタと対話するにあたって、例えばユーザが音声認識を有効化するためのトリガーワードを発声する必要がなく、より自然にコミュニケーションをとることができる。
(31)風を検知する風検知手段と、前記風検知手段による検知結果に応じた動きをキャラクタが行う映像を前記映像表示部に表示する表示出力動作と、前記風検知センサによる検知結果に応じた音声を前記映像表示部に表示されたキャラクタが発する音声として出力する音声出力動作との少なくとも一方を実行する動作制御手段と、をさらに備えるとよい。
このようにすれば、映像表示部に表示されたキャラクタとユーザとの間で表示装置に与えられた風に関するコミュニケーションを再現することができる。風は、例えばユーザ人為的に起こしたものとするとよく、例えば表示装置に向けて手を振る等の身体の部位を動かすことによって発生する風や息を吹きかけることによって発生する風とするとよい。
(32)前記動作制御手段は、前記風検知手段による検知結果に基づき、ユーザの吹きかけた息に応じて前記表示出力動作または前記音声出力動作を行うとよい。
このようにすれば、映像表示部に表示されたキャラクタとユーザとの間で、表示装置に吹きかけた息に応じたコミュニケーションを再現することができる。
上述した(1)から(32)に示した発明は、任意に組み合わせることができる。例えば、(1)に示した発明の全てまたは一部の構成に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加える構成とするとよい。特に、(1)に示した発明に、(2)以降の少なくとも1つの発明の少なくとも一部の構成を加えた発明とするとよい。また、(1)から(32)に示した発明から任意の構成を抽出し、抽出された構成を組み合わせてもよい。本願の出願人は、これらの構成を含む発明について権利を取得する意思を有する。また「~の場合」「~のとき」という記載があったとしても、その場合やそのときに限られる構成として記載はしているものではない。これらはよりよい構成の例を示しているものであって、これらの場合やときでない構成についても権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えたりした構成についても開示しているものであり、権利取得する意思を有する。
本発明によれば、表示装置の有する視覚的な効果を高めることができる。
本願の発明の効果はこれに限定されず、本明細書および図面等に開示される構成の部分から奏する効果についても開示されており、当該効果を奏する構成についても分割出願・補正等により権利取得する意思を有する。例えば本明細書において「~できる」と記載した箇所などは奏する効果を明示する記載であり、また「~できる」と記載がなくとも効果を示す部分が存在する。またこのような記載がなくとも当該構成よって把握される効果が存在する。
一実施形態に係る表示装置の概要を説明する図である。 一実施形態に係る表示装置の概要を説明する図である。 一実施形態に係るキャラクタを説明する図である。 一実施形態に係る表示装置の外観構成を示す図である。 一実施形態に係る表示装置の外観構成を示す図である。 一実施形態に係る表示装置の外観構成を示す図である。 一実施形態に係る表示装置の正面図である。 一実施形態に係る表示装置の右側面図である。 一実施形態に係る表示装置の左側面図である。 一実施形態に係る表示装置の平面図(上面図)である。 一実施形態に係る表示装置の背面図である。 一実施形態に係る表示装置の底面図である。 一実施形態に係る表示装置から背面蓋部を取り外したときの背面図である。 一実施形態に係る表示装置が使用される様子の一例を説明する図である。 一実施形態に係る表示装置の表示に関する原理を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の内部の構成を説明する図である。 一実施形態に係る表示装置の虚像が表示される原因を説明する図である。 一実施形態に係る表示装置の映り込みの発生原因を説明する図である。 一実施形態に係る表示装置の虚像の表示および映り込みの抑制の原理を説明する図である。 表示装置の虚像が表示される原因を説明する図である。 一実施形態に係る表示装置の正面図である。 一実施例に係る表示装置における制御ブロック図である。 (A)においに関するコミュニケーションを再現するためのフローチャート、(B)においに関する音声管理テーブルを示す図である。 滞在頻度に関するコミュニケーションを再現するためのフローチャートである。 (A)滞在場所に関するコミュニケーションを再現するためのフローチャート、(B)滞在場所に関する音声管理テーブルを示す図である。 (A)滞在回数に関するコミュニケーションを再現するためのフローチャート、(B)滞在回数に関する音声管理テーブルを示す図である。 (A)滞在時間に関するコミュニケーションを再現するためのフローチャート、(B)滞在時間に関する音声管理テーブルを示す図である。 (A)行動パターンに関するコミュニケーションを再現するためのフローチャート、(B)行動パターンに関する音声管理テーブルを示す図である。 不審者の検知に関する動作を再現するためのフローチャートである。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。 一実施形態に係る表示装置に表示される画像の一例を示す図である。
以下、実施形態について、図面を参照しながら詳細に説明する。以下に示す実施形態は本開示の実施形態の一例であって、本開示はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号(数字の後にA、Bなどを付しただけの符号)を付し、その繰り返しの説明は省略する場合がある。また、以下の説明で参照する各図において、各部材、各領域等を認識可能な大きさとするために、実際とは縮尺を異ならせている場合がある。
<1.表示装置1の概要>
図1Aおよび図1Bは、本発明の一実施形態に係る表示装置の概要を説明する図である。表示装置1は、観察領域SCを通して観察者が映像を観察できるように映像を表示する。本実施形態で、観察は、見るあるいは目視するといった意味で解釈されてよい。観察者は、表示装置1を使用するユーザのことで、例えば、表示装置1に表示された映像を観察する者である。観察領域SCは、表示装置1の正面側に設けられた領域で、ここでは矩形の領域である。表示装置1は、空中結像により映像を表示する。空中結像は、例えば光の反射を利用して、空気中に映像を結像することをいう。空中結像は、所定の空間に映像が浮かび合っているような感覚を観察者に与えるために採用されることがある。空中結像により表示される映像は、空中映像と呼ばれる。
図1Aに示す場合、表示装置1は、空中映像としてキャラクタ1100を表示する。キャラクタ1100は、女性のキャラクタである。表示装置1は、さらに、キャラクタ1100の下にステージを意味するステージ映像2100を表示する。ステージ映像2100は、ここでは魔法陣を示す。このような表示を見た観察者は、ステージ上にキャラクタ1100が立っているような印象を受けることができる。キャラクタ1100およびステージ映像2100の色は特に問わない。例えばキャラクタ1100の皮膚は肌色である。キャラクタ1100の髪色および上半身の衣装は比較的淡い青色系の色(例えば、水色)、膝に当てられている装飾品はそれよりも濃い青色系の色(例えば、青色)、スカートおよび靴は白色である。ステージ映像2100は比較的濃い青色系の色(例えば、濃い水色)である。
図1B(a)に示す場合、表示装置1は、空中映像としてキャラクタ1200を表示する。キャラクタ1200は、猫のキャラクタである。図1B(b)に示す場合、表示装置1は、キャラクタ1200の下にステージを意味するステージ映像2200を表示する。ステージ映像2200は、ここでは、「Yupiteru」という文字列、およびキャラクタ1200の名称である「Juno」(「ユノ」と称呼する。)を示す文字列が、円形のステージの外周に沿って交互に表記されている。
キャラクタ1200およびステージ映像2200の色は特に問わない。ここで、キャラクタ1200およびステージ映像2200について、図1Cを参照してより具体的に説明する。キャラクタ1200は、キャラクタ本体1210と、首輪1220とに大別される。キャラクタ本体1210は、ここでは名称が「Juno」である猫のキャラクタ自体である。キャラクタ本体1210は、身体の部位に白色で示された部位を含み、例えば、眉間、鼻および口の周辺、腹部、並びに足のうちの正面側の部位がこれに該当する。キャラクタ本体1210の身体の部位のうち、薄いグレーで示された部位は、比較的淡い茶色系の色(例えば、黄土色)であり、例えば、顔部のうちの目の上および横の部位、胴体部のうちの上側の部分、足のうちの正面側以外の部位がこれに該当する。キャラクタ本体1210の身体の部位のうち、さらに濃いグレーで示された部位は、さらに濃い茶色系の色(例えば、茶色)であり、例えば、顔部、頭部、胴体、足の細い線で示された縞模様の部位がこれに該当する。首輪1220は、キャラクタ本体1210の首の位置に表示された首輪を意味する。首輪1220は、赤色系の色(例えば、赤色)である。首輪1220のうち、キャラクタ本体1210の顔の下に位置には、札1221が取り付けられている。札1221は円形であり、所定の標章が表記されている。当該標章は、「V」状の記号の下方に「●」(内側を塗りつぶした円)を配置した標章であって、それぞれを赤色系の色(例えば、赤色)で表記されている標章である。札1221に表記される標章は、表示装置1の出所を示す商標としての機能を発揮するものとしてもよい。ステージ映像2200は全体として茶色系の色で、円および文字列は比較的濃い茶系の色(例えば、茶色)、円の内側の煙を模した画像はそれよりも薄い茶色系の色(例えば、黄土色)である。
図1A、図1Bおよび図1Cにおいて、キャラクタ1100,1200の背景は黒色で示されているが、真っ黒に限られるものではなく、比較的暗い色の背景(例えば、黒色その他の暗色系の色)としてもよい。
図1A、図1Bおよび図1Cに示すキャラクタは一例である。表示装置1は、人型のキャラクタを表示する場合、女性のキャラクタに限られず、男性のキャラクタを表示してもよい。表示装置1は、実在する人物(例えば、家族)もしくは過去に実在していた人物(例えば、歴史上の人物)、架空の人物のキャラクタ(例えば、漫画やアニメ等のフィクションの作品に登場するキャラクタ等)のいずれを表示してもよい。人型でない動物のキャラクタを表示する場合、表示装置1は、猫のキャラクタに限られず、犬やハムスター等の一般家庭で飼育されうる動物のキャラクタ、それ以外の馬や牛等の動物のキャラクタ、並びに架空の動物のキャラクタ(例えば、漫画やアニメその他のフィクションの作品に登場するキャラクタ等)のいずれを表示してもよい。また、表示装置1は、首輪1220を有する他のキャラクタを表示するものであってもよい。
表示装置1は、コミュニケーション機能に基づいて、キャラクタの身体の部位を動かしたり、キャラクタの発話を模した音声を出力したりする。コミュニケーション機能は、観察者とキャラクタとのコミュニケーションを再現する機能、または疑似的なコミュニケーションを再現する機能である。コミュニケーション機能においては、観察者の挙動(例えば、発話や身体の動き)に応答してキャラクタが動く。例えば、キャラクタ1100は、ダンスなど体全体を動かしたり、表情を変化(例えば、喜怒哀楽の感情を表現)させたりする、といった人間が通常行う動作を再現した動作をする。例えば、キャラクタ1200は、動物が通常行う動作(例えば、あくびをする、尻尾を動かす、歩行する等)を再現した動きをする。また、表示装置1は、例えば、キャラクタ1100の動作に合わせて、キャラクタ1100が歌唱しているかのような歌唱音声を出力したり、観察者との対話に係る音声を出力したりする。表示装置1は、例えば、キャラクタ1200の動作に合わせて、猫の鳴き声を意味する音声を出力したり、観察者との対話に係る音声を出力したりする。このような映像や音声の出力は、コミュニケーション機能に限られず、表示装置1が有する種々の機能で行われるようにしてもよい。
コミュニケーション機能におけるユーザとの対話は、例えば、表示装置1に組み込まれた音声認識アプリケーション(音声認識エンジンの機能を有するアプリケーション)と、図示しない外部の音声認識サーバと、図示しない外部の対話サーバとの連携により実現されるとよい。例えば、後述する操作部2214が押下されると、音声認識アプリケーションが起動し、キャラクタとの対話を行うための音声認識が有効化される。音声認識を有効化することは、本実施形態では音声認識機能を作動することで、例えば音声認識エンジンをオンして音声の入力を待ち受ける状態にすることである。そして、ユーザにより発せられた音声(ユーザ音声、とも称する)が、後述の処理基板224の通信制御回路706から音声認識サーバへと送信され、音声認識サーバによってユーザ音声に対する音声認識処理が実行されて音声認識結果が出力される。例えば対話サーバには、入力され得る文字列毎に、表示装置1(例えば、後述する映像表示部)に表示されたキャラクタ(例えば、キャラクタ1100)が発する音声(キャラクタ音声、とも称する)が互いに対応付けて予め登録されている。そして、音声認識サーバによる音声認識結果(例えば、文字列で示された音声認識結果)が対話サーバに入力され、当該音声認識結果に対応するキャラクタ音声が対話サーバから出力される。そして、対話サーバによって出力されたキャラクタ音声が、表示装置1から出力される。このようにして、ユーザによる音声に対する応答処理が実行され、ユーザとキャラクタとの対話が再現される。
表示装置1は、例えば、娯楽用の表示装置として一般のユーザにより使用される。この場合、表示装置1は、例えば、ユーザの自宅等の居所で使用される。これに限られず、表示装置1は、商業用(例えば広告宣伝用)その他の用途で使用されてもよい。例えば、商業用の場合、表示装置1は店舗その他の商業施設等の公共の場所に設置される。表示装置1は、製品あるいはサービスの展示会等の会場において、キャラクタが製品あるいはサービスを紹介または宣伝等する映像を表示してもよい。表示装置1の用途はこれら以外の用途でもよい。
<2.表示装置1の外観構成>
図2、図3および図4は、表示装置1の外観構成を示す斜視図である。図2は、表示装置1を右斜め前方から見た図である。図3は、表示装置1を左斜め前方側のやや上方から見た図である。図4は、表示装置1を右斜め前方のやや下方から見た図である。図5は、表示装置1の正面図である。図6は、表示装置1の右側面図である。図7は、表示装置1の正側面図である。図8は、表示装置1の平面図(上面図)である。図9は、表示装置1の底面図である。図10は、表示装置1の背面図である。
表示装置1は、外観が直方体状である。表示装置1は筐体100を有する。筐体100は、表示装置1の外形をなす箱型の部材である。筐体100は直方体状である。筐体100は、幅方向(左右方向ともいう。)よりも、高さ方向(上下方向ともいう。)に長い。筐体100の幅方向と奥行方向(前後方向ともいう。)との長さはほぼ同じである。表示装置1の幅方向、高さ方向、および奥行方向(前後方向ともいう。)の長さとの比は、およそ2:3:2である。以下の説明において、表示装置1の奥行方向のうち、観察者側の位置する側を「正面側」(第1方向側に相当)、その反対側を「背面側」(第2方向側に相当)という。
筐体100は、角部がR形状である。図5に示すように、表示装置1を正面側から見たとき、筐体100の4つの角部がそれぞれ丸みを帯びている。筐体100の表面は、つや消し加工で質感を出すように加工されているとよい。このようにすれば、意匠性に優れた直方体状の表示装置1が提供される。筐体100は、樹脂材料で形成されるとよいが、金属またはその他の素材で形成されてもよい。筐体100は、遮光された映像表示空間を内部に有する。映像表示空間は、筐体100の内部の空間で、空中映像が表示(形成)される空間である。映像表示空間は、その全体または多くの部分が遮光性の部材で形成されている。よって、筐体100を構成する部材によって、映像表示空間に外光が進入することが妨げられる。筐体100は、例えば、その全体が外光を遮断する素材で形成されていてもよいし、外側表面または映像表示空間に面している表面が光を遮断する素材で覆われていてもよい。筐体100の外側表面の色は問わないが、例えば高級感またはシンプルさを醸し出す白色または黒色等とするとよい。表示装置1は、観察者等の人が単独で持ち運びできる程度の寸法かつ重量するとよい。
筐体100のうちの外側に露出する部分は、右側パネル101と、正面側パネル102と、左側パネル103と、背面側パネル104と、上蓋部105と、下蓋部106とに分けられる。右側パネル101、正面側パネル102、左側パネル103、背面側パネル104、上蓋部105、および下蓋部106は板状の部材である。右側パネル101は、正面側から見て筐体100の右側面側に位置するパネルである。左側パネル103は、正面側から見て筐体100の左側面側に位置するパネルである。右側パネル101および左側パネル103は同一形状かつ同一寸法である。また、右側パネル101と左側パネル103とは、高さ方向に対称で、右側パネル101と左側パネル103を形成するための金型を共通化できる。このため、右側パネル101および左側パネル103は共通の部材を用いることができ、コストや組み立て作業の手間を軽減する効果が期待できる。
正面側パネル102は、表示装置1の正面側に位置する。正面側パネル102は、減光部材200を装着可能な開口部110を有している。観察領域SCは、正面側パネル102に設けられている。観察領域SCは、表示装置1に表示された映像を見る観察者が観察する領域である。観察領域SCは、筐体100に形成された開口部110が存在する領域でもある。減光部材200が、観察領域に設けられている。減光部材200は、開口部110を塞ぐようにして、鉛直方向に立てて設けられている。減光部材200および開口部110は、表示装置1の正面側から見て、筐体100の高さ方向の中心よりも上方に設けられる。減光部材200および開口部110は、正方形または長方形である。
減光部材200は、映像の観察に用いられる矩形(正方形でもよい。)の第1領域210と、第1領域210の周囲を取り囲む第2領域220とを含む。第2領域220は縁部分で画像の観察には用いられない領域であるから、光を透過させない領域でもよい。よって、観察領域SCは第1領域210が存在する領域ともいうことができる。以下の説明で減光部材200という場合、第1領域210のことと観念されてもよい。
減光部材200は、観察領域SCから映像表示空間に進入する外光を減じる光学部材である。減光部材200は、映像表示空間を暗い状態に維持するために設けられている。減光部材200は、観察者自身が観察領域SCに映ってしまう映り込みの発生を抑えたり、映像表示空間の内部の部品を観察者に観察されにくくしたりするために設けられる。減光部材200は、板状(パネル状を含む)の部材であるが、シート状、フィルム状などと呼ばれる部材でもよい。減光部材200は、スモークパネルまたはスモークフィルムなどと呼ばれる部材であってもよい。減光部材200は、例えば光の透過率が24%で、その厚さが2mm程度である。減光部材200は、表示装置1の映像表示空間に表示される映像の観察を妨げない程度の透光性を有する。減光部材200は、黒色系等の暗色系の半透明の部材であるが、青色系その他の色であってもよい。
情報領域STが、正面側パネル102のうち、観察領域SC(減光部材200および開口部110)の下方に設けられている。情報領域STは、正面側パネル102に開けられた開口部に位置する。情報領域STは、センサを用いて所定の情報を収集したり、所定の情報を観察者に提示したりする領域である。情報領域STに設けられる電子部品として、第1センサ2331、第2センサ2332、マイクロホン2333と、発光部2334とがある。第1センサ2331は、観察者が行うジェスチャを検出するジェスチャセンサである。第2センサ2332は、ジェスチャセンサ以外の1または複数のセンサを含む。第2センサ2332のセンサとしては、例えば、ガスセンサ(臭いセンサ)、温度センサ、および照度センサがある。マイクロホン2333は、収音し、収音した音を音声信号に変換する。発光部2334は、発光することにより所定の情報を提示する。発光部2334は、例えば、所定の色で発光する発光体(例えば、発光ダイオード)と、発光体が発した光を導く導光部材とを含む。本実施形態では、発光部2334の導光部材が第1センサ2331、第2センサ2332、およびマイクロホン2333が設けられた領域の周りを囲むようにして配置されている。発光部2334は、例えば青色系の色(例えば水色)で発行するが、緑色系、赤色系その他の色の1つまたは複数の色で発光するように構成されてもよい。発光部2334は、導光部材を有する構成に限られず、例えば発光体を複数有する構成によって所定の領域で発光してもよい。
操作領域OTが、上蓋部105に設けられている。操作領域OTは、観察者が行う操作を受け付ける領域である。操作領域OTは、操作部2211,2212,2213,2214が設けられた領域である。操作部2211,2212,2213,2214は、それぞれ押下操作を受け付けるスイッチである。操作部2211は、表示装置1の電源のオンまたはオフを指示する場合に操作される。操作部2212は、音量を上げることを指示する場合に操作される。操作部2213は、音量を下げることを指示する場合に操作される。操作部2214は、所定の機能の実行を指示する場合に操作される。操作部2214は、例えば特殊キーと呼ばれる操作部であってもよい。操作部2214は、例えば、表示装置1に音声認識の開始を指示する場合に操作されるようにしてもよい。上蓋部105には、操作部2211,2212,2213,2214のそれぞれが設けられる位置に対応して開口部が設けられている。操作部2211,2212,2213,2214は各開口部に位置することによって外部に露出する。なお、ここで説明した操作部の数、操作部に割り当てられた機能、受け付け可能な操作方法は一例である。
人感センサ234が、下蓋部106に設けられている。人感センサ234は下蓋部106の開口部に位置することによって外部に露出する。人感センサ234は、検知対象空間における人(動体)の存在を検出する検出部である。人感センサ234は、本実施形態ではマイクロ波ドップラセンサであり、マイクロ波を放射し、その反射波であるマイクロ波の受信強度に基づいて、検知対象空間における人の存在を検出する。例えば、人感センサ234は、表示装置1の正面側に人が存在するかどうかを検出する。
表示装置1の背面側パネル104には、電源ジャック2311と、後蓋部1041が設けられている。電源ジャック2311は、電源コードが接続されるジャックである。電源ジャック2311は、電源コードを介して外部電源等からの電力の供給を受ける。後蓋部1041は、取り外しが可能な蓋部である。後蓋部1041が取り外されると、図11に示すように、スロット222およびUSB(Universal Serial Bus)コネクタ223が露出する。スロット222は、外部記憶媒体が装着される装着部である。外部記憶媒体は、例えばmicroSD(登録商標)の規格に対応するが、microSDHCその他SDカードに関する規格またはその他の規格に対応してもよい。USBコネクタ223は、USBケーブルまたはUSB規格に対応した外部機器のUSBポートが装着される装着部である。表示装置1では、スロット222およびUSBコネクタ223を介して外部機器との間でデータの入出力を行うことができる。装着部の数はさらに多くてもよい。スロット222およびUSBコネクタ223のうち筐体の外部に露出する部分が、表示装置1の背面側であるから、観察者から観察されにくくすることができる。また、外部機器が装着される装着部の数や対応する規格は特に問わない。
筐体100は、右側パネル101と、正面側パネル102と、左側パネル103と、背面側パネル104と、上蓋部105と、下蓋部106とを結合して構成される。本実施形態では、結合方法として、固定具の一例であるネジを用いたネジ止めが採用される。ただし、正面側パネル102および上蓋部105には、ネジ止めされた箇所が存在しない。
右側パネル101においては、正面側の上下2か所で、ネジ710,720によってネジ止めされている。筐体100の左側パネル103においては、正面側の上下2か所で、ネジ730,740によってネジ止めされている。背面側パネル104においては、上方側の3か所でネジ751,752,753によってネジ止めされ、高さ方向における中心付近の2か所でネジ754,755によってネジ止めされ、下方側の3か所でネジ756,757,758によってネジ止めされている。下蓋部106においては、正面側の2か所で、ネジ761,762によってネジ止めされている。正面側パネル102および上蓋部105は、表示装置1を使用する観察者によって、比較的観察されやすい部分である。一方、それ以外の部位は、表示装置1を使用する観察者によって、比較的観察されにくい部分である。よって、表示装置1によれば、ネジ止め箇所が観察者に観察されてしまうのを抑制し、表示装置1の外観上の美観を保つことができる。このようにすることは、観察者に映像への没入感を与えることにも寄与することができる。
図12は、観察者により表示装置1が使用される様子の一例を説明する図である。図12には、表示装置1とこれを使用する観察者Uとの位置関係を、表示装置1の左側面側から見た様子が示されている。表示装置1は、机3000の上に置かれている。表示装置1の正面側(前方側)には、椅子3100が配置されている。観察者Uは、表示装置1の方向を向いて椅子3100に着席している。この例では、観察者Uの目の位置は、表示装置1の上面よりも高い位置にある。このため、観察者Uは観察領域SCを角度θで見下ろすようにして観察する。角度θは水平方向と観察者Uの視線方向との間の角度である。角度θは、角度θ1以上θ2以下の範囲内である。角度θは、例えば15度である。観察者Uと観察領域SCとの水平方向の距離はおよそ50cmである。
<3.表示装置1の表示に関する原理>
図13は、表示装置1の表示に関する原理を説明する図である。図13には、表示装置1の左側面側から表示装置1の内部を見た場合の模式図が示してある。筐体100の内部の映像表示空間S1には、第1表示部310と、光学部材320と、第2表示部330とが設けられている。第1表示部310と光学部材320との協働により、映像表示空間S1に空中映像を結像させる映像表示部が構成される。
第1表示部310および第2表示部330は、画像を表示する表示部である。第1表示部310および第2表示部330は、光源を有する表示部であり、例えば液晶ディスプレイである。光源は、バックライトである。第1表示部310および第2表示部330は、赤(R)、緑(G)、青(B)の3原色に基づいてカラー(多色)の画像を表示する。第1表示部310および第2表示部330は、本実施形態では二次元の画像として認識される画像を表示する。
第1表示部310は、8インチの液晶ディスプレイである。例えば、この場合、第1表示部310は、光源の一例であるバックライトと、表示素子の一例である液晶素子を二次元配置した表示体とを含む。光源は例えば白色光源である。液晶素子は、画素単位でバックライトからの光を変調する。液晶素子は、例えば、画素単位に設けられる画素電極と複数の画素で共通の共通電極とで液晶分子を挟持した構成である。第1表示部310は、第1画像光L1を発する第1表示面311を有する。第1表示部310は、図1A~図1Cでいえば、キャラクタ1100,1200を表示するための画像光を発する。第1表示部310は、観察領域SC側の一端が観察領域SCよりも上方に位置し、かつ、背面側が低くなるように傾斜して配置されている。この傾きは、第1表示面311の傾きに等しく、水平面に対してほぼ20度である。このように傾きをほぼ20度すれば、観察者に与えることのできる空中映像の立体感を高めることができるとともに、第1画像光L1が減光部材200で反射して映像表示空間に形成される虚像がより観察されにくくすることができるという知見を発明者は得た。この根拠については後述する。ただし、この角度は一例である。表示装置1の幅方向においては、第1表示面311の各位置の高さは同じである。
光学部材320は、第1表示部310からの第1画像光L1に基づいて空中映像を結像させる光学系の一例である。光学部材320は、光の透過性および反射性を有する。光学部材320は、板状である。光学部材320は、ここではハーフミラーである。光学部材320は、アクリルミターで構成され、光の透過率が約30%である。光学部材320の厚さは、約2mmである。光の透過率は一例にすぎず例えば6%としてもよいし、映像表示空間S1に表示される空中映像を観察者が観察し得る程度の透過率が確保されていればよい。光学部材320は、映像表示空間S1において、開口部110および第1表示面311に対して傾斜して配置されている。光学部材320は、観察領域SC側の先端が、観察領域SCよりも下方に位置し、背面側ほどより高い位置となるように傾斜している。この傾きは、水平面に対して35度である。ただし、この角度は一例である。表示装置1の幅方向においては、光学部材320の各位置の高さは同じである。
第2表示部330は、7インチの液晶ディスプレイである。第2表示部330は、表示した画像の第2画像光L2を発する第2表示面331を有する。第2表示部330は、図1Aおよび図1Bでいえば、ステージ映像2100,2200に相当する映像V2を表示する。第2表示部330は、第2表示面331の法線方向が上方向を向くように配置されている。第2表示面331は、光学部材320の下方側の一端よりも背面側に位置する。第2表示面331よりも正面側には、台座部400が設けられている。台座部400は、筐体100の映像表示空間S1を構成する部材の一部をなす。台座部400の上面は、第2表示面331とほぼ同じ高さに位置するが、第2表示面331の方がやや低くなっていてもよい。
以上の構成のもと、第1表示部310が発した第1画像光L1は、光学部材320の第1面321に所定の角度で入射する。入射した第1画像光L1は、光学部材320によって表示装置1の正面側に当該所定の角度で反射させられる。この反射光L1rによって、筐体100の映像表示空間S1に空中映像V1が認識される。空中映像V1は、第1表示面311の背面側の先端部の下方、例えば第1表示面311と光学部材320との交点の下方の位置に認識される虚像である。
第2表示部330が発した第2画像光L2は、光学部材320の第2面332に入射して、第1面321側に透過する。第2画像光L2は、直接観察者の目に入る。第2表示面331の映像V2は、空中映像V1の下方に位置するように認識される実像である。例えば、第2表示面331の前後方向における中心に空中映像V1が認識されるようになっている。このようにして、空中映像V1が図1A~1Cでいうキャラクタ1100,1200と認識され、映像V2が図1A~1Cでいうステージ映像2100,2200として認識される。表示装置1によれば、光学部材320を用いて結合させた空中映像V1を観察させることで映像の立体感を観察者に与え、さらにその下方に映像V2を観察者に観察させることでその立体感をより高めることができる。また、第2表示部330を用いることで、発光体および導光部材を組み合わせて所定のパターンの模様で発光するような場合に比べて、空中映像とともに観察者に観察させる映像の選択の自由度を高めることができる。
第1表示部310の第1表示面311には、正面側への視野角を狭める視野角制御部材312が設けられるようにすることが望ましい。このようにすれば、観察者が観察領域SCに近づいて見上げるようにしても、第1表示面311に表示される画像が直接観察者に観察されてしまうことを抑制することができる。第2表示面331については、観察者が映像V2を観察しやすくなるように正面側への視野角を狭める視野角制御部材は設けられていない。
表示装置1の基本的な表示の原理は、以上のとおりである。さらに、表示装置1は、その視覚的な効果を高めるための構成として、減光部材200および遮光部材500を有している。その作用及び効果については後述する。
<4.表示装置1の内部の構成>
次に、表示装置1の内部の構成を説明する。図14、図15、図16、図17、および図18は、筐体100のうち、右側パネル101と、正面側パネル102と、左側パネル103と、背面側パネル104とを取り外した状態を示す図である。図14に示すように、右側パネル101を取り外したことにより、右側内部パネル107が露出する。図15に示すように、正面側パネル102を取り外したことにより、正面側内部パネル108が露出する。図16に示すように、左側パネル103を取り外したことにより、左側内部パネル109が露出する。図16に示すように、背面側パネル104を取り外したことにより、配線部800および仕切部材900が露出する。
右側内部パネル107および左側内部パネル109は、図13で説明した第1表示部310および光学部材320を左右の両側から挟みこむことによって保持する。
図2、図4、図6で示したネジ710,720は、右側パネル101、正面側内部パネル108、および右側内部パネル107を通過する穴H1,H2を順次通過して、これらを結合する。図3,図7で示したネジ730,740は、左側パネル103、正面側内部パネル108、および左側内部パネル109を通過する穴H3,H4を順次通過して、これらを結合する。図10で示したネジ751,752,753は、背面側パネル104と上蓋部105とを固定する。ネジ754は、背面側パネル104と右側パネル101とを結合する。ネジ755は、背面側パネル104と左側パネル103とを固定する。ネジ765,765,757は、背面側パネル104と下蓋部106を固定する。
図19、図20、図21、図22、図23および図24は、さらに右側内部パネル107と左側内部パネル109とを取り外した状態を示す図である。図19は、表示装置1を右側面側から見た様子を示す図である。図20は、表示装置1を左側面側から見た様子を示す図である。図21は、表示装置1を右側面側の斜め下方から見た様子を示す図である。図22は、表示装置1を右側面側の斜め上方から見た様子を示す図である。図23は、表示装置1を左側面側の斜め下方から見た様子を示す図である。図24は、表示装置1を左側面側の斜め上方から見た様子を示す図である。
筐体100の内部には、第1表示部310と、光学部材320と、第2表示部330と、台座部400と、遮光部材500とが設けられている。第1表示部310と、光学部材320と、第2表示部330と、台座部400とは、図13を用いて説明したとおりの構成である。
遮光部材500は、第1表示部310からの第1画像光L1のうちの減光部材200から反射した反射光の光路上に設けられる。遮光部材500は、光学部材320にこの反射光が入射するのを妨げるように、光学部材320のうちの減光部材200(観察領域SC)側の一端側、換言すると、第1表示部310から遠い側の一端側を覆う。遮光部材500は、例えば可視光を吸収する部材であるが、第1画像光L1の透過を妨げる部材であればよい。遮光部材500は、例えば、黒色その他の暗色系の色とするとよいが、それ以外の色でもよい。このようにする理由については後述するが、第1画像光L1が減光部材200で反射して映像表示空間S1に形成される映像(虚像)が、観察者によって観察されてしまうのを抑制するためである。特に、観察領域SCから映像表示空間S1を覗き込むようにして観察者が映像を観察した場合に観察される恐れのある映像が観察されるのを抑制する。この映像以外にも、天井などの外部の物が観察されるのを抑制する。遮光部材500の上面はほぼ水平であるが、これに限られない。
第1表示部310の上方には、第1プレート601が設けられ、第1プレート601の上方には各種部品を収容する第1収容空間S2(図19および図20参照)が形成されている。また、第2表示部330の下方には、第2プレート602が設けられ、台座部400および第2プレート602の下方に各種部品の第2収容空間S3(図25~図27参照)が形成されている。
図17~図24に示すように、第1収容空間S2は、第1表示部310の上に設けられた第1プレート601によって映像表示空間S1と隔てられた空間である。第1プレート601は、ネジ791,792,793を用いて右側内部パネル107に結合され、ネジ794,795,796を用いて左側内部パネル109に結合される。第1収容空間S2には、操作基板221と、処理基板224と、スピーカ2251,2252と、保持部226とが設けられる。操作基板221は、操作部2211,2212,2213,2214が表面に実装される基板である。操作基板221は、操作部2211,2212,2213,2214の操作に応じた信号を、処理基板224に供給する。処理基板224は、表示装置1の制御を司る処理基板として機能する。処理基板224は、メイン基板と呼ばれるものであってもよい。処理基板224は、操作基板221およびスピーカ225A,225Bと、例えばプリント配線基板(例えばFPC)を介して電気的に接続する。処理基板224は、表示装置1の奥行方向において、第1収容空間S2の背面側に位置する。処理基板224は、いわゆるSoC基板であり、プロセッサおよびOS(Operating System)を動作させる。処理基板224は、センサ基板233に実装されたセンサからの信号およびマイクロホン2333からの音声信号をOSで読み取ったり、操作部2211,2212,2213の操作に応じた信号を操作基板221から取得したりする。処理基板224は、第1表示部310および第2表示部330に映像を表示させるための制御を行う。処理基板224には、スロット222およびUSBコネクタ223が実装され、表示装置1の背面側から露出する。
スピーカ2251,2252は、正面側から見て左右両側に設けられ、上蓋部105に開けられた開口部1051,1052を介して外部に音を放出する。スピーカ2251,2252は処理基板224とはあまり離さないことが望ましい。スピーカ2251,2252は互いの音がなるべく干渉しないように距離が空けられていることが望ましい。
保持部226は、処理基板224に重なる位置に設けられ、下方の面に処理基板224を保持する。保持部226のうち処理基板224を保持する側とは反対側の上方の面には、放熱または吸熱のためのヒートシンク2261が設けられている。第1表示部310および第1プレート601は、正面側から背面側に下がるように傾斜している。このため、第1収容空間S2は、正面側から背面側にかけて高さ方向の寸法が次第に大きくなっており、背面側ほど高さ方向の寸法に余裕がある。これを利用して、処理基板224および保持部226のような厚みを有する部材を収容している。このようにすれば、観察領域SCよりも上部の筐体部分が長くなるのを抑制し、表示装置1の軽量化・小型化に寄与するとともに、意匠の面においても望ましい。
図25、図26および図27は、下蓋部106を取り外したときの表示装置1の内部構成を示す図である。台座部400および第2表示部330の下方には、第2プレート602が設けられている。第2プレート602と下蓋部106との間に第2収容空間S3が形成される。第2収容空間S3には、制御基板231と、配線232と、センサ基板233と、人感センサ234とが設けられる。正面側内部パネル108は、ネジ771,772,773,774を用いて第2プレート602に結合される。正面側内部パネル108は、ネジ775,776,777を用いて下蓋部106に結合される。正面側内部パネル108は、ネジ771~777を用いて固定されるが、表示装置1が使用される状況下では、正面側パネル102によって覆われているので、ネジ771~777が正面側に露出しない。
制御基板231は、表示装置1の電源の供給および信号の供給を制御する。制御基板231は、配線部800を介して処理基板224と電気的に接続され、各種信号の授受を行ったり、処理基板224に電力を供給したりする。制御基板231は、配線232を介してセンサ基板233および人感センサ234と電気的に接続される。配線232は、例えばプリント配線基板(例えばFPC)である。
センサ基板233は、第1センサ2331、第2センサ2332、およびマイクロホン2333が実装された基板である。センサ基板233は、正面側内部パネル108の背面側の面のうち、減光部材200(観察領域SC)よりも下方の領域に設けられている。センサ基板233は、その基板面が高さ方向および幅方向に延びるように鉛直方向に立てられている。センサ基板233のセンサは、所定の情報を検出するものであればよい。第1センサ2331は、正面側に光(例えば赤外光)を発し、その反射光を受光することにより観察者のジェスチャを検出する光学方式のセンサである。マイクロホン2333は、収音し、収音した音を示す音信号を出力する。第2センサ2332としてのガスセンサは、ガス臭い、焦げ付き臭い等のにおいを検出する。温度センサは、温度を検出する。照度センサは、照度を検出する。第1センサ2331が情報領域STの幅方向におけるほぼ中央に位置する。センサ基板233は、第1センサ2331、第2センサ2332、およびマイクロホン2333からの信号を、配線232を介して制御基板231に出力する。処理基板224は、配線部800および制御基板231を介して、音声認識可能な場合に発光部2334を発光させる制御を行う。
人感センサ234は、正面側内部パネル108に接触しないように、正面側内部パネル108よりも背面側に30cm程度など所定の間隔を空けて配置される。このようにすることが、人感センサ234の検出感度を確保する上で望ましい。人感センサ234は、奥行方向でいうと真ん中よりやや正面側に設けられる。人感センサ234は検出結果を示す信号を、制御基板231に出力する。
配線部800は、電源線810、信号線820、および信号線830を含む。筐体100の下側から上側に配線部800は引き回されている。配線部800は、背面側パネル104と仕切部材900との間を通る。制御基板231は、電源線810を介して処理基板224に電力を供給する。制御基板231は、信号線820を介して処理基板224との間で信号の授受を行う。処理基板224は、信号線830を介して、第2表示部330を駆動する信号(例えば、駆動用の信号や映像信号)を供給する。電源線810、信号線820および信号線830は、仕切部材900と背面側パネル104との間の空間領域を通過するように設けられる。仕切部材900の正面側には、背景板910が設けられる。背景板910は、例えば黒などの暗色系の色である。仕切部材900は、例えば樹脂材料を用いて板状に形成され、光を透過させない部材である。このようにすれば、映像表示空間S1側から配線部800は観察されない。
処理基板224は、コミュニケーション機能に基づいて、第1表示部310および第2表示部330の表示を制御したり、スピーカ2251,2252からの音声出力を制御したりする動作制御手段として機能する。処理基板224は、例えば、センサ基板233および人感センサ234により測定された情報に応じて、第1表示部310および第2表示部330の表示を制御したり、スピーカ2251,2252からの音声の出力を制御したりする。処理基板224は、例えば、人感センサ234に基づいて、人の存在を検出すると、表示するキャラクタに挨拶をするような動作をさせたり、そのキャラクタの音声を出力したりするとよい。処理基板224は、第1センサ2331で手の振りとして、左右、上下、バイバイ、前後に動かすといったジェスチャが検出されると、第1表示部310の表示を制御したり、スピーカ2251,2252からの音声の出力を制御したりする。例えば、処理基板224は、左右または上下の手の振りに応じて、その方向にキャラクタを回転させる。処理基板224は、バイバイのジェスチャが検出されると、キャラクタにバイバイの動作をさせる。処理基板224は、手を前後に動かすジェスチャを検出すると、キャラクタの表示をデフォルトに戻す(例えば図1A~図1C)。処理基板224は、照度センサにより測定された照度に応じて、第1表示部310および第2表示部330の少なくとも一方の表示を変化させる。処理基板224は、例えば、表示装置1の周辺が暗くなると表示を暗くするとよい。処理基板224は、照度センサに基づいて、キャラクタの目を動かすなどの制御をしてもよい。処理基板224は、温度センサで検出された温度に応じて第1表示部310の表示を制御したり、スピーカ2251,2252からの音声の出力を制御したりする、処理基板224は、表示装置1の周辺が暑いかまたは寒いかに応じてキャラクタの発話内容を変化させる。また、処理基板224は、発光部2334の発光を制御する。処理基板224は、操作部2211,2212,2213,2214の操作に応じて音量を変えたりする。なお、音声エンジンは処理基板224の機能で実現されてもよいし、外部の認識サーバにより実現されてもよい。後者の場合、処理基板は、Wi-Fi等の無線LANまたはネットワーク通信を行う通信モジュールを有し、それを介して音声認識サーバと通信するとよい。
処理基板224は、第1表示部310の光源の発光輝度を、第2表示部330の光源の発光輝度よりも明るくする。このようにすれば、第1表示部310の発光輝度と第2表示部330の発光輝度との差異により、観察者に与えることのできる空中映像の立体感をより高めることができる、という知見を発明者が得たからである。映像表示空間S1が明るいと立体感が損なわれる可能性があるので、第2表示部330の発光輝度を低くしている。
第1表示部310は水平方向に対してほぼ20度で傾斜させてある。これは、観察者が椅子に座ってみたときに覗き込むような姿勢になることがあったり、第2表示部330の表示と相まって表示上の不具合が生じたりするのを抑えるためである。このようにすれば、表示装置1に対して観察者がやや上方から見たときも全体が見える。よって観察者は覗き込むような姿勢が要らない。
このようにすれば、光学部材320に天井が反射して観察者に観察されてしまったり、第2表示面331の画像に重なって空中映像が綺麗に見えにくくなったりすることがない。その作用について説明する。図28に示すように、第1画像光L31,L32が減光部材200に入射したとする。この場合に、第1画像光L31,L32のそれぞれの反射波L31r,L32rが、減光部材200から出射し、さらに光学部材320で反射することにより、観察者によって虚像である映像V3が観察される。例えば、キャラクタの映像を第1表示部310が表示すると、キャラクタの下方側の部分、例えば足付近の映像が観察されてしまうことがある。また、図29に示すように、天井や照明等から光L4が減光部材200に入射してこれを透過し、さらに光学部材320で反射することにより、光学部材320の下端付近において天井の映り込みが発生する。このように、本来の空中映像V1以外の映像が観察されることにより、表示装置1の表示品位が行われる可能性がある。
そこで、減光部材200での反射光の光路上、および天井や照明等から光L4の光路上に遮光部材500を配置することで、映像V3の表示や天井等の映り込みが抑制される。図30に示すように、遮光部材500を設けることで、光学部材320での反射が抑制されるので、映像V3の表示や天井の映り込みが抑止される。遮光部材500は、観察領域SCよりも下方にあり、また、減光部材200も存在するから、観察者によって遮光部材500の存在は認識されにくい。例えば、観察者と観察領域SCとの水平距離を50cm、観察者の視線が入射する角度θを35度となることを想定して、映像V3や映り込みに係る光の光路上に遮光部材500が設けられる。図31に示すように、仮に第1表示部310の傾斜角を10度とすると、映像V3の位置がより背面側に表示されてしまい、映像V3が観察されやすくなる。これを抑制するには遮光部材500をもっと奥側まで伸ばす必要があり、望ましくない。よって、第1表示部310の傾斜角を20度とすることが望ましい。
このような趣旨によると、遮光部材500を用いなくとも、第1画像光L1のうちの減光部材200で反射した反射光の光路上の領域を避けて、光学部材320が配置されてもよい。このようにすれば、第1画像光L1が減光部材で反射して映像表示空間に形成される虚像が、観察者によって観察されてしまうのを抑制することができる。
また、ジェスチャセンサである第1センサ2331の付近で観察者はジェスチャを行う。この場合、観察領域SCよりも上に第1センサ2331があると、ジェスチャをしている手が邪魔になってしまい、観察領域SCを介した映像の観察が妨げられる可能性がある。本実施形態では、観察領域SCの下方に第1センサ2331等のセンサを設けたため、観察領域SCを観察しながらジェスチャするなどしても、観察が妨げられることが抑えられる。
映像表示空間S1を暗くしたのは、空中映像がより立体的に見えるようにするためである。例えば、特定のキャラクタが表示される場合には、周囲が暗いことによってキャラクタの浮遊感を得ることができるのである。また、正面側から見たときに観察領域SCの周りが筐体100(正面側パネル102)によって囲まれている。このようにすれば、映像表示空間に表示される空中映像と、その手前側に位置する筐体とが相まって、観察者に与えることのできる空中映像の立体感をより高めることができる。
映像表示空間S1に面する部位は、光の反射を低減する処理(例えば、マット仕上げ)がなされている。このようにすれば、外光その他の光が映像表示空間S1に進入しても、反射が抑制されるので、暗い状態を維持しやすい。内部空間が明かるくなるのを防止できる。このような処理は、背景板910、台座部400、第1表示部310及び第2表示部330のフレームの一部または全部になされているとよい。
また、ネジ等の固定具を用いた結合方法が採用されると、接着等の場合に比べて正面側パネル102および正面側内部パネル108を容易に取り外せるので、映像表示空間に進入した埃をエアーブローや柔らかい布を用いて除去することもできる。その一方で、正面側パネル102はネジ等の固定具で固定されていないので、これが観察者に観察されて、その観察者が興ざめするようなことが抑制される。
<5.処理基板224の詳細構成>
図33は、一実施例に係る表示装置1が有する処理基板224の制御ブロック図である。図33に示されるように、処理基板224は、演算処理等を実行する演算処理装置として機能するCPU701、および、ワークエリアとして使用されるRAM703と制御用のプログラム等を記憶したROM702とを含むメモリ等を有するコントローラである。なお、処理基板224は、例えば、制御部(動作制御手段の一例)などと読み替えられてもよい。処理基板224のROM702内には、各種プログラムが記憶されており、処理基板224は、これらのプログラムを実行することにより各種の機能を実現する。例えば、ROM702内には、ユーザとキャラクタとの対話を再現するための音声認識アプリケーションが記憶されており、処理基板224は、各種センサ234,2331~2332あるいはGPS受信機60等からの入力信号等に基づいて当該音声認識アプリケーションを実行することにより、ユーザとキャラクタとの対話を再現する。また、処理基板224は、表示装置1(詳細には、映像表示部)に表示される画像等を制御する表示制御回路704と、スピーカ2551,2552から出力される音声を制御する音声制御回路705とを有している。また、処理基板224は、他の機器(例えば、図示しない外部の音声認識サーバ(音声認識エンジン、とも称される)、および図示しない外部の対話サーバ(対話エンジンとも称される)等)との通信を制御する通信制御回路706を有している。
<6.キャラクタ1100に関するコミュニケーション機能について>
以下では、表示装置1(例えば、映像表示部)に表示されたキャラクタ1100とユーザとのコミュニケーションを再現するための種々の制御について、図34~図40を参照して順に説明する。
<においに関するコミュニケーション機能について>
例えば、においを検知するにおいセンサを第2センサ2332として表示装置1に設けておき、処理基板224は、においセンサによる検知結果に応じた音声をキャラクタ1100のキャラクタ音声として出力する音声出力動作を実行するとよい。においセンサは、例えば、あるにおいの強度に応じて変化する信号を出力したり、においに含まれる成分(におい成分)に応じて変化する信号を出力したりするものがある。においセンサは、例えば、においの種類に応じて変化する信号を出力する。においセンサは、例えば、脱臭フィルタ等を用いて特定のにおい成分(タール、アンモニア、アルコール、二酸化炭素等)の濃度を検知可能に構成されている。このようにすれば、処理基板224は、表示装置1の映像表示部に表示されたキャラクタとユーザとの間でにおいに関するコミュニケーションを再現することができ、当該キャラクタとユーザとの間でより多様なコミュニケーションを再現することができる。
処理基板224は、例えば、検知されたにおいの種類に応じた音声をキャラクタ1100のキャラクタ音声として出力する音声出力動作を実行するとよい。なお、複数種類のにおい成分を識別可能な単一のセンサが、においセンサとして構成されていてもよく、互いに異なる種類のにおい成分を識別可能な複数のセンサが、においセンサとして構成されていてもよい。
図34(A)は、においに関するコミュニケーションを再現するためのフローチャートであり、図34(B)は、においに関する音声管理テーブル(音声管理表、とも称される)を示す図である。音声管理テーブルは、例えば、表示装置1の処理基板224内、あるいは対話サーバ内に格納されている。図34(B)に示されるように、音声管理テーブルには、においセンサによって検知可能なにおい成分(におい物質、とも称される)の種類ごとに、そのにおい成分を主に含有するにおいの種類と、キャラクタ1100が発する音声(キャラクタ音声と称する)とが予め登録されている。例えば、音声管理テーブルにおいては、タールを主に含有するタバコ臭がタールと対応付けて登録されているとともに、タバコ臭が検知された際のキャラクタ音声として、「タバコの吸い過ぎはよくないよ~」などのユーザの健康に気遣う言葉が登録されている。
そして、まず、ステップS11において、処理基板224(制御部、とも読み替えられてもよい)は、においが検知されたか否かを判断する。例えば、処理基板224は、においセンサによって検知されたにおい成分の濃度が特定のにおいに関する所定の閾値(基準値)を上回ると、そのにおい成分が検知されたと判断する。ステップS12において、処理基板224は、音声管理テーブルにおいて、検知されたにおい成分に対応付けて登録されているにおいの種類を判断する。例えば、所定の閾値を上回る濃度のタールが検知された場合は、タバコ臭が検知されたと判断される。そして、処理基板224は、検知されたにおいの種類に応じたキャラクタ音声をスピーカ2551,2552から出力する。例えば、タバコ臭が検知されたと判断されると、処理基板224は、ユーザの健康に気遣う言葉の音声(ここでは、「タバコの吸い過ぎはよくないよ~」)をキャラクタ音声として出力する音声出力動作を実行する。なお、他の例としては、以下のようなものが挙げられる。例えば、アロマオイルなどの香料や食事などに含まれる特定の主成分の濃度が所定の基準値を上回ると、処理基板224は、香料や食事などのにおいが検知されたと判断し、においの元に関して質問する音声をキャラクタ音声として出力する。また、所定の基準値を上回るアルコールが検知されると、処理基板224は、アルコール臭が検知されたと判断し、「お酒くさ~い」や「また飲んできたの、いい加減にしなさいよ」などの音声をキャラクタ1100のキャラクタ音声として出力する。また、所定の基準値を上回る口臭成分(例えば、硫化水素、メチルメルカプタン、ジメルサルファイド等)が検知されると、処理基板224は、口臭が検知されたと判断し、「ちょっとお口臭うよ、歯磨きしてる?」や「歯槽膿漏気を付けてね」などの音声をキャラクタ1100のキャラクタ音声として出力する。また、ターシャリーブチルメルカプタン、ジメチルサルファイドあるいはテトラヒドロチオフェンなど、ガス燃料に含まれるにおい成分が検知されると、処理基板224は、ガス燃料のにおいが検知されたと判断し、「ガス臭いんだけど!」などの音声をキャラクタ1100のキャラクタ音声として出力する。
このように、処理基板224は、検知されたにおいの種類に応じた音声をキャラクタ1100のキャラクタ音声として出力する制御を実行するとよい。このような制御が行われることにより、映像表示部に表示されたキャラクタとユーザとの間でのコミュニケーションの幅を広げることができ、当該キャラクタへのユーザの愛着を増大させることができる。
表示装置1は、音声管理テーブルに基づいて出力する音声を特定するものに限らない。表示装置1は、例えば、過去の対話の内容(対話の履歴)に基づいてキャラクタの発話内容が変化するシナリオに従って、出力する音声を特定してもよい。このシナリオは、キャラクタの出力する音声を特定するデータがツリー構造で管理された分岐シナリオを規定するものでもよい。
ここでは、においセンサによる検知結果に応じた音声の音声出力動作が例示されているが、これに限定されず、処理基板224は、においセンサによる検知結果に応じた動きをキャラクタが行う映像を映像表示部に表示する表示出力動作を実行してもよい。例えば、音声管理テーブルと同様に、表示管理テーブル(不図示)を予め設けておき、処理基板224は、検知されたにおいの種類に応じた動きをキャラクタ1100が行う映像を映像表示部に表示する表示出力動作を実行するとよい。表示管理テーブルは、例えば、におい成分とにおいの種類とに対応付けてキャラクタ1100を規定するデータを登録したテーブルとするとよい。キャラクタ1100を規定するデータは、表示するキャラクタ1100の映像を示すデータでもよいし、キャラクタ1100の動きの内容を規定するデータでもよい。例えば、何らかのにおい成分が検知されると、処理基板224は、においを嗅ぐ動きをキャラクタ1100が行う映像を映像表示部に表示するとよい。また、処理基板224は、例えばタバコ臭が検知されたと判断すると、煙たがる動きをキャラクタ1100が行う映像を映像表示部に表示するとよい。なお、この際、処理基板224は、煙を模した映像が映像表示部に表示してもよい。さらに、処理基板224は、上記のような音声出力動作と表示出力動作との双方を実行してもよい。例えば、においセンサによって何らかのにおい成分が検知されると、処理基板224は、においを嗅ぐ動きをキャラクタ1100が行う映像を映像表示部に表示しつつ、「何かにおう」などの音声をキャラクタ1100のキャラクタ音声としてスピーカ2551,2552から出力するようにしてもよい。
さらには、処理基板224は、においセンサによって検知されたにおい成分の濃度(検出強度ともいう)に応じてキャラクタ1100の反応が変更するように制御するとよい。例えば、処理基板224が、におい成分の濃度に応じて、段階的に設けられた複数の動きの映像(例えば、「顔をしかめる(嫌そうな表情をする)」、「冷や汗を流す」、「青ざめる」および「気絶する」等)のいずれかを選択的に表示するとよい。
表示装置1は、タバコ臭とタバコ臭以外のにおい(臭さ)とを区別する方法として例えば、煙を検知する煙センサや、カメラ画像(例えば撮影部227の撮影した画像)、サーモカメラの画像など、別のセンサ等との組み合わせで、ユーザがタバコを吸っていることを検知可能してもよい。
処理基板224は、ユーザがタバコを吸っていることを検知した場合に、キャラクタ1100に重ねて(キャラクタ1100の前に)、煙を模した画像(煙がモクモクとしと現われている様子を再現した映像)を表示してもよい。この際、処理基板224は、キャラクタ1100の顔を前に突き出して顔をアップし、さも嫌そうな表情をさせた表情をさせてもよい。処理基板224は、ユーザとキャラクタ1100との親密さの度合いである親密度に応じて、キャラクタ1100が嫌がる程度を変化させた表示をしてもよい。処理基板224は、例えば、親密度が所定値以上である場合は、愛しているから許してあげるというようなキャラクタ1100の表情にし、所定値未満である場合はキャラクタ1100を不快な表情にする、という具合である。処理基板224は、例えば、ユーザによる表示装置1の使用実績(例えば、過去の使用時間や過去の対話内容)に応じて親密度を特定するとよい。親密度の特定についてのアルゴリズムはこれに限らない。
<ユーザの位置情報に基づくコミュニケーション機能について>
また、例えば、表示装置1がGPS(Global Positioning System)受信機60(図33参照)を有しており、ユーザの位置情報に基づいて以下のような制御が実行されるとよい。そして、例えば、処理基板224が、GPS受信機60からの信号に基づいて、ユーザが所持(携帯)している表示装置1の位置情報をユーザ自身の位置情報として取得し、取得した位置情報に基づいて以下のような制御を実行するとよい。
例えば、ユーザの位置情報に基づき特定された場所にユーザが滞在した滞在頻度(訪問頻度、とも称される)に応じた音声がキャラクタ音声として出力されるように制御されるとよい。図35は、滞在頻度に関するコミュニケーションを再現するためのフローチャートである。
例えば、ステップS21において、処理基板224は、GPS受信機60からユーザの位置情報が受信されたか否かを判断する。ユーザの位置情報が受信されると、ステップS22において、処理基板224は、ユーザの位置情報に基づき特定された場所にユーザが滞在した滞在回数(訪問回数、などとも称される)が所定値(例えば、「2」)以上であるか否かを判断する。なお、滞在頻度は、所定期間(例えば、1日あるいは1週間等)において一の場所にユーザが滞在した回数である。例えば、処理基板224は、GPS受信機60から取得された位置情報(例えば、ユーザの現在の位置情報)に基づいて、ネットワーク等を利用してユーザの滞在場所を検索して特定する。そして、処理基板224は、特定された場所にユーザが滞在した滞在回数に基づいてユーザの滞在頻度を算出し、ユーザの滞在頻度が所定値以上であるか否かを判断する。例えば、ユーザの滞在頻度が所定値以上である場合、ステップS23において、処理基板224は、ユーザの滞在頻度に関して予め登録された所定のキャラクタ音声がスピーカ2551,2552から出力されるように制御する。処理基板224は、例えば、ユーザが同一日に同一の場所に2回行った場合、ユーザの滞在頻度が所定値以上であると判断し、「あれ、さっきも行ったじゃん」などのキャラクタ音声を出力する。
また、処理基板224は、取得した位置情報に基づき特定された場所に応じた音声をキャラクタ1100のキャラクタ音声として出力するように制御するとよい。図36(A)は、滞在場所に関するコミュニケーションを再現するためのフローチャートであり、図36(B)は、滞在場所に関するキャラクタ音声の音声管理テーブルを示す図である。
例えば、ステップS31において、処理基板224は、GPS受信機60からユーザの位置情報が受信されたか否かを判断する。ユーザの位置情報が受信されると、ステップS32において、処理基板224は、ユーザの位置情報に基づいて、ネットワーク等を利用してユーザの滞在場所を検索して特定する。そして、ステップS33において、処理基板224は、図36(B)の音声管理テーブルに基づいて、特定された場所に応じたキャラクタ音声をスピーカ2551,2552から出力する。処理基板224は、例えば、ユーザがスーパーマーケットに行った際には「今日の夕食なにつくる?」などのキャラクタ音声、或いは、ユーザが病院に行った際には「大丈夫?体調わるいの?」などの音声を、キャラクタ1100のキャラクタ音声として出力する。また、処理基板224は、例えばユーザが遊園地に行った際には「いっぱい遊んだね」などのキャラクタ音声を出力する。
また、処理基板224は、取得した位置情報に基づき特定した場所にユーザが滞在した滞在回数(訪問回数、などとも称される)に応じた音声をキャラクタ1100のキャラクタ音声として出力するように制御するとよい。図37(A)は、滞在回数に関するコミュニケーションを再現するためのフローチャートであり、図37(B)は、滞在回数に関するキャラクタ音声の音声管理テーブルを示す図である。
図37(A)のステップS41,S42は、図36(A)のステップS31,S32と同様であるため、説明を省略する。ステップS43において、処理基板224は、ステップS42において特定された場所へのユーザの滞在回数を取得する。そして、ステップS44において、処理基板224は、図37(B)の音声管理テーブルに基づいて、ユーザの滞在回数に応じたキャラクタ音声をスピーカ2551,2552から出力する。処理基板224は、例えば、ユーザが或るゲームセンターに初めて行った際には、「ゲーム楽しかったね」などのキャラクタ音声を出力する。そして、処理基板224は、ユーザが当該或るゲームセンターに再び行った際には、「また行きたいと思ってたんだ」などのキャラクタ音声を出力する。さらに、処理基板224は、ユーザが当該或るゲームセンターに所定回数以上(例えば、10回以上)行った際には、「またゲームするの~」などのキャラクタ音声を出力する。
また、処理基板224は、取得された位置情報に基づき特定された場所でのユーザの滞在時間に応じた音声をキャラクタ1100のキャラクタ音声として出力するように制御するとよい。図38(A)は、滞在時間に関するコミュニケーションを再現するためのフローチャートであり、図38(B)は、滞在時間に関するキャラクタ音声の音声管理テーブルを示す図である。
図38(A)のステップS51,S52は、図36(A)のステップS31,S32と同様であるため、説明を省略する。ステップS53において、処理基板224は、ステップS52において特定された場所へのユーザの滞在時間を取得する。そして、ステップS54において、処理基板224は、図38(B)の音声管理テーブルに基づいて、ユーザの滞在時間に応じたキャラクタ音声をスピーカ2551,2552から出力する。例えば、コンビニエンスストアでのユーザの滞在時間が5分以内であるときには、処理基板224は、「早かったね。待ってたからうれしい」などのキャラクタ音声を出力する。また、コンビニエンスストアでのユーザの滞在時間が5分以上且つ10分未満(5~10分)であるときには、処理基板224は、「何買ってきたの?」などのキャラクタ音声を出力する。さらに、コンビニエンスストアでのユーザの滞在時間が10分を超えたときには、処理基板224は、「遅かったね。心配しちゃったよ」などのキャラクタ音声を出力する。
処理基板224は、GPS受信機60等を用いて取得されたユーザの位置情報に基づいて、以上のような制御を行うとよい。このようにすれば、ユーザは、自身の行動に応じた反応をキャラクタが示してくれたという感覚を得ることができ、当該キャラクタへのユーザの愛着が増大する。
なお、表示装置1が、例えばユーザの自宅等に据え置かれており、表示装置1(詳細には、通信制御回路706)が、ユーザのスマートフォン(GPS受信機を備えるスマートフォン)等と通信して、外出中のユーザの位置情報(ユーザが所持しているスマートフォンの位置情報)を取得するようにしてもよい。そして、ユーザが帰宅等した後にキャラクタ1100とコミュニケーションをとる際に、処理基板224は、上記のような動作を実行されるように制御するとよい。なお、この際のキャラクタ音声や動きの内容は適宜変更されるとよい。
<ユーザの行動パターンに関するコミュニケーション機能について>
また、ユーザの行動パターンが所定の行動パターンに合致すると判断されると、当該所定の行動パターンに応じた音声がキャラクタ1100のキャラクタ音声として出力されるように制御されるとよい。図39(A)は、行動パターンに関するコミュニケーションを再現するためのフローチャートであり、図39(B)は、行動パターンに関するキャラクタ音声の音声管理テーブルを示す図である。
例えば、処理基板224において、ユーザが出勤する曜日(例えば、月曜日~金曜日)と出勤時刻(例えば、8時30分)と出勤時に利用する特定の経路とが、「出勤時の行動パターン」としてユーザによって予め登録される。そして、例えば、GPS受信機60からユーザの位置情報が受信される(ステップS61)と、処理基板224は、ユーザの位置情報に基づいて、ユーザの行動パターンが所定の行動パターンに合致するか否かを判断する(ステップS62)。例えば、ユーザが火曜日の8時30分に特定の経路を通過した場合、処理基板224は、ユーザの行動パターンが「出勤時の行動パターン」に合致すると判断する。そして、ステップS63において、処理基板224は、図39(B)の音声管理テーブルに基づいて、「出勤時の行動パターン」に対応付けて登録された音声(例えば、「お仕事がんばってきてね」)をキャラクタ1100のキャラクタ音声としてスピーカ2551,2552から出力する。このようにして、ユーザの行動に応じた反応をキャラクタが示してくれることにより、当該キャラクタへのユーザの愛着を増大させることができる。なお、所定の行動パターン(例えば、出勤時の行動パターン)がユーザによって予め登録されていることは必須ではなく、例えば、処理基板224が学習機能を有しており、ユーザの行動パターンを学習することによって、所定の行動パターンが登録されるようにしてもよい。
<不審者の検知に関するコミュニケーション機能について>
また、検知対象空間において検知された人が不審者であると判断されると、所定の動作が実行されるとよい。そして、当該所定の動作が実行された後において、表示装置1のユーザが検知されると、不審者の検知に関する音声がキャラクタ1100のキャラクタ音声として出力されるとよい。図40は、不審者の検知に関する動作を実現するためのフローチャートである。
例えば、表示装置1において、図32に示すように、表示装置1の正面側に、観察者(ユーザ等)を撮影する撮影部227(例えば、カメラ)が設けられ、当該撮影部227(詳細には、撮影部227が有するセンサ)が、検知対象空間における人の存在を検知する検知手段として用いられるとよい。「検知対象空間」としては、例えば、表示装置1が載置されている空間(例えば、ユーザの自宅)における撮影部227の画角範囲(撮影可能範囲)が挙げられる。撮影部227は、例えばレンズおよび撮像素子(例えばCCDまたはCMOS)を含み、多色の画像を撮影する。撮影部227のレンズは、観察者(特に顔)を撮影可能な位置に設けられる。図32に示す例では、撮影部227のレンズは、筐体100の正面側に配置される正面側パネル102のうち、観察領域SCの上方であって、表示装置1の幅方向における中心付近に設けられている。撮影部227は、例えば、R、G、Bの各色成分の画像信号を処理基板224に出力する。処理基板224は、この画像信号を処理して撮影画像を生成する。
処理基板224は、当該撮影部227を用いて検知対象空間を監視する(ステップS71)。そして、処理基板224は、検知対象空間において人の存在が検知されると、ステップS72において、例えば顔認証等のユーザ認証を行い、ステップS73において、検知された人物が表示装置1の登録ユーザであるか否かを判断する。処理基板224は、例えば、撮影部227によって撮影された人が表示装置1の登録ユーザであると判断すると、その人物は不審者でないと判断する。一方で、撮影部227によって撮影された人が未登録ユーザであると判断されると、ステップS74において、処理基板224は、その人物は不審者であると判断し、所定の動作を実行する。「所定の動作」としては、例えば、撮影部227による録画を開始する動作や、比較的大きな音量で警報を発する動作、予め登録された警備会社に通報する動作などが挙げられる。あるいは、「所定の動作」は、キャラクタ1100が不審者に声掛け(例えば、「誰!?合言葉を言って!」)を行う動作であってもよい。そして、不審者と判断された人から返事がない場合、あるいは合言葉が間違っている場合に、上記の録画開始動作等が実行されてもよい。なお、合言葉が間違っている場合に、処理基板224は、「違うよ!?もう一度言って」などの音声をキャラクタ1100のキャラクタ音声として出力し、再度合言葉が間違っていると判断したときに、上記の録画開始動作等が実行してもよい。これらのようにすれば、例えば不審者を検知対象空間から撤退させることができ、検知対象空間における防犯性を高めることができる。
そして、処理基板224は、所定の動作の実行後において、表示装置1のユーザが検知されると、不審者の検知に関する音声をキャラクタ1100のキャラクタ音声として出力するとよい。「不審者の検知に関する音声」としては、例えば「怖かったよー」などが挙げられる。このようにすれば、映像表示部に表示されたキャラクタへのユーザの愛着を増大させることができる。
また、表示装置1を用いて検知対象空間が監視されている場合、不審者の検知に限らず、次のような動作が行われてもよい。
例えば、企業の受付スペースに表示装置1が配置され、キャラクタ1100が所謂受付嬢として受付業務を行うような表示をするものであってもよい。具体的には、マイクロ波ドップラーセンサ(検知手段の一例)によって検知対象空間(例えば受付スペース)における人の接近が検知されると、処理基板224は、「いらっしゃいませ。どちらの部署に御用でしょうか?」などの音声をキャラクタ1100のキャラクタ音声として出力するとよい。そして、処理基板224は、検知された人(来客者)からの返答に基づいて、来客者の所望の部署に電話を掛けるように制御するとよい。
<表示装置1の起動時間に関するコミュニケーション機能について>
また、処理基板224は、キャラクタ1100のキャラクタ音声での言葉使いが所定の時点(例えば、初回の起動時点)からの表示装置1の起動時間(例えば、累積起動時間)に応じて、コミュニケーションの内容が変化するように制御するとよい。例えば、処理基板224は、次述するように、表示装置1の起動時間が長くなるほど、キャラクタ1100がユーザに対して親しい言葉使いで発話するように制御するとよい。
例えば、上述のような種々のキャラクタ音声について、敬語調、ユーザと友人関係であるような言葉調、およびユーザと恋人関係であるような言葉調の3パターンのキャラクタ音声が予め音声管理テーブルに登録されるとよい。そして、例えば、所定の時点からの表示装置1の起動時間が100時間未満のときには、処理基板224は、音声管理テーブルに登録されている3パターンのキャラクタ音声のうち、敬語調のキャラクタ音声を出力する。また、当該起動時間が100時間以上且つ1000時間未満のときには、処理基板224は、音声管理テーブルに登録されている3パターンのキャラクタ音声のうち、ユーザと友人関係であるような言葉調のキャラクタ音声を出力する。さらに、起動時間が1000時間を超えると、処理基板224は、音声管理テーブルに登録されている3パターンのキャラクタ音声のうち、ユーザと恋人関係であるような言葉調のキャラクタ音声を出力する。
このようにすると、ユーザは、ユーザ自身に対するキャラクタの言葉使いが変化したことによって、当該キャラクタとの関係性(例えば親密度)が変化したことを感じることができる。
なお、処理基板224は、前回の起動からの経過時間によっては、ユーザに対するキャラクタ1100の親密度を低下させるように制御してもよい。例えば、表示装置1の累積起動時間が100時間を超えている場合であっても、前回の起動から1週間が経過しているときには、処理基板224は、ユーザと対等な言葉調ではなく、敬語調のキャラクタ音声を出力するようにしてもよい。このようにすれば、ユーザが、映像表示部に表示されたキャラクタとの親密度を維持するために極力間隔を空けずに当該キャラクタと接するようになり、当該キャラクタへの愛着を更に増大させることができる。
また、処理基板224は、初回の起動時点では「初めまして」などの挨拶の音声をキャラクタ音声として出力し、初回の起動時点から所定期間(例えば、1カ月など区切りの良い期間)が経過した時点では、記念日を示す内容(例えば、「出会って1カ月だね」)の音声をキャラクタ音声として出力するとよい。このようにすれば、キャラクタ1100への愛着を更に増大させることができる。
<他の機器との連携によるコミュニケーション機能について>
また、例えば表示装置1がユーザの自宅等に据え置かれている場合、他の機器との連携によって次述のような動作が実行されてもよい。例えば、表示装置1と通信可能な機器(以下、他の機器と称する)が設置されている場所にユーザが訪問すると、当該他の機器が、次述のようにして、ユーザを識別するとともに、当該ユーザに適した情報(例えば、グルメ情報やイベント情報)を自動的に案内するようにしてもよい。例えば、表示装置と他の機器との連携システムを利用する利用ユーザの顔画像と当該利用ユーザが所有する表示装置(例えばIPアドレス等)とが対応付けられて予め外部サーバ等に登録される。当該他の機器の制御部は、例えば当該他の機器に設けられた撮影部が有するセンサによって人が検知されると、撮影画像において検知された人の顔画像と外部サーバに登録された利用ユーザの顔画像とを比較することによって表示装置1のユーザを識別する。そして、当該他の機器の制御部は、外部サーバにおいて当該ユーザに対応付けて登録されている表示装置1(例えば、表示装置1のIPアドレス等)を特定し、表示装置1のユーザが検知されたことを示す情報を当該表示装置1に送信する。表示装置1の処理基板224には、「ユーザに適した情報」(例えば、グルメ情報やイベント情報)が予め登録されており、処理基板224は、当該他の機器からの信号受信に応じて、登録されている「ユーザに適した情報」を当該他の機器に送信する。そして、当該他の機器の制御部は、表示装置1から受信された「ユーザに適した情報」を出力(例えば、音声出力)する。なお、「ユーザに適した情報」の案内に際して、当該他の機器は、その表示画面にキャラクタ1100を表示させるとよい。また、ユーザに案内した情報等が当該他の機器から表示装置1に送信され、表示装置1の処理基板224においてユーザ情報として蓄積されるとよい。そして、例えば表示装置1がユーザの自宅に設置されている場合、ユーザの帰宅が検知されると、処理基板224は、「**に行ってきたでしょ、どうだった?」などの音声をキャラクタ1100のキャラクタ音声として出力するとよい。このようにすれば、映像表示部に表示されたキャラクタへのユーザの愛着を増大させることができる。
<その他のコミュニケーション機能について>
さらに、種々のセンサによる検知結果に基づいて次のような制御が行われてもよい。
例えば、風(例えば、風速)を検知可能な風検知手段(例えば、風センサ)が表示装置1の正面側パネル102に設けられ、当該風センサによる検知結果に基づいて次のような制御が行われてもよい。風は、例えばユーザが人為的に起こしたものとするとよく、例えば表示装置1に向けて手を振る等の身体の部位を動かすことによって発生する風や息(呼気)を吹きかけることによって発生する風とするとよい。例えば、所定値以上の風速の風が風センサによって検知されると、処理基板224は、映像表示部に表示されたキャラクタ(例えば、キャラクタ1100)の毛(例えば、髪の毛)や衣服(例えば、スカート)がなびく映像を表示出力するとよい。また、例えば、火のついたろうそくの映像が映像表示部に表示されている場合において、風センサによって風が検知されると、処理基板224は、ろうそくの火が消える映像に切り替えるとよい。さらには、検知された風が所定の閾値よりも強い(風速が所定の閾値よりも大きい)ときにはキャラクタ1100の衣服がより大きくなびくなど、処理基板224は、検知された風の強度(例えば、風速)に応じて映像を切り替えるとよい。
また、例えば、対象物の有無(存否)および対象物までの距離を検知可能な物体検出手段(例えば、超音波センサ)が表示装置1に設置され、当該超音波センサによる検知結果に基づいて次のような制御が行われてもよい。例えば、処理基板224は、超音波センサによる検知結果に基づいて、立体映像として認識されているキャラクタ1100に観察者の手が触れていると判断されると、当該キャラクタ1100が反応を示す映像を表示出力するとよい。また、処理基板224は、キャラクタ1100において観察者によって触れられた部位に応じて異なる反応を示するように表示制御するとよい。キャラクタ1100において観察者によって触れられる部位は、例えば、頭部、胸部、腹部、臀部または脚部等で例示される身体の部位とするとよい。また、キャラクタ1100において観察者によって触れられる部位は、キャラクタ1100の衣服(例えば洋服、スカート)や装飾物(例えば、アクセサリー)とするとよい。
また、例えば、地震を感知し震度を測定可能な地震検知手段(例えば、感震センサ)が表示装置1に設けられ、処理基板224は、当該感震センサによって地震が検知されると、地震警報を発するとよい。
また、例えば、天気を計測可能な天気センサが表示装置1に設けられ、処理基板224は、当該天気センサによる計測結果に基づいて、天気の変化や天気予報等を通知するとよい。なお、天気センサは、例えば、気圧センサと温度センサと湿度センサとを有し、各センサの検知結果に基づいて天気を計測可能に構成されているとよい。
また、処理基板224は、温度センサによって検知された温度または/および湿度センサによって検知された湿度に応じて、映像表示部に表示されたキャラクタの表情や動き(モーションともいう)が変化する映像を表示するとよい。
また、処理基板224は、マイクロ波ドップラセンサなどの人感センサによる検知結果(例えば、表示装置1と観察者との距離)に応じて、映像表示部に表示されたキャラクタの表情や動きが変化する映像を表示するとよい。
また、処理基板224は、湿度センサを利用して、ユーザによって息が吹きかけられたか否かを判断するとよい。さらには、処理基板224は、温度センサをも利用して、ユーザによって吹きかけられた息の種類を判断するとよい。なお、これらのセンサは、例えば、第2センサ2332として表示装置1に設けられるとよい。
ここで、ユーザによって吹きかけられる息には、例えば、「フー」と吹きかける息、および「ハー」と吹きかける息、の2種類の息がある。なお、一般に、冷たい息を吹きかけるときには、速く「フー」と息を吹くことから、ここでは、「フー」と吹きかける息を「冷たい息」と呼ぶ。また、一般に、暖かい息を吹きかけるときには、ゆっくり「ハー」と息を吹くことから、ここでは、「ハー」と吹きかける息を「暖かい息」と呼ぶ。
この2種類の息に関して、本願の発明者は、実験等により次のような知見を得た。詳細には、まず、湿度に関して、温湿度センサ(例えば、温度センサと湿度センサとが一体化されたセンサ)から所定程度離れた位置において当該温湿度センサに向けて「フー」と息を吹きかけると、その直後に湿度が定常状態から急激に上昇する、との測定結果が得られた。また、その後、息を吹きかけている間は湿度が単調増加し、息の吹きかけを停止すると、元の定常状態に戻るまでに数十秒の時間を要する、との測定結果が得られた。同条件で温湿度センサに向けて「ハー」と息を吹きかけたときも、同様の測定結果が得られた。一方で、温度に関しては、「フー」と息を吹きかけた場合は、温度が定常状態から若干低下するかほぼ横ばいとなり、「ハー」と息を吹きかけた場合は、温度が上昇する、との測定結果が得られた。なお、ユーザが表示装置1に吹きかける息は、表示装置1に当たる風の一例である。
このような知見等を考慮して、例えば、湿度センサが設けられた表示装置1において、湿度が定常状態から急激に上昇したことが湿度センサによって検知されると、処理基板224は、観察者によって息が吹きかけられたと判断(決定ともいう)するとよい。さらに、その後において湿度の単調増加が検知されなくなると、処理基板224は、息の吹きかけが停止されたと判断するとよい。あるいは、湿度の急激な上昇が検知されてから所定時間(例えば、通常息を吐くのに要する時間(例えば、3秒程度))が経過すると、処理基板224は、その時点での湿度の検知結果にかかわらず、息の吹きかけが停止されたと判断するとよい。
さらに、湿度の急激な上昇が湿度センサによって検知された際に、(例えば、ほぼ同じタイミングで)温度が定常状態から上昇したことが温度センサによって検知されると、処理基板224は、観察者によって吹きかけられた息の種類が「暖かい息」であると判断するとよい。逆に、湿度の急激な上昇が湿度センサによって検知された際に、温度が定常状態から変化していないこと、あるいは定常状態から下降したことが温度センサによって検知されると、処理基板224は、観察者によって吹きかけられた息の種類が「冷たい息」であると判断するとよい。
そして、処理基板224は、息の吹きかけが検知されたことに応じた映像や音声を、映像表示部に表示されたキャラクタの動きやキャラクタ音声として出力するとよい。また、処理基板224は、吹きかけられた息の種類に応じた映像や音声を、映像表示部に表示されたキャラクタの動きやキャラクタ音声として出力するとよい。例えば、処理基板224は、観察者によって吹きかけられた息の種類が「冷たい息」である場合は、当該キャラクタの衣服がなびく映像を表示出力し、観察者によって吹きかけられた息の種類が「暖かい息」である場合は、当該キャラクタが息を避けるような動きを行う映像を表示出力するとよい。
また、本願の発明者は、種々のガスセンサを用いて次のような知見も得た。詳細には、ガスセンサから所定程度(例えば約10cm)離れた位置において当該ガスセンサに向けて「フー」と息を吹きかけると、その直後にガスセンサの出力値が下降し、息を吹き終えると、その直後にガスセンサの出力値が上昇に転じる、との測定結果が得られた。逆に、当該ガスセンサに向けて「ハー」と息を吹きかけると、その直後にガスセンサの出力値が上昇し、息を吹き終えると、その直後にガスセンサの出力値が下降に転じる、との測定結果が得られた。また、例えば送風機(例えば、扇風機)から送られた風がガスセンサに当たると、ガスセンサの出力値が下がり、扇風機からの風がガスセンサに当たらなくなると、ガスセンサの出力値が上がる、との測定結果が得られた。
このような知見等を考慮して、例えば、ガスセンサが設けられた表示装置1において、ガスセンサの出力値が定常状態から急激に下降すると、観察者によって吹きかけられた息の種類が「冷たい息」であると判断されるとよい。逆に、ガスセンサの出力値が定常状態から急激に上昇すると、観察者によって吹きかけられた息の種類が「暖かい息」であると判断されるとよい。
風センサを用いて息を検出する構成とすることもできる。本願の発明者は、風センサによると紙で仰ぐ程度の比較的弱い風を捉えることができることがあり、風センサに息を吹きかけるとすぐにピークになり、風が吹き始めるときの応答性が良いことを確認した。ただし、息を吹きつづけると、ピークからすぐに落ちてしまう。フーっと吹く息のような強い風だとヒーターが冷やされ、回復するのに時間が掛かることが考えられる。
風センサを用いて息を検出する構成に関連し、以下のような構成をしてもよい。
処理基板224は、風センサにより持続的に所定の風量を検出している場合、息を吹きかけられている状態ではない方向の処理をするとよい。息を吹きかけられている状態ではない方向の処理は、例えば、息が吹きかけられていないと判断する処理である。この場合に、処理基板224は、風センサにより風の検出が始まってから終わるまでの時間が、息の吹きかけが可能な時間内であるとき、息を吹きかけられている状態である方向の処理を行うようにするとよい。
この場合において、前記風センサは、風を受けることで奪われた熱を電気的に計測することで風を検出するセンサであってもよい。このセンサにおいては、当該センサに受ける風が、息が吹きかけられた風量に相当する。このセンサは、センサに受ける風が、息が吹きかけられた時間に相当する時間持続した場合に、当該持続の時間中に実際の風量よりも少ない値に落ち込むよう設定されており、センサに受ける風が、息が吹きかけられた風量よりも小さい場合にはこの落ち込みが発生しにくいように設定されているとよい。
表示装置1においては、前記風センサとして複数の風センサに対して、息の流入経路を共通とした風を流入させる流路が設けられてもよい。前記流路は、異なる風センサに対して、1:1ではない所定の比率で風が入るように構成されているとよい。処理基板224は、当該比率及び複数の風センサの特性の違いに基づいて息を吹きかけの大きさ及び時間を判定するとよい。表示装置1は前記持続の時間中に実際の風量よりも少ない値に落ち込むタイミングの異なる複数の風センサを備え、処理基板224は当該複数の風センサの出力に基づいて、息を吹きかけの大きさ及び時間を判定するとよい。表示装置1は、前記複数の風センサとして、ガスセンサではない風センサと、カスセンサとを少なくとも備えてもよい。
また、前記風センサとして所定のガスを検出するためのガスセンサを用いるとよい。前記風センサとして所定のガスを検出するためのガスセンサであって、ヒーターを備えるガスセンサを用いるとよい。この場合に、前記ヒーターを備えるガスセンサは、息の吹きかけの程度が相対的に小さいときに(息に含まれるガスを検出した結果)ガスの検出量が大きくなる方向の出力をする一方、息の吹きかけの程度が相対的に大きいときに(息の風によるヒーターの冷却によって)ガスの検出量が小さくなる方向の出力をする特性を有するものを用いるとよい。
処理基板224が、息が吹きかけられていると判定したとき、その強さが相対的に大きいときには(例えば、風量が閾値以上であるときには)、キャラクタ1100の服・髪などを動かすアニメーションを表示する一方、その強さが相対的に小さいときにはキャラクタ1100の服・髪などを動かすアニメーションとは別のアニメーションを表示するとよい。
ところで、息の検出にガスセンサを用いる場合、ガスセンサは、人間の息に含まれる成分(例えば、二酸化炭素)に反応して上記出力値を出力する。そして、「フー」という息が吹きかけられた場合と、「ハー」という息が吹きかけられた場合とで、ガスセンサの出力値が異な理由としては、「フー」という息が吹きかけられた場合は、吹きかけられた息の速度が高く、ガスセンサに衝突した後すぐに周囲に拡散しやすい一方、「ハー」という息が吹きかけられた場合は、吹きかけられた息の速度が低く、ガスセンサに衝突した後もその場に息の成分がとどまりやすいということがあると考えられる。
さらに、処理基板224は、例えば湿度センサによる湿度の検知結果をも用いて、検知された風が、観察者による息の吹きかけによるものであるか、送風機によるものであるかを判別するとよい。例えば、表示装置1において、ガスセンサの出力値が定常状態から急激に下降し、且つ、湿度が定常状態から急激に上昇したことが湿度センサによって検知されると、処理基板224は、ユーザによって息が吹きかけられたと判断するとよい。一方、ガスセンサの出力値が定常状態から急激に下降したものの、湿度が定常状態のままであるときには、処理基板224は、送風機によって風が送られていると判断するとよい。さらに、処理基板224は、温度センサによる温度の検知結果をも用いて、ユーザによって息が吹きかけられたと判断された際において、その息の種類を判断するとよい。また、比較的短い一定期間内においてガスセンサの出力値の上昇と下降とが繰り返された場合、処理基板224は、首振りしている扇風機の風が当たっていると判断するとよい。
なお、風を検知するために用いられる、風センサ、湿度センサ、温度センサ、温湿度センサ、およびガスセンサは風検知手段の一例である。表示装置1は、風を検知するセンサとして、気圧センサを有してもよい。風の発生やその強さによって気圧の変化が発生し得るからである。
以上のような種々の制御が実行され得る。なお、上記のような制御は、キャラクタ1100に限らず、他のキャラクタ(例えば、キャラクタ1200)に関するコミュニケーション機能について行われてもよい。
<7.表示装置1が表示する映像の具体例>
次に、図41~図55を参照しつつ、表示装置1が表示する映像の具体例を説明する。図41~図55は、表示装置1に表示されるキャラクタ(図1Bおよび図1Cで説明したキャラクタ1200を含む映像)の一例を示す図である。図41~図55に示される各映像は、表示装置1において表示され、観察領域SCを介して観察者が観察することのできる画像である。なお、図41~図55にはステージ映像2200が表示されているが、これが表示されずにキャラクタ1200が表示されるようにしてもよい。
図41~図47は、表示装置1がコミュニケーション機能に基づいて、観察者の動作を待機する期間に行う表示である。表示装置1(詳細には、処理基板224)は、以下で説明する表示を、規則的またはランダムに切り替えて行う。例えば、図41(a)に示すように、キャラクタ1200は、表示装置1の正面側(観察側)の方向を向いて立ってる姿勢で表示される。表示装置1は、この姿勢を基本姿勢とし、コミュニケーション機能に基づくコミュニケーションが行われていない期間の表示としてもよい。例えば、図41(b)に示すように、キャラクタ1200が自身の前足を舐めるような動作をする。例えば、図41(c)および図42(a)に示すように、キャラクタ1200は、自身の左右を交互に見るような動作をする。例えば、図42(b)に示すように、キャラクタ1200は、地面の方向を向く動作をする。例えば、図42(c)に示すように、キャラクタ1200は、座ったまま伸びをするような動作をする。例えば、図43(a)に示すように、キャラクタ1200は、地面をのぞき込むような動作をする。さらに例えば、図43(b)および図43(c)に示すように、キャラクタ1200は、正面側を歩くような動作をする。表示装置1は、キャラクタ1200に歩く動作をさせるときには、ステージ映像を表示させずに、キャラクタ1200がその場で足踏みしてキャラクタ1200の全体的な位置をほぼ動かさない映像を表示させてもよい。表示装置1は、キャラクタ1200が歩く動作以外の動作を行うときに、キャラクタ1200の足元にステージ映像を表示させてもよい。
例えば、図44(a)に示すように、キャラクタ1200は、自身の腹部をのぞき込むような動作をする。例えば、図44(b)に示すように、キャラクタ1200は、首を傾げる動作をする。例えば、図44(c)に示すように、キャラクタ1200は、自身の目をこする動作をする。例えば、図45(a)に示すように、キャラクタ1200は、あくびをする動作をする。例えば、図45(b)に示すように、キャラクタ1200は、座ったまま自身の前足を舐める動作をする。例えば、図45(c)に示すように、キャラクタ1200は、自身の左斜め前方を見るような動作をする。図46(a),(b)に示すように、キャラクタ1200は、伸びをする動作をする。例えば、図46(c)に示すように、キャラクタ1200は、地面をのぞき込むような動作をする。図47(a)に示すように、キャラクタ1200は、表示装置1の右斜め前方の方向を向き、その次に図47(b)に示すように正面を向く。図47(c)に示すように、キャラクタ1200は、自身の前足を舐める動作をする。
図48~図55は、表示装置1(詳細には、処理基板224)がコミュニケーション機能における対話処理時に行うキャラクタ1200の表示の一例である。図48~図55に示す文字列は、音声認識で認識可能な文字列で、キャラクタ1200の上方に表示される。これは、音声認識によって認識された語句(文章)が、音声認識後から所定時間にわたって表示され、当該所定時間の経過後に非表示化されるようにするとよい。そして、当該語句(音声認識結果)が非表示化されてからキャラクタ1200が話し出すように制御されるとよい。
図48(a)は、表示装置1が「おいでおいで~」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図48(b)~図49(b)は、表示装置1が「おすわり」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図49(c)は、表示装置1が「おなか減ったかなぁ」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図50(a)は、表示装置1が「おまわり」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図50(b),(c)は、表示装置1が「おやつの時間だよ」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図51(a)は、表示装置1が「お手」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図51(b)~図52(b)は、表示装置1が「可愛いね」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。表示装置1は、ステージ映像の中央以外の位置(例えば、前方側の位置)にキャラクタ1200を表示させる場合において、キャラクタ1200を回転させるときには、ステージ映像2200もキャラクタ1200と同様に回転させるとよい。また、表示装置1は、奥行方向に比較的距離のある形状のステージ映像2200を表示させ、そのようなステージ映像2200の内側において当該ステージ映像2200の外縁に沿ってキャラクタ1200を移動させる映像(例えば、円形のステージの外縁に沿って猫のキャラクタが歩く映像)を表示させるとよい。
図52(c)は、表示装置1が「こんにちは」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図53(a)は、表示装置1が「ご飯食べる」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図53(b),(c)は、表示装置1が「女の子かな」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図54(a)は、表示装置1が「待て」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図54(b)は、表示装置1が「いい子ねえ~」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。図54(c)、図55は、表示装置1が「ユノ」との観察者の発話を認識したときに表示されるもので、これに応答して音声が出力される。
<8.キャラクタ1200のより詳細な説明>
図1B、1Cおよび図41~図55で説明したキャラクタ1200についてより詳細に説明する。以下の説明において、表示装置1を処理主体とした説明については、処理基板224が行う処理としてよい。キャラクタ1200は、概ね約3等身で描画されると特によい。このようにすると奥行き感が特に強調されることを見出した。表示装置1は、側面側(横側)から見て上下方向に概ね、頭部が3分の1、胴体が3分の1、足が3分の1の高さを占めるように、キャラクタ1200を描画するとよい。表示装置1は、尾以外について、側面側から見て左右方向に概ね、頭部が3分の1、胴体が3分の2を占めるようにキャラクタ1200を描画するとよい。
表示装置1は、正面に顔がある状態で、尾が見えない状態と尾が見える状態との間で相互に変位する描画をする機能を備え、尾が見える状態の時間を尾が見えない状態の時間より短くするとよい。尾は頭よりも奥側に描画されることになるが、ときどき尾が見えることで、立体感を大きく感じることができるとともに、常に立体感を大きく感じることで目や頭が疲労してしまうことを防止できる。特に、表示装置1は、音声認識の待受状態でこのような描画処理を行うとよい。表示装置1は、尾が見える状態へ変位するときには、頭の頂上部分から尾が現れるように描画する機能を備えるとよい。このようにすれば、通常は、顔の目に観察者の視線がありその中心上部からいきなり尾が頭の上方へ飛び出すことで、驚きと面白みを与えることができる。
表示装置1は、キャラクタ1200の頭の頂上に正面視で平らな部分を設けるとよく、特に左右の耳の間の頭部分は正面視で平らにして描画するとよい。このようにすれば、立体感が弱い平らな頭の頂上からいきなり立体感のある尾が頭上に現れることとなり、より驚きと面白みを与えることができる。また、表示装置1は、頭上から尾が現れるように描画した後、尾の先端寄りの部分を動かす描画を行うとよい。このようにすれば、視点を顔より奥側の尾の部分に集めることができ、より立体感を感じさせることができる。表示装置1は、同様に胴体の左右から尾を出現させるように描画してもよい。表示装置1は、左右から尾を出現させる場合には、頭上から尾を出現させる場合に比べて、尾の出現する長さ、および/または、時間を短くするとよい。表示装置1は、左右から出現させる場合にはチラチラっと出現させる描画を行うとよい。表示装置1は、視線をときどき奥側に動かす描画をするようにしてもよく、より立体感を感じさせることができる。表示装置1は、音声の認識中は尾を頭の上から出現させる一方、猫からの音声の出力の際には尾を左右いずれかの方向から出現させる描画を行うとよい。表示装置1は、尾には長さ方向に所定の間隔で他の部分と違う描画態様を有する部分を設けるとよい。例えば一定間隔で尾の円筒面上に環状または円弧状に所定の幅を持つ模様を付すとよい。このようにすれば、尾の動きが3次元空間で、よりダイナミックに動くように感じられることを発明者らは見出した。
表示装置1は、音声認識中は同一の姿勢になるように、音声認識中でない状態からの音声認識中の状態に変化があった場合に現在の姿勢を前記同一の姿勢に変化させる描画を行うとよい。表示装置1は、音声認識の開始前に「おしゃべりするにゃ」と発話させるとよい。表示装置1は、観察者の動作を検出する機能(例えばセンサやスイッチ)を備え、観察者からの動作を検出した場合に「なんにゃ?」と発話する機能を備えるとよい。両機能は「なんにゃ?」「おしゃべりするにゃ」という形で連続して実行し、その後音声認識状態に入るように処理を行うとよい。
表示装置1は、音声認識の語句として、「かわいいね」など、褒められる内容の語句の情報を備え、褒められる内容の語句を認識した場合には、体の姿勢を変化させるとよい。さらに歩くなど、猫自体の位置を移動させるとなおよい。このようにすれば観察者は猫の姿勢の変化や移動の動きを見たいために、褒める言動・行動をとるようになり、行動や言動の改善などのセラピーの優れた効果が得られる。
表示装置1は、ご飯をあげることに対応する音声認識の語句を備え、当該語句を認識した場合には、尾を他の場合に比べ早く振る描画を行うとよい。このようにすれば、より猫が実際に生きているかのような感覚を観察者に与えることができる。
表示装置1は、猫の目の外郭を概ね円形状とし、黒目部分は縦長の楕円形状として描画処理するとよい。表示装置1は、黒目部分は上下方向に濃淡のグラデーションをつけて描画するとよく、下方にいくにしたがって明るい色に描画するとよい。表示装置1は、黒目の中心部には概ね円形または楕円形の周辺よりも黒い部分を設けるとよい。表示装置1は、黒目部分の上方の顔の外側寄りの部分には黒目の外縁に沿った三日月形状ないし半月状の白色領域を設けて描画するとよい。これに対し、表示装置1は、黒目の下方の顔の中心寄り位置には円形の白色領域を設けて描画するとよい。表示装置1は、この白色領域の描画はキャラクタ1200の位置の変化(姿勢の変化など)、ないし、カメラやライトの位置の変化があった場合でも、描画させつづけるとよい。通常は、ライト等の反射としてハイライトは演算で入れられることが多い。しかし、このようにすることで、音声認識の話しかけの際に最も見られる目の部分の猫の個性を強調とすることができ、個性のある猫として、音声認識をしている短時間で印象づけることができる。
表示装置1は、顔が正面を向いている状態と、下側を向いている状態とをとり、顔が正面を向いているときは目の外郭は概ね円形状で描画する一方、顔が下を向いている状態では、目を横長の楕円形状で描画するとよい。
表示装置1は、顔の上端が胴体の上端より上にある状態と、顔の上端が胴体の上端より下にある状態とをとり、顔の上端が胴体の上端より上にある状態では目の外郭は概ね円形状で描画する一方、顔の上端が胴体の上端よりも下にある状態では、目を横長の楕円形状で描画するとよい。表示装置1は、口を開けてあくびをする状態を描画する機能を備え、この描画の際には目を閉じる描画を行うとよい。
表示装置1は、キャラクタ1200には待機時のモーションを複数のパターン用意しておき、これらのパターンのなかから1のパターンを選択して描画する処理を繰り返すとよい。待機時のモーションとしては、足をなめるモーション、顔を手で撫でるモーション、お尻をなめるモーション、正面を向くモーション、左右を見渡すモーション、地面をなめるモーション、伸びをするモーション、あくびをするモーション、歩くモーションなどがある。
表示装置1は、耳は顔の移動に遅れて移動するように描画するとよい。例えば、顔が移動開始してもしばらく耳は位置を保つように描画するとよい。表示装置1は、なめるモーションを行うときには、尾を左右に振るモーションを同時に行う機能を備えるとよい。表示装置1は、キャラクタ1200を正面からみた際に胴体の模様は左右非対称とするとよい。このようにすれば、個性ある猫として覚えられやすくなるとともに、右面が見えているのか左面が見えているのかが容易に判別できるようになる。特にキャラクタ1200の全体像がみえないほど拡大した場面を設けるときに有用である。特に、模様は三毛猫の模様とするとよく、特にトラ猫の模様とするとよい。このようにすると特に立体感を把握しやすくなることを発明者らは見出した。特に、頭上の模様は前後方向に設ける一方、胴体の模様は上下方向に設けるなど、その模様の方向を異なる方向とするとよい。このようにすれば、カメラや猫の位置が変化したことを、いずれの方向に移動してもより認識しやすくなる。
表示装置1は、「ニャ」という鳴き声を発する機能を備え、「ニャ」という鳴き声には複数のイントネーションのものを備え、それぞれの鳴き声に対して異なるモーションが対応づけられる構成とするとよい。イントネーションの中には、疑問形のイントネーションを備え、モーションとしては首を傾げるモーションを備えるとよい。
<9.キャラクタ1200に関するコミュニケーション機能について>
キャラクタ1200に関するコミュニケーション機能について補足する。以下のようにすれば、観察者に対し、キャラクタ1200とのより質の高いコミュニケーション機能を提供することができる。ここでは、飼い慣らすまでにする人の行動とキャラクタ1200との行動ストーリーの概略について説明する。この実施形態では、図32に示すように、表示装置1の正面側に、観察者を撮影する撮影部227が設けられている。
(9-1)第一ステップ:飼い慣らすまでの段階
通常、野良猫等の猫は、人を見るだけで逃げる、または人が近づくと逃げる色々なタイプの猫がいる。そのとき、猫の行動は、何度も振り返りながら人の様子を見ながら逃げるように見える。ここで、処理基板224は、撮影部227を用いて撮影した撮影画像に基づいて観察者の存在を認識し、かつ人感センサ234により測定されるマイクロ波の強度(受信強度)が閾値を超えた場合、キャラクタ1200が逃げるような動作を行う映像を表示させる。猫に人が近づいたとみなすためである。撮影部227で観察者を認識するのは、キャラクタ1200が逃げる場面を観察者に見せるためである。つまり、観察者が正面側から表示装置1に近づかないと、キャラクタ1200が逃げる動作をしないようにしている。
次に、人は猫に対して「しゃがんで(目の位置を落として)」、「おいで、おいで」などの声を掛けると考えられる。そのときに立ち止まり、様子をうかがう猫もいる。しかし、人が近付くと猫は逃げる。何度かこのことが繰り返される。このような人の行動では、猫は慣れてくれないと考えられる。そこで、処理基板224は、キャラクタ1200が逃げている映像を表示している期間に、人感センサ234により測定されるマイクロ波の強度が或る閾値以下であり、かつ例えば「おいで」というキャラクタ1200に呼びかけることを示す言葉を音声認識した場合、キャラクタ1200が立ち止まるような動作を行う映像を表示させる。ここで、マイクロ波の強度を閾値以下になることを条件としているのは、人間が立ち止まる状態を想定しているからである。
次に、人は立ち止った猫に餌を与えることが考えられる。しかし、人が猫に近づくと、猫は逃げるので、猫がよく来る場所に餌を置いておくしかないと考えられる。そこで、表示装置1は、映像表示空間内に餌が置かれる映像を表示する機能を有する。例えば、処理基板224は、操作領域OTを用いた所定の操作(例えば、操作部2214の操作)を受け付けた場合、または第1センサ2231で餌を置くことを指示する所定のジェスチャが検出された場合に、餌がおかれたとして、映像の中に餌を示す映像を表示させる。この映像は、第1表示部310および第2表示部330のどちらを用いて表示されてもよい。このようにすれば、観察者は、例えば毎日、餌を置くようにする。処理基板224は、この際、キャラクタ1200が遠くからその様子を見ているような表示をさせるとよい。処理基板224は、人感センサ234を用いて観察者の存在を認識せず、かつ撮影部227で観察者が撮影されていない場合に、キャラクタ1200が餌を食べる映像を表示させる。ここでは、猫が人を前にして餌を食べない状況を再現している。観察者からすると、いつの間にか餌が空になっている、という状況をつくっている。処理基板224は、観察者が餌を与えた回数をカウントしておき、これを記憶しておく。しばらくはこの状態が続くが、処理基板224は、餌を与える回数によって、次第に観察者とキャラクタ1200と人との距離(観察者が感じる距離)を縮めていくような表示をさせるとよい。例えば、処理基板224は、餌を与え始めて、餌を与えた回数とともに、キャラクタ1200をより大きく表示するようにして、距離を縮めてきた(つまり、少し慣れてきた)ことを再現するとよい。さらに、餌を与えた回数が増加して所定の閾値に達すると、猫が慣れててきたとして、観察者がキャラクタを見ていても、つまり、処理基板224は、人感センサ234を用いて観察者の存在を認識し、かつ撮影部227で観察者が撮影されている場合でも、キャラクタ1200が餌を食べる映像を表示させる。このときに初めて、観察者は、キャラクタ1200が餌を食べる様子を観察することができる。
ただし、猫がいつ餌を食べるかは人が分からないことも少なくない。そこで、処理基板224は、キャラクタ1200が餌を食べる時間帯(これに代えて、一時点の時刻としてもよい。)を決めておき、その時間帯にキャラクタ1200に餌を食べる動作をさせてもよい。観察者に、どうもこの時間帯に餌を食べるみたいだということを気づかせるためである。処理基板224は、観察者がキャラクタ1200に触ろうとすることが検出されると、キャラクタ1200に所定の発話内容「シャー」または「シャーシャー」という音声を出力させるとともに、キャラクタ1200が逃げる動作をさせる。観察者がキャラクタ1200に触ろうとすることは、キャラクタ1200が餌を食べている動作をしているときに、人感センサ234により検出されるマイクロ波の強度が閾値を超えたこと、または第1センサ2331が所定のジェスチャを検出したことにより特定されるとよい。
このような状況がしばらく続くが、処理基板224は、少しずつ、観察者の手をキャラクタ1200に近接させることのできる距離を縮めていくとよい。所定の距離まで近づくようになると、処理基板224は、キャラクタ1200が観察者に慣れてきたとして、人前で毛繕いやくつろいだ動作を行う映像を表示させるとよい。処理基板224は、具体的には、マイクロ波の強度に対する閾値を上げていく、またはジェスチャが行われるときの表示装置1からの距離に対する閾値を上げていく。このようにして、処理基板224は、検出感度を下げていき、観察者の動きに対しキャラクタ1200の反応を鈍くしていき、「シャー」または「シャーシャー」といった発話もさせないようにする。
猫は、常に警戒はするが、毛繕いや寝そべり、爪研ぎ、顔拭きなどの行動を加えていく。猫がだんだんと人や人の手に慣れてくると、人は手で猫に触れられるようになる。そこで、処理基板224は、人感センサ234によるマイクロ波の検出結果を、キャラクタ1200の動作に反映させなくするとよい。処理基板224は、第1センサ2331をモーションセンサとして機能させて、観察者の上下左右、前後方向のジェスチャの検出結果に従って、キャラクタ1200が撫でると気持ち良さそうにする映像を表示させるとよい。処理基板224は、さらに、マイクロホン2333により観察者の声を認識して、キャラクタ1200がこれに反応する映像を表示させるとよい。例えば、処理基板224は、どのような言葉を認識した場合でも、発話内容として「にゃ」という鳴き声を発するようにするとよい。
処理基板224は、さらに、時間が経過すると、キャラクタ1200が餌をねだるような映像を表示させるとよい。処理基板224は、撮影部227により観察者の存在を認識し、かつ人感センサ234により観察者の存在を検出しているときに、時間帯(例えば、朝、昼、晩)を決めて、「ニャーニャー」という鳴き声を発するようにし、顔をすりすりする動作を行う映像を表示させるとよい。さらに、処理基板224は、観察者がキャラクタ1200に声を掛けていくと、キャラクタ1200が自分の名前を覚えていく様子を再現するとよい。例えば、処理基板224は「ユノ」という言葉にのみ反応して、「にゃ」という鳴き声を発するようにしてもよいし、「ユノ」、「餌だよ」という声掛けに反応して、甘えた行動をとるようにしたり、嬉しそうにすりすりしたりする映像を表示させるとよい。
(9-2)第二ステップ:言語(日本語)を覚えていく段階
処理基板224は、あるときに「ユノ」という観察者の声掛けを認識した場合に、「何?」という応答を示す音声を出力する。ここからは、キャラクタ1200が言葉を覚えていくという段階となる。処理基板224は、声掛された回数をカウントして、累計平均/日をとり、餌の与えた回数の累計平均/日×声掛された回数の累計平均×ランダム係数により算出される値(以下。「累積平均値」という)に応じた応答をする。この声掛けは、例えば、「おはよう」、「こんにちは」、「こんばんは」、「元気?」、「餌欲しい?」などの所定の声かけである。処理基板224は、累計平均値に応じて、応答をしなくなったり(つまり、キャラクタ1200が言葉を忘れたことを再現したり)、応答する言葉を増加させたりする。例えば、処理基板224は、累積平均値が小さいほど、応答する言葉を減少させ、累積平均値が大きいほど、応答する言葉を増加させるとよい。累積平均値は、表示装置1の使用開始時点から現在時点までに声掛けされた回数に基づいて算出されるが、現在時点から過去に所定期間遡った時点から現在時点までに声掛けされた回数に基づいて算出されてもよい。所定期間は、1か月など固定的に決められていてもよいし、表示装置1が一定期間使用されなかった場合は、その期間後使用が開始された時点以降の期間としてもよい。表示装置1の使用が開始された最初の頃は、累積平均値は大きく変化し得るので、例えば観察者が1日に1回も声を掛けない場合は、キャラクタ1200は応答しなくなることもあるが、声掛けの回数が増えるにしたがって、累積平均値は大きく変化しなくなる。このようにすれば、キャラクタ1200が言葉を忘れるのに時間が掛かる様子を再現することができる。累積平均値の算出に用いられるランダム係数は、猫の気まぐれさを再現するための値で、気まぐれ係数といってもよい。ランダム係数は、キャラクタ21200が餌をおねだりしたときに餌を与える/与えない、キャラクタ1200が寝ているときに声を掛けたり、触ったりして起こす行動をとったりするなど、キャラクタ1200および観察者の行動によって変化させるとよい。
処理基板224は、さらに累計平均値が或る閾値を超えると、キャラクタ1200から観察者に話し掛けたり、天気、ニュース等の所定の情報に関する質問に対して応答したりするようにするとよい。もちろん、観察者が餌を与える回数を減らすと、累積平均値は減少するので、処理基板224はこの応答の種類を減らしたり、応答しなくなったりする。つまり、観察者の餌の与え方がずさんであったり、適当に声掛けをしていないと、キャラクタ1200が応答する機能が維持さなかったり、維持していたとしても「気まぐれ」によって応答しない場合もある以上のようにして、観察者に対し、キャラクタ1200とのより質の高いコミュニケーション機能を提供することができる。
[他の実施形態]
本開示は上記の実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
表示装置1は、観察領域SCにタッチセンサ、近接センサその他の観察者の操作を受け付ける操作受付手段を有してもよい。このようにすれば、観察者は観察領域SCを利用して操作を行うことができる。例えば、コミュニケーション機能においてこのような操作方法が採用されると、観察領域SCを介して観察できるキャラクタとのコミュニケーションの質を高める効果が期待できる。
第1表示部310は、三次元の映像(立体映像)として認識される画像を表示してもよい。このようにすれば、観察者に与えられる立体感をより向上させる効果が期待できる。表示方式としては、レンチキュラーレンズ方式、パララックスバリア方式などの裸眼立体視方式とするほか、眼鏡を用いて三次元の映像として認識できる表示方式などでもよい。
表示装置は直方体状に限らず、立方体、円筒形、その他の多面体、球状その他の形状でもよい。また、上述した表示装置1の各構成要素の形状、構造、寸法、色、模様等は一例に過ぎない。また、上述した表示装置1が備える構成要素の一部が省かれてもよいし、別の構成要素が追加されてもよい。例えば、第2表示部330が省かれてもよいし、背景板910に代えて第1方向側に第2画像光L2を発する第2表示部330が立てた状態で配置されてもよい。また、図13で説明したもの以外の光学系を用いて空中結像が実現されてもよい。また、本発明の構成が、空中結像方式ではなく、ディスプレイ方式またはプロジェクタ方式の表示装置に適用されてもよい。ディスプレイ方式の場合、映像表示部として液晶ディスプレイ、有機ELディスプレイその他の表示方式のディスプレイが用いられる。例えば、映像表示部として、映像表示空間の内部に設けられ、観察領域SCの方向を向く表示面(例えば、観察領域SCと平行な表示面)を有する表示部が用いられるよい。この表示部は、第1表示部310または第2表示部330と同じ構成を有し、映像表示空間の背面部に設けられるとよい。プロジェクタの方式の場合、投射面およびこれに画像を投射する投射手段が用いられればよい。また、減光部材200は、開口部110よりも正面側にまたは背面側に配置されて、外部から映像表示空間に進入する光を減じてもよい。また、映像表示空間S1が比較的暗い状態に維持されるのであれば、減光部材200が設けられない構成とすることも考えられる。
また、上記の実施例では、操作部2214の押下操作に応じて、映像表示部に表示されたキャラクタとの対話を行うための音声認識が有効化されているが、これに限定されない。例えば、全周マイクロ波ドップラセンサなどの人感センサ(検知手段の一例)の検知対象領域において人の存在が検知されると、処理基板224は、当該音声認識を有効化するようにしてもよい。このようにすれば、ユーザが、映像表示部に表示されたキャラクタと対話するにあたって、例えば音声認識を有効化するための操作を行う必要やトリガーワードを発声する必要がなく、より自然にコミュニケーションを再現することができる。
この際、例えば、表示装置1内の音声認識アプリケーションでの音声認識と音声認識サーバでの音声認識との双方が有効化されるとよい。ただし、次述するように、表示装置1内の音声認識アプリケーションでの音声認識の有効化と音声認識サーバでの音声認識の有効化とが、段階的に実行されてもよい。例えば、当該人感センサ等の検知対象領域において人の存在が検知されると、表示装置1内の音声認識アプリケーションでの音声認識が有効化され、その後、観察者による声掛けや挨拶が当該音声認識アプリケーションによって検出されると、音声認識サーバでの音声認識が有効化されるようにしてもよい。
また、表示装置1がカメラ等の撮影部(検知手段の一例)を備えている場合、表示装置1の正面側に検知対象空間が設けられ、処理基板224は、表示装置1の正面側において人の存在が検知されると、音声認識を有効化するようにしてもよい。このようにすれば、映像表示部に表示されたキャラクタに対して観察者が話しかけようとしていることをより確実に判断した上で、音声認識を有効化することができる。
さらには、検知対象領域において人が検知された後において、ユーザ認証が成功したことを条件に、処理基板224は、当該音声認識を有効化するように構成されているとよい。なお、ユーザ認証の認証手法は、例えば、ユーザの手操作を要しない認証手法(顔認証、声帯認証等)とするとよい。このようにすれば、例えば表示装置1に登録された登録ユーザ以外の人に対してユーザ認証が行われて当該ユーザ認証が失敗したときには、音声認識が有効化されず、映像表示部に表示されたキャラクタと対話することができない。逆に言えば、登録ユーザ以外の人に対しては、映像表示部に表示されたキャラクタが反応を示さない。これにより、当該キャラクタへのユーザの愛着を増大させることができる。
また、表示装置1あるいは外部サーバに搭載された対話サーバに予め登録された文言以外の文言の音声が検出された場合は、音声認識が有効化されないようにしてもよい。
また、音声認識を有効化するための手段として、においセンサが用いられてもよい。例えば、表示装置1の登録ユーザのにおいを予め表示装置1に登録しておき、登録ユーザのにおいがにおいセンサによって検知されると、音声認識が有効化されるようにしてもよい。
また、これらのようにして音声認識が有効化されたとしても、例えば、映像表示部に表示されたキャラクタ(例えば、キャラクタ1100)の音声が直ちに出力されるのではなく、ユーザからの声掛けが無ければ当該キャラクタの音声が出力されないようにするとよい。例えば、処理基板224は、音声認識が有効化されたことに応答して「おかえり」とのキャラクタ音声が直ちに出力されるのではなく、音声認識が有効化された状態で「ただいま」とのユーザ音声が検出されたことを条件に、「おかえり」とのキャラクタ音声が出力されるとよい。さらには、例えば、対話システムにおいて、観察者とキャラクタ(例えばキャラクタ1100)との間で次のような対話を再現するための分岐シナリオが作成されているとよい。例えば、平日であれば、
ユーザ:ただいま
キャラクタ:お帰り~
ユーザ:アッチー
キャラクタ:暑い中お疲れでした
のような対話が再現され、休日であれば、
ユーザ:ただいま
キャラクタ:あーお帰り
ユーザ:アッチー
キャラクタ:暑い中わざわざ出かけたんだから文句言わない
ユーザ:仕事だよ仕事
キャラクタ:ホントだったらごめん、お疲れ様でした
のような対話が再現されるように分岐シナリオが作成されているとよい。
また、においセンサによる検知結果に応じた分岐シナリオが作成されていてもよい。例えば、
ユーザ:ごはん美味しくできたよー
キャラクタ:「えー、嗅がせて。クンクン。いいにおい!」あるいは「んんー!?塩分多くない?身体に気を付けてね!」
のような対話が再現されるようにしてもよい。
また、他の例として、においセンサによってにおいが検知されると、
キャラクタ:クンクン、ん?このにおいはなんだ?
ユーザ:アロマ焚いたんだ
キャラクタ:ああ、どうりでリラックスすると思った
のような対話が再現されるようにしてもよい。なお、においの種類の質問に対する観察者の返答内容が分岐シナリオに登録されていない場合、例えば「ほぉー、そうなんだー!」などの音声がキャラクタ音声として一律に出力されるとよい。
また、処理基板224は、例えば直近の所定時間(例えば、15秒程度)の音声を常時録音しておき、音声認識を有効化するためのトリガーワードの音声が検出されると、当該音声認識を有効化するようにしてもよい。例えば、表示装置1の音声認識アプリケーションは常時(あるいは、、操作部41の押下操作等に応じて)有効化され、音声認識サーバによる音声認識は、トリガーワードの検出によって有効化されるとよい。この際、処理基板224は、マイクロホン2333(音声検出手段の一例)によって検出された検出音声(例えば、検出開始時点から検出終了時点までの間に検出された音声)から当該トリガーワードの音声を除いた音声の音声データを、音声認識サーバに送信するとよい。例えば、「明日東京に行くんだけどレイたん天気教えて」とのユーザ音声が検出されたことを想定する。なお、ここでは、キャラクタ1100の愛称である「レイたん」がトリガーワードである。この場合、処理基板224は、検出音声「明日東京に行くんだけどレイたん天気教えて」からトリガーワードの音声「レイたん」を除いた音声「明日東京に行くんだけどレイたん天気教えて」を音声認識サーバに送信する。
ここで、例えば上記のような検出音声「明日東京に行くんだけどレイたん天気教えて」がそのまま音声認識サーバに送信されると、音声認識結果の中に「レイたん」が含まれていることに起因して、対話サーバにおいて音声認識結果に対応するキャラクタ音声が正確に抽出されず、ユーザとの対話が噛み合わなくなる虞がある。これに対して、上記のようにすれば、一文の途中でトリガーワードが発声された場合であっても、トリガーワードを除く音声の音声データが音声認識サーバに送信される。したがって、一文の途中にトリガーワードが含まれた状態で音声認識が行われたことに起因してユーザとの対話が噛み合わなくなること、を抑制できる。
また、ユーザと映像表示部に表示されたキャラクタとの対話を音声認識サーバと対話サーバとの連携によって実現するにあたって、音声認識サーバの構成に応じて、次述のような動作が実行されてもよい。
例えば、音声認識サーバが、音声データファイルの受信が完了してから音声認識処理を開始するように構成されている場合、処理基板224は、マイクロホン2333による検出音声のうち、トリガーワードの音声の前後の音声の各音声データファイルを個別に音声認識サーバへと送信するとよい。例えば、検出開始時点から検出終了時点までの間の検出音声のうち、トリガーワードの音声よりも前に検出されたユーザ音声(前半部分のユーザ音声ともいう)の音声データファイルが、トリガーワードの音声よりも後に検出されたユーザ音声(後半部分のユーザ音声ともいう)の音声データファイルに先行して音声認識サーバに送信されるとよい。
このようにすれば、音声認識サーバにおいて、前半部分のユーザ音声に対する音声認識処理が、後半部分のユーザ音声の音声データファイルの受信完了を待たずに開始される。そのため、前半部分のユーザ音声と後半部分のユーザ音声とをまとめた音声の音声データファイルを音声認識サーバに送信する場合と比較して、音声認識処理を効率的に行うことができる。その結果、表示装置1は、対話サーバからのキャラクタ音声がより早期に受信することができ、ユーザの音声に対して応答されるまでのユーザの待機時間を短縮できる。
また、例えば、音声認識サーバが、表示装置1からの音声データをストリーム再生して音声認識処理をリアルタイムで実行するように構成されている場合、前半部分の音声データをリアルタイムで音声認識サーバに送信される際に、前半部分のユーザ音声の再生速度T1が標準再生速度T0より速く(T1>T0)なるように制御されるとよい。例えば、処理基板224は、音声認識サーバにおいて当該前半部分のユーザ音声が標準再生速度T0に対して25%速く再生されるように設定変更して当該前半部分の音声データを送信する。このようにすれば、音声認識サーバにおいて、前半部分のユーザ音声が標準再生速度T0で再生される場合と比較して、前半部分のユーザ音声に対する音声認識処理をより早期に終了させることができ、後半部分のユーザ音声に対する音声認識処理をより早期に開始することができる。その結果、表示装置1は、対話サーバからのキャラクタ音声をより早期に受信することができ、ユーザの音声に対して応答されるまでのユーザの待機時間を短縮できる。
さらに、後半部分のユーザ音声の音声データがリアルタイムで音声認識サーバに送信される際に、後半部分の音声の再生速度T2が標準再生速度T0よりも速く且つ前半部分のユーザ音声の再生速度T1よりも遅くなる(つまり、T0<T2<T1の関係を満たす)ように制御されるとよい。例えば、処理基板224は、音声認識サーバにおいて後半部分のユーザ音声が標準再生速度T0に対して10%速く再生されるように設定変更して当該後半部分の音声データを送信する。このようにすれば、前半部分のユーザ音声と後半部分のユーザ音声との双方が標準再生速度T0よりも速くストリーム再生されて、音声認識サーバにおいて音声認識処理が実行される。その結果、ユーザの音声に対して応答されるまでのユーザの待機時間を更に短縮できる。他方で、後半部分のユーザ音声は、標準再生速度T0よりは速いものの、前半部分のユーザ音声の再生速度T1よりは遅い速度で再生される。そのため、音声認識システムにおける音声認識精度の低下を抑制できる。したがって、音声認識精度の低下を抑制しつつ、ユーザの待機時間をより短縮することができる。
なお、音声認識サーバにおいて、音声データのストリーム再生による音声認識処理がリアルタイムで実行される場合、例えば、マイクロホン2333によって検出されたユーザ音声がリアルタイムで音声認識サーバへと送信されるものの、トリガーワードの音声が検出されるまでは音声認識サーバでの音声認識が開始されないように制御されるとよい。
本発明の範囲は、明細書に明示的に説明された構成や限定されるものではなく、本明細書に開示される本発明の様々な側面の組み合わせをも、その範囲に含むものである。本発明のうち、特許を受けようとする構成を、添付の特許請求の範囲に特定したが、現在の処は特許請求の範囲に特定されていない構成であっても、本明細書に開示される構成を、将来的に特許請求の範囲とする意思を有する。
本願発明は上述した実施の形態に記載の構成に限定されない。上述した各実施の形態や変形例の構成要素は任意に選択して組み合わせて構成するとよい。また各実施の形態や変形例の任意の構成要素と、発明を解決するための手段に記載の任意の構成要素または発明を解決するための手段に記載の任意の構成要素を具体化した構成要素とは任意に組み合わせて構成するとよい。これらについても本願の補正または分割出願等において権利取得する意思を有する。「~の場合」「~のとき」という記載があったとしてもその場合やそのときに限られる構成として記載はしているものではない。これらの場合やときでない構成についても開示しているものであり、権利取得する意思を有する。また順番を伴った記載になっている箇所もこの順番に限らない。一部の箇所を削除したり、順番を入れ替えた構成についても開示しているものであり、権利取得する意思を有する。
また、意匠登録出願への変更により、全体意匠または部分意匠について権利取得する意思を有する。装置が画像を表示する場合は、その画像の全体または一部を含む意匠について権利取得する意思を有する。図面は本装置の全体を実線で描画しているが、全体意匠のみならず当該装置の一部の部分に対して請求する部分意匠も包含した図面である。例えば当該装置の一部の部材を部分意匠とすることはもちろんのこと、部材と関係なく当該装置の一部の部分を部分意匠として包含した図面である。当該装置の一部の部分としては、装置の一部の部材としてもよいし、その部材の部分としてもよい。全体意匠はもちろんのこと、図面の実線部分のうち任意の部分を破線部分とした部分意匠を、権利化する意思を有する。また、装置の筐体の内部のモジュール・部材・部品等についても、図面に表示されているものは、いずれも独立して取引の対象となるものであって、同様に、意匠登録出願への変更を行って権利化を行う意思を有するものである。
1 :表示装置
100 :筐体
101 :右側パネル
102 :正面側パネル
103 :左側パネル
104 :背面側パネル
105 :上蓋部
106 :下蓋部
107 :右側内部パネル
108 :正面側内部パネル
109 :左側内部パネル
110 :開口部
200 :減光部材
210 :第1領域
220 :第2領域
221 :操作基板
222 :スロット
223 :USBコネクタ
224 :処理基板
226 :保持部
227 :撮影部
231 :制御基板
232 :配線
233 :センサ基板
234 :人感センサ
310 :第1表示部
311 :第1表示面
312 :視野角制御部材
320 :光学部材
321 :第1面
330 :第2表示部
331 :第2表示面
400 :台座部
500 :遮光部材
601 :第1プレート
602 :第2プレート
800 :配線部
810 :電源線
820 :信号線
830 :信号線
900 :仕切部材
910 :背景板
1041 :後蓋部
1051 :開口部
1052 :開口部
1100 :キャラクタ
1200 :キャラクタ
1210 :キャラクタ本体
1220 :首輪
1221 :札
2100 :ステージ映像
2200 :ステージ映像
2211 :操作部
2212 :操作部
2213 :操作部
2214 :操作部
2251 :スピーカ
2252 :スピーカ
2261 :ヒートシンク
2311 :電源ジャック
2331 :第1センサ
2332 :第2センサ
2333 :マイクロホン
2334 :発光部

Claims (32)

  1. 遮光された映像表示空間を内部に有し、前記映像表示空間の第1方向側に映像の観察領域を設けた筐体と、
    前記映像表示空間に空中映像を結像させる映像表示部と、
    前記観察領域から前記映像表示空間に進入する外光を減じる減光部材と、
    を有し、
    前記映像表示部は、第1画像光を発する第1表示部と、前記第1画像光に基づいて前記空中映像を結像させる光学系とを含み、
    前記第1画像光のうちの前記減光部材で反射した反射光の光路上であって、前記減光部材と前記光学系との間に設けられた遮光部材を有する
    表示装置。
  2. 前記遮光部材は、前記第1方向側から見て、前記観察領域に重ならない位置に設けられている
    請求項1に記載の表示装置。
  3. 前記映像表示部は、第1画像光を発する第1表示部と、前記第1画像光に基づいて前記空中映像を結像させる光学系とを含み、
    前記光学系は、前記第1画像光のうちの前記減光部材で反射した反射光の光路上の領域を避けて配置される
    請求項1または2に記載の表示装置。
  4. 前記光学系は、前記第1画像光が入射する第1面と、前記第1面に対向する第2面とを有する光学部材を含み、
    前記光学部材は、前記第1画像光を前記第1方向側に反射させ、かつ前記第2面に入射した光を前記第1面側に透過させる
    請求項1から3のいずれか1項に記載の表示装置。
  5. 前記第1方向側から見て前記空中映像と重なる第2画像光を発する第2表示部
    を有する請求項1から4のいずれか1項に記載の表示装置。
  6. 前記第1表示部の発光輝度を前記第2表示部の発光輝度よりも高くした
    請求項5に記載の表示装置。
  7. 前記第1表示部は、前記観察領域よりも上方において、表示面が下方を向くように配置され、かつ前記第1方向側よりも前記第1方向の反対側の第2方向側が低くなるように傾斜する
    請求項5または6に記載の表示装置。
  8. 遮光された映像表示空間を内部に有し、前記映像表示空間の第1方向側に映像の観察領域を設けた筐体と、
    前記映像表示空間に空中映像を結像させる映像表示部と、
    前記観察領域から前記映像表示空間に進入する外光を減じる減光部材と、
    前記第1方向側から見て前記空中映像と重なる第2画像光を発する第2表示部と、
    を有し、
    前記映像表示部は、第1画像光を発する第1表示部と、前記第1画像光に基づいて前記空中映像を結像させる光学系とを含み、
    前記第1表示部の発光輝度を前記第2表示部の発光輝度よりも高くし
    前記第1表示部は、前記観察領域よりも上方において、表示面が下方を向くように配置され、かつ前記第1方向側よりも前記第1方向の反対側の第2方向側が低くなるように傾斜し、
    前記第2表示部は、前記観察領域よりも下方において、表示面が上方を向くように配置される
    表示装置。
  9. 前記第1表示部の表示面は、水平方向に対してほぼ20度で傾斜する
    請求項7または8に記載の表示装置。
  10. 前記第1表示部は、前記空中映像が前記第2表示部の表示面上に観察されるように前記第1画像光を発する
    請求項からのいずれか1項に記載の表示装置。
  11. 遮光された映像表示空間を内部に有し、前記映像表示空間の第1方向側に映像の観察領域を設けた筐体と、
    前記映像表示空間に空中映像を結像させる映像表示部と、
    前記観察領域から前記映像表示空間に進入する外光を減じる減光部材と、
    前記第1方向側から見て前記空中映像と重なる第2画像光を発する第2表示部と、
    を有し、
    前記映像表示部は、第1画像光を発する第1表示部と、前記第1画像光に基づいて前記空中映像を結像させる光学系とを含み、
    前記第1表示部の発光輝度を前記第2表示部の発光輝度よりも高くし
    前記第1表示部は、前記観察領域よりも上方において、表示面が下方を向くように配置され、かつ前記第1方向側よりも前記第1方向の反対側の第2方向側が低くなるように傾斜し、
    前記筐体は、前記第1表示部よりも上方に第1収容空間を有し、
    前記第1収容空間のうち前記第2方向側に配置され、前記第1表示部及び前記第2表示部の表示に映像を表示させるための制御を行うための処理基板を有する
    表示装置。
  12. 前記処理基板は、外部機器を着脱可能な装着部であって当該外部機器との間でデータの入出力を行うための装着部を有し、
    前記装着部は、前記筐体のうち前記第2方向側から前記筐体の外部に露出する
    請求項11に記載の表示装置。
  13. 前記観察領域よりも下方に設けられたセンサを有し、
    前記処理基板は、前記センサにより測定された情報に応じて前記第1表示部の表示を制御する
    請求項11に記載の表示装置。
  14. 前記センサが実装されたセンサ基板を有し、
    前記センサ基板は、前記筐体の前記第1方向側の部分に設けられている
    有する請求項13に記載の表示装置。
  15. 前記センサは、ジェスチャを検出するセンサを含む
    請求項13または14に記載の表示装置。
  16. 前記筐体は、前記映像表示空間の下方に第2収容空間を有し、
    前記第2収容空間に設けられ、前記センサからの信号を前記処理基板に供給する制御基板を有する
    請求項13から15のいずれか1項に記載の表示装置。
  17. 前記制御基板と前記処理基板とを電気的に接続する配線部と、
    前記映像表示空間側から前記配線部を観察できないように仕切る仕切部材と
    を有する請求項16に記載の表示装置。
  18. 前記第1表示部の表示面に設けられ、前記第1方向側への視野角を狭める視野角制御部材を有する
    請求項から17のいずれか1項に記載の表示装置。
  19. 遮光された映像表示空間を内部に有し、前記映像表示空間の第1方向側に映像の観察領域を設けた筐体と、
    前記映像表示空間に空中映像を結像させる映像表示部と、
    前記観察領域から前記映像表示空間に進入する外光を減じる減光部材と、
    前記第1方向側から見て前記空中映像と重なる第2画像光を発する第2表示部と、
    を有し、
    前記映像表示部は、第1画像光を発する第1表示部と、前記第1画像光に基づいて前記空中映像を結像させる光学系とを含み、
    前記第1表示部の発光輝度を前記第2表示部の発光輝度よりも高くし
    前記第1表示部の表示面に設けられ、前記第1方向側への視野角を狭める視野角制御部材を有する
    表示装置。
  20. 前記第1画像光は、二次元の画像として認識される画像の画像光である
    請求項1から19のいずれか1項に記載の表示装置。
  21. 前記映像表示空間に面する部分の少なくとも一部に光の反射を低減する処理がなされている
    請求項1から20のいずれか1項に記載の表示装置。
  22. 前記筐体は、前記第1方向側から見たときに前記観察領域の周りを囲む部分を有する
    請求項1から21のいずれか1項に記載の表示装置。
  23. 前記映像表示部は、猫を示すキャラクタの映像を表示する
    請求項1から22のいずれか1項に記載の表示装置。
  24. 遮光された映像表示空間を内部に有し、前記映像表示空間の第1方向側に映像の観察領域を設けた筐体と、
    前記映像表示空間に空中映像を結像させる映像表示部と、
    前記観察領域から前記映像表示空間に進入する外光を減じる減光部材と、
    前記第1方向側から見て前記空中映像と重なる第2画像光を発する第2表示部と、
    を有し、
    前記映像表示部は、第1画像光を発する第1表示部と、前記第1画像光に基づいて前記空中映像を結像させる光学系とを含み、
    前記第1表示部の発光輝度を前記第2表示部の発光輝度よりも高くし、
    前記映像表示部は、猫を示すキャラクタの映像を表示する
    表示装置。
  25. 前記映像表示部は、前記キャラクタと前記キャラクタを観察する観察者とのコミュニケーションを再現するコミュニケーション機能に基づいて映像を変化させる
    請求項23または24に記載の表示装置。
  26. においを検知するにおいセンサと、
    前記においセンサによる検知結果に応じた動きをキャラクタが行う映像を前記映像表示部に表示する表示出力動作と、前記においセンサによる検知結果に応じた音声を前記映像表示部に表示されたキャラクタが発する音声として出力する音声出力動作との少なくとも一方を実行する動作制御手段と、
    をさらに備える
    請求項1から25のいずれか1項に記載の表示装置。
  27. 映像表示空間を内部に有し、前記映像表示空間の第1方向側に映像の観察領域を設けた筐体と、
    前記映像表示空間に空中映像を結像させる映像表示部と、
    においを検知するにおいセンサと、
    前記においセンサによる検知結果に応じた動きをキャラクタが行う映像を前記映像表示部に表示する表示出力動作と、前記においセンサによる検知結果に応じた音声を前記映像表示部に表示されたキャラクタが発する音声として出力する音声出力動作との少なくとも一方を実行する動作制御手段と、
    を備える表示装置。
  28. 前記表示出力動作は、検知されたにおいの種類に応じた動きを前記映像表示部に表示されたキャラクタが行う映像を前記映像表示部に表示する動作であり、
    前記音声出力動作は、検知されたにおいの種類に応じた音声を前記映像表示部に表示されたキャラクタが発する音声として出力する動作である
    請求項26または27に記載の表示装置。
  29. 音声を検出可能な音声検出手段と、
    検知対象領域における人の存在を検知可能な検知手段と、
    をさらに備え、
    前記音声検出手段は、前記検知対象領域における人の存在が検知されると、前記映像表示部に表示されたキャラクタとの対話を行うための音声認識を有効化する
    請求項1から28のいずれか1項に記載の表示装置。
  30. 映像表示空間を内部に有し、前記映像表示空間の第1方向側に映像の観察領域を設けた筐体と、
    前記映像表示空間に空中映像を結像させる映像表示部と、
    音声を検出可能な音声検出手段と、
    検知対象領域における人の存在を検知可能な検知手段と、
    を備え、
    前記音声検出手段は、前記検知対象領域における人の存在が検知されると、前記映像表示部に表示されたキャラクタとの対話を行うための音声認識を有効化する
    表示装置。
  31. 風を検知する風検知手段と、
    前記風検知手段による検知結果に応じた動きをキャラクタが行う映像を前記映像表示部に表示する表示出力動作と、前記風検知手段による検知結果に応じた音声を前記映像表示部に表示されたキャラクタが発する音声として出力する音声出力動作との少なくとも一方を実行する動作制御手段と、
    をさらに備える
    請求項1から25のいずれか1項に記載の表示装置。
  32. 前記動作制御手段は、前記風検知手段による検知結果に基づき、ユーザの吹きかけた息に応じて前記表示出力動作または前記音声出力動作を行う
    請求項31に記載の表示装置。
JP2020064311A 2020-01-23 2020-03-31 表示装置等 Active JP7448142B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024023475A JP2024075565A (ja) 2020-01-23 2024-02-20 表示装置等

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020009018 2020-01-23
JP2020009018 2020-01-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024023475A Division JP2024075565A (ja) 2020-01-23 2024-02-20 表示装置等

Publications (2)

Publication Number Publication Date
JP2021117478A JP2021117478A (ja) 2021-08-10
JP7448142B2 true JP7448142B2 (ja) 2024-03-12

Family

ID=77174796

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020064311A Active JP7448142B2 (ja) 2020-01-23 2020-03-31 表示装置等
JP2024023475A Pending JP2024075565A (ja) 2020-01-23 2024-02-20 表示装置等

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024023475A Pending JP2024075565A (ja) 2020-01-23 2024-02-20 表示装置等

Country Status (1)

Country Link
JP (2) JP7448142B2 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000219060A (ja) 1999-01-29 2000-08-08 Nippon Seiki Co Ltd 表示装置
JP2004284524A (ja) 2003-03-24 2004-10-14 Denso Corp 車両用表示装置
WO2008030080A1 (en) 2006-09-08 2008-03-13 Medialusion B.V. Device for displaying virtual three-dimensional objects
JP2009136398A (ja) 2007-12-04 2009-06-25 Daito Giken:Kk 表示機能拡張装置
JP2010277019A (ja) 2009-06-01 2010-12-09 Pioneer Electronic Corp 画像表示装置
JP2015210379A (ja) 2014-04-25 2015-11-24 株式会社ソニー・コンピュータエンタテインメント 画像融合システム、情報処理装置、情報端末、および情報処理方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3195249B2 (ja) * 1996-08-20 2001-08-06 日本板硝子株式会社 画像浮上表示装置
JP3771989B2 (ja) * 1997-03-24 2006-05-10 オリンパス株式会社 画像音声通信システムおよびテレビ電話送受信方法
JPH11267341A (ja) * 1998-03-20 1999-10-05 Shimadzu Corp 遊戯機用表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000219060A (ja) 1999-01-29 2000-08-08 Nippon Seiki Co Ltd 表示装置
JP2004284524A (ja) 2003-03-24 2004-10-14 Denso Corp 車両用表示装置
WO2008030080A1 (en) 2006-09-08 2008-03-13 Medialusion B.V. Device for displaying virtual three-dimensional objects
JP2009136398A (ja) 2007-12-04 2009-06-25 Daito Giken:Kk 表示機能拡張装置
JP2010277019A (ja) 2009-06-01 2010-12-09 Pioneer Electronic Corp 画像表示装置
JP2015210379A (ja) 2014-04-25 2015-11-24 株式会社ソニー・コンピュータエンタテインメント 画像融合システム、情報処理装置、情報端末、および情報処理方法

Also Published As

Publication number Publication date
JP2024075565A (ja) 2024-06-04
JP2021117478A (ja) 2021-08-10

Similar Documents

Publication Publication Date Title
KR102014623B1 (ko) 화상 표시장치, 화제 선택 방법, 화제 선택 프로그램, 화상 표시 방법 및 화상 표시 프로그램
JP6165302B1 (ja) 画像表示装置、話題選択方法、話題選択プログラム
US10366689B2 (en) Communication robot
CN112512653B (zh) 基于光场显示***的游乐园景点
JP6682475B2 (ja) 画像表示装置、話題選択方法、話題選択プログラム
JP2018014575A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
JP2024032778A (ja) 表示装置等
JP2019139170A (ja) 画像表示装置、画像表示方法および画像表示プログラム
US9185885B2 (en) Digital activity center for pets
JP6947661B2 (ja) ヘッドマウントデバイスと通信可能なコンピュータによって実行されるプログラム、当該プログラムを実行するための情報処理装置、およびヘッドマウントデバイスと通信可能なコンピュータによって実行される方法
JP7448142B2 (ja) 表示装置等
US20210397245A1 (en) Information processing system, display method, and computer program
JP2023035270A (ja) 表示装置等
JP2017147512A (ja) コンテンツ再生装置、コンテンツ再生方法及びプログラム
JP2022157238A (ja) システム等
JP2022157245A (ja) システム等
US11823553B2 (en) Information processing device, information processing method, and information processing system
JP6667878B1 (ja) 着ぐるみ演出支援装置、着ぐるみ演出支援システムおよび着ぐるみ演出支援方法
JP2019139169A (ja) 画像表示装置、画像表示方法および画像表示プログラム
JP2023115940A (ja) 香り決定システム、香り決定装置、香り決定方法及びプログラム
Shine “He has music in him”: Musical moments, dance and corporeality in Joker (2019)
JP2020093107A (ja) 着ぐるみ演出支援装置、着ぐるみ演出支援システムおよび着ぐるみ演出支援方法
JP2022050192A (ja) 情報処理装置、及び、プログラム
KR20220054850A (ko) 게임 환경을 위한 라이트필드 디스플레이 시스템
JP2022502937A (ja) 特殊効果通信技術

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200401

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20221028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230627

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230828

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240123

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240220

R150 Certificate of patent or registration of utility model

Ref document number: 7448142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150