<システムの全体構成の第1の例>
まず本実施形態のマルチディスプレイシステム500が適用され得るシステムの全体像を説明する。一例として、このシステムは、図1及び図2に示すように、共有ワークスペース10に設置される。共有ワークスペース10は、例えばNPO(NonProfit Organization)等の団体や小企業、地域住民等が集まってボランティア等の各種事業を行う場を提供する施設である。例示する共有ワークスペース10は、それらの人々が作業場・集会所等として利用する様々なプロジェクトルーム35、ホール20、ラウンジ40等を備えている。
共有ワークスペース10に入ったユーザ80は、それぞれセルフボール100を携帯して、その施設の内部を巡回する。セルフボール100は、ユーザ80のアバターとして機能する情報提示装置である。セルフボール100は、それを携帯するユーザ80の識別情報(ユーザID)を保持しており、以下に示す各システムは、セルフボール100からそのユーザIDを取得することで、ユーザを識別する。
ホール20内の各所には、デジタルサイネージ(電子看板)システム200が設置されている。図3に示すように、デジタルサイネージシステム200は、あらかじめ定められた静止画や動画等の画像コンテンツを液晶ディスプレイ等の表示装置の画面に表示する。画像コンテンツの表示に合わせて、付随する音声をスピーカから出力する機能を有していてもよい。表示されるコンテンツは、例えばユーザ80が画面にタッチするとそのタッチ箇所に関連付けられたコンテンツが表示される等、インタラクティブに構成されたものであってもよい。また、デジタルサイネージシステム200は、表示されているコンテンツに関するユーザ80からの音声での反応(例えば質問)をマイク等で検知し、その反応の内容を音声及び自然言語の認識システムにより認識し、認識結果に応じた処理を行ってもよい。図3に例示したシーンでは、表示されているコンテンツが示している商品がどこで購入できるかという質問をユーザ80が音声で発し、これに対してデジタルサイネージシステム200が、その商品を買える場所を音声で回答している。また、デジタルサイネージシステム200は、そのようなサイネージ機能の他に、提示中のコンテンツに対するユーザの関心度を求める機能を有している。コンテンツに対するユーザの「関心度」とは、そのユーザがそのコンテンツに対して持っている関心の高さを示す数値である。関心度は、詳細は後述するが、例えばユーザがそのコンテンツに注目した時間の長さや、そのコンテンツに対するユーザの反応の有無や頻度等から計算する。注目した時間が長いほど関心は高く、あるいはコンテンツに対してユーザが質問等の反応を行えば関心が高いといえる。
プロジェクトルーム35の前は、その中で行われている作業等を見学するための見学スペース30となっている。見学スペース30には、プロジェクトルーム35内で行われている作業等に対するユーザ80の関心度を求めるための、見学スペースシステム300が設けられている。また、図示は省略したが、共有ワークスペース10内に展示される固定的な展示物(例えば印刷されたポスター、装置の模型や実物)についても、その展示物に対するユーザ80の関心度を求めるために、見学スペースシステム300と同様のシステムを設けてもよい。
休憩等のための場所であるラウンジ40には、ラウンジシステム400が設けられている。ラウンジシステム400は、ラウンジ40内に居合わせたユーザ80同士のコミュニケーションを促進する(より具体的には、居合わせたユーザ同士が共通のテーマに関心を持っていることをそれらユーザに通知する)ための仕組みである。例えば、図4に例示するように、ラウンジ40内のテーブル45を挟んでたまたま向かい合わせで飲み物を飲んでいる2人のユーザ80が、同様のコンテンツやテーマに対して関心を持っている(すなわち共通のテーマに関する共感がある)場合に、テーブル45上に置かれたお互いのセルフボール100が転がって近づき合うことで、2人が話を始めるきっかけを作る。このようなコミュニケーション促進動作は、セルフボール100とラウンジシステム400との協働により実現される。各ユーザ80が何に関心を持っているかは、デジタルサイネージシステム200や見学スペースシステム300等が求めたユーザ80の関心・興味の情報を用いる。また、SNS(ソーシャルネットワーキングサービス)等に各ユーザが投稿している情報等を援用してもよい。
階段脇50には、マルチディスプレイシステム500が設けられている。マルチディスプレイシステム500は、図5に格子状に配置した複数の表示装置510(例えば液晶ディスプレイ)を備え、それら複数の表示装置510に対してユーザ80の関心が高いいくつかのコンテンツを表示する。
図1及び図2に示した各システム200,300,400,500の配置場所はあくまで一例に過ぎない。
ユーザ80が携帯するセルフボール100は、図6に示すように「目」150を有している。目150は、セルフボール100の状態を示す。例えば図中左端のセルフボール100aの目150は、「スリープ」すなわち眠っている状態を示しており、例えばセルフボール100aが充電器にセットされている間は、目150はこのスリープ状態である。図中左から2番目のセルフボール100bの目150は、充電器から取り出された直後の、いわば「目覚めたばかり」の状態であり、目150は丸い形だが小さい。その後、セルフボール100を携帯したユーザが共有ワークスペース10内を巡り、デジタルサイネージやプロジェクトルーム35を見てそれらに関心を高めていくと、目150は次第に大きくなる。このように目150の大きさは、ユーザが共有ワークスペース10内の事物に対して現在向けている関心の強さを表す。このような目150の形態の変化は、例えば液晶表示器により表現すればよい。
またセルフボール100は、発光機能を有し、その発光の明るさがユーザの関心の高さに応じて変化する。例えば、ユーザ80の現在見ているコンテンツに対する関心がある程度高ければ、図中のセルフボール100cのように弱く発光し、関心が非常に高い場合には図中のセルフボール100dのように強く発光する。またセルフボール100の発光を、ユーザ80の心理状態に応じて制御してもよい。例えば、心理状態に応じて明るさを制御する。ユーザ80の心理状態は、例えばユーザ80が装着しているウェアラブルデバイス(例えば情報処理機能内蔵の腕時計)により検知された脈拍数や体温、ラウンジシステム400等が撮影したユーザの顔の表情等から推定する。また、セルフボール100の発光は、明るさだけでなく、発光する色も制御できるようにしてもよい。
図7は、セルフボール100の機能的な構成要素を示している。図示のように、セルフボール100は送受信部102、ユーザID保持部104、カメラ106、マイク108、プロジェクタ110、スピーカ112、液晶表示装置114、発光機構116、駆動機構118及び制御部120を内蔵している。
送受信部102は、共有ワークスペース10内の他の機器(例えばデジタルサイネージシステム200やラウンジシステム400等)と通信するための装置である。送受信部102は、例えば無線LAN(ローカルエリアネットワーク)やBluetooth(商標)等の無線通信規格に準拠した無線通信を行う。送受信部102は、異なる無線通信規格での通信のための複数の無線通信装置を有し、目的に応じてそれら各通信装置を使い分けてもよい。
ユーザID保持部104は、セルフボール100を携帯するユーザ80の識別情報を記憶している。言い換えれば、ユーザ80は、少なくとも共有ワークスペース10内では、自分が携帯するセルフボール100のユーザID保持部104に保持されているユーザIDで識別される。
カメラ106は、セルフボール100の周囲の静止画や動画等の画像を撮影する。マイク108は、セルフボール100の周囲の音声(例えばユーザ80の発声)を検出する。撮影された画像や検出された音声は、制御部120に送られる。
プロジェクタ110は、静止画や動画等の画像を外部(例えばテーブル45の天板の上面)に投影する。投影する画像は、制御部120から供給される。スピーカ112は、制御部120から供給された音声を出力する。この音声は、1つの例ではプロジェクタ110が表示する画像と同期したもの(例えばマルチメディアコンテンツの音声)であり、別の例では画像表示を伴わない単独の音声である。
液晶表示装置114は、セルフボール100の目150の形態を表現する装置である。この液晶表示装置114は、例えばドットマトリックス方式のモノクロ液晶ディスプレイでよい。
発光機構116は、セルフボール100を発光させるための装置である。発光機構116は、例えば調光(発光強度の調整)が可能なLED(発光ダイオード)を発光装置として備える。また発光色を変化させる例では、発光機構116は調光可能な三原色のLEDを備え、制御部120がそれら3色のLEDの発光強度の比を調整することで、発光色や発光強度を制御する。1つの例では、セルフボール100の球殻の内面は、曇りガラスのように不透明加工されており、球殻内部に設けられた発光機構116の発光がその不透明加工された面で散乱されることで、セルフボール100全体が発光したように見える。この例では、セルフボール100の目150を表現する液晶ディスプレイは、例えばその球殻の表面に設けられ、液晶ディスプレイを含むその球殻の外面が透明な保護層で覆われる。
駆動機構118は、セルフボール100をテーブル45等の面上で移動させるための機構である。駆動機構118は、セルフボール100の球殻を自転させることで、セルフボール100を面上で転がらせたり、目150やプロジェクタ110が適切な向きに向くようにセルフボール100の姿勢を制御したりする。駆動機構118は、例えば米国特許第9,193,404号明細書に開示されるボールの駆動機構と同様のものを用いることができる。また、米国特許第9,090,214号明細書に開示された、自転するボールとそのボールに対して磁力で保持される外部アクセサリデバイスからなる自走装置を、球体のセルフボール100の代わりに用いることも可能である。この場合、目150やカメラ106、プロジェクタ110等を外部アクセサリデバイス部分に内蔵することで、球体部分の姿勢制御は不要になる。また、駆動機構118は、セルフボール100を振動させる振動機構を含んでいてもよい。
制御部120は、セルフボール100内の各部を制御する。図8に制御部120の機能構成の例を示す。例示する制御部120は、関心度取得部122、関心度記憶部124、ボール駆動制御部126、発光制御部128、ボール表情制御部130、投影制御部132、及びコミュニケーション促進処理部140を有する。制御部120は、図示したこれらの機能モジュールの他に、カメラ106、マイク108、スピーカ112等を制御する機能モジュールを備えているが、これらについては通常のものでよいので、説明は省略する。
関心度取得部122は、コンテンツやテーマに対するユーザ80の関心度の情報を取得する。例えば、デジタルサイネージシステム200、見学スペースシステム300、ラウンジシステム400等が、コンテンツやテーマに対するユーザ80の関心度を求め、求められた関心度の情報を関心度取得部122がデジタルサイネージシステム200等から取得する。
関心度記憶部124は、関心度取得部122が取得した関心度の情報を記憶するデータベースである。図9に、関心度記憶部124に記憶される情報の例を示す。
この例では、関心度記憶部124には、個々のコンテンツに対応付けて、当該セルフボール100を携帯するユーザ80のそのコンテンツに対する関心度の値が記憶されている。関心度は、関心度合いの強さを示す数値であり、あくまで一例だが0から100までの整数値で表現される。コンテンツには、例えば、デジタルサイネージシステム200等に表示される静止画や動画等の画像、プロジェクトルーム35内で遂行されているプロジェクト、共有ワークスペース10内の展示物がある。また、ユーザ80が共有ワークスペース10内で出会う人物も、そのユーザ80の関心の対象となり得るので、コンテンツの1つとして取り扱ってもよい。図示例では、関心度記憶部124のデータベースの「コンテンツ」のフィールドには、そのコンテンツのデータそのもの(図示例では画像データ)が登録されている。しかし、これは一例に過ぎず、この代わりに、コンテンツに対して一意的に付与されたID(識別情報)をそのフィールドに登録してもよい。また、展示物やプロジェクト、人物のように、データでないコンテンツについての関心度は、そのコンテンツのID(例えばプロジェクトID、ユーザID)、またはそのコンテンツを撮影した画像などを「コンテンツ」のフィールドに登録すればよい。
また、図示例では、データベースには、コンテンツに関連する1以上のキーワードと、それら各キーワードについての関心度が登録されてもよい。コンテンツに関連するキーワードは、そのコンテンツが表している多様な概念のうちの重要なものを表す言葉である。コンテンツに関連するキーワードの情報は、関心度を求める装置(例えばラウンジシステム400)が保持するか、その装置からアクセス可能なネットワーク上のサーバに保持されている。また、コンテンツに対する関心度からそれら関連する各キーワードに対する関心度を求めるための情報(例えばコンテンツの関心度にかけ算することでキーワードの関心度を求めるための係数)も、関心度を求める装置又はその装置からアクセス可能なサーバに保持されている。関心度を求めるラウンジシステム400等の装置は、カメラその他のセンサから得たデータから、その装置に対応するコンテンツ(例えばその装置が表示中の画像コンテンツ)に対するユーザ80の関心度を判定し、更に、その関心度に対して、それらキーワードについての情報を適用することで、各キーワードについての関心度を計算する。そして、求めたコンテンツに対する関心度、及び各キーワードに対する関心度の情報が、その装置からセルフボール100の関心度取得部122に送信され、関心度記憶部124に登録される。異なるコンテンツが同じキーワードに関連する場合もあるので、ユーザ80のキーワードに対する関心度は、関心度記憶部124に記憶された各コンテンツのレコードに現れるそのキーワードについての関心度をそれら複数のコンテンツにわたって総合(例えば総和)することで求める。
なお、この明細書では、情報の内容(例えばコンテンツ)やこの内容を示す用語(例えばコンテンツを代表するいくつかのキーワード)のようにそれら内容や用語等の情報そのもの、又は、それら内容又は用語から想起される情報内容のようにそれら内容や用語等の情報そのものとは異なるがその情報と何らかの関連を持つ他の情報、のことを「テーマ」と総称する。テーマには、例えば、コンテンツそのもの、キーワードそのもの、コンテンツやキーワードが属する概念、コンテンツやキーワードに関連する概念等が含まれる。例えば、草野球チームのメンバー勧誘のためのチラシ画像というコンテンツに対して、そのコンテンツが属する「野球」や「スポーツ」等の概念が「テーマ」の一例である。コンテンツやキーワードに対応する概念を「テーマ」とする場合、コンテンツやキーワードと「テーマ」との対応付けの情報は、セルフボール100や後述の第2実施形態のサーバ600等からアクセス可能なデータベースで管理されている。
以上の例では、関心度の対象を、デジタルサイネージシステム200に表示されたコンテンツやプロジェクトルーム35内でのプロジェクト等、共有ワークスペース10内の事物に限定したが、これはあくまで1つの例である。このほかに、SNS(ソーシャルネットワーキングサービス)等、インターネット上のサービスにユーザ80が登録し公開している情報(例えば投稿記事)から、ユーザが関心を持っているテーマを抽出してもよい。この場合、関心度取得部122は、例えば、SNSでのユーザ80のユーザIDを用いてSNSからユーザの投稿情報を収集し、それら収集した情報からキーワードや写真の画像コンテンツを抽出し、キーワードの出現頻度や画像コンテンツに対するキャプションの内容等から、キーワードや画像コンテンツに対するユーザ80の関心度を計算する。この例では、関心度記憶部124には、そのようにして共有ワークスペース10外の情報源(例えばSNS)から求めたテーマ(キーワード等)とそれに対するユーザ80の関心度も登録される。
ボール駆動制御部126は、セルフボール100を駆動する駆動機構118を制御する。例えばボール駆動制御部126は、後述するコミュニケーション促進処理部140からの指示に従い、セルフボール100を他のユーザのセルフボール100に近づけるよう駆動機構118を制御する。あるいは、セルフボール100を振動させるよう駆動機構118を制御する。
発光制御部128は、セルフボール100内の発光機構116の発光強度等を制御する。例えば、発光制御部128は、関心度取得部122が取得した最新の関心度に応じた発光強度を発光機構116に指示する。
ボール表情制御部130は、セルフボール100の目150を表す表示装置を制御して、目150の表情を形成する。例えばボール表情制御部130は、セルフボール100が充電器にセットされていることを検知して、表示装置に表示される目150の形状を、眠った目を表す形(例えば横に延びる1本の線)にする。またボール表情制御部130は、セルフボール100が充電器から取り外されると、目150の形状を黒い丸形とし、その黒丸の大きさ(径)を、関心度取得部122が取得した最新の関心度に応じて制御する(例えば関心度が高いほど目150を大きくする)。
投影制御部132は、プロジェクタ110に静止画や動画等の画像を表示させるための制御を行う。投影制御部132は、例えば、コミュニケーション促進処理部140から指示された画像をプロジェクタ110に投影させる。
コミュニケーション促進処理部140は、共通の関心を持つ(言い換えればその関心の対象についての共感がある)ユーザ80同士のコミュニケーション(例えば会話)のきっかけを与えるための処理を実行する。コミュニケーション促進処理部140は、近接ユーザ認識部141、ユーザ状態判定部142、注目テーマ判定部144、近接ユーザ情報通信部146、及び促進動作指示部148を含む。
近接ユーザ認識部141は、当該セルフボール100に近接している他のセルフボール100(すなわち他のユーザ)を認識する。第1のセルフボール100に対して第2のセルフボール100が「近接している」とは、それら第1のセルフボール100からあらかじめ定めた範囲内に第2のセルフボール100が位置していることをいう。ここでいう「範囲」は、それら両者(すなわち2つのセルフボール100)の距離についての範囲(別の言葉で言えば「閾値」)であるが、この「範囲」(又は「閾値」)は常に一定の値として固定的に決定されるものではなく、それら両者が所在している環境に応じて変わり得る。例えば、後で説明するBluetooth等の電波によりそれら両者が通信できるか否かによりそれら両者が近接しているか否かを判定する方式では、仮に両者の実際の物理的な距離がまったく同じであっても、両者が所在している環境が異なると、電波状況の違いにより、両者が通信できる(「近接している」)場合もあれば、通信できない(「近接していない」)場合もある。また、それら両者の実際の物理的な距離がまったく同じであっても、電波で計測したそれら両者間の距離(例えば後述するBLEの例)が、電波状況の変化に応じて計測毎に変化することもよく知られていることである。したがって、それら第1及び第2のセルフボール100が互いに通信できる場合にそれら両者が近接していると認識する例では、それら両者が互いに通信できた場合が、すなわちそれら両者が「あらかじめ定めた範囲内にある」ということを意味する。また、第1及び第2のセルフボール100との間の距離を計測して近接しているか否かを判定する例では、その距離計測に用いる手段(例えばBLE)で測定した距離(これは、物差しや光学的な計測手段で計った実際の物理的な距離とは異なる場合もある)があらかじめ定めた閾値以内であれば、それら両者が「あらかじめ定めた範囲内にある」と判定する。
1つの例では、近接ユーザ認識部141は、送受信部102が備える通信距離(有効範囲)が比較的小さい(例えば1メートル程度)無線通信装置を用いて他のセルフボール100の同様の無線通信装置との通信を試みる。そして、この通信が成功した場合に、その通信相手のセルフボール100が自身に近接している(「あらかじめ定めた範囲内にある」)と判定する。例えば、BluetoothのClass 3は通信距離が約1mと規定されており、このClass 3に分類されるBluetooth通信装置を、近接するセルフボール100を検出するための装置として送受信部102に設けてもよい。2つのセルフボール100のBluetooth通信装置同士が通信できた場合、それら両者は近接していると判断される。Bluetooth通信装置同士が通信できる距離は、出力のクラスだけでなく、環境の電波状況等によっても変わるので、約1メートルというのはあくまで目安である。近接を検知した後の相手方のセルフボール100とのデータのやりとりは、このBluetooth通信装置を用いて行えばよい。なお、デジタルサイネージシステム200等の他のシステムとの通信には、無線LAN等の他の通信装置を用いればよい。近接していると判断する約1メートルという距離もBluetoothのClass 3の利用もあくまで一例に過ぎない。別の距離を近接判断の閾値として用いてもよく、その閾値に応じた出力の無線通信装置を近接判断のために用いてもよい。また、別の例として、ラウンジシステム400が、カメラでテーブル45上を撮影した画像からテーブル45上のセルフボール100同士の距離を求め、その距離の情報をセルフボール100に通知してもよい。この場合、近接ユーザ認識部141は、通知された距離が閾値以下であれば、自セルフボール100に近接するセルフボール100があると判断する。
また、Bluetooth 4.0に規定されるBLE (Bluetooth Low Energy)は、互いに通信するデバイス同士の距離を通信の電波強度から推定する機能を有する。そこで、送受信部102がBLEに準拠した送受信デバイスを有している場合、Bluetooth通信でペアリングできた他のセルフボール100との距離をBLEの機能により推定し、その推定距離が予め定めた閾値以内である場合に、近接ユーザ認識部141が、当該「他のセルフボール」100が自セルフボール100に「近接している」すなわち「あらかじめ定めた範囲内にある」と認識してもよい。
ユーザ状態判定部142は、そのセルフボール100を携帯しているユーザ80の心理的な状態、特に他のユーザとコミュニケーションを取りたい状態(すなわち、後述する促進動作指示部148による「通知」を得たい状態)なのかとりたくない状態(すなわち「通知」を得たくない状態)なのかを判定する。1つの例では、この判定の実質的な処理はラウンジシステム400にて実施(詳細は後述)し、セルフボール100のユーザ状態判定部142はそのラウンジシステム400の処理結果を取得し、その処理結果に基づいて判定を行う。この判定において、ウェアラブルデバイス等が検知したユーザ80の脈拍等の生体情報を考慮に入れてもよい。
注目テーマ判定部144は、当該セルフボール100を携帯しているユーザ80が高い関心を持っている、言い換えれば注目しているテーマ(注目テーマと呼ぶ)を判定する。注目テーマは、関心度記憶部124に記憶されたテーマのうち関心度が閾値以上であるテーマである。判定に用いる閾値はあらかじめ注目テーマ判定部144に設定しておく。注目テーマの判定は、コンテンツレベルで行ってもよいし、キーワード(概念)レベルで行ってもよい。例えばコンテンツレベルで判定する場合、関心度記憶部124に記憶されたコンテンツのうち関心度が閾値以上のコンテンツを注目テーマと判定する。また、コンテンツ及びキーワードの両方から、関心度が閾値以上のものを注目テーマと判定してもよい。注目テーマの抽出範囲を、コンテンツレベル、キーワードレベル、それら両方、コンテンツやキーワードが属する概念のレベル、等のうちいずれにするかはあらかじめ各セルフボール100に設定しておく。
近接ユーザ情報通信部146は、近接ユーザ認識部141が認識した近くのセルフボール100から、そのセルフボール100が求めた相手ユーザの注目テーマの情報を受け取る。あるいは近接ユーザ情報通信部146は、注目テーマ判定部144が求めたユーザの注目テーマの情報を相手のセルフボール100に送信してもよい。注目テーマの情報は、近接する2つのセルフボール100の一方から他方に提供すれば十分である。例えば、自セルフボール100と近接する他のセルフボール100との間で無線通信を開始する際のネゴシエーションでどちらが親機となるかを決め、子機が自分のユーザの注目テーマの情報を親機に通知すればよい。通知する注目テーマの情報は、注目テーマの識別情報(例えばコンテンツのID)である。また注目テーマがキーワードの場合は、そのキーワード自体を注目テーマの情報として通知してもよい。子機から注目テーマの情報を受け取った親機では、次に説明する促進動作指示部148が、子機と親機の注目テーマの照合を行い、子機ユーザと親機ユーザの共通の注目テーマ(共感の対象であるテーマ)を求める。
促進動作指示部148は、注目テーマ判定部144が求めた注目テーマ群と、近接する他のセルフボール100から受け取った注目テーマの情報が示す注目テーマ群とを突き合わせ、両者で共通する注目テーマがあれば、コミュニケーション促進動作を実行する。コミュニケーション促進動作は、当該セルフボール100に対応するユーザと、そのユーザに近接している(すなわち、あらかじめ定めた範囲内にいる)他のユーザとが共通のテーマに関心を持っていることを通知する通知動作のことである。この通知動作が、それらユーザ同士がコミュニケーションするきっかけとなる。
コミュニケーション促進動作(すなわち「通知動作」)の具体例としては、例えば、テーブル上にある自セルフボール100を近接する相手セルフボール100に近づける方向に動かす動作がある。自分のセルフボール100が相手のセルフボール100に近づいていく動作は、その相手とのコミュニケーションを勧める動作としてユーザに理解しやすい。
この例では、促進動作指示部148は、相手セルフボール100の方向に向かって自転移動するようボール駆動制御部126に指示する。このとき相手セルフボール100の方向は、例えばラウンジシステム400がテーブル45上を撮影した画像から求め、各セルフボール100に(あるいは近接する2つのセルフボール100のうちの一方に)通知すればよい。また別の例として、セルフボール100自身が近接する相手セルフボール100の位置する方向を求めてもよい。これには、指向性のあるセンサで相手セルフボール100を検知すればよい。この指向性のあるセンサとしては、カメラ106を用いてもよい。例えば、ボール駆動制御部126が、カメラ106がほぼ水平方向を向いた状態を維持して、セルフボール100をその水平の面に垂直な軸周りにゆっくり自転させる。そして、促進動作指示部148が、そのときカメラ106が撮影している動画像からある一定範囲内のサイズの円形(あるいは陰影等も計算に入れて球形)のオブジェクトを探し、そのようなオブジェクトがあればそれが相手セルフボール100であると認識し、その相手セルフボール100の方向を移動方向としてボール駆動制御部126に指示する。
なお、このコミュニケーション促進動作としてのセルフボール100の自転移動は、互いに近接している2つのセルフボール100のうちの一方だけ(例えば親機だけ)が行うようにしてもよい。
コミュニケーション促進動作の別の例として、セルフボール100を振動させる動作もある。この場合、促進動作指示部148は、ボール駆動制御部126に対して、バイブレーション動作を実行するよう指示する。
更に別の例として、セルフボール100の発光形態により、コミュニケーション促進を図ってもよい。例えば、セルフボール100を点滅させたり、通常時とは異なる特別な色で発光させたりする等、コミュニケーションのきっかけとしてあらかじめ規定した発光を行わせることで、ユーザにコミュニケーションを取る機械であることを伝える。この例では、促進動作指示部148は、発光制御部128に対して、コミュニケーション促進の発光パターンとしてあらかじめ規定したパターン(点滅や特別な色等)での発光を指示する。
コミュニケーション促進動作の更に別の例として、プロジェクタ110から、それら両ユーザ間で共通する注目テーマ(以下「共通テーマ」と呼ぶ)に関する画像を投影する動作がある。この例では、促進動作指示部148は、ボール駆動制御部126に対して、プロジェクタ110の投影方向があらかじめ定められた向き(例えばそのセルフボール100が載置されたテーブルの上面に投影できる向き)になるようセルフボール100の姿勢を制御させる。そして、投影制御部132に対して、共通テーマに関する画像のデータを供給し、プロジェクタ110から投影させる。
投影する共通テーマに関する画像としては、例えばその共通テーマがコンテンツである場合、そのコンテンツの画像そのもの(静止画又は動画)、そのコンテンツの代表画像(例えばそのコンテンツが動画である場合)、そのコンテンツのサムネイル画像等がある。共通テーマのコンテンツが音声を伴うマルチメディアコンテンツである場合、画像の投影と同時に、スピーカ112からその音声を出力してもよい。また共通テーマがキーワードである場合、投影する共通テーマに関する画像として、そのキーワードの文字列の画像を投影してもよい。また、その共通テーマのキーワードに関連する画像をインターネット上の検索エンジンで検索し、検索結果として得られた画像を投影してもよい。共通テーマを持つと判定された2人のセルフボール100が(例えばテーブル表面に)同じ画像を投影することで、それら画像を見た2人のユーザは、お互いが同じテーマに注目していることを認識できる。この共通認識が、2人のユーザが会話を始めるきっかけとなり得る。
更に別のコミュニケーション促進動作の例として、共通テーマに関する音声をスピーカ112から出力することも考えられる。共通テーマに関する音声としては、共通テーマであるコンテンツの音声部分、そのコンテンツの代表音声(テーマ音楽やキャッチフレーズなど)、共通テーマであるキーワードの読み上げ音声などがある。
以上、コミュニケーション促進動作の例をいくつか挙げたが、上述の例のうちの複数をコミュニケーション促進動作としてまとめて実行することも可能である。
次に図10を参照して、デジタルサイネージシステム200の機能構成の例を説明する。
デジタルサイネージシステム200は、送受信部202、表示装置204、スピーカ206、サイネージ管理部208、ID認識部210、カメラ212、関心度判定部214及び関心度通知部216を有する。
送受信部202は、セルフボール100と無線通信を行うための装置である。このために送受信部202は、例えば無線LANやBluetooth(商標)等の無線通信規格に準拠した無線通信を行う機能を有する。送受信部202は、異なる無線通信規格での通信のための複数の無線通信装置を有し、目的に応じてそれら各通信装置を使い分けてもよい。また送受信部202は、共有ワークスペース10内のローカルネットワークを介して、共有ワークスペース10内の他の装置(例えばラウンジシステム400や他のサーバ等)やインターネット上のサーバと通信する機能を有していてもよい。デジタルサイネージシステム200が通信するサーバとしては、例えば、ユーザ80からの音声の質問を認識し、その質問に対する回答(例えばテキストデータ、音声データ、回答となるウェブページなど)を生成するサーバがある。
表示装置204は、コンテンツの画像を表示する装置であり、例えば液晶ディスプレイや有機EL(エレクトロルミネッセンス)ディスプレイがその例である。
スピーカ206は、コンテンツの音声を出力する装置である。デジタルサイネージシステム200がユーザ80からの音声による問合せに応答する機能を持つ場合には、音声による回答がスピーカ206から出力される。図示は省略したが、この場合、デジタルサイネージシステム200はユーザの発した音声を検出するマイクを有する。
サイネージ管理部208は、表示装置204及びスピーカ206によるコンテンツ提示の管理を行う。例えばサイネージ管理部208は、提示する複数のコンテンツと、それらコンテンツの提示スケジュール(時間割)の情報を有し、そのスケジュールに従って各コンテンツを表示装置204及びスピーカ206に出力させる。
ID認識部210は、デジタルサイネージシステム200(特に表示装置204)の近くにいるユーザ80のセルフボール100のユーザID保持部104に保持されているユーザIDを認識する。「近くにいるユーザ」のセルフボール100は、例えば、上述したセルフボール100同士の近接検知と同様、通信距離が制限された無線通信(例えばBluetoothのClass 3)が可能かどうかにより検出すればよい。すなわち、送受信部202が通信距離の制限された無線通信によりセルフボール100との通信が確立できた場合、ID認識部210が送受信部202を介してそのセルフボール100からユーザIDを取得する。また別の例として、セルフボール100のユーザID保持部104をRFID(Radio Frequency IDentification)タグとして構成し、ID認識部210は、RFIDのタグリーダにより、そのタグに記憶されたユーザIDを読み取ってもよい。通信距離が適切なRFIDタグを用いることで、「近くにいるユーザ」のセルフボール100のIDを取得することが可能になる。また、ID認識部210は、デジタルサイネージシステム200からセルフボール100までの距離をBLE等に規定された距離計測機能を用いて計測し、計測した距離があらかじめ定めた閾値以内であるセルフボール100を、デジタルサイネージシステム200の「近くにいる」セルフボール100と判定し、そのセルフボールのユーザIDを認識してもよい。
カメラ212は、表示装置204の前方を視野に収めた撮影装置である。本システムでは、カメラ212が撮影した画像(例えば動画)に写ったユーザ80の状態(例えば身体や顔、視線の向き)から、ユーザ80が表示装置204に表示されたコンテンツに注目しているのか、それとも単に表示装置204の前にいるだけなのかを判定し、コンテンツに対するユーザの関心度を求める材料とする。表示装置204の前方を様々な角度から視野に収める複数のカメラ212を設け、それら複数のカメラ212の撮影画像からユーザ80の視線の向き等を総合的に評価してもよい。
関心度判定部214は、表示装置204に表示されているコンテンツに対するユーザ80の関心度を求める。関心度は、例えば、ユーザ80が表示装置204に表示されているコンテンツに注目している時間の長さから判定する。注目している時間が長いほど、関心度が高いと判定する。ユーザ80が表示装置204に表示されたコンテンツに注目しているかどうかは、上述のようにカメラ212が撮影した画像に写ったユーザ80の状態から判定すればよい。画像から人物の顔や目を検出する技術として従来様々な技術が提案されており、そのような技術を用いることでカメラ212の撮影画像中のユーザ80の視線が表示装置204を向いているか否かが判定できる。そして、向いていると判定した場合にユーザ80がコンテンツに注目していると判定すればよい。そして、表示中のコンテンツにユーザ80が注目している時間の長さを累計していき、その累計値をあらかじめ定めた計算式(例えば累計値に所定の係数をかけるもの)に適用することで、関心度を求める。
表示装置204の前方近傍に複数のユーザ80がいる場合、それらユーザ80の識別が必要になる。この識別は、カメラ212の撮影画像に基づいて行えばよい。例えば、ID認識部210で認識中のユーザIDが複数ある場合、関心度判定部214は、送受信部202を介してそれら認識している各ユーザIDに対応するセルフボール100に対して、それぞれ、他と異なる特定の発光パターン(例えば互いに異なる色、又は互いに異なる点滅パターン等)で発光するように指示する。あるいは、各ユーザIDに対応するセルフボール100を,時間を違えて順番に発光させることでも、撮影した画像内の各セルフボール100がどのユーザIDに対応するものなのかを特定できる。
そして、カメラ212が撮影した画像から各セルフボール100の発光パターンを認識することで、それら各セルフボール100を持っているユーザ80を識別する。これにより、画像内の各ユーザ80がそれぞれどのユーザIDに対応するのか識別でき、それら各ユーザ80がそれぞれ表示中のコンテンツに注目しているかどうかが判別できる。
なお、各セルフボール100の外表面にそれぞれ固有の模様を持たせておき、カメラ212で撮影した画像からその模様を認識することで、その画像内のセルフボール100を識別(すなわちそのセルフボール100のユーザIDを認識)してもよい。この場合、セルフボール100表面の模様からユーザIDが特定されるので、ユーザIDを電子的なデータとして保持するユーザID保持部104をセルフボール100に持たせる必要はない。セルフボール100表面の模様は、例えばそのボール固有のIDを示すバーコード等の画像コードであってもよいが、これに限られるものではない。
関心度判定部214は、表示中のコンテンツに対するユーザ80からの反応を関心度に反映させてもよい。例えば、表示中のコンテンツに対してユーザ80から質問を(例えば上述のように音声で)受けた場合、関心度判定部214は、ユーザ80のそのコンテンツに対する関心度を、例えばあらかじめ定めた値だけ上昇させる。また、表示装置204がタッチパネルで構成され、ユーザ80が表示装置204に対して例えば表示の拡大等のタッチ操作を行った場合、ユーザ80のそのコンテンツに対する関心度を、例えばその操作の種類に対応するあらかじめ定めた値だけ上昇させる。またタッチ操作により、そのコンテンツからリンクされている別のコンテンツが呼び出され表示された場合、呼び出し元のコンテンツ及び呼び出し先のコンテンツに対するそのユーザ80の関心度をあらかじめ定めた値だけ上昇させる。
関心度通知部216は、関心度判定部214が求めた関心度の情報を、送受信部202を介してセルフボール100に通知する。関心度通知部216がセルフボール100に通知する情報(「通知情報」と呼ぶ)は、例えば宛先であるセルフボール100のユーザID、その関心度の対象であるコンテンツの情報(例えばコンテンツのデータそのもの、あるいはコンテンツのID、またはその両方)、及び求めた関心度、を含む。その通知情報を受け取ったセルフボール100は、自身のユーザID保持部104に保持しているユーザIDが、その通知情報に含まれるユーザIDと一致する場合に、その通知情報内のコンテンツと関心度のペアを関心度記憶部124に登録する。その通知情報内のコンテンツが既に関心度記憶部124内に登録されている場合は、登録されているそのコンテンツの関心度の値を、その通知情報に含まれる関心度の値へと更新する。なお、デジタルサイネージシステム200の送受信部202が個々のセルフボール100と個別に通信できる場合は、関心度判定部214が求めた関心度に対応するユーザIDに対応するセルフボール100の送受信部102の通信アドレスを宛先として、求めた関心度とコンテンツの情報とを送信すればよい。
関心度通知部216は、セルフボール100と無線通信できる間、例えば定期的に、その時点での表示中のコンテンツに対するユーザ80の関心度を示す通知情報をそのセルフボール100に通知する。
次に、図11を参照して見学スペースシステム300の機能構成の例を説明する。見学スペースシステム300は、送受信部302、カメラ304、ID認識部306、プロジェクト情報保持部308、関心度判定部310及び関心度通知部312を有する。
見学スペースシステム300は、プロジェクトルーム35内の様子を見学できる見学スペースにいるユーザ80の、そのプロジェクトルーム35内で遂行されているプロジェクト(例えばプロジェクト参加者による会議や作業)に対する関心度を求めるためのシステムである。プロジェクトに対する関心度は、上述したデジタルサイネージシステム200におけるコンテンツに対する関心度と同様の方法で求めればよい。すなわち、カメラ304で撮影した画像から、その画像内のユーザ80がプロジェクトルーム35内を注視しているか否かを判定し、注視している時間の積算値から、そのプロジェクトルーム35内で実施されているプロジェクトに対するそのユーザ80の関心度を計算する。
送受信部302、カメラ304、ID認識部306の役割及び機能は、デジタルサイネージシステム200の送受信部202、カメラ212、ID認識部210と同様である。ただし、カメラ304は、見学スペース30内の、プロジェクトルーム35内を見ているユーザ80を視野に収める位置に設置される。カメラ304は複数台設けてもよく、見学スペース30内をそれら複数台のカメラ304で様々な方向から撮影し、その撮影結果から各ユーザ80の視線方向を判定してもよい。
プロジェクト情報保持部308は、プロジェクトルーム35内で現在実行されているプロジェクトを特定する情報を保持する。そのような情報の例としては、例えば、そのプロジェクトルーム35で実施されるプロジェクトのスケジュール(時間割)がある。そのスケジュールと現在時刻から、プロジェクトルーム35内で現在実施されているプロジェクトの識別情報(プロジェクトID)を求めることができる。また、プロジェクト情報保持部308が保持する情報は、プロジェクトルーム35内で現在実施されているプロジェクトのプロジェクトIDそのものであってももちろんよい。なお、見学スペースシステム300は、プロジェクト情報保持部308を持つ代わりに、共有ワークスペース10が有するプロジェクトルーム群の予約等を管理するサーバから、現在そのプロジェクトルーム35で実施されているプロジェクトのIDを取得するようにしてもよい。
関心度判定部310は、上述のようにデジタルサイネージシステム200の関心度判定部214と同様の方法で、カメラ304が撮影した画像からプロジェクトルーム35内で実行されているプロジェクトに対するユーザ80の関心度を求める。例えば撮影した画像から各ユーザ80がプロジェクトルーム35内を注視しているか否かを判定し、各ユーザ80が注視している時間の長さから、それら各ユーザ80の関心度を計算する。カメラ304の画像内に複数のユーザ80が写っている場合の、個々のユーザ80のユーザIDの特定も、デジタルサイネージシステム200と同様の方法で行えばよい。
関心度通知部312は、プロジェクト情報保持部308が保持する情報から求めた現在プロジェクトルーム35内で実施中のプロジェクトの情報(プロジェクトID、及び/またはプロジェクトの代表画像等)と、関心度判定部310が求めた関心度と、をその関心度の対象であるユーザのセルフボール100へと通知する。その通知にそのユーザIDを含め、ブロードキャストしてもよい。
次に図12を参照して、ラウンジシステム400の機能構成の例を示す。ラウンジシステム400の主たる役割は、ラウンジ40内にいるユーザ80が「コミュニケーション忌避状態」であるか否かを判定し、その判定結果をそのユーザ80のセルフボール100に通知するというものである。コミュニケーション忌避状態とは、ユーザ80が他者と共通するテーマに関心を持っていることを示唆する通知を得たくない状態である。この通知は、セルフボール100のコミュニケーション促進動作(例えば相手に向かってそのボールが移動)の形でなされ、相手とのコミュニケーションのきっかけをもたらすので、このような通知を得たくない状態とは他者とのコミュニケーションを忌避する状態である。
ユーザ80の状態がコミュニケーション忌避状態か否かは、例えば、カメラ404で撮影したそのユーザ80の顔の表情や身体の姿勢や仕草から判定する。例えば眉間にしわがよっていたり、何かに集中しているさまを見せたり、体の向きが相手と逆方向を向いていたりしていた場合には、コミュニケーション忌避状態であると考えられる。画像からユーザ80のそのような状態を検知することで、ユーザ80がコミュニケーション忌避状態であるかどうか判断すればよい。ユーザ80の画像からそのユーザ80がコミュニケーション忌避状態にあるか否かを判定する方法としては、例えば以下の文献(a)〜(c)のいずれかに記載された方法を利用すればよい。
(a)渡邉雄一、遠藤智子、武川直樹、「コミュニケーションしたい/したくない顔動画像の認識」、日本顔学会誌、2011年09月08日発行、第11巻第1号第165ページ
(b)湯浅将英、「脳計測を用いた抽象顔の表現力の分析とコミュニケーションインタフェースへの応用」、[online]、東京電機大学、[平成28年3月25日検索]、インターネット(URL:
http://www.rcat.dendai.ac.jp/db_pdf/400.pdf
)
(c)北嶋優貴、「顔情報及び頭部姿勢による会話参加者の発話欲求の推定」、千葉工業大学情報科学部卒業論文、2014
この例はユーザ80を撮影しているカメラ404の画像からそのユーザ80がコミュニケーション忌避状態か否かの判定を行うものであったが、カメラ404以外の情報源からの情報に基づいてその判定を行ってもよい。判定に用いるカメラ404以外の情報源としては、例えば、そのユーザ80のスケジュール情報がある。例えばその判定を行う時点の直前(例えばその時点から時間を遡る向きにあらかじめ定めた時間以内)にユーザ80が会議に参加していたことがスケジュール情報から分かる場合、ユーザ80は疲れており他者と会話せずに休みたい状況である可能性が高いので、そのような場合には、そのユーザ80はコミュニケーション忌避状態であると判定する。同様に、判定の時点の直後(例えばその時点からあらかじめ定めた時間以内)にユーザ80が例えば会議に参加する予定である場合、ユーザ80は会議のこと以外で他者から煩わされたくない可能性が高いので、その場合にはそのユーザ80はコミュニケーション忌避状態であると判定する。ここでは、会議を例に挙げたが、ユーザ80への負担が大きいと一般に考えられる別の種類のイベントについても、同様の判定を行えばよい。ユーザ80のスケジュール情報は、共有ワークスペース10内あるいはインターネット上にあるスケジュール管理システムから得ればよい。このような判定は、ラウンジシステム400のユーザ状態判定部408又はセルフボール100のユーザ状態判定部142が行えばよい。
また更に別の情報源の例として、ユーザ80が装着しているウェアラブルデバイスやセルフボール100が備えるセンサから得られるユーザ80のバイタルデータ(例えば脈拍数、体温)がある。例えば、バイタルデータから推定できるユーザ80の状態が、疲労や緊張などといった他者との会話にあまり適していない状態である場合、そのユーザ80がコミュニケーション忌避状態であると判定する。この判定は、セルフボール100のユーザ状態判定部142が行えばよい。
以上、コミュニケーション忌避状態の判定手法の例をいくつか説明した。ラウンジシステム400のユーザ状態判定部408及びセルフボール100のユーザ状態判定部142は、以上に例示した手法や他の同様の手法のうちの一つ以上を用いて、ユーザ80がコミュニケーション忌避状態であるか否かを判定する。
図12に例示するラウンジシステム400は、送受信部402、カメラ404、ID認識部406、ユーザ状態判定部408、及びユーザ状態通知部410を有する。
送受信部402、カメラ404、ID認識部406の役割及び機能は、デジタルサイネージシステム200の送受信部202、カメラ212、ID認識部210と同様である。ただし、カメラ404は、ラウンジ40内のテーブル45の周囲にいる各ユーザ80の顔の表情や仕草が捉えられるよう、必要に応じて複数設置される。また、ラウンジ40内のテーブル45上のセルフボール100に対してコミュニケーション促進動作のための移動方向をラウンジシステム400から通知する実施例では、テーブル45上の各セルフボール100の位置を特定可能な画像を撮影できる位置(例えばテーブル45の真上)にもカメラ404を設ける。また、複数のカメラ404で異なる方向からテーブル45上を撮影した画像から、三角法を用いてそのテーブル45上の各セルフボール100の位置を特定してもよい。ここで画像内の複数のセルフボール100の識別は、デジタルサイネージシステム200の表示装置204の前方近傍に複数のユーザ80がいる場合の個々のユーザ80の識別方法として上で説明した方法と同様の方法(各ボールにそれぞれ個別のパターンで発光させたり、各ボールの表面の固有の模様を識別したりする方法)を用いればよい。
ユーザ状態判定部408は、カメラ404で撮影したテーブル45の周りにいるユーザ80の表情等から、そのユーザがコミュニケーション忌避状態であるか否かを判定する。ユーザ状態通知部410は、その判定の結果を、対応するセルフボール100に通知する。ユーザ状態通知部410が通知する情報には、例えば、判定対象のユーザのユーザIDと、判定結果(例えばコミュニケーション忌避状態であるか否かを示す値)とが含まれる。なお、このユーザIDは、撮影した画像中でその判定対象のユーザの最も近くにあるセルフボール100のユーザIDである。
なお、ここではコミュニケーション忌避状態の判定のためにユーザ80の表情等を解析する際の材料として、ラウンジシステム400のカメラ404で撮影したユーザ80の画像を用いたが、この代わりに、またはこれに加えて、そのユーザ80のセルフボール100のカメラ106でそのユーザ80を撮影した画像を用いてもよい。例えば、ユーザ状態判定部142が、カメラ106が撮影したユーザ80の画像からラウンジシステム400のユーザ状態判定部408と同様の手法でそのユーザ80がコミュニケーション忌避状態か否かを判定すればよい。また、ユーザ状態判定部142が、自身の判定結果と、ラウンジシステム400のユーザ状態判定部408の判定結果と、を総合評価して、ユーザ80がコミュニケーション忌避状態か否かを最終的に判定してもよい。なお、セルフボール100のカメラ106をユーザ80の方向に向けさせるために、ラウンジシステム400からセルフボール100に対して、対応するユーザのそのセルフボール100に対する相対的な方向を通知してもよい。通知する方向は、カメラ404で撮影した画像内でのセルフボール100とユーザ80との位置関係から割り出せばよい。
またユーザ状態判定部408は、テーブル45を囲むユーザ80同士の互いに対する関心度を求めてもよい。ユーザの他のユーザに対する関心度は、ユーザのコンテンツに対する関心度とは別の方法、別の尺度で求める。ユーザ80(第1ユーザと呼ぶ)の他のユーザ80(第2ユーザと呼ぶ)を見た時やその後の顔の表情や仕草、あるいは第1ユーザが見せる第2ユーザに対する態度から、第2ユーザに対する第1ユーザの関心度を求める。例えば、第1ユーザが第2ユーザを見たときに、第1ユーザの顔の表情が曇ったり、(第2ユーザと視線が合わないよう)身体や顔の向きを変えたりした場合には、第1ユーザの第2ユーザに対する関心度を下げる。どれだけ下げるかは、表情や仕草の種類に応じて定めておけばよい。逆に、第1ユーザが第2ユーザを注視したり、第2ユーザのちらちらと何度も繰り返し見たりした場合には、第1ユーザの第2ユーザに対する関心度を上げる。どれだけ上げるかは、表情や仕草の種類に応じて定めておけばよい。第1ユーザが第2ユーザを見たかどうかは、カメラ404(あるいは複数のカメラ404)で撮影した画像から第1ユーザの視線の方向を求めることで判定すればよい。また、第1ユーザの表情や仕草は、その画像内でのユーザ80の顔や身体の状態を解析することで求めればよい。ユーザ80がラウンジ40に入ってきたときに、そのユーザ80の他の各ユーザに対する関心度をそれぞれ所定の初期値に設定し、以降、上述した条件に合致する表情や仕草を検知する毎に、その関心度を増減していけばよい。ユーザ状態通知部410は、このようにしてユーザ状態判定部408が求めた当該ユーザ80の他の各ユーザ80に対する関心度のうち、特に当該ユーザ80に近接しているユーザ80(すなわち当該ユーザ80のセルフボール100に近接しているとして検知されたセルフボール100を持つ他のユーザ80)に対する関心度の値を,当該ユーザ80のセルフボール100に通知する。この通知は、そのセルフボール100がコミュニケーション促進動作を行うかどうかの判定の材料として用いてもよい。
次に,図13を参照して、マルチディスプレイシステム500の機能構成の例を説明する。マルチディスプレイシステム500の主たる役割は、ユーザの関心度の高いテーマに関する情報を複数の表示装置510に一覧表示するというものである。
マルチディスプレイシステム500は、送受信部502、カメラ504、ID認識部506、関心情報取得部508、複数の表示装置510、表示制御部512、及びユーザ位置判定部514を有する。複数の表示装置510(以下「マルチディスプレイ」と呼ぶ)は、壁面に例えば格子状(マトリクス状)に配列されており、例えば1つの大画面のディスプレイとして利用することも、各表示装置510にそれぞれ別々の画像を表示することもできる。
送受信部502、カメラ504、ID認識部506の役割及び機能は、デジタルサイネージシステム200の送受信部202、カメラ212、ID認識部210と同様である。カメラ504は、マルチディスプレイの前にいるユーザ80が捉えられるよう、必要に応じて複数設置される。カメラ504で撮影された画像は、ユーザ80が、表示装置510群が構成する大画面のどの位置にいるかを検出するのに用いる。カメラ504のマルチディスプレイに対する相対位置と、カメラ504の視野の向き等が分かっていれば、そのカメラ504が撮影した画像内でのユーザ80の位置から、マルチディスプレイのどの位置にそのユーザ80がいるのかが計算できる。
関心情報取得部508は、送受信部502及びID認識部506により認識された、マルチディスプレイの前方近傍のユーザ80のセルフボール100から、そのセルフボール100の関心度記憶部124に記憶された各テーマの関心度の情報を取得する。取得する情報は、例えば、各テーマの識別情報(例えばコンテンツのID又はキーワード)と関心度である。
表示制御部512は、マルチディスプレイを構成する複数の表示装置510のそれぞれにおける表示を制御する。表示制御部512は、各表示装置510にそれぞれどの画像コンテンツを表示するのか指示する。例えば表示制御部512は、関心情報取得部508が取得したマルチディスプレイ前方近傍のユーザ80の関心度の情報に基づき、関心度が高い順にいくつかのテーマについての情報を各表示装置510に割り振って表示させる。表示する情報は、関心度が高いコンテンツそのもの、関心度が高いキーワード、関心度が高いキーワードで検索した画像やウェブページ、関心度が高いコンテンツやキーワードにあらかじめ関連付けられていた他のコンテンツ、等である。また、表示制御部512は、隣接する2×2個又は3×3個等の複数の表示装置510を1つの画面としてその画面に画像コンテンツを表示する機能も有する。例えば、関心度が最高のテーマについては、複数の表示装置510で形成した大画面領域にそのテーマの情報を表示する。また表示制御部512は、マルチディスプレイのうちユーザ位置判定部514が求めたユーザ80の位置に近い部分に、そのユーザ80の関心度が最も高いテーマについての情報を表示する制御を行ってもよい。
なお、マルチディスプレイに表示する複数の表示画面の区切りは、個々の表示装置510の物理的な画面の区切りと一致しなくてもよい。1つの表示装置510の物理的な画面に、異なるコンテンツを表示する複数の表示画面の一部が含まれてもよい。また、マルチディスプレイの代わりに、単一の大画面の表示装置を設け、その大画面を複数の小画面に分割して複数の画像を表示してもよい。
ユーザ位置判定部514は、マルチディスプレイに対するユーザ80の相対的な位置、を判定する。例えば、カメラ504の画像内でのユーザ80の位置から、実空間にあるマルチディスプレイに対するユーザの位置を計算すればよい。
以上、システム構成の第1の例について説明した。次に、本システムが実現する、ラウンジ40内にいるユーザ80同士のコミュニケーション促進のための処理の例を、図14を参照して説明する。
図14は、コミュニケーション促進を行う、互いに近接しているセルフボール100の処理の流れを示している。これらセルフボール100を携帯したユーザ80がラウンジ40に入ってくる前に、デジタルサイネージシステム200の表示やプロジェクトルーム35内でのプロジェクトの様子、各種展示物等の種々のコンテンツを見て回っており、関心度記憶部124にはそれら各コンテンツ(及びそれらに関連するキーワード)に対する関心度が蓄積されている。
この例では、各セルフボール100は、それぞれ、送受信部102によるBluetooth Class 3等の通信距離が比較的小さい(例えば数十cm)無線通信プロトコルで通信可能な相手を定期的に探索している。そのような相手が検知されると、そのプロトコルで相手と通信接続(ペアリング)する(S102、S103)。ここで、ペアリングのためのネゴシエーションの際に、例えば自分がセルフボール100であることを示す識別情報を相互にやりとりすることで、相手がセルフボール100であることを確認し、相手がセルフボール100である場合にのみペアリングを行うようにする。このペアリングの際、例えばランダムで、それら2つのセルフボール100のうち一方が親機となり、他方が子機となる。また、S102、S103では、各セルフボール100は、BLE等の距離計測によりそれら2つのセルフボール100が互いにあらかじめ定めた範囲内にあることが分かった場合に、互いに相手を、自セルフボール100に「近接している」ものとして検知してもよい。
親機は、注目テーマ判定部144により、自分の関心度記憶部124から、関心度があらかじめ設定されている閾値以上であるテーマ、すなわち注目テーマを抽出する。そして、抽出した注目テーマの情報を、ペアリングにより確立された通信経路を介して子機に送信する(S104。近接ユーザ情報通信部146)。送信する注目テーマの情報は、抽出した各注目テーマのID(例えばコンテンツIDやキーワードそのもの)だけであってもよいし、それら各注目テーマについての親機ユーザの関心度の値を含んでいてもよい。
子機は親機から注目テーマの情報を受信する(S106)。子機の近接ユーザ情報通信部146は、注目テーマ判定部144により、子機の関心度記憶部124から関心度が上記閾値以上である注目テーマを抽出する。そして、抽出した注目テーマ群と、S106で受信した親機ユーザの注目テーマ群とを比較し、親機と子機の間で共通する注目テーマを抽出する(S108)。S108では、親機と子機の間で共通する注目テーマをすべて抽出してもよいし、親機と子機の間で一致する注目テーマのうち関心度(親機と子機の関心度の例えば合計)が上位のあらかじめ定めた数(例えば最上位のもの1つ)のものを抽出してもよい。
子機の近接ユーザ情報通信部146は、S112で抽出した共通の注目テーマの情報を親機に送信する(S110)。なお、S108で親機と子機の間で共通する注目テーマが見つからなかった場合は、S110では共通の注目テーマがないことを示す情報を送信する。
親機は、S110で子機から送信された情報を受信する(S112)。親機の促進動作指示部148は、その情報に、親機・子機間での共通の注目テーマが含まれているか否かを判定し(S114)、共通の注目テーマがない場合は、送受信部102に子機との通信接続を切断させる(S118)。この後、送受信部102による相手セルフボール100の探索が定期的に繰り返されるが、S114で共通注目テーマがないと判定した子機とは、例えばあらかじめ定められた時間が経過するまでは再度のペアリングを行わないようにしてもよい。このために、ペアリング(S102,S103)の際、相手セルフボール100の識別情報(例えばユーザID)を受け取っておき、S114で共通の注目テーマがないと判定した場合は、その識別情報を一定期間ペアリング禁止のリストに入れるなどすればよい。
S114で共通の注目テーマがあることが分かった場合、親機の促進動作指示部148は、コミュニケーション促進動作を実行する旨決定し、子機に対してコミュニケーション促進動作の実行を指示する(S120)。また、ボール駆動制御部126等にあらかじめ定めたコミュニケーション促進動作を実行させる(S122)。
また、子機の促進動作指示部148は、親機からコミュニケーション促進動作の実行指示を受けた場合(S124)、ボール駆動制御部126等にあらかじめ定めたコミュニケーション促進動作を実行させる(S126)。
例えば、コミュニケーション促進処動作として、親機・子機を自転移動で互いに近づけ合う動作を行う場合には、親機及び子機の促進動作指示部148は、上述した相手セルフボール100の方向を求める処理(ラウンジシステム400が求めた子機の方向を取得、またはカメラ106を利用して子機を探す等)を実行し、求めた方向に向かって例えばあらかじめ定めた速度で自転移動するようボール駆動制御部126に指示する。また、この指示では、何かに衝突したり、移動距離があらかじめ指定した距離に達したりするというあらかじめ定められた条件が満たされると、その自転移動を停止するよう指示する。
なお、親機と子機が自転移動で近づくコミュニケーション促進動作は、それらのうちの少なくとも一方がテーブル45等の平面上にある場合には可能であるが、両方が例えばそれぞれのユーザ80の手に持たれている状態では不可能である。したがって、親機及び子機は、自身が平面上にあることを確認し、確認できた場合にそのような自転移動の動作を行うようにしてもよい。平面上にあることの確認は、例えば、内蔵する加速度センサの信号で自セルフボール100が静止していることを確認したり、カメラ106で自セルフボール100の周囲を撮影(必要に応じて回転しながら撮影)した画像を解析することで自セルフボール100の周囲が平面であることを確認したりすることで達成できる。また、ラウンジシステム400が、テーブル45上を撮影した画像から、各セルフボール100がテーブル45上にあるか否かを判定し、その判定結果をそれぞれ対応するセルフボール100に通知してもよい。
また、コミュニケーション促進動作として、共通の注目テーマに関する情報をテーブル45の上面等に投影する処理を行う場合には、コミュニケーション促進処理部140は、プロジェクタ110の投影方向(セルフボール100の外殻に設けられた投影用の窓の向き)があらかじめ定めた向きになるようボール駆動制御部126にセルフボール100の姿勢制御を実行させ、適切な姿勢になった後、投影制御部132に対して、共通の注目テーマについての投影情報を渡し、プロジェクタ110から投影させる。
また親機・子機を自転移動で互いに近づけ合った後、親機または子機の少なくとも一方に共通の注目テーマについての情報を投影させるというコミュニケーション促進動作を行ってもよい。またこのほかに、コミュニケーション促進動作として、発光や音声案内、振動などといった他の形態の動作を行ってもよい。
また、親機及び子機がそれぞれ平面上にあるか否かを上述のように判定し、平面上にあれば自転移動で近づく動作(又は注目テーマの画像の投影)、そうでなければ振動や音声案内の動作、等というように、親機、子機の置かれている状況を判定し、その判定結果に応じてコミュニケーション促進動作の種類を選択するようにしてもよい。
図14に示した例では、共通の注目テーマがあった場合、親機及び子機の両方にコミュニケーション促進動作を実行させていたが、この代わりに、親機または子機の一方のみにコミュニケーション促進動作を実行させてもよい。また、図14の例では、子機はS108で共通の注目テーマを見つけた場合、それを親機に通知し(S110)、親機からの指示を待って(S124)コミュニケーション促進動作を実行した(S126)が、この与那処理の流れは一例に過ぎない。例えば子機は、S108で共通の注目テーマがあることを見つけると、コミュニケーション促進動作を実行し、親機に対してコミュニケーション促進動作の実行を指示してもよい。親機と子機との間の情報交換により両者間での共通の注目テーマを探し、共通の注目テーマが見つかれば、親機及び子機のうちコミュニケーション促進動作を担当する側(両方であってもよい)が所定のコミュニケーション促進動作を行えばよい。これらの点は、この点は以下に示す図15〜図18の例についても同様である。
次に図15を参照して、コミュニケーション促進のための処理の別の例を説明する。
図15の処理では、ユーザ状態判定部142(及びラウンジシステム400)によるユーザのコミュニケーション忌避状態の判定結果に応じて処理を変える。
図15の例では、セルフボール100のユーザ状態判定部142は、例えば定期的に、ラウンジシステム400のユーザ状態判定部408から得た判定結果や、カメラ106等の自セルフボール100のセンサ等から得た情報から、ユーザ80がコミュニケーション忌避状態であるか否かを判定する(S100,S101)。ユーザ80がコミュニケーション忌避状態であると判定した場合、S102又はS103での近接する相手セルフボール100の探索には移らず、他のセルフボール100から通信接続の要求が来ても拒否する。したがって、セルフボール100に対応するユーザ80が、表情や仕草等からコミュニケーションしたくないと判断される場合には、仮に近くの他のユーザが同じテーマに注目していたとしても、セルフボール100によるコミュニケーション促進動作は行われない。
一方、S100又はS101の判定結果がコミュニケーション忌避状態でない場合(いわば「話してもいい状態」である場合)、S102又はS103に進み、近接する相手セルフボール100の探索を実行する。ラウンジ40内で近接している2つのセルフボール100を持つユーザ80の両方が共にコミュニケーション忌避状態でない場合、S102及びS103のペアリングが成立し、以降、図14に例示した処理と同様の処理が行われる。
図15の例では、ユーザ80が話をしたくない状態にあるときにコミュニケーション促進動作が行われる可能性が少なくなる。
次に図16を参照して、コミュニケーション促進のための処理の更に別の例を説明する。
図16の例では、図15の例に加え、更に近接しているユーザ同士の互いへの関心度を考慮に入れる。この例では、各セルフボール100のユーザ状態判定部142は、ラウンジシステム400のユーザ状態判定部408等も利用して、上述した方法等を用いて、自セルフボール100のユーザ80の、近くの他ユーザ80に対する関心度を例えば定期的に計算している。
図16の手順のうちS100からS108までは図15の例と同様である。S108の後、子機は、ユーザ状態判定部142が求めた子機ユーザの親機ユーザに対する関心度と、S108で抽出した共通の注目テーマの情報とを親機に送信する(S110a)。
親機は、これらの情報を受信し(S112)、親機・子機間で共通の注目テーマがあるか(S114)、親機ユーザの子機ユーザへの関心度及び子機ユーザの親機ユーザへの関心度が共に閾値以上であるか(S116)を判定する。そして、S114及びS116の両方の判定結果が肯定の場合にのみ、コミュニケーション促進動作を行う(S120〜S126)。S114で共通の注目テーマがあると判定したとしても、S116でいずれか一方のユーザの相手ユーザへの関心が低い(閾値以下)場合には、コミュニケーション促進動作に移行せず、相手セルフボール100との通信を切断する(S118)。
図16の例では、関心が低い相手に対するコミュニケーション促進が行われにくい。
図17に示す更に別の処理手順の例は、図16の例から、コミュニケーション忌避状態の判断に基づく処理の制御(S100及びS101)を除いたものである。
図18に示す更に別の処理手順の例では、デジタルサイネージシステム200やプロジェクトルーム35内のプロジェクト等のコンテンツに対する関心度は用いず、もっぱら近くにいる相手ユーザへの関心度のみに基づいてコミュニケーション促進動作を行うかどうかを制御する。
図18の手順は、S100からS103までは、図15の手順と同じである。S103でペアリングしたあと、子機は、自機のユーザ状態判定部142が求めた子機ユーザの親機ユーザに対する関心度の情報を親機に送る(S110b)。親機は、その関心度の情報を受信し、自機のユーザ状態判定部142が求めた親機ユーザの子機ユーザに対する関心度と、S110bで受信した関心度とが共に閾値以上であるか否かを判定する(S116)。S116の判定結果が否定の場合には、親機・子機間の通信接続を切断し(S118)、S116の判定結果が肯定の場合には、コミュニケーション促進動作を実行する(S120〜S126)。
以上に説明したように、本システムでは、(1)ユーザの各テーマに対する関心度、(2)ユーザの状態(コミュニケーション忌避状態か否か)、(3)ユーザの、現在近くにいる相手ユーザに対する関心度、の3つの指標のうちの1以上を用いて、ユーザと相手ユーザとの間のコミュニケーション促進を制御する。
<システムの全体構成の第2の例>
以上に説明したシステム構成の第1の例では、セルフボール100内の制御部120が、そのセルフボール100がコミュニケーション促進動作を行うか否か判断した。これに対して、別のシステム構成として、コミュニケーション促進動作についての判断機能等の高度な処理をセルフボール100の外部のサーバに持たせてもよい。この場合、セルフボール100は、カメラ等のセンサや、コミュニケーション促進動作のための出力手段(自転移動のための駆動機構等)を備えていればよく、コミュニケーション促進動作を行うか否かやその動作の内容等についてはその外部サーバの判断に従う。
図19に、このシステム構成の例を示す。この例のシステムは、コミュニケーション促進動作の判断等の高度な処理を担当するサーバ600を有する。このサーバ600は、デジタルサイネージシステム200、見学スペースシステム300、ラウンジシステム400、マルチディスプレイシステム500、及び各ユーザ80のセルフボール100と、有線又は無線のLAN、あるいはBluetooth等の無線通信接続を介して通信する。なお、このシステムは、第1の例の場合と同様、共有ワークスペース10に設置されるものである。
この例におけるセルフボール100の構成は、図7に示した第1の例のものと同様でよい。ただし、制御部120が担う機能は、第1の例の制御部120とは異なる。図20に、この第2の例のセルフボール100の制御部120の機能構成の例を示す。
ボール駆動制御部126、発光制御部128、ボール表情制御部130、投影制御部132、近接ユーザ認識部141及びサーバIF(インタフェース)部160を有する。
このうちボール駆動制御部126、発光制御部128、ボール表情制御部130、投影制御部132の機能は、図8に示した第1の例の制御部120における同名同符号の要素の機能と同じである。ただし、第1の例におけるそれら各要素は、制御部120内の促進動作指示部148の指示に従って処理を実行したのに対し、この例では、サーバ600からサーバIF部160を介して与えられる指示に従って処理を実行する。
近接ユーザ認識部141は、第1の例のそれと同様、送受信部102内の通信距離が比較的短い無線装置を用いて通信可能な他のセルフボール100を探し、見つかったセルフボール100のユーザIDを認識する。あるいは、近接ユーザ認識部141は、BLE等により計測した相手セルフボール100との距離があらかじめ定めた閾値以内である場合に、その相手のセルフボール100のユーザIDを「近接しているユーザ」として認識してもよい。なお、ラウンジシステム400がカメラ404で捉えた各セルフボール100の位置からそれらセルフボール100間の距離を求め、近接しているユーザのペアを判定する実施例では、セルフボール100に近接ユーザ認識部141や近接ユーザを探すための特別な無線装置を設ける必要はない。
サーバIF部160は、サーバ600との間でデータや命令のやりとりを行う機能モジュールである。例えば、サーバIF部160は、カメラ106等のセンサが生成した信号やデータや、近接ユーザ認識部141の認識結果(例えば自セルフボール100に近接している他セルフボール100から取得したユーザIDと、自セルフボールのユーザID)をサーバ600に送信する。また、サーバIF部160は、サーバ600から、コミュニケーション促進動作の指示やそれに付随するデータを受け取り、その指示に従ってボール駆動制御部126、発光制御部128、ボール表情制御部130、又は投影制御部132のうちの1以上を制御して、セルフボール100によるコミュニケーション促進動作を実現する。
デジタルサイネージシステム200、見学スペースシステム300、ラウンジシステム400、及びマルチディスプレイシステム500の機能構成は、図11〜図13を参照して説明した第1の例における同名同符号のシステムと同様でよい。ただしこれら各システムは、第1の例は、求めた関心度やユーザ状態(コミュニケーション忌避状態等)の情報をセルフボール100に通知していたのに対し、この第2の例では、サーバ600に通知する(図11〜図12の関心度通知部216,312、ユーザ状態通知部410)。また、セルフボール100と同じ考え方で、デジタルサイネージシステム200、見学スペースシステム300、ラウンジシステム400、及びマルチディスプレイシステム500の高度な情報処理機能(例えば関心度判定部214、310、ユーザ状態判定部408、表示制御部512等)をサーバ600に受け持たせ、それら各システム200等は表示装置204等のハードウエアの制御等といった物理層寄りの機能のみを担当するようにしてもよい。
サーバ600は、例えば、図21に示すように送受信部602、関心度DB(データベース)604、関心度登録部606、ユーザ状態判定部608、共通テーマ判定部610及び促進動作指示部612を有する。
送受信部602は、各ユーザ80のセルフボール100、デジタルサイネージシステム200、見学スペースシステム300、ラウンジシステム400、マルチディスプレイシステム500とLAN等を介して情報の送受信を行う。
関心度DB604は、各ユーザ80の各テーマに対する関心度の情報を管理するデータベースである。関心度DB604に記憶される情報は、第1の例において各セルフボール100が関心度記憶部124に保持していた情報を集めたものと同等でよい。図22に、関心度DB604のデータ内容の一例を示す。この例では、関心度DB604には、各ユーザのユーザIDに対応付けて、そのユーザが見たコンテンツの情報(コンテンツそのもの又はコンテンツID等)と、そのコンテンツに対するそのユーザ80の関心度が登録されている。またこの例では、関心度DB604には、コンテンツに対応付けられた各キーワードについて、そのキーワードに対するそのユーザ80の関心度の情報も登録されている。
関心度登録部606は、デジタルサイネージシステム200、見学スペースシステム300、ラウンジシステム400等から送られてくる、ユーザ80のコンテンツに対する関心度の情報(例えばユーザID、コンテンツID、関心度の値を含む)を受け取り、その情報を関心度DB604に登録する。また、このように受け取ったコンテンツに対する関心度から、関連する各キーワードに対する関心度を計算し、関心度DB604に登録する。
ユーザ状態判定部608は、例えばラウンジシステム400のユーザ状態判定部408の判定結果(及びもし必要ならセルフボール100やユーザ80が装着しているウェアラブルデバイスから得られるセンサの検知データ等)に基づいて、ユーザ80がコミュニケーション忌避状態であるか否かを判定する。
共通テーマ判定部610は、関心度DB604に記憶された情報から、ラウンジ40内で互いに近くにいるユーザ80同士の間で共通の注目テーマ(関心度が閾値以上であるコンテンツやキーワード等)を判定する。
促進動作指示部612は、ユーザ状態判定部608及び共通テーマ判定部610の判定結果に従い、互いに近くにいるユーザ80のセルフボール100に対してコミュニケーション促進動作の実行を指示する。この指示には、そのコミュニケーション促進動作の実行に必要な情報、例えばセルフボール100の移動方向の情報、又は投影する画像のデータ等が含まれる。
第2の例におけるコミュニケーション促進処理の手順の例を、図23を参照して説明する。
図23は、サーバ600と、互いに近接しているセルフボール100のうちの1つとが行う処理の流れを示している。もう1つのセルフボール100の処理は、図示したセルフボール100の処理と同様でよい(あるいはその一部の処理のみを実行すればよい)ので図示を省略した。これらセルフボール100を携帯したユーザ80がラウンジ40に入ってくる前に、デジタルサイネージシステム200の表示やプロジェクトルーム35内でのプロジェクトの様子、各種展示物等の種々のコンテンツを見て回っており、関心度DB604にはそれら各ユーザのそれら各コンテンツ(及びそれらに関連するキーワード)に対する関心度が蓄積されている。
各セルフボール100は、それぞれ、送受信部102及び近接ユーザ認識部141により、第1の例と同様Bluetooth Class 3等の無線通信プロトコルで通信可能な相手を定期的に探索しており、そのような相手が検知されると、そのプロトコルで相手と通信接続(ペアリング)する(S202)。このとき、近接ユーザ認識部141は、ペアリングした相手セルフボール100からユーザIDを取得する。そしてサーバIF部160は、自セルフボール100のユーザIDと、取得した相手セルフボール100のユーザIDと、を含んだ近接検知通知をサーバ600に送る(S204)。自セルフボール100とS202で検知した相手セルフボール100のことを、近接ペアと呼ぶこととする。なお、S204の近接検知通知の送信は、近接ペアを構成する両方のセルフボール100が行ってもよいし、いずれか一方(例えば親機となった方)のみが行ってもよい。
サーバ600は近接検知通知を受信する(S206)。そして、その通知に含まれる2つのユーザIDに対応するユーザがコミュニケーション忌避状態であるかをそれぞれ判定する(S208)。この判定は、ユーザ状態判定部408及び608が、その時点でラウンジシステム400のカメラ404が撮影しているそれら各ユーザの表情や仕草から、第1の例で説明したのと同様の方法で行えばよい。それら近接ペアの2人のユーザのうちいずれか一方でもコミュニケーション忌避状態であると判定した場合(S208の判定結果がY)、処理は終了する。この場合、コミュニケーション促進動作は行われない。それら2人のユーザ80が両方ともコミュニケーション忌避状態ではない、と判定した場合(S208の判定結果がN)、サーバ600(共通テーマ判定部610)は、それら2人のユーザのそれぞれについて、関心度DB604から、そのユーザの関心度が閾値以上であるテーマ(注目テーマ)を特定する(S210)。そして、それら2人のユーザの間で共通する注目テーマを求める(S212)。共通の注目テーマが求められたかどうかを判定し(S214)、求められなかった場合は処理を終了する。共通する注目テーマがあれば、サーバ600(促進動作指示部612)は、近接ペアの各ユーザのセルフボール100に対して第1の例で説明したのと同様のコミュニケーション促進動作の実行を指示する(S216)。この指示の際促進動作指示部612は、例えばラウンジシステム400のカメラ404で撮影した画像により近接ペアの各セルフボール100の位置を特定する等により、それら各セルフボール100の移動方向を求め、その移動方向をそれぞれ対応するセルフボール100に指示する。また、コミュニケーション促進動作として共通の注目テーマについての情報を投影するよう指示してもよい。
互いに近接している各セルフボール100は、サーバ600からのコミュニケーション促進動作の指示を受け取り、その指示に従って各部を制御することでコミュニケーション促進動作を実行する(S218)。
以上に説明した第2の例でのセルフボール100とサーバ600と役割分担はあくまで一例に過ぎない。例えば、第2の例では近接するセルフボール100の検出をセルフボール100が行ったが、この機能さえもサーバ600側に委せる(例えばラウンジシステム400のカメラ404で撮影した画像から検出)という極端なシステム構成も考えられる。この構成では、セルフボール100は、ユーザIDの保持及び提示と、コミュニケーション促進動作の実行のみを担当することとなる。このような極端なシステム構成と、サーバ600を設けずセルフボール100が多くの処理を担うもう一方の極端な構成である第1の例との間で、セルフボール100とサーバ600との間の役割分担が異なる様々なシステム構成をあり得る。
<マルチディスプレイの実施形態>
次に、マルチディスプレイシステム500の表示に関する実施形態を説明する。
前述したとおり、マルチディスプレイシステム500は、マルチディスプレイの前にいるユーザの関心度の情報を関心情報取得部508によりそのユーザの持つセルフボール100又はサーバ600から取得する。そして、表示制御部512は、その関心度の情報に従ってマルチディスプレイに対してどのテーマに関する情報(コンテンツやキーワードに関する情報)を表示するかを制御する。ここで、マルチディスプレイにどのテーマをどのように表示するかは、例えば以下に例示する基準(a)〜(f)のうちあらかじめ定めた少なくとも1つに従い決定する。
(a)マルチディスプレイの前にいるユーザの関心度が高いテーマを強調表示する。例えば、そのユーザの関心度が、あらかじめ定めたある閾値以上のテーマについての情報を強調表示する。また、関心度が高くなるにつれてより強い強調表示を行うようにしてもよい。強調表示は、例えばそのテーマの情報の表示面積を大きくすることにより行う。表示面積は、例えば、1つのテーマを表示する表示装置の数を2×2個や3×3個などに増やすことで大きくする。強調の強さは、表示面積を大きさで表現する。なお、表示面積を拡大することによる強調はあくまで一つの例である。このほかにも、表示画面の明るさやコントラストを強くすることで、関心度が高いテーマほど表示情報が目立ちやすくするという強調表示の態様もあり得る。
(b)マルチディスプレイの前に複数のユーザがいる場合、それら複数のユーザのうち関心度が高い(例えばあらかじめ定めた閾値以上)のユーザの数が多いテーマほど強い強調を施して表示する。例えば、図24に示す例では、マルチディスプレイの前に居るA氏とB氏の2人のユーザの関心度が閾値以上のコンテンツは2×2個の表示装置からなる画面(2倍の拡大)に、A、B、C氏の3人のユーザの関心度が閾値以上のコンテンツは3×3個の表示装置からなる画面(3倍の拡大)に表示されている。
(c)マルチディスプレイの前に複数のユーザがいる場合、それら複数のユーザの関心度を総合した評価値(例えばそれら複数ユーザの関心度の合計値)が高いテーマほど強い強調を施して表示する。
(d)マルチディスプレイの前にいるユーザの関心度が高いコンテンツ(例えば閾値以上)について、そのコンテンツの発信者(例えばそのコンテンツで紹介している事業の代表者やスタッフ)が共有ワークスペース10内に居る場合、そのコンテンツを強調表示する。この場合の強調表示の態様は、(a)〜(c)の場合の強調表示とは異なったものとしてもよい。コンテンツの発信者が共有ワークスペース10内に居るか否かは、各ユーザが共有ワークスペース10内に在館しているか否かの情報を管理するサーバに問い合わせることで判定すればよい。
(e)マルチディスプレイの前にいるユーザの関心度が高いテーマについての情報を、マルチディスプレイ上のそのユーザに近い位置に表示する。例えば、そのユーザの関心度が高いテーマについての情報ほど、そのユーザに近い位置に表示する。
(f)マルチディスプレイの前の複数のユーザが共通して関心度が高い(例えばある定めた閾値以上)テーマについての情報は、それら複数のユーザの全員から見やすい位置(例えばそれら複数のユーザが居る位置の真ん中)に表示する。
上記基準(b)及び(f)に従ってマルチディスプレイの表示レイアウトを制御した場合の例を図25に示す。この例のマルチディスプレイ530は4×6個の表示装置510から構成されており、4人のユーザがその前に居る。コンテンツAは、ユーザ1及び2の2人により注目されており(すなわち関心度がある閾値以上である)、コンテンツBはユーザ2,3及び4の3人により注目されているとする。この場合、コンテンツAは、ユーザ1と2のほぼ中央の位置の例えば2×2個の表示装置510からなる画面に表示され、コンテンツBはユーザ2,3及び4のほぼ中央の位置の3×3個の表示装置510からなる画面に表示される。
図26にこの実施形態におけるマルチディスプレイシステム500の処理手順の例を示す。
この手順は例えばあらかじめ定めた時間毎に実行される。
この手順では、まずID認識部506が、無線通信によるユーザIDの認識やカメラ504で撮影した画像からの顔認識等により、マルチディスプレイ530の前方近傍に居るユーザのユーザIDを認識する(S302)。次にユーザ位置判定部514により、それら各ユーザの、マルチディスプレイ530に対する相対位置(特にマルチディスプレイ530の横方向についてのユーザの位置)を判定する(S304)。この位置の判定は、例えば、カメラ504の撮影した画像から各ユーザを識別する前述の方法で行えばよい。関心情報取得部508は、それら各ユーザの関心度の情報をセルフボール100又はサーバ600から取得する。表示制御部512は、関心情報取得部508が取得した情報から各テーマの関心度を求め、それらテーマを関心度が高い順にソートする(S306)。ここでマルチディスプレイ530の前方近傍に複数のユーザが検知された場合には、それら複数のユーザの関心度をテーマ毎に総合(例えば合計)することで、テーマ毎の関心度を求める。
またマルチディスプレイシステム500は、関心度が上位の各テーマのうちのコンテンツについて、そのコンテンツの発信者が共有ワークスペース10に在館しているかどうかを、在館者管理サーバに問い合わせる(S308)。
表示制御部512は、S306のソート結果における関心度が上位の各テーマについて、上記(a)〜(f)に例示した基準のうちあらかじめ定めた1以上の基準に従い、それら各テーマの表示形態を決定する(S310)。ここで決定する各テーマの表示形態(言い換えればマルチディスプレイ530の表示レイアウト)は、テーマ毎の表示面積、表示位置(マルチディスプレイ530内のどの部分に表示するのか)、画像のコントラストや明るさ等のうちの1以上である。
そして表示制御部512は、関心度が上位の各テーマの情報を、S310で決定した表示形態で表示する(S312)。これにより、マルチディスプレイ530の表示が更新される。
この実施形態において、特定種類の強調表示(例えば表示面積を拡大することによる強調)の適用は、複数のユーザに共通して関心度の高いテーマについての情報の表示に限定してもよい。
また、強調表示を行う場合、その強調表示の対象となるテーマについて関心度が高い(例えば閾値以上)のユーザのセルフボール100に対して、マルチディスプレイシステム500から通知を送ってもよい。セルフボール100は、この通知を受け取ると、例えば振動や発光などを行うことで、そのセルフボール100を持つユーザの注意を喚起する。また、この通知及びこれに応じたセルフボール100の振動等の動作は、複数のユーザに共通して関心度が高いテーマについての特定種類の強調表示を行う場合に限定してもよい。この場合、この通知をセルフボール100の動作により認識したユーザは、マルチディスプレイ530の前に自分と共通の関心を持っているユーザがいることが分かる。
また、マルチディスプレイシステム500は、マルチディスプレイ530上にコンテンツを表示した場合に、そのコンテンツの発信者に通知を行ってもよい。この通知は、例えば、その発信者が持つセルフボール100に対して無線LAN等を介している。通知を受けたセルフボール100は、あらかじめ定められた特別な動作(例えば特別なパターンでの振動)を行う。あるいは、この通知には、電子メール等の他の通信手段を用いてもよい。コンテンツの発信者の情報は、そのコンテンツに付随するメタデータやコンテンツの情報を保持しているデータベースから得ればよい。コンテンツの発信者は、この通知により、その発信者が関係しているコンテンツに興味を持つ人がマルチディスプレイ530の前にいることを知り、例えばマルチディスプレイ530のところまで行ってその人とコミュニケーションをとる。この通知を行うのを、コンテンツが強調表示された場合に限定してもよい。
また、図26の手順では、S308で各コンテンツの発信者の中にその時点で在館している者を調べ、そのような者がいれば、対応するコンテンツをS310及びS312で強調表示したが、これは一例に過ぎない。在館している場合だけでなく、例えばその時点からあらかじめ定めた時間以内、あるいは当日中にコンテンツの発信者が来館する予定がある場合に、そのコンテンツをマルチディスプレイ530に強調表示してもよい。
この実施形態では、マルチディスプレイ530の前に居るユーザの関心度が高いテーマの情報(コンテンツやキーワード等)が目立つように表示される。また、マルチディスプレイ530の前にいる複数のユーザが共通して関心の高いテーマ(それらユーザが共感しているテーマ)がある場合に例えば特別な種類の強調表示が行われることで、それらユーザのコミュニケーションのきっかけが与えられる。
ここでは、複数の表示装置510を格子状に配列したマルチディスプレイ530に表示を行う例を示したが、マルチディスプレイ530の代わりに、単一の大画面の表示装置を設け、その大画面を複数の小画面に分割して複数の画像を表示してもよい。
<その他の例>
(1)以上の例では、ユーザが携帯するセルフボール100がそのユーザのユーザIDを保持し、共有ワークスペース10内のデジタルサイネージシステム200等の情報処理システムは、セルフボール100が持つユーザIDを認識することで、そのユーザを識別した。ただし、これは一例に過ぎない。この代わりに、例えばデジタルサイネージシステム200が、自分が備えるカメラ212により撮影した画像から顔認識技術によりユーザを識別することで、表示装置204の前にいるユーザ80のユーザIDを特定してもよい。見学スペースシステム300、ラウンジシステム400、マルチディスプレイシステム500等についても同様である。
(2)以上の例では、主として共有ワークスペース10内で提示されるコンテンツに対するユーザ80の反応(注視、タッチ、声での質問等)に基づいてユーザのコンテンツへの関心度を計算し、同一テーマについての関心度が共通して高いユーザ間でコミュニケーション促進動作を実行した。このほかに、あるコンテンツに対して閾値以上の高い関心度を持つユーザ80と、そのコンテンツの発信者(例えばそのコンテンツで紹介している事業の代表者やスタッフ)とがラウンジ40等の同じ場所(ラウンジ40等)に居合わせた場合に、それら両者間でのコミュニケーション促進動作を実行してもよい。
これには1つの例では、コンテンツの発信者に該当するユーザ80について、セルフボール100内の関心度記憶部124又はサーバ600の関心度DB604に記憶される当該ユーザ80の当該コンテンツに対する関心度の値を、例えば最高値等のあらかじめ定めた高い値に設定しておけばよい。また別の例では、図14等の処理手順のS104、S108、図23のS210等において、セルフボール100を持つユーザ80の注目テーマを求める際、そのユーザ80が発信者であるコンテンツを自動的に注目コンテンツに選ぶ。このようにすることで、コンテンツの発信者とそのコンテンツに対する関心度が高いユーザが共にセルフボール100を持って近くに居合わせると、上記第1及び第2のシステム構成の例の処理により、それら両者の間でセルフボール100によるコミュニケーション促進動作が実行される。ここで、例えば、セルフボール100、デジタルサイネージシステム200、見学スペースシステム300、ラウンジシステム400、又はマルチディスプレイシステム500等は、コンテンツ自体又はアクセス可能なデータベースに登録されている当該コンテンツの発信者の情報(ユーザID)を調べることで、セルフボール100を携帯しているユーザ80がコンテンツの発信者であるか否かを判定してもよい。
(3)デジタルサイネージシステム200に表示されたコンテンツにタッチすることで、そのコンテンツの発信者と通信手段を介してコミュニケーションが取れるようにしてもよい。通信手段としては、電子メール、チャット、テレビ電話等、様々な者が利用可能である。
(4)コンテンツの発信者が共有ワークスペース10内の自由に会話が可能な特定の場所(例えばラウンジ40)に入ったことを検知した場合に、そのコンテンツに対する関心度が高い(例えば閾値以上)ユーザのセルフボール100に対して通知を行うようにしてもよい。その検知は、ラウンジシステム400等のようにその特定の場所にあるセンサ(カメラやID認識部)により行えばよい。またその通知は、サーバ600等、そのセンサと通信可能な装置が、無線LAN等を介して行えばよい。この通知を受けたセルフボール100は、コンテンツの発信者が特定の場所にいることを示すあらかじめ定められた特定の動作(例えば特定パターンでの振動、音声での案内等)を行う。ユーザは、セルフボール100のこの動作を感知すると、その特定の場所に出向き、そこにいるコンテンツの発信者がどんな人物かみてからコンタクトを取ることができる。
(5)ユーザのセルフボール100の関心度記憶部124又は関心度DB604に記憶されたそのユーザの関心度の情報から関心度が閾値以上であるコンテンツ(注目コンテンツ)が見つかった場合、そのコンテンツの発信者の次回の来館予定日時等の情報をそのユーザに通知してもよい。この通知のための処理は、セルフボール100及び/又はサーバ600が行う。
以上に説明した各例、各実施形態のシステムは共有ワークスペース10に設置されたが、それらシステムの適用先は共有ワークスペース10に限らない。
また以上に説明した各実施形態では、ユーザはセルフボール100という球状の情報提示装置を携帯したが、これは一例に過ぎない。ラグビーボール形状や円筒状、多角柱形状等といった他の形状の情報提示装置でも、共通の関心を持つ相手ユーザの方に移動するというコミュニケーション促進動作を実行できる。
以上に例示したセルフボール100、デジタルサイネージシステム200、見学スペースシステム300、ラウンジシステム400、マルチディスプレイシステム500のうちの情報処理を担う部分は、例えば1つ又は複数のコンピュータにそれら各システムの機能を表すプログラムを実行させることにより実現される。ここで、コンピュータは、例えば、ハードウエアとして、CPU等のマイクロプロセッサ、ランダムアクセスメモリ(RAM)およびリードオンリメモリ(ROM)等のメモリ(一次記憶)、HDD(ハードディスクドライブ)やSSD(ソリッドステートドライブ)等の固定記憶装置を制御するコントローラ、カメラやスピーカなどの入出力装置に接続される各種I/O(入出力)インタフェース、ローカルエリアネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース等が、たとえばバス等を介して接続された回路構成を有する。また、例えばI/Oインタフェース経由で、CDやDVDなどの可搬型ディスク記録媒体に対する読み取り及び/又は書き込みのためのディスクドライブ、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体に対する読み取り及び/又は書き込みのためのメモリリーダライタ、などが接続されてもよい。上に例示した各機能モジュールの処理内容が記述されたプログラムがCDやDVD等の記録媒体を経由して、又はネットワーク等の通信手段経由で、固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがRAMに読み出されCPU等のマイクロプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。