JP6582024B2 - ショーのための情報支援システム - Google Patents

Description

この発明は、ショーなどにおいて情報支援を行うためのシステムに関するものである。

テーマパークや舞台などで行われるショーにおいて、出演者の台詞を観客が理解できない場合がある。たとえば、観客の耳が不自由であり台詞自体が聞こえない場合や、台詞は聞こえるが台詞が観客の母国語ではないため理解できない場合などである。

このような問題に対処するため、観客の座席に備え付けた表示装置に対して字幕を表示するシステムが提案されている（特許文献１）。このシステムでは、字幕情報送信装置から、各座席の表示装置に対して、台詞を文字情報にして送信し、表示するようにしている。

このシステムによれば、耳が不自由な観客に対しては文字情報にて台詞を表示することができ、外国人の観客に対しては翻訳文字情報にて台詞を表示することができる。

特開２００７−６１４１２

しかしながら、上記従来技術では、字幕情報送信装置を設け、各表示装置に字幕の文字情報を受信するための受信装置を設ける必要があった。また、ショーの進行に台詞文字の表示タイミングが合致するように、操作者が台詞を送信するタイミングを操作する必要があった。

また、このような問題は、台詞の文字情報を表示する場合だけでなく、ショー進行に伴う補助的な文字情報を表示する場合にも生じていた。

さらに、展示品や観光資源（歴史的建造物、史跡など）の説明をスピーカなどで流す場合においても、その説明を文字情報にて伝えることが望まれている。

この発明は、上記のいずれかの問題点を解決して、文字情報を送信するための装置を設ける必要がない情報支援システムを提供することを目的とする。

この発明の独立して適用可能ないくつかの特徴を列挙する。

(1)(2)(3)この発明に係る情報支援システムは、ユーザに向けて少なくともコンテンツ音声を出力するスピーカと、当該スピーカに信号を出力する信号出力装置と、ユーザが有している携帯端末装置とを備えた情報支援システムであって、前記信号出力装置は、前記コンテンツ音声のためのコンテンツ音声信号と、前記コンテンツ音声を選択するための選択音信号と、前記コンテンツ音声の出力開始に応付けられた開始音信号とを少なくとも含む信号を前記スピーカに対して出力するよう構成され、前記携帯端末装置は、前記コンテンツ音声信号の再生によって時間経過とともに前記スピーカから出力される音声と再生タイミングが合致するように作成された文字テキストを含む支援情報を複数単位記録する記録部と、マイクによって取得した周囲音に、前記スピーカから出力された選択音が含まれているかどうかを検出する選択音検出手段と、選択音検出手段によって選択音が検出されると、当該選択音に基づいて前記複数単位の文字テキストを含む支援情報から一つの支援情報を選択する支援情報選択手段と、マイクによって取得した周囲音に、前記スピーカから出力された開始音が含まれているかどうかを検出する開始音検出手段と、開始音検出手段によって開始音が検出されると、前記支援情報選択手段によって選択された文字テキストを含む支援情報のディスプレイへの表示を開始する表示制御手段とを備えた情報支援システムである。

したがって、選択音によって支援情報を選択し、開始音によってタイミングを合致させて再生し、適切に支援情報を表示することができる。

(4)この発明に係る情報支援システムは、記録部に記録された複数単位の支援情報は、同一場所に設置されたスピーカにて時間的に順を追って再生されるコンテンツ音声に対応するものであり、選択音は、各支援情報ごとに異なる周波数の音を含むことを特徴としている。

したがって、同一場所に設置されたスピーカから再生される複数のコンテンツについて、適切な支援情報を提供することができる。

(5)この発明に係る情報支援システムは、記録部に記録された複数単位の支援情報は、異なる場所に設置されたスピーカにて再生されるコンテンツ音声に対応するものであり、記選択音は、各支援情報ごとに異なる周波数の音を含むことを特徴としている。

したがって、異なる場所に設置されたスピーカから再生される複数のコンテンツについて、適切な支援情報を提供することができる。

(6)この発明に係る情報支援システムは、選択音は、所定周波数の音であり、選択音検出手段は、マイクによって取得した周囲音に、当該所定周波数の音が所定レベル以上含まれているか否かによって、選択音が含まれているかどうかを判断するものであることを特徴としている。

したがって、選択音によってユーザに不快感を与えることを減少させたシステムを提供することができる。

(7)この発明に係る情報支援システムは、選択音は、複数の周波数の音が合成されたものであり、選択音検出手段は、マイクによって取得した周囲音に、当該複数の所定周波数の音の全てが所定レベル以上含まれているか否かによって、選択音が含まれているかどうかを判断するものであることを特徴としている。

したがって、多くの種類の支援情報を精度よく選択することが容易である
(8)この発明に係る情報支援システムは、支援情報選択手段は、選択した支援情報を記録部から読み出して、ディスプレイへの表示処理のために、高速アクセス可能なメモリに展開することを特徴としている。

したがって、支援情報の再生処理の立ち上がりが迅速であり、タイミングを正確にとることができる。

(9)この発明に係る情報支援システムは、開始音は、所定周波数の音であり、開始音検出手段は、マイクによって取得した周囲音に、当該所定周波数の音が所定レベル以上含まれているか否かによって、開始音が含まれているかどうかを判断するものであることを特徴としている。

したがって、開始音によってユーザに不快感を与えることを減少させたシステムを提供することができる。

(10)この発明に係る情報支援システムは、開始音は、複数の周波数の音が合成されたものであり、開始音検出手段は、マイクによって取得した周囲音に、当該複数の所定周波数の音の全てが所定レベル以上含まれているか否かによって、開始音が含まれているかどうかを判断するものであることを特徴としている。

したがって、多くの種類の支援情報に対しこれに対応する開始音を用意することが容易である
(11)(12)(13)この発明に係る情報支援システムは、ユーザに向けて少なくとも１番目コンテンツ音声と２番目コンテンツ音声を順次出力する１以上のスピーカと、当該スピーカに信号を出力する信号出力装置と、ユーザが有している携帯端末装置とを備えた情報支援システムであって、前記信号出力装置は、前記１番目コンテンツ音声および前記２番目コンテンツ音声のための１番目コンテンツ音声信号および２番目コンテンツ音声信号と、前記１番目コンテンツ音声および２番目コンテンツ音声を選択するための１番目選択音信号および２番目選択信号と、前記１番目コンテンツ音声および前記２番目コンテンツ音声の出力開始に応付けられた１番目開始音信号および２番目開始信号とを少なくとも含む信号を前記スピーカに対して出力するよう構成され、前記携帯端末装置は、前記第１コンテンツ音声信号および前記第２コンテンツ音声信号の再生によって時間経過とともに前記スピーカから出力される音声と再生タイミングが合致するように作成された文字テキストを含む１番目支援情報および２番目支援情報を記録する記録部と、マイクによって取得した周囲音に、前記スピーカから出力された１番目選択音または２番目選択音が含まれているかどうかを検出する選択音検出手段と、選択音検出手段によって１番目選択音が検出されると、前記記録部に記録された１番目支援情報を再生すべきものとして選択し、選択音再生手段によって２番目選択音が検出されると、前記記録部に記録された２番目支援情報を再生すべきものとして選択する支援情報選択手段と、マイクによって取得した周囲音に、前記スピーカから出力された１番目開始音または２番目開始音が含まれているかどうかを検出する開始音検出手段と、開始音検出手段によって１番目開始音が検出されると、前記支援情報選択手段によって選択された文字テキストを含む１番目支援情報のディスプレイへの表示を開始し、開始音検出手段によって２番目開始音が検出されると、前記支援情報選択手段によって選択された文字テキストを含む２番目支援情報のディスプレイへの表示を開始する表示制御手段とを備えている。

したがって、選択音によって支援情報を選択し、開始音によってタイミングを合致させて再生し、適切に支援情報を表示することができる。

(14)この発明に係る情報支援システムは、１番目選択音は少なくとも第１周波数の音を含み、１番目開始音は少なくとも第１周波数の音および第３周波数の音の混合音を含み、２番目選択音は少なくとも第４周波数の音を含み、２番目開始音は少なくとも第４周波数の音および第３周波数の音の混合音を含むことを特徴としている。

したがって、より正確に支援応報を選択し、正確なタイミングにて再生を行うことができる。

(15)この発明に係る情報支援システムは、１番目開始音は、さらに、第２周波数の音を含む混合音を含み、２番目開始音は、さらに、第５周波数の音を含む混合音を含むことを特徴としている。

したがって、より正確に支援応報を選択し、正確なタイミングにて再生を行うことができる。

(16)この発明に係る情報支援システムは、ディスプレイは、ヘッドマウントディスプレイであることを特徴としている。

したがって、ユーザは容易に支援情報を参照することができる。

(17)この発明に係る情報支援システムは、スピーカは、ショーが行われるエリアに配置され、コンテンツ音声としてショーの出演者の台詞を少なくとも出力し、携帯端末装置は、少なくとも前記台詞に対応する文字テキストを再生するものであることを特徴としている。

したがって、台詞を聞くことができなかったり理解できなかったりする場合であっても、文字テキストにて台詞を知ることができる。

(18)この発明に係る情報支援システムは、スピーカは、動画が表示されるエリアに配置され、コンテンツ音声として動画に関する説明音声を少なくとも出力し、携帯端末装置は、少なくとも前記説明音声に対応する文字テキストを再生するものであることを特徴としている。

したがって、動画に関する説明を聞くことができなかったり理解できなかったりする場合であっても、当該説明を文字テキストにて知ることができる。

(19)この発明に係る情報支援システムは、スピーカは、説明対象物の近傍に配置され、コンテンツ音声として説明対象物に関する説明音声を少なくとも出力し、携帯端末装置は、少なくとも前記説明音声に対応する文字テキストを再生するものであることを特徴としている。

したがって、展示物に関する説明を聞くことができなかったり理解できなかったりする場合であっても、当該説明を文字テキストにて知ることができる。

(20)(21)(22)この発明に係る情報支援システムは、ユーザに向けて少なくともコンテンツ音声を出力するスピーカと、当該スピーカに信号を出力する信号出力装置と、ユーザが有している携帯端末装置とを備えた情報支援システムであって、前記信号出力装置は、前記コンテンツ音声のためのコンテンツ音声信号と、前記コンテンツ音声の出力開始に応付けられた開始音信号とを少なくとも含む信号を前記スピーカに対して出力するよう構成され、前記携帯端末装置は、前記コンテンツ音声信号の再生によって時間経過とともに前記スピーカから出力される音声と再生タイミングが合致するように作成された文字テキストを含む支援情報を記録する記録部と、マイクによって取得した周囲音に、前記スピーカから出力された開始音が含まれているかどうかを検出する開始音検出手段と、開始音検出手段によって開始音が検出されると、前記記録部に記録されている文字テキストを含む支援情報のディスプレイへの表示を開始する表示制御手段とを備えている
したがって、開始音によってタイミングを合致させて再生し、適切に支援情報を表示することができる。

この発明において「ショー」とは、舞台、映画、ミュージカルなど観衆に台詞つきで提示されるものをいう。

「携帯端末装置」は、スマートフォン、携帯情報端末、携帯電話、タブレット、ウエアラブルコンピュータなどを含むものである。

「選択音検出手段」は、実施形態においては、ステップＳ５５、Ｓ５６がこれに対応する。

「支援情報選択手段」は、少なくとも再生のために支援情報ファイルを選択するための処理を行うものをいい、実施形態においては、ステップＳ５７がこれに対応する。なお、実施形態では、選択した支援情報ファイルをメモリに展開しているが、このような処理を行わないものも支援情報選択手段に該当する。

「開始音検出手段」は、実施形態においては、ステップＳ５９がこれに対応する。

「表示制御手段」は、実施形態においては、ステップＳ６１がこれに対応する。

「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。

この発明の一実施形態による情報支援システムの機能ブロック図である。 情報支援システムの構成図である。 ショーを行うエリアにおけるプレショーの部屋６５、メインショーの部屋５３の行成を示す図である。 テーマパークに適用した場合の、エリアの配置例である。 音再生のための制御装置ＣＴＬの構成を示す図である。 ウエアラブルコンピュータ１０の外観を示す図である。 ウエアラブルコンピュータ１０のハードウエア構成である。 不揮発性メモリ６６に記録された携帯端末プログラム７６のフローチャートである。 不揮発性メモリ６６に記録された携帯端末プログラム７６のフローチャートである。 不揮発性メモリ６６に記録された携帯端末プログラム７６のフローチャートである。 不揮発性メモリ６６に記録された携帯端末プログラム７６のフローチャートである。 ショー選択画面の例である。 ショーと支援情報の対応を示すテーブルである。 支援情報の表示例である。 支援情報の表示例である。 選択音と開始音のタイミングを示す図である。 幕間のある映画などに適用した場合の選択音と開始音のタイミングを示す図である。 観光地における史跡などの案内に適用した場合の選択音と開始音を示す図である。 第２の実施形態による情報支援システムの機能ブロック図である。 情報支援システムのシステム構成図である。 ショーを行うエリアにおけるアクセスポイント２、スピーカ６の配置例である。 再生回路４６、スピーカ６の例である。 携帯端末装置１０のハードウエア構成である。 携帯端末プログラムのフローチャートである。 携帯端末プログラムのフローチャートである。 ＳＳＩＤテーブルの例である。 台詞の表示例である。 台詞の表示例である。 台詞の表示例である。

１．第１の実施形態
1.1システム構成
図１に、この発明の一実施形態によるショーのための情報支援システムの機能ブロック図を示す。ショーの行われるエリアには、信号出力装置４、スピーカ６が設けられている。

信号出力装置４は、ショーの進行に合わせて台詞や音楽などの音信号をスピーカ６に与えるものである。スピーカ６は、この音信号を受けて、台詞や音楽を音として出力する。

なお、この実施形態では、ショーの出演者の台詞は出演者が発するのではなく、スピーカ６からの音で観客に与えられるようにしている。したがって、信号出力装置４には、予め、ショーの進行に合わせた台詞および音楽などの音信号が記録されている。

信号出力装置４は、ショーの開始に合わせて上記の音信号をスピーカ６に与える。なお、この実施形態では、この音信号の冒頭部分などに、選択信号、開始信号が挿入される。

観客であるユーザは、携帯端末装置１０を所持している。この携帯端末装置１０の記録部２２には、各エリアで行われるショーの台詞などを文字情報とした支援情報が記録されている。

ショーの開始前（または各一膜の開始前）に、スピーカ６からは、選択信号による選択音が出力される。携帯端末装置１０の選択音検出手段１１は、マイク１４が取得した周囲音に、この選択音が含まれているかどうかを判断する。携帯端末装置１０の支援情報選択手段１３は、取得した選択音に基づいて、記録部２２に記録されている支援情報Ａ11、Ａ12・・・のいずれかを表示対象として選択する。選択された支援情報をＡsとする。

ショーの開始（または各一幕の開始）と共に、スピーカ６からは、開始信号による開始音が出力される。携帯端末装置１０の開始音検出手段１６は、マイク１４が取得した周囲音に、この開始音が含まれているかどうかを判断する。開始音が検出されると、携帯端末装置１０の表示制御手段２０は、支援情報選択手段１３によって選択された支援情報Ａsをディスプレイ１８に表示する。

したがって、ユーザの有する携帯端末装置１０には、ショーの進行にあわせて台詞などの支援情報が文字テキストとして表示される。

図２に、ショーのための情報支援システムをテーマパークにて実現する場合のシステム構成を示す。ショーを行うエリアＡ1〜Ａnが、テーマパーク内に設けられている。この情報支援システムの利用を希望するユーザは、携帯端末装置１０である、眼鏡型のウエアラブルコンピュータ１０を装着している。

図３に示すように、ショーのエリアＡ1〜Ａnのそれぞれには、プレショーの部屋６５と、メインショーの部屋５３が設けられている。プレショーの部屋６５には、入口ドア６３と、メインショーの部屋５３へのドア６１が設けられている。また、プレショーの部屋６５には、プレショーを実施するためのスクリーン５９、プロジェクタ５７、スピーカ７が設けられている。ユーザは、メインショーを見る前に、プレショーにおいてその予備知識や背景等を知ることができるようになっている。メインショーの部屋５３には、舞台５１、観客席（観客エリア）４９が設けられている。また、スピーカ６が設けられている。ショーを行うエリアＡ1〜Ａ6は、たとえば、図４に示すように、テーマパーク内に点在している。

図５に、信号出力装置４の構成を示す。記録部４３、４２には、そのエリアでのショーにおいて用いられる音楽や台詞などのプレショーデータ４５、メインショーデータ４４が記録されている。再生回路４７は、プレショーデータ４５を読み出してスピーカ７から再生する。また、制御装置ＣＴＬからの制御により、選択音、開始音をスピーカ７から再生する。再生回路４６は、メインショーデータ４４を読み出してスピーカ６から再生する。また、制御装置ＣＴＬからの制御により、選択音、開始音をスピーカ７から再生する。

プレショーにおいては、出演者はおらず、プロジェクター５７による映像がスクリーン５９に映し出され、スピーカ７から音声が出力される。

メインショーにおいては、出演者は台詞をしゃべらず、メインショーデータに含まれる台詞がスピーカ６から出され、これに対応して出演者が演じるようになっている。つまり、ショーの進行は、メインショーデータ４４に基づいて行われることになる。

図６に、携帯端末装置である眼鏡型のウエアラブルコンピュータ１０の外観を示す。眼鏡型の本体９０の側面には、バッテリーやＣＰＵ等が内蔵されている。前面には、透過型の両眼ディスプレイ９２が設けられている。このディスプレイ９２は、側面から画像を投光しプリズム作用にてユーザの目に画像を見せるようにしたものである。また、透過型であるから、ユーザは現実の景色にディスプレイの画像を重ねてみることができる。

また、この実施形態では、タッチパッド９４を設けている。ユーザが、タッチパッド９４を操作することにより、ディスプレイの画面上にあるカーソルを移動させたり、クリックして選択操作をしたりすることができる。さらに、マイク７０やカメラ７２が設けられている。

図７に、ウエアラブルコンピュータ１０のハードウエア構成を示す。ＣＰＵ６０には、メモリ６２、ヘッドマウント・ディスプレイ９２、タッチパッド９４、不揮発性メモリ６６、無線回路６８、マイク７０、カメラ７２が接続されている。

メモリ６２は、高速であるが揮発性である半導体メモリなどによって構成されており、ＣＰＵ６０のワークエリアとして機能する。ヘッドマウント・ディスプレイ９２は、支援情報などの表示を行うものである。無線回路６８は、インターネットに接続するための回路である。

不揮発性メモリ６６には、オペレーティングシステム７４、携帯端末プログラム７６、支援情報Ａ11、Ａ12、Ａ21・・・が記録されている。携帯端末プログラム７６は、オペレーティングシステム７４と協働してその機能を発揮するものである。これらプログラムは、たとえば、無線回路６８を介して、サーバ装置からダウンロードしたものである。

また、不揮発性メモリ６６には、支援情報Ａ11、Ａ12、Ａ21・・・も記録されている。支援情報７８は、各エリアＡ1〜Ａ6においてショーの際に流されるショー・データに対応して、タッチスクリーン・ディスプレイ６４に表示するためのデータである。

支援情報Ａ11はエリアＡ1のプレショーのためのものであり、支援情報Ａ12はエリアＡ1のメインショーのためのものである。同様に、支援情報Ａ21はエリアＡ2のプレショーのためのものであり、支援情報Ａ22はエリアＡ2のメインショーのためのものである。

この実施形態では、全てのエリアＡ1〜Ａ6の支援情報Ａ11、Ａ12、Ａ21・・・を、予め、サーバ装置などからダウンロードして記録しておくようにしている。

1.2支援情報提供処理
図８〜図１１に、携帯端末プログラム７６による支援情報提供処理のフローチャートを示す。ユーザの装着するウエアラブル・コンピュータ１０の携帯端末プログラム７６が起動されると、ウェアラブル・コンピュータ１０のＣＰＵ６０（以下、ウェアラブル・コンピュータ１０と省略することがある）は、ショー選択画面をヘッドマウントディスプレイ（ＨＭＤ）９２に表示する（ステップＳ５１）。

ショー選択画面の例を、図１２に示す。この画面は透過型ヘッドマウントディスプレイ９２に表示されるので、ユーザは、自分の見ている景色に重ねて、図１２の画面を見ることになる。ショーのタイトルＳＨ1、ＳＨ2、ＳＨ3・・・が表示されている。さらに、カーソル９８が表示されている。なお、この実施形態では、１つのエリアにおいて、１つのショーを行うようにしている（したがって、エリアを選択するようにしてもよい）。しかし、１つのエリアにおいて、複数のショーを行うようにしてもよい。

ウエアラブル・コンピュータ１０を装着したユーザは、タッチパッド９４を指などで操作して、カーソル９４を所望のショーのタイトルの上に移動し、クリックして選択する。ショーが選択されると（ステップＳ５２）、ウェアラブル・コンピュータ１０は、選択されたショーに対応するプレショー用の支援情報およびメインショー用の支援情報が記録されているかどうかを判断する（ステップＳ５３）。ここでは、ショーＩＤ「０００１」の「セサミストリート（商標）４Ｄムービーマジック」が選択されたものとして説明を進める。ショーが選択されると、ウェアラブル・コンピュータ１０は、ＨＭＤ９２に、「ファイル選択中」の表示を行う。

不揮発性メモリ６６には、図１３に示すように各ショーに対応付けて、プレショーで用いる支援情報のファイル名、メインショーで用いる支援情報のファイル名を示したテーブルが記録されている。したがって、ウェアラブル・コンピュータ１０は、このテーブルを参照して、選択されたショーに対応する支援情報が記録されているかどうかを判断することができる。ここでは、プレショー支援情報Ａ11、メインショー支援情報Ａ12が、不揮発性メモリ６６に記録されているかどうかを判断する。

支援情報Ａ11、Ａ12が記録されていなければ、ウェアラブル・コンピュータ１０は、無線回路６８を介して、インターネット上のサーバ装置にアクセスし、当該支援情報をダウンロードする（ステップＳ５８）。

必要な支援情報Ａ11、Ａ12があれば、ウェアラブル・コンピュータ１０は、プレショーで用いる支援情報ファイルＡ11の選択処理に移る。この実施形態では、プレショー上映前のプレショーの部屋６５の部屋では、図５の制御装置ＣＴＬの制御により、スピーカ７から第１の周波ｆ1（たとえば、１８．２KHz）の音と第２の周波ｆ2（たとえば、１９．２KHz）の音との混合音（以下ｆ1ｆ2混合音という）を選択音として出力するようにしている。

ウェアラブル・コンピュータ１０は、このｆ1ｆ2混合音を検出して、プレショー用の支援情報ファイルＡ11を選択する。以下に説明するように、ウェアラブル・コンピュータ１０を装着したユーザが、プレショーの部屋６５に入ると、このｆ1ｆ2混合音を検出することになる。

ウェアラブル・コンピュータ１０は、まず、マイク７０によって周囲音を取得し、Ａ／Ｄ変換してディジタル信号にし、ＦＦＴ処理（フーリエ変換処理）を行う（ステップＳ５４）。ＦＦＴ処理は、たとえばＦＦＴのためのプログラムによって実行することができる。

次に、ウェアラブル・コンピュータ１０は、ＦＦＴを行った周囲音において、第１の周波ｆ1の成分が、所定のしきい値を超えているかどうか判断する（ステップＳ５５）。さらに、第２の周波ｆ2の成分が、所定のしきい値を超えているかどうか判断する（ステップＳ５６）。双方の周波ｆ1、ｆ2においてしきい値を超えていれば、選択音がスピーカ６から出されているということである。したがって、ｆ1、ｆ2の組合せによる選択音に対応するプレショー用の支援情報ファイルＡ11を選択する。

ウェアラブル・コンピュータ１０は、選択したプレショー用の支援情報ファイルＡ11を不揮発性メモリ６６から読み出して、（圧縮されていれば解凍して）メモリ６２に展開する（ステップＳ５７）。これにより、支援情報ファイルＡ11に対する処理の立ち上がりを迅速にすることができる。そして、ヘッドマウント・ディスプレイ９２に、「プレショー開始待」の表示を行う。

図３のプレショーの部屋６５に、所定人数のユーザが入ったことを確認すると、操作スタッフは、図５の制御装置ＣＴＬのプレショー開始スイッチ４１を押す。これにより、これまで、ｆ1ｆ2混合音を出力していた再生回路４７は、プレショーデータ４５の再生を開始する。すなわち、制御回路ＣＴＬは、再生回路４７を制御して、ｆ1ｆ2混合音に代えて、プレショーデータ４５の再生を行う（同時に、映像の再生も開始する）。この際、制御回路ＣＴＬは、プレショーデータ４５の再生に重畳して、所定秒（たとえば３秒）の間だけ、開始音として第３の周波ｆ3（たとえば１８．６KHz）の音を再生させる。

なお、プレショーデータ４５の冒頭部分は、無音であるので、実質的にはｆ3音のみが再生されることになる。

なお、この実施形態では、制御装置ＣＴＬは、プレショーデータ４５の再生を開始してから所定秒（たとえば３秒）間は、ｆ1ｆ2混合音も重畳して再生するようにしている。これは、ウェアラブルコンピュータ１０において、ｆ1ｆ2混合音が出ている間に、確実にプレショーの開始音（ｆ3音）を受信できるようにするためである。

ウエアラブルコンピュータ１０は、マイク７０から周囲音を取得し、ＦＦＴ処理を行う（ステップＳ５９）。さらに、その周囲音において、周波数ｆ3成分がしきい値を超えるかどうかを判断する（ステップＳ６０）。すなわち、開始音（ｆ3音）を取得できたかどうかを判断する。

開始音（ｆ3音）が取得できれば、メモリ６２に展開したプレショー用の支援情報Ａ11を、ＨＭＤ９２にて再生する。この実施形態では、支援情報Ａ11は、動画ファイルとして構成されている。プレショーの進行に時間的に合致するように、プレショーの音声に対応する文字テキストがＨＭＤ９２に表示される。したがって、ユーザは、プレショーの映像を見ながら、それに重ねて文字テキストを見ることができる。

なお、ユーザが支援表示の停止操作をした場合や支援情報ファイルに欠陥があって表示ができなくなった場合には、支援表示処理を中止してステップＳ６４に進む（ステップＳ６２）。

支援情報ファイルを最後まで再生表示すると（このタイミングは、プレショーの終了と合致するように支援情報ファイルが作成されている）、ウエアラブルコンピュータ１０は、プレショー用の支援情報Ａ11をメモリ６２から削除する（ステップＳ６４）。

一方、制御装置ＣＴＬは、プレショーデータ４３の再生が終了すると（すなわちプレショーが終了すると）、図３の扉６１を自動的に開くように制御し、さらに、メインショーの部屋５３のスピーカ６から選択音である周波ｆ4（たとえば１８．０KHZ）の音と周波ｆ5（たとえば１９．０KHz）の音の合成音を再生する。

プレショーの部屋６５にいたユーザは、開いた扉６１からメインショーの部屋５３に移動する。ウエアラブル・コンピュータ１０は、以下に説明するように、メインショー用の支援情報Ａ12を選択する。

ウエアラブル・コンピュータ１０は、周囲音を取得し、ＦＦＴ処理を行う（ステップＳ６５）。そして、ＦＦＴ処理した周囲音中において、周波ｆ4成分およびｆ5成分の双方ともがしきい値を超えているかどうかを判断する（ステップＳ６６、Ｓ６７）。すなわち、ｆ4ｆ5混合音（メインショーの支援情報Ａ12の選択音）が検出されるかどうかを判断する。

ｆ4ｆ5混合音が検出されると、ウエアラブル・コンピュータ１０は、再生対象としてメインショー用の支援情報Ａ12を選択する。そして、これを不揮発性メモリ６６から読み出して、メモリ６２に展開する（ステップＳ６８）。

一方、操作スタッフは、ユーザ全員がメインショーの部屋に移動したことを確認すると、図５のメインショー開始スイッチ４０を押下する。これを受けて、制御装置ＣＴＬは、再生回路４６を制御し、ｆ4ｆ5混合音に代えてメインショーデータ４４をスピーカ６から出力するように制御する。この際、制御回路ＣＴＬは、メインショーデータ４４の再生に重畳して、所定秒（たとえば３秒）の間だけ、開始音として第３の周波ｆ3（たとえば１８．６KHz）の音を再生させる。

なお、メインショーデータ４４の冒頭部分は、無音であるので、実質的にはｆ3音のみが再生されることになる。

なお、この実施形態では、制御装置ＣＴＬは、メインショーデータ４４の再生を開始してから所定秒（たとえば３秒）間は、ｆ4ｆ5混合音も重畳して再生するようにしている。これは、ウェアラブルコンピュータ１０において、ｆ4ｆ5混合音が出ている間に、確実にメインショーの開始音（ｆ3音）を受信できるようにするためである。

ウエアラブルコンピュータ１０は、マイク７０から周囲音を取得し、ＦＦＴ処理を行う（ステップＳ６９）。さらに、その周囲音において、周波数ｆ3成分がしきい値を超えるかどうかを判断する（ステップＳ７０）。すなわち、開始音（ｆ3音）を取得できたかどうかを判断する。

開始音（ｆ3音）が取得できれば、メモリ６２に展開したメインショー用の支援情報Ａ12を、ＨＭＤ９２にて再生する（ステップＳ７１）。この実施形態では、支援情報Ａ12は、動画ファイルとして構成されている。メインショーの進行に時間的に合致するように、メインショーの音声に対応する文字テキストがＨＭＤ９２に表示される。したがって、ユーザは、メインショーの映像を見ながら、それに重ねて文字テキストなどを見ることができる。

図１４に、ＨＭＤ９２の表示例を示す。ユーザは、実際に見ている舞台に、この支援情報の表示を重ねて見ることができる。出演者の扮するキャラクターの似顔絵１００と、その出演者の台詞のテキストが吹き出し１０４に示されている。したがって、耳の不自由なユーザであっても、台詞を知ることができる。なお、似顔絵１００の下には、キャラクター名が表示されている。図１４の例では、同じキャラクターの似顔絵は同じ側（左側または右側）に表示するようにして判別しやすいようにしている。

ウエアラブル・コンピュータ１０は、支援情報ファイルＡ12にしたがって、次々と支援情報をＨＭＤ９２に表示する。また、支援情報は、ショーの進行に合致するように生成されているので、ショーの進行に伴う各出演者の台詞を得ることができる。

また、図１５に示すように、台詞以外の舞台で注目すべき点や説明１０８なども支援情報に含めることができる。この実施形態では、注目点や説明１０８は、吹き出しではない形式にて表示するようにしている。

なお、ユーザが支援表示の停止操作をした場合や支援情報ファイルに欠陥があって表示ができなくなった場合には、支援表示処理を中止してステップＳ７４に進む（ステップＳ７２）。

支援情報ファイルを最後まで再生表示すると（このタイミングは、メインショーの終了と合致するように支援情報ファイルＡ12が作成されている）、ウエアラブルコンピュータ１０は、メインショー用の支援情報Ａ12をメモリ６２から削除する（ステップＳ７４）。

一方、制御装置ＣＴＬは、メインショーデータ４２の再生が終了すると（すなわちメインショーが終了すると）、プレショーの部屋６５のスピーカ７から選択音であるｆ1ｆ2合成音を出力するよう制御する。

ウエアラブルコンピュータ１０は、再び、ステップＳ５１のショー選択画面に戻る。したがって、ユーザが、他のショーが行われているエリアに行くと、上記と同様の処理が繰り返されることになる。

1.3その他
(1)上記実施形態では、ユーザがウエアラブルコンピュータ１０を保持しており、ユーザの操作を行う場合について説明した。しかし、各ショーのエリアにてスタッフがユーザにウエアラブルウコンピュータ１０を貸与し、当該ショーが終了するとウエアラブルコンピュータ１０を回収するようにしてもよい。この場合、スタッフがウエアラブルコンピュータ１０の操作を行って、ユーザに渡すようにしてもよい。

スタッフがウエアラブルコンピュータ１０の操作を行う場合の処理の流れを、図１６に示す。この例では、ユーザがプレショーの部屋６５に入る前に、スタッフがショー選択画面にて当該ショーを選択している。したがって、ユーザは、ショーが選択された状態のウエアラブルコンピュータ１０を受け取ることになる。

メインショーが終わると、スタッフはユーザからウエアラブルコンピュータ１０を回収する。スタッフは回収したウエアラブルコンピュータ１０を、次のユーザに貸与する。

以上のようにすれば、ユーザがウエアラブルコンピュータ１０を操作する必要がない。

(2)上記実施形態では、携帯端末装置としてウエアラブルコンピュータ１０を用いている。しかし、スマートフォン、タブレットコンピュータ、携帯情報端末などを用いることができる。

(3)上記実施形態では、ショーの選択をユーザが行うようにしている。しかし、この選択も、当該ショーに用いられるスピーカから選択音を出して自動的に行うようにしてもよい。

(4)上記実施形態では、プレショーとメインショーに異なるスピーカを用いる場合について説明した。しかし、同じスピーカにて複数の幕（一幕、二幕・・・）を用いる場合にも適用することができる。この場合、各幕の開始ごとに、それに対応する選択音を出力すればよい。このように、この発明は、同一のスピーカから異なるコンテンツを出力する場合に、その音に対応する支援情報を選択して表示する場合全般に適用することができる。

たとえば、幕間のある映画のような場合に適用する場合、図１７に示すようなタイミングで選択音と開始音を出力するとよい。なお、映画のタイトルによって支援情報の内容が異なるので、タイトルについてはユーザが画面上で選択する（ショーの選択と同じ）ようにすればよい。なお、タイトルの選択についても選択音によって行うようにしてもよい。

さらに、異なる場所にある異なるスピーカから、それぞれ異なるコンテンツを出力する場合にも適用することができる。たとえば、歴史的施設や建造物などが複数ある場合に、これに対する説明をスピーカから出力する場合に適用して、支援情報を提供することができる。この場合、そのスピーカのある場所ごとに支援情報ファイルを用意しておき、選択音を出力するようにすればよい。

図１８に、観光地において、複数の史跡のそれぞれに対応する説明を、それぞれの場所のスピーカから出力している場合に適用した例を示す。各史籍の場所において、選択音、開始音を出力するようにしている。なお、観光地（京都であるとか大阪であるとか）によって支援情報の内容が異なるので、観光地についてはユーザが画面上で選択する（ショーの選択と同じ）ようにすればよい。なお、観光地の選択についても選択音によって行うようにしてもよい。

(5)上記実施形態では、選択音や開始音を周波音としている。しかし、ユーザには聞こえにくい他の音（たとえば高周波音）を用いてもよい。なお、周波音は指向性が低いので、スピーカの向きに関係なく広範囲のユーザに向けて送出することができる。一方、高周波音は指向性が高いので、所定方向のユーザに向けて送出することができる。

(6)上記実施形態では、ショーのコンテンツ音とは別に選択音や開始音を用意している。しかし、ショーのコンテンツ音のファイル中に、予め選択音や開始音を記録しておいてもよい。

(7)上記実施形態では、日本人のユーザのために日本語にて台詞を表示するようにしている。しかし、外国人のユーザのために母国語など理解可能な言語で台詞などを表示するようにしてもよい。

(8)上記実施形態では、選択音は２つの周波数の音の組合せによって構成している。しかし、３つ以上の周波数の音の組合せとしてもよい。また、１つのシュは数の音のみとしてもよい。

(9)上記実施形態では、開始音は１つの周波数の音としている。したがって、検出処理が迅速であり、タイミングを合わせることが容易である。なお、複数の周波数の音の組合せによって開始音を構成してもよい。

(10)上記実施形態では、近接して配置された複数のスピーカ６、７を対象スピーカとしている。しかし、対象スピーカを１つとしてもよい。

(11)上記実施形態では、音として高い周波数の音を用いている。しかし、低い周波数の音を用いてもよい。低い周波数の音は指向性がないので、スピーカの向きに拘わらずエリアのユーザにまんべんなく届かせることができる。

(12)上記実施形態および変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施することが可能である。

２．第２の実施形態
2.1システム構成
図１９に、第２の実施形態によるショーのための情報支援システムの機能ブロック図を示す。ショーの行われるエリアには、識別子送信装置２、信号出力装置４、スピーカ６が設けられている。識別子送信装置２は、自らのＩＤを送信するものである。この実施形態では、エリアごとに異なるＩＤを有する識別子送信装置２を設けている。

信号出力装置４は、ショーの進行に合わせて台詞や音楽などの音信号をスピーカ６に与えるものである。スピーカ６は、この音信号を受けて、台詞や音楽を音として出力する。

なお、この実施形態では、ショーの出演者の台詞は出演者が発するのではなく、スピーカ６からの音で観客に与えられるようにしている。したがって、信号出力装置４には、予め、ショーの進行に合わせた台詞および音楽などの音信号が記録されている。

信号出力装置４は、ショーの開始に合わせて上記の音信号をスピーカ６に与える。なお、この実施形態では、この音信号の冒頭部分に、開始信号が挿入されている。

観客であるユーザは、携帯端末装置１０を所持している。この携帯端末装置１０の記録部２２には、各エリアで行われるショーの台詞などを文字情報とした支援情報が記録されている。

携帯端末装置１０のエリア特定手段１２は、識別子送信装置２からのＩＤを受信し、いずれのエリアにいるかを特定する。

ショーの開始と共に、スピーカ６からは、開始信号による開始音が出力される。携帯端末装置１０の開始音検出手段１６は、マイク１４が取得した周囲音に、この開始音が含まれているかどうかを判断する。携帯端末装置１０の表示制御装置２０は、記録部２２に記録されている支援情報２４のうち、エリア特定手段１２によって特定されたエリアに対応する支援情報２４を選択する。さらに、開始音が検出されると、選択した支援情報２４を読み出してディスプレイ１８に表示する。

したがって、ユーザの有する携帯端末装置１０には、ショーの進行にあわせて台詞などの支援情報が文字テキストとして表示される。

図２０に、ショーのための情報支援システムをテーマパークにて実現する場合のシステム構成を示す。ショーを行うエリアＡ1〜Ａnが、テーマパーク内に設けられている。図２１に示すように、ショーのエリアＡ1〜Ａnのそれぞれには、舞台５１、観客席（観客エリア）４９が設けられている。さらに、エリアＡ1〜Ａnのそれぞれには、識別子送信装置である無線アクセスポイント２、信号出力装置である音響装置４、音響装置４に接続されたスピーカ６が設けられている。ショーを行うエリアＡ1〜Ａ6は、たとえば、図４に示すように、テーマパーク内に点在している。

無線アクセスポイント２は、ユーザの有するスマートフォンなどをインターネットに中継するための装置である。無線アクセスポイント２は、ＳＳＩＤと呼ばれる識別子を有しており、スマートフォンなどの端末装置からの問合せを受けて、ＳＳＩＤを返信する。このＳＳＩＤは、無線アクセスポイントごとに異なっている。また、無線アクセスポイントからの電波が届く範囲は狭い（１００ｍ程度）。したがって、端末装置は、このＳＳＩＤを受けて、いずれのエリアＡ1〜Ａ6のアクセスポイント２の近くにいるかを知ることができる。

この実施形態では、スマートフォンなどの端末装置をインターネットに接続するためのアクセスポイント２の上記機能を利用し、携帯端末装置１０に対して識別子（ＳＳＩＤ）を送信する識別子送信装置としている。

図２２に、音響装置４の構成を示す。記録部４２には、そのエリアでのショーにおいて用いられる音楽や台詞などのショー・データをスピーカ６に与える。ショーにおいては、出演者は台詞をしゃべらず、ショー・データに含まれる台詞がスピーカ６から出され、これに対応して出演者が演じるようになっている。つまり、ショーの進行は、ショー・データに基づいて行われることになる。

図２３に、携帯端末装置１０のハードウエア構成を示す。この実施形態では、タブレット・コンピュータを携帯端末装置１０としている。ＣＰＵ６０には、メモリ６２、タッチスクリーン・ディスプレイ６４、不揮発性メモリ６６、無線ＬＡＮ回路６８、マイク７０、カメラ７２が接続されている。

メモリ６２は、高速であるが揮発性である半導体メモリなどによって構成されており、ＣＰＵ６０のワークエリアとして機能する。タッチスクリーン・ディスプレイ６４は、表示を行うとともに、ユーザ操作による入力を受け付けるものである。無線ＬＡＮ回路６８は、アクセスポイント２と通信するための回路である。

不揮発性メモリ６６には、オペレーティングシステム７４、携帯端末プログラム７６、支援情報７８が記録されている。携帯端末プログラム７６は、オペレーティングシステム７４と協働してその機能を発揮するものである。これらプログラムは、たとえば、無線ＬＡＮ回路６８を介して、サーバ装置からダウンロードしたものである。

また、不揮発性メモリ６６には、支援情報７８も記録されている。支援情報７８は、各エリアＡ1〜Ａ6においてショーの際に流されるショー・データに対応して、タッチスクリーン・ディスプレイ６４に表示するためのデータである。この実施形態では、全てのエリアＡ1〜Ａ6の支援情報を、予め、サーバ装置などからダウンロードして記録しておくようにしている。

2.2支援情報提供処理
図２４、図２５に、携帯端末プログラム７６による支援情報提供処理のフローチャートを示す。ユーザの持つ携帯端末装置１０の携帯端末プログラム７６が起動されると、携帯端末装置１０のＣＰＵ６０（以下、携帯端末装置１０と省略することがある）は、不揮発性メモリ６６に記録されているＳＳＩＤのリストを読み出す（ステップＳ１）。図９に、ＳＳＩＤリストの例を示す。図４に示す各ショーのエリアＡ1〜Ａ6に設けたアクセスポイント２のそれぞれに対応付けて、そのＳＳＩＤが記録されている。さらに、当該アクセスポイントにおいて実施されるショーの支援情報ファイルのファイル名、ショーの開始時刻も記録されている。

次に、携帯端末装置１０は、無線ＬＡＮ回路６８が受信したアクセスポイントからの信号を取得して、そのＳＳＩＤを解析する。各エリア1〜Ａ6のアクセスポイント２からの信号は、距離に応じて減衰するので、携帯端末装置１０の近傍にあるアクセスポイントの信号のみが受信されることになる。

さらに、受信したＳＳＩＤが、上記のＳＳＩＤリストに登録された所定のＳＳＩＤであるかどうかを判断する（ステップＳ２）。テーマパーク内には、ショーのための情報提供とは関係なく設置されているアクセスポイントもあるからである。

受信したＳＳＩＤが所定ＳＳＩＤでなければ、信号の受信とＳＳＩＤの確認処理を繰り返す。リストに記録された所定ＳＳＩＤを受信すると、携帯端末装置１０は、当該電波の強度が、しきい値を超えているかどうかを判断する（ステップＳ３）。前述のように、アクセスポイントからの距離に応じて電波強度は減衰する。したがって、電波強度が所定値以上であるかどうかを確認することにより、携帯端末装置１０が（つまりそれを持つユーザが）ショーのエリアに入ったかどうか（所定の距離に近づいたかどうか）を確認することができる。なお、電波強度は、無線ＬＡＮ回路６８から取得することができる。

電波強度が所定値を超えていない場合、携帯端末装置１０は、ステップＳ２に戻って、電波の受信とＳＳＩＤの確認を行う。電波強度が所定値を超えている場合、図２６のＳＳＩＤリストを参照し、受信したＳＳＩＤに対応するアクセスポイント（エリア）の支援情報ファイル名を特定し、不揮発性メモリ６６から検索する（ステップＳ５）。ここで、支援情報ファイルには、当該ショーの進行に合致するように、出演者の台詞や場面説明などが記録されている。

携帯端末装置１０は、当該支援情報ファイルを見いだすと、不揮発性メモリ６６から読み出して、ワーク領域であるメモリ６２に展開する（ステップＳ７）。なお、ファイルが壊れているなどによって、所定時間を経過しても支援情報ファイルが見いだされない場合（ステップＳ１０）、当該アクセスポイントを介してサーバ装置にアクセスし、支援ファイルをダウンロードし直す。その後、ステップＳ１に戻って処理を繰り返す。

支援情報ファイルをメモリ６２に展開すると、携帯端末装置１０は、現在時刻の先で、最も近いショーの開始時刻を、ＳＳＩＤリストから取得する（ステップＳ８）。たとえば、ＳＳＩＤが「32149373」であり、現在時刻が１２：００である場合、開始時刻２の１３：３０を取得する。

携帯端末装置１０は、現在時刻が開始時刻の５分前未満となったかどうかを判断する（ステップＳ９）。５分前になると、携帯端末装置１０は、マイク７０により周囲音を取得する。なお、この実施形態では、ショー・データ４４の冒頭に第１周波音（この実施形態では１００Ｈｚ）と、第２周波音（この実施形態では５０Ｈｚ）の合成音を開始音として含ませている（図２２参照）。

したがって、ショーのエリアに配置されたスピーカ６から、ショー開始の所定時間前（この実施形態では３分前）に、第１周波音と第２周波音を合成した音が出力されることになる。これらの音は、指向性のある（高い）周波数としているので、スピーカの向きや配置により、ユーザのいるエリアに向けて到達することになる。また、図２２の装置は、ショーのために本来必要な機器であり、そのショー・データに一部変更を加えるだけであるから、ショーのための既存の設備をそのまま活用することができる。

携帯端末装置１０は、取得した周囲音に、第１周波成分（この実施形態では１００Ｈｚ）が、所定値以上のレベルで含まれているかどうかを判断する（ステップＳ１２）。この判断は、取得した周囲音を二値化したデータを、バンドパスフィルタ・プログラムによって解析することで実現することができる。

所定値以上の第１周波成分が含まれていなければ、ステップＳ１１に戻って周囲音の取得を繰り返す。所定値以上の第１周波成分が含まれていれば、携帯端末装置１０は、取得した周囲音に、第２周波成分（この実施形態では５０Ｈｚ）が、所定値以上のレベルで含まれているかどうかを判断する（ステップＳ１３）。

所定値以上の第２周波成分が含まれていなければ、ステップＳ１１に戻って周囲音の取得を繰り返す。ステップＳ１３において、所定値以上の第２周波成分が含まれていると判断した場合、エリアのスピーカ６から、第１周波音と第２周波音の合成音による開始音が発せられたことになるので、ショー開始の所定時間前（この実施形態では３分前）であると判断することができる。

携帯端末装置１０は、開始音の検出とともに、メモリ６２に展開した支援情報ファイルを再生し、タッチスクリーンディスプレイ６４に表示する（ステップＳ１４）。

図２７に、タッチスクリーンディスプレイ６４の表示例を示す。出演者の扮するキャラクターの似顔絵１００と、その出演者の台詞のテキストが吹き出し１０４に示されている。したがって、耳の不自由なユーザであっても、台詞を知ることができる。なお、似顔絵１００の下には、キャラクター名が表示されている。図２７の例では、同じキャラクターの似顔絵は同じ側（左側または右側）に表示するようにして判別しやすいようにしている。

携帯端末装置１０は、支援情報ファイルにしたがって、次々と支援情報をタッチスクリーンディスプレイ６４に表示する。なお、画面に表示しきれなくなると、上方向にスクロールして表示するようにしている。この実施形態では、支援情報ファイルは動画とせず、台詞ごとに表示タイミングを記録した静止画で構成している。また、支援情報は、ショーの進行に合致するように生成されているので、ショーの進行に伴う各出演者の台詞を得ることができる。

また、図２８に示すように、台詞以外の舞台で注目すべき点や説明１０８なども支援情報に含めることができる。この実施形態では、注目点や説明１０８は、吹き出しではない形式にて表示するようにしている。

支援情報ファイルの最後まで表示すると、携帯端末装置１０は、メモリ６２に展開した支援ファイルを、メモリ６２から削除する（ステップＳ１７）。なお、支援情報ファイルの表示途中において、停止ボタン１０６押されると、携帯端末装置１０は、支援情報ファイルの表示を停止する（ステップＳ１５）。

以上のようにして、ショーの進行に合わせて、ユーザの手元の携帯端末装置１０に支援情報が表示される。

2.3その他
(1)上記実施形態では、開始音として２つの周波数の合成音を用いている。しかし、単一の周波数を開始音としてもよい。また、３つ以上の周波数の合成音を用いるようにしてもよい。

(2)上記実施形態では、開始音として高い音を用いている。しかし、その他の周波数の音を用いてもよい。たとえば、超音波や低い音を用いることができる。

(3)上記実施形態では、識別子送信装置として、アクセスポイントを用いるようにしている。しかし、ビーコンのような識別子を送信する装置を用いてもよい。

(4)上記実施形態では、開始音をとらえられなかった場合には、当該ショーについての支援情報は表示しないようにしている。しかし、ショーの途中（たとえば、ショー開始３分後）の時間に対応して、ショー・データ４４に、他の開始音（本来の開始音とは周波数が異なるようにする。たとえば、４０Ｈｚと１１０Ｈｚとする。）を含ませるようにしてもよい。携帯端末装置１０において、この他の開始音を受信すれば、当該ショーの途中の時間に対応する支援情報から、タッチスクリーンディスプレイ６４にて表示を開始する。

このようにすれば、本来の開始音をとらえられなかった場合であっても、ショーの進行に合致した支援情報を表示することができる。

(5)上記実施形態では、テーマパークのショーについて説明した。しかし、映画館での映画など、出演者の台詞が時間どおりに進行するショー一般に適用することができる。

(6)上記実施形態では、図２７、図２８において、似顔絵を表示している。しかし、写真を表示するようにしてもよい。

(7)上記実施形態では、似顔絵からの吹き出しに台詞を表示するようにしている。しかし、図１２に示すように、ユーザが携帯端末装置１０のカメラ７２によって撮像した出演者を、タッチスクリーンディスプレイ６４に表示し（図中１１０参照）、これに重ねて、その台詞を表示するようにしてもよい。この場合、携帯端末装置１０は、出演者の服の色の組み合わせ（帽子、眼鏡の有無など）などから、撮像した出演者が演じるキャラクターが誰であるかを判断し、これに重ねて、台詞を表示することで実現できる。この場合、支援情報には、台詞のテキストデータ、ショー開始からの時刻による表示開始時刻、表示終了時刻、キャラクターを示す情報を含めるようにするとよい。

(8)上記実施形態では、日本人のユーザのために日本語にて台詞を表示するようにしている。しかし、外国人のユーザのために母国語など理解可能な言語で台詞などを表示するようにしてもよい。

(9)上記実施形態では、音を開始信号としている。しかし、ショーに用いる照明から出される光を、オン・オフ制御するなどして、これを開始信号としてもよい。この場合、照明光を受光するセンサを携帯端末装置１０に設け、あらかじめ開始信号として定められたパターンにて照明が点滅するかどうかによって、開始信号かどうかを判断すればよい。また、音と光を組み合わせて、開始信号としてもよい。

(10)上記実施形態では、プレショーとメインショーにおいて開始音を共通にしている。しかし、プレショー用の開始音、メインショー用の開始音について別の周波数の音（別の周波数の組合せ）としてもよい。

(11)上記実施形態および変形例は、その本質に反しない限り他の実施形態や変形例と組み合わせて実施することが可能である。

Claims (28)

1. ユーザに向けて少なくともコンテンツ音声を出力するスピーカと、当該スピーカに信号を出力する信号出力装置と、ユーザが有している携帯端末装置とを備えた情報支援システムであって、
   前記信号出力装置は、前記コンテンツ音声のためのコンテンツ音声信号と、前記コンテンツ音声を選択するための選択音信号と、前記コンテンツ音声の出力開始に対応付けられた開始音信号とを少なくとも含む信号を前記スピーカに対して出力するよう構成され、
   前記携帯端末装置は、
   前記コンテンツ音声信号の再生によって時間経過とともに前記スピーカから出力される音声と再生タイミングが合致するように作成された文字テキストを含む支援情報を複数単位記録する記録部と、
   マイクによって取得した周囲音に、前記スピーカから出力された選択音が含まれているかどうかを検出する選択音検出手段と、
   選択音検出手段によって選択音が検出されると、当該選択音に基づいて前記複数単位の文字テキストを含む支援情報から一つの支援情報を選択する支援情報選択手段と、
   マイクによって取得した周囲音に、前記スピーカから出力された開始音が含まれているかどうかを検出する開始音検出手段と、
   開始音検出手段によって開始音が検出されると、前記支援情報選択手段によって選択された文字テキストを含む支援情報のディスプレイへの表示を開始する表示制御手段と、
   を備えた情報支援システム。
2. ユーザに情報支援を行うための携帯端末装置であって、
   前記コンテンツ音声信号の再生によって時間経過とともに前記スピーカから出力される音声と再生タイミングが合致するように作成された文字テキストを含む支援情報を複数単位記録する記録部と、
   マイクによって取得した周囲音に、前記スピーカから出力された選択音が含まれているかどうかを検出する選択音検出手段と、
   選択音検出手段によって選択音が検出されると、当該選択音に基づいて前記複数単位の文字テキストを含む支援情報から一つの支援情報を選択する支援情報選択手段と、
   マイクによって取得した周囲音に、前記スピーカから出力された開始音が含まれているかどうかを検出する開始音検出手段と、
   開始音検出手段によって開始音が検出されると、前記支援情報選択手段によって選択された文字テキストを含む支援情報のディスプレイへの表示を開始する表示制御手段と、
   を備えた携帯端末装置。
3. ユーザに情報支援を行うための携帯端末装置をコンピュータによって実現するための携帯端末プログラムであって、コンピュータを、
   マイクによって取得した周囲音に、前記スピーカから出力された選択音が含まれているかどうかを検出する選択音検出手段と、
   選択音検出手段によって選択音が検出されると、当該選択音に基づいて、記録部に記録 された複数単位の文字テキストを含む支援情報から一つの支援情報を選択する支援情報選択手段と、
   マイクによって取得した周囲音に、前記スピーカから出力された開始音が含まれているかどうかを検出する開始音検出手段と、
   開始音検出手段によって開始音が検出されると、前記支援情報選択手段によって選択された文字テキストを含む支援情報のディスプレイへの表示を開始する表示制御手段として機能させるための携帯端末プログラムであって、
   前記支援情報は、前記コンテンツ音声信号の再生によって時間経過とともに前記スピーカから出力される音声と再生タイミングが合致するように作成された文字テキストを含むものであり、複数単位記録されていることを特徴とする携帯端末プログラム。
4. 請求項１のシステムにおいて、
   前記記録部に記録された複数単位の支援情報は、同一場所に設置されたスピーカにて時間的に順を追って再生されるコンテンツ音声に対応するものであり、
   前記選択音は、各支援情報ごとに異なる周波数の音を含むことを特徴とするシステム。
5. 請求項１のシステムにおいて、
   前記記録部に記録された複数単位の支援情報は、異なる場所に設置されたスピーカにて再生されるコンテンツ音声に対応するものであり、
   前記選択音は、各支援情報ごとに異なる周波数の音を含むことを特徴とするシステム。
6. 請求項４または５のシステムにおいて、
   前記選択音は、所定周波数の音であり、
   前記選択音検出手段は、マイクによって取得した周囲音に、当該所定周波数の音が所定レベル以上含まれているか否かによって、選択音が含まれているかどうかを判断するものであることを特徴とするシステム。
7. 請求項６のシステムにおいて、
   前記音は、複数の周波数の音が合成されたものであり、
   前記選択音検出手段は、マイクによって取得した周囲音に、当該複数の所定周波数の音の全てが所定レベル以上含まれているか否かによって、選択音が含まれているかどうかを判断するものであることを特徴とするシステム。
8. 請求項１、４〜７のいずれかのシステムにおいて、
   前記支援情報選択手段は、選択した支援情報を記録部から読み出して、ディスプレイへの表示処理のために、高速アクセス可能なメモリに展開することを特徴とするシステム。
9. 請求項１、４〜８のいずれかのシステムにおいて、
   前記開始音は、所定周波数の音であり、
   前記開始音検出手段は、マイクによって取得した周囲音に、当該所定周波数の音が所定レベル以上含まれているか否かによって、開始音が含まれているかどうかを判断するものであることを特徴とするシステム。
10. 請求項９のシステムにおいて、
    前記音は、複数の周波数の音が合成されたものであり、
    前記開始音検出手段は、マイクによって取得した周囲音に、当該複数の所定周波数の音の全てが所定レベル以上含まれているか否かによって、開始音が含まれているかどうかを判断するものであることを特徴とするシステム。
11. 請求項３のプログラムにおいて、
    前記記録部に記録された複数単位の支援情報は、同一場所に設置されたスピーカにて時間的に順を追って再生されるコンテンツ音声に対応するものであり、
    前記選択音は、各支援情報ごとに異なる周波数の音を含むことを特徴とするプログラム 。
12. 請求項３のプログラムにおいて、
    前記記録部に記録された複数単位の支援情報は、異なる場所に設置されたスピーカにて再生されるコンテンツ音声に対応するものであり、
    前記選択音は、各支援情報ごとに異なる周波数の音を含むことを特徴とするプログラム 。
13. 請求項１１または１２のプログラムにおいて、
    前記選択音は、所定周波数の音であり、
    前記選択音検出手段は、マイクによって取得した周囲音に、当該所定周波数の音が所定レベル以上含まれているか否かによって、選択音が含まれているかどうかを判断するものであることを特徴とするプログラム。
14. 請求項１３のプログラムにおいて、
    前記音は、複数の周波数の音が合成されたものであり、
    前記選択音検出手段は、マイクによって取得した周囲音に、当該複数の所定周波数の音の全てが所定レベル以上含まれているか否かによって、選択音が含まれているかどうかを判断するものであることを特徴とするプログラム。
15. 請求項３、１１〜１４のいずれかのプログラムにおいて、
    前記支援情報選択手段は、選択した支援情報を記録部から読み出して、ディスプレイへの表示処理のために、高速アクセス可能なメモリに展開することを特徴とするプログラム 。
16. 請求項３、１１〜１５のいずれかのプログラムにおいて、
    前記開始音は、所定周波数の音であり、
    前記開始音検出手段は、マイクによって取得した周囲音に、当該所定周波数の音が所定レベル以上含まれているか否かによって、開始音が含まれているかどうかを判断するものであることを特徴とするプログラム。
17. 請求項１６のプログラムにおいて、
    前記音は、複数の周波数の音が合成されたものであり、
    前記開始音検出手段は、マイクによって取得した周囲音に、当該複数の所定周波数の音の全てが所定レベル以上含まれているか否かによって、開始音が含まれているかどうかを判断するものであることを特徴とするプログラム。
18. ユーザに向けて少なくとも１番目コンテンツ音声と２番目コンテンツ音声を順次出力する１以上のスピーカと、当該スピーカに信号を出力する信号出力装置と、ユーザが有している携帯端末装置とを備えた情報支援システムであって、
    前記信号出力装置は、前記１番目コンテンツ音声および前記２番目コンテンツ音声のための１番目コンテンツ音声信号および２番目コンテンツ音声信号と、前記１番目コンテンツ音声および２番目コンテンツ音声を選択するための１番目選択音信号および２番目選択信号と、前記１番目コンテンツ音声および前記２番目コンテンツ音声の出力開始に対応付 けられた１番目開始音信号および２番目開始音信号とを少なくとも含む信号を前記スピーカに対して出力するよう構成され、
    前記携帯端末装置は、
    前記第１コンテンツ音声信号および前記第２コンテンツ音声信号の再生によって時間経過とともに前記スピーカから出力される音声と再生タイミングが合致するように作成された文字テキストを含む１番目支援情報および２番目支援情報を記録する記録部と、
    マイクによって取得した周囲音に、前記スピーカから出力された１番目選択音または２番目選択音が含まれているかどうかを検出する選択音検出手段と、
    選択音検出手段によって１番目選択音が検出されると、前記記録部に記録された１番目支援情報を再生すべきものとして選択し、選択音再生手段によって２番目選択音が検出されると、前記記録部に記録された２番目支援情報を再生すべきものとして選択する支援情報選択手段と、
    マイクによって取得した周囲音に、前記スピーカから出力された１番目開始音または２番目開始音が含まれているかどうかを検出する開始音検出手段と、
    開始音検出手段によって１番目開始音が検出されると、前記支援情報選択手段によって選択された文字テキストを含む１番目支援情報のディスプレイへの表示を開始し、開始音検出手段によって２番目開始音が検出されると、前記支援情報選択手段によって選択された文字テキストを含む２番目支援情報のディスプレイへの表示を開始する表示制御手段と、
    を備えた情報支援システム。
19. ユーザに情報支援を行うための携帯端末装置であって、
    第１コンテンツ音声信号および第２コンテンツ音声信号の再生によって時間経過とともに１以上のスピーカから出力される音声と再生タイミングが合致するように作成された文字テキストを含む１番目支援情報および２番目支援情報を記録する記録部と、
    マイクによって取得した周囲音に、前記スピーカから出力された１番目選択音または２番目選択音が含まれているかどうかを検出する選択音検出手段と、
    選択音検出手段によって１番目選択音が検出されると、前記記録部に記録された１番目支援情報を再生すべきものとして選択し、選択音再生手段によって２番目選択音が検出されると、前記記録部に記録された２番目支援情報を再生すべきものとして選択する支援情報選択手段と、
    マイクによって取得した周囲音に、前記スピーカから出力された１番目開始音または２番目開始音が含まれているかどうかを検出する開始音検出手段と、
    開始音検出手段によって１番目開始音が検出されると、前記支援情報選択手段によって選択された文字テキストを含む１番目支援情報のディスプレイへの表示を開始し、開始音検出手段によって２番目開始音が検出されると、前記支援情報選択手段によって選択された文字テキストを含む２番目支援情報のディスプレイへの表示を開始する表示制御手段と、
    を備えた携帯端末装置。
20. ユーザに情報支援を行うための携帯端末装置をコンピュータによって実現するための携帯端末プログラムであって、コンピュータを、
    マイクによって取得した周囲音に、１以上のスピーカから出力された１番目選択音または２番目選択音が含まれているかどうかを検出する選択音検出手段と、
    選択音検出手段によって１番目選択音が検出されると、前記記録部に記録された１番目支援情報を再生すべきものとして選択し、選択音再生手段によって２番目選択音が検出されると、前記記録部に記録された２番目支援情報を再生すべきものとして選択する支援情報選択手段と、
    マイクによって取得した周囲音に、前記スピーカから出力された１番目開始音または２番目開始音が含まれているかどうかを検出する開始音検出手段と、
    開始音検出手段によって１番目開始音が検出されると、前記支援情報選択手段によって選択された文字テキストを含む１番目支援情報のディスプレイへの表示を開始し、開始音検出手段によって２番目開始音が検出されると、前記支援情報選択手段によって選択された文字テキストを含む２番目支援情報のディスプレイへの表示を開始する表示制御手段として機能させるための携帯端末プログラムにおいて、
    前記１番目支援情報および２番目支援情報は、第１コンテンツ音声信号および第２コンテンツ音声信号の再生によって時間経過とともに前記スピーカから出力される音声と再生タイミングが合致するように作成された文字テキストを含むことを特徴とする携帯端末プログラム。
21. 請求項１８のシステムにおいて、
    前記１番目選択音は少なくとも第１周波数の音を含み、
    前記１番目開始音は少なくとも第１周波数の音および第３周波数の音の混合音を含み、
    前記２番目選択音は少なくとも第４周波数の音を含み、
    前記２番目開始音は少なくとも第４周波数の音および第３周波数の音の混合音を含むことを特徴とするシステム。
22. 請求項２１のシステムにおいて、
    前回１番目開始音は、さらに、第２周波数の音を含む混合音を含み、
    前記２番目開始音は、さらに、第５周波数の音を含む混合音を含むことを特徴とするシ ステム。
23. 請求項１、４〜１０、１８、２１、２２のいずれかのシステムにおいて、
    前記ディスプレイは、ヘッドマウントディスプレイであることを特徴とするシステム。
24. 請求項１、４〜１０、１８、２１〜２３のいずれかのシステムにおいて、
    前記スピーカは、ショーが行われるエリア、動画が表示されるエリアまたは説明対象物 の近傍に配置され、コンテンツ音声としてショーの出演者の台詞、動画に関する説明音声 または説明対象物に関する説明音声を少なくとも出力し、
    前記携帯端末装置は、上記コンテンツ音声に対応して、少なくとも前記台詞に対応する 文字テキスト、前記説明音声に対応する文字テキストまたは前記説明音声に対応する文字 テキストを再生するものであることを特徴とするシステム。
25. 請求項２０のプログラムにおいて、
    前記１番目選択音は少なくとも第１周波数の音を含み、
    前記１番目開始音は少なくとも第１周波数の音および第３周波数の音の混合音を含み、
    前記２番目選択音は少なくとも第４周波数の音を含み、
    前記２番目開始音は少なくとも第４周波数の音および第３周波数の音の混合音を含むことを特徴とするプログラム。
26. 請求項２５のプログラムにおいて、
    前回１番目開始音は、さらに、第２周波数の音を含む混合音を含み、
    前記２番目開始音は、さらに、第５周波数の音を含む混合音を含むことを特徴とするプ ログラム。
27. 請求項３、１１〜１７、２０、２５、２６のいずれかのプログラムにおいて、
    前記ディスプレイは、ヘッドマウントディスプレイであることを特徴とするプログラム 。
28. 請求項３、１１〜１７、２０、２５〜２７のいずれかのプログラムにおいて、
    前記スピーカは、ショーが行われるエリア、動画が表示されるエリアまたは説明対象物 の近傍に配置され、コンテンツ音声としてショーの出演者の台詞、動画に関する説明音声 または説明対象物に関する説明音声を少なくとも出力し、
    前記携帯端末装置は、上記コンテンツ音声に対応して、少なくとも前記台詞に対応する 文字テキスト、前記説明音声に対応する文字テキストまたは前記説明音声に対応する文字 テキストを再生するものであることを特徴とするプログラム。