WO2012050029A1 - 電子機器及びその表示言語判定方法 - Google Patents

Abstract

　映像解析部１２１は、映像入力部１１からの映像情報から得られる視聴者の顔などから少なくとも一つの種類の特徴情報を抽出し、抽出した各種類の特徴情報毎にその特徴情報に含まれる複数の特徴のそれぞれに応じて数値化した特徴抽出データ１３１を生成して記憶装置１３に記憶する。言語判定部１２２は、特徴抽出データ１３１の複数の特徴の値と、特徴抽出データの複数の特徴のそれぞれについて複数の言語のそれぞれの使用可能性の度合いを示す言語使用可能性データ１３２とに基づいて、視聴者が最も使用する可能性のある言語を判定する。表示・音声制御部１２３は、言語データ１３３の中から言語判定部１２２が判定した最も使用する可能性がある言語の言語データを表示部１４に表示し、音声出力部１５により音声出力する。

Description

電子機器及びその表示言語判定方法

　本発明は電子機器及びその表示言語判定方法に係り、特に画面に表示する言語の切換機能を有する電子機器及びその表示言語判定方法に関する。

　現在普及している、テレビジョン受像機やモニタ等の画面に画像等を表示する電子機器の多くは、視聴者が画面に表示されるメニューを見ながら、リモートコントローラで操作し、電子機器の各種設定を行ったり、電子機器をコントロールすることができる。視聴者が日本語を使用する日本人の場合は、画面に表示されるメニューの言語が日本語で表示されれば問題ないが、日本国内に住んでいる日本語の判らない外国人にとっては、日本語のメニューでは、表示内容が理解できず、操作できない。

　このような問題を解決するため、画面に画像等を表示する多くの電子機器では、その機器内に複数の言語データを持ち、視聴者がこれらの言語の中から好みの言語を選択し、選択された言語でメニューを表示する言語切換機能を有している。

　例えば、特許文献１には、表示装置に内蔵された記憶部に、予め複数種の言語（日本語、英語、ドイツ語等）に対応した文字データを単語単位で有し、各言語にはそれぞれ表示するための優先度が割り当てられ、言語切替えボタンの操作によって、予め設定された優先度に応じて順次言語を切替えて画面上に表示するようにした表示装置が開示されている。 

　また、デジタル放送やＤＶＤ（デジタル多用途ディスク）では、複数の言語の音声データを送出／記録することが可能であり、受信／再生機器側でこれらの言語の中から好みの言語を選んで音声出力させることができる。特許文献２には、複数の言語の音声情報が映像情報と共に記録されているビデオディスクからユーザーの好みの言語の音声情報をユーザーが選択部により選択して再生する情報再生装置が開示されている。

特開平９－１２７９２６号公報 特開平９－２５９５０７号公報

　上記の特許文献１記載の表示装置や特許文献２記載の情報再生装置では、表示される言語を切り替えるためには、視聴者あるいはユーザー自らが、言語切替えボタン、選択部、あるいはリモートコントローラやタッチパネル等を使って、自分に合った言語を選択しなければならない。

　しかしながら、通常、電子看板を表示するデジタルサイネージモニタでは、不特定多数の通行人への視聴を目的とし、盗難防止の理由等からリモートコントローラは用意されておらず、また言語切り替えボタンやタッチパネルは設けられていない。このため、通行人である視聴者が変わって、視聴者の使用言語が変わった場合は言語切り替えを行うべきであるが、特許文献１や特許文献２記載の発明を適用して言語切り替えのための操作ができない。また、仮にリモートコントローラを設置したとしても、切替方法が判らない、切り替えるのが面倒であるといった理由で、言語が判らないにもかかわらず、実際に切り替えが行われるケースが少ないのが現状である。

　本発明は以上の点に鑑みなされたもので、視聴者が選択することなしに、自動で視聴者に合った言語に切り替えできる電子機器及びその表示言語判定方法を提供することを目的とする。

　上記の目的を達成するため、本発明の電子機器は、画面前方の視聴者の映像情報を入力する映像入力手段と、入力される映像情報から得られる視聴者の顔、服装及び所持している物の中から少なくとも一つの種類の特徴情報を抽出し、抽出した各種類の特徴情報毎にその特徴情報に含まれる複数の特徴のそれぞれに応じて数値化した特徴抽出データを生成する映像解析手段と、映像解析手段により生成された特徴抽出データを記憶すると共に、予め設定した複数の言語のそれぞれで表され、かつ、少なくとも画面に表示される文字列を含む言語出力情報と、特徴抽出データの複数の特徴のそれぞれについて複数の言語のそれぞれの使用可能性の度合いを示す言語使用可能性データとを予め格納している記憶手段と、記憶手段に記憶された特徴抽出データの複数の特徴の値と、言語使用可能性データとに基づいて、視聴者が最も使用する可能性のある言語を判定する言語判定手段と、記憶手段に格納されている複数の言語の言語出力情報のうち、言語判定手段により判定された言語と同じ言語の言語出力情報を選択して出力し、少なくとも文字列を画面に表示させる出力制御手段とを有することを特徴とする。

　また、上記の目的を達成するため、本発明の電子機器は、上記記憶手段が、出力制御手段により選択された言語の言語出力情報の出力結果が視聴者により理解できるときに、その視聴者に対して所定の動きを行わせる確認メッセージを複数の言語のそれぞれについて更に記憶しており、上記言語判定手段により判定された言語と同じ言語の確認メッセージを記憶手段から読み出して出力制御手段により出力させ、その後に映像入力手段から入力される映像情報中の視聴者の動きが所定の動きであるか否かの映像解析結果に基づいて、言語出力情報の出力結果が視聴者により理解できないと判断したときは、出力制御手段により視聴者が次に使用する可能性のある言語として言語判定手段が判定した言語と同じ言語の言語出力情報に切り替え出力させる正誤判定・訂正手段を更に有することを特徴とする。

　また、上記の目的を達成するため、本発明の電子機器の表示言語判定方法は、画面前方の視聴者の映像情報を入力する映像入力ステップと、入力される映像情報から得られる視聴者の顔、服装及び所持している物の中から少なくとも一つの種類の特徴情報を抽出し、抽出した各種類の特徴情報毎にその特徴情報に含まれる複数の特徴のそれぞれに応じて数値化した特徴抽出データを生成する映像解析ステップと、映像解析ステップにより生成された特徴抽出データを記憶手段に記憶する記憶ステップと、記憶手段に記憶された特徴抽出データの複数の特徴の値と、記憶手段に予め格納されている特徴抽出データの複数の特徴のそれぞれについて複数の言語のそれぞれの使用可能性の度合いを示す言語使用可能性データとに基づいて、視聴者が最も使用する可能性のある言語を判定する言語判定ステップと、記憶手段に格納されている複数の言語のそれぞれで表され、かつ、少なくとも画面に表示される文字列を含む言語出力情報のうち、言語判定ステップにより判定された言語と同じ言語の言語出力情報を選択して少なくとも画面に文字列を表示させる出力制御ステップとを含むことを特徴とする。

　また、上記の目的を達成するため、本発明の電子機器の表示言語判定方法は、記憶手段は、出力制御ステップにより選択された言語の言語出力情報の出力結果が視聴者により理解できるときに、その視聴者に対して所定の動きを行わせる確認メッセージを複数の言語のそれぞれについて更に記憶しており、言語判定ステップにより判定された言語と同じ言語の確認メッセージを記憶手段から読み出して出力させ、その後に入力される映像情報中の視聴者の動きが所定の動きであるか否かの映像解析結果に基づいて、言語出力情報の出力結果が視聴者により理解できるか否かを判断する正誤判断ステップと、正誤判断ステップにより言語出力情報の出力結果が視聴者により理解できないと判断したときは、視聴者が次に使用する可能性のある言語として言語判定ステップで判定した言語と同じ言語の言語出力情報を記憶手段から読み出して切り替え出力する訂正ステップとを更に含むことを特徴とする。

　本発明によれば、視聴者が言語選択のための操作をすることなしに、視聴者の使用言語である可能性が最も高い言語の表示及び音声出力に自動で切り替えることができる。

本発明の第１の実施の形態に係る電子機器のブロック図である。 本発明の第１の実施の形態に係る特徴抽出データの一例を説明するための図である。 本発明の第１の実施の形態に係る特徴抽出データの他の例を説明するための図である。 本発明の第１の実施の形態に係る肌の色の特徴抽出データに対応した言語使用可能性データの一例を示す図である。 本発明の第１の実施の形態に係る目（虹彩）の色の特徴抽出データに対応した言語使用可能性データの一例を示す図である。 図１中の言語判定部の動作説明用フローチャートである。 図１の電子機器により日本語で画面表示及び音声出力を行う時の一例を示す図である。 図１の電子機器により英語で画面表示及び音声出力を行う時の一例を示す図である。 本発明の第２の実施の形態に係る電子機器のブロック図である。 図９の電子機器により日本語で確認用メッセージの画面表示及び音声出力を行う時の一例を示す図である。 図９の電子機器により英語で確認用メッセージの画面表示及び音声出力を行う時の一例を示す図である。

　次に、本発明の実施の形態について図面を参照して詳細に説明する。

　（第１の実施の形態）
　図１は、本発明の第１の実施の形態に係る電子機器のブロック図を示す。図１に示すように、本実施の形態の電子機器１０は、デジタルサイネージモニタ（以下、単にモニタという）を構成しており、映像情報を入力する映像入力部１１と、モニタ全体を統括的に制御する制御部１２と、各種データを記憶する記憶装置１３と、モニタの画面に画像や文字を表示する表示部１４と、音声を出力するスピーカ等からなる音声出力部１５とにより構成されている。

　映像入力部１１は、カメラ等によりモニタの画面前方の視聴者等を撮像して得た映像情報を入力する機能を有する。制御部１２は、映像解析部１２１、言語判定部１２２、及び表示・音声制御部１２３を有し、映像入力部１１から入力された映像情報を解析し、映像情報中の視聴者が使用する可能性が最も高い言語を判定し、表示部１４による表示及び音声出力部１５による音声出力をその言語に切り替える制御を行う。表示・音声制御部１２３は、本発明の出力制御手段を構成している。この制御部１２の制御内容の詳細については後述する。

　記憶装置１３は、各種データを記憶するメモリであり、視聴者の使用言語を判定するために使われる言語使用可能性データ１３２と、予めこの電子機器１０がサポートする各言語（本実施の形態では少なくとも日本語と英語）の文字列や音声に関する言語データ１３３とが格納されている。また、記憶装置１３は、制御部１２により得られた視聴者の特徴抽出データ１３１も記憶する。

　次に、制御部１２の動作について詳細に説明する。

　映像解析部１２１は、映像入力部１１から入力される映像情報から得られる視聴者の顔などから少なくとも一つの種類の特徴情報を抽出し、抽出した各種類の特徴情報毎にその特徴情報に含まれる複数の特徴のそれぞれに応じて数値化した特徴抽出データ１３１を生成して記憶装置１３に記憶する。本実施の形態では、上記の特徴情報として視聴者の肌の色と目（虹彩）の色を例にとって説明する。

　図２、図３は、特徴抽出データの各例を示す。図２は、肌の色の特徴抽出データを示す。近年、デジタルカメラやビデオカメラ等で使われている顔認識技術は一般的である（例えば、特開２０００－１０５８１９号公報参照）。映像解析部１２１は、この公知の顔認識技術により入力映像情報中の顔領域を検出し、更にその顔領域内の肌色部分の各画素の色の輝度成分の平均データを求め、これを特徴抽出データ１３１として記憶装置１３に記憶する。図２に示す肌の色の特徴抽出データは、肌の色に含まれる複数の輝度の値に応じて、最も輝度の低い値を「０」、最も輝度の高い値を「２５５」として数値化されている。

　図３は、目（虹彩）の色の特徴抽出データを示す。画像中から目（虹彩）を検出する技術は既に知られている（例えば、特開２００４－３２６７８０号公報）。映像解析部１２１は、この公知の目（虹彩）を検出する技術を用いて映像情報中から視聴者の目（虹彩）の位置を検出し、更にその位置の色をサンプリングすることで、目（虹彩）の色を抽出する。図３に示す目（虹彩）の色の特徴抽出データは、目（虹彩）の色であるブラウン（濃褐色）、ヘーゼル（淡褐色）、アンバー（琥珀色）、グリーン（緑色）、グレー（灰色）、ブルー（青色）の６種類と、いずれにも属さないその他を含めた７種類の色系統を割り当てられた数値で示す。

　映像解析部１２１は、映像情報から抽出した視聴者の目（虹彩）の色が、上記の７種類の色系統のいずれに近いかを決定し、決定した色系統に対応する数値を記憶装置１３に特徴抽出データ１３１として記憶する。

　図１の言語判定部１２２は、映像解析部１２１により抽出されて記憶装置１３内に格納された肌の色や目（虹彩）の色の特徴抽出データ１３１と、予め記憶装置１３内に格納されている言語使用可能性データ１３２とを参照し、本電子機器１０がサポートしているそれぞれの言語について、その言語を使用する可能性を求める。言語使用可能性データ１３２は、特徴抽出データ１３１の複数の特徴のそれぞれについて、予め設定した複数の言語のそれぞれの使用可能性の度合いを示すデータである。

　図４は、肌の色の特徴抽出データに対応した言語使用可能性データの一例を示す。肌の色の特徴データは、前述したように、肌の色の特徴データの特徴である輝度が最も低い「０」から最も輝度が高い「２５５」までの範囲で数値化されている。図４において、例えば、肌の色の特徴抽出データが「０」の場合、その肌の色を持つ視聴者が言語１を使用する可能性は４０％、同じくその視聴者が言語２を使用する可能性は１５％、言語３を使用する可能性は３％、言語４を使用する可能性は６％、言語５を使用する可能性は３％であることを示している。

　本実施形態の電子機器１０でサポートしている英語が言語１、日本語が言語２だと仮定し、肌の色の特徴抽出データが「３」であった場合、図４の使用可能性データからその視聴者が英語を使用する可能性は３１％、日本語を使用する可能性は２３％ということになる。予め、記憶装置１３に格納しておく、肌の色の言語使用可能性データは、世界各地の人の肌の色とその人が使用する言語を実際に調査することで作成できる。

　図５は、目（虹彩）の色の特徴抽出データに対応した言語使用可能性データの一例を示す。目（虹彩）の色の特徴抽出データは、前述したように、目（虹彩）の色の特徴抽出データの特徴である色の系統により、７種類のデータ（１～７）に数値化されている。図５において、例えば、目（虹彩）の色の特徴抽出データの値「１」（目の色がブラウン系）の場合、その目の色を持つ視聴者が言語１を使用する可能性は２７％、言語２を使用する可能性は３９％、言語３を使用する可能性は３６％、言語４を使用する可能性は１５％、言語５を使用する可能性は１１％であることを示している。

　本実施の形態の電子機器１０でサポートしている英語が言語１、日本語が言語２だと仮定し、目（虹彩）の色の特徴抽出データの値が「５」（グレー系）であった場合、図５の言語使用可能性データからその視聴者が英語を使用する可能性は１５％、日本語を使用する可能性は１７％ということになる。予め、記憶装置１３に格納しておく、目（虹彩）の色の言語使用可能性データは、世界各地の人の目（虹彩）の色とその人が使用する言語を実際に調査することで作成できる。

　次に、言語判定部１２２の動作について、図６のフローチャートを参照して説明する。ここでは、特徴抽出はａ種類、言語の種類はｂ種類であるものとする。まず、言語判定部１２２は、変数ｎの値に初期値「１」を代入すると共に、ｂ個の配列Ｐ［１］～Ｐ［ｂ］に初期値「０」を代入する（ステップＳ１）。ここで配列Ｐ［ｍ］は、ｍ番目の言語の使用可能性を示す数値を格納する。

　続いて、言語判定部１２２は、ｎ番目の特徴の特徴抽出データ１３１を取り込み（ステップＳ２）、変数ｍに初期値「１」を代入した後（ステップＳ３）、ｍ番目の言語の使用可能性を求め、配列Ｐ［ｍ］に加える（ステップＳ４）。つまり、ｎ番目の特徴の特徴抽出データの値に対応した言語使用可能性データのｍ番目の言語の値を配列Ｐ［ｍ］の値に加える。

　続いて、言語判定部１２２は、変数ｍの値が最後の値である「ｂ」であるかどうかを判定し（ステップＳ５）、「ｂ」でなければ変数ｍの値を「１」だけインクリメントし（ステップＳ６）、ステップＳ４に戻る。以下、同様にして、言語判定部１２２は、ステップＳ５で変数ｍの値が最後の値である「ｂ」であると判定されるまで、ステップＳ４～Ｓ６の動作を繰り返す。

　次に、言語判定部１２２は、変数ｎの値が最後の値「ａ」であるかどうかを判定し（ステップＳ７）、「ａ」でなければ変数ｎの値を「１」だけインクリメントし（ステップＳ８）、ステップＳ２に戻り次の順番の特徴の特徴抽出データを取り込む。以下、同様にして、言語判定部１２２は、ステップＳ７で変数ｎの値が最後の値である「ａ」であると判定されるまで、ステップＳ２～Ｓ８の動作を繰り返す。そして、言語判定部１２２は、ステップＳ７でｎ＝ａと判定すると、配列Ｐ［１］～Ｐ［ｍ］の値を確認し、最も大きな値が格納されている配列が示す言語を、最も使用可能性の高い言語として判定する（ステップＳ９）。

　これにより、例えばａ＝ｂ＝２であり、ｎ＝１番目の特徴の特徴抽出データが肌の色の特徴抽出データでその値が「３」であり、ｎ＝２番目の特徴の特徴抽出データが目（虹彩）の色の特徴抽出データでその値が「５」であり、また、ステップＳ４で求める使用可能性は、ｎ＝１のときは図４に示した肌の色の特徴抽出データに対応した言語可能性データ、ｎ＝２のときは図５に示した目（虹彩）の色の特徴抽出データに対応した言語可能性データに基づくものとすると、Ｐ［１］、Ｐ［２］の値は以下の通りになる。

　すなわち、言語１の配列Ｐ［１］は肌の色の特徴データの値「３」のとき３１％、目（虹彩）の色の特徴抽出データの値が「５」のとき１５％であるから、両者の和の「４６」となる。また、言語２の配列Ｐ［２］は肌の色の特徴データの値「３」のとき２３％、目（虹彩）の色の特徴抽出データの値が「５」のとき１７％であるから、両者の和の「４０」となる。ここで、言語１が英語、言語２が日本語とすると、言語判定部１２２は、上記の例ではＰ［１］＞Ｐ［２］であるから、ステップＳ９で使用可能性が高い言語として英語と判定する。

　再び図１に戻って説明する。表示・音声制御部１２３は、言語判定部１２２による言語判定結果が示す言語の言語データ（文字列データや音声データ）１３３を記憶装置１３から読み出し、文字列データは表示部１４に供給して判定された言語の文字列を表示させると共に、音声データは音声出力部１５に供給して判定された言語の音声により所定の音声内容を出力する。

　これにより、例えば図７に示すように、本実施の形態の電子機器１０であるモニタ１の画面の前方に位置する視聴者Ａを、映像入力部１１を構成するカメラ２により撮像して得られた映像情報から抽出した特徴抽出データに基づいて、モニタ１（電子機器１０）が上述した方法により視聴者Ａが使用する言語が日本語である可能性が高いと判定したときは、表示部１４の画面に日本語表示４にてニュースや天気予報等の各種情報を表示すると共に、音声出力部１５であるスピーカから日本語音声３１を出力する。

　また、例えば図８に示すように、本実施の形態の電子機器１０であるモニタ１の画面の前方に位置する視聴者Ｂを、映像入力部１１を構成するカメラ２により撮像して得られた映像情報から抽出した特徴抽出データに基づいて、モニタ１（電子機器１０）が上述した方法により視聴者Ｂが使用する言語が英語である可能性が高いと判定したときは、表示部１４の画面に英語表示６を行うと共に、音声出力部１５であるスピーカから英語音声３２を出力する。

　このようにして、本実施の形態の電子機器１０によれば、視聴者の映像情報から視聴者の特徴を示す特徴抽出データを生成し、その特徴抽出データと予め記憶装置１３内に記憶しておいた各特徴における言語使用可能性を示す言語使用可能性データ１３２とに基づいて、その視聴者が使用する可能性が最も高い言語を判定（推定）し、その言語の言語データを画面表示及び音声出力するようにしたため、視聴者が言語選択のための操作をすることなしに、電子機器１０が視聴者の使用言語である可能性が最も高い言語の表示及び音声出力に自動で切り替えることができる。

　なお、上記の説明では、特徴抽出データの例として、肌の色と目（虹彩）の色の２つの例を挙げたが、この限りではなく、例えば視聴者の髪の色、鼻の高さ、服装、身につけているあるいは持っている物に記載されている文字情報等を抽出してもよい。

　例えば、身につけている服装が日本の振袖であるかどうかを、襟や袖の形状、腹部に太い帯があるか等を解析し、その解析結果から得られる日本の振袖を着ている可能性を示すデータを特徴抽出データとしてもよい。この場合、振袖を着ている可能性が高いほど、日本語を使用する可能性が高くなるような言語使用可能性データを用意しておくことになる。

　また、視聴者が手に持っているパスポートの表紙の図柄や、国籍が記載されたページの文字を認識することで、視聴者の国籍を推測し、その国籍を示すデータを特徴抽出データとしてもよい。この場合、各国籍毎の言語使用可能性データを用意しておくことになる。本明細書では、これらの具体的な特徴抽出データの規定はしない。

　（第２の実施の形態）
　次に、本発明の第２の実施の形態について説明する。図９は、本発明の第２の実施の形態に係る電子機器のブロック図を示す。図９中、図１と同一構成部分には同一符号を付し、その説明を省略する。図９において、本実施の形態の電子機器２０は、モニタを構成しており、映像情報を入力する映像入力部１１と、モニタ全体を統括的に制御する制御部２１と、各種データを記憶する記憶装置１３と、モニタの画面に画像や文字を表示する表示部１４と、音声を出力するスピーカ等からなる音声出力部１５とにより構成されている。また、記憶装置１３に記憶されている言語データ１３５は、電子機器２０がサポートする複数の言語のそれぞれで作成された言語データで、視聴者が確認できるかどうかを確認するための文字列や音声のメッセージを含んでいる。

　制御部２１は、映像解析部２１１、言語判定部２１２、正誤判断・訂正部２１３、及び表示・音声制御部２１４から構成されている。図１の制御部１２とは異なる本実施の形態の制御部２１の特有の動作について以下説明する。

　図１に示した電子機器１０の制御部１２による言語判定結果は、あくまでも推定に過ぎず、確実なものではない。これをより確実にするために、本実施の形態の電子機器２０では制御部２１内に正誤判断・訂正部２１３を設け、これにより言語判定結果が正しいかどうか（すなわち、視聴者が表示文字列又は出力音声内容が理解できるか否か）を確認し、言語判定結果が間違っていた場合は、次に使用可能性の高い言語に切り替えるようにしたものである。

　言語判定部２１２は、言語判定部１２２と同様にして、映像解析部２１１により抽出されて記憶装置１３内に格納された肌の色や目（虹彩）の色の特徴抽出データ１３１と、予め記憶装置１３内に格納されている言語使用可能性データ１３２とを参照し、本電子機器２０がサポートしているそれぞれの言語のうち、視聴者が使用する可能性が最も高い言語の言語判定結果を出力する。

　表示・音声制御部２１４は、言語判定部２１２による言語判定結果が示す言語の言語データ（文字列データ、音声データ及びメッセージデータ）１３５を記憶装置１３から読み出し、その中からデジタルサイネージモニタ本来の目的の文字列データや音声データを表示部１４及び音声出力部１５に出力する。続いて、表示・音声制御部２１４は、言語判定部２１２による言語判定結果が示す言語の言語データの中から文字列のメッセージデータを表示部１４に供給して表示させると共に、音声のメッセージデータを音声出力部１５に供給して音声出力させる。ここで、上記のメッセージは、その言語で視聴者が理解できるかどうかを確認するためのメッセージで、モニタに表示したデジタルサイネージモニタ本来の目的の文字列（画像含む）の言語や、音声出力部１５から音声出力した言語が理解できるときに、視聴者に対して所定の動き（例えば、右手を上げるなど）を要求するメッセージである。

　これにより、電子機器２０は、言語判定部２１２により視聴者の最も使用する可能性が高い言語で、デジタルサイネージモニタ本来の目的の文字列（画像含む）や音声を出力した後、上記の確認用メッセージをモニタの画面に表示したり、音声出力する。

　例えば言語判定部２１２により視聴者の最も使用する可能性が高い言語が日本語であると判定された場合は、電子機器２０（モニタ５）は図１０に参照番号７で示すように、表示部１４の画面に日本語で「この言語が理解できるなら右手を上げてください。」との確認用メッセージを視聴者Ｃに対して表示すると共に、図１０に参照番号３３で示すようにスピーカからなる音声出力部１５により上記の確認用メッセージを日本語で音声出力させる。

　また、言語判定部２１２により視聴者の最も使用する可能性が高い言語が英語であると判定された場合は、電子機器２０（モニタ５）は図１１に参照番号８で示すように、表示部１４の画面に英語で上記と同様の意味を示す英文の確認用メッセージを視聴者Ｄに対して表示すると共に、図１１に参照番号３４で示すようにスピーカからなる音声出力部１５により上記の確認用メッセージを英語で音声出力させる。

　その後、映像解析部２１１は、視聴者Ｃ又はＤが右手を上げたかどうかを映像入力部１１からの視聴者Ｃ又はＤの予め設定した所定の時間内の映像情報を解析して判定する。視聴者Ｃ又はＤが右手を上げたかどうかの判定は、例えば、映像解析部２１１により、視聴者の顔の上部のやや右の位置（映像入力部１１からの入力映像情報内では検出した顔領域の上部のやや左の位置）に手のひらがあるかどうかを判定すればよい。

　手のひらの判定は、手のひらも顔と同様に肌色をしているので、顔領域の判定と同様に、例えば特開２０００－１０５８１９号公報や特開２００６－３１８３７５号公報に記載の公知の肌の色の判定方法を用いることで実現できる。

　正誤判断・訂正部２１３は、上記の映像解析部２１１の映像解析結果が、視聴者Ｃ又はＤが右手を上げたことを示しているときは、視聴者Ｃ又はＤが画面に表示された確認用メッセージ（または、出力された音声）の言語を理解できていると判断する。一方、上記の映像解析部２１１の映像解析結果が、視聴者Ｃ又はＤが右手を上げていないことを示しているときは、視聴者Ｃ又はＤが画面に表示された確認用メッセージ（または、出力された音声）の言語を理解できていないと判断する。

　言語を理解できていないと判断した場合、正誤判断・訂正部２１３は、言語判定部２１２が現在表示（又は音声出力）している言語の次に使用する可能性が高いと判定された言語の言語データ（文字列データ、音声データ及びメッセージデータ）１３５を記憶装置１３から読み出して表示・音声制御部２１４に供給する。表示・音声制御部２１４は、次に使用する可能性が高いと判定された言語の言語データ（文字列データ、音声データ及びメッセージデータ）１３５の中からデジタルサイネージモニタ本来の目的の文字列データを表示部１４により切り替え表示させると共に、その言語の音声データを音声出力部１５から切り替え出力させる。続いて、表示・音声制御部２１４は、上記の次に使用する可能性が高いと判定された言語の言語データの中から文字列のメッセージデータを表示部１４に供給して表示させると共に、音声のメッセージデータを音声出力部１５に供給して音声出力させる。

　その後、正誤判断・訂正部２１３は、再び映像解析部２１１からの視聴者Ｃ又はＤの動きの解析結果に基づいて視聴者Ｃ又はＤが画面に表示された確認用メッセージ（または、出力された音声）の言語を理解できているか否かを判断する。以後、視聴者が理解できる言語になるまで（視聴者が右手を上げるまで）、上記処理が繰り返される。視聴者が理解できる言語になった場合は、正誤判断・訂正部２１３は、そのときの映像解析部２１１からの映像解析結果に基づいて、現在表示（又は音声出力）している言語を使用する可能性が最も高い言語であるという言語判定結果を言語判定部２１２から出力させて、表示・音声制御部２１４によりその言語の言語データを出力させる。

　なお、本発明は以上の実施の形態に限定されるものではなく、例えばデジタルサイネージの目的の音声出力は行わなくても構わない。また、確認用メッセージは画面での表示と音声出力のどちらか一方でも差し支えない。更に、本発明はデジタルサイネージシステムに限らず、携帯電話機やパーソナルコンピュータの情報入力装置としても使用可能である。

　１、５　モニタ
　２　カメラ
　１４　画面
　１０、２０　電子機器
　１１　映像入力部
　１２、２１　制御部
　１３　記憶装置
　１４　表示部
　１５　音声出力部
　１２１、２１１　映像解析部
　１２２、２１２　言語判定部
　１２３、２１４　表示・音声制御部
　１３１　特徴抽出データ
　１３２　言語使用可能性データ
　１３３、１３５　言語データ
　２１３　正誤判断・訂正部

Claims (4)

1. 　画面前方の視聴者の映像情報を入力する映像入力手段と、
   　入力される前記映像情報から得られる前記視聴者の顔、服装及び所持している物の中から少なくとも一つの種類の特徴情報を抽出し、抽出した各種類の特徴情報毎にその特徴情報に含まれる複数の特徴のそれぞれに応じて数値化した特徴抽出データを生成する映像解析手段と、
   　前記映像解析手段により生成された前記特徴抽出データを記憶すると共に、予め設定した複数の言語のそれぞれで表され、かつ、少なくとも前記画面に表示される文字列を含む言語出力情報と、前記特徴抽出データの前記複数の特徴のそれぞれについて前記複数の言語のそれぞれの使用可能性の度合いを示す言語使用可能性データとを予め格納している記憶手段と、
   　前記記憶手段に記憶された前記特徴抽出データの前記複数の特徴の値と、前記言語使用可能性データとに基づいて、前記視聴者が最も使用する可能性のある言語を判定する言語判定手段と、
   　前記記憶手段に格納されている複数の言語の前記言語出力情報のうち、前記言語判定手段により判定された言語と同じ言語の前記言語出力情報を選択して出力し、少なくとも前記文字列を前記画面に表示させる出力制御手段と
   　を有することを特徴とする電子機器。
2. 　前記記憶手段は、前記出力制御手段により選択された言語の前記言語出力情報の出力結果が前記視聴者により理解できるときに、その視聴者に対して所定の動きを行わせる確認メッセージを前記複数の言語のそれぞれについて更に記憶しており、
   　前記言語判定手段により判定された言語と同じ言語の前記確認メッセージを前記記憶手段から読み出して前記出力制御手段により出力させ、その後に前記映像入力手段から入力される前記映像情報中の前記視聴者の動きが前記所定の動きであるか否かの映像解析結果に基づいて、前記言語出力情報の出力結果が前記視聴者により理解できないと判断したときは、前記出力制御手段により前記視聴者が次に使用する可能性のある言語として前記言語判定手段が判定した言語と同じ言語の前記言語出力情報に切り替え出力させる正誤判定・訂正手段
   　を更に有することを特徴とする請求項１記載の電子機器。
3. 　画面前方の視聴者の映像情報を入力する映像入力ステップと、
   　入力される前記映像情報から得られる前記視聴者の顔、服装及び所持している物の中から少なくとも一つの種類の特徴情報を抽出し、抽出した各種類の特徴情報毎にその特徴情報に含まれる複数の特徴のそれぞれに応じて数値化した特徴抽出データを生成する映像解析ステップと、
   　前記映像解析ステップにより生成された前記特徴抽出データを記憶手段に記憶する記憶ステップと、
   　前記記憶手段に記憶された前記特徴抽出データの前記複数の特徴の値と、前記記憶手段に予め格納されている前記特徴抽出データの前記複数の特徴のそれぞれについて前記複数の言語のそれぞれの使用可能性の度合いを示す言語使用可能性データとに基づいて、前記視聴者が最も使用する可能性のある言語を判定する言語判定ステップと、
   　前記記憶手段に格納されている複数の言語のそれぞれで表され、かつ、少なくとも前記画面に表示される文字列を含む言語出力情報のうち、前記言語判定ステップにより判定された言語と同じ言語の前記言語出力情報を選択して少なくとも前記画面に前記文字列を表示させる出力制御ステップと
   　を含むことを特徴とする電子機器の表示言語判定方法。
4. 　前記記憶手段は、前記出力制御ステップにより選択された言語の前記言語出力情報の出力結果が前記視聴者により理解できるときに、その視聴者に対して所定の動きを行わせる確認メッセージを前記複数の言語のそれぞれについて更に記憶しており、
   　前記言語判定ステップにより判定された言語と同じ言語の前記確認メッセージを前記記憶手段から読み出して出力させ、その後に入力される前記映像情報中の前記視聴者の動きが前記所定の動きであるか否かの映像解析結果に基づいて、前記言語出力情報の出力結果が前記視聴者により理解できるか否かを判断する正誤判断ステップと、
   　前記正誤判断ステップにより前記言語出力情報の出力結果が前記視聴者により理解できないと判断したときは、前記視聴者が次に使用する可能性のある言語として前記言語判定ステップで判定した言語と同じ言語の前記言語出力情報を前記記憶手段から読み出して切り替え出力する訂正ステップと
   　を更に含むことを特徴とする請求項３記載の電子機器の表示言語判定方法。

Images