JP5564625B1 - プログラム及び表示制御装置 - Google Patents

Abstract

【課題】従来に比べて、より直感的に手話を学ぶことができるシステムの提供が望まれている。
【解決手段】コンピュータを、手の３次元モデルを取得するモデル取得部、指定された言葉に対応する動きを手の３次元モデルにさせるための動作データを取得する動作データ取得部、動作データに従って手の３次元モデルを動作させる動作制御部、及び手話者側からの方向及び手話者の相手側からの方向を含む複数の方向からみた手の３次元モデルを表示部に表示させる表示制御部として機能させるためのプログラムを提供する。
【選択図】図２

Description

本発明は、プログラム及び表示制御装置に関する。

従来、テキストを手話のアニメーションに変換し、変換後の手話のアニメーションを表示する装置が知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００４−２５４２１８号公報

従来に比べて、より直感的に手話を学ぶことができるシステムの提供が望まれている。

本発明の第１の態様によれば、コンピュータを、手の３次元モデルを取得するモデル取得部、指定された言葉に対応する動きを手の３次元モデルにさせるための動作データを取得する動作データ取得部、動作データに従って手の３次元モデルを動作させる動作制御部、及び手話者側からの方向及び手話者の相手側からの方向を含む複数の方向からみた手の３次元モデルを表示部に表示させる表示制御部として機能させるためのプログラムが提供される。

上記コンピュータにおいて、モデル取得部は、手話者の胴体の３次元モデルをさらに取得してよく、表示制御部は、手話者側からみた手の３次元モデルを表示部に表示させる場合、手の３次元モデル及び半透明化された胴体の３次元モデルを表示部に表示させてよい。上記コンピュータにおいて、モデル取得部は、手話者の頭部の３次元モデルをさらに取得してよく、表示制御部は、手話者側からみた手の３次元モデルを表示部に表示させる場合、手の３次元モデル及び半透明化された頭部の３次元モデルを表示部に表示させてよい。

上記プログラムは、上記コンピュータを、手の３次元モデルを含む手話者モデルに対して視点を回転移動させる又は手話者モデルを回転させる回転制御部としてさらに機能させてよく、表示制御部は、手話者モデルに含まれる手の３次元モデル以外の他の３次元モデルが手の３次元モデルに対して重畳する場合に、手の３次元モデルと、半透明化された他の３次元モデルを表示部に表示させてよい。上記コンピュータにおいて、表示制御部は、手話者モデルと視点との位置関係が第１の範囲内であるときには手の３次元モデル及び半透明化されていない他の３次元モデルを表示部に表示させ、手話者モデルと視点との位置関係が第２の範囲内あるときには手の３次元モデル及び半透明化された他の３次元モデルを表示部に表示させてよい。上記コンピュータにおいて、表示制御部は、他の３次元モデルが手の３次元モデルに対して重畳するか否かを判定し、他の３次元モデルが手の３次元モデルに対して重畳していないと判定した場合、手の３次元モデル及び半透明化されていない他の３次元モデルを表示部に表示させ、他の３次元モデルが手の３次元モデルに対して重畳していると判定した場合、手の３次元モデル及び半透明化された他の３次元モデルを表示部に表示させてよい。

上記コンピュータにおいて、表示制御部は、手の３次元モデルの動作に合わせて、手の３次元モデルの軌道を示す軌道オブジェクトを表示部に表示させてよい。上記プログラムは、上記コンピュータを、手話者の利き腕を設定する利き腕設定部としてさらに機能させてよく、動作制御部は、利き腕に応じて、手の３次元モデルを動作させてよい。上記コンピュータにおいて、手の３次元モデルは、手及び前腕を模した３次元モデルであってよい。

本発明の第２の態様によれば、手の３次元モデルを取得するモデル取得部と、指定された言葉に対応する動きを手の３次元モデルにさせるための動作データを取得する動作データ取得部と、動作データに従って手の３次元モデルを動作させる動作制御部と、手話者側からの方向及び手話者の相手側からの方向を含む複数の方向からみた手の３次元モデルを表示部に表示させる表示制御部とを備える表示制御装置が提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

表示制御装置の通信環境の一例を概略的に示す。 表示制御装置の機能構成の一例を概略的に示す。 辞典データの表示例を概略的に示す。 複数のカテゴリの表示例を概略的に示す。 シーン別例文集タブが選択された場合の表示例を概略的に示す。 手話者の３次元モデルの表示例を概略的に示す。 視点を回転移動させた場合の手話者の３次元モデルの表示例を概略的に示す。 視点を回転移動させた場合の手話者の３次元モデルの表示例を概略的に示す。 視点を回転移動させた場合の手話者の３次元モデルの表示例を概略的に示す。 手の３次元モデルの表示例を概略的に示す。 手話者の３次元モデルの表示例を概略的に示す。 表示制御装置による処理の流れの一例を概略的に示す。 表示制御装置の機能構成の他の一例を概略的に示す。 ゲーム画面の表示例を概略的に示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、表示制御装置１００の通信環境の一例を概略的に示す。本実施形態に係る表示制御装置１００は、指定された言葉に対応する動きを、手話者を模した３次元モデルにさせることによって手話の学習を支援する。

例えば、表示制御装置１００を使用する使用者３０は、単語及び文章等の言葉を表示制御装置１００に対して入力する。表示制御装置１００は、表示した手話者の３次元モデルに、入力された言葉に対応する動きをさせる。これにより、使用者３０は入力した言葉に対応する手話を学習できる。

表示制御装置１００は、手話者の３次元モデルを表示する機能を有する装置であれば、どのような装置であってもよい。例えば、表示制御装置１００は、スマートフォン等の携帯電話、タブレット端末、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、テレビ、及びゲーム機等である。

表示制御装置１００は、手話者の３次元モデルを予め格納してよい。表示制御装置１００は、例えば、ネットワーク５０を介してサーバ４００から手話者の３次元モデルを受信して、格納する。ネットワーク５０は、例えば、インターネット及び電話網等を含む。

また、表示制御装置１００は、複数の言葉のそれぞれについて、対応する動きを手話者の３次元モデルにさせるための動作データを予め格納してよい。表示制御装置１００は、例えば、ネットワーク５０を介して、サーバ４００から動作データを受信して格納する。

図２は、表示制御装置１００の機能構成の一例を概略的に示す。表示制御装置１００は、受信部１０２、辞典データ格納部１０４、モデル格納部１０６、動作データ格納部１０８、入力受付部１１２、動作制御部１２０、モデル取得部１２６、動作データ取得部１２８、表示制御部１３０、及び表示部１３２を備える。表示制御装置１００がこれらの全ての構成を備えることは必須であるとは限らない。

受信部１０２は、サーバ４００からデータを受信する。受信部１０２は、例えば、辞典データを受信する。また、受信部１０２は、手話者の３次元モデルを受信してよい。また、受信部１０２は、動作データを受信してよい。

辞典データは、文字、単語、及び文章等の言葉を含んでよい。手話者の３次元モデルは、手話者の手の３次元モデル、胴体の３次元モデル、及び頭部の３次元モデルを含んでよい。動作データは、辞典データに含まれる複数の言葉に対応する動きを手話者の３次元モデルにさせるためのデータを含んでよい。また、動作データは、指文字に対応する動きを手話者の３次元モデルにさせるためのデータを含んでよい。

辞典データ格納部１０４は、辞典データを格納する。辞典データ格納部１０４は、例えば、受信部１０２が受信した辞典データを格納する。モデル格納部１０６は、手話者の３次元モデルを格納する。モデル格納部１０６は、例えば、受信部１０２が受信した手話者の３次元モデルを格納する。動作データ格納部１０８は、動作データを格納する。動作データ格納部１０８は、例えば、受信部１０２が受信した動作データを格納する。

入力受付部１１２は、入力を受け付ける。入力受付部１１２は、タッチ入力、キー入力、及びポインティング入力の少なくともいずれかを受け付けてよい。入力受付部１１２は、辞典データ格納部１０４に格納された複数の言葉のうちのいずれかを指定する入力を受け付けてよい。また、入力受付部１１２は、フリーワードの入力を受け付けてもよい。

動作制御部１２０は、入力受付部１１２が受け付けた入力に基づいて、モデル取得部１２６がモデル格納部１０６から取得した手話者の３次元モデルを、動作データ取得部１２８が動作データ格納部１０８から取得した動作データに従って動作させる。動作制御部１２０は、入力受付部１１２がフリーワードの入力を受け付けた場合、フリーワードに含まれる複数の文字のそれぞれを示す指文字を特定して、複数の指文字に対応する動きを、手話者の３次元モデルに連続的にさせてよい。

表示制御部１３０は、動作制御部１２０が動作させる手話者の３次元モデルを表示部１３２に表示させる。表示制御部１３０は、手話者側からの方向及び手話者の相手側からの方向を含む複数の方向からみた手話者の３次元モデルを表示部１３２に表示させてよい。表示制御部１３０は、例えば、手話者の３次元モデルに対して視点を回転移動させてよく、また、手話者の３次元モデルを回転させる。また、表示制御部１３０は、手話者側からの方向からみた手話者の３次元モデルと、手話者の相手側からの方向からみた手話者の３次元モデルとを切り換えて表示部１３２に表示させてもよい。

また、表示制御部１３０は、辞典データ格納部１０４に格納された辞典データを表示部１３２に表示させてよい。使用者３０は、表示部１３２に表示された辞典データを閲覧して、辞典データに含まれる複数の言葉のうちのいずれかの言葉を、入力受付部１１２を介して入力してよい。

利き腕設定部１３４は、手話者の利き腕を設定する。利き腕設定部１３４は、入力受付部１１２が受け付けた利き腕を指定する入力に従って、手話者の利き腕を設定してよい。利き腕設定部１３４によって利き腕が設定された場合、動作制御部１２０は、設定された利き腕に応じて、手話者の３次元モデルを動作させてよい。

動作制御部１２０は、例えば、指定された言葉に対応する右利き用の動きを手話者の３次元モデルにさせるための動作データに従って、手話者の３次元モデルを動作させる。また、動作制御部１２０は、例えば、指定された言葉に対応する左利き用の動きを手話者の３次元モデルにさせるための動作データに従って、手話者の３次元モデルを動作させる。これにより、右利き用の手話及び左利き用の手話を使用者３０に学習させることができる。

図３は、辞典データの表示例を概略的に示す。辞典データは、単語辞典データ及びシーン別例文集データを含んでよい。表示制御部１３０は、単語辞典タブ２１０が選択された場合に、単語辞典データを表示させる。単語辞典データは、複数の単語２１２を含む。表示制御部１３０は、検索ボックス２１４に入力された単語を単語辞典データから検索して、検索結果を表示部１３２に表示させてよい。

入力受付部１１２が、複数の単語２１２のうちのいずれかに対する選択入力を受け付けた場合、動作制御部１２０は、選択された単語２１２に対応する動作データを動作データ格納部１０８から取得する。そして、動作制御部１２０は、取得した動作データに従って、モデル格納部１０６から取得した手話者の３次元モデルを動作させる。

複数の単語２１２のうちのいずれかが選択されているときに、入力受付部１１２が指文字再生指示ボタン２１６に対する選択入力を受け付けた場合、動作制御部１２０は、手話者の３次元モデルに、指文字を表現させる。すなわち、動作制御部１２０は、選択されている単語２１２の文字列に対応する指文字を、手話者の３次元モデルが連続的に表現させるべく、手話者の３次元モデルを動作させる。

入力受付部１１２が、カテゴリボタン２２０に対する選択入力を受け付けた場合、表示制御部１３０は、カテゴリを選択するための画面を表示部１３２に表示させてよい。

図４は、複数のカテゴリ２２２の表示例を概略的に示す。表示制御部１３０は、複数のカテゴリ２２２、閉じるボタン２２４、及び検索ボックス２１４を表示部１３２に表示させてよい。

入力受付部１１２が、複数のカテゴリ２２２のうちのいずれかに対する選択入力を受け付けた場合、表示制御部１３０は、選択されたカテゴリに含まれる単語を表示部１３２に表示させてよい。入力受付部１１２が、閉じるボタン２２４に対する選択入力を受け付けた場合、表示制御部１３０は、カテゴリボタン２２０が選択される前の画面を表示部１３２に表示させてよい。

図５は、シーン別例文集タブ２３０が選択された場合の表示例を概略的に示す。シーン別例文集タブ２３０が選択された場合、表示制御部１３０は、複数の例文２３２を表示部１３２に表示させてよい。

入力受付部１１２が、複数の例文２３２のうちのいずれかに対する選択入力を受け付けた場合、動作制御部１２０が、選択された例文２３２に対応する動作データを動作データ格納部１０８から取得する。そして、動作制御部１２０が、取得した動作データに従って、モデル格納部１０６から取得した手話者の３次元モデルを動作させる。

図６は、手話者の３次元モデル２４０の表示例を概略的に示す。図６は、手話者の相手側の方向からみた手話者の３次元モデル２４０が表示されている場合を例示する。表示制御部１３０は、図６に示すように、手話者の３次元モデル２４０、言葉欄２５０、再生ボタン２５２、リピートボタン２５４、説明ボタン２５６、スピードボタン２５８、カメラボタン２６０、次へボタン２６２、及び前へボタン２６４を表示部１３２に表示させてよい。

言葉欄２５０は、指定された言葉を示す。言葉欄２５０には、例えば、辞典データから選択された言葉が含まれる。再生ボタン２５２は、手話者の３次元モデル２４０に対して動作の開始を指示するためのボタンであってよい。入力受付部１１２が、再生ボタン２５２に対する選択入力を受け付けた場合、動作制御部１２０は、言葉欄２５０に含まれる言葉に対応する動きを手話者の３次元モデル２４０にさせる。

リピートボタン２５４は、手話者の３次元モデル２４０に対して動作を連続的に行わせることを指示するためのボタンであってよい。入力受付部１１２が、リピートボタン２５４に対する選択入力を受け付けた場合、動作制御部１２０は、言葉欄２５０に含まれる言葉に対応する動きを手話者の３次元モデル２４０に連続的にさせる。

説明ボタン２５６は、言葉欄２５０に含まれる言葉に対応する手話の動き及び由来等の説明を表示することを指示するためのボタンであってよい。入力受付部１１２が、説明ボタン２５６に対する選択入力を受け付けた場合、表示制御部１３０は、言葉欄２５０に含まれる言葉に対応する手話の動き及び由来等の説明を表示部１３２に表示させる。

スピードボタン２５８は、手話者の３次元モデル２４０による動作のスピードの変更を指示するためのボタンであってよい。入力受付部１１２が、スピードボタン２５８に対する選択入力を受け付けた場合、動作制御部１２０は、手話者の３次元モデル２４０を動作させるスピードを変更させる。

カメラボタン２６０は、視点の移動を指示するためのボタンであってよい。入力受付部１１２が、カメラボタン２６０に対する選択入力を受け付けた場合、表示制御部１３０は、視点を変更する。例えば、表示制御部１３０は、視点を上下方向に移動させる。これにより、使用者３０は、手話者の３次元モデル２４０の動きを、斜め上及び斜め下などから確認することができる。

次へボタン２６２及び前へボタン２６４は、言葉欄２５０に含まれる言葉を切り換える。例えば、入力受付部１１２が複数の言葉の指定を受け付けていた場合、表示制御部１３０は、次へボタン２６２及び前へボタン２６４に対する選択入力を入力受付部１１２が受け付けたのに応じて、複数の言葉を切り換える。これにより、使用者３０は、複数の言葉に対応する手話の動きを連続的に確認することができる。

入力受付部１１２は、手話者の３次元モデル２４０に対して視点を回転移動させるための入力を受け付けてよい。また、入力受付部１１２は、手話者の３次元モデル２４０を回転させるための入力を受け付けてよい。例えば、入力受付部１１２は、表示部１３２に対するスライド入力及びフリック入力等を受け付ける。また、入力受付部１１２は、キー入力による、手話者の３次元モデル２４０に対して視点を回転移動させるための入力を受け付けてもよい。

表示制御部１３０は、入力受付部１１２が、手話者の３次元モデル２４０に対して視点を回転移動させるための入力を受け付けた場合、視点を回転移動させてよい。また、表示制御部１３０は、入力受付部１１２が手話者の３次元モデル２４０を回転させるための入力を受け付けた場合、手話者の３次元モデル２４０を回転させてよい。

図７は、視点を回転移動させた場合の手話者の３次元モデル２４０の表示例を概略的に示す。図７に示すように、手話者の相手側の方向以外からみた手話者の３次元モデル２４０を表示制御部１３０が表示させることにより、手話の動きをより精確に使用者３０に把握させることができる。

動作制御部１２０は、指定された言葉に対応する表情の動きを手話者の３次元モデル２４０にさせてよい。動作データは、言葉に対応する表情の動きを手話者の３次元モデル２４０にさせるためのデータを含んでよい。言葉に対応する表情の動きは、言葉に含まれる複数の文字のそれぞれに対応する口の動きを含んでよい。また、言葉に対応する表情の動きは、言葉の内容に対応する表情の動きを含んでよい。例えば、言葉の内容が怒りの感情に対応する場合、言葉に対応する表情の動きは怒りの表情を含む。

図８及び図９は、視点を回転移動させた場合の手話者の３次元モデル２４０の表示例を概略的に示す。図８及び図９は、手話者側の方向からみた手話者の３次元モデル２４０を例示する。図８は、手話者の３次元モデル２４０の斜め後方からみた手話者の３次元モデル２４０の表示例を示す。図９は、手話者の３次元モデル２４０の真後ろからみた手話者の３次元モデル２４０の表示例を示す。手話者の３次元モデル２４０は、図８及び図９に示すように、手の３次元モデル２４２、胴体の３次元モデル２４４、及び頭部の３次元モデル２４６を含んでよい。胴体の３次元モデル２４４及び頭部の３次元モデル２４６は、手の３次元モデル２４２以外の他の３次元モデルの一例であってよい。

視点の移動によって、手話者の３次元モデル２４０の背面が表示される場合、手の３次元モデル２４２に、胴体の３次元モデル２４４及び頭部の３次元モデル２４６が重畳してしまう。これにより、使用者３０に対して、手の３次元モデル２４２が隠ぺいされることから、使用者３０は、手の３次元モデル２４２の動きを確認しづらくなってしまう。この点、手話者の３次元モデル２４０を回転させて手話者の３次元モデル２４０の背面が表示される場合も同様である。そこで、本実施形態に係る表示制御装置１００は、手の３次元モデル２４２以外の他の３次元モデルが手の３次元モデル２４２に重畳する場合に、手の３次元モデル２４２及び半透明化された他の３次元モデルを表示する。

図８及び図９は、表示制御部１３０が、手の３次元モデル２４２と、半透明化された胴体の３次元モデル２４４及び頭部の３次元モデル２４６とを表示している場合を例示する。このように、胴体の３次元モデル２４４及び頭部の３次元モデル２４６を半透明化させることによって、手話者側からみた手の３次元モデル２４２の動きを、使用者３０に精確に把握させることができる。

また、胴体の３次元モデル２４４及び頭部の３次元モデル２４６の動きも、使用者３０に把握させることができる。手話をする場合、胴体の動き及び頭部の動きも重要な役割を果たす場合が多い。本実施形態に係る表示制御装置１００によれば、手話者側の方向からみた手の動きと同時に、胴体及び頭の動きを確認させることができるので、使用者３０の学習効果を高めることができる。

表示制御部１３０は、例えば、視点が予め定められた角度に移動されたことに応じて、胴体の３次元モデル２４４及び頭部の３次元モデル２４６を半透明化させる。また、表示制御部１３０は、例えば、手話者の３次元モデル２４０が予め定められた角度に回転されたことに応じて、胴体の３次元モデル２４４及び頭部の３次元モデル２４６を半透明化させる。すなわち、表示制御部１３０は、手話者の３次元モデル２４０と視点との位置関係が第１の範囲内であるときには手の３次元モデル２４２及び半透明化されていない胴体の３次元モデル２４４及び頭部の３次元モデル２４６を表示させ、手話者の３次元モデル２４０と視点との位置関係が第２の範囲内であるときには手の３次元モデル２４２及び半透明化された胴体の３次元モデル２４４及び頭部の３次元モデル２４６を表示させてよい。

また、表示制御部１３０は、胴体の３次元モデル２４４及び頭部の３次元モデル２４６の少なくともいずれかが手の３次元モデル２４２に対して重畳していると判定した場合、胴体の３次元モデル２４４及び頭部の３次元モデル２４６を半透明化させてよい。表示制御部１３０は、他の３次元モデルが手の３次元モデル２４２に対して重畳していると判定した場合、手の３次元モデル２４２及び半透明化された他の３次元モデルを表示部１３２に表示させ、他の３次元モデルが手の３次元モデル２４２に対して重畳していないと判定した場合、手の３次元モデル２４２及び半透明化されていない他の３次元モデルを表示部１３２に表示させてよい。

なお、表示制御部１３０は、半透明化された胴体の３次元モデル２４４及び頭部の３次元モデル２４６を表示部１３２に表示させる場合、胴体の３次元モデル２４４及び頭部の３次元モデル２４６を半透明化させてよい。また、表示制御部１３０は、半透明化されていない胴体の３次元モデル２４４及び頭部の３次元モデル２４６の代わりに、半透明化された胴体の３次元モデル２４４及び頭部の３次元モデル２４６を表示させてもよい。

図１０は、手の３次元モデル２４２の表示例を概略的に示す。図１０に示すように、表示制御部１３０は、手話者の３次元モデル２４０のうち、手の３次元モデル２４２のみを表示部１３２に表示させてよい。動作制御部１２０は、指定された言葉に対応する動きを手の３次元モデル２４２にさせるための動作データを、動作データ格納部１０８から取得してよい。そして、動作制御部１２０は、取得した動作データに従って、手の３次元モデル２４２を動作させてよい。表示制御部１３０は、手話者側からの方向及び手話者の相手側からの方向を含む複数の方向からみた手の３次元モデル２４２を表示部１３２に表示させてよい。

表示制御部１３０は、例えば、手話者側からの方向からみた手の３次元モデル２４２と、手話者の相手側の方向からみた手の３次元モデル２４２とを切り換えて表示させてよい。また、表示制御部１３０は、入力受付部１１２が受け付けた、手の３次元モデル２４２に対して視点を回転移動させるための入力又は手の３次元モデル２４２を回転させるための入力に応じて、手の３次元モデル２４２を表示する角度を変更してよい。このように、表示制御部１３０が、手の３次元モデル２４２のみを表示部１３２に表示させることによって、使用者３０は、手の動きに集中して手話の動きを確認することができる。

なお、手の３次元モデル２４２は、図１０に示す通り、手及び前腕を模したオブジェクトであってよい。また、手の３次元モデル２４２は、前腕を含まずに、手のみを模したオブジェクトであってもよい。また、手の３次元モデル２４２は、上肢を模したオブジェクトであってもよい。

図１１は、手話者の３次元モデル２４０の表示例を概略的に示す。表示制御部１３０は、動作制御部１２０による手の３次元モデル２４２の動作に合わせて、手の３次元モデル２４２の軌道を示す軌道オブジェクト２７０を表示部１３２に表示させてよい。

表示制御部１３０は、例えば、手の３次元モデル２４２の動作に追従するように軌道オブジェクト２７０を表示させる。軌道オブジェクト２７０は、輝度が連続的に変化するオブジェクトであってよい。例えば、軌道オブジェクト２７０は、星が瞬くようなオブジェクトである。これにより、軌道を目立たせることができる。また、軌道オブジェクト２７０は、手の３次元モデル２４２の残像を示すオブジェクトであってもよい。

図１２は、表示制御装置１００による処理の流れの一例を概略的に示す。図１２では、表示制御装置１００が言葉の指定を待ち受けている状態を開始状態とし、一の言葉の指定を受け付けてから終了指示を受け付けるまでの処理の流れを説明する。図１２に示す各処理は、表示制御装置１００の制御部が主体となって実行されてよい。

ステップ６０２（ステップをＳと省略して表記する場合がある。）では、入力受付部１１２が言葉の指定を受け付ける。Ｓ６０４では、動作制御部１２０の制御に基づいて、モデル取得部１２６がモデル格納部１０６から手話者の３次元モデル２４０を取得する。Ｓ６０６では、動作制御部１２０の制御に基づいて、動作データ取得部１２８が、Ｓ６０２で受け付けた言葉に対応する動きを手話者の３次元モデル２４０にさせるための動作データをモデル格納部１０６から取得する。Ｓ６０８では、Ｓ６０４でモデル取得部１２６によって取得された手話者の３次元モデル２４０を、表示制御部１３０が表示部１３２に表示させる。

Ｓ６１０では、入力受付部１１２が視点を移動する指示を受け付けたか否かを判定する。Ｓ６１０で受け付けたと判定された場合、Ｓ６１２に進む。Ｓ６１２では、受け付けた指示に従って、表示制御部１３０が、視点を移動させる。

Ｓ６１４では、表示制御部１３０が、手の３次元モデル２４２に他の３次元モデルが重畳しているか否かを判定する。表示制御部１３０によって、重畳していると判定された場合、Ｓ６１６に進み、重畳していないと判定された場合、Ｓ６１８に進む。Ｓ６１６では、表示制御部１３０が、他の３次元モデルを半透明化させる。

Ｓ６１８では、表示制御部１３０が、他の３次元モデルがすでに半透明化されているか否かを判定する。Ｓ６１８で、他の３次元モデルがすでに半透明化されていると判定された場合、Ｓ６２０に進む。Ｓ６２０では、表示制御部１３０が、他の３次元モデルの半透明化を解除する。

Ｓ６２２では、入力受付部１１２が、再生指示を受け付けたか否かを判定する。再生指示を受け付けたと判定された場合、Ｓ６２４に進む。Ｓ６２４では、動作制御部１２０が、Ｓ６０６で取得した動作データに従って、動作制御部１２０が、手話者の３次元モデル２４０を動作させる。

Ｓ６２６では、終了指示を受け付けたか否かを判定する。Ｓ６２６で終了指示を受け付けたと判定されなかった場合、Ｓ６１０に戻り、終了指示を受け付けたと判定された場合、処理が終了する。

図１３は、表示制御装置１００の機能構成の他の一例を概略的に示す。ここでは、図２で説明した表示制御装置１００とは異なる点を主に説明する。表示制御装置１００は、受信部１０２、モデル格納部１０６、動作データ格納部１０８、入力受付部１１２、動作制御部１２０、モデル取得部１２６、動作データ取得部１２８、表示制御部１３０、表示部１３２、及びゲーム制御部１４０を備える。表示制御装置１００がこれらの全ての構成を備えることは必須であるとは限らない。

ゲーム制御部１４０は、ゲーム進行部１４２、問題取得部１４４、問題出題部１４６、文字取得部１４８、及び一致判定部１５０を有する。ゲーム進行部１４２は、ゲームを進行する。問題取得部１４４は、問題を取得する。問題は、文字、単語、及び文章の少なくともいずれかを含んでよい。

ゲーム進行部１４２は、問題取得部１４４が取得した問題を問題出題部１４６に出題させる。問題出題部１４６は、問題取得部１４４が取得した問題を、動作制御部１２０に送信して、問題に対応する動きを手話者の３次元モデル２４０にさせることによって、問題を出題する。

動作制御部１２０は、モデル取得部１２６を介して、モデル格納部１０６から手話者の３次元モデル２４０を取得する。また、動作制御部１２０は、動作データ取得部１２８を介して、問題に対応する動きを手話者の３次元モデル２４０にさせるための動作データを取得する。そして、動作制御部１２０は、取得した動作データに従って、手話者の３次元モデル２４０を動作させる。

表示制御部１３０は、問題出題部１４６の制御のもと、動作制御部１２０が動作させる手話者の３次元モデル２４０を表示部１３２に表示させる。表示制御装置１００を使用してゲームを行う使用者３０は、表示部１３２に表示された手話者の３次元モデル２４０の動きを閲覧して、手話者の３次元モデル２４０の動きに対応すると考えられる文字列を、入力受付部１１２を介して入力する。文字列取得部１４８は、入力受付部１１２が受け付けた文字列を取得する。

一致判定部１５０は、問題出題部１４６によって出題された問題と、文字取得部１４８が取得した文字列とが一致したか否かを判定する。ゲーム進行部１４２は、一致判定部１５０によって一致すると判定された場合と、一致しないと判定された場合とでゲームの進行を異ならせる。

ゲーム制御部１４０は、例えば、ゲームの主人公がモンスターを退治するゲーム形式に従って、ゲームを進行する。まず、ゲーム制御部１４０は、モンスターを示す画像を表示制御部１３０によって表示部１３２に表示させる。次に、ゲーム制御部１４０は、動作制御部１２０を制御して、問題に対応する動きを手話者の３次元モデル２４０にさせる。次に、ゲーム制御部１４０は、出題した問題と、入力受付部１１２が受け付けた文字列とが一致したか否かを判定する。そして、ゲーム制御部１４０は、一致したと判定した場合、魔法が発動したことを示す画面を表示制御部１３０に表示させて、モンスターがダメージを受けたこととする。また、ゲーム制御部１４０は、一致しなかったと判定した場合、ゲームの主人公がモンスターの攻撃を受けたことを示す画面を表示制御部１３０に表示させて、ゲームの主人公がダメージを受けたこととする。

図１４は、表示制御部１３０によるゲーム画面の表示例を概略的に示す。表示制御部１３０は、手話者の３次元モデル２４０、文字入力オブジェクト２８０、入力文字２８２、及びヒットポイントインジケータ２８４を表示部１３２に表示させてよい。

動作制御部１２０は、問題に対応する動きを手話者の３次元モデル２４０にさせる。使用者３０は、手話者の３次元モデル２４０の動きを閲覧して、手話者の３次元モデル２４０の動きに対応すると考えられる文字列を、文字入力オブジェクト２８０を介して入力する。図１４では、文字入力オブジェクト２８０がフリック入力を受け付けるオブジェクトである場合を例示しているが、これに限らず、他の入力を受け付けるオブジェクトであってもよい。

入力文字２８２は、既に入力された文字を示す。ヒットポイントインジケータ２８４は、ゲームの主人公のヒットポイントを示す。問題出題部１４６が出題した問題と、文字取得部１４８が取得した文字列とが一致しないと判定された場合、ヒットポイントインジケータ２８４によって示されるヒットポイントが減少する。このように、ゲーム形式で手話を学習できる環境を提供することによって、手話の浸透をサポートすることができる。

以上の説明において、表示制御装置１００の各部は、ハードウエアにより実現されてもよく、ソフトウエアにより実現されてもよい。また、ハードウエアとソフトウエアとの組み合わせにより実現されてもよい。また、プログラムが実行されることにより、コンピュータが、表示制御装置１００として機能してもよい。プログラムは、コンピュータ読み取り可能な媒体又はネットワークに接続された記憶装置から、表示制御装置１００の少なくとも一部を構成するコンピュータにインストールされてよい。

コンピュータにインストールされ、コンピュータを本実施形態に係る表示制御装置１００として機能させるプログラムは、ＣＰＵ等に働きかけて、コンピュータを、表示制御装置１００の各部としてそれぞれ機能させる。これらのプログラムに記述された情報処理は、コンピュータに読込まれることにより、ソフトウエアと表示制御装置１００のハードウエア資源とが協働した具体的手段として機能する。コンピュータは、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ（登録商標）等の各種メモリ、通信バス及びインタフェースを有し、予めファームウェアとしてＲＯＭに格納された処理プログラムをＣＰＵが読み出して順次実行することで、表示制御装置１００として機能してよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

３０ 使用者、５０ ネットワーク、１００ 表示制御装置、１０２ 受信部、１０４ 辞典データ格納部、１０６ モデル格納部、１０８ 動作データ格納部、１１２ 入力受付部、１２０ 動作制御部、１２６ モデル取得部、１２８ 動作データ取得部、１３０ 表示制御部、１３２ 表示部、１３４ 利き腕設定部、１４０ ゲーム制御部、１４２ ゲーム進行部、１４４ 問題取得部、１４６ 問題出題部、１４８ 文字取得部、１５０ 一致判定部、２１０ 単語辞典タブ、２１２ 単語、２１４ 検索ボックス、２１６ 指文字再生指示ボタン、２２０ カテゴリボタン、２２２ カテゴリ、２２４ 閉じるボタン、２３０ シーン別例文集タブ、２３２ 例文、２４０ 手話者の３次元モデル、２４２ 手の３次元モデル、２４４ 胴体の３次元モデル、２４６ 頭部の３次元モデル、２５０ 言葉欄、２５２ 再生ボタン、２５４ リピートボタン、２５６ 説明ボタン、２５８ スピードボタン、２６０ カメラボタン、２６２ 次へボタン、２６４ 前へボタン、２７０ 軌道オブジェクト、２８０ 文字入力オブジェクト、２８２ 入力文字、２８４ ヒットポイントインジケータ、４００ サーバ

Claims (11)

1. コンピュータを、
   手の３次元モデル及び手話者の胴体の３次元モデルを取得するモデル取得部、
   指定された言葉に対応する動きを前記手の３次元モデルにさせるための動作データを取得する動作データ取得部、
   前記動作データに従って前記手の３次元モデルを動作させる動作制御部、及び
   手話者側からの方向及び手話者の相手側からの方向を含む複数の方向からみた前記手の３次元モデルを表示部に表示させる表示制御部であって、前記手話者側からみた前記手の３次元モデルを前記表示部に表示させる場合、前記手の３次元モデル及び半透明化された前記胴体の３次元モデルを前記表示部に表示させる表示制御部
   として機能させるためのプログラム。
2. コンピュータを、
   手の３次元モデル及び手話者の頭部の３次元モデルを取得するモデル取得部、
   指定された言葉に対応する動きを前記手の３次元モデルにさせるための動作データを取得する動作データ取得部、
   前記動作データに従って前記手の３次元モデルを動作させる動作制御部、及び
   手話者側からの方向及び手話者の相手側からの方向を含む複数の方向からみた前記手の３次元モデルを表示部に表示させる表示制御部であって、前記手話者側からみた前記手の３次元モデルを前記表示部に表示させる場合、前記手の３次元モデル及び半透明化された前記頭部の３次元モデルを前記表示部に表示させる表示制御部
   として機能させるためのプログラム。
3. プログラムであって、
   コンピュータを、
   手の３次元モデルを取得するモデル取得部、
   指定された言葉に対応する動きを前記手の３次元モデルにさせるための動作データを取得する動作データ取得部、
   前記動作データに従って前記手の３次元モデルを動作させる動作制御部、
   手話者側からの方向及び手話者の相手側からの方向を含む複数の方向からみた前記手の３次元モデルを表示部に表示させる表示制御部、及び
   前記手の３次元モデルを含む手話者モデルに対して視点を回転移動させる又は前記手話者モデルを回転させる回転制御部
   として機能させ、
   前記表示制御部は、前記手話者モデルに含まれる前記手の３次元モデル以外の他の３次元モデルが前記手の３次元モデルに対して重畳する場合に、前記手の３次元モデルと、半透明化された前記他の３次元モデルを前記表示部に表示させる、プログラム。
4. 前記表示制御部は、前記手話者モデルと前記視点との位置関係が第１の範囲内であるときには前記手の３次元モデル及び半透明化されていない前記他の３次元モデルを前記表示部に表示させ、前記手話者モデルと前記視点との位置関係が第２の範囲内あるときには前記手の３次元モデル及び半透明化された前記他の３次元モデルを前記表示部に表示させる、請求項３に記載のプログラム。
5. 前記表示制御部は、前記他の３次元モデルが前記手の３次元モデルに対して重畳するか否かを判定し、前記他の３次元モデルが前記手の３次元モデルに対して重畳していないと判定した場合、前記手の３次元モデル及び半透明化されていない前記他の３次元モデルを前記表示部に表示させ、前記他の３次元モデルが前記手の３次元モデルに対して重畳していると判定した場合、前記手の３次元モデル及び半透明化された前記他の３次元モデルを前記表示部に表示させる、請求項３に記載のプログラム。
6. 前記表示制御部は、前記手の３次元モデルの動作に合わせて、前記手の３次元モデルの軌道を示す軌道オブジェクトを前記表示部に表示させる、請求項１から５のいずれか一項に記載のプログラム。
7. 前記コンピュータを、
   前記手話者の利き腕を設定する利き腕設定部
   としてさらに機能させ、
   前記動作制御部は、前記利き腕に応じて、前記手の３次元モデルを動作させる、請求項１から６のいずれか一項に記載のプログラム。
8. 前記手の３次元モデルは、手及び前腕を模した３次元モデルである、請求項１から７のいずれか一項に記載のプログラム。
9. 手の３次元モデル及び手話者の胴体の３次元モデルを取得するモデル取得部と、
   指定された言葉に対応する動きを前記手の３次元モデルにさせるための動作データを取得する動作データ取得部と、
   前記動作データに従って前記手の３次元モデルを動作させる動作制御部と、
   手話者側からの方向及び手話者の相手側からの方向を含む複数の方向からみた前記手の３次元モデルを表示部に表示させる表示制御部であって、前記手話者側からみた前記手の３次元モデルを前記表示部に表示させる場合、前記手の３次元モデル及び半透明化された前記胴体の３次元モデルを前記表示部に表示させる表示制御部と
   を備える表示制御装置。
10. 手の３次元モデル及び手話者の頭部の３次元モデルを取得するモデル取得部と、
    指定された言葉に対応する動きを前記手の３次元モデルにさせるための動作データを取得する動作データ取得部と、
    前記動作データに従って前記手の３次元モデルを動作させる動作制御部と、
    手話者側からの方向及び手話者の相手側からの方向を含む複数の方向からみた前記手の３次元モデルを表示部に表示させる表示制御部であって、前記手話者側からみた前記手の３次元モデルを前記表示部に表示させる場合、前記手の３次元モデル及び半透明化された前記頭部の３次元モデルを前記表示部に表示させる表示制御部と
    を備える表示制御装置。
11. 手の３次元モデルを取得するモデル取得部と、
    指定された言葉に対応する動きを前記手の３次元モデルにさせるための動作データを取得する動作データ取得部と、
    前記動作データに従って前記手の３次元モデルを動作させる動作制御部と、
    手話者側からの方向及び手話者の相手側からの方向を含む複数の方向からみた前記手の３次元モデルを表示部に表示させる表示制御部と、
    前記手の３次元モデルを含む手話者モデルに対して視点を回転移動させる又は前記手話者モデルを回転させる回転制御部と
    を備え、
    前記表示制御部は、前記手話者モデルに含まれる前記手の３次元モデル以外の他の３次元モデルが前記手の３次元モデルに対して重畳する場合に、前記手の３次元モデルと、半透明化された前記他の３次元モデルを前記表示部に表示させる、
    表示制御装置。