JP2016091057A - 電子機器 - Google Patents

Abstract

【課題】ユーザがコンテンツの内容を理解することを可能にする電子機器を提供する。
【解決手段】字幕設定部１０は、表示する字幕の言語を設定する。字幕生成部７は、コンテンツに含まれる字幕の言語が設定した言語と相違する場合には、コンテンツに含まれる字幕を設定した言語の字幕に翻訳する。再生処理部４は、コンテンツに含まれる映像を再生するとともに、翻訳された字幕を表示させる。
【選択図】図１

Description

本発明は、電子機器に関する。

従来から、映像とともに字幕を表示する技術が知られている。たとえば、特許文献１（特開２００９−３０２７０２号公報）には、映像データとその映像データに関連する字幕データを含むコンテンツを記録媒体から再生するコンテンツ再生装置が開示されている。

特開２００９−３０２７０２号公報

しかしながら、映像とともに提供される字幕の言語が理解できないユーザは、字幕を見てもコンテンツの内容を理解することができない。また、映像とともに提供される音声の言語が理解できないユーザは、音声を聞いてもコンテンツの内容を理解することができない。

また、映像とともに字幕が提供されない場合もある。そのような場合、たとえ映像とともに再生される音声の言語が母国語であっても、聴覚障がい者は、コンテンツの内容を理解することができない。

また、映像とともに音声が提供されない場合もある。そのような場合、たとえ、映像とともに表示する字幕の言語が母国語であっても、視覚障がい者は、コンテンツの内容を理解することができない。

それゆえに、本発明の目的は、ユーザがコンテンツの内容を理解することを可能にする電子機器を提供することである。

本発明の一態様の電子機器は、表示する字幕の言語を設定する設定部と、コンテンツに含まれる字幕の言語が設定した言語と相違する場合には、コンテンツに含まれる字幕を設定した言語の字幕に翻訳する字幕生成部と、コンテンツに含まれる映像を再生するとともに、翻訳された字幕を表示させる再生処理部とを備える。

本発明の一態様によれば、ユーザがコンテンツの内容を理解することができる。

第１の実施形態のスマートフォンの構成を表わす図である。 （ａ）〜（ｄ）は、第１の実施形態のマルチメディアコンテンツデータに含まれるヘッダの例を表わす図である。 第１の実施形態のマルチディアコンテンツデータに含まれるタイミング情報の例を表わす図である。 第１の実施形態における字幕の設定手順を表わすフローチャートである。 第１の実施形態における字幕の表示手順を表わすフローチャートである。 第１の実施形態の字幕の表示例を表わす図である。 第１の実施形態の字幕の表示例を表わす図である。 第２の実施形態における字幕の設定手順を表わすフローチャートである。 第２の実施形態における字幕の表示手順を表わすフローチャートである。 第２の実施形態の字幕を構成するテキストの例である。 第２の実施形態の字幕の表示例を表わす図である。 第３の実施形態のスマートフォンの構成を表わす図である。 （ａ）〜（ｄ）は、第３の実施形態のヘッダの例を表わす図である。 第３の実施形態のマルチディアコンテンツデータに含まれるタイミング情報の例を表わす図である。 第３の実施形態における音声の設定手順を表わすフローチャートである。 第３の実施形態における字幕の表示手順を表わすフローチャートである。

以下、本発明の実施の形態について図面を用いて説明する。
［第１の実施形態］
従来では、映像とともに提供される字幕の言語が理解できないユーザは、字幕を見てもコンテンツの内容を理解することができないという問題がある。それゆえ、本実施形態の第１の目的は、取得したコンテンツに含まれる字幕の言語が理解できないユーザがコンテンツの内容を理解することを可能にする電子機器を提供することである。

また、従来では、映像とともに字幕が提供されない場合、たとえ映像とともに再生される音声の言語が母国語であっても、聴覚障がい者は、コンテンツの内容を理解することができないという問題がある。それゆえ、本実施の形態の第２の目的は、聴覚に障害のあるユーザが取得したコンテンツが字幕を含まない場合にでもコンテンツの内容を理解することを可能にする電子機器を提供することである。

第１の実施形態では、シフトタイム再生するときに、上記の目的を達成する技術に関する。ここで、シフトタイム再生とは、マルチメディアコンテンツデータを受信して一旦蓄積しておき、受信終了後に再生することをいう。

図１は、第１の実施形態のスマートフォンの構成を表わす図である。
図１を参照して、このスマートフォン１は、無線通信部２と、データ記憶部３と、再生処理部４と、表示部５と、ユーザ入力部６と、字幕生成部７とを備える。

無線通信部２は、無線基地局を通じて送信されるマルチメディアコンテンツデータを受信する。マルチメディアコンテンツデータは、映像、音声、ヘッダを含む。マルチメディアコンテンツデータは、字幕および字幕の表示タイミングを定めたタイミング情報も含む場合がある。

データ記憶部３は、無線通信部２で受信したマルチメディアコンテンツデータを記憶する。

再生処理部４は、データ記憶部３に記憶されているマルチメディアコンテンツデータに含まれる映像を再生する。再生処理部４は、マルチメディアコンテンツデータに含まれる字幕、または字幕生成部７で生成された字幕を表わす画像を再生された映像に重畳して、表示部５に出力する。

表示部５は、再生処理部４から送られる映像および字幕を表示する。
ユーザ入力部６は、ユーザからの入力を受け付ける。

字幕生成部７は、マルチメディアコンテンツデータに含まれる字幕の言語が、表示する字幕の言語（Ａ）と相違する場合には、マルチメディアコンテンツに含まれる字幕を言語（Ａ）の字幕に翻訳する。字幕生成部７は、マルチメディアコンテンツデータに字幕が含まれていない場合に、マルチメディアコンテンツに含まれる音声から言語（Ａ）の字幕を生成する。

字幕生成部７は、音声認識部８と、翻訳部９と、字幕設定部１０と、字幕タイミング設定部１１とを備える。

音声認識部８は、マルチメディアコンテンツデータに含まれる音声を音声認識することによって字幕を生成する。

翻訳部９は、マルチメディアコンテンツデータに含まれる字幕、音声認識によって得られた字幕を言語（Ａ）の字幕に翻訳する。

字幕設定部１０は、マルチメディアコンテンツデータに含まれるヘッダを参照して、表示する字幕の言語、表示する字幕の生成方法を設定する。

字幕タイミング設定部１１は、マルチメディアコンテンツデータに含まれる音声から字幕を生成する場合に、音声の再生タイミングを定めたタイミング情報に基づいて、字幕を表示するタイミングを設定する。

図２（ａ）〜（ｄ）は、第１の実施形態のマルチメディアコンテンツデータに含まれるヘッダの例を表わす図である。

図２（ａ）のヘッダには、音声の言語が日本語であること、マルチメディアコンテンツデータが字幕を含むこと、および字幕の言語が日本語であることを表わす情報が含まれる。

図２（ｂ）のヘッダには、音声の言語が日本語であること、マルチメディアコンテンツデータが字幕を含むこと、および字幕の言語が英語であることを表わす情報が含まれる。

図２（ｃ）のヘッダには、音声の言語が日本語であること、およびマルチメディアコンテンツデータが字幕を含まないことを表わす情報が含まれる。

図２（ｄ）のヘッダには、音声の言語が英語であること、およびマルチメディアコンテンツデータが字幕を含まないことを表わす情報が含まれる。

図３は、第１の実施形態のマルチディアコンテンツデータに含まれるタイミング情報の例を表わす図である。図３に示すように、タイミング情報は、字幕と字幕を表示するときの映像のフレーム番号との関係を定める。

図３のタイミング情報には、字幕＃１、字幕＃２、字幕＃３・・・が、それぞれ、フレーム番号１〜５６の映像、フレーム番号５７〜８６の映像、フレーム番号８７〜９４の映像が表示されているときに表示するように定められている。

図４は、第１の実施形態における字幕の設定手順を表わすフローチャートである。
ステップＳ１０１において、字幕設定部１０は、スマートフォン１の言語設定を参照することによって、表示する字幕の言語（α）を設定する。

ステップＳ１０２において、字幕設定部１０は、データ記憶部３に記憶されているマルチメディアコンテンツデータのヘッダを取得する。

ステップＳ１０３において、取得したヘッダにマルチメディアコンテンツデータに字幕が含まれることが定められている場合（図２（ａ）または図２（ｂ）の場合）には、処理がステップＳ１０４に進む。取得したヘッダにマルチメディアコンテンツデータに字幕が含まれないことが定められている場合（図２（ｃ）または図２（ｄ）の場合）には、処理がステップＳ１１０に進む。

ステップＳ１０４において、字幕設定部１０は、取得したヘッダを参照して、マルチメディアコンテンツデータに含まれる字幕の言語（β）を特定する。

ステップＳ１０５において、表示する字幕の言語（α）と、マルチメディアコンテンツデータに含まれる字幕の言語（β）とが同一の場合には、処理がステップＳ１０９に進み、相違する場合には、処理がステップＳ１０６に進む。

ステップＳ１０６において、字幕設定部１０は、言語（β）の字幕を表示することをユーザが承諾するか否かの画面を表示部５に出力する。ユーザが承諾する場合には、処理がステップＳ１０７に進み、ユーザが承諾しない場合には、処理がステップＳ１０８に進む。

ステップＳ１０７において、字幕設定部１０は、字幕設定を「マルチメディアコンテンツデータに含まれる言語（β）の字幕を言語（α）の字幕に翻訳して表示する（設定Ｂ）」に設定する。

ステップＳ１０８において、字幕設定部１０は、表示する字幕の言語をαからβに変更する。

ステップＳ１０９において、字幕設定部１０は、字幕設定を「マルチメディアコンテンツデータに含まれる言語（β）の字幕をそのまま表示する（設定Ａ）」に設定する。

ステップＳ１１０において、字幕設定部１０は、取得したヘッダを参照して、マルチメディアコンテンツデータに含まれる音声の言語（γ）を特定する。

ステップＳ１１１において、表示する字幕の言語（α）と、マルチメディアコンテンツデータに含まれる音声言語（γ）とが同一の場合には、処理がステップＳ１１５に進み、相違する場合には、処理がステップＳ１１２に進む。

ステップＳ１１２において、字幕設定部１０は、言語（γ）の字幕を表示することをユーザが承諾するか否かの画面を表示部５に出力する。ユーザが承諾する場合には、処理がステップＳ１１３に進み、ユーザが承諾しない場合には、処理がステップＳ１１４に進む。

ステップＳ１１３において、字幕設定部１０は、字幕設定を「マルチメディアコンテンツデータに含まれる言語（γ）の音声を音声認識することによって言語（γ）の字幕を生成し、さらに言語（α）の字幕に翻訳して表示する（設定Ｃ）」に設定する。

ステップＳ１１４において、字幕設定部１０は、表示する字幕の言語をαからγに変更する。

ステップＳ１１５において、字幕設定部１０は、字幕設定を「マルチメディアコンテンツデータに含まれる言語（γ）の音声を音声認識することによって字幕を生成して表示する（設定Ｄ）」に設定する。

図５は、第１の実施形態における字幕の表示手順を表わすフローチャートである。
図５を参照して、ステップＳ２０１において、字幕設定が設定Ｂ「マルチメディアコンテンツデータに含まれる言語（β）の字幕を言語（α）の字幕に翻訳して表示する」の場合には、処理がステップＳ２０２に進む。

ステップＳ２０３において、字幕設定が設定Ｄ「マルチメディアコンテンツデータに含まれる言語（γ）の音声を音声認識することによって字幕を生成して表示する」の場合には、処理がステップＳ２０４に進む。

ステップＳ２０６において、字幕設定が設定Ｃ「マルチメディアコンテンツデータに含まれる言語（γ）の音声を音声認識することによって言語（γ）の字幕を生成し、さらに言語（α）の字幕に翻訳して表示する」の場合には、処理がステップＳ２０７に進む。

ステップＳ２０２において、翻訳部９は、マルチメディアコンテンツデータに含まれる言語（β）の各字幕を言語（α）の字幕に翻訳する。

ステップＳ２０４において、音声認識部８は、マルチメディアコンテンツデータに含まれる言語（γ）の各音声を音声認識し、認識結果から言語（γ）の字幕を生成する。具体的には、音声認識部８は、マルチメディアコンテンツデータに含まれる言語（γ）の各音声を再生処理部４で再生させたときに得られる出力波形から各音声に対する文字を特定し、字幕を生成する。

ステップＳ２０５において、字幕タイミング設定部１１は、各字幕の表示開始時刻および表示終了時刻を、各字幕の元となる音声の開始時刻と終了時刻と同一に設定する。

ステップＳ２０７において、音声認識部８は、マルチメディアコンテンツデータに含まれる言語（γ）の各音声を音声認識し、認識結果から言語（γ）の字幕を生成する。具体的には、音声認識部８は、マルチメディアコンテンツデータに含まれる言語（γ）の各音声を再生処理部４で再生させたときに得られる出力波形から各音声に対する文字を特定し、字幕を生成する。

ステップＳ２０８において、翻訳部９は、言語（γ）の各字幕を言語（α）の字幕に翻訳する。

ステップＳ２０９において、字幕タイミング設定部１１は、各字幕の表示開始時刻および表示終了時刻を、各字幕の元となる音声の開始時刻と終了時刻と同一に設定する。

以上のようにして、マルチメディアコンテンツデータに含まれる映像とともに表示するすべての字幕の準備が終了する。

次に、ステップＳ２１０において、再生処理部４は、マルチメディアコンテンツデータに含まれる映像を再生する。再生処理部４は、マルチメディアコンテンツデータに含まれるタイミング情報（設定Ａまたは設定Ｂの場合）、または、ステップＳ２０５，Ｓ２０９で設定した字幕タイミング（設定Ｃまたは設定Ｄの場合）に基づいて、再生された映像に字幕を表わす画像を重畳して表示部５に出力する。

（字幕の例）
スマートフォンの設定言語（α）が日本語であり、マルチメディアコンテンツデータに含まれる字幕の言語（β）が日本語の場合（設定Ａ）には、図６に示すように日本語の字幕６１が表示される。

スマートフォンの設定言語（α）が日本語であり、マルチメディアコンテンツデータに含まれる字幕の言語（β）が英語の場合（設定Ｂ）には、図６に示すように日本語の字幕６１が表示される。

スマートフォンの設定言語（α）が日本語であり、マルチメディアコンテンツデータに含まれる字幕の言語（β）が英語であるが、ユーザが英語で表示することを承諾する場合（設定Ａ）には、図７に示すように英語の字幕６２が表示される。

スマートフォンの設定言語（α）が日本語であり、マルチメディアコンテンツデータに字幕が含まれず、マルチメディアコンテンツデータに含まれる音声の言語（γ）が日本語の場合（設定Ｄ）には、図６に示すように日本語の字幕６１が表示される。

スマートフォンの設定言語（α）が日本語であり、マルチメディアコンテンツデータに字幕が含まれず、マルチメディアコンテンツデータに含まれる音声の言語（γ）が英語の場合（設定Ｃ）には、図６に示すように日本語の字幕６１が表示される。

スマートフォンの設定言語（α）が日本語であり、マルチメディアコンテンツデータに字幕が含まれず、マルチメディアコンテンツデータに含まれる音声の言語（γ）が英語であるが、ユーザが英語で表示することを承諾する場合（設定Ｄ）には、図７に示すように英語の字幕６２が表示される。

以上のように、本実施の形態によれば、マルチメディアコンテンツデータに字幕が含まれていない場合に、音声から字幕を生成して表示するので、特に聴覚障がい者にとって便利である。また、本実施の形態によれば、マルチメディアコンテンツデータに英語の字幕のみ、または英語の音声のみが含まれている場合に、英語の字幕または英語の音声から日本語の字幕を生成して表示するので、特に母国語が日本語のユーザにとって便利である。

［第２の実施形態］
第２実施形態では、ストリーミング再生するときに、第１の実施形態と同様の目的を達成する技術に関する。ここで、ストリーミング再生とは、マルチメディアコンテンツデータを受信して、リアルタイムで再生することをいう。

本実施の形態では、データ記憶部３は、受信したマルチメディアコンテンツデータの受信バッファとして機能する。すなわち、データ記憶部３は、所定時間分の最新のマルチメディアコンテンツデータを記憶する。データ記憶部３は、新たに所定時間分のマルチメディアコンテンツデータを受信した場合には、記憶している古い所定時間分のマルチメディアコンテンツデータに代えて、最新のマルチメディアコンテンツデータを記憶する。

再生処理部４は、データ記憶部３に記憶されている最新の所定時間分のマルチメディアコンテンツデータから映像を取り出して再生する。字幕生成部７は、データ記憶部３に記憶されている最新の所定時間分のマルチメディアコンテンツデータから字幕を生成する。

図８は、第２の実施形態における字幕の設定手順を表わすフローチャートである。
ステップＳ３０１において、字幕設定部１０は、スマートフォン１の言語設定を参照することによって、表示する字幕の言語（α）を設定する。

ステップＳ３０２において、データ記憶部３に無線通信部２からマルチメディアコンテンツデータのヘッダが出力された場合に、処理がステップＳ３０３に進む。

ステップＳ３０３において、ヘッダにマルチメディアコンテンツデータに字幕が含まれることが定められている場合（図２（ａ）または図２（ｂ）の場合）には、処理がステップＳ３０４に進む。ヘッダにマルチメディアコンテンツデータに字幕が含まれないことが定められている場合（図２（ｃ）または図２（ｄ）の場合）には、処理がステップＳ３１０に進む。

ステップＳ３０４において、字幕設定部１０は、ヘッダを参照して、マルチメディアコンテンツデータに含まれる字幕の言語（β）を特定する。

ステップＳ３０５において、表示する字幕の言語（α）と、マルチメディアコンテンツデータに含まれる字幕の言語（β）とが同一の場合には、処理がステップＳ３０９に進み、相違する場合には、処理がステップＳ３０６に進む。

ステップＳ３０６において、字幕設定部１０は、言語（β）の字幕を表示することをユーザが承諾するか否かの画面を表示部５に出力する。ユーザが承諾する場合には、処理がステップＳ３０７に進み、ユーザが承諾しない場合には、処理がステップＳ３０８に進む。

ステップＳ３０７において、字幕設定部１０は、字幕設定を「マルチメディアコンテンツデータに含まれる言語（β）の字幕を言語（α）の字幕に翻訳して表示する（設定Ｂ）」に設定する。

ステップＳ３０８において、字幕設定部１０は、表示する字幕の言語をαからβに変更する。

ステップＳ３０９において、字幕設定部１０は、字幕設定を「マルチメディアコンテンツデータに含まれる言語（β）の字幕をそのまま表示する（設定Ａ）」に設定する。

ステップＳ３１０において、字幕設定部１０は、ヘッダを参照して、マルチメディアコンテンツデータに含まれる音声の言語（γ）を特定する。

ステップＳ３１１において、表示する字幕の言語（α）と、マルチメディアコンテンツデータに含まれる音声言語（γ）とが同一の場合には、処理がステップＳ３１５に進み、相違する場合には、処理がステップＳ３１２に進む。

ステップＳ３１２において、字幕設定部１０は、言語（γ）の字幕を表示することをユーザが承諾するか否かの画面を表示部５に出力する。ユーザが承諾する場合には、処理がステップＳ３１４に進み、ユーザが承諾しない場合には、処理がステップＳ３１３に進む。

ステップＳ３１３において、字幕設定部１０は、字幕設定を「マルチメディアコンテンツデータに含まれる言語（γ）の音声を音声認識することによって字幕を生成し、さらに言語（α）の字幕に翻訳して表示する（設定Ｃ）」に設定する。

ステップＳ３１４において、字幕設定部１０は、表示する字幕の言語をαからγに変更する。

ステップＳ３１５において、字幕設定部１０は、字幕設定を「マルチメディアコンテンツデータに含まれる言語（γ）の音声を音声認識することによって字幕を生成して表示する（設定Ｄ）」に設定する。

図９は、第２の実施形態における字幕の表示手順を表わすフローチャートである。
図９を参照して、ステップＳ４０１において、字幕設定が設定Ｂ「マルチメディアコンテンツデータに含まれる言語（β）の字幕を言語（α）の字幕に翻訳して表示する」の場合には、処理がステップＳ４０２に進む。

ステップＳ４０３において、字幕設定が設定Ｄ「マルチメディアコンテンツデータに含まれる言語（γ）の音声を音声認識することによって字幕を生成して表示する」の場合には、処理がステップＳ４０４に進む。

ステップＳ４０６において、字幕設定が設定Ｃ「マルチメディアコンテンツデータに含まれる言語（γ）の音声を音声認識することによって字幕を生成し、さらに言語（α）の字幕に翻訳して表示する」の場合には、処理がステップＳ４０７に進む。

ステップＳ４０２において、翻訳部９は、データ記憶部３に記憶されている所定時間分のマルチメディアコンテンツデータに含まれる言語（β）の各字幕を一定時間内で可能な範囲で言語（α）の字幕に翻訳する。

ステップＳ４０４において、音声認識部８は、データ記憶部３に記憶されている所定時間分のマルチメディアコンテンツデータに含まれる言語（γ）の各音声を音声認識し、認識結果から言語（γ）の字幕を生成する。具体的には、音声認識部８は、マルチメディアコンテンツデータに含まれる言語（γ）の各音声を再生処理部４で再生させたときに得られる出力波形から各音声に対する文字を特定し、字幕を生成する。

ステップＳ４０５において、字幕タイミング設定部１１は、各字幕の表示開始時刻および表示終了時刻を、各字幕の元となる音声の開始時刻と終了時刻と同一に設定する。

ステップＳ４０７において、音声認識部８は、データ記憶部３に記憶されている所定時間分のマルチメディアコンテンツデータに含まれる言語（γ）の各音声を音声認識し、認識結果から言語（γ）の字幕を生成する。具体的には、音声認識部８は、マルチメディアコンテンツデータに含まれる言語（γ）の各音声を再生処理部４で再生させたときに得られる出力波形から各音声に対する文字を特定し、字幕を生成する。

ステップＳ４０８において、翻訳部９は、言語（γ）の各字幕を一定時間内で可能な範囲で言語（α）の字幕に翻訳する。

ステップＳ４０９において、字幕タイミング設定部１１は、各字幕の表示開始時刻および表示終了時刻を、各字幕の元となる音声の開始時刻と終了時刻と同一に設定する。

ステップＳ４１０において、マルチメディアコンテンツデータの受信が終了した場合（すなわち、未処理のマルチメディアコンテンツデータがデータ記憶部３に記憶されていない場合）に、処理が終了し、マルチメディアコンテンツデータをさらに受信した場合（すなわち、未処理のマルチメディアコンテンツデータがデータ記憶部３に記憶されている場合）に、処理がステップＳ４０１に戻る。

ステップＳ４１１において、再生処理部４は、データ記憶部３に記憶されている所定時間分のマルチメディアコンテンツデータに含まれる映像を再生する。再生処理部４は、マルチメディアコンテンツデータに含まれるタイミング情報（設定Ａまたは設定Ｂの場合）、または、ステップＳ４０５，Ｓ４０９で設定した字幕タイミング（設定Ｃまたは設定Ｄの場合）に基づいて、再生された映像に字幕を表わす画像を重畳して表示部５に出力する。

ステップＳ４１２において、ステップＳ４０２およびステップＳ４０８における翻訳が未完成の場合には、処理がステップＳ４１３に進む。

ステップＳ４１３において、再生処理部４は、翻訳が未完成の旨を表わす画面を表示部５に出力する。

ステップＳ４１４において、マルチメディアコンテンツデータの受信が終了した場合に、処理が終了し、マルチメディアコンテンツデータをさらに受信した場合に、処理がステップＳ４１１に戻る。

（字幕の例）
スマートフォンの設定言語（α）が日本語であり、マルチメディアコンテンツデータに含まれる字幕の言語（β）が英語の場合（設定Ｂ）において、図１０に示す英語の字幕は、日本語に翻訳される。図１１は、図１０に示す英語の字幕の日本語への翻訳が未完成の場合の例を示す図である。図１１では、図１０に示す字幕の文のうちThe 27th edition of the international film festival, which runs until October 30, focuses heavily on Japanese animated movies″のみが日本語に翻訳されて表示されている。また、翻訳が未完成の旨を表わすアイコン５３が表示される。

以上のように、本実施の形態によれば、コンテンツデータを受信しながら再生するストリーミング再生においても、第１の実施形態のコンテンツデータをすべて受信してから生成するシフトタイム再生と同様に、マルチメディアコンテンツデータに字幕が含まれていない場合に、音声から字幕を生成して表示するので、特に聴覚障がい者にとって便利である。また、本実施の形態によれば、第１の実施形態と同様に、マルチメディアコンテンツデータに英語の字幕のみ、または英語の音声のみが含まれている場合に、英語の字幕または英語の音声から日本語の字幕を生成して表示するので、特に母国語が日本語のユーザにとって便利である。

［第３の実施形態］
従来では、映像とともに提供される音声の言語が理解できないユーザは、音声の内容を理解することができない。それゆえに、本実施の形態の第１の目的は、取得したコンテンツに含まれる音声の言語が理解できないユーザがコンテンツの内容を理解することを可能にする電子機器を提供することである。

また、従来では、映像とともに音声が提供されない場合には、たとえ、映像とともに表示する字幕の言語が母国語であっても、視覚障がい者、すなわち視覚機能を失った人、または映像は視認できるが、小さな文字の字幕を読むのが困難な人は、コンテンツの内容を理解することができない。それゆえに、本実施の形態の第２の目的は、視覚に障害のあるユーザが取得したコンテンツが音声を含まない場合にでもコンテンツの内容を理解することを可能にする電子機器を提供することである。

第３の実施形態では、シフトタイム再生するときに、上記の目的を達成する技術に関する。

図１２は、第３の実施形態のスマートフォンの構成を表わす図である。
図１２を参照して、このスマートフォン５１は、字幕生成部７の代わりに、音声生成部５７を含む。

音声生成部５７は、マルチメディアコンテンツデータに含まれる音声の言語が、再生する音声の言語（Ａ）と相違する場合には、マルチメディアコンテンツに含まれる音声を言語（Ａ）の音声に翻訳する。字幕生成部７は、マルチメディアコンテンツデータに音声が含まれていない場合に、マルチメディアコンテンツに含まれる字幕から言語（Ａ）の音声を生成する。

音声生成部５７は、音声認識部５３と、音声合成部５８と、翻訳部５９と、音声設定部５５と、音声タイミング設定部５６とを備える。

音声認識部５３は、マルチメディアコンテンツデータに含まれる音声を音声認識することによってテキストを生成する。

翻訳部９は、マルチメディアコンテンツデータに含まれる字幕、音声認識によって得られたテキストを言語（Ａ）の字幕に翻訳する。

音声合成部５８は、字幕またはテキストから音声を合成する。
音声設定部５５は、マルチメディアコンテンツデータに含まれるヘッダを参照して、再生する音声の言語、再生する音声の生成方法を設定する。

音声タイミング設定部５６は、マルチメディアコンテンツデータに含まれる字幕から音声を生成する場合に、字幕の表示タイミングを定めたタイミング情報に基づいて、音声を再生するタイミングを設定する。

図１３（ａ）〜（ｄ）は、第３の実施形態のヘッダの例を表わす図である。
図１３（ａ）のヘッダには、マルチメディアコンテンツデータが音声を含むこと、音声の言語が日本語であること、および字幕の言語が日本語であることを表わす情報が含まれる。

図１３（ｂ）のヘッダには、マルチメディアコンテンツデータが音声を含むこと、音声の言語が英語であること、および字幕の言語が日本語であることを表わす情報が含まれる。

図１３（ｃ）のヘッダには、マルチメディアコンテンツデータが音声を含まないこと、および字幕の言語が日本語であることを表わす情報が含まれる。

図１３（ｄ）のヘッダには、マルチメディアコンテンツデータが音声を含まないこと、および音声の言語が英語であることを表わす情報が含まれる。

図１４は、第３の実施形態のマルチディアコンテンツデータに含まれるタイミング情報の例を表わす図である。図１４に示すように、タイミング情報は、音声と音声が再生されるときの映像のフレーム番号との関係を定める。

図１４のタイミング情報には、音声＃１、音声＃２、音声＃３・・・が、それぞれ、フレーム番号１〜５６の映像、フレーム番号５７〜８６の映像、フレーム番号８７〜９４の映像が表示されているときに再生されるように定められている。

図１５は、第３の実施形態における音声の設定手順を表わすフローチャートである。
ステップＳ５０１において、音声設定部５５は、スマートフォン５１の言語設定を参照することによって、再生する音声の言語（α）を設定する。

ステップＳ５０２において、音声設定部５５は、データ記憶部３に記憶されているマルチメディアコンテンツデータのヘッダを取得する。

ステップＳ５０３において、取得したヘッダにマルチメディアコンテンツデータに音声が含まれることが定められている場合（図１３（ａ）または図１３（ｂ）の場合）には、処理がステップＳ５０４に進む。取得したヘッダにマルチメディアコンテンツデータに音声が含まれないことが定められている場合（図１３（ｃ）または図１３（ｄ）の場合）には、処理がステップＳ５１０に進む。

ステップＳ５０４において、音声設定部５５は、取得したヘッダを参照して、マルチメディアコンテンツデータに含まれる音声の言語（β）を特定する。

ステップＳ５０５において、再生する音声の言語（α）と、マルチメディアコンテンツデータに含まれる音声の言語（β）とが同一の場合には、処理がステップＳ５０９に進み、相違する場合には、処理がステップＳ５０６に進む。

ステップＳ５０６において、音声設定部５５は、言語（β）の音声を再生することをユーザが承諾するか否かの画面を表示部５に出力する。ユーザが承諾する場合には、処理がステップＳ５０７に進み、ユーザが承諾しない場合には、処理がステップＳ５０８に進む。

ステップＳ５０７において、音声設定部５５は、音声設定を「マルチメディアコンテンツデータに含まれる言語（β）の音声を言語（α）の音声に翻訳して再生する（設定Ｂ）」に設定する。

ステップＳ５０８において、字幕設定部１０は、表示する字幕の言語をαからβに変更する。

ステップＳ５０９において、音声設定部５５は、音声設定を「マルチメディアコンテンツデータに含まれる言語（β）の音声をそのまま再生する（設定Ａ）」に設定する。

ステップＳ５１０において、音声設定部５５は、取得したヘッダを参照して、マルチメディアコンテンツデータに含まれる字幕の言語（γ）を特定する。

ステップＳ５１１において、再生する音声の言語（α）と、マルチメディアコンテンツデータに含まれる音声の言語（γ）とが同一の場合には、処理がステップＳ５１５に進み、相違する場合には、処理がステップＳ５１２に進む。

ステップＳ５１２において、音声設定部５５は、言語（γ）の音声を再生することをユーザが承諾するか否かの画面を表示部５に出力する。ユーザが承諾する場合には、処理がステップＳ５１４に進み、ユーザが承諾しない場合には、処理がステップＳ５１３に進む。

ステップＳ５１３において、音声設定部５５は、音声設定を「マルチメディアコンテンツデータに含まれる言語（γ）の字幕を言語（α）の字幕に翻訳し、さらに音声合成することによって言語（α）の音声を生成して再生する（設定Ｃ）」に設定する。

ステップＳ５１４において、字幕設定部１０は、表示する字幕の言語をαからγに変更する。

ステップＳ５１５において、音声設定部５５は、字幕設定を「マルチメディアコンテンツデータに含まれる言語（γ）の字幕から音声合成することによって言語（γ）の音声を生成して再生する（設定Ｄ）」に設定する。

図１６は、第３の実施形態における字幕の表示手順を表わすフローチャートである。
図１６を参照して、ステップＳ６０１において、音声設定が設定Ｂ「マルチメディアコンテンツデータに含まれる言語（β）の音声を言語（α）の音声に翻訳して再生する」の場合には、処理がステップＳ６０２に進む。

ステップＳ６０３において、音声設定が設定Ｄ「マルチメディアコンテンツデータに含まれる言語（γ）の字幕から音声合成することによって言語（γ）の音声を生成して再生する」の場合には、処理がステップＳ６０４に進む。

ステップＳ６０６において、音声設定が設定Ｃ「マルチメディアコンテンツデータに含まれる言語（γ）の字幕を言語（α）の字幕に翻訳し、さらに音声合成することによって言語（α）の音声を生成して再生する」の場合には、処理がステップＳ６０７に進む。

ステップＳ６０２において、音声認識部５３、翻訳部５９および音声合成部５８は、マルチメディアコンテンツデータに含まれる言語（β）の各音声から言語（α）の音声を生成する。

具体的には、音声認識部５３は、マルチメディアコンテンツデータに含まれる言語（β）の各音声を再生処理部４で再生させたときに得られる出力波形から各音声に対する文字を特定し、言語（β）のテキストを生成する。翻訳部５９は、言語（β）のテキストを言語（α）のテキストに翻訳する。音声合成部５８は、言語（α）のテキストから音声合成することによって、言語（α）の音声を生成する。

ステップＳ６０４において、音声合成部５８は、マルチメディアコンテンツデータに含まれる言語（γ）の各字幕から音声合成して言語（γ）の音声を生成する。

ステップＳ６０５において、音声タイミング設定部５６は、各音声の表示開始時刻および表示終了時刻を、各音声の元となる字幕の開始時刻と終了時刻と同一に設定する。

ステップＳ６０７において、翻訳部５９は、マルチメディアコンテンツデータに含まれる言語（γ）の各字幕を言語（α）の字幕に翻訳する。

ステップＳ６０８において、音声合成部５８は、言語（α）の各字幕から音声合成して言語（α）の音声を生成する。

ステップＳ６０９において、音声タイミング設定部５６は、各音声の表示開始時刻および表示終了時刻を、各音声の元となる字幕の開始時刻と終了時刻と同一に設定する。

以上のようにして、再生するすべての音声が生成される。
次に、ステップＳ６１０において、再生処理部４は、マルチメディアコンテンツデータに含まれる映像を再生して表示部５に出力する。再生処理部４は、マルチメディアコンテンツデータに含まれるタイミング情報（設定Ａまたは設定Ｂの場合）、または、ステップＳ６０５，Ｓ６０９で設定した音声タイミング（設定Ｃまたは設定Ｄの場合）に基づいて、生成された音声を再生してスピーカ７１に出力する。

以上のように、本実施の形態によれば、マルチメディアコンテンツデータに音声が含まれていない場合に、字幕から音声を生成して再生するので、特に視覚障がい者にとって便利である。また、本実施の形態によれば、マルチメディアコンテンツデータに英語の音声のみ、または英語の字幕のみが含まれている場合に、英語の音声または英語の字幕から日本語の音声を生成して表示するので、特に母国語が日本語のユーザにとって便利である。

（変形例）
本発明は、上記の実施形態に限定されるものではなく、たとえば以下のような変形例も含む。

（１）音声と字幕の両方を出力する構成
第１の実施形態および第２の実施形態では、映像と字幕を表示し、音声を再生しなかったが、音声を再生するものとしてもよい。第３の実施形態では、映像と音声を再生し、字幕を表示しなかったが、字幕を表示してもよい。

（２）表示する字幕の言語および再生する音声の言語
第１〜第３の実施形態では、スマートフォンの言語設定で設定されている言語に基づいて、表示する字幕の言語および再生する音声の言語を設定した。

ここで、スマートフォンの言語設定は、マイクに入力されたユーザの音声を認識することによって行われるものであってもよい。

すなわち、字幕設定部または音声設定部は、音声通話時、または音声通話時以外において、ユーザが発音した言語を識別することによって、スマートフォンの言語を設定してもよい。たとえば、字幕設定部または音声設定部は、ユーザが"This is a pen"と発音した場合に、スマートフォンの言語を英語に設定するようにしてもよい。

また、字幕設定部または音声設定部は、ユーザがスマートフォンの言語設定メニューを選択した後、ユーザが音声で直接スマートフォンの言語を設定することとしてもよい。たとえば、字幕設定部または音声設定部は、ユーザが英語または他の言語の音声で"English"と発音することによって、スマートフォンの言語を英語に設定するようにしてもよい。

（３）効果音の字幕化
第１の実施形態および第２の実施形態において、音声から字幕を生成するときに、音声に効果音が含まれる場合には、効果音を表わす擬音語を含む字幕を表示するものとしてもよい。

（４）楽曲の字幕化
第１の実施形態および第２の実施形態において、音声から字幕を生成するときに、音声に楽曲が含まれる場合には、楽曲名、楽曲の説明、または楽曲の歌詞を含む字幕を表示するものとしてもよい。

（５）翻訳が未完成の場合の設定変更
第２の実施形態において、翻訳が未完成の場合に、翻訳が未完成の旨を表わすアイコンを表示した（図９のステップＳ４１１、Ｓ４１２）が、その後ユーザが表示する字幕の言語を変更できるようにしてもよい。

具体的には、字幕の翻訳の停止設定するためのアイコンを表示部の５の上端などに表示して、ユーザがアイコンを選択することによって、マルチメディアコンテンツデータに含まれるコンテンツデータ、または音声認識によって得られた字幕を翻訳せずに表示するものとしてもよい。

（６）ストリーミング
第１の実施形態では、マルチメディアコンテンツデータのすべてを受信終了後、すべての字幕を生成し、その後で映像の再生および字幕の表示を行ったが、これに限定するものではない。

マルチメディアコンテンツデータのすべてを受信終了する前から、字幕の生成を開始するものとしてもよい。字幕の生成時に、字幕の翻訳が必要な場合には、未完成部分を残すことなく翻訳を完成させる。表示する字幕の生成が追い付かなくなるようなことがないように十分な時間分の字幕が生成された後、映像の再生を開始するものとしてもよい。

（７）複数の字幕を含む場合
第１の実施形態および第２の実施形態において、マルチメディアコンテンツデータに含まれる字幕は１種類の言語のものだけとしたが、本発明は、複数言語の字幕が含まれる場合にでも適用可能である。

たとえば、マルチメディアコンテンツデータに含まれる複数言語の字幕の中に、表示する字幕と同じ言語のものが存在しない場合には、マルチメディアコンテンツデータに含まれる複数言語の字幕の中のいずれか１つの字幕を選択して、表示する字幕の言語に翻訳すればよい。この際、複数の字幕の中のいずれを選択するかは、予め設定した優先度に基づくものとすることができる。たとえば、文法の構造が類似している言語の間の翻訳は、優先度が高いものとすることができる。

あるいは、マルチメディアコンテンツデータに含まれる複数言語の字幕の中に、表示する字幕と同じ言語のものが存在しない場合には、複数言語のうち標準の言語（たとえば英語）の字幕を表示するものとしてもよい。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１，５１ スマートフォン、２ 無線通信部、３ データ記憶部、４ 再生処理部、５ 表示部、６ ユーザ入力部、７ 字幕生成部、８，５３ 音声認識部、９，５９ 翻訳部、１０ 字幕設定部、１１ 字幕タイミング設定部、５５ 音声設定部、５６ 音声タイミング設定部、５７ 音声生成部、５８ 音声合成部、７１ スピーカ。

Claims (10)

1. 電子機器であって、
   前記電子機器に設定されている言語を表示する字幕の言語として設定する設定部と、
   コンテンツに含まれる字幕の言語が前記設定した言語と相違する場合には、前記コンテンツに含まれる字幕を前記設定した言語の字幕に翻訳する字幕生成部と、
   前記コンテンツに含まれる映像を再生するとともに、前記翻訳された字幕を表示させる再生処理部とを備えた、電子機器。
2. 電子機器であって、
   前記電子機器に設定されている言語を表示する字幕の言語として設定する設定部と、
   コンテンツに字幕が含まれていない場合に、前記コンテンツに含まれる音声から前記設定した言語の字幕を生成する字幕生成部と、
   前記コンテンツに含まれる映像を生成するとともに、前記生成した字幕を表示させる再生処理部とを備えた、電子機器。
3. 前記字幕生成部は、前記コンテンツに含まれる音声の言語が前記設定した言語と同一の場合には、前記コンテンツに含まれる音声の認識処理によって、前記設定した言語の字幕を生成する、請求項２記載の電子機器。
4. 前記字幕生成部は、前記コンテンツに含まれる音声の言語が前記設定した言語と相違する場合には、前記コンテンツに含まれる音声の認識処理によって字幕を生成し、さらに前記生成した字幕を前記設定した言語の字幕に翻訳する、請求項２記載の電子機器。
5. 前記字幕生成部は、前記字幕の表示開始時刻と表示終了時刻を、前記字幕の生成源の音声の再生開始時刻と再生終了時刻と同一に設定する、請求項３または４記載の電子機器。
6. 前記字幕生成部は、一定時間内に可能な範囲で前記翻訳を実行し、
   前記再生処理部は、未完成な翻訳がある場合には、翻訳が未完成のまま字幕を表示する旨を通知する、請求項１または４記載の電子機器。
7. 前記字幕生成部は、ユーザが前記翻訳を所望する場合にのみ、前記翻訳を実行する、請求項１または４記載の電子機器。
8. 前記設定部は、ユーザが発音する音声に基づいて前記電子機器の言語を設定する、請求項１または２記載の電子機器。
9. 再生する音声の言語を設定する設定部と、
   コンテンツに含まれる音声の言語が、前記設定した言語と相違する場合には、前記コンテンツに含まれる音声から前記設定した言語の音声を生成する音声生成部と、
   前記コンテンツに含まれる映像を再生するとともに、前記生成した音声を再生する再生処理部とを備えた、電子機器。
10. 再生する音声の言語を設定する設定部と、
    コンテンツに音声が含まれていない場合に、前記コンテンツに含まれる字幕から前記設定した言語の音声を生成する音声生成部と、
    前記コンテンツに含まれる映像を再生するとともに、前記生成した音声を再生する再生処理部とを備えた、電子機器。

Images