JP5672411B1 - 受信装置、およびデータ処理方法 - Google Patents
受信装置、およびデータ処理方法 Download PDFInfo
- Publication number
- JP5672411B1 JP5672411B1 JP2014222334A JP2014222334A JP5672411B1 JP 5672411 B1 JP5672411 B1 JP 5672411B1 JP 2014222334 A JP2014222334 A JP 2014222334A JP 2014222334 A JP2014222334 A JP 2014222334A JP 5672411 B1 JP5672411 B1 JP 5672411B1
- Authority
- JP
- Japan
- Prior art keywords
- data
- display
- ttml
- subtitle
- caption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Circuits (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Description
なお、TTMLについては、例えば特許文献1(特開2012−169885号公報)に記載がある。
TTML(Timed Text Markup Language)字幕データを受信する通信部と、
前記TTML字幕データを適用した字幕表示制御を実行するデータ処理部を有し、
前記TTML字幕データは、字幕表示の表示期間に関する制御を行うdur属性を持つ制御データを有し、該dur属性を持つ制御データは、表示中の字幕の継続表示を実行させる継続表示指示値を属性値として設定可能な制御データである受信装置にある。
受信装置において実行するデータ処理方法であり、
通信部が、TTML(Timed Text Markup Language)字幕データを受信するステップと、
データ処理部が、前記TTML字幕データを適用した字幕表示制御を実行するステップを有し、
前記TTML字幕データは、字幕表示の表示期間に関する制御を行うdur属性を持つ制御データを有し、該dur属性を持つ制御データは、表示中の字幕の継続表示を実行させる継続表示指示値を属性値として設定可能な制御データであるデータ処理方法にある。
具体的には、TTML字幕データの字幕表示終了時間規定属性の設定値が継続表示指示値である場合、画像ファイルの再生終了タイミング以降も、表示中の字幕データのメモリ保存と表示処理を継続し、TTML字幕データファイルの切り換え処理を実行する。TTML字幕データの字幕表示開始時間規定属性の設定値が継続表示指示値である場合、表示処理継続中の文字列があるか否かを判定し、ある場合は、表示文字の継続表示を続行する。
本構成により、TTML字幕データの字幕表示途切れのない表示制御が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
1.通信システムの構成例について
2.字幕データの概要について
3.TTML字幕データファイルの切り換え時の問題点について
4.字幕途切れの解消を実現する実施例について
5.字幕表示制御シーケンスについて
6.送信装置と受信装置の構成例について
7.本開示の構成のまとめ
まず、図1を参照して本開示の処理を実行する通信システムの一構成例について説明する。
図1に示すように、通信システム10は、画像データや音声データ、さらに字幕データ、さらに各種の制御情報等のデータを送信する送信装置20と、送信装置20の送信するデータを受信する受信装置30を有する。
一方、受信装置30は、一般ユーザのクライアント装置であり、具体的には、例えばテレビ31、PC32、携帯端末33等によって構成される。
MP4、MMT(MPEG Media Transport)など、様々なフォーマットに従って実行される。なお、本開示の処理を実行する場合、データ配信フォーマットは限定されない。
図2には、送信装置20が受信装置30に対して送信するデータの種類を示している。送信装置20が受信装置30に対して送信するデータには以下のデータがある。
(a)画像データ(Video)50
(b)音声データ(Audio)60
(c)字幕データ(Subtitle)70
(d)シグナリングデータ80
これらの各データが、通信フォーマットで規定されるパケットのペイロードとして送信される。
なお、シグナリングデータは、受信装置30に対する通知情報や制御情報であり、画像データ、音声データ、字幕データの受信、復号、再生に必要となる設定情報、データ属性情報、制御情報等によって構成される。
本開示の構成では、字幕データは表示領域や表示タイミング等の制御を可能としたXML(Extensible Markup Language)形式の字幕データであるTTML(Timed Text Markup Language)を用いる。
図3は、送信装置20が受信装置30に対して送信する字幕データ(Subtitle)70に格納されるXML形式のTTML字幕データの構成例と、TTML字幕データを利用して受信装置30において実行する字幕表示例を示す図である。
TTML字幕データは、図3(B)に示すようなXML形式のデータであり、実際に表示される文字列の他、表示領域、表示タイミング等の情報を記述可能なとした構成を持つ。
受信装置30は、このようなTTML字幕データを解釈して、図3(C)に示すような表示データ、すなわち、他のパケットから取得して復号した画像データに字幕を重畳した表示データを生成して表示部に表示する処理を行う。
<div regon="r1">
<p begin ="00:00:01.878" end="00:00:05.334">
こんにちは
<p begin ="00:00:08.608" end="00:00:15.296">
よろしくね
</p>
</div?
字幕データ「こんにちは」と、「よろしくね」の2つの文字列を、それぞれの指定時間に指定領域に表示させる制御を実現するTTMLデータである。
<div regon="r1">は、
表示画面の特定の表示領域[r1]に字幕を表示させるための制御情報である。
字幕データ「こんにちは」の表示開始時間と表示終了時間を規定した制御情報である。
表示開始時間=00時00分01秒878、
表示終了時間=00時00分05秒334、
上記設定で字幕データ「こんにちは」を表示させるための制御情報である。
なお、時間は、受信装置30のシステムクロックに基づいて計測可能である。
字幕データ「よろしくね」の表示開始時間と表示終了時間を規定した制御情報である。
表示開始時間=00時00分08秒608、
表示終了時間=00時00分15秒296、
上記設定で字幕データ「よろしくね」を表示させるための制御情報である。
字幕「こんにちは」を時間0時00分01秒878から、00時00分05秒334まで、表示領域[r1]に表示する。
その後、字幕「よろしくね」を時間0時00分08秒608から、00時00分15秒296まで、表示領域[r1]に表示する。
これらの2つの字幕表示を実行させる制御情報である。
字幕データは、表示時間の規定された画像データに対して重畳して表示される。
図3(C1)は、字幕「こんにちは」を画像に重畳して表示した表示画像例であり、時間0時00分01秒878から、00時00分05秒334までの表示データに相当する。
図3(C2)は、(C1)の後の表示データであり、字幕「よろしくね」を画像に重畳して表示した表示画像例である。時間0時00分08秒608から、00時00分15秒296までの表示データに相当する。
<div regon="r1">
<p begin ="00:00:01.878" dur="03.456">
こんにちは
<p begin ="00:00:08.608" dur="06.668">
よろしくね
</p>
</div?
字幕データ「こんにちは」と、「よろしくね」の2つの文字列を、それぞれの指定時間に表示させる制御を実現するTTMLデータである。
<div regon="r1">は、
表示画面の特定の表示領域[r1]に字幕を表示させるための制御情報である。
字幕データ「こんにちは」の表示開始時間と表示期間を規定した制御情報である。
表示開始時間=00時00分01秒878、
表示期間=03秒456、
上記設定で字幕データ「こんにちは」を表示させるための制御情報である。
なお、時間は、受信装置30のシステムクロックに基づいて計測可能である。
字幕データ「よろしくね」の表示開始時間と表示期間を規定した制御情報である。
表示開始時間=00時00分08秒608、
表示期間=06秒688、
上記設定で字幕データ「よろしくね」を表示させるための制御情報である。
字幕「こんにちは」を時間0時00分01秒878から03秒456の期間、表示領域[r1]に表示する。
その後、字幕「よろしくね」を時間0時00分08秒608から06秒688の期間、表示領域[r1]に表示する。
これらの2つの字幕の表示を実行させる制御情報である。
字幕データは、表示時間の規定された画像データに対して重畳して表示される。
図4(C1)は、字幕「こんにちは」を画像に重畳して表示した表示画像例であり、時間0時00分01秒878から03秒456の期間の表示データに相当する。
図4(C2)は、(C1)の後の表示データであり、字幕「よろしくね」を画像に重畳して表示した表示画像例である。時間0時00分08秒608から06秒688の期間の表示データに相当する。
なお、図3、図4で説明した以外にも様々な制御情報の設定が可能である。
図3、図4を参照して説明したように、TTML字幕データには、字幕データとなる文字列と、各文字列の表示タイミング、表示領域等の制御情報が含まれる。
この問題点について図5を参照して説明する。
(a)受信装置30が、送信装置20から、順次、受信するデータファイル
(b)受信装置30が実行する字幕データの表示シーケンス
図5(b)の時間軸(t)に示すように、左から右に時間が経過するものとする。
例えばデータ通信フォーマットがMP4の場合、画像/音声データファイル101〜103の各々は、MP4で処理単位として規定される符号化データのファイル「mdat」に対応する。
また、データ通信フォーマットがMMTの場合、画像/音声データファイル101〜103の各々は、MMTで処理単位として規定される符号化データのファイル「MFU」に対応する。
画像、音声のデータファイル101〜103には、ファイル切り換え時の処理期間を考慮し、処理期間にデータ途切れが発生しないように再生用データが格納されている。
字幕データファイル111〜113の各々は、画像/音声データファイル101〜103と同期した処理を行なうため、それぞれのファイルにタイムスタンプが設定されている。
タイムスタンプを参照することで字幕データファイル111〜113の各々について、どの画像/音声データファイル101〜103と対応付けて処理を行なうべきかを判断することができる。
文字列(文字1)について、
表示開始時間(begin)=00:00:01.878
表示終了時間(end)=00:00:05.334
文字列(文字2)について、
表示開始時間(begin)=00:00:08.608
表示終了時間(end)=00:00:15.296
すなわち、文字列1を、
時刻t1=00:00:01.878に表示を開始し、時刻t2=00:00:05.334に表示終了する。
さらに、文字列2について、
時刻t3=00:00:08.608に表示を開始し、時刻t4=00:00:15.296に表示を終了する。
文字列(文字3)について、
表示開始時間=00:00:16.278
表示終了時間=00:00:24.556
文字列(文字4)について、
表示開始時間=00:00:25.008
表示終了時間=00:00:36.178
すなわち、文字列3を、
時刻t5=00:00:16.278に表示を開始し、時刻t6=00:00:24.556に表示終了する。
時刻t7=00:00:25.008に表示を開始する。
しかし、文字列4の表示終了時間=t9=00:00:36.178は、TTML字幕データファイル(TTML−2)112に対応付けられた同期処理データファイル、すなわち画像/音声データファイル102の画像再生終了時間(t8=00:00:35.442)より遅い時間の設定となっている。
図に示す例では、画像/音声データファイル102の画像再生終了時間は、t8=00:00:35.442であるものとする。
画像/音声データについては、データ途切れが発生しないように、ファイル切り換え時の処理時間を考慮した再生データが先行ファイルに格納されているため、データ途切れは発生しない。
受信装置30の字幕データ処理部は、TTML字幕データファイルの切り換えにより、表示中の字幕データの表示を停止してしまう。すなわち、表示用字幕データを格納したメモリから消去し、字幕表示を停止して次のTTML字幕データの処理に移行する。
すなわち、字幕データ処理部は、画像/音声データファイルの切り換えに併せて字幕データファイルの切り換えを行い、このファイル切り換え処理の際に、表示文字データのメモリからの消去と、表示停止処理を行う。
すなわち、図5(B)に示す時間t8〜t9の期間、字幕表示途切れが発生してしまう。
図5(b)に示す時間t8=00:00.35.442は、メインデータである画像/音声データファイル102の再生終了時間に相当する。
TTML字幕データファイル(TTML−2)112は、
文字列4について、
表示開始時間=00:00:25.008
表示終了時間=00:00:36.178
上記の表示タイミング制御情報を記録している。
このように、TTML字幕データに記録された表示終了時間が、メインデータである画像/音声データファイルの再生終了時間より後に設定されていても、受信装置30の字幕データ処理部は、画像/音声データファイルの切り換えに同期した字幕データファイルの切り換えを行う。このファイル切り換えにより、図5(B)に示す時間t8〜t9の期間、字幕表示途切れが発生する。
次のTTML字幕データファイル(TTML−3)113は、以下の字幕表示制御データを格納している。
文字列(文字4)について、
表示開始時間=00:00:36.178
表示終了時間=00:00:50.856
文字列4を、
時刻t9=00:00:36.178に表示を開始し、時刻t10=00:00:50.856に表示終了する。
文字列(文字4)を、表示開始時間(t7)から表示終了時間(t10)まで継続させて表示させる制御情報である。
すなわち、図6に示す字幕データファイル(TTML−2)112に示す設定である。
<p begin="00:00:16.278"
end="00:00:24.556" >
文字3</p>
<p begin="00:00:25.008">
文字4</p>
文字列(文字3)について、
表示開始時間=00:00:16.278
表示終了時間=00:00:24.556
文字列(文字4)について、
表示開始時間=00:00:25.008
これらの情報を有している。
表示期間(duration)を示す属性(dur)を用いた例を図7に示す。
<p begin="00:00:16.278"
dur="08.278">
文字3</p>
<p begin="00:00:25.008"
dur="11.170">
文字4</p>
文字列(文字3)について、
表示開始時間=00:00:16.278
表示期間=08.278秒
文字列(文字4)について、
表示開始時間=00:00:25.008
表示期間=11.170秒
これらの情報を有している。
字幕データファイル(TTML−2)112の制御情報に従い、文字列4は、表示開始時間=00:00:25.008から表示を開始する。
この時間t9は、TTML−2と同期再生対象として設定されたメインデータである画像/音声データファイル102の再生終了時間(t8=00:00:35.442)より後の時間の設定となっている。
上述した字幕途切れの問題点を解決した実施例について、以下説明する。
図8は、受信装置30における処理例を示す図である。
図5〜図7を参照して説明した処理例と同様、図8には、以下の(a),(b)2つの情報を示している。
(a)受信装置30が、送信装置20から、順次、受信するデータファイル
(b)受信装置30が実行する字幕データの表示シーケンス
図8(b)の時間軸(t)に示すように、左から右に時間が経過する。
例えばデータ通信フォーマットがMP4の場合、画像/音声データファイル101〜103の各々は、MP4で処理単位として規定される符号化データのファイル「mdat」に対応する。
また、データ通信フォーマットがMMTの場合、画像/音声データファイル101〜103の各々は、MMTで処理単位として規定される符号化データのファイル「MFU」に対応する。
画像/音声データファイル101〜103には、ファイル切り換え時の処理期間を考慮し、ファイル切り換え期間にデータ途切れが発生しないように再生用データが格納される。
字幕データファイル121〜123の各々は、画像/音声データファイル101〜103と同期した処理を行なうため、それぞれのファイルには、タイムスタンプが設定されている。
受信装置30は、画像、音声、字幕各データファイルのタイムスタンプを参照して処理を行なうことで、画像、音声、字幕の各データを同期させて出力することが可能となる。受信装置30は、タイムスタンプを参照することで字幕データファイル121〜123の各々について、どの画像/音声データファイル101〜103と対応付けて処理を行なうかを判断できる。
文字列(文字1)について、
表示開始時間=00:00:01.878
表示終了時間=00:00:05.334
文字列(文字2)について、
表示開始時間=00:00:08.608
表示終了時間=00:00:15.296
受信装置30の字幕データ処理部は、このTTML字幕データファイル(TTML−1)121を利用して、図8(b)に示すように、文字列1と、文字列2の字幕表示を実行する。
すなわち、文字列1を、
時刻t1=00:00:01.878に表示を開始し、時刻t2=00:00:05.334に表示を終了する。
さらに、文字列2について、
時刻t3=00:00:08.608に表示を開始し、時刻t4=00:00:15.296に表示を終了する。
<p begin="00:00:16.278"
end="00:00:24.556" >
文字3</p>
<p begin="00:00:25.008"
end="indefinite" >
文字4</p>
文字列(文字3)について、
表示開始時間=00:00:16.278
表示終了時間=00:00:24.556
文字列(文字4)について、
表示開始時間=00:00:25.008
表示終了時間=継続表示指示値(indefinite)
表示終了時間=不定(indefinite)
この設定が、先に説明した図5のTTML字幕データ(TTML−2)112とは異なっている。
この表示終了時間=継続表示指示値(indefinite)は、表示対象文字の表示を継続させながら、ファイル切り換えを実行させるための制御情報である。
表示終了時間=継続表示指示値(indefinite)
この設定がなされている場合、表示部に対する表示文字列を保存したメモリの文字列を消去することなく、メモリ格納データを利用した文字表示を継続する。この文字表示継続処理に並列して、ファイル切り換えを実行する。
表示終了時間=継続表示指示値(indefinite)
上記設定であることの確認に基づいて、以下の処理を実行する。
さらに、この文字表示を継続させたまま、並列してファイル切り換え、すなわち、TTML字幕データ(TTML−2)122から、TTML字幕データ(TTML−3)123へのファイル切り換えを実行する。
<p begin="indefinite8"
end="00:00:50.856" >
文字4</p>
文字列(文字4)について、
表示開始時間=継続表示指示値(indefinite)
表示終了時間=00:00:50.856
表示開始時間=継続表示指示値(indefinite)
表示終了時間=00:00:50.856
表示開始時間=継続表示指示値(indefinite)
上記設定であることを確認する。
(a)表示開始時間=継続表示指示値(indefinite)が設定された文字列(文字4)、
(b)メモリ保存および表示継続されている文字列、
これらの両者が一致するか否かを判定する。
上記(a),(b)の文字列が一致している場合、現在継続表示中の文字列をそのままメモリに保存し、表示を継続する。
ただし、文字表示制御処理は、ファイル切り換え後のファイル、すなわち、TTML字幕データ(TTML−3)123に基づく処理として実行する。
このような処理を行なうことで、図8(b)に示すように文字列(文字4)はファイル切り換え時の途切れを発生させることなく。継続して表示されることになる。
例えば、途中から番組(コンテンツ)を受信した受信装置は、図8に示す字幕データファイル(TTML−2)122を受信せずに、字幕データファイル(TTML−3)123を受信して番組を視聴する場合である。
この場合、
(a)表示開始時間=継続表示指示値(indefinite)が設定された文字列(文字4)、
(b)メモリ保存および表示継続されている文字列、
上記(a)のデータは、字幕データファイル(TTML−3)123から取得できる。
しかし、上記(b)のデータは存在しない。すなわち、メモリに保存され表示継続中の文字列は存在しない。
この場合は、受信装置30の字幕データ処理部は、字幕データファイル(TTML−3)123のみに従って処理を実行する。
表示開始時間=継続表示指示値(indefinite)
表示終了時間=00:00:50.856
この検出情報に従って、文字列(文字4)の表示を即時表示し、表示終了時間=00:00:50.856に表示を終了させる。
表示開始時間=継続表示指示値(indefinite)
この制御情報に従って、指定の文字列を即時表示する処理を行なう。
表示開始時間=継続表示指示値(indefinite)
表示終了時間=継続表示指示値(indefinite)
このように、開始、終了の双方とも継続表示指示値(indefinite)とした制御情報もある。
表示開始時間=継続表示指示値(indefinite)
この制御情報に基づいて、以下の(a),(b)の比較処理を行なう。
(a)表示開始時間=継続表示指示値(indefinite)が設定された文字列、
(b)メモリ保存および表示継続されている文字列、
この比較処理において、(a)=(b)の場合のみ、表示継続中の文字表示をそのまま継続して、処理対象ファイルを切り換える。
表示終了時間=継続表示指示値(indefinite)
この制御情報に従って、文字表示を継続したまま、次のTTML字幕データファイルへの切り換え処理を行なう。
このような処理を行なうことで、3以上のTTML字幕データファイルを適用して同一字幕データの表示を継続させて行うことが可能となる。
表示終了時間=継続表示指示値(indefinite)
上記情報が記録されている場合、その特定文字列(文字x)の表示用データを格納したメモリからの消去を行わず、表示を継続する。
この表示継続中に、処理対象ファイルの切り換えを実行する。
表示開始時間=継続表示指示値(indefinite)
上記情報が記録されている場合、その特定文字列(文字x)の表示用データがメモリに格納されていて、その表示が実行されている場合、その表示を継続する。
この表示継続しながら、切り換え後の処理対象ファイルに基づく処理を開始する。
字幕データファイル(TTML−2)122のに規定された表示開始時間、
表示開始時間=t7=00:00:25.008
から、
字幕データファイル(TTML−3)122のに規定された表示終了時間、
表示終了時間=t10=00:00:50.856
このt7〜t10の期間、表示途切れを発生させることなく、表示可能となる。
<p begin="00:00:16.278"
dur="08.278" >
文字3</p>
<p begin="00:00:25.008"
dur="indefinite" >
文字4</p>
文字列(文字3)について、
表示開始時間=00:00:16.278
表示期間=08.278秒
文字列(文字4)について、
表示開始時間=00:00:25.008
表示期間=継続表示指示値(indefinite)
dur="indefinite" >に対する処理は、
図8を参照して説明した制御情報、
end="indefinite" >
と同様の処理となる。
受信装置30の画像音声データ処理部は、TTML字幕データファイル(TTML−2)122と同期処理対象に設定されているメインデータである画像/音声データファイル102の再生終了時間(t8=00:00:35.442)になると、次の画像/音声データファイル103に対する処理切り換えを行う。
表示期間(dur)=継続表示指示値(indefinite)
この設定がなされている場合、表示部に対する表示文字列を保存したメモリの文字列を消去することなく、メモリ格納データを利用した文字表示を継続する。この文字表示継続処理に並列して、ファイル切り換えを実行する。
表示期間=継続表示指示値(indefinite)
上記設定であることの確認に基づいて、以下の処理を実行する。
さらに、この文字表示を継続させたまま、並列して、ファイル切り換え、すなわち、TTML字幕データ(TTML−2)132から、TTML字幕データ(TTML−3)133へのファイル切り換えを実行する。
<p begin="indefinite8"
end="00:00:50.856" >
文字4</p>
文字列(文字4)について、
表示開始時間=継続表示指示値(indefinite)
表示終了時間=00:00:50.856
表示開始時間=継続表示指示値(indefinite)
表示終了時間=00:00:50.856
表示開始時間=継続表示指示値(indefinite)
上記設定であることを確認する。
(a)表示開始時間=継続表示指示値(indefinite)が設定された文字列(文字4)、
(b)メモリ保存および表示継続されている文字列、
これらの両者が一致するか否かを判定する。
上記(a),(b)の文字列が一致している場合、現在継続表示中の文字列をそのままメモリに保存し、表示を継続する。
ただし、文字表示制御処理は、ファイル切り換え後のファイル、すなわち、TTML字幕データ(TTML−3)133に基づく処理として実行する。
このような処理を行なうことで、図9(b)に示すように文字列(文字4)はファイル切り換え時の途切れを発生させることなく。継続して表示されることになる。
字幕の継続表示を実行させる制御情報として、
各属性(end,begin,dur)に対して設定する継続表示指示値を[indefinite]とした例を説明したが、この値は、一例であり、その他、例えば[00:00:00.000]、あるいはその他の値を継続表示指示値として、上述した処理と同様の字幕継続表示を実行させる構成としてもよい。
また、定規実施例では、各属性(end,begin,dur)に対して設定する値を、すべて[indefinite]として統一した例を説明したが、属性ごとに異なる値を設定して、上記と同様の処理を行なわせる構成としてもよい。
次に、受信装置30において実行する字幕表示制御シーケンスについて、図10〜図13を参照して説明する。
図10に示すフローに従った処理は、例えば、受信装置におけるプログラム実行機能を持つCPU等を有するデータ処理部の制御の下に、記憶部に格納されたプログラムに従って実行される。
以下、各ステップの処理について説明する。
まず、受信装置は、ステップS101において、画像、音声、字幕の各データを格納したデータを受信する。
受信データには、TTML字幕データが含まれる。
次に、受信装置は、受信データから、TTML字幕データファイルを抽出する。
図3、図4等を参照して説明したように、TTML字幕データファイルには、表示文字列と、その文字列に対応する表示タイミング等の制御情報が記録されている。
受信装置の字幕データ処理部は、TTML字幕データファイルから、表示対象とする字幕データを選択する。
TTML字幕データの記録データ順に従って処理対象となる字幕データを選択して、制御情報に従った字幕表示処理を開始する。
次に、字幕データ処理部は、ステップS104において、表示対象字幕データの表示終了時間を規定した表示終了時間規定属性(end属性またはdur属性)対応処理を実行する。
このステップS104の処理の詳細について、図11に示すフローを参照して説明する。
まず、字幕データ処理部は、ステップS201において、表示対象文字列の表示終了時間規定属性(end属性またはdur属性)が継続表示指示値(indefinite)か否かを判定する。
継続表示指示値(indefinite)である場合はステップS202に進み、継続表示指示値(indefinite)でない場合は、ステップS203に進む。
表示対象文字列の表示終了時間規定属性(end属性またはdur属性)が継続表示指示値(indefinite)であることが確認された場合、受信装置は、ステップS202において、以下の処理を実行する。
表示対象字幕データを、配信データ単位(メインデータである画像、音声データファイル)の終端後もメモリに継続して保存し、メモリ保存文字列の表示処理を継続する。
一方、表示対象文字列の表示終了時間規定属性(end属性またはdur属性)が継続表示指示値(indefinite)でないことが確認された場合、受信装置は、ステップS203において、以下の処理を実行する。
表示対象字幕データを、表示終了時間規定属性(end属性またはdur属性)の指定に従って表示を終了する。
その後、ステップS105の処理に移行する。
受信装置の字幕データ処理部は、次のステップS105において、表示対象字幕データの表示開始時間を規定した表示開始時間規定属性(begin属性)対応処理を実行する。
このステップS105の処理の詳細について、図12に示すフローを参照して説明する。
まず、字幕データ処理部は、ステップS301において、表示対象文字列の表示開始時間規定属性(begin属性)が継続表示指示値(indefinite)か否かを判定する。
継続表示指示値(indefinite)でない場合はステップS302に進み、継続表示指示値(indefinite)である場合は、ステップS303に進む。
表示対象文字列の表示開始時間規定属性(begin属性)が継続表示指示値(indefinite)でない場合、字幕データ処理部は、ステップS302において以下の処理を行なう。
表示対象字幕データを、表示開始時間規定属性(begin属性)の指定時間に表示を開始する表示制御を実行する。
一方、表示対象文字列の表示開始時間規定属性(begin属性)が継続表示指示値(indefinite)である場合、字幕データ処理部は、ステップS303において以下の処理を行なう。
表示開始時間規定属性(begin属性)が継続表示指示値(indefinite)とされた文字列と、同一の文字データが、メモリに保存され表示継続中であるかを判定する。
処理対象となる文字と同一の文字がメモリに保存され表示継続中である場合は、ステップS304に進み、そうでない場合はステップS305に進む。
表示開始時間規定属性(begin属性)が継続表示指示値(indefinite)とされた文字列と、同一の文字データが、メモリに保存され表示継続中である場合は、字幕テータ処理部は、ステップS304において以下の処理を行なう。
メモリに保存され、表示中の字幕の表示を継続して実行する。
一方、表示開始時間規定属性(begin属性)が継続表示指示値(indefinite)とされた文字列と、同一の文字データが、メモリに保存されておらず表示継続中でない場合は、字幕テータ処理部は、ステップS305において以下の処理を行なう。
表示対象字幕データを、即時表示する処理を行なう。
その後、ステップS106の処理に移行する。
受信装置の字幕データ処理部は、ステップS106において、次の表示対象字幕データがあるか否かを判定し、ある場合は、ステップS103以下の処理を繰り返す。ない場合は処理を終了する。
次に、通信装置である送信装置20と、受信装置30の装置構成例について、図13以下を参照して説明する。
送信装置20は、データ処理部141、通信部142、記憶部143を有する。
受信装置30は、データ処理部151、通信部152、記憶部153、入力部154、出力部155を有する。
具体的には、画像、音声データの格納パケットの生成、字幕データ、その他のシグナリングデータを格納したパケット生成、配信処理を実行する。
なお、字幕データ格納パケットは、XML形式のTTML字幕データを格納したパケットである。
記憶部143は配信対象とする画像、音声、字幕等の各データなどが格納される。
さらに、記憶部143は、データ処理部141の実行するデータ処理のワークエリアとして利用され、また各種パラメータの記憶領域としても利用される。
通信部152は、送信装置20から配信されるデータ、例えば画像、音声、字幕を格納したパケットやシグナリングデータを受信する。
字幕データはTTML字幕データである。
具体的には例えばTTML字幕データに従った字幕の表示制御を実行する。
再生データは表示部やスピーカ等の出力部155に出力される。
記憶部153は受信した画像、音声、字幕等の各データが格納される。
さらに、記憶部153は、データ処理部151の実行するデータ処理のワークエリアとして利用され、また各種パラメータの記憶領域としても利用される。
データ処理部141は、画像データ処理部201、音声データ処理部202、字幕データ処理部203、制御信号生成部204、パケット生成部205を有する。
画像データ処理部201は、受信装置に送信するコンテンツの構成データである画像データに対する処理、例えば符号化処理等の送信用データ生成処理を行ない、パケットに格納する符号化画像データを生成してパケット生成部205に供給する。
具体的には、TTML字幕データの生成処理を行ない、パケット生成部205に供給する。
なお、パケット生成部205の生成するパケットには画像、音声、字幕等のデータ種別に応じたパケット識別子が設定される。
通信部142はパケット生成部205から入力するパケットを、放送波やネットワークを介して出力する。
受信装置30のデータ処理部151は、パケット分離部301、画像データ処理部302、音声データ処理部303、字幕データ処理部304、制御部305、重畳処理部306を有する。
音声データ処理部303は、音声データを格納したパケットから音声データを取得し、復号処理等、音声の再生処理に必要な処理を実行する。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
(1) TTML(Timed Text Markup Language)字幕データを受信する通信部と、
前記TTML字幕データを適用した字幕表示制御を実行するデータ処理部を有し、
前記TTML字幕データは、字幕表示の表示期間に関する制御を行うdur属性を持つ制御データを有し、該dur属性を持つ制御データは、表示中の字幕の継続表示を実行させる継続表示指示値を属性値として設定可能な制御データである受信装置。
前記TTML字幕データの制御データがdur属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
表示中の字幕の継続表示処理を実行する(1)に記載の受信装置。
前記TTML字幕データの制御データがdur属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
表示中の字幕データのメモリ保存と表示処理を継続する制御を実行する(1)または(2)に記載の受信装置。
前記TTML字幕データの制御データがdur属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
前記TTML字幕データに対する同期処理ファイルである画像ファイルの再生終了タイミング以降も、表示中の字幕データのメモリ保存と表示処理を継続する制御を実行する(1)〜(3)いずれかに記載の受信装置。
前記TTML字幕データの制御データがdur属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
表示中の字幕データのメモリ保存と表示処理を継続させたまま、処理対象とするTTML字幕データファイルの切り換え処理を実行する(1)〜(4)いずれかに記載の受信装置。
通信部が、TTML(Timed Text Markup Language)字幕データを受信するステップと、
データ処理部が、前記TTML字幕データを適用した字幕表示制御を実行するステップを有し、
前記TTML字幕データは、字幕表示の表示期間に関する制御を行うdur属性を持つ制御データを有し、該dur属性を持つ制御データは、表示中の字幕の継続表示を実行させる継続表示指示値を属性値として設定可能な制御データであるデータ処理方法。
前記TTML字幕データの制御データがdur属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
表示中の字幕の継続表示処理を実行する(6)に記載のデータ処理方法。
具体的には、TTML字幕データの字幕表示終了時間規定属性の設定値が継続表示指示値である場合、画像ファイルの再生終了タイミング以降も、表示中の字幕データのメモリ保存と表示処理を継続し、TTML字幕データファイルの切り換え処理を実行する。TTML字幕データの字幕表示開始時間規定属性の設定値が継続表示指示値である場合、表示処理継続中の文字列があるか否かを判定し、ある場合は、表示文字の継続表示を続行する。
本構成により、TTML字幕データの字幕表示途切れのない表示制御が実現される。
20 送信装置
21 放送局
22 データ配信サーバ
30 受信装置
31 TV
32 PC
33 携帯端末
50 画像データ
60 音声データ
70 字幕データ
80 シグナリングデータ
101〜103 画像/音声データファイル
111〜113 字幕データファイル(TTML)
121〜123 字幕データファイル(TTML)
141 データ処理部
142 通信部
143 記憶部
151 データ処理部
152 通信部
153 記憶部
154 入力部
155 出力部
201 画像データ処理部
202 音声データ処理部
203 字幕データ処理部
204 制御信号生成部
205 パケット生成部
301 パケット分離部
302 画像データ処理部
303 音声データ処理部
304 字幕データ処理部
305 制御部
306 重畳処理部
401 CPU
402 ROM
403 RAM
404 バス
405 入出力インタフェース
406 入力部
407 出力部
408 記憶部
409 通信部
410 ドライブ
411 リムーバブルメディア
Claims (7)
- TTML(Timed Text Markup Language)字幕データを受信する通信部と、
前記TTML字幕データを適用した字幕表示制御を実行するデータ処理部を有し、
前記TTML字幕データは、字幕表示の表示期間に関する制御を行うdur属性を持つ制御データを有し、該dur属性を持つ制御データは、表示中の字幕の継続表示を実行させる継続表示指示値を属性値として設定可能な制御データである受信装置。 - 前記データ処理部は、
前記TTML字幕データの制御データがdur属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
表示中の字幕の継続表示処理を実行する請求項1に記載の受信装置。 - 前記データ処理部は、
前記TTML字幕データの制御データがdur属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
表示中の字幕データのメモリ保存と表示処理を継続する制御を実行する請求項1に記載の受信装置。 - 前記データ処理部は、
前記TTML字幕データの制御データがdur属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
前記TTML字幕データに対する同期処理ファイルである画像ファイルの再生終了タイミング以降も、表示中の字幕データのメモリ保存と表示処理を継続する制御を実行する請求項1に記載の受信装置。 - 前記データ処理部は、
前記TTML字幕データの制御データがdur属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
表示中の字幕データのメモリ保存と表示処理を継続させたまま、処理対象とするTTML字幕データファイルの切り換え処理を実行する請求項1に記載の受信装置。 - 受信装置において実行するデータ処理方法であり、
通信部が、TTML(Timed Text Markup Language)字幕データを受信するステップと、
データ処理部が、前記TTML字幕データを適用した字幕表示制御を実行するステップを有し、
前記TTML字幕データは、字幕表示の表示期間に関する制御を行うdur属性を持つ制御データを有し、該dur属性を持つ制御データは、表示中の字幕の継続表示を実行させる継続表示指示値を属性値として設定可能な制御データであるデータ処理方法。 - 前記データ処理部は、
前記TTML字幕データの制御データがdur属性を有し、かつ、属性値として継続表示指示値が設定されている場合、
表示中の字幕の継続表示処理を実行する請求項6に記載のデータ処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014222334A JP5672411B1 (ja) | 2014-10-31 | 2014-10-31 | 受信装置、およびデータ処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014222334A JP5672411B1 (ja) | 2014-10-31 | 2014-10-31 | 受信装置、およびデータ処理方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014101126A Division JP6384119B2 (ja) | 2014-05-15 | 2014-05-15 | 受信装置、および送信装置、並びにデータ処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5672411B1 true JP5672411B1 (ja) | 2015-02-18 |
JP2015220748A JP2015220748A (ja) | 2015-12-07 |
Family
ID=52573892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014222334A Active JP5672411B1 (ja) | 2014-10-31 | 2014-10-31 | 受信装置、およびデータ処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5672411B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017047434A1 (ja) * | 2015-09-18 | 2017-03-23 | ソニー株式会社 | 送信装置、受信装置、およびデータ処理方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009283124A (ja) * | 2004-02-17 | 2009-12-03 | Panasonic Corp | システムlsi |
-
2014
- 2014-10-31 JP JP2014222334A patent/JP5672411B1/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009283124A (ja) * | 2004-02-17 | 2009-12-03 | Panasonic Corp | システムlsi |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017047434A1 (ja) * | 2015-09-18 | 2017-03-23 | ソニー株式会社 | 送信装置、受信装置、およびデータ処理方法 |
JPWO2017047434A1 (ja) * | 2015-09-18 | 2018-07-05 | ソニー株式会社 | 送信装置、受信装置、およびデータ処理方法 |
US11102536B2 (en) | 2015-09-18 | 2021-08-24 | Saturn Licensing Llc | Transmission apparatus, reception apparatus, and data processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2015220748A (ja) | 2015-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6384119B2 (ja) | 受信装置、および送信装置、並びにデータ処理方法 | |
TWI571868B (zh) | 用於定序內容之方法及裝置 | |
US9549027B2 (en) | Network-synchronized media playback | |
CN104869467A (zh) | 媒体播放中的信息输出方法、装置和*** | |
JP2014007603A (ja) | コンテンツ再生装置、コンテンツ再生システム、及びコンテンツ再生方法 | |
US11758245B2 (en) | Interactive media events | |
CN103491430B (zh) | 流媒体数据处理方法和电子设备 | |
US20220394328A1 (en) | Consolidated Watch Parties | |
JP5672409B1 (ja) | 受信装置、およびデータ処理方法 | |
US10820061B2 (en) | Apparatus, systems and methods for presentation of media content using an electronic Braille device | |
US20160322080A1 (en) | Unified Processing of Multi-Format Timed Data | |
JP2006332759A (ja) | 電子機器、画像制御方法、及び画像制御用のプログラム | |
JP6590043B2 (ja) | 受信装置、および送信装置、並びにデータ処理方法 | |
JP5672411B1 (ja) | 受信装置、およびデータ処理方法 | |
JP5672410B1 (ja) | 受信装置、およびデータ処理方法 | |
JP5874870B1 (ja) | 受信装置、および送信装置、並びにデータ処理方法 | |
JP5899738B2 (ja) | 情報処理システム、情報処理装置及び情報処理プログラム | |
JP6324596B2 (ja) | 映像再生装置、映像再生方法およびプログラム | |
WO2014010069A1 (ja) | 映像送信方法、字幕表示装置、及び映像送信装置 | |
WO2012131832A1 (ja) | 音声読み上げシステム、音声読み上げ装置、および音声読み上げ方法 | |
JP6192547B2 (ja) | 映像記録再生装置および映像記録再生方法 | |
JP5899718B2 (ja) | 情報処理システム、情報処理装置及び情報処理プログラム | |
JP6380695B1 (ja) | 処理装置、再生装置、処理方法、再生方法及びプログラム | |
JP5161323B2 (ja) | 再生方法及び装置 | |
JP5228623B2 (ja) | 放送映像再生方法、システム及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141031 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20141031 |
|
TRDD | Decision of grant or rejection written | ||
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20141117 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20141125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20141208 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5672411 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |