JP5310808B2 - Subtitled video playback device and subtitled video playback program - Google Patents
Subtitled video playback device and subtitled video playback program Download PDFInfo
- Publication number
- JP5310808B2 JP5310808B2 JP2011181024A JP2011181024A JP5310808B2 JP 5310808 B2 JP5310808 B2 JP 5310808B2 JP 2011181024 A JP2011181024 A JP 2011181024A JP 2011181024 A JP2011181024 A JP 2011181024A JP 5310808 B2 JP5310808 B2 JP 5310808B2
- Authority
- JP
- Japan
- Prior art keywords
- subtitle
- video
- list
- sentence
- caption
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Abstract
Description
本発明は、字幕付映像を再生する字幕付映像再生装置及び字幕付映像再生プログラムに関する。 The present invention relates to a captioned video playback apparatus and a captioned video playback program for playing back captioned video .
字幕付映像の字幕情報と映像情報とを分離して、それぞれを別々に表示部に出力する技術が存在する。 There is a technique for separating subtitle information and video information of a video with subtitles and separately outputting them to a display unit.
特許文献1には、字幕付映像のストリームを録画して、映像と字幕とを別々に表示する字幕表示装置が開示されている。
特許文献1で開示された字幕表示装置は、ユーザが字幕文を選択すると、選択された字幕文に対応する映像を頭出しして、それ以降の映像を再生する。
When the user selects a caption text, the caption display device disclosed in
しかし、特許文献1で開示された字幕表示装置は、選択された字幕文に対応する映像を頭出しして再生を開始すると、映像を停止する指示を受けるまで、又は、映像の最後まで、再生を続ける。
However, the caption display device disclosed in
したがって、例えば、ユーザが字幕付映像を繰り返して再生したい場合、ユーザは字幕を選択して映像の再生を開始し、停止操作をして映像を停止し、再び字幕を選択しなければならない。 Therefore, for example, when the user wants to repeatedly reproduce the video with subtitles, the user must select the subtitles, start playing the video, stop the video by performing a stop operation, and select the subtitles again.
また、例えば、ユーザが複数の字幕文に対応する映像のみを再生したい場合、ユーザが停止をするタイミングを逸してしまうと、ユーザが再生したい所定個数よりも少ない又は多い個数分だけ後の字幕文に対応する映像で停止してしまうという問題がある。 Also, for example, when the user wants to play back only the video corresponding to a plurality of subtitle sentences, if the user misses the timing to stop, the subtitle sentence after a smaller or larger number than the predetermined number that the user wants to play back There is a problem that it stops at the video corresponding to.
本発明は、上記実情に鑑みてなされたものであり、ユーザにとって使い勝手のよい字幕付映像再生装置及び字幕付映像再生プログラムを提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to provide a captioned video playback apparatus and a captioned video playback program that are user-friendly.
上記目的を達成するために、本発明の第1の観点に係る字幕付映像再生装置は、現在表示されている映像に対応する字幕文の少なくとも一部と、当該字幕文の前または後の字幕文から当該字幕文のうちの少なくとも一部とを、これらの字幕文が表示されるべき順序でリスト表示する第1のモードと、現在表示されている映像に対応する字幕文のみを表示する第2のモードとを有し、前記2つのモードをユーザの操作により切り替え可能であり、
画像を表示する表示部を備え、該表示部に、映像を表示する映像領域と、該映像領域に現在表示されている映像に対応する字幕文の少なくとも一部を表示する字幕領域と、前記リスト表示されている少なくとも一部ずつの字幕文を表示する字幕リスト領域と、を設定し、前記字幕リスト領域と前記字幕領域と前記映像領域は、それぞれ領域が重複しておらず、かつ、同時に全領域が視認可能な領域であり、
前記字幕リスト領域内に所定数の字幕リスト枝領域を一列に配置し、前記所定数の字幕リスト枝領域に所定数の字幕文をその再生順番に従って並べて表示し、前記所定数の字幕リスト枝領域のうち、所定の位置の字幕リスト枝領域に、現在表示されている映像に対応する字幕文の少なくとも一部を表示する。
In order to achieve the above object, a video playback apparatus with subtitles according to a first aspect of the present invention includes at least a part of a subtitle sentence corresponding to a currently displayed video and a subtitle before or after the subtitle sentence. A first mode for displaying at least a part of the subtitle sentence from a sentence in a list in the order in which the subtitle sentences are to be displayed; and a first mode for displaying only a subtitle sentence corresponding to the currently displayed video. and a second mode, Ri switchable der by a user's operation of the two modes,
A display section for displaying an image, the display section including a video area for displaying a video, a subtitle area for displaying at least part of a subtitle sentence corresponding to the video currently displayed in the video area, and the list A subtitle list area for displaying at least a part of the displayed subtitle text, and the subtitle list area, the subtitle area, and the video area do not overlap each other and are all simultaneously The area is visible,
A predetermined number of subtitle list branch areas are arranged in a line in the subtitle list area, a predetermined number of subtitle sentences are arranged and displayed in the predetermined number of subtitle list branch areas according to the reproduction order, and the predetermined number of subtitle list branch areas are displayed. Among them, at least a part of the caption text corresponding to the currently displayed video is displayed in the caption list branch area at a predetermined position .
例えば、前記第1のモードでは、リスト表示されている少なくとも一部ずつの字幕文からユーザの操作によりユーザの所望する字幕文を選択可能であり、選択された字幕文に対応する映像が表示されるようにしてもよい。 For example, in the first mode, a subtitle sentence desired by the user can be selected by a user operation from at least a part of subtitle sentences displayed in a list, and a video corresponding to the selected subtitle sentence is displayed. You may make it do.
例えば、5つの字幕リスト枝領域を一列に配置し、5つの字幕リスト枝領域のうちの中央に位置する字幕リスト枝領域に、現在表示されている映像に対応する字幕文の少なくとも一部を表示するようにしてもよい。 For example, five subtitle list branch areas are arranged in a line, and at least a part of the subtitle sentence corresponding to the currently displayed video is displayed in the subtitle list branch area located in the center of the five subtitle list branch areas. it may be to be so that.
例えば、前記第2のモードでは、ユーザの操作により前記字幕領域に表示されている字幕文を変更可能であってもよい。 For example, in the second mode, the caption text displayed in the caption area may be changed by a user operation .
上記目的を達成するために、本発明の第2の観点に係る字幕付映像再生プログラムは、
画像を表示する表示部を備えた字幕付映像再生装置を制御するコンピュータに、
現在表示されている映像に対応する字幕文の少なくとも一部と、当該字幕文の前または後の字幕文から当該字幕文のうちの少なくとも一部とを、これらの字幕文が表示されるべき順序で表示画面にリスト表示させるリスト表示ステップと、
現在表示されている映像に対応する字幕文のみを表示画面に表示させるリスト非表示ステップと、
前記リスト表示ステップによる表示と前記リスト非表示ステップによる表示とをユーザの操作に応じて切り替える切り替えステップと、
前記表示部に、映像を表示する映像領域と、該映像領域に現在表示されている映像に対応する字幕文の少なくとも一部を表示する字幕領域と、前記リスト表示されている少なくとも一部ずつの字幕文を表示する字幕リスト領域と、を設定する設定ステップと、を実行させ、
前記設定ステップで設定する前記字幕リスト領域と前記字幕領域と前記映像領域は、それぞれ領域が重複しておらず、かつ、同時に全領域が視認可能な領域であり、
前記リスト表示ステップでは、前記字幕リスト領域内に所定数の字幕リスト枝領域を一列に配置し、前記所定数の字幕リスト枝領域に所定数の字幕文をその再生順番に従って並べて表示し、前記所定数の字幕リスト枝領域のうち、所定の位置の字幕リスト枝領域に、現在表示されている映像に対応する字幕文の少なくとも一部を表示する。
In order to achieve the above object, a subtitled video reproduction program according to the second aspect of the present invention provides:
In a computer that controls a video playback device with captions that includes a display unit that displays images
At least a part of the subtitle sentence corresponding to the currently displayed video, and at least a part of the subtitle sentence from the subtitle sentence before or after the subtitle sentence, and the order in which the subtitle sentence should be displayed A list display step for displaying a list on the display screen with,
A list non-display step for displaying only subtitle sentences corresponding to the currently displayed video on the display screen;
A switching step of switching between display by the list display step and display by the list non-display step according to a user operation ;
The display unit includes a video area for displaying a video, a subtitle area for displaying at least a part of a subtitle sentence corresponding to the video currently displayed in the video area, and at least a part for the list display. a setting step of setting a caption list area for displaying the caption text, and allowed to run,
The subtitle list area, the subtitle area, and the video area that are set in the setting step are areas that do not overlap each other, and are all areas that are visible at the same time,
In the list display step, a predetermined number of subtitle list branch areas are arranged in a line in the subtitle list area, and a predetermined number of subtitle sentences are arranged and displayed in the reproduction order in the predetermined number of subtitle list branch areas. Among the number of subtitle list branch areas, at least a part of the subtitle sentence corresponding to the currently displayed video is displayed in the subtitle list branch area at a predetermined position .
例えば、前記コンピュータに、
前記リスト表示されている少なくとも一部ずつの字幕文からユーザの所望する字幕文をユーザに選択させる選択ステップと、
選択された字幕文に対応する映像を表示画面に表示させるステップとをさらに実行させるようにしてもよい。
For example, the computer,
A selection step for causing the user to select a subtitle sentence desired by the user from at least a part of the subtitle sentences displayed in the list;
And displaying the video corresponding to the selected subtitle sentence on the display screen.
本発明によれば、ユーザにとって使い勝手のよい字幕付映像再生装置及び字幕付映像再生プログラムを提供することができる。 According to the present invention, it is possible to provide a captioned video playback apparatus and a captioned video playback program that are user-friendly.
(実施形態1)
以下、本発明の実施形態に係る字幕付映像再生装置を説明する。実施形態1は、本発明の実施形態に係る字幕付映像再生装置を、コンテンツ受信機能を備える携帯電話1に適用する例である。
(Embodiment 1)
Hereinafter, a video playback apparatus with captions according to an embodiment of the present invention will be described.
携帯電話1は、任意のデータ転送方式に則ったコンテンツを受信可能であるが、本実施形態ではワンセグ放送のコンテンツを受信する場合について説明する。
The
携帯電話1は、例えば、図1に示すような折り畳み型のもので、キーボード2、表示パネル5等を備える。
The
キーボード2は、カーソルキー3、表示切替ボタン4、その他各種のボタンを備え、ユーザに操作されて、様々なデータや指示の入力に使用される。例えば、字幕付映像の再生及び終了等の指示の入力に使用される。
The
表示パネル5は、ドットマトリクスタイプのLCD(液晶表示)パネル等から構成され、任意の画像を表示する。例えば、コンテンツの映像や字幕文、字幕文のリスト(以下、「字幕リスト」という)、等を表示する。
The
通話用マイク6は、通話音声を入力する。
The
通話用スピーカ7は、受話音声を出力する。スピーカ8は、コンテンツ再生時の音声等を出力する。
The call speaker 7 outputs a received voice. The
また、携帯電話1は、図2に示す回路構成のように、チューナ10と、デコード部11と、音声出力部12と、音声入力部13と、通信部14と、表示部15と、操作部16と、記憶部17と、バス18と、制御部19とを備える。
Further, the
チューナ10は、アンテナ10Aが受信したワンセグ放送のコンテンツを取得して復調し、復調信号を制御部19に出力する。
The
デコード部11は、チューナ10から出力されたコンテンツを、映像信号、音声信号、字幕信号に分離すると共に復号し、出力する。
The
音声出力部12は、前述のスピーカ7とDAC(digital analog converter)等から構成され、例えば、制御部19が再生したコンテンツの音声信号を復調し、スピーカ8で放音する。
The
音声入力部13は、通話時等に音声信号を収集し、通信部14に供給する。
The
通信部14は、基地局を介して、通話音声、各種データ等を送受信する。
The
表示部15は、表示パネル5とドライバ回路等から構成され、制御部19の制御下に画像を表示パネル5に表示する。
The
操作部16は、ユーザが指示やデータを入力するための各種のキー若しくはボタンを備え、制御部19への各種の指示やデータを制御部19に供給する。例えば、テレビジョン信号の受信の開始・終了の指示や、ユーザがテレビ番組を録画するときのコンテンツの録画の開始・終了の指示、ユーザ認証時のパスワードの入力等が可能である。
The
また、操作部16には、上述のカーソルキー3が設けられている。ユーザは、カーソルキー3を操作することにより画面上に表示されたカーソルをスクロールし、字幕リストから任意の字幕文を選択できる。
The
更に、操作部16にはリスト表示切替ボタン4が設けられている。ユーザによってリスト表示切替ボタンが押下されると、表示部15の表示が後述するリスト表示モードとリスト非表示モードとに切り替わる。
Furthermore, the
記憶部17は、後述するコンテンツ録画データ121と字幕管理データ122とを記憶する。
The
記憶部17は、携帯電話1に内蔵されるメモリ、取り外し可能な外部メモリ、のいずれから構成されてもよい。また、記憶部17は、制御部19のワークメモリとしても機能する。
The
バス18は、各部間で相互にデータを伝送する。
The
制御部19は、携帯電話1全体の動作を制御する。例えば、録画したコンテンツの再生の開始・終了、字幕リスト中に表示される字幕文の切替、等を制御する。
The
制御部19は、CPU20(Central Processing Unit)と、ROM(Read Only Memory)21と、タイマ22とを備える。
The
CPU20は、ROM21に格納されているプログラムデータを読み出して、プログラムに従って処理を実行し、携帯電話1全体の動作を制御する。
The
ROM21は、CPU20が処理するプログラムデータ等を格納する。
The
タイマ22は、例えば、ソフトウェアタイマ等から構成される。 The timer 22 is composed of, for example, a software timer.
タイマ22は、映像の再生継続時間を指示する時間情報をCPU20から取得する。制御部19が表示部に映像を再生すると、タイマ22は、再生開始からの経過時間を計時する。そして、計時した時間が時間情報で指示された時間に達すると、その旨の信号をCPU20に供給する。
The timer 22 acquires time information indicating the video playback duration from the
制御部19は、ユーザがテレビ番組を視聴するときのテレビジョン放送の受信の開始・終了や、ユーザがテレビ番組を録画するときのコンテンツの録画の開始・終了を制御する。
The
次に、本実施形態で用いるデータについて説明する。記憶部17は、図3(a)に示すように、コンテンツ録画データ121と字幕管理データ122とを記憶する。
Next, data used in the present embodiment will be described. As shown in FIG. 3A, the
ワンセグ放送のコンテンツ(テレビ信号)は、図3(b)に示すように、TSP(Transport Stream Packet, トランスポートストリームパケット)から構成される。 As shown in FIG. 3B, the one-segment broadcasting content (television signal) is composed of TSP (Transport Stream Packet).
TSPは、映像データをペイロードに格納する映像パケットVと、音声データをペイロードに格納する音声パケットAと、字幕データをペイロードに格納する字幕パケットCとが混在したストリームから構成される。 The TSP is composed of a stream in which a video packet V storing video data in a payload, an audio packet A storing audio data in the payload, and a subtitle packet C storing subtitle data in the payload are mixed.
制御部19は、受信したTSPを構成する各パケットを、各パケットに格納されているデータの種類に応じて分類し、各パケットに付与されているパケット番号などに基づいて再配置する。
The
そして、制御部19は、図3(c)に示すように、ビデオPES(Packetized Elementary Stream)131と、音声PES132と、字幕PES133とを生成して、コンテンツ録画データ121として、記憶部17に格納する。
Then, as shown in FIG. 3C, the
ビデオPES131は、パケット化されたフレームの圧縮符号化データであり、各フレームを定義するデータを含む。また、各フレームは、その再生タイミングを示すデータを含む。
The
ワンセグ放送におけるTSPは、予測符号化方式に則ったデータである。従って、ビデオPES131は、他のフレームを参照しないIDR(Instantaneous Decoder Refresh)フレーム(独立映像パケットVIに対応する)と、自己の再生タイミングよりも先に再生されるIDRフレームを参照するPフレーム(参照映像パケットVPに対応する)と、を含む。なお、ワンセグ放送では、映像フレームのフレームレートは15フレーム/秒である。
TSP in one-segment broadcasting is data according to a predictive coding method. Therefore, the
音声PES132は、パケット化された音声の圧縮符号化データである。
The
字幕PES133は、パケット化された字幕文の圧縮符号化データである。字幕PES133は、字幕管理データ122の生成に必要なデータを含む。例えば、字幕PES133は、字幕文Stn(n:1〜N、N:コンテンツ録画データ121内の字幕PESの数)と、字幕再生タイミングTMn(n:1〜N)と、制御符号CSn(n:1〜N)と、を示す情報を有する。
The
字幕文Stnは、字幕付映像の字幕文の内容を示し、字幕管理データ122の字幕文Stnとして格納されるデータである。字幕再生タイミングTMnは、字幕文Stnを再生するタイミングを示し、PTS(Presentation Time Stamp)単位で表される。ワンセグ放送では、各字幕文は、15秒に1回の割合で生成される。
The caption text Stn indicates the content of the caption text of the video with caption, and is data stored as the caption text Stn of the
字幕管理データ122は、図4に示すように、字幕表示時刻Tdnと字幕文Stnとを対応付けて格納するデータである。字幕表示時刻Tdnは、字幕文Stnの再生を開始する時刻を示す。例えば、字幕管理データ122が図4に示すデータであった場合、字幕文「おはよう。」は、表示時刻「00:00:04」から再生され、表示時刻「00:00:09」に達すると、字幕文「こんにちは。」が再生される。
As shown in FIG. 4, the
ワンセグ放送においては、映像のフレームレートは15フレーム/秒である。このため、1つの字幕文には、その再生タイミングに対応する映像として複数のフレームが対応する。 In one-segment broadcasting, the video frame rate is 15 frames / second. For this reason, one subtitle sentence corresponds to a plurality of frames as video corresponding to the reproduction timing.
したがって、例えば、字幕文St1(「おはよう。」)には、その再生タイミングTM1に対応する映像として、複数のフレームI1〜P1Lが対応する。 Therefore, for example, a plurality of frames I1 to P1L correspond to the caption sentence St1 (“Good morning”) as a video corresponding to the reproduction timing TM1.
そして、字幕文St1(「おはよう。」)に対応する字幕付映像を再生すると、表示部15には、字幕文St1とフレームI1とを合成した映像→字幕文St1とフレームI1とP11フレームとを合成した映像→字幕文St1とフレームI1とP12フレームとを合成した映像→・・・と連続的に表示される。
Then, when a video with subtitles corresponding to the subtitle sentence St1 (“Good morning”) is reproduced, the
次に、図5のフローチャートを参照して、制御部19が、テレビジョン信号から取得した情報を、字幕管理データ122に登録する動作について説明する。なお、制御部19は、テレビジョン信号に含まれる制御符号CSと同数だけ、字幕管理データ122内の字幕データ3BN(N:整数)を作成する。
Next, an operation in which the
図5のフローチャートで示す処理は、制御部19がチューナ10から供給されたテレビジョン信号を取得して、記憶部17に格納したときに起動される。
The process shown in the flowchart of FIG. 5 is started when the
図5のフローチャートに示す処理が起動されると、制御部19は、テレビジョン信号から字幕PESの抽出を試みて、字幕PESが抽出できたか否かを判別する(ステップS101)。
When the process shown in the flowchart of FIG. 5 is started, the
字幕PESが抽出できずにファイル終端になれば(ステップS101:No)、制御部19は処理を終了する。
If the caption PES cannot be extracted and the end of the file is reached (step S101: No), the
字幕PESが抽出できたならば(ステップS101:Yes)、制御部19は、抽出した字幕PESに含まれる情報が字幕文であるか否かを判別する(ステップS102)。抽出した情報が字幕文でなければ(ステップS102:No)、制御部19は、次の字幕PESを抽出するため、処理をステップS101に戻す。
If the caption PES can be extracted (step S101: Yes), the
抽出した情報が字幕文であれば(ステップS102;Yes)、制御部19は、字幕PESを解析し、字幕PESに含まれる字幕再生タイミングTM1と、字幕文St1に格納するべき字幕文と、を取り出す(ステップS103)。
If the extracted information is a caption text (step S102; Yes), the
制御部19は、字幕PESから抽出した字幕文の再生タイミングTM1から、テレビジョン信号の先頭にある映像の再生タイミングTfを差し引き、映像の先頭から再生したときの経過時刻Tp1(PTS単位)を求める。
The
制御部19は、経過時刻Tp1(PTS単位)を通常の時分秒単位に換算し、換算した経過時刻Tp1(字分秒単位)を、字幕管理データ122の表示時刻Td1として格納する(ステップS104)。即ち、図4においては、表示時刻Td1として、00:00:00が登録される。
The
また、制御部19は、制御符号CS1直前までの字幕文(「おはよう。」)を字幕管理データ122の字幕文3B1に登録する(ステップS105)。
Further, the
字幕データSt1(「おはよう。」)を字幕管理データ122に登録すると、制御部19は、処理をステップS101に戻して、制御符号CS1よりも後にある字幕再生タイミングTM2を検索する。
When the caption data St1 (“Good morning”) is registered in the
制御部19は、字幕管理データ122の表示時刻Td2として、表示時刻Td1(00:00:00)に、PTS単位から時分秒単位へと換算した映像再生タイミングTM2(00:00:20)を加えた、表示時刻Td2(00:00:20)を登録する(ステップS104)。
The
また、制御部19は、最初の制御符号CS1から次の制御符号CS2までの間に含まれる字幕データSt2(「こんにちは。」)を字幕文3B2に登録する(ステップS105)。
The
制御部19は、以下、制御符号CSnがなくなるまで、テレビジョン信号から字幕再生タイミングTMnを抽出して、字幕管理データ122を生成する処理を繰り返す。
Hereinafter, the
なお、制御符号CS1よりも前に制御符号CSがなければ、制御部19は、テレビジョン信号に含まれる全ての字幕文を字幕文St1に登録する。
If the control code CS is not present before the control code CS1, the
そして、制御部19は、字幕管理データ122をテーブルとして生成して(ステップS106)、処理を終了する。
And the
次に、ユーザが字幕付映像を視聴するときに、表示部15に表示される画面を、図6(a)、6(b)を参照して、以下に説明する。なお、図6(b)の画面D2において、画面D1と同一の構成要素には、図6(a)と同一の符号を付している。
Next, a screen displayed on the
ユーザが字幕付映像を視聴するときの画面表示モードには、リスト表示モードと、リスト非表示モードとがある。ユーザは、操作部16上のリスト表示切替ボタン4を押下することにより、表示部15に、画面D1又は画面D2の何れを表示するか選択できる。
Screen display modes when the user views the video with captions include a list display mode and a list non-display mode. The user can select whether to display the screen D1 or the screen D2 on the
リスト表示モードにおける画面D1は、図6(a)に示す画面であり、リスト非表示モードにおける画面D2は、図6(b)に示す画面である。 The screen D1 in the list display mode is the screen shown in FIG. 6A, and the screen D2 in the list non-display mode is the screen shown in FIG. 6B.
リスト表示モードにおける画面D1は、図6(a)に示すように、ピクト領域PA、映像領域DA、字幕領域SA、字幕リスト領域LA、ソフトキー領域FA、を備える。 As shown in FIG. 6A, the screen D1 in the list display mode includes a pictogram area PA, a video area DA, a caption area SA, a caption list area LA, and a soft key area FA.
ピクト領域PAは、携帯電話の受信状況やバッテリの残量、現在日時、等を表示する領域である。 The pictogram area PA is an area for displaying the reception status of the mobile phone, the remaining battery level, the current date and time, and the like.
映像領域DAは、選択された字幕文に対応する映像を表示する領域である。図6(a)では、選択中の字幕文に対応する映像として、人物の顔が表示されている。 The video area DA is an area for displaying a video corresponding to the selected caption text. In FIG. 6A, a human face is displayed as an image corresponding to the currently selected subtitle sentence.
字幕領域SAは、選択された字幕文を表示する領域である。 The caption area SA is an area for displaying a selected caption text.
字幕リスト領域LAは、複数の字幕文を並べた字幕リストを表示する領域である。図6(a)には、字幕文を5個表示する字幕リストを一例として示す。字幕リスト領域LAは、5個の字幕文を表示する字幕リスト枝領域LA1〜LA5を備える。 The subtitle list area LA is an area for displaying a subtitle list in which a plurality of subtitle sentences are arranged. FIG. 6A shows an example of a caption list that displays five caption sentences. The caption list area LA includes caption list branch areas LA1 to LA5 for displaying five caption sentences.
リスト表示モードでは、ユーザが選択可能な字幕文のリストが字幕リスト領域LAに表示される。 In the list display mode, a list of subtitle sentences that can be selected by the user is displayed in the subtitle list area LA.
図4に示す字幕管理データ122が記憶部17に登録されている場合、表示時刻Tdにより昇順にソートされて表示され、字幕リスト枝領域LA1には「おはよう。」が表示され、字幕リスト領域LA2には「こんにちは。」が表示される。
When the
また、ユーザがカーソルキー3を操作して字幕リストから字幕文を選択している場合、選択された字幕文が字幕リスト領域LAの中央(字幕リスト枝領域LA3)に表示される。選択された字幕文が字幕リスト領域LAの中央に表示される動作の詳細については、後述する。
When the user operates the
なお、ソフトキー領域FAは、現在選択されている動作モード等を表示する領域である。 The soft key area FA is an area for displaying the currently selected operation mode and the like.
次に、リスト非表示モードにおける画面D2について説明する。画面D2では、図6(b)に示すように、字幕リストが表示されないため、画面を構成する主要部分が映像領域DAとなる。 Next, the screen D2 in the list non-display mode will be described. On the screen D2, as shown in FIG. 6B, the subtitle list is not displayed, so the main part constituting the screen is the video area DA.
ユーザは、コンテンツを視聴する場合、リスト非表示モードを選択して字幕付映像を再生表示することにより、字幕付映像の視聴に集中することができる。 When viewing the content, the user can concentrate on viewing the subtitled video by selecting the list non-display mode and reproducing and displaying the subtitled video.
次に、制御部19が選択された字幕文を字幕リスト領域LAの中心にスクロール表示される動作について説明する。
Next, an operation in which the
前提として、ユーザが選択した字幕文は、字幕管理データ122で先頭行からM番目の字幕文StM(M:1からNまでの正の整数)であるとする。
As a premise, it is assumed that the caption sentence selected by the user is the Mth caption sentence StM (M: positive integer from 1 to N) from the first line in the
制御部19は、操作部16から供給された操作情報に基づいて、字幕文StMが選択されたと判別する。
The
制御部19は、M−1が2以上であるか否かを判別する。
The
M−1が2以上であると判別すると、制御部19は、字幕リスト枝領域LA1に字幕文StMの2行前の字幕文StM−2を表示し、字幕リスト枝領域LA2に字幕文StMの1行前の字幕文StM−1を表示する。
If it is determined that M-1 is 2 or more, the
M−1が1であると判別すると、ユーザが選択中の字幕文は先頭から2行目の字幕文St2であるから、制御部19は、字幕リスト枝領域LA1には何も表示せず、字幕リスト枝領域LA2に字幕文St1を表示する。
If it is determined that M-1 is 1, the subtitle sentence being selected by the user is the subtitle sentence St2 in the second line from the top, so the
更に、M−1が0であると判別すると、ユーザが選択中の字幕文は先頭行にある字幕文St1であるから、制御部19は、字幕リスト表示枝領域LA1、LA2には何も表示しない。
Further, if it is determined that M-1 is 0, the subtitle sentence currently selected by the user is the subtitle sentence St1 in the first line, so the
また、制御部19は、字幕リスト枝領域LA4、LA5に表示される字幕文がどの字幕文かを判別するために、N−Mが2以上であるか否かを判別する。
Further, the
N−Mが2以上であると判別すると、制御部19は、字幕リスト枝領域LA4に字幕文St(M+1)を表示し、字幕リスト枝領域LA5に字幕文St(M+2)を表示する。
If it is determined that NM is 2 or more, the
N−Mが1であると判別すると、制御部19は、字幕リスト枝領域LA4に字幕文StNを表示して、字幕リスト枝領域LA5には何も表示しない。
If it is determined that NM is 1, the
更に、N−Mが0であれば、ユーザが選択中の字幕文は最終行にある字幕文StNであるから、制御部19は、字幕リスト枝領域LA4、LA5には何も表示しない。
Furthermore, if NM is 0, the subtitle sentence currently selected by the user is the subtitle sentence StN in the last line, and therefore the
これにより、ユーザが選択した字幕文は、字幕リスト領域LAの中央に位置する字幕リスト枝領域LA3に表示される。 Thereby, the caption text selected by the user is displayed in the caption list branch area LA3 located in the center of the caption list area LA.
リスト表示モードにおいて、ユーザが操作部16に設けられたカーソルキー3を押下して、字幕リスト領域LAの字幕文を選択した場合の画面表示の一例を、図7(a)、(b)に示す。
FIGS. 7A and 7B show examples of screen display when the user presses the
リスト非表示モードにおいて、ユーザがカーソルキーを押下した場合の画面表示の一例を、図7(c)、(d)に示す。このときは、ユーザのカーソルキー3の操作に応じて選択された字幕文が変更されているので、画面D2の字幕領域SAに表示される字幕文が変更される。
FIGS. 7C and 7D show examples of screen display when the user presses the cursor key in the list non-display mode. At this time, since the subtitle sentence selected according to the user's operation of the
次に、制御部19が選択された字幕文StMの再生開始に対応するIDRフレームの映像を表示する動作について、図8のフローチャートを参照して説明する。 Next, the operation of displaying the video of the IDR frame corresponding to the start of reproduction of the selected caption text StM will be described with reference to the flowchart of FIG.
図8のフローチャートで示す処理は、ユーザがカーソルキー3を操作して、字幕リストの字幕文StMを選択したときに起動される。
The process shown in the flowchart of FIG. 8 is activated when the user operates the
ユーザが字幕文を選択すると(ステップS110)、制御部19は、テレビジョン信号から、先頭にあるフレームの情報を抽出する(ステップS111)。
When the user selects a caption sentence (step S110), the
制御部19は、抽出したフレームの情報から、抽出したフレームがIDRフレームか否かを判別する(ステップS112)。IDRフレームではないと判別すると(ステップS112:No)、制御部19は、処理をステップS111に戻し、次のフレームの情報を抽出する。
The
IDRフレームであると判別すると(ステップS112:Yes)、制御部19は、IDRフレームの再生タイミングから、テレビジョン信号の先頭にあるフレームの再生タイミングTfを減じて、先頭からの経過時刻TpMを計算する(ステップS113)。
If it is determined that the frame is an IDR frame (step S112: Yes), the
経過時刻TpMを計算すると、制御部19は、経過時刻TpMと選択されている字幕文StMの表示時刻TdMとの大小を判別する(ステップS114)。
When the elapsed time TpM is calculated, the
字幕文StMの表示時刻TdMが抽出したフレームの経過時刻TpMよりも大きいと判別すると(ステップS114:Yes)、制御部19は、ステップS113で抽出したフレームのデータの位置を保存する(ステップS115)。
If it is determined that the display time TdM of the caption text StM is larger than the elapsed time TpM of the extracted frame (step S114: Yes), the
そして、制御部19は、処理をステップS111に戻し、更にフレームの情報を抽出する。
Then, the
次に抽出されたフレームにおいても、表示時刻TdMが経過時刻TpMよりも大きいと判別すると(ステップS114:Yes)、制御部19は、新しく抽出したフレームのデータの位置を保存する(ステップS115)。
If it is determined that the display time TdM is greater than the elapsed time TpM in the next extracted frame (step S114: Yes), the
一方、表示時刻TdMが経過時刻TpMよりも小さいと判別すると(ステップS114:No)、制御部19は、ステップS115で保存した情報を元に、IDRフレームを表示する(ステップS116)。
On the other hand, if it is determined that the display time TdM is smaller than the elapsed time TpM (step S114: No), the
制御部19は、選択された字幕文StMを字幕領域SAに表示する(ステップS117)。
The
また、制御部19は、選択された字幕文StMが字幕リスト領域LAの中心に位置するように字幕リストをスクロールする(ステップS118)。
In addition, the
これにより、例えば、ユーザが字幕文St1(「おはよう。」)を選択した場合、字幕表示時刻Td1の直後のIDRフレームI1が表示される。また、例えば、ユーザが字幕文St2(「こんにちは。」)を選択した場合、字幕表示時刻Td2の直後のIDRフレームI2が表示される。なお、字幕表示時刻の直前のIDRフレームを表示するように制御してもよい。 Thereby, for example, when the user selects the caption text St1 (“Good morning”), the IDR frame I1 immediately after the caption display time Td1 is displayed. For example, when the user selects the caption text St2 ( "hello."), IDR frames I2 immediately after the subtitle display time Td2 is displayed. Note that control may be performed so that the IDR frame immediately before the caption display time is displayed.
次に、ユーザが選択した字幕文StMに対応する映像を動画再生する1シーン動画再生機能について、図9に示すフローチャートを参照して説明する。 Next, a one-scene moving image playback function for playing back a video corresponding to the caption sentence StM selected by the user will be described with reference to the flowchart shown in FIG.
ユーザは、メニュー画面において、予め1シーン動画再生モードをON又はOFFにしている。 The user has previously turned on or off the one-scene moving image playback mode on the menu screen.
ユーザが1シーン動画再生モードをONにした場合、制御部19は、1シーン動画再生フラグをONにする。1シーン動画再生フラグとは、記憶部17に記憶されているソフトウェア上の変数である。この変数の値が例えば1であれば1シーン動画再生モードはON状態であり、0であればOFF状態である。
When the user turns on the one-scene video playback mode, the
ユーザがカーソルキー3を操作して、字幕リスト領域LAに表示された字幕文から字幕文StMを選択する。
The user operates the
まず、制御部19は、図8のフローチャートで示したステップS110〜ステップS116までの処理と同様の処理を実行する。
First, the
制御部19は、映像領域DAにはユーザが選択した字幕文StMに対応するIDRフレームを表示し(ステップS117)、字幕文StMを字幕領域SAの中央に再生する(ステップS118)。
The
次に、制御部19は、1シーン動画再生フラグがONであるか否かを判別する(ステップS121)。1シーン動画再生フラグがOFFであると判別した場合(ステップS121:No)、制御部19は処理を終了する。
Next, the
1シーン動画再生フラグがONであると判別した場合(ステップS121:Yes)、制御部19は、字幕管理データ122から字幕文StMの表示時刻TdMと字幕文StMの次の字幕文St(M+1)の表示時刻Td(M+1)を取得する(ステップS122)。
If it is determined that the one-scene video playback flag is ON (step S121: Yes), the
制御部19は、表示時刻Td(M+1)とTdMとを取得すると、その差Td(M+1)−TdMを計算する。
When acquiring the display times Td (M + 1) and TdM, the
制御部19は、字幕文StMの再生開始に対応するIDRフレームから映像を再生する(ステップS123)。
The
制御部19は、ステップS123で映像の再生を開始してからの経過時間を計時する(ステップS124)。
The
制御部19は、経過時間が表示時刻の差Td(M+1)−TdMよりも大きいか否かを判別する(ステップS125)。
The
経過時間が表示時刻の差Td(M+1)−TdMよりも小さいと判別した場合(ステップS125:No)、制御部19は処理をステップS124に戻し、計時を再開する。
When it is determined that the elapsed time is smaller than the display time difference Td (M + 1) −TdM (step S125: No), the
経過時間が表示時刻の差Td(M+1)−TdMよりも大きいと判別した場合(ステップS125:Yes)、制御部19は映像を一時停止して(ステップS126)、処理を終了する。
When it is determined that the elapsed time is greater than the display time difference Td (M + 1) −TdM (step S125: Yes), the
これにより、ユーザはカーソルキー3を操作して、視聴したいシーンに対応する字幕文を選択するだけで、視聴したいシーンのみを視聴することができる。したがって、停止操作を行う必要がなくなり、使い勝手が向上する。
As a result, the user can view only the desired scene by simply operating the
(実施形態2)
1シーン動画再生では、選択した字幕文の次の字幕文の表示時刻に達した時点で一時停止する。したがって、表示部には、選択した字幕文の次の字幕文に対応するフレームが再生されている。つまり、選択した字幕文に対応していないフレームが再生されていることになる。
(Embodiment 2)
In the one-scene video reproduction, the playback is paused when the display time of the next caption text after the selected caption text is reached. Therefore, a frame corresponding to the next subtitle sentence after the selected subtitle sentence is reproduced on the display unit. That is, a frame that does not correspond to the selected subtitle sentence is being played back.
そこで、1シーン動画再生後に、再び選択した字幕文の字幕表示時刻直後のIDRフレームを再生するようにする。このような1シーン動画再生後に選択した字幕文の字幕表示時刻直後のIDRフレームを再生する動作について、図10に示すフローチャートを参照して説明する。 Therefore, after the reproduction of one scene video, the IDR frame immediately after the subtitle display time of the selected subtitle text is reproduced. The operation of reproducing the IDR frame immediately after the caption display time of the caption text selected after the one-scene moving image reproduction will be described with reference to the flowchart shown in FIG.
ユーザが字幕リスト領域LAに表示された字幕文から字幕文StMを選択すると、制御部19は、まずステップS110〜ステップS126と同様の処理を実行し、一時停止する(ステップS126)。
When the user selects a caption text StM from the caption texts displayed in the caption list area LA, the
次に、制御部19は、ステップS110〜ステップS116と同様の処理を実行して、ユーザが選択した字幕文StMの字幕表示時刻直後のIDRフレームを表示する(ステップS131)。
Next, the
これにより、1シーン動画再生して一時停止した後は、ユーザが選択した字幕文の字幕表示時刻直後のIDRフレームが表示されるので、ユーザにとって違和感のない動作が実現される。 As a result, the IDR frame immediately after the subtitle display time of the subtitle text selected by the user is displayed after the one-scene video is reproduced and paused, so that an operation without any sense of incongruity for the user is realized.
(実施形態3)
次に、選択した字幕文に対応する映像を繰り返し再生する動作について、図11に示すフローチャートを参照して説明する。
(Embodiment 3)
Next, the operation of repeatedly playing back the video corresponding to the selected caption text will be described with reference to the flowchart shown in FIG.
ユーザは、メニュー画面において、予め1シーン動画再生モードをONとし、且つ、繰り返し再生モードをON又はOFFにしている。 On the menu screen, the user has previously turned on the one-scene moving image playback mode and turned on or off the repeated playback mode.
ユーザが繰り返し再生モードをONにした場合、制御部19は、繰り返し再生フラグをONにする。繰り返し再生フラグとは、記憶部17に記憶されているソフトウェア上の変数である。この変数の値が例えば1であれば繰り返し再生モードはON状態であり、0であればOFF状態である。
When the user turns on the repeated playback mode, the
まず、制御部19は、ユーザが選択した字幕文StMに対応する映像を再生して、一時停止する(ステップS126)。
First, the
次に、制御部19は、繰り返し再生フラグがON状態か又はOFF状態かを判別する(ステップS141)。繰り返し再生フラグがOFF状態であると判別した場合(ステップS141:No)、制御部19は、一時停止した状態で処理を終了する。
Next, the
繰り返し再生フラグがON状態であると判別した場合(ステップS141:Yes)、制御部19は、ユーザが選択した字幕文StMの字幕表示時刻直後のIDRフレームを表示し(ステップS131)、字幕文StMに対応する映像を1回再生して一時停止する(ステップS142)。
When it is determined that the repeated reproduction flag is in the ON state (step S141: Yes), the
次に、制御部19は、操作部16から操作情報が供給された操作情報に基づいて、再生中にユーザが他の操作を行ったか否かを判別する(ステップS143)。ユーザが他の操作を行ったと判別した場合(ステップS143:Yes)、制御部19は、1シーン動画再生を終了して、ユーザから指示された他の処理を実行する。
Next, the
ユーザが他の操作を行わなかったと判別した場合(ステップS143:No)、制御部19は、処理をステップS131に戻す。
When it is determined that the user has not performed another operation (step S143: No), the
この繰り返し再生により、例えば、英会話番組で聞き取れない会話のシーンを繰り返して視聴できるなど、ユーザにとって使い勝手がよくなる。 This repeated reproduction improves usability for the user, for example, by repeatedly viewing a conversation scene that cannot be heard in an English conversation program.
(実施形態4)
これまでの実施形態では、1シーン動画再生中に他の字幕文を選択すると、映像の再生が停止されるまで待機しなければならない。また、デコード部11は、映像再生中にはコンテンツ録画データ121からフレーム情報を抽出しており、さらに他の字幕文が選択されると、2箇所のフレーム情報を同時に抽出しなければならない。すると、消費電力が増加し、回路の規模も増大してしまう。
(Embodiment 4)
In the embodiments so far, if another subtitle sentence is selected during one-scene moving image reproduction, it is necessary to wait until the reproduction of the video is stopped. Further, the
そこで、1シーン動画再生中に、ユーザが字幕リストから別の字幕文を選択した場合の動作について、図12に示すフローチャートを参照して説明する。 Therefore, an operation when the user selects another caption text from the caption list during one-scene video reproduction will be described with reference to the flowchart shown in FIG.
ユーザが別の字幕文StLを選択すると、制御部19は、動画再生中か否かを判別する(ステップS151)。動画再生中ではないと判別した場合(ステップS151:No)、制御部19は、選択された字幕文StLと字幕文StLに対応する映像とを再生する(ステップS153)。
When the user selects another subtitle sentence StL, the
動画再生中であると判別した場合(ステップS151:Yes)、制御部19は、現在再生中の映像を一時停止して(ステップS152)、選択された字幕文StLと字幕文StLに対応する映像とを再生する(ステップS153)。
When it is determined that the video is being played back (step S151: Yes), the
これにより、消費電力を抑えることが可能となり、回路の規模を大きくする必要もなくなる。また、ユーザは、映像再生中も好きなタイミングで別の字幕文を選択することで、新たに選択した字幕文に対応する映像をすぐに視聴することが可能となる。 This makes it possible to reduce power consumption and eliminate the need to increase the circuit scale. In addition, the user can immediately view the video corresponding to the newly selected subtitle sentence by selecting another subtitle sentence at a desired timing during the video reproduction.
(実施形態5)
次に、ユーザが選択した字幕文に対応する映像から所定の個数だけ後の字幕文に対応する映像までを繰り返し再生する動作について、図13に示すフローチャートを参照して説明する。
(Embodiment 5)
Next, an operation of repeatedly reproducing a video corresponding to a subtitle sentence selected by the user from a video corresponding to a subtitle sentence after a predetermined number will be described with reference to a flowchart shown in FIG.
字幕数nは、記憶部17に記憶されたソフトウェア上の変数である。制御部19は、記憶部17にアクセスして字幕数nを取得することができる。
The subtitle number n is a software variable stored in the
字幕数nは、プログラムをコンパイルする際に決定しても良いが、ユーザが携帯電話1を操作中に設定できるようにしてもよい。
The subtitle number n may be determined when compiling the program, but may be set by the user while operating the
まず、制御部19は、図9に示すフローチャートのステップS110〜S126と同様の処理を実行し、映像を一時停止する。
First, the
次に、制御部19は、予め設定されている字幕数nを取得する(ステップS161)。
Next, the
制御部19は、字幕文StMの表示時刻TdMと、字幕文StMのn個後ろの字幕文St(M+n)の表示時刻Td(M+n)と、を取得する(ステップS162)。
The
制御部19は、表示時刻Td(M+n)とTdMとを取得すると、その差Td(M+n)−TdMを計算する。
When acquiring the display times Td (M + n) and TdM, the
次に、制御部19は、図9に示すフローチャートのステップS110〜ステップS116と同様の処理を実行し、ユーザが選択した字幕文StMの字幕表示時刻TdM直前のIDRフレームを表示する(ステップS131)。
Next, the
制御部19は、ステップS123で映像の再生を開始してからの経過時間を計時する(ステップS124)。
The
制御部19は、経過時間が表示時刻の差Td(M+n)−TdMよりも大きいか否かを判別する(ステップS163)。
The
経過時間が表示時刻の差Td(M+n)−TdMよりも小さいと判別した場合(ステップS163:No)、制御部19は処理をステップS124に戻し、計時を再開する。
When it is determined that the elapsed time is smaller than the display time difference Td (M + n) −TdM (step S163: No), the
経過時間が表示時刻の差Td(M+1)−TdMよりも大きいと判別した場合(ステップS163:Yes)、制御部19は映像を一時停止する(ステップS126)。
When it is determined that the elapsed time is greater than the display time difference Td (M + 1) −TdM (step S163: Yes), the
次に、制御部19は、操作部16から操作情報が供給された操作情報に基づいて、再生中にユーザが他の操作を行ったか否かを判別する(ステップS164)。ユーザが他の操作を行ったと判別した場合(ステップS164:Yes)、制御部19は、処理を終了して、ユーザから指示された他の処理を実行する。
Next, the
ユーザが他の操作を行わなかったと判別した場合(ステップS164:No)、制御部19は、処理をステップS131に戻す。
When it is determined that the user has not performed another operation (step S164: No), the
これにより、ユーザは、例えば、英会話番組で聞き取れなかったシーンが複数の字幕文に跨ったシーンであった場合でも、聞き取れなかったシーンを繰り返し再生して視聴することができる。 Thereby, for example, even when a scene that cannot be heard in an English conversation program is a scene that spans a plurality of subtitle sentences, the user can repeatedly reproduce and view the scene that cannot be heard.
この実施形態では、ユーザが選択した字幕文とその所定個数だけ後の字幕文との間の映像を繰り返し再生する。しかし、例えば、所定個数だけ後の字幕文に対応する映像の再生が終了すると、その再生終了に対応する映像で一時停止してもよい。また、例えば、映像の再生を終了後、ユーザが選択した字幕文の字幕表示時刻直後のIDRフレームを再生して一時停止してもよい。 In this embodiment, the video between the subtitle sentence selected by the user and the subtitle sentence after the predetermined number is repeatedly reproduced. However, for example, when the reproduction of the video corresponding to the subtitle sentence after a predetermined number of times ends, the video corresponding to the end of the reproduction may be paused. Further, for example, after the reproduction of the video, the IDR frame immediately after the caption display time of the caption text selected by the user may be reproduced and paused.
ここで、携帯電話1の画面に表示される表示の一例について、図14(a)〜(f)を用いて説明する。
Here, an example of the display displayed on the screen of the
ユーザがカーソルキー3を操作して、字幕リストに表示された字幕文1407「こんにちは。」を選択すると、映像領域DAに字幕文1407に対応するフレーム1401が表示される。
The user operates the
予め1シーン動画再生フラグがON状態であった場合、ユーザが字幕文1407「こんにちは。」を選択すると、図14(b)に示すように、映像領域DAに映像が再生される。
そして、字幕文1407の次の字幕文1408「こんばんは。」の表示時刻に達すると、図14(c)に示すように、一時停止する。
Then, when the display time of the
次に、ユーザがカーソルキー3の下方向のキーを押下すると、図14(d)に示すように、字幕文1409「こんばんは。」選択される。
Next, when the user presses the downward key of the
すると、図14(e)に示すように、字幕文1409「こんばんは。」に対応する映像が再生される。 Then, as shown in FIG. 14E, the video corresponding to the caption sentence 1409 “Good evening” is reproduced.
そして、時間が経過して、次の字幕文である字幕文1410「さようなら。」の表示時刻に達すると、図14(f)に示すように、一時停止する。
Then, when time elapses and the display time of the
また、繰り返し再生モードの場合、図14(c)に示すように、映像が一時停止したあとに、図14(a)に示す状態に戻り、映像が再生される。 In the repeat playback mode, as shown in FIG. 14C, after the video is temporarily stopped, the state returns to the state shown in FIG. 14A and the video is played back.
また、複数の字幕文を繰り返し再生するモードで繰り返す字幕文の個数が2個の場合、字幕文1407「こんにちは。」の2個後ろにある字幕文1410「さようなら。」の表示時刻まで再生されて一時停止し、図14(a)に示す状態に戻り、映像が再生される。
In addition, if the number of caption text to be repeated in a mode to play repeatedly multiple subtitle sentence is two, it is played until the display time of the
(実施形態6)
1シーン動画再生では、ユーザが選択した字幕文の字幕表示時刻から次の字幕文の字幕表示時刻までの時間間隔が長い場合、選択した字幕文に対応する映像を再生する時間が長くなってしまう。
(Embodiment 6)
In one-scene video playback, if the time interval from the subtitle display time of the subtitle sentence selected by the user to the subtitle display time of the next subtitle sentence is long, the time for playing back the video corresponding to the selected subtitle sentence becomes long. .
そこで、ユーザによって選択された字幕文に含まれる文字数に応じた映像再生時間を決定し、映像の再生を開始してから当該映像再生時間を経過すると、一時停止する動作について、図15に示すフローチャートを参照して説明する。 Therefore, the flowchart shown in FIG. 15 shows the operation of determining the video playback time according to the number of characters included in the subtitle sentence selected by the user, and pausing the video playback time after the video playback has started. Will be described with reference to FIG.
携帯電話1は、予め記憶部17に字幕文字数−映像再生時間対応データ1600を格納している。字幕文字数−映像再生時間対応データの一例を図16に示す。
The
字幕文字数−映像再生時間対応データ1600には、字幕文字数1601と、映像再生時間1602と、が登録されている。
In the subtitle character count-video playback
例えば、ユーザが選択した字幕文に含まれる字幕文字数が「1〜10文字」である場合、制御部19は、その字幕文に対応する映像を再生する映像再生時間を「5秒」にセットする。
For example, when the number of subtitle characters included in the subtitle text selected by the user is “1 to 10 characters”, the
まず、制御部19は、図9に示すフローチャートのステップS110〜ステップS118の処理を実行する。制御部19がステップS118の処理を終了すると、ユーザが選択した字幕文StMの字幕表示時刻TdM直後のIDRフレームと、字幕文StMとが再生されている。
First, the
次に、制御部19は、1シーン動画再生フラグがONであるか否かを判別する(ステップS121)。1シーン動画再生フラグがONではないと判別した場合(ステップS121:No)、制御部19は、処理を終了する。
Next, the
1シーン動画再生フラグがONであると判別した場合(ステップS121:Yes)、制御部19は、字幕表示時刻TdMとTd(M+1)とを取得する(ステップS122)。
When it is determined that the one-scene moving image playback flag is ON (step S121: Yes), the
次に、制御部19は、字幕文StMに含まれる字幕文字数を判別する(ステップS171)。
Next, the
次に、制御部19は、記憶部17に格納されている字幕文字数−映像再生時間対応データ1600を読み出して、ステップS171で判別した字幕文字数に対応する映像再生時間Tplayを判別する(ステップS172)。
Next, the
制御部19は、ステップS122で判別した表示時刻Td(M+1)とTdMとの差Td(M+1)−TdMと、ステップS172で判別した映像再生時間Tplayの大小を判別する(ステップS173)。
The
差Td(M+1)−TdMがTplayよりも大きいと判別した場合(ステップS173:Yes)、制御部19は、字幕文StMに対応する映像を再生する時間としてTplayをセットする(ステップS174)。
When it is determined that the difference Td (M + 1) −TdM is larger than Tplay (step S173: Yes), the
差Td(M+1)−TdMがTplayよりも小さいと判別した場合(ステップS173:No)、制御部19は、字幕文StMに対応する映像を再生する時間としてTd(M+1)−TdMをセットする(ステップS175)。
When it is determined that the difference Td (M + 1) −TdM is smaller than Tplay (step S173: No), the
制御部19は、字幕文StMの字幕表示時刻TdM直後のIDRフレームから映像を再生する(ステップS123)。
The
制御部19は、ステップS123で再生を開始してからの経過時間を計時する(ステップS124)。
The
制御部19は、経過時間がステップS174又はステップ175でセットした再生時間よりも大きいか否かを判別する(ステップS176)。
The
経過時間がステップS174又はステップ175でセットした再生時間よりも小さいと判別した場合(ステップS176:No)、制御部19は処理をステップS124に戻し、計時を再開する。
When it is determined that the elapsed time is shorter than the reproduction time set in step S174 or step 175 (step S176: No), the
経過時間がステップS174又はステップ175でセットした再生時間よりも大きいと判別した場合(ステップS176:Yes)、制御部19は映像を一時停止して(ステップS126)、処理を終了する。
If it is determined that the elapsed time is longer than the playback time set in step S174 or step 175 (step S176: Yes), the
したがって、通常の1シーン動画再生では、図17(a)に映像は字幕表示時刻TdMからTd(M+1)まで再生される。しかし、本実施形態における1シーン動画再生では、映像は字幕表示時刻TdMからTdM+Tplayまで再生される。 Therefore, in normal one-scene video reproduction, the video is reproduced from the caption display time TdM to Td (M + 1) in FIG. However, in the one-scene video playback in this embodiment, the video is played from the caption display time TdM to TdM + Tplay.
本実施形態では、Tplayを経過すると、再生中のフレームで一時停止する。 In this embodiment, when Tplay elapses, the playback is paused at the frame being played.
この形態に限らず、例えば、Tplayを経過すると、ユーザが選択した字幕文の再生終了のタイミングに対応するフレームを再生するようにしてもよい。または、Tplayを経過すると、ユーザが選択した字幕文の字幕表示時刻直後のIDRフレームを再生して一時停止するようにしてもよい。 For example, when Tplay elapses, a frame corresponding to the reproduction end timing of the caption sentence selected by the user may be reproduced. Alternatively, after Tplay, the IDR frame immediately after the caption display time of the caption text selected by the user may be played and paused.
また、Tplayを経過したときに、再びユーザが選択した字幕文の字幕表示時刻TdM直後のIDRフレームから再生するようにしてもよい。 Further, when Tplay has passed, the playback may be started from the IDR frame immediately after the caption display time TdM of the caption text selected by the user.
これにより、ユーザは、字幕文が表示されているシーンを重点的に視聴することができる。例えば、ユーザがCM直前のシーンを視聴したい場合、本実施形態の機能がなければ、CM後に字幕文が表示される時間まで映像を再生しなければならない。しかし、本実施形態の機能を備えれば、CMを視聴する必要がなくなる。したがって、ユーザが視聴したくないシーンが再生されないので、使い勝手が向上する。 Thereby, the user can watch the scene in which the caption text is displayed with priority. For example, if the user wants to view the scene immediately before the CM, if there is no function of this embodiment, the video must be played back until the time when the subtitle text is displayed after the CM. However, if the function of this embodiment is provided, it is not necessary to view the CM. Accordingly, since a scene that the user does not want to view is not reproduced, usability is improved.
また、繰り返し再生の動作も追加することで、CM直前のシーンを何度も視聴すること等が可能となる。 Further, by adding the operation of repeated playback, it is possible to view the scene immediately before the CM many times.
(実施形態7)
さらに、映像の再生時間をIDRフレームの表示時刻に合わせてもよい。IDRフレームは、シーンの切り替え時に発生する確率が高く、選択している字幕文に対応したシーンがIDRフレームの表示時刻で終わっている可能性があるからである。
(Embodiment 7)
Further, the video playback time may be matched with the display time of the IDR frame. This is because an IDR frame has a high probability of occurring when switching scenes, and there is a possibility that the scene corresponding to the selected subtitle sentence ends at the display time of the IDR frame.
そこで、制御部19は、ステップS174又はステップS175で再生時間を決定すると、決定した再生時間の直前又は直後にあるIDRフレームを判別する。
Therefore, when the playback time is determined in step S174 or step S175, the
そして、制御部19は、判別したIDRフレームの表示時刻を一時停止する時間とする。図17(b)に停止時刻の候補を示す。TdM+Tplayの直前(直後)にあるIDRフレームの表示時刻がT1(T2)であり、この時刻を停止時刻とする。
Then, the
これにより、ユーザは違和感なく動画を見ることができるので、ユーザの使い勝手が向上する。 Thereby, since the user can watch a moving image without a sense of incongruity, a user's convenience improves.
(実施形態8)
次に、ユーザが選択した字幕文が再生される再生時間が長いときに、通常の再生速度ではなく、より速い再生速度で再生して、選択した字幕文に対応するシーンの内容を把握したい場合がある。
(Embodiment 8)
Next, when the playback time of the subtitle sentence selected by the user is long, and you want to understand the scene contents corresponding to the selected subtitle sentence by playing at a higher playback speed instead of the normal playback speed. There is.
そこで、選択された字幕文が再生される再生時間に対応する再生速度を決定して、決定した再生速度で、その字幕文に対応する映像を再生する動作について、図18に示すフローチャートを参照して説明する。 Accordingly, with reference to the flowchart shown in FIG. 18, an operation for determining the playback speed corresponding to the playback time for playing the selected subtitle sentence and playing the video corresponding to the subtitle sentence at the determined playback speed will be described. I will explain.
携帯電話1は、予め記憶部17に図19に示す再生速度対応データ1900を格納している。
The
再生速度対応データ1900には、再生時間1901と、再生速度1902と、が登録されている。
In the reproduction
例えば、ユーザが選択した字幕文の再生時間が「31〜60秒」である場合、制御部19は、再生速度として通常の再生速度の「1.3倍」の速度をセットする。
For example, when the reproduction time of the caption sentence selected by the user is “31 to 60 seconds”, the
まず、制御部19は、図9に示すフローチャートのステップS110〜ステップS118までの処理を実行する。制御部19がステップS118の処理を終了すると、字幕表示時刻TdM直後のIDRフレームと、字幕文StMとが表示されている。
First, the
次に、制御部19は、字幕文SdMの字幕表示時刻TdMとその次の字幕文の字幕表示時刻Td(M+1)とを取得する。
Next, the
制御部19は、字幕表示時刻TdMとTd(M+1)とを取得すると、その差Td(M+1)−TdMを計算する(ステップS181)。
When acquiring the caption display times TdM and Td (M + 1), the
次に、制御部19は、記憶部17に格納されている再生速度対応データ1900を読み出して、ステップS181で計算したTd(M+1)−TdMに対応する再生速度を取得する(ステップS182)。
Next, the
制御部19は、取得した再生速度をセットして、字幕文StMに対応する映像を再生する(ステップS183)。
The
再生を開始すると、制御部19は、図9に示すフローチャートのステップS124〜ステップS126までの処理を実行し、映像を一時停止して、処理を終了する。
When the reproduction is started, the
このとき、タイマ22に、制御部19が映像を再生する再生速度に基づいて、映像を再生する時間を修正する。
At this time, the timer 22 corrects the video playback time based on the playback speed at which the
例えば、再生速度が通常の再生速度の4倍で、且つ、通常の再生速度での再生時間が20秒である場合、タイマ22は、計時する時間を20(秒)÷4=5秒と修正して時間を計時する。 For example, when the playback speed is four times the normal playback speed and the playback time at the normal playback speed is 20 seconds, the timer 22 corrects the time to be measured as 20 (seconds) / 4 = 5 seconds. And keep time.
本実施形態では、映像の再生開始からタイマ22が修正した時間を経過すると、再生中のフレームを再生して一時停止している。この他にも、例えば、タイマ22が修正した時間を経過すると、選択された字幕文の字幕表示時刻直後のIDRフレームを再生してもよい。 In this embodiment, when the time corrected by the timer 22 has elapsed since the start of video playback, the frame being played is played back and paused. In addition, for example, when the time corrected by the timer 22 has elapsed, the IDR frame immediately after the caption display time of the selected caption text may be reproduced.
これにより、ユーザは、選択した字幕文の再生時間が長い場合でも、短時間でその字幕文に対応するシーンの内容を把握することができる。 Thereby, even when the reproduction time of the selected caption text is long, the user can grasp the contents of the scene corresponding to the caption text in a short time.
(実施形態9)
次に、予め再生速度は再生モードとして設定して、再生時に再生モードから再生速度を決定する動作について、図20に示すフローチャートを参照して説明する。
(Embodiment 9)
Next, the operation of setting the playback speed as the playback mode in advance and determining the playback speed from the playback mode during playback will be described with reference to the flowchart shown in FIG.
再生モードを設定する方法としては、ユーザが操作部16に設けられたキーを操作するか、又は、ユーザインタフェースのメニューからユーザが設定する方法がある。
As a method for setting the playback mode, there is a method in which the user operates a key provided on the
例えば、ユーザがキーボードの「2」キーを押下すると、再生モードは早送りモードに設定され、ユーザが「0」キーを押下すると、再生モードは通常再生モードに設定されるようにしてもよい。 For example, when the user presses the “2” key on the keyboard, the playback mode may be set to the fast-forward mode, and when the user presses the “0” key, the playback mode may be set to the normal playback mode.
再生モードから再生速度を決定するために、記憶部17には、図21に示す再生モードと再生速度との対応関係を示した再生モード−再生速度対応データが予め格納されている。再生モード−再生速度対応データ2100には、再生モード2101と、再生速度2102とが登録されている。
In order to determine the playback speed from the playback mode, the
例えば、再生モードが「早送りモード」の場合、再生速度は「2倍」に設定される。再生モードは、記憶部12に記憶されたソフトウェア上の変数であり、例えば、再生モードの値が0であれば、通常再生モードに設定される。
For example, when the playback mode is “fast forward mode”, the playback speed is set to “double”. The playback mode is a software variable stored in the
まず、制御部19は、図9に示すフローチャートのステップS110〜ステップS118までの処理を実行する。制御部19がステップS118の処理を終了すると、ユーザが選択した字幕文StMと、字幕表示時刻TdM直後のIDRフレームとが再生されている。
First, the
次に、制御部19は、字幕文StMの再生開始の表示時刻TdMとその次の字幕文の再生開始時刻Td(M+1)とを取得する(ステップS191)。
Next, the
制御部19は、表示時刻TdMとTd(M+1)とを取得すると、その差Td(M+1)−TdMを計算する。
When acquiring the display times TdM and Td (M + 1), the
次に、制御部19は、記憶部17に格納されている再生モードと再生モード−再生速度対応データ2100とを読み出して、設定されている再生モードに対応する再生速度を判別する(ステップS192)
Next, the
制御部19は、判別した再生速度で字幕文StMに対応する映像を再生する(ステップS193)。
The
再生を開始すると、制御部19は、図9に示すフローチャートのステップS124〜ステップS126までの処理を実行し、映像を一時停止して、処理を終了する。
When the reproduction is started, the
この実施形態では、一時停止して処理を終了するが、この他にも、例えば、繰り返し映像を再生するようにしてもよい。また、例えば、一時停止後に字幕文StMの字幕表示時刻TdM直後のIDRフレームを再生して一時停止してもよい。 In this embodiment, the process is paused and the process is terminated. However, for example, it is also possible to reproduce a video repeatedly. Further, for example, the IDR frame immediately after the caption display time TdM of the caption text StM may be reproduced and paused after the suspension.
これにより、ユーザが選択した字幕文の再生時間に関係なく、ユーザが再生したい再生速度で映像を再生することができる。 Accordingly, the video can be played back at the playback speed that the user wants to play regardless of the playback time of the caption text selected by the user.
また、再生モードに応じて音声出力の有無を設定できるようにしてもよい。 Further, the presence or absence of audio output may be set according to the playback mode.
例えば、通常の速度で映像を再生する場合には、音声を出力し、通常の再生速度の3倍の速度で映像を再生する場合には、音声を出ないようにする。 For example, when video is played at a normal speed, audio is output, and when video is played at a speed three times the normal playback speed, no audio is output.
これにより、ユーザは映像のみに集中することができる。 Thereby, the user can concentrate on only the video.
ここで、ユーザが携帯電話1の画面に表示されるメニューに従って再生速度を設定する場合の画面表示の一例を図22に示す。
Here, FIG. 22 shows an example of the screen display when the user sets the playback speed according to the menu displayed on the screen of the
リスト表示モードにおける画面を、図22(a)に示す。ユーザがソフトキー2201の「サブメニュー」に対応するキーを押下すると、サブメニュー画面が表示される。サブメニュー画面を図22(b)に示す。
A screen in the list display mode is shown in FIG. When the user presses a key corresponding to the “sub menu” of the
ユーザが「再生速度設定」を選択すると、図22(c)に示すように、再生速度設定画面が表示される。 When the user selects “reproduction speed setting”, a reproduction speed setting screen is displayed as shown in FIG.
ユーザは、カーソルキー3の上下方向キーを押下して、表示欄2202に示された再生速度を変更する。
The user presses the up / down direction key of the
さらに、字幕文を再生する再生時間ごとに再生速度を変更できるようにした場合の再生速度設定画面を図22(d)に示す。ユーザは、表示2203、2204に表示された数字を変更することで、再生速度を変更することができる。
Further, FIG. 22D shows a playback speed setting screen when the playback speed can be changed for each playback time for playing back the caption text. The user can change the playback speed by changing the numbers displayed on the
例えば、字幕再生時間が1〜30秒の場合は再生速度を2倍に、字幕再生時間が31〜60秒の場合は再生速度を4倍に設定することができるようにする。 For example, when the subtitle playback time is 1 to 30 seconds, the playback speed can be set to double, and when the subtitle playback time is 31 to 60 seconds, the playback speed can be set to 4 times.
これにより、ユーザは、字幕再生時間の長さに応じて好みの再生速度を設定することができる。 Thereby, the user can set a favorite reproduction speed according to the length of the subtitle reproduction time.
(実施形態10)
次に、動画再生の進捗を表示する動作について、図23に示すフローチャートを参照して説明する。ここでは、一般的に用いられているバー表示を例として説明する。
(Embodiment 10)
Next, an operation for displaying the progress of moving image reproduction will be described with reference to the flowchart shown in FIG. Here, a generally used bar display will be described as an example.
バー表示を実行するバー表示モードを設定する方法としては、ユーザが操作部16に設けられたキーを操作するか、又は、ユーザインタフェースのメニューからユーザが設定する方法がある。
As a method of setting the bar display mode for executing the bar display, there is a method in which the user operates a key provided on the
まず、ユーザが字幕文StMを選択すると、制御部19は、図9に示すフローチャートのステップS110〜ステップS118までの処理を実行する。制御部19がステップS118の処理を終了すると、ユーザが選択した字幕文StMの再生開始のタイミングに対応するIDRフレームと、字幕文StMとが表示されている。
First, when the user selects a caption text StM, the
次に、制御部19は、1シーン動画再生フラグがONか否かを判別する(ステップS121)。1シーン動画再生フラグがONではないと判別した場合(ステップS121:No)、制御部19は、処理を終了する。
Next, the
1シーン動画再生フラグがONであると判別した場合(ステップS121:Yes)、制御部19は、字幕文StMの表示時刻TdMと字幕文StMの次の字幕文St(M+1)の表示時刻Td(M+1)を取得する(ステップS122)。
If it is determined that the one-scene video playback flag is ON (step S121: Yes), the
制御部19は、字幕文StMの再生開始のタイミングに対応するIDRフレームから映像を再生する(ステップS123)。
The
制御部19は、ステップS123で映像の再生を開始してからの経過時間を計時する(ステップS124)。
The
次に、制御部19は、ステップS124で計時した再生開始からの経過時間の字幕文StMの再生時間Td(M+1)−TdMに対する割合を計算する(ステップS201)。
Next, the
割合を計算すると、制御部19は、表示部15に表示するバー全体に対する進捗バーの長さを計算し、計算した長さのバーを表示する(ステップS202)。
When the ratio is calculated, the
次に、制御部19は、経過時間が表示時刻の差Td(M+1)−TdMよりも大きいか否かを判別する(ステップS125)。
Next, the
経過時間が表示時刻の差Td(M+1)−TdMよりも小さいと判別した場合(ステップS125:No)、制御部19は処理をステップS124に戻し、計時を再開する。
When it is determined that the elapsed time is smaller than the display time difference Td (M + 1) −TdM (step S125: No), the
経過時間が表示時刻の差Td(M+1)−TdMよりも大きいと判別した場合(ステップS125:Yes)、制御部19は映像を一時停止して(ステップS126)、処理を終了する。
When it is determined that the elapsed time is greater than the display time difference Td (M + 1) −TdM (step S125: Yes), the
バー表示は、例えば、次のように行う。 For example, the bar display is performed as follows.
選択した字幕文の再生時間を100ピクセルとする。ステップS201で計算した割合が45%とすると、進捗バーの長さは、100×0.45=45ピクセルである。 Let the playback time of the selected subtitle sentence be 100 pixels. When the ratio calculated in step S201 is 45%, the length of the progress bar is 100 × 0.45 = 45 pixels.
この場合、例えば、再生時間が1分として、再生開始からの経過時間が36秒とすると、進捗バーの長さは、100(ピクセル)×36(秒)/60(秒)=60(ピクセル)である。 In this case, for example, when the playback time is 1 minute and the elapsed time from the start of playback is 36 seconds, the length of the progress bar is 100 (pixels) × 36 (seconds) / 60 (seconds) = 60 (pixels) It is.
続いて、映像再生中の表示部15の一例を図24に示す。
Next, an example of the
字幕文「こんにちは。」に対応する映像を再生する場合、再生開始時では再生時間バー2401は、図24(a)に示すように、白抜きの状態で表示される。
When playing an image corresponding to the caption text "Hello.",
映像が再生されると、進捗バー2402が、図24(b)に示すように、再生時間バー2401を埋めていく。
When the video is played back, the
再生開始からの経過時間が再生時間に達すると、進捗バー2402は、図24(c)に示すように、再生時間バー2401と同じ長さになる。
When the elapsed time from the start of playback reaches the playback time, the
さらに、ユーザが選択した字幕文の再生時間の映像全体の再生時間に対する割合を、図24(d)のバー2403のように表示してもよい。
Further, the ratio of the playback time of the caption sentence selected by the user to the playback time of the entire video may be displayed as a
図24(d)に示すように、バー2403は、ユーザが選択した字幕文の再生時間の映像全体の再生時間に対する割合を示している。
As shown in FIG. 24D, the
また、図24(e)に示すように、再生時間バー2401の近傍に字幕文を再生する時間2404を表示するようにしてもよい。
Also, as shown in FIG. 24E, a
バー表示の他にも、例えば、円形の表示をしてもよいし、経過時間をデジタル数字として表示してもよい。 In addition to the bar display, for example, a circular display may be displayed, or the elapsed time may be displayed as a digital number.
これにより、ユーザは、選択した字幕文に対応する映像が再生されてからの経過時間を視覚的に把握することができる。よって、ユーザの使い勝手が向上する。 Thereby, the user can visually grasp the elapsed time since the video corresponding to the selected subtitle sentence is reproduced. Therefore, user convenience improves.
その他、本発明の方法は、専用のコンピュータシステムに限らず、例えば、コンテンツ録画再生機能を備える、PDA、電子カメラ、電子腕時計、携帯型TV、カーナビゲーション装置、等の任意の字幕付映像再生装置に適用可能である。 In addition, the method of the present invention is not limited to a dedicated computer system. For example, a video playback device with any subtitles such as a PDA, an electronic camera, an electronic watch, a portable TV, a car navigation device, etc., having a content recording / playback function. It is applicable to.
また、本発明の概念は、コンピュータを携帯電話1として機能・動作させるためのコンピュータプログラムを作成し、配布し、貸与し、これをコンピュータにインストールして、携帯電話1として、これを使用、譲渡、貸与などしてもよい。
上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
(付記1)
複数の字幕文と複数の映像とを、その再生順番に基づいて、互いに対応付けて記憶する記憶手段と、
前記記憶手段に記憶されている複数の字幕文からいずれかの字幕文を選択する字幕文選択手段と、
前記字幕文選択手段が選択した字幕文から、前記再生順番に従って、字幕文を再生する字幕文再生手段と、
前記字幕文再生手段によって再生されている字幕文に対応する映像を再生する映像再生手段と、
前記字幕文再生手段が字幕文の再生を開始してからの経過時間を計測し、所定の時間が経過したことを判別するタイマ手段と、
前記タイマ手段が所定の時間を計測したときに、所定の再生順番の字幕文を再生するように前記字幕文再生手段を制御する制御手段と、
を備えることを特徴とする字幕付映像再生装置。
(付記2)
前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、所定の再生順番の字幕文から、字幕文を順次再生するように前記字幕文再生手段を制御する、
ことを特徴とする付記1に記載の字幕付映像再生装置。
(付記3)
各字幕文には、各字幕文を継続して再生する再生継続時間を指定する再生時間情報が付加されており、
各映像は複数のフレームから構成される動画から構成されており、
前記制御手段は、
前記タイマ手段が計測する所定の時間として、前記字幕文選択手段が選択した字幕文に付加されている再生時間情報が指示する再生継続時間をセットすると共にタイマ手段の計時動作を起動し、
前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像の所定のフレームを再生させる、
ことを特徴とする付記1又は2に記載の字幕付映像再生装置。
(付記4)
前記制御手段は、前記タイマ手段が計測する所定の時間として、前記字幕文選択手段が選択した字幕文と、所定の個数だけ後の再生順番に対応する字幕文と、の間の各字幕文に付加されている再生時間情報が指示する再生継続時間の和をセットすると共に前記タイマ手段の計時動作を起動する、
ことを特徴とする付記1又は2に記載の字幕付映像再生装置。
(付記5)
各字幕文には、該字幕文に含まれる字幕文字数を示す文字数情報が付加されており、
前記記憶手段は、文字数と該文字数の字幕文を継続して再生する再生継続時間とを対応付けて記憶し、
前記制御手段は、
前記字幕文選択手段が選択した字幕文に付加された文字数情報から文字数を判別し、
前記記憶手段を参照して、判別した文字数に対応する再生継続時間を判別し、判別した再生継続時間を前記所定の時間として前記タイマ手段に設定し、
前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段が選択した字幕文に対応付けられた映像を所定のフレームから再生させる、
ことを特徴とする付記3に記載の字幕付映像再生装置。
(付記6)
前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像の最初のフレームを再生させる、
ことを特徴とする付記3乃至5のいずれか1つに記載の字幕付映像再生装置。
(付記7)
前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像の最後のフレームを再生させる、
ことを特徴とする付記3乃至5のいずれか1つに記載の字幕付映像再生装置。
(付記8)
前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像を、前記所定のフレームから順に再生させる、
ことを特徴とする付記3又は5に記載の字幕付映像再生装置。
(付記9)
前記制御手段は、前記タイマ手段が前記所定の時間を計測したときに、前記字幕文選択手段により選択された字幕文に対応付けられた映像の最初のフレームから順に再生させる、
ことを特徴とする付記8に記載の字幕付映像再生装置。
(付記10)
前記制御手段は、
前記字幕文選択手段が選択した字幕文に対応付けられた予測符号化方式の映像を構成する複数のフレームに含まれるIDR(Instantaneous Decoder Refresh)フレームを検出し、
前記タイマ手段が前記所定の時間を計測したときに、再生中のフレームに最も近いIDRフレームを判別して、再生させる、
ことを特徴とする付記5に記載の字幕付映像再生装置。
(付記11)
前記字幕付映像再生装置は、
複数の再生速度から1つの再生速度を選択する再生速度選択手段と、
前記再生速度選択手段で選択された速度で映像を再生する映像再生手段と、を備え、
前記制御手段は、前記再生速度選択手段が選択した再生速度に対応する時間間隔で字幕文を切り替え、
前記タイマ手段は、前記再生速度選択手段が選択した再生速度に基づいて、前記所定の時間を修正する手段を備える、
ことを特徴とする付記1乃至10のいずれか1つに記載の字幕付映像再生装置。
(付記12)
前記記憶手段は、
再生時の字幕文の複数の切り替え時間間隔と前記映像の複数の再生速度と、を対応付けて記憶し、
各字幕文に、該字幕文を継続して再生する再生継続時間を示す再生継続時間情報が予め付加して記憶しており、
前記制御手段は、前記字幕文選択手段が選択した字幕文の再生継続時間に基づいて字幕文を切り替える時間間隔を判別し、判別した時間間隔に対応する再生速度を判別し、
前記再生速度選択手段は、前記制御手段が判別した再生速度を選択する、
ことを特徴とする付記11に記載の字幕付映像再生装置。
(付記13)
前記字幕付映像再生装置は、
前記タイマ手段が計測した経過時間の、前記字幕文選択手段が選択した字幕文に付加された継続時間情報が示す再生継続時間に対する割合を表示する表示手段を備える、
ことを特徴とする付記1乃至12のいずれか1つに記載の字幕付映像再生装置。
(付記14)
この字幕付映像再生装置は、
音声を出力する音声出力手段を備え、
前記映像には音声が付加されており、
前記制御手段は、
前記映像の再生速度を指定する手段を備え、
再生速度が所定の基準速度の場合は、音声を出力させ、再生速度が所定の基準速度より速い速度の場合は、音声を出力させないように前記音声出力手段を制御する、
ことを特徴とする付記11乃至13のいずれか1つに記載の字幕付映像再生装置。
(付記15)
複数の字幕文を定義する複数の字幕信号と、前記字幕文に対応付けられている映像を定義する複数の映像信号とのうちから、いずれかの字幕文を選択する字幕文選択ステップと、
前記字幕文選択ステップで選択した字幕文から、前記再生順番に従って、字幕文を再生する字幕文再生ステップと、
前記字幕文再生ステップで再生されている字幕文に対応する映像を再生する映像再生ステップと、
前記字幕文再生ステップで字幕文の再生を開始してからの経過時間を計測し、所定の時間が経過したことを判別する判別ステップと、
前記判別ステップで所定の時間が経過したことを判別したときに、所定の再生順番の字幕文を再生するように制御する制御ステップと、
を備えることを特徴とする字幕付映像再生方法。
(付記16)
コンピュータに、
複数の字幕文と複数の映像とを、その再生順番に基づいて、互いに対応付けて記憶する記憶ステップ、
前記記憶ステップで記憶した複数の字幕文からいずれかの字幕文を選択する字幕文選択ステップ、
前記字幕文選択ステップで選択した字幕文から、前記再生順番に従って字幕文を再生する字幕文再生ステップ、
前記字幕文再生ステップで再生されている字幕文に対応する映像を再生する映像再生ステップ、
前記字幕文再生ステップで字幕文の再生を開始してからの経過時間を計測し、所定の時間が経過したことを判別する判別ステップと、
前記判別ステップで所定の時間が経過したことを判別したときに、所定の再生順番の字幕文を再生するように制御する、
ように実行させることを特徴とするプログラム。
In addition, the concept of the present invention is to create, distribute, and lend a computer program for causing a computer to function and operate as the
A part or all of the above embodiments can be described as in the following supplementary notes, but is not limited thereto.
(Appendix 1)
Storage means for storing a plurality of subtitle sentences and a plurality of videos in association with each other based on the reproduction order;
Subtitle sentence selecting means for selecting any subtitle sentence from a plurality of subtitle sentences stored in the storage means;
Subtitle sentence reproduction means for reproducing subtitle sentences from the subtitle sentence selected by the subtitle sentence selection means according to the reproduction order;
Video playback means for playing back video corresponding to the caption text being played back by the caption text playback means;
Timer means for measuring an elapsed time from the start of reproduction of the caption sentence by the caption sentence reproduction means, and determining that a predetermined time has elapsed;
Control means for controlling the subtitle sentence reproduction means so as to reproduce a subtitle sentence in a predetermined reproduction order when the timer means measures a predetermined time;
A video playback apparatus with captions, comprising:
(Appendix 2)
The control means controls the subtitle sentence reproduction means so that subtitle sentences are sequentially reproduced from subtitle sentences in a predetermined reproduction order when the timer means measures the predetermined time.
The video reproduction apparatus with captions according to
(Appendix 3)
Each subtitle sentence is accompanied by playback time information that specifies the playback duration for each subtitle sentence to be played continuously.
Each video consists of a video consisting of multiple frames,
The control means includes
As the predetermined time measured by the timer means, the reproduction duration indicated by the reproduction time information added to the caption sentence selected by the caption sentence selection means is set and the timer means starts the time counting operation,
When the timer unit measures the predetermined time, a predetermined frame of the video associated with the subtitle sentence selected by the subtitle sentence selecting unit is reproduced.
The video reproduction device with captions according to
(Appendix 4)
The control means includes, as a predetermined time measured by the timer means, each subtitle sentence between the subtitle sentence selected by the subtitle sentence selection means and a subtitle sentence corresponding to the reproduction order after a predetermined number of times. Setting the sum of the playback durations indicated by the added playback time information and starting the time counting operation of the timer means;
The video reproduction device with captions according to
(Appendix 5)
Each subtitle sentence is attached with character number information indicating the number of subtitle characters included in the subtitle sentence.
The storage means stores the number of characters and a reproduction duration time for continuously reproducing the subtitle sentence of the number of characters in association with each other,
The control means includes
Determining the number of characters from the number-of-characters information added to the subtitle sentence selected by the subtitle sentence selection means;
Referring to the storage means, determine the playback duration corresponding to the determined number of characters, set the determined playback duration as the predetermined time in the timer means,
When the timer unit measures the predetermined time, the video associated with the subtitle sentence selected by the subtitle sentence selecting unit is reproduced from a predetermined frame.
The video playback apparatus with captions according to
(Appendix 6)
The control means reproduces the first frame of the video associated with the caption text selected by the caption text selection means when the timer means measures the predetermined time.
The video reproduction device with captions according to any one of
(Appendix 7)
The control means plays back the last frame of the video associated with the caption text selected by the caption text selection means when the timer means measures the predetermined time.
The video reproduction device with captions according to any one of
(Appendix 8)
The control means, when the timer means measures the predetermined time, reproduces the video associated with the subtitle sentence selected by the subtitle sentence selection means in order from the predetermined frame,
The video playback device with captions according to
(Appendix 9)
The control means reproduces sequentially from the first frame of the video associated with the caption text selected by the caption text selection means when the timer means measures the predetermined time,
The video reproduction apparatus with captions according to
(Appendix 10)
The control means includes
Detecting an IDR (Instantaneous Decoder Refresh) frame included in a plurality of frames constituting a video of a predictive encoding method associated with the subtitle sentence selected by the subtitle sentence selecting unit;
When the timer means measures the predetermined time, the IDR frame closest to the frame being reproduced is determined and reproduced.
The video reproduction device with captions according to
(Appendix 11)
The video playback device with subtitles is
Playback speed selection means for selecting one playback speed from a plurality of playback speeds;
Video playback means for playing back video at a speed selected by the playback speed selection means,
The control means switches subtitle sentences at time intervals corresponding to the reproduction speed selected by the reproduction speed selection means,
The timer means includes means for correcting the predetermined time based on the reproduction speed selected by the reproduction speed selection means.
The video reproduction apparatus with captions according to any one of
(Appendix 12)
The storage means
A plurality of switching time intervals of subtitle sentences during playback and a plurality of playback speeds of the video are stored in association with each other,
Reproduction duration information indicating a reproduction duration for continuously reproducing the subtitle sentence is added to each subtitle sentence and stored in advance.
The control means determines a time interval for switching the caption text based on the playback duration of the caption text selected by the caption text selection means, determines a playback speed corresponding to the determined time interval,
The playback speed selection means selects the playback speed determined by the control means;
The video playback device with captions according to
(Appendix 13)
The video playback device with subtitles is
Display means for displaying a ratio of the elapsed time measured by the timer means to the playback duration indicated by the duration information added to the caption text selected by the caption text selection means;
13. The video reproduction apparatus with captions according to any one of
(Appendix 14)
This subtitled video playback device
Provided with an audio output means for outputting audio;
Audio is added to the video,
The control means includes
Means for designating the playback speed of the video,
When the reproduction speed is a predetermined reference speed, the sound is output, and when the reproduction speed is faster than the predetermined reference speed, the sound output unit is controlled so as not to output the sound.
14. The video playback device with captions according to any one of
(Appendix 15)
A subtitle sentence selection step of selecting any subtitle sentence from among a plurality of subtitle signals defining a plurality of subtitle sentences and a plurality of video signals defining a video associated with the subtitle sentence;
A subtitle sentence reproduction step of reproducing a subtitle sentence from the subtitle sentence selected in the subtitle sentence selection step according to the reproduction order;
A video playback step of playing back video corresponding to the subtitle text being played back in the subtitle text playback step;
A determination step of measuring an elapsed time from the start of subtitle sentence reproduction in the subtitle sentence reproduction step and determining that a predetermined time has elapsed;
A control step for controlling to reproduce a subtitle sentence in a predetermined reproduction order when it is determined that a predetermined time has elapsed in the determination step;
A video playback method with subtitles, comprising:
(Appendix 16)
On the computer,
A storage step of storing a plurality of subtitle sentences and a plurality of videos in association with each other based on the reproduction order;
A subtitle sentence selection step of selecting any subtitle sentence from a plurality of subtitle sentences stored in the storage step;
A subtitle sentence reproduction step of reproducing the subtitle sentence according to the reproduction order from the subtitle sentence selected in the subtitle sentence selection step;
A video playback step of playing back a video corresponding to the subtitle text being played back in the subtitle text playback step;
A determination step of measuring an elapsed time from the start of subtitle sentence reproduction in the subtitle sentence reproduction step and determining that a predetermined time has elapsed;
When it is determined that a predetermined time has elapsed in the determination step, control is performed to reproduce a subtitle sentence in a predetermined reproduction order.
A program characterized by being executed.
1・・・携帯電話、2・・・キーボード、3・・・カーソルキー、4・・・表示切替ボタン、5・・・表示パネル、6・・・通話用マイク、7・・・通話用スピーカ、8・・・スピーカ、10・・・チューナ、10A・・・アンテナ、11・・・デコード部、12・・・音声出力部、13・・・音声入力部、14・・・通信部、15・・・表示部、16・・・操作部、17・・・記憶部、18・・・バス、19・・・制御部、20・・・CPU、21・・・ROM、22・・・タイマ
DESCRIPTION OF
Claims (6)
画像を表示する表示部を備え、該表示部に、映像を表示する映像領域と、該映像領域に現在表示されている映像に対応する字幕文の少なくとも一部を表示する字幕領域と、前記リスト表示されている少なくとも一部ずつの字幕文を表示する字幕リスト領域と、を設定し、前記字幕リスト領域と前記字幕領域と前記映像領域は、それぞれ領域が重複しておらず、かつ、同時に全領域が視認可能な領域であり、
前記字幕リスト領域内に所定数の字幕リスト枝領域を一列に配置し、前記所定数の字幕リスト枝領域に所定数の字幕文をその再生順番に従って並べて表示し、前記所定数の字幕リスト枝領域のうち、所定の位置の字幕リスト枝領域に、現在表示されている映像に対応する字幕文の少なくとも一部を表示する字幕付映像再生装置。 At least a part of the subtitle sentence corresponding to the currently displayed video, and at least a part of the subtitle sentence from the subtitle sentence before or after the subtitle sentence, and the order in which the subtitle sentence should be displayed a first mode in which in list view, and a second mode for displaying only the caption text corresponding to the image currently being displayed, Ri switchable der by a user's operation of the two modes,
A display section for displaying an image, the display section including a video area for displaying a video, a subtitle area for displaying at least part of a subtitle sentence corresponding to the video currently displayed in the video area, and the list A subtitle list area for displaying at least a part of the displayed subtitle text, and the subtitle list area, the subtitle area, and the video area do not overlap each other and are all simultaneously The area is visible,
A predetermined number of subtitle list branch areas are arranged in a line in the subtitle list area, a predetermined number of subtitle sentences are arranged and displayed in the predetermined number of subtitle list branch areas according to the reproduction order, and the predetermined number of subtitle list branch areas are displayed. Among these, a subtitle-added video reproduction apparatus that displays at least a part of a subtitle sentence corresponding to a currently displayed video in a subtitle list branch region at a predetermined position .
現在表示されている映像に対応する字幕文の少なくとも一部と、当該字幕文の前または後の字幕文から当該字幕文のうちの少なくとも一部とを、これらの字幕文が表示されるべき順序で表示画面にリスト表示させるリスト表示ステップと、
現在表示されている映像に対応する字幕文のみを表示画面に表示させるリスト非表示ステップと、
前記リスト表示ステップによる表示と前記リスト非表示ステップによる表示とをユーザの操作に応じて切り替える切り替えステップと、
前記表示部に、映像を表示する映像領域と、該映像領域に現在表示されている映像に対応する字幕文の少なくとも一部を表示する字幕領域と、前記リスト表示されている少なくとも一部ずつの字幕文を表示する字幕リスト領域と、を設定する設定ステップと、を実行させ、
前記設定ステップで設定する前記字幕リスト領域と前記字幕領域と前記映像領域は、それぞれ領域が重複しておらず、かつ、同時に全領域が視認可能な領域であり、
前記リスト表示ステップでは、前記字幕リスト領域内に所定数の字幕リスト枝領域を一列に配置し、前記所定数の字幕リスト枝領域に所定数の字幕文をその再生順番に従って並べて表示し、前記所定数の字幕リスト枝領域のうち、所定の位置の字幕リスト枝領域に、現在表示されている映像に対応する字幕文の少なくとも一部を表示する字幕付映像再生プログラム。 In a computer that controls a video playback device with captions that includes a display unit that displays images
At least a part of the subtitle sentence corresponding to the currently displayed video, and at least a part of the subtitle sentence from the subtitle sentence before or after the subtitle sentence, and the order in which the subtitle sentence should be displayed A list display step for displaying a list on the display screen with,
A list non-display step for displaying only subtitle sentences corresponding to the currently displayed video on the display screen;
A switching step of switching between display by the list display step and display by the list non-display step according to a user operation ;
The display unit includes a video area for displaying a video, a subtitle area for displaying at least a part of a subtitle sentence corresponding to the video currently displayed in the video area, and at least a part for the list display. a setting step of setting a caption list area for displaying the caption text, and allowed to run,
The subtitle list area, the subtitle area, and the video area that are set in the setting step are areas that do not overlap each other, and are all areas that are visible at the same time,
In the list display step, a predetermined number of subtitle list branch areas are arranged in a line in the subtitle list area, and a predetermined number of subtitle sentences are arranged and displayed in the reproduction order in the predetermined number of subtitle list branch areas. A subtitled video reproduction program for displaying at least a part of a subtitle sentence corresponding to a currently displayed video in a subtitle list branch region at a predetermined position among a plurality of subtitle list branch regions .
前記リスト表示されている少なくとも一部ずつの字幕文からユーザの所望する字幕文をユーザに選択させる選択ステップと、
選択された字幕文に対応する映像を表示画面に表示させるステップとをさらに実行させる請求項5記載の字幕付映像再生プログラム。 In the computer,
A selection step for causing the user to select a subtitle sentence desired by the user from at least a part of the subtitle sentences displayed in the list;
6. The program for reproducing a video with subtitles according to claim 5 , further comprising a step of displaying a video corresponding to the selected subtitle sentence on a display screen.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011181024A JP5310808B2 (en) | 2007-12-07 | 2011-08-22 | Subtitled video playback device and subtitled video playback program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007317619A JP4839488B2 (en) | 2007-12-07 | 2007-12-07 | Subtitled video playback apparatus and method, and program |
JP2011181024A JP5310808B2 (en) | 2007-12-07 | 2011-08-22 | Subtitled video playback device and subtitled video playback program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007317619A Division JP4839488B2 (en) | 2007-12-07 | 2007-12-07 | Subtitled video playback apparatus and method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011244487A JP2011244487A (en) | 2011-12-01 |
JP5310808B2 true JP5310808B2 (en) | 2013-10-09 |
Family
ID=40871944
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007317619A Expired - Fee Related JP4839488B2 (en) | 2007-12-07 | 2007-12-07 | Subtitled video playback apparatus and method, and program |
JP2011181024A Expired - Fee Related JP5310808B2 (en) | 2007-12-07 | 2011-08-22 | Subtitled video playback device and subtitled video playback program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007317619A Expired - Fee Related JP4839488B2 (en) | 2007-12-07 | 2007-12-07 | Subtitled video playback apparatus and method, and program |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP4839488B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120047437A1 (en) * | 2010-08-23 | 2012-02-23 | Jeffrey Chan | Method for Creating and Navigating Link Based Multimedia |
JP5765592B2 (en) * | 2012-12-20 | 2015-08-19 | カシオ計算機株式会社 | Movie playback device, movie playback method, movie playback program, movie playback control device, movie playback control method, and movie playback control program |
JP5765593B2 (en) * | 2012-12-20 | 2015-08-19 | カシオ計算機株式会社 | Movie playback device, movie playback method, movie playback program, movie playback control device, movie playback control method, and movie playback control program |
CN111314775B (en) | 2018-12-12 | 2021-09-07 | 华为终端有限公司 | Video splitting method and electronic equipment |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3485111B2 (en) * | 1992-09-22 | 2004-01-13 | ソニー株式会社 | Reproduction method and reproduction device |
JPH11184867A (en) * | 1997-12-19 | 1999-07-09 | Toshiba Corp | Video information retrieval/reproduction method/device and record medium programming and recording the method |
JP2001186446A (en) * | 1999-12-24 | 2001-07-06 | Toshiba Corp | Information reproducing device and information reproducing method |
JP2001268464A (en) * | 2000-03-17 | 2001-09-28 | Sanyo Electric Co Ltd | Digital television broadcast receiver |
JP2001285812A (en) * | 2000-03-29 | 2001-10-12 | Sanyo Electric Co Ltd | Broadcast receiver |
JP4172904B2 (en) * | 2000-08-10 | 2008-10-29 | 日本放送協会 | Video / voice search device |
JP2003018491A (en) * | 2001-07-04 | 2003-01-17 | Sony Corp | Caption display device and method |
JP2003174495A (en) * | 2001-09-28 | 2003-06-20 | Nec Corp | Folding portable information terminal |
JP2004080476A (en) * | 2002-08-20 | 2004-03-11 | Sanyo Electric Co Ltd | Digital video reproducing device |
JP4177691B2 (en) * | 2003-03-19 | 2008-11-05 | シャープ株式会社 | Digital data playback device |
JP4170808B2 (en) * | 2003-03-31 | 2008-10-22 | 株式会社東芝 | Information display device, information display method, and program |
JP2006238147A (en) * | 2005-02-25 | 2006-09-07 | Toshiba Corp | Content reproducing device, subtitle reproducing method, and program |
JP2007243842A (en) * | 2006-03-10 | 2007-09-20 | Sanyo Electric Co Ltd | Information reproducing apparatus and information reproducing method |
JP2007316613A (en) * | 2006-04-26 | 2007-12-06 | Matsushita Electric Ind Co Ltd | Caption display control apparatus |
JP2007318369A (en) * | 2006-05-25 | 2007-12-06 | Hitachi Ltd | Portable video reproducing device |
-
2007
- 2007-12-07 JP JP2007317619A patent/JP4839488B2/en not_active Expired - Fee Related
-
2011
- 2011-08-22 JP JP2011181024A patent/JP5310808B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP4839488B2 (en) | 2011-12-21 |
JP2011244487A (en) | 2011-12-01 |
JP2009141810A (en) | 2009-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100980792B1 (en) | Captioned video playback apparatus and recording medium recorded program | |
KR100438703B1 (en) | Method for indexing image hierarchically and apparatus thereof | |
EP1796385B1 (en) | Time-shift function | |
US8350964B2 (en) | Captioned image reproducing device, captioned image reproducing method and program | |
JP2006303746A (en) | Moving picture processor | |
JP5310808B2 (en) | Subtitled video playback device and subtitled video playback program | |
WO2011142129A1 (en) | Digital broadcast reception device, and digital broadcast reception method | |
JP2009130469A (en) | Captioned video playback apparatus, and program | |
JP5036267B2 (en) | Portable electronic device | |
US20120127181A1 (en) | Av device | |
JP4367535B2 (en) | Subtitled video playback device and program | |
JP2009159126A (en) | Apparatus for playing back video with caption, screen control method and program for the same | |
US8068717B2 (en) | Television program recording/reproducing device | |
JP5110521B2 (en) | Subtitled video playback device and program | |
JP4821733B2 (en) | Subtitled video playback terminal device and program | |
KR20070028155A (en) | Portable apparatus and method for reproducing video files | |
JP5311448B2 (en) | Subtitled video playback device, subtitled video playback method and program | |
JP2012034235A (en) | Video reproduction apparatus and video reproduction method | |
KR101481689B1 (en) | Method and apparatus for detecting multimedia contents using number information | |
JP2009027371A (en) | Video display processor | |
JP5044431B2 (en) | Electronic equipment | |
JP2001306052A (en) | Image display device | |
KR100677750B1 (en) | Broadcasting receiver capable of replaying broadcasting signal and method thereof | |
JP2013145976A (en) | Reproduction control device, control method therefor, reproduction device, television receiver, program, and recording medium | |
KR930007597Y1 (en) | On-screen display processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130228 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20130329 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130412 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130604 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130617 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
LAPS | Cancellation because of no payment of annual fees |