JP4088669B2

JP4088669B2 - Subtitle editing support system by moving the boundary of subtitles arranged on the timeline

Info

Publication number: JP4088669B2
Application number: JP2002019121A
Authority: JP
Inventors: 英治沢村; 隆雄門馬; 暉将江原; 崇之今村; 則好浦谷; 克彦白井
Original assignee: NEC Corp; National Institute of Information and Communications Technology; NHK Engineering Services Inc; Japan Broadcasting Corp
Current assignee: NEC Corp; National Institute of Information and Communications Technology; Japan Broadcasting Corp; NHK Engineering System Inc
Priority date: 2002-01-28
Filing date: 2002-01-28
Publication date: 2008-05-21
Anticipated expiration: 2022-01-28
Also published as: JP2003224773A

Description

【０００１】
【発明の属する技術分野】
本発明は、人手による字幕制作工程と、自動による字幕制作工程とを効果的に組み合わせた半自動型字幕番組制作システムにおいて、字幕編集・試写作業を支援するため、表示単位字幕表示領域の境界線の移動という方法で、当該表示単位字幕の表示タイミングの修正を行う技術に関する。
【０００２】
〔発明の概要〕
本発明は、各表示単位字幕をタイムライン上に配置し、その境界などの移動でタイミング修正を簡単に行うものである。
【０００３】
視覚的、かつ直感的にタイミング修正と修正結果の確認が可能となり、表示単位字幕のタイミング修正を簡単かつ迅速に行うことが出来るので、字幕番組制作の効率化に大きく寄与する。
【０００４】
【従来の技術】
オフラインで字幕番組を自動制作する技術としては、ニュース番組やナレーション主体のドキュメンタリー番組を対象とし、電子化原稿が存在する場合に、「自動要約」、「自動同期」、及び「自動字幕画面作成技術」などの研究成果を集約し、「自動字幕番組制作システム」として構築された技術が存在する。
【０００５】
これらの技術は、すでに特願平１１−７２６７１号等で特許出願されているが、かかる技術を適用できる番組範囲は限られており、電子化原稿が存在しない番組、ドラマやバラエティーなど背景音レベルの大きい番組などに対しては、自動機能として限界があるため、限界以上の部分は、手動による字幕制作や試写・修正の範囲でカバーせざるを得ない。
【０００６】
【発明が解決しようとする課題】
実際の字幕制作現場では、高度な専門技術、知識を持った多くの専門家が携わっており、字幕制作はこのような人間の能力に負っている部分が多い。一方、今日のように、字幕番組の急速な拡充が要請されている状況の下において、字幕制作は、専門家でなくても、ワープロ作業が一応できるパートタイマーでも作業の一端を分担できるようなシステムとすることが望ましい。したがって、自動処理を前提とした字幕制作システムのみならず、手作業を含む字幕用電子化テキストの作成や、字幕画面の試写・編集などの作業も含めたトータルシステムとして、字幕制作効率を考える必要がある。
【０００７】
そこで、本件発明の発明者らは、これまでに行った自動字幕制作システムのシステム評価などから得た知見を基に、各自動化要素技術を高性能化した新しい自動字幕システムを中核に、新たに開発した効率的な手動字幕制作サブシステムを適用することで、実用性のより高い半自動型字幕番組制作システムを開発した。
【０００８】
この半自動型字幕番組制作システムは別途出願しているが、かかる半自動型字幕番組制作システムでは、字幕番組データ編集・試写機能については、手動作業で行うことしている。
【０００９】
すなわち、字幕番組データ編集・試写機能での作業は、一応出来上がった字幕番組データを専門知識を有する作業者が試写し、必要なら修正するものであるが、この作業において、作業者が字幕内容・タイミングなどに関する修正がしやすいように支援するシステムがあれば、作業者に要求される能力や、作業時間、緊張の程度を軽減することができ、より効率的な編集作業が可能となる。
【００１０】
本発明は、このような課題に鑑みてなされたもので、半自動型字幕番組制作システムにおいて、表示単位字幕をタイムライン上に配置し、この表示単位字幕表示領域の境界線を移動するという簡単な操作で、当該表示単位字幕の表示タイミングの修正を行い、字幕番組データ編集作業を行う者に必要とされる能力や、緊張の程度を低減することを目的とする。
【００１１】
【課題を解決するための手段】
本発明によるタイムライン上に配置した字幕の境界移動による字幕支援システムは、字幕テキスト書き起こし機能、自動字幕番組制作機能、及び字幕番組編集・試写機能からなり、人手による字幕制作機能と自動による字幕制作機能とを組み合わせた半自動型字幕番組制作システムに適用する字幕編集・試写支援システムであって、編集の対象となる表示単位字幕の表示開始タイミングと表示終了タイミングとを、当該編集の対象となる番組の時間経過を時間軸として示すタイムライン上の該当するタイミング位置に関連づける手段と、前記表示単位字幕を四角の枠内部に含み枠の一端を表示開始位置とし、他端を終了位置として、前記タイムライン上に関連づけられた当該字幕表示開始タイミングと終了タイミングを表す位置にそれぞれ一致させるとともに、前記字幕に対応するスピーチの波形を前記タイムラインに一致させて表示する手段と、表示された前記表示単位字幕の表示開始位置又は終了位置を移動することにより当該表示単位字幕の表示開始タイミングまたは表示終了タイミングを修正する手段とを有することを特徴とする。
【００１２】
表示単位字幕表示領域の表示開始位置又は終了位置を移動するという簡単な操作により、画面に表示すべき字幕表示のタイミングの修正を行うことが出来るので、表示単位字幕データの編集を簡単かつ高性能に実施できるように支援することができる。
【００１３】
【発明の実施の形態】
まず、本発明を適用する半自動字幕番組制作システムについて図２を参照して説明する。
【００１４】
半自動型字幕番組制作システムの主要な機能は、図２に示すように、字幕テキスト書起し機能１と、自動字幕番組データ制作機能２と、字幕番組データ編集・試写機能３、及び字幕画面編集支援機能４からなっている。
【００１５】
ここで、字幕テキスト書き起こし機能１とは、素材番組の音声を聞き取って、字幕用テキストの書き起こしや開始・終了タイミングなどの付加データを入力する機能であり、素材番組の映像・音声を、パソコンのディスクに圧縮記録するとともに、記録された映像音声の再生および特殊再生操作のための操作キーを備え、対応する動作を行う「ディスク記録再生制御機能」、書き起こしおよび付加情報データの入力の手動作業を支援するため、素材番組の映像・音声、書き起こしテキストなどに関する各種の情報を、タイムライン上にビジュアルに表示する「情報表示機能」、書き起こしたテキストやスピーチポーズの時間データ入力操作のための操作キーを備え、対応する動作をする「データ作成制御機能」、及びデータ作成画面や主映像表示画面とからなる。
【００１６】
また、自動字幕番組データ制作機能２とは、提示時間順に配列された字幕用テキストの中から、適切な改行・改頁によって表示単位字幕文を形成し、音声認識処理を含む同期検出技術などを適用することにより、この表示単位字幕文毎に始点及び終点を同期点として検出して、始点／終点タイミング情報を表示単位字幕毎に付与する一連の動作を自動的に行う機能であり、必要な場合は字幕用テキストを要約する「テキスト自動要約機能」と「表示単位字幕作成機能」と「タイミング検出・付与機能」とからなる。
【００１７】
また、字幕番組データ編集・試写機能３とは、書き起こしした字幕用テキスト及び付加情報データを基に、自動字幕番組データ制作部で自動制作された字幕番組データを人手で編集・試写するためのものであり、開始および終了時間、字幕の改ページ、改行などに関し編集・試写作業支援用特殊表示操作のための専用操作キーを備え、対応する動作をする「ディスク記録再生および字幕データ制御機能」、各種の情報を、タイムライン上にビジュアル表示し、特に字幕番組データについては、タイミング変更支援画面を表示し対応する動作をする「情報表示・字幕タイミング制御機能」、字幕データのページ単位編集のための専用操作キーを備え、対応する動作をする「字幕データページ編集操作キーと機能」、映像に重畳した指定字幕データ表示のための、操作キーを備え、対応する動作をする「字幕データ・映像表示機能」、及び部分試写、通し試写など、試写形式の選択に必要な操作キーを備え、対応する動作をする「試写用キーとその機能」とからなる。
【００１８】
字幕画面編集支援機能４とは、字幕番組編集・試写機能３に適用し、編集作業を支援するものである。
【００１９】
なおここで、「字幕用テキスト」とは、字幕番組において、字幕画面を形成表示するための元になる字幕テキスト全体をいい、「表示単位字幕」とは、一定時間継続して画面上に表示させる字幕であって、提示時間順に配列された字幕テキストの中から適切な改行・改頁によって抽出されたものをいう。
【００２０】
本発明にかかるタイムライン上に配置した字幕の境界移動による字幕編集支援システムは、字幕画面編集支援機能４として字幕番組編集・試写機能を支援する。
【００２１】
まず、本発明にかかるタイムライン上に配置した字幕の境界移動による字幕編集支援システムについて、基本原理を図１を参照して説明する。
【００２２】
図１（ａ）は字幕の境界移動をする前の状態を示し、図１（ｂ）は字幕の境界移動により表示単位字幕１１の表示タイミングを変更した後の状態を示す。
【００２３】
本発明は、図１（ａ）に示すように、字幕の境界を示す四角形の枠で囲んだ各表示単位字幕（１１ａ，１１ｂ，１１ｃ）をタイムライン１２上に配置するとともに、四角形の枠を移動することにより、各表示単位字幕（１１ａ，１１ｂ，１１ｃ）の表示タイミングの修正を簡単かつ可視的に行うようにしたものである。
【００２４】
試写・編集の対象となる各表示単位字幕（１１ａ，１１ｂ，１１ｃ）は、本発明を適用する半自動字幕番組制作システムにおいて、すでに自動字幕画面作成処理などにより、改行・改ページがなされ、さらにその開始・終了のタイミングが付与されている。
【００２５】
図１（ａ）及び（ｂ）に示す四角形の枠で囲んだ各表示単位字幕（１１ａ，１１ｂ，１１ｃ）の左辺は、字幕の表示開始タイミングデータを示し、右辺は表示終了タイミングデータを示している。そして、右辺及び左辺の表示位置は、タイムライン１２とリンクしている。
【００２６】
したがって、表示単位字幕１１を表す四角形の左辺と右辺は付与された開始と終了タイミングに基づき、タイムライン１２上の対応する位置に配置されることとなる。ここで、表示単位字幕１１を表す四角形の表示位置を変更すると、新しい位置に対応するタイミングデータが保存される。また、四角形の枠の中には、表示単位字幕１１の改行を含むテキストも同時に表示される。
【００２７】
このように、タイムライン１２上に配置した表示単位字幕１１の表示開始・終了タイミングを表す四角形の右辺と左辺を、マウスなどを使ってタイムライン１２上で移動すると、その新しい位置に対応するタイミングデータが保存されるので、表示単位字幕１１を表示開始するタイミングや表示が終了するタイミングが変更される。また、表示単位字幕１１を表す四角形全体を左右に移動すると、表示時間長を変更することなく、表示単位字幕１１を表示するタイミングを変更することができる。
【００２８】
例えば、図１（ａ）においては、「地元には日本唯一という駅舎の民宿があり、西隣の」という表示単位字幕１１ａは、字幕の境界を示す四角形の左辺は、タイムライン１２上の１４分１７．４秒の位置、右辺は１４分２３．６秒の位置にある。したがって、「地元には日本唯一という駅舎の民宿があり、西隣の」という表示単位字幕１１ａは、１４分１７．４秒のタイミングでその番組の画面上に表示され、１４分２３．６秒のタイミングでその画面から消えることが分かる。
【００２９】
しかし、この字幕はその内容に比較し表示時間が少し少ないので、字幕の境界を示す四角形の左辺をマウス等で左に移動し、１４分１６．５秒の所へもってゆき長くすると、図１（ｂ）に示すように、「地元には日本唯一という駅舎の民宿があり、西隣の」という表示単位字幕１１ａは、１４分１６．５秒の時刻でその番組の画面上に表示され、１４分２３．６秒のタイミングでその画面から消えるように変更され、表示時間を長くすることができる。表示単位字幕１１ｂも同様である。
【００３０】
このように、視覚的かつ直感的にタイミング修正と修正結果の確認が可能となり、表示単位字幕１１のタイミング修正を簡単かつ迅速に行うことが出来るので、字幕番組制作の効率化に大きく寄与することができる。
【００３１】
続いて、本発明にかかる、タイムライン上に配置した字幕の境界移動による字幕編集支援システム、を半自動字幕番組制作システムの字幕番組編集・試写機能に適用した実施の形態を図３及び図４を参照して説明する。
【００３２】
字幕番組データ編集・試写機能３は、前述の通り、作成した字幕テキスト及び付加情報データを基に、自動字幕番組データ制作部で自動制作された字幕番組データを人手で編集・試写するためのものであり、「ディスク記録再生および字幕データ制御機能」、「情報表示・字幕タイミング制御機能」、「字幕データページ編集操作キーと機能」、「字幕データ・映像表示機能」、及び「試写用キーとその機能」とからなる。
【００３３】
本発明は、字幕番組データ編集・試写機能の一部である「字幕データ・映像表示機能」において。タイムライン１２上に、字幕の境界を示す四角形の枠で囲んだ表示単位字幕１１を表示することにより、字幕番組データ編集作業を支援するものである。
【００３４】
図３は、本発明を適用した字幕素材編集のメイン画面である。メイン画面は、各種機能の呼び出しを行うメニュー領域３１、字幕本文の入力を行う編集領域３２、及びＭＰＥＧ／ＡＶＩ画像と字幕本文の一覧領域３３に分けられる。なお、ここで「字幕素材」とは、送出／消去時間、字幕本文、管理情報より構成された字幕番組データをいう。
【００３５】
図４は、本発明を適用した字幕素材編集のメイン画面から字幕本文の一覧領域３３部分のみを抜き出したものである。
【００３６】
字幕本文一覧領域３３には、図４に示すように、画像１３と各表示単位字幕（１１ｄ，１１ｅ，１１ｆ，１１ｇ）と音声power値の特定周波数範囲（例えば５〜７Hz）成分を適当なレベルでスライスし２値化したスピーチ近似データ波形１４とが表示される。
【００３７】
ここで、各表示単位字幕（１１ｄ，１１ｅ，１１ｆ，１１ｇ）は、本発明を適用する半自動字幕番組制作システムにおいて、すでに自動字幕画面作成処理などにより、改行・改ページがなされ、さらにその開始・終了のタイミングが付与され、四角の枠に囲われて表示される。この四角の枠は、二段に線で区切られ、下段に、各表示単位字幕（１１ｄ，１１ｅ，１１ｆ，１１ｇ）が表示され、上段には、対応するページ番号が表示される。
【００３８】
四角の枠で囲んだ各表示単位字幕（１１ｄ，１１ｅ，１１ｆ，１１ｇ）の左辺は、字幕の表示開始タイミングを示し、右辺は表示終了タイミングを示している。本実施の形態においては、最初の表示単位字幕例えば１１ｄの表示終了タイミングと次の表示単位字幕１１ｅの表示開始タイミングとが一致しているので、表示単位字幕１１ｄを囲む四角の枠の右辺と、表示単位字幕１１ｅを囲む四角の枠の左辺とが重なり合って１つの辺を形成している。
【００３９】
この状態で、表示単位字幕１１ｄを囲む四角の枠の上段のページ番号が記載されている部分の右辺を、マウス等で左側にドラッグすると表示単位字幕１１ｄの表示終了のタイミングのみが変更され、次の表示単位字幕１１ｅが表示開始されるタイミングは変更されない。一方、表示単位字幕１１ｄを囲む四角の枠の下段の表示単位字幕が表示されている部分の右辺を、マウス等で左側にドラッグすると表示単位字幕１１ｄの表示終了のタイミングとともに、次の表示単位字幕１１ｅの表示開始のタイミングも変更される。すなわち、表示単位字幕１１ｄの表示終了のタイミングと、表示単位字幕１１ｅが表示開始されるタイミングとは一致させたまま、両者表示が切り替わるタイミングが変更されることとなる。
【００４０】
各表示単位字幕（１１ｄ，１１ｅ，１１ｆ，１１ｇ）の表示開始及び終了のタイミングを示す四角の枠の右辺及び左辺は、その下の欄に表示されたスピーチ近似データ波形１４と時間軸を共通にしているため、スピーチ近似データ波形１４として２値化されて表示されたデータと見比べ、スピーチやポーズの位置を確認しつつ、字幕表示の時間幅や表示タイミングの変更を行うことが出来る。
【００４１】
このように、視覚的かつ直感的ににスピーチやポーズの位置を判断することができ、また、表示単位字幕表示領域の境界線を移動するという簡単な操作により、画面に表示すべき字幕表示のタイミングの修正を行うことが出来るので、表示単位字幕データの編集を簡単かつ高性能に実施でき字幕の表示タイミングの編集が容易となる。さらに、字幕番組データ編集作業を行う者に必要とされる能力や、緊張の程度を低減することができる。
【００４２】
【発明の効果】
上記のように、本発明によれば、表示単位字幕表示領域の境界線を移動するという簡単な操作により、画面に表示すべき字幕表示のタイミングの修正を行うので、半自動型字幕番組制作システムに本発明を適用することによって、視覚的、かつ直感的にタイミングの修正と修正結果の確認が可能となる。また、表示単位字幕のタイミング修正を簡単かつ迅速に行うことが出来るので、字幕番組制作の効率化に大きく寄与する。
【図面の簡単な説明】
【図１】本発明にかかるタイムライン上に配置した字幕の境界移動による字幕編集支援システムの基本原理を示す図であり、図１（ａ）は字幕の境界移動をする前の状態を示し、図１（ｂ）は字幕の境界移動により表示単位字幕の表示タイミングを変更した後の状態を示す。
【図２】本発明を適用する半自動字幕番組制作システムの機能図である。
【図３】本発明を適用した字幕素材編集のメイン画面である。
【図４】字幕素材編集のメイン画面中の字幕本文の一覧領域部分である。
【符号の説明】
１字幕テキスト書き起こし機能
２自動字幕データ制作機能
３字幕番組編集・試写機能
４字幕画面編集支援機能
１１表示単位字幕文
１２タイムライン[0001]
BACKGROUND OF THE INVENTION
The present invention provides a semi-automatic subtitle program production system that effectively combines a manual subtitle production process and an automatic subtitle production process, in order to support subtitle editing / preview work. The present invention relates to a technique for correcting the display timing of the display unit subtitles by a method of movement.
[0002]
[Summary of the Invention]
In the present invention, each display unit subtitle is arranged on a timeline, and timing correction is easily performed by moving a boundary or the like.
[0003]
The timing correction and the correction result can be visually and intuitively confirmed, and the timing correction of the display unit subtitles can be performed easily and quickly, which greatly contributes to the efficiency of subtitle program production.
[0004]
[Prior art]
The technology for automatically producing subtitle programs offline is for news programs and narration-oriented documentary programs, and when there are electronic manuscripts, “automatic summarization”, “automatic synchronization”, and “automatic caption screen creation technology” There is a technology that has been built as an “automatic caption program production system” by integrating research results such as “
[0005]
These technologies have already been patent-patented in Japanese Patent Application No. 11-72671, but the range of programs to which such technologies can be applied is limited, and background sound levels such as programs without electronic manuscripts, dramas and varieties For large programs, etc., there is a limit to the automatic function, so the area beyond the limit must be covered by manual subtitle production and preview / correction.
[0006]
[Problems to be solved by the invention]
In the actual subtitle production site, many experts with advanced technical skills and knowledge are involved, and subtitle production often bears such human ability. On the other hand, in today's situation where rapid expansion of subtitle programs is demanded, subtitle production can be shared by a part-timer who can work with word processors even if he is not an expert. A system is desirable. Therefore, it is necessary to consider subtitle production efficiency not only as a subtitle production system based on automatic processing, but also as a total system that includes the creation of electronic text for subtitles including manual work, previewing and editing of subtitle screens, etc. There is.
[0007]
Therefore, the inventors of the present invention have newly developed a new automatic subtitle system with high performance of each automatic element technology based on the knowledge obtained from the system evaluation of the automatic subtitle production system conducted so far. By applying the developed manual subtitle production subsystem, we developed a semi-automatic subtitle program production system with higher practicality.
[0008]
This semi-automatic subtitle program production system has been filed separately. In such a semi-automatic subtitle program production system, the subtitle program data editing / preview function is performed manually.
[0009]
In other words, the subtitle program data editing / preview function is a work in which the subtitle program data that has been completed is previewed by an operator with specialized knowledge and modified if necessary. If there is a system that assists in making corrections related to timing and the like, it is possible to reduce the ability, work time, and tension required by the worker, and more efficient editing work is possible.
[0010]
The present invention has been made in view of such problems, and in a semi-automatic subtitle program production system, a display unit subtitle is arranged on a timeline and a boundary line of the display unit subtitle display area is moved. The purpose is to correct the display timing of the display unit subtitles by the operation, and to reduce the ability and the degree of tension required for those who perform subtitle program data editing work.
[0011]
[Means for Solving the Problems]
A subtitle support system based on subtitle boundary movement on the timeline according to the present invention includes a subtitle text transcription function, an automatic subtitle program production function, and a subtitle program editing / preview function. This subtitle editing / preview support system is applied to a semi-automatic subtitle program production system combined with a production function, and the display start timing and display end timing of the display unit subtitle to be edited are subject to editing. Means for associating the elapsed time of the program with a corresponding timing position on the timeline indicating the time axis, the display unit subtitles within the rectangular frame, one end of the frame as the display start position, and the other end as the end position, Each subtitle display start timing and end timing related to the timeline And a means for displaying the speech waveform corresponding to the subtitle in accordance with the timeline, and the display start of the display unit subtitle displayed by moving the display start position or end position of the displayed display unit subtitle. And a means for correcting the timing or the display end timing .
[0012]
The subtitle display timing to be displayed on the screen can be corrected by a simple operation of moving the display start position or end position of the display unit subtitle display area. Can help to implement.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
First, a semi-automatic caption program production system to which the present invention is applied will be described with reference to FIG.
[0014]
As shown in FIG. 2, the main functions of the semi-automatic subtitle program production system are subtitle text transcription function 1, automatic subtitle program data production function 2, subtitle program data editing / preview function 3, and subtitle screen editing. It consists of support function 4.
[0015]
The subtitle text transcription function 1 is a function for listening to the audio of the material program and inputting additional data such as the transcription of the subtitle text and the start / end timing. In addition to compressing and recording on a PC disk, it has operation keys for playback of recorded video and audio and special playback operations, and "disc recording and playback control function" that performs corresponding operations, transcription and input of additional information data In order to support manual work, the information display function that visually displays various information related to the video / audio of the material program, transcription text, etc. on the timeline, and time data input operation for the text and speech pause "Data creation control function" which has operation keys for and performs corresponding operations, and data creation screen and main video Consisting of a 示画 surface.
[0016]
In addition, the automatic caption program data production function 2 includes a synchronization detection technique including a speech recognition process that forms a display unit caption sentence by appropriate line breaks and page breaks from caption text arranged in order of presentation time. By applying this function, the start point and end point are detected as synchronization points for each display unit subtitle sentence, and a series of operations for automatically assigning start point / end point timing information to each display unit subtitle is performed. In this case, it consists of a “automatic text summarizing function”, a “display unit subtitle creating function”, and a “timing detection / addition function” that summarize subtitle text.
[0017]
The subtitle program data editing / preview function 3 is for manually editing / previewing subtitle program data automatically produced by the automatic subtitle program data production section based on the subtitle text and additional information data that have been transcribed. "Disc recording and playback and subtitle data control function" with dedicated operation keys for special display operations for editing / preview work support for start and end times, page breaks, line breaks, etc. Various information is visually displayed on the timeline. Especially for subtitle program data, the timing change support screen is displayed and the corresponding operation is performed, “Information display / subtitle timing control function”, subtitle data page-by-page editing "Subtitle Data Page Editing Operation Keys and Functions" with dedicated operation keys for the corresponding operations and designated subtitle data superimposed on video "Display subtitle data / video display function" with operation keys for display and corresponding operations, and operation keys necessary for selection of preview formats such as partial preview and through preview, and corresponding operations "Preview key and its function".
[0018]
The subtitle screen editing support function 4 is applied to the subtitle program editing / preview function 3 to support editing work.
[0019]
Here, “subtitle text” refers to the entire subtitle text used to form and display a subtitle screen in a subtitle program, and “display unit subtitle” is displayed on the screen continuously for a certain period of time. Subtitles to be extracted, which are extracted from subtitle texts arranged in order of presentation time by appropriate line feeds and page breaks.
[0020]
The subtitle editing support system based on subtitle boundary movement arranged on the timeline according to the present invention supports a subtitle program editing / preview function as the subtitle screen editing support function 4.
[0021]
First, the basic principle of a subtitle editing support system based on subtitle boundary movement arranged on the timeline according to the present invention will be described with reference to FIG.
[0022]
FIG. 1A shows a state before the boundary movement of the caption, and FIG. 1B shows a state after the display timing of the display unit caption 11 is changed by the boundary movement of the caption.
[0023]
In the present invention, as shown in FIG. 1 (a), each display unit caption (11a, 11b, 11c) surrounded by a square frame indicating the boundary of a caption is arranged on the timeline 12, and the rectangular frame is By moving, the display timing of each display unit subtitle (11a, 11b, 11c) is corrected easily and visually.
[0024]
Each display unit subtitle (11a, 11b, 11c) to be previewed / edited has already undergone line breaks / page breaks by automatic subtitle screen creation processing in the semi-automatic subtitle program production system to which the present invention is applied. Start / end timing is given.
[0025]
The left side of each display unit subtitle (11a, 11b, 11c) surrounded by the square frame shown in FIGS. 1A and 1B indicates the subtitle display start timing data, and the right side indicates the display end timing data. Yes. The display positions on the right side and the left side are linked to the timeline 12.
[0026]
Therefore, the left side and the right side of the rectangle representing the display unit subtitle 11 are arranged at corresponding positions on the timeline 12 based on the given start and end timings. Here, when the display position of the rectangle representing the display unit subtitle 11 is changed, timing data corresponding to the new position is stored. In addition, in the rectangular frame, text including a line break of the display unit subtitle 11 is also displayed.
[0027]
In this way, when the right side and the left side of the rectangle representing the display start / end timing of the display unit subtitle 11 arranged on the timeline 12 are moved on the timeline 12 using a mouse or the like, the timing corresponding to the new position is displayed. Since the data is saved, the display start timing of the display unit subtitle 11 and the display end timing are changed. Further, when the entire square representing the display unit subtitle 11 is moved to the left and right, the display timing of the display unit subtitle 11 can be changed without changing the display time length.
[0028]
For example, in FIG. 1A, the display unit subtitle 11 a that says “there is a Japanese-style inn in the local area, next to the west” is the left side of the square indicating the boundary of the subtitle is 14 on the timeline 12. The position is 17.4 minutes and the right side is 14 minutes and 23.6 seconds. Therefore, the display unit subtitle 11a, “There is the only station inn in Japan, next to the west,” is displayed on the screen of the program at the time of 14 minutes 17.4 seconds, and 14 minutes 23.6 seconds. It turns out that it disappears from the screen at the timing.
[0029]
However, since the display time of this subtitle is slightly shorter than the content, if the left side of the rectangle indicating the subtitle boundary is moved to the left with a mouse or the like, and moved to 14 minutes and 16.5 seconds, it will become longer. As shown in (b), the display unit subtitle 11a that “there is a Japanese-style inn in the local area, next to the west” is displayed on the screen of the program at a time of 14 minutes and 16.5 seconds, It is changed to disappear from the screen at the timing of 14 minutes 23.6 seconds, and the display time can be extended. The same applies to the display unit subtitle 11b.
[0030]
As described above, the timing correction and the correction result can be visually and intuitively confirmed, and the timing correction of the display unit subtitle 11 can be performed easily and quickly, which greatly contributes to the efficiency of subtitle program production. Can do.
[0031]
Subsequently, an embodiment in which the subtitle editing support system by subtitle boundary movement arranged on the timeline according to the present invention is applied to the subtitle program editing / preview function of the semi-automatic subtitle program production system is shown in FIGS. The description will be given with reference.
[0032]
The subtitle program data editing / preview function 3 is for manually editing / previewing subtitle program data automatically produced by the automatic subtitle program data production unit based on the created subtitle text and additional information data as described above. “Disc recording / playback and subtitle data control function”, “information display / subtitle timing control function”, “subtitle data page editing operation key and function”, “subtitle data / video display function”, and “preview key” Its function ".
[0033]
The present invention relates to a “caption data / video display function” which is a part of a caption data editing / preview function. By displaying the display unit subtitle 11 surrounded by a square frame indicating the subtitle boundary on the timeline 12, the subtitle program data editing work is supported.
[0034]
FIG. 3 is a main screen for editing caption material to which the present invention is applied. The main screen is divided into a menu area 31 for calling various functions, an editing area 32 for inputting subtitle text, and an MPEG / AVI image and subtitle text list area 33. Here, “subtitle material” means subtitle program data composed of transmission / deletion time, subtitle text, and management information.
[0035]
FIG. 4 shows only the subtitle text list area 33 portion extracted from the main screen for subtitle material editing to which the present invention is applied.
[0036]
In the caption text list area 33, as shown in FIG. 4, the image 13, the display unit captions (11d, 11e, 11f, and 11g), and the specific frequency range (for example, 5 to 7 Hz) component of the audio power value are appropriately leveled. And the speech approximated data waveform 14 sliced and binarized are displayed.
[0037]
Here, each display unit subtitle (11d, 11e, 11f, 11g) has already been subjected to a line feed / page break by an automatic subtitle screen creation process or the like in the semi-automatic subtitle program production system to which the present invention is applied. The end timing is given and displayed surrounded by a square frame. This square frame is divided into lines in two stages, each display unit subtitle (11d, 11e, 11f, 11g) is displayed in the lower stage, and the corresponding page number is displayed in the upper stage.
[0038]
The left side of each display unit subtitle (11d, 11e, 11f, 11g) surrounded by a square frame indicates the subtitle display start timing, and the right side indicates the display end timing. In the present embodiment, the display end timing of the first display unit subtitle, for example 11d, and the display start timing of the next display unit subtitle 11e match, so the right side of the square frame surrounding the display unit subtitle 11d; The left side of the square frame surrounding the display unit subtitle 11e overlaps to form one side.
[0039]
In this state, when the right side of the portion where the upper page number of the square frame surrounding the display unit subtitle 11d is dragged to the left side with a mouse or the like, only the display end timing of the display unit subtitle 11d is changed. The display start timing of the display unit subtitle 11e is not changed. On the other hand, when the right side of the lower part of the square frame surrounding the display unit subtitle 11d is dragged to the left side with a mouse or the like, the next display unit subtitle is displayed together with the display end timing of the display unit subtitle 11d. The display start timing of 11e is also changed. That is, the timing at which the display of the display unit subtitle 11d is switched and the timing at which the display of the display unit subtitle 11d is matched with the timing at which the display of the display unit subtitle 11e is started are changed.
[0040]
The right side and the left side of the square frame indicating the display start and end timing of each display unit subtitle (11d, 11e, 11f, 11g) have the same time axis as the speech approximation data waveform 14 displayed in the lower column. Therefore, it is possible to change the time width and display timing of the caption display while confirming the position of the speech and the pose as compared with the data displayed as the binarized speech approximate data waveform 14.
[0041]
In this way, the position of speech and pose can be determined visually and intuitively, and the subtitle display to be displayed on the screen can be performed by a simple operation of moving the boundary line of the display unit subtitle display area. Since the timing can be corrected, the display unit subtitle data can be edited easily and with high performance, and the subtitle display timing can be easily edited. Furthermore, it is possible to reduce the ability required for those who perform subtitle program data editing work and the degree of tension.
[0042]
【The invention's effect】
As described above, according to the present invention, the subtitle display timing to be displayed on the screen is corrected by a simple operation of moving the boundary line of the display unit subtitle display area. By applying the present invention, it is possible to visually and intuitively correct the timing and confirm the correction result. In addition, the timing correction of the display unit subtitles can be performed easily and quickly, which greatly contributes to the efficiency of subtitle program production.
[Brief description of the drawings]
FIG. 1 is a diagram showing the basic principle of a caption editing support system based on subtitle boundary movement arranged on a timeline according to the present invention, and FIG. 1 (a) shows a state before subtitle boundary movement; FIG. 1B shows a state after the display timing of the display unit subtitles is changed by moving the subtitle boundaries.
FIG. 2 is a functional diagram of a semi-automatic caption program production system to which the present invention is applied.
FIG. 3 is a main screen for subtitle material editing to which the present invention is applied.
FIG. 4 is a list area portion of a subtitle text in a main screen for subtitle material editing.
[Explanation of symbols]
1 Subtitle Text Transcription Function 2 Automatic Subtitle Data Production Function 3 Subtitle Program Editing / Preview Function 4 Subtitle Screen Editing Support Function 11 Display Unit Subtitle Text 12 Timeline

Claims

字幕テキスト書き起こし機能、自動字幕番組制作機能、及び字幕番組編集・試写機能からなり、人手による字幕制作機能と自動による字幕制作機能とを組み合わせた半自動型字幕番組制作システムに適用する字幕編集・試写支援システムであって、
編集の対象となる表示単位字幕の表示開始タイミングと表示終了タイミングとを、当該編集の対象となる番組の時間経過を時間軸として示すタイムライン上の該当するタイミング位置に関連づける手段と、
前記表示単位字幕を四角の枠内部に含み枠の一端を表示開始位置とし、他端を終了位置として、前記タイムライン上に関連づけられた当該字幕表示開始タイミングと終了タイミングを表す位置にそれぞれ一致させるとともに、前記字幕に対応するスピーチの波形を前記タイムラインに一致させて表示する手段と、
表示された前記表示単位字幕の表示開始位置又は終了位置を移動することにより当該表示単位字幕の表示開始タイミングまたは表示終了タイミングを修正する手段と
を有することを特徴とする字幕編集・試写支援システム。Subtitle text transcription, automatic subtitle program production, and subtitle program editing / preview function. Subtitle editing / preview for a semi-automatic subtitle program production system that combines a manual subtitle production function with an automatic subtitle production function. A support system,
Means for associating the display start timing and display end timing of the display unit subtitle to be edited with the corresponding timing position on the timeline indicating the time passage of the program to be edited as a time axis;
The display unit subtitles are included in a square frame, and one end of the frame is set as a display start position, and the other end is set as an end position so that the display unit subtitles coincide with the positions indicating the subtitle display start timing and end timing associated with the timeline. And means for displaying the waveform of the speech corresponding to the subtitles in accordance with the timeline;
A subtitle editing / preview support system , comprising: means for correcting a display start timing or a display end timing of the display unit subtitle by moving a display start position or an end position of the displayed display unit subtitle .