JP3595871B2 - 連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法およびその処理手順を記録した記録媒体 - Google Patents
連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法およびその処理手順を記録した記録媒体 Download PDFInfo
- Publication number
- JP3595871B2 JP3595871B2 JP22117898A JP22117898A JP3595871B2 JP 3595871 B2 JP3595871 B2 JP 3595871B2 JP 22117898 A JP22117898 A JP 22117898A JP 22117898 A JP22117898 A JP 22117898A JP 3595871 B2 JP3595871 B2 JP 3595871B2
- Authority
- JP
- Japan
- Prior art keywords
- editing
- display
- scene
- continuous media
- media information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像の動画像フレームや音声の波形データ等の連続メディア情報を、コンピュータにより、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等からなる表示装置の画面上へ表示する技術と、キーボードやマウス等からなる入力装置から入力されるオペレータからの操作指示に基づき、画面上に表示した連続メディア情報を編集する技術に係わり、特に、情報内容を理解し易く、また、細かな編集作業を容易とするのに好適な連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法およびその処理手順を記録した記録媒体に関するものである。
【０００２】
【従来の技術】
ビデオデッキやビデオカメラなどＡＶ機器の低価格化に伴う普及によって、誰にでも簡単に映像を撮影・獲得することができる。また、ハードウェアやソフトウェアによる処理速度の向上によって、撮影した映像をデジタル化してコンピュータ上で映像を再生したり編集したりすることができる。
【０００３】
このようなコンピュータを用いて、デジタル化した映像を編集する従来技術として、例えば、アビドテクノロジー（Ａｖｉｄ Ｔｅｃｈｎｏｌｏｇｙ）社製のＡＶＩＤ／１メディアコンポーザ（ＭＥＤＩＡ ＣＯＭＰＯＳＥＲ）や、特開平７−４６４６２号公報（「映像プログラムを編集する方法と装置」）に記載のアドビ（Ａｄｏｂｅ）社製のプレミア（Ｐｒｅｍｉｅｒｅ）などがある。
【０００４】
これらの技術の特徴は、編集対象となる映像を表示する際、映像を構成しているフレーム画像を映画のフィルムのように一列に並べて表示することである。
以下、図１６を用いて、このフレームを編集単位としたフレーム単位編集技術について説明する。
【０００５】
図１６は従来のフレーム単位編集技術での画面表示例を示す説明図である。
コンピュータシステムの表示装置の画面上のウィンドウ３００には、編集対象となる人物の映像を表示するための行３１０と、車の映像を表示するための行３３０が設けられている。
ここで編集対象となる映像は、一連のフレーム画像の列として構成されている。例えば、行３１０における人物の映像はフレーム画像１１１〜１１３から、また、車の映像はフレーム画像１２１〜１２４から構成されている。
【０００６】
このようなフレーム単位での編集技術の特徴は、フレーム画像の列を映画のフィルムのように直線状に並べた映像表現を用いて、映像編集を行うことである。しかし、この技術では、映像中のフレーム画像列を一直線状に配置するため、一度に全てのフレーム画像を１ウィンドウの表示枠内に表示することができない。表示枠外の映像内容を確認するためには、オペレータは、スクロールバー３０１を用いて、フレーム画像列をスクロールする。
【０００７】
また、本例では、「映像１」と「映像２」の２つの映像を１つに繋ぎあわせる編集処理時の画面を表示している。ここでは、「映像１」の人物の映像から、「映像２」の車の映像に切り替わる際、人物の画像の端からだんだんと車の画像が現れてくる「ワイプ」と呼ばれる映像特殊効果を付加している。具体的には、人物の映像末尾フレーム画像１１２，１１３と、車の映像の先頭のフレーム画像１２１，１２２とを合成した画像を、映像編集結果の画像としている。
【０００８】
上述のメディアコンポーザ等の典型的なフレーム単位編集技術では、このような特殊効果付け編集操作を、ユーザに分かり易く提示するために、特別に、特殊効果表示用の行３２０を備えている。また、実際に２つの映像が合成される個所に「ワイプ」といった特殊効果付けアイコン３２１が表示される。
このような、編集対象のフレーム画像列を映画のフィルムのように一直線状に並べた映像表現を用いた映像編集技術が、フレーム単位映像編集技術である。
【０００９】
このフレーム単位映像編集技術は、従来、内容の確認が難しかったＶＨＳや８ｍｍ形式のビデオテープのような映像を、映画のフィルムの切り張りのような直感的な操作で映像が編集できる。
しかし、フレーム画像列を一直線状に配置すると、どこにどのような映像シーンが存在するかを探しにくくなる。
【００１０】
例えば、映像には通常、オープニングシーンや人が現れるシーンやエンディングシーンなど、シーンまたはカットと呼ばれる一連の論理的な映像区間を表す単位が存在するが、フレーム単位編集技術では、このような論理的な映像区間は何も考慮せず、ただ映像中の物理的な単位であるフレーム画像列のみを並べている。そのため、どこからどこまでが一連のシーンなのかが分かりにくい。
さらには、ある人物が登場するシーンだけを削除したい場合などには、どのフレーム位置でシーンが切り替わっているかを、オペレータが１フレームずつずらして確認する必要がある。
【００１１】
このようなフレーム単位編集技術の問題点を解決するための従来技術として、例えば、特開平７−７９４０４号公報（「ビデオの代表画像一覧作成方法および装置」）および特開平５−２６８５１７号公報（「動画像編集システムの表示方法」）に記載されている日立製作所製の映像編集ソフトウェアＭｅｄｉａｃｈｅｆ／ＣＵＴがある。この技術では、映像の論理単位であるシーンを編集の基本単位としたシーン単位編集技術を用いている。
以下、図１７を用いて、このシーンを編集の基本単位としたシーン単位編集技術について説明する。
【００１２】
図１７は、従来のシーン単位編集技術での画面表示例を示す説明図である。
コンピュータシステムの表示装置の画面上のウィンドウ４００には、編集対象となる４つの映像シーンがそれぞれシーンブロックイコン形式で表示されている。本編集技術では、前述の図１６の人物のシーンを表す映像１１１〜１１３はシーンブロックアイコン４１０として、同じく車の映像シーン１２１〜１２４はシーンブロックアイコン４２０として表示され、さらに、新たなコント漫才の映像シーンがシーンブロックアイコン４３０として、また、家の映像シーンがシーンブロックアイコン４４０として表示されている。
【００１３】
本例の各シーンブロックアイコン４１０〜４４０では、シーン中の特徴的なフレームの画像がアイコン画像として表面に表示され、またシーンの名称がアイコン画像の下に表示され、さらに、そのシーンの時間長が直方体状の各シーンブロックアイコン４１０〜４４０の奥行きとして表示されている。
このように、シーン単位の編集技術では、論理的な構造であるシーンだけをシーンブロックアイコン４１０〜４４０により表示することで、映像中にどのようなシーンが存在するのかが一目で分かる。
【００１４】
また、このシーン単位の編集では、あるシーンブロックアイコンを選択して、削除したり移動したりすることで簡単にシーンの編集を行なうことができる。例えば、図１７において、家のシーンをコントのシーンの前に移動するには、まずマウスカーソル１７０により家のシーンのシーンブロックアイコン４４０を選択し、マウスカーソル１７０をコントのシーンのシーンブロックアイコン４３０の前に移動する。これにより、シーンの並び替えが行われ、シーンブロックアイコン４４０がシーンブロックアイコン４３０の前に移動する。
【００１５】
このように、シーン単位編集技術では、フレーム単位編集技術では難しかった論理的なシーンの移動や削除を簡単に行なうことができる。
尚、シーン単位編集技術によっては、いくつかのシーンブロックアイコンをグループ化することができ、グループ化したシーンブロックアイコンとグループ内シーンブロックアイコンを木構造で表現することができるものもある。この技術では、より実際の映像の論理構造にそった編集が可能である。
【００１６】
しかし、このシーン単位編集技術では、シーンをシーンブロックアイコンとして表現しているため、シーン内の細かいフレーム画像の変化が捕らえにくくなる。例えば、先述の車のシーンの場合、図１６のフレーム単位編集技術では、フレーム画像１２１〜１２４によって表現されているので、車が左方向に動いていることが容易に把握できる。しかし、本図１７のシーン単位編集技術では、ある１枚のシーンを代表するフレーム画像だけがシーンブロックアイコン上に表示されるため、車が停まっているのか、車が動いていてもどの程度のスピードで動いているのかが把握しにくい。
【００１７】
また、このシーン単位編集技術では、フレーム画像列が表示されないため、フレーム単位編集では簡単に行なうことができた先述のような（「ワイプ」による９フレーム間での特殊効果付けや、さらには、あるフレーム区間内での字幕の挿入など、フレーム単位の編集作業が難しくなっている。
【００１８】
以上のような映像編集時の問題は、映像以外の連続メディア、例えば音声の編集にも存在する。
まず、図１６のウィンドウ３００における映像・音声編集画面を用いて、メディアコンポーザなどでも用いられている典型的な音声編集技術を説明する。
【００１９】
この音声編集技術では、音声波形を一直線状に配置して表現する。図１６では、行３１０の「映像１」に付随する音声を音声トラック３４０として表現している。同様に、行３３０の「映像２」に付随する音声を音声トラック３５０として表現している。これらの音声トラック３４０，３５０は、映像編集の際と同様に、マウスやスクロールバーなどを用いることによって、音声の区間を選択したり、選択した音声を加工したりすることができる。
【００２０】
このような音声編集技術にも、先のフレーム単位映像編集と同じく、音声全体の論理構造が把握しづらいという問題がある。すなわち、音声も映像と同じように、オープニングソングやインタビューの話者の音声などのような、論理構造が存在するが、音声をこのような一直線状に表現しているため、どこからどこまでがインタビュアーの声なのかが分かりにくい。
【００２１】
また、音声編集に関しても、映像の場合のようなシーン単位編集技術を考案することもできる。しかし、映像のシーン単位編集と同じく、音声中のどの部分でボリュームが変化するかなど、シーンブロックアイコンを見ただけでは把握できない情報がある。
【００２２】
【発明が解決しようとする課題】
解決しようとする問題点は、従来の技術では、コンピュータでの編集処理において、オペレータは、映像や音声等といった連続メディアの論理構造を容易に理解しながら、同時に、その構成単位／要素（映像では画像フレーム、音声では波形データ）も容易に理解することができない点である。
【００２３】
本発明の目的は、これら従来技術の課題を解決し、コンピュータを用いた映像や音声等といった連続メディアの編集作業を効率化することが可能な連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法およびその処理手順を記録した記録媒体を提供することである。
【００２４】
【課題を解決するための手段】
上記目的を達成するため、本発明の連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法は、例えば動画像の各画像フレームを連続して画面の横方向に表示する場合、シーンの変化点を区切りとして改行し、行単位で各シーンを表示する構成とする。
【００２５】
そして、各改行位置には改行マークを明示して、シーンの単位を理解し易くする。尚、画面の表示枠を超える場合には、スクロール操作等を行なっても良いが、その表示枠で強制的に折り返して次の行に表示することでも良い。この場合には改行マークは明示しない。
【００２６】
また、画面上の各行の先頭から、および、先頭の行から後続の行方向へ、所定の経過時間を表す目盛線を表示し、各フレームおよび各シーンの時間位置を容易に理解できるようにする。
また、行先頭の前の領域に、この行に表示されている全フレームに対応する従来技術で作成されるシーンブロックアイコン情報も合わせて表示する。
【００２７】
また、オペレータが編集対象のフレームを指定すると、その対象フレーム部分をハイライト表示することで、指定の良否を容易に判断できるようにし、かつ、その移動等の編集操作を容易とする。また、例えば、複数のフレームを１行に結合する場合、各結合部分を他の部分より大きく表示する等して、結合編集の結果を容易に判断できるようにする。さらに、結合編集した行の次の行から、結合編集前の各フレーム行の表示状態をウィンドウ表示する。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態を、図面により詳細に説明する。
図１は、本発明の連続メディア情報の表示・編集装置の本発明に係る構成の一実施例を示すブロック図である。
本図１において、１はＣＲＴやＬＣＤ等からなる表示装置、２はキーボードやマウス、トラックボール等からなる入力装置、３はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなり蓄積プログラム方式によるコンピュータ処理を行ない本発明に係わる連続メディア情報の表示および編集処理を行なう表示・編集装置、４はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等からなる補助記憶装置、５はビデオテープレコーダ等からなり映像と音声情報を入力する連続メディア情報入力装置、６は表示・編集装置３で処理する本発明に係わる表示・編集処理の手順からなるプログラムを記録した光ディスク、７は光ディスク６を駆動してそのプログラムを表示・編集装置３に入力する光ディスク駆動装置である。
【００２９】
表示・編集装置３には、光ディスク６から読み込んだプログラムにより、フレーム単位での表示と編集を行なうための表示処理部８と編集表示処理部９が構成され、また、連続メディア情報入力装置５から入力した映像や音声情報などのアナログ信号をコンピュータ処理可能なデジタル信号に変換するデータ変換部１０が設けられている。
【００３０】
表示処理部８は、フレーム表示部８ａ、区切り検出部８ｂ、改行部８ｃ、改行マーク明示部８ｄ、表示枠設定部８ｅ、折り返し部８ｆ、横方向時間目盛表示部８ｇ、縦方向時間目盛表示部８ｈ、シーンブロックアイコン表示部８ｉを有し、編集表示処理部９は、結合表示処理部９ａとアウトライン編集表示処理部９ｂを有している。
【００３１】
このような構成により表示・編集装置３は、連続メディア情報入力装置５から入力される映像と音声を、画像フレームと波形データに変換して表示装置１のウィンドウ画面上に表示し、入力装置２からのオペレータからの操作指示に基づき、表示した画像フレームと波形データに対する編集処理を行なう。
【００３２】
この表示処理において、表示・編集装置３は、フレーム表示部８ａにより、画像フレームや波形データを横方向に順に表示する。この時、区切り検出部８ｂにより、画像フレームや波形データの論理的な区切り、すなわち、シーンの変化点を検出し、改行部８ｃにより、この検出したシーンの変化点毎に画像フレームや波形データの表示を改行する。
【００３３】
このように、画像フレームや波形データを、シーン単位で行を変えて表示するので、編集処理を行なうオペレータは、各画像フレームや波形データの論理構造、すなわち各シーン構造を容易に理解することができると共に、その構成単位／構成要素、すなわち、画像フレームや波形データの内容も容易に理解することができ、それらの編集作業を効率的に行なうことができる。
【００３４】
また、各シーンの改行位置には、改行マーク明示部８ｄにより、改行マークをハイライト表示する。これにより、オペレータは、シーンの単位を理解し易くなる。
また、表示枠設定部８ｅにより、画面横方向の表示領域が設定され、この表示領域を越えるシーンの各画像フレームや波形データは、折り返し部８ｆにより、その領域から折り返して次の行に表示する。尚、この折り返し位置に対しては、改行マーク明示部８ｄによる改行マークのハイライト表示は行なわない。
【００３５】
また、横方向時間目盛表示部８ｇと縦方向時間目盛表示部８ｈにより、画面上の各行の先頭から、および、先頭の行から後続の行方向へ、所定の経過時間を表す目盛線を表示する。これにより、オペレータは、各フレームおよび各シーンの時間位置を容易に理解できる。
さらに、シーンブロックアイコン表示部８ｉにより、行先頭の前の領域に、この行に表示されている全フレームに対応するシーンブロックアイコン情報も合わせて表示する。
【００３６】
そして、編集処理において、入力装置２を介してオペレータが編集対象のフレームを表示措置１の画面上で指定すると、表示・編集装置３は、編集表示処理部９により、例えば移動編集等を行なうと共に、その対象フレーム部分をハイライト表示する。これにより、オペレータは、自分の指定操作の良否を容易に判断することができ、また、その移動等の編集操作経過および結果を容易に確認することができる。
【００３７】
また、この編集操作において、その指示が、複数のフレームを１行に結合するものであれば、結合表示処理部９ａにより、指示通り各フレームを結合すると共に、その各結合部分を他の部分より大きく表示する。これにより、オペレータは、結合編集の結果を容易に判断することができる。
さらに、アウトライン編集表示処理部９ｂにより、結合編集した行の次の行から、結合編集前の各行のシーンの表示状態を小さめのウィンドウで表示する。
【００３８】
以上の一連のフレーム画像列を（従来技術のように単純に一直線状に並べるのではなく）、映像の論理的なシーンの切れ目でフレーム画像列を区切って改行表示していくような映像表現処理は、表示・編集装置３に、ワープロ（ワードプロセッサ）の文章表示技術や編集技術のメタファを摘用したものである。以下、このようなワープロの文章表示技術や編集技術について説明する。
【００３９】
まずワープロの文章表示・編集技術と映像の表示・編集技術との関係についてに説明し、次に、表示・編集装置３について説明し、そして、最後に、音声に対する表示・編集装置３の処理動作を説明する。
【００４０】
映像、音声、静止画像、文字列と様々なメディアの中でも、文字列は古くから用いられてきており、その表示技術や編集技術には、これまで様々な技術が開発されてきた。文字列は、元をただせば単なる文字の並びである。しかし、文字列は実際には意味を持っており（通常、文章と呼ばれる）、単語や一文、および章や節などの論理構造が存在する。このような論理構造は、紙やワープロの文章では、句読点や改行、および章や節の見出しなどを用いて、ページと呼ばれる平面上に敷き詰めることにより、分かりやすく表現されている。
【００４１】
映像も単なるフレーム画像の並びであり、また、シーンと呼ばれる論理構造も存在する。しかし、そのフレーム画像列の論理構造を分かりやすく表現する技法がないことが問題であった。
そこで、映像に対しても、文字列と同様に、改行や句読点、ページなどの概念を適用できれば、文字列からなる文章を理解するのと同様に簡単に映像を表現できる。
【００４２】
そこで、映像の表現技術として、映像に対して論理的な区切りを表現する改行という概念を加える。具体的には、一続きの映像を表示するために、
（ａ）表示対象となる映像の開始位置から映像中の論理的な切り替わり時点までの映像部分区間を、この映像部分区間の時間長に比例した長さのフレーム画像の列として表示し、
（ｂ）次回表示位置を、（ａ）で表示した前回のフレーム画像列表示位置の隣に移動し、
（ｃ）表示対象映像から、（ａ）で既に表示した映像部分区間を取り除いた残りの映像区間を新たな表示対象映像とする。
そして、この処理を、少なくとも２回行なう。
【００４３】
さらに、この映像の表示・編集技術を、音声などにも適用する。
すなわち、映像に対する表現技術を、音声、アニメーション、スライドショー、映像、およびこれらが多重化されたメディア等の連続メディアにも適用可能にするため、次の技術を用いる。
【００４４】
まず、（ｄ）表示対象となる連続メディアの開始位置から、この連続メディア中の論理的な切り替わり点までの連続メディア部分区間を、連続メディア部分区間の区間長に比例した長さの棒状表現で表示し、
（ｅ）次回表示位置を、（ｄ）で表示した前回の棒状表示領域の隣に移動し、
（ｆ）表示対象連続メディアから、（ｄ）で既に表示した連続メディア部分区間を取り除いた残りの連続メディア区間を新たな表示対象連続メディアとする。
そして、この処理を、少なくとも２回行なう。
【００４５】
以下、まず、図２，図４，図５を用いて、図１における連続メディア情報の表示・編集装置３の基本的な表現動作例および編集動作例を、映像を対象として説明し、次に、図３を用いて音声を対象として説明し、さらに、図６〜図１１を用いて、データ構造と処理フローの例を説明し、最後に、図１２〜図１５を用いて、本例の使い勝手をさらに向上させる技術について説明する。
【００４６】
図２は、図１における表示・編集装置の本発明に係わる第１の処理動作例を示す説明図である。
本例は、図１の表示装置１の画面上における表示・編集装置３による処理結果を示すものであり、ウィンドウ１００には、フレーム画像表示領域１５１が表示されている。そして、編集対象映像として、フレーム画像１１１〜１１３、これに引き続き、フレーム画像１２１〜１２４、フレーム画像１３１〜１３２、フレーム画像１４１〜１４３が、一続きのフレーム画像列として構成された映像を表示している。
【００４７】
本例の表示技術の最大の特徴は、このような一連の映像を、従来のフレーム単位編集技術のように一直線状に表示するのではなく、フレーム画像列を映像の論理的な単位毎、つまりシーン毎にフレーム画像列を改行して表示することにある。この場合、「シーン１」を表すフレーム画像１１１〜１１３が最上段の行として表示され、同様に「シーン２」を表すフレーム画像１２１〜１２４が第２行、「コント」のシーンを表すフレーム画像１３１〜１３２が第３行、「家」のシーンを表すフレーム画像１４１〜１４３が第４行に表示される。
【００４８】
このように、フレーム列を改行表示することによって、次のような効果が得られる。
（１）オペレータは、行の並びを見ることによって、映像中にどのようなシーンが存在するのかという、映像の論理構造を、容易に把握できる。
（２）また、各行を見ることによって、
（２−１）行の長さ（本図２ではフレーム画像の枚数）から、各シーンの時間長を容易に把握でき、
（２−２）行の表示内容から、各シーン内でのフレーム画像の遷移状況など、シーンの内容を容易に把握できる。
【００４９】
本図２の例では、このような表示内容の理解性をより一層向上するために、さらに幾つかの工夫をしている。
工夫の１つ目は、各行に表示されているシーンの情報を、より分かりやすくユーザに提示するために、フレーム画像表示領域１５１の隣に、シーン情報表示領域１５０を表示している。
【００５０】
そして、シーン情報表示領域１５０には、フレーム画像表示領域１５１の各行の位置に対応して、各行が表しているシーンの情報を、従来技術で作成されるシーンブロックアイコンにより、シーン情報表示領域１５０に表示している。
すなわち、シーン情報として、シーン中のフレーム画像列の中から最もシーンを良く表しているフレーム画像と、シーンの内容を表すシーンの名称と、シーン長さを表すアイコンの３次元的な奥行き表現とを、１つのアイコンとして表示している。
【００５１】
例えば、第一行目のフレーム画像１１１〜１１３のシーンに対応するシーン情報を、シーン情報表示領域１５０中の同じ位置にシーンブロックアイコン１１０として表示している。このシーンアイコン１１０には、シーンを代表するフレーム画像としてフレーム画像１１２を表示し、シーン名称として「シーン１」という文字列を表示し、アイコンの奥行きとして、３次元的な奥行きをシーンの長さに比例した長さ分だけ表示している。
【００５２】
工夫の２つ目は、フレーム画像表示領域１５１に、３０秒あるいは１分など、ある決まった時間位置を表す時間目盛線を表示することである。
本図２の例では、シーンの先頭から３０秒目を表す時間目盛線１５３と、同様に１分の位置を表す時間目盛線１５４を表示している。このような一種の補助線をフレーム画像表示領域１５１中に表示することにより、オペレータは、各シーンの時間長をより具体的に把握することができる。
【００５３】
工夫の３つ目は、よりワープロ風の編集技術に似せるために、改行マーク１５６を表示している。
工夫の４つ目は、映像中の区間を選択できるようにすることであり、詳細は以降の例にて説明する。尚、図２では、ユーザがマウスカーソル１７０を使って映像の区間を選択し、選択された区間をハイライト領域１６０で表示している。
【００５４】
次に、図２の説明の補足として、他の似たような映像表示技術と本例の技術との相違点を説明する。
他の映像表示技術の１つ目として、従来技術で説明したメディアコンポーザに備わっている素材映像管理ウィンドウについて説明する。
【００５５】
すなわち、従来技術の素材映像管理ウィンドウには、複数の映像ファイル中の１映像ファイルを、本例の技術と同様に、１映像ファイル中のフレーム画像列として一つの行として表示し、複数の映像ファイルを、本例の技術と同様に複数の行として表現することによって、複数の映像ファイルの構成を分かりやすく表示している。しかし、本例の技術が表示対象とする映像は、この技術とは違って、複数の独立したシーン群ではなく、一続きの映像をその並び通りに改行したものである。
【００５６】
他の映像表示技術の２つ目として、図１７で示した従来技術のシーン単位編集のようなシーンブロックアイコン群の表示技術において、複数のシーンブロックアイコンの並びを、本例と同様に、あるまとまり毎に改行する技術も考えられる。しかし、このような表示技術では、複数のシーンを横並びに表示することはできるが、その表示行の長さは、本例のようにシーンの時間長を表すのではなく、論理的なシーンの数を表すのみであり、シーン時間長を直感的に把握することはできない。
【００５７】
また、映像の表示技術ではないが、従来の文章の表示技術と本例の技術的な違いについて説明する。
従来の文章の表示技術が対象とするデータは、文字列のみであり、本例の技術が対象とする連続メディア情報ではない。連続メディア情報には、それを再生するための時間情報があり、単純な文字列とは異なる。また、連続メディア情報は、ある時間ではその一部しか参照することができず、このため従来技術ではその全容やその論理構造の把握が難しくなっていた。これに比べて文字列は時間情報がないため、文字列全体を同時に２次元の紙上に表現することができる。
【００５８】
図３は、図１における表示・編集装置の本発明に係わる第２の処理動作例を示す説明図である。
本例は、映像に付属した音声トラックを編集している画面であり、このように、処理対象が音声の場合、図２のフレーム画像表示領域１５１ではなく、音声波形表示領域２５１を表示する。
【００５９】
本例の場合、図２における映像のシーン２（シーンブロックアイコン１２０で表示）と、コントシーン（シーンブロックアイコン１３０で表示）に付随する音声を表示している。このような音声編集の場合、シーン２のフレーム画像１２１〜１２４の表示に代わって、本例では、シーン２に付随する音声トラックの波形を折れ線グラフを描画した棒状領域２１１を使って表示している。この棒状領域２１１の長さは、音声シーンの時間長を、画面上の時間目盛の縮尺に従って表示している。
尚、音声のトラック表現技術としては、実波形の折れ線グラフ以外にも、波形のボリュームの大きさをグラフ化した表現を用いてもよい。
【００６０】
本例では、図１の場合と同様に、マウスカーソル１７０を用いて選択した音声区間をハイライト表示領域２６０として表示している。
このように、図１における表示・編集装置３では、映像の表示・編集以外にも、音声も編集できる。これから容易に類推できるように、表示・編集装置３は、時間情報を持った、他の連続メディアにも適用できる。
【００６１】
例えば、他の連続メディアとして考えられるものとしては、数枚のスライドを数秒おきに表示するようなスライドショーや、スライドではなく、インターネットの動くＷＷＷページのようなプログラムを含んだＨＴＭＬ文書なども考えられる。さらには、これら基本的な連続メディアを連続して一列に並べた複合連続メディアや、これら連続メディアを平行して複数持つマルチトラック形式の連続メディアにも対応することができる。
【００６２】
以降、主に連続メディアが映像の場合の表示・編集操作の技術例について説明するが、これらの技術は全て音声などの連続メディアにも適用できる。
図４は、図１における表示・編集装置の本発明に係わる第３の処理動作例を示す説明図である。
本例は、図１における表示・編集装置の編集動作例を示し、特に、編集区間の選択操作例を示している。
【００６３】
図４（ａ）では、マウスカーソル１７０で指定される画面上の１点をクリックすることによって、映像中のあるフレームの位置を指定する例を示している。
また、図４（ｂ）では、マウスカーソル１７０で指定される画面上の２点をクリックすることによって、映像区間を指定する例を示している。そして、図４（ｃ）では、ある１つのシーンの全体を選択する操作例を示している。
【００６４】
尚、本例では採用していないが、マウスがクリックされた際、マウスカーソル１７０で指定された映像の位置に対応するフレーム画像を別ウィンドウで表示したり、もしくは、指定された映像の位置から始まる映像を別ウィンドウに再生したりすることも容易に実現できる。
【００６５】
図４（ａ）において、映像中のフレーム画像１１２の位置を指定するためには、マウスカーソル１７０をフレーム画像１１２の上に移動し、マウスをクリックする。このようにして映像中のフレーム画像１１２の位置を指定したこととなり、該当する指定位置のフレーム画像１１２がハイライト領域５６０によって強調表示される。
【００６６】
また、図４（ｂ）において、フレーム画像１１２〜１１３、１２１〜１２２からなる映像区間を選択して指定するためには、まず、マウスカーソル１７０を選択範囲の先頭位置であるフレーム画像１１２上に移動し、マウスの左ボタンをクリックし（図４（ａ）の表示となる）、次に、マウスカーソル１７０を選択範囲の終了位置であるフレーム画像１２２上に移動し、マウスの右ボタンをクリックする。この操作を行なうと、複数のフレーム画像に渡る映像区間を選択したこととなり、該当する選択範囲のフレーム画像１１２〜１１３、１２１〜１２２がハイライト領域５６１，５６２によって強調表示される。
【００６７】
さらに、図４（ｃ）において、ある１つのシーン、ここでは、「シーン１」の全体、つまりフレーム画像１１１〜１１３を選択するためには、選択したいシーンを表している行のうち、フレーム画像以外の場所をマウスでクリックする。図４（ｃ）の例では、シーンブロックアイコン１１０をクリックしている。この操作を行うことによって、「シーン１」のフレーム画像列全体が選択されたことになり、選択区間がハイライト表示領域５６４によって、ハイライト表示される。さらに、図４（ｃ）の例では、シーン全体が選択された場合は、該当するシーンブロックアイコンも別のハイライト表示領域５６３を用いてハイライト表示される。
【００６８】
図５は、図１における表示・編集装置の本発明に係わる第４の処理動作例を示す説明図である。
本例は、図１における表示・編集装置の選択区間に対する編集処理動作例を示しており、特に、図４の操作で指定、選択された映像区間に対して、区間の切取や挿入などの映像の並びを変更する編集操作と、選択された映像区間のフレーム画像列の各々に対して画像のぼかしなどを行うフレーム画像フィルタ編集操作を行なっている。
【００６９】
選択区間に対する編集操作では、図５（ａ）に示すように、まず初めに、オペレータが、これから編集を行いたい映像区間を図４で示した操作で選択する。そして次に、図５（ｂ）に示すように、編集メニュー１８１を指定し、編集プルダウンメニュー１８３内からオペレータが望む区間編集処理を選択する。このようにして選択された映像区間に対する編集処理を行なう。
【００７０】
選択できる区間編集処理として、本例では、編集メニュー１８１で示すように、選択した映像区間の切り取り、切り取った映像区間を挿入（貼り付け）を、また、フレーム画像フィルタ編集として、メニュー１８４で示すように、フレーム画像列の明るさ調整、同じく画像をぼかす処理、同じくフレーム画像内に字幕を表示する処理を用意している。
【００７１】
図５（ｃ−１）では、区間映像編集処理として「切り取り」選択した場合の編集結果表示を示している。編集処理によって図５（ａ）において先に選択された映像区間（フレーム画像１２１〜１２２）が編集映像から削除され、それに伴って画面からも該当する映像区間が表示されなくなる。
【００７２】
図５（ｃ−２）では、区間映像編集処理として「字幕挿入」を選択した場合の編集結果表示を示している。編集処理によって、図５（ａ）で先に選択された映像区間中の全フレーム画像１２１〜１２２に対して、字幕を表示する画像処理が施され、その画像処理結果のフレーム画像１２１ａ〜１２２ａが作成され、それに伴って画面上の該当する映像区間のフレーム画像の表示も更新される。
【００７３】
以上が、図１における表示・編集装置３の基本的な表示処理および編集操作、処理である。
次に、図６〜図１１を用いて、図１の表示・編集装置３で扱うデータ構造例と処理動作例を説明する。
図６は、図１における表示・編集装置で処理するデータ構造例を示す説明図であり、図７〜図１１は、図１における表示・編集装置の本発明に係わる第１〜第５の処理手順例を示すフローチャートである。
【００７４】
図６で示すように、メディア情報７０１に、編集対象となる映像全体の情報を格納する。また、図２におけるフレーム画像表示領域１５１中に表示される行の並び、つまりシーンの並びを表すシーン情報７１１、７２１などが、リスト構造として格納されている。
メディア情報７０１には、実際に編集される映像ファイルに対し、そのファイル名７０２と、その映像の時間長（メディア長７０３）、および、編集処理時に用いるシーン情報リストへのポインタ（シーン列７０４）が格納されている。
【００７５】
１つの表示行、または、１つのシーン（「シーン１」）を表すシーン情報７１１は、各行に表示するシーンアイコンで用いるアイコン画像７１２と、このシーンアイコンの下に表示するシーンのコメント７１３（文字列）、および、シーンの映像ファイル中でのこのシーンの開始位置７１４と同終了位置７１５と、シーンの並びのうち次に表示されるシーンのシーン情報７２１（「シーン２」）へのポインタ７１６から構成されている。
【００７６】
図７に示す処理は、図１における表示・編集装置３が、本発明に係わる処理動作として一番始めに実行する処理フローを示している。
映像の編集を始める場合、編集対象となる映像ファイルを指定する。この場合に呼ばれる処理がファイルを開く処理フロー（ステップ８００）である。以下、その内容を説明する。
【００７７】
まず、ステップ８０１において、指定された映像ファイルから、図６に示すようなデータ構造を作成する。尚、ユーザが、この映像ファイルに対応するデータ構造をファイルに格納していた場合、ファイルを開く際に映像ファイルと共に、このデータ構造ファイルの名称が指定された場合などは、ステップ８０１の処理は不要である。
【００７８】
次にステップ８０２において、ステップ８０１の処理で作成されたデータ構造を元に、図２に示すような表現形態で、映像を表示する。
次にステップ８０３では、編集に用いる選択区間の情報を初期化する。本例では、この初期表示時は、映像ファイルの先頭フレーム位置を選択することにしている。
最後にステップ８０４のループ処理において、ユーザが編集処理の終了を指示するまで、ユーザ操作イベントに対応した編集処理を行う。
【００７９】
このステップ８０４のループ内では、まず、ステップ８１１の処理により、ユーザのマウスクリックやメニュー選択、あるいはカーソル移動などの操作イベントを得る。次に、ステップ８１２での条件に対応した分岐により、ユーザ操作イベント毎に対応した処理を選択する。例えば、画面をクリックされた場合は、画面クリック処理８２１を、また、編集メニューが選択された場合は、編集メニュー処理８２２を行う。そして、編集終了メニュー（ファイルメニューの中にあるものとする）が選択された場合は、ステップ８０４のループ処理を終了する。
【００８０】
図８は、図７におけるステップ８０１の処理の詳細を示すフローチャートである。
本例は、指定された映像ファイルから、編集処理のために必要なデータ構造である図６のメディア情報を作成する処理例を示している。
まずステップ９０１において、メディアの情報を格納するメモリ領域（図６の７０１）に、映像ファイル名と映像ファイルの時間長を設定する。
【００８１】
次に、ステップ９０２において、新しくシーン情報のメモリ領域（図６の７１１）を生成し、そのシーン情報を先のメディア情報のシーン列の先頭位置（図６の７０４）に設定する。
さらに、ステップ９０３において、生成したシーン情報に初期値として、シーン開始位置に位置「０」、末尾位置にメディア情報に設定したメディア長（時間長）を設定する。
【００８２】
そして、ステップ９０４のループ処理を行う。
このステップ９０４のループ処理では、制御変数ｉを１からカウントし、複数のシーン情報を作成していく処理を行う。
すなわち、まず、ステップ９１０において、現在のシーン情報のアイコン画像に、シーンの開始位置のフレーム画像を設定し、さらに、シーンの名称を表すコメント領域に「シーンｉ」という名前をつける（ｉは変化する）。
【００８３】
次に、現シーンを論理的な区切り単位で分割するために、ステップ９１１では、映像をシーンの開始位置から１フレームずつ再生し、シーンが変化する点であるシーン変化点があるフレーム位置を探す。シーン変化点を求める技術としては、フレーム画像列中の隣接する２枚のフレーム画像間の画像的な差分量を求め、その画像差分量が、あるしきい値より大きくなった場合、そのフレーム画像位置をシーン変化点位置とする等が考えられる。
【００８４】
そして、次に、ステップ９０４のループの終了判定を行う。尚、先のステップ９１１の処理では、映像の末尾の位置もシーン変化点となるようにする。このため、ステップ９１２の処理での条件において、シーン変化点の位置が映像末尾位置の場合、映像読込みが終了したと判断する。
映像がまだ末尾位置まで達していない場合、ステップ９１３の処理を行う。
【００８５】
このステップ９１３の処理では、現在のシーン情報を、シーン変化点の位置で前後２つのシーン情報に分割する処理を行なう。
まず、新しいシーン情報メモリ領域を生成し、次に、新しいシーン情報のシーン先頭位置を先のシーン変化点位置に、シーン末尾位置を現在のシーン情報の末尾位置を設定する。その後、現在のシーン情報の末尾位置を「シーン変化点−１」の値に更新し、さらに、現在のシーン情報の次ポインタに新しいシーン情報を設定する。
【００８６】
ステップ９０４のループ処理の最後、ステップ９１４では、先の新しいシーンを次ループで用いる現在のシーン情報とする。
尚、ステップ９０４のループ中のステップ９１２における条件て、映像末尾まで読込みを完了した場合、ステップ９２１に進む。そして、ステップ９２１では、現在のシーン情報の次ポインタにリスト構造の終端を表す「なし」値を設定し、その後、ステップ９２２でステップ９０４のループを終了する。
【００８７】
図９は、図７におけるステップ８０２の処理の詳細を示すフローチャートである。
本例は、映像データを表示する処理例を示しており、まず、ステップ１００１において、画面上の表示位置を画面左上に設定する。次に、ステップ１００２において、表示開始シーンとして、連続メディア情報からシーン情報リストの先頭にあるシーン情報を得る。尚、より望ましい実現例として、ステップ１００２で指定する表示開始シーンを変更させることにより、スクロール表示機能を提供することも考えられる。この場合、スクロールバーやカーソル移動等の操作などにあわせて、この表示開始シーンを変更させれば良い。
【００８８】
次に、ステップ１００３のループ処理において、画面内に映像データを表示する処理を行う。まず、ステップ１０１１において、現在のシーン情報から、シーンのアイコン画像とシーンのコメント文字列を表示する。次に、ステップ１０１２において、シーンの開始位置から終了位置までの内容を画面上に表示する。この際、画面上に表示する形状は横長の棒状領域で、その表示長さは「（シーンの時間長）×表示係数Ｋ」となるようにする。
【００８９】
例えば、図２での映像データの表示の場合、シーンの開始位置から終了位置までのフレーム画像をフィルムのように横に並べた表示を行う。また、図３のような音声データの表示の場合、シーン中の音声波形をグラフ状に表示すれば良い。尚、ここで表示係数Ｋは、プログラム起動時などに予め設定しておく。また、この表示係数Ｋを画面のズーム表示用に用いることもできる。例えば、表示係数Ｋを小さくすることにより、時間が長いシーンでも画面からはみ出すことなく表示することができる。
【００９０】
次に、ステップ１０１３では、表示位置を一行下に移動する。この時の移動幅は、例えば、フレーム画像の高さ×２などにすれば良い。
ステップ１００３のループ処理の最後では、シーン情報の次ポインタをたどって次のシーン情報を得る。そして、表示位置が画面の範囲内である間ループし、画面外に出た場合に、ステップ１００３のループ処理を終了する。
【００９１】
次のステップ１００４のループ処理では、時間軸を表示する。すなわち、ステップ１０２１において、予め指定した３０秒もしくは１分などの表示時間幅毎に縦線を引いていく。縦線のＸ座標位置は、ループカウントｉ＝０〜ｎとすると、「表示時間幅×ｉ×表示係数Ｋ」となる。
【００９２】
図１０は、図７におけるステップ８２１の処理の詳細を示すフローチャートである。
本例は、画面クリック時の処理動作を示し、画面をクリックされた際、ステップ１１０１において、まず、クリック位置から、画面上のどのシーンが指定されたかを調べる処理を行い、次に、クリック位置のＹ座標から、クリックされた行位置Ｒを求める。行位置Ｒを求めるには、例えば、Ｙ座標値を図９のステップ１０１３の処理で用いた表示行幅で割れば良い。さらに、ステップ１１０１においては、メディアのシーン列の先頭からＲ番目のシーン情報を得る処理を行う。
【００９３】
ステップ１１０２では、条件に応じた分岐処理を行なう。すなわち、クリックされたＸ座標を元に、クリック位置がシーン情報表示領域１５０かフレーム画像表示領域１５１かの判定を行う。もし、クリック位置がシーン情報表示領域１５０の場合、ステップ１１１１において、該当するシーン全体を選択する処理を行う。ここでは、選択開始位置および選択終了位置に、ステップ１１０１の処理で得たシーン情報の開始位置と終了位置を設定する。
【００９４】
また、クリック位置がフレーム画像表示領域１５１の場合、ステップ１１１３以降、フレーム単位で選択位置を設定する処理を行う。まず、ステップ１１１３の処理で、画面上のクリック位置からシーン中の時間位置を計算する。ここでは、クリック位置のＸ座標を、映像の表示で用いた表示係数Ｋで割ることによって、シーン中の時間位置Ｃを求める。この時間位置とは、該当するシーンの開始位置を０とした時間位置である。
【００９５】
ステップ１１１４の条件分岐処理では、クリックした時間位置Ｃが選択したシーンの長さ（＝シーン．終了位置−シーン．開始位置）より長い場合、ステップ１１２１において、時間位置Ｃをシーンの長さにする補正処理を行う。
このようにして、シーン中の時間位置Ｃが決定したら、ステップ１１１５において、左クリックか右クリックかに従った選択処理を行う。左クリックの場合、ステップ１１２３において、選択開始位置をシーン．開始位置＋（シーン内）時間位置Ｃとする。
【００９６】
また、右クリックの場合、ステップ１１２５において、選択終了位置をシーン．開始位置＋（シーン内）時間位置Ｃとする。
画面クリック処理の最後、ステップ１１０３の処理として、更新された選択開始位置から選択終了位置までの領域を選択状態表示（図２における符号１６０で示すようなハイライト表示）にする。
【００９７】
図１１は、図７におけるステップ８２２の処理の詳細を示すフローチャートである。
本例は、編集メニューが選択された時の処理動作例を示している。
編集メニューが選択された場合、まず、ステップ１２０１において、現在の選択区間に対応したシーン情報を得る。得られた情報は、選択開始位置が存在するシーン情報（開始シーン情報）、選択終了位置が存在するシーン情報（終了シーン情報）、開始シーン情報の次のシーン情報から終了シーン情報の１つ手前のシーン情報までの中間のシーン情報の列（中間シーン列）からなる。
【００９８】
開始シーン情報を探すには、メディア．シーン列を先頭から順次参照していき、シーンの先頭位置≦選択開始位置≦シーンの末尾位置となるシーン情報を探せば良い。同様に終了シーン情報を探すには、シーンの先頭位置≦選択終了位置≦シーンの末尾位置となるシーン情報を探せば良い。そして、中間シーン列は、先頭シーン情報と末尾シーン情報から容易に得ることができる。
【００９９】
次に、ステップ１２０２での条件分岐処理において、選択された編集メニューを判定する。
選択された編集メニューが「切り取り」の場合、選択区間を切り取り、切り取った選択区間をクリップボードにコピーする処理を行う。すなわち、まず、ステップ１２１１において、選択区間をクリップボード用に格納する。具体的には、まず開始シーン、中間シーン列、終了シーンの複製を作成し、その後、開始シーンの複製の先頭位置を選択開始位置に、終了シーンの複製の終了位置を選択終了位置に更新し、最後に、クリップボードに複製を格納する処理を行う。
【０１００】
また、次のステップ１２１２において、選択区間を実際に削除する処理を行う。具体的には、まず、中間シーン列をメディア．シーン列のリストから削除し、その後、開始シーンの終了位置を選択開始位置−１に、また、終了シーンの開始位置を選択終了位置＋１に更新する。
【０１０１】
ステップ１２０２で、選択された編集メニューが「挿入」の場合、ステップ１２１５において、クリップボードに格納されているシーン列を、開始シーンの直後に挿入する処理を行う。
また、ステップ１２０２で、選択された編集メニューが「フィルタ」の場合、ステップ１２１７において、映像ファイルのうち、選択開始位置から選択終了位置までのフレーム画像１枚ずつに対して、字幕処理やぼかし処理などの画像処理を行う。
【０１０２】
例えば、ぼかしフィルタの場合、映像ファイルから取り出したフレーム画像に対して、移動平均フィルタと呼ばれるような画像処理技法を用いてぼかし処理を施し、その後そのフレーム画像を映像ファイルに書き戻す処理を行う。
また、字幕処理の場合は、ユーザが指定した文字列を指定されたフォント、表示位置でフレーム画像上に描画し、描画されたフレーム画像を映像ファイルに書き戻す。
【０１０３】
尚、本例では、処理の簡略化のため、フィルタメニュー指定時に、直接、画像処理を施している。しかし、望ましくは、直接画像処理を行うのではなく、繰り返し行われる編集処理の情報を別途記録しておき、ユーザが指示した時点で画像処理をバッチ的に動作させた方が、ユーザの使い勝手および処理効率が良い。
このような編集メニュー処理の最後、ステップ１２０３の処理において、編集が終わった映像を再表示する。
【０１０４】
次に、図１２〜図１５を用いて、図１における表示・編集装置３による、さらに使い勝手を向上させる表現技術および編集操作技術について説明する。
図１２は、図１における表示・編集装置の本発明に係わる第５の処理動作例を示す説明図である。
本例は、図１における表示・編集装置の表示処理動作にページの概念を導入した場合の画面構成を示している。
【０１０５】
ワープロにおる文字列編集にもページと呼ばれる概念があるように、本例の連続メディア情報の表示・編集技術にもページの概念を導入する。本例でのページの大きさを表す単位としては、時間を用いる。
そして、本図１２では、ページ幅を１分間、ページ高さを５分間として設定した場合の、ページ単位表示モードの画面例を示している。
【０１０６】
本例の特徴は、「シーン２」（フレーム画像１３０１〜１３０６）の内、ページの表示時間幅を超えた部分（フレーム画像１３０５，１３０６）が折り返し表示されていることと、ページ縦時間軸１３１１を表示していることである。すなわち、「シーン２」は、ここでは１分３０秒程度の長さであるが、先頭から一分間のフレーム画像１３０１〜１３０４と、残りのフレーム画像１３０５〜１３０６の２つに分離されて表示されている。またページ縦時間軸には、「５：００」のような時刻表示領域１３１２を設けている。
【０１０７】
このように、ページ幅と高さを意識した表示モードを導入することによって、オペレータは、映像の時間長をより分かりやすく把握できるようになる。本モードは特にＴＶ番組でのＣＭ挿入位置などの確認に最適である。
尚、このような表示を行うためには、図９のステップ１０１２における映像の表示処理を、各時間幅毎にシーンを区切って表示するように変更すれば良い。また、このステップ１０２１の時間軸表示処理において、縦線の時間軸だけでなく、横線の時間軸も表示するように変更を施せば良い。
【０１０８】
図１３は、図１における表示・編集装置の本発明に係わる第６の処理動作例を示す説明図である。
本例は、図１における表示・編集装置による結合表示動作時の画面構成例を示している。
映像に、カーチェイスのシーン列などのような数秒からなる短いシーンが多数存在するシーンが存在すると、画面上の表示行数が非常に多くなり、シーンの論理構造が把握しににくなる。このようなシーン列は、画面上では１つのシーンとしてまとめて扱えたほうが便利である。
【０１０９】
このような理由から、複数のシーンを１つのシーンとして同一行に表現する表示技術を用意した。
本図１３の例では、図２のシーンブロックアイコン１１０の「シーン１」とシーンブロックアイコン１２０の「シーン２」およびシーンブロックアイコン１３０の「コント」の各シーン列を結合し、「新シーン」（シーンブロックアイコン１４１０）として表示している。
【０１１０】
このシーンブロックアイコン１４１０の「新シーン」のフレーム画像列としては、結合した各シーンのフレーム画像１４１１〜１４１３、１４２１〜１４２３、１４３１を表示している。特に、本例では、結合していることを強調するため、結合中の各シーンの先頭フレーム画像１４１１，１４２１，１４３１を大きなフレーム画像で強調表示している。もちろん強調表示はなくとも良い。
【０１１１】
このような結合表現を提供するには、図６のデータ構造のうち、シーン情報７１１に、新たに「結合シーン列」というポインタ格納項目を設け、このポインタの先に結合されたシーン列を別途保持しておけば良い。また、図９の映像表示処理手順のステップ１０１２においてシーンを表示する際に、「結合シーン列」中のシーン情報列から適宜シーン情報とフレーム画像を取り出し、画面上に表示すれば良い。
【０１１２】
図１４は、図１における表示・編集装置の本発明に係わる第７の処理動作例を示す説明図である。
本例は、図１における表示・編集装置によるシーンのアウトライン表示動作時の画面構成例である。
図１３に示したようなシーンの結合表示を用いた場合、結合されたシーンをさらに結合するなど、各々のシーンに階層関係があらわれるようになる。
【０１１３】
本例は、このような階層関係を直接扱うものであり、図１３で説明したシーンブロックアイコン１４１０の「新シーン」下部に、結合編集された「シーン１」（シーンブロックアイコン１１０）と、「シーン２」（シーンブロックアイコン１２０）、および、「コント」（シーンブロックアイコン１３０）をぶら下げ表示している。
【０１１４】
またフレーム画像表示領域１５５１にも、結合されたシーン列に対応するフレーム画像列を、表示開始位置を少し右にずらしたインデント表示で表示している（領域１５０１）。
このように、シーンの階層構造を、インデントやぶら下げ表示することによって、映像の論理構造を、ワープロにおける章や節のアウトライン編集を使っているかのように、容易に把握することが可能となる。
【０１１５】
このような表示を行うには、図９の映像表示処理でのステップ１０１２と１０１３との処理の間に、「映像の表示（パラメタはシーン．結合シーン列）」のような再帰的な関数呼び出し処理を挿入すれば良い。
尚、映像の編集操作などは、クリック位置によってどの結合階層領域（領域１５５１または領域１５０１）で編集処理が発生したのかを判断した後、該当する領域上の映像シーン列に対して従来の処理を行えば良い。
【０１１６】
図１５は、図１における表示・編集装置による編集機能とワープロでの文章編集機能との比較対応例を示す説明図である。
本例の表においては、各ワープロ編集の機能１６０１〜１６０８（「文字列」、「１行」、「フォント変更」、「行間調整」、「検索」、「ヘッダ／フッタ」、「差込印刷」、「文章チェック」）に対応する本例の連続メディア情報の表示・編集技術による機能（「本発明の映像編集」）が示されている。
【０１１７】
本例では、「文字列」に「フレーム画像列（＝映像）」、「１行」に「１シーン」、「フォント変更」に「特殊効果付け（ぼかし）、「行間調整」に「２シーン間のワイプ等」、「検索」に「同種映像検索」、「ヘッダ／フッタ」に「オープニング／エンディング」、「差込印刷」に「映像編集テンプレート」、「文章チェック」に「不正映像検査」のそれぞれの機能が対応付けられている。
【０１１８】
上述したように、本例の連続メディア情報の表示・編集装置３および表示・編集方法では、ワープロ編集で文字列を編集するように、フレーム画像列、つまり映像を簡単に編集することができる。すなわち、本例では、フレーム画像列を１本線状に並べる（１６０１）だけではなく、ワープロ編集での改行編集（１６０２）のように、意味のある映像シーン毎に改行表示している。
【０１１９】
これを更に発展して考えると、ワープロによる文章編集で有効な様々な編集技術は、本例の表示・編集装置および方法による映像編集技術に容易に適用することができる。例えば、ワープロで選択した文字列のフォントを変更する操作（１６０３）を本例の映像編集に適用した例として、図５で説明した選択映像区間に対する編集操作技術が挙げられる。
【０１２０】
このようなワープロの編集機能を本例の表示・編集装置の編集機能に適用するという発想によって、図１５の表に示すような、より使いやすい映像編集技術を考えることができる。
【０１２１】
例えば、ワープロの行と行の間を調整する行間調整（１６０４）の操作方法を映像編集に適用する場合を考える。
ワープロでは２つ以上の行を選択して、行間調整メニューを選択することにより、行間の長さ等を調整できる。この文章編集の行間調整は、映像編集の場合、例えば、２つのシーン間のワイプなどの特殊効果付けとして捕らえることができる。このことから、映像編集の操作として、２つ以上のシーンを選択した後、シーン間特殊効果付けメニューを選択するという、シーン間特殊効果付けの新しい指定方法を容易に考えることができる。
【０１２２】
同様の考えから、ワープロで言う文字列の検索機能（１６０５）は、本例の映像編集では、指定した映像と同様の映像を探し出し、見つけ出した映像区間を選択状態にする、という映像編集技術として適用できる。この同様の映像を見つける技術としては、映像に付与されたキーワードを元に条件に見合う映像区間を見つける技術や、フレーム画像の画像差分量がある基準値より小さい映像区間を見つける技術などが考えられる。
【０１２３】
またワープロで言うページのヘッダやフッタ等の編集機能（１６０６）は、本例の映像編集では、オープニング／エンディング映像編集機能として適用できる。また、ワープロで言う差込印刷機能（１６０７）は、本例の映像編集では、映像の編集内容のテンプレートを用意し、そのテンプレートに様々な映像を挿入するという、映像編集テンプレート機能として適用できる。
【０１２４】
さらに、ワープロの文章チェックやスペルチェックなどの機能（１６０８）は、人の潜在意識に作用すると言われるサブリミナル映像シーン（１秒未満のごく短いシーン）を自動的に指摘する等の不正映像検査機能と考えることができる。尚、このサブリミナル映像シーンを自動的に見つける技術としては、例えば、特開平０９−０７４５７５号公報に記載の「動画像の特徴場面表示方法及び装置」等が挙げられる。
【０１２５】
以上、図１〜図１５を用いて説明したように、本実施例の連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法では、例えば動画像の各画像フレームを連続して画面の横方向に表示する場合、シーンの変化点を区切りとして改行し、行単位で各シーンを表示する。そして、各改行位置には改行マークを明示して、シーンの単位を理解し易くする。また、画面の表示枠を超える場合には、その表示枠で折り返して次の行に表示する。尚、この場合には改行マークは明示しない。
【０１２６】
また、画面上の各行の先頭から、および、先頭の行から後続の行方向へ、所定の経過時間を表す目盛線を表示し、各フレームおよび各シーンの時間位置を容易に理解できるようにする。
また、行先頭の前の領域に、この行に表示されている全フレームに対応する従来技術で作成されるシーンブロックアイコン情報も合わせて表示する。
【０１２７】
また、オペレータが編集対象のフレームを指定すると、その対象フレーム部分をハイライト表示することで、指定の良否を容易に判断できるようにし、かつ、その移動等の編集操作を容易とする。また、例えば、複数のフレームを１行に結合する場合、各結合部分を他の部分より大きく表示する等して、結合編集の結果を容易に判断できるようにする。さらに、結合編集した行の次の行から、結合編集前の各フレーム行の表示状態をウィンドウ表示する。
【０１２８】
このように、本実施例によれば、一続きの映像データのフレーム画像列を一直線状ではなく、意味のある区間ごとに改行表示するので、映像の論理構造と映像のフレーム構成との両方の把握が容易になる。また、音声情報等、映像以外の連続メディアにも同様に適用できるので、連続メディアの論理構造と連続メディアの構成要素との両方を把握するのも容易になる。
また、このような見た目での理解の容易さにより、連続メディアの編集操作もも容易となる。
【０１２９】
尚、本発明は、図１〜図１５を用いて説明した実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例では、画面の表示枠を超える場合には、その表示枠で折り返して次の行に表示しているが、折り返し表示することなく、スクロール操作等を行ない表示するようにしても良い。
また、本例では、映像区間の選択操作において、マウスを用いる例で説明しているが、通常のワープロの操作と同様に、キーボードのカーソルキー等を用いて映像区間を選択することもできる。
【０１３０】
また、本例では、連続メディアの格納形態としては、ビデオテープレコーダ等の蓄積メディアを用いているが、これに限定しなくとも良く、例えば、ＴＶやラジオなどのストリーミング形式の連続メディアでも良い。このようなストリーミング形式の連続メディアの場合は、連続メディアの終端位置を仮想的に無限大として扱えば良い。
【０１３１】
【発明の効果】
本発明によれば、コンピュータでの編集処理において、オペレータは、映像や音声等といった連続メディアの論理構造を容易に理解しながら、同時に、その構成単位／要素（映像では画像フレーム、音声では波形データ）も容易に理解することができ、コンピュータを用いた映像や音声等といった連続メディアの編集作業を効率的に行なうことが可能である。
【図面の簡単な説明】
【図１】本発明の連続メディア情報の表示・編集装置の本発明に係る構成の一実施例を示すブロック図である。
【図２】図１における表示・編集装置の本発明に係わる第１の処理動作例を示す説明図である。
【図３】図１における表示・編集装置の本発明に係わる第２の処理動作例を示す説明図である。
【図４】図１における表示・編集装置の本発明に係わる第３の処理動作例を示す説明図である。
【図５】図１における表示・編集装置の本発明に係わる第４の処理動作例を示す説明図である。
【図６】図１における表示・編集装置で処理するデータ構造例を示す説明図である。
【図７】図１における表示・編集装置の本発明に係わる第１の処理手順例を示すフローチャートである。
【図８】図１における表示・編集装置の本発明に係わる第２の処理手順例を示すフローチャートである。
【図９】図１における表示・編集装置の本発明に係わる第３の処理手順例を示すフローチャートである。
【図１０】図１における表示・編集装置の本発明に係わる第４の処理手順例を示すフローチャートである。
【図１１】図１における表示・編集装置の本発明に係わる第５の処理手順例を示すフローチャートである。
【図１２】図１における表示・編集装置の本発明に係わる第５の処理動作例を示す説明図である。
【図１３】図１における表示・編集装置の本発明に係わる第６の処理動作例を示す説明図である。
【図１４】図１における表示・編集装置の本発明に係わる第７の処理動作例を示す説明図である。
【図１５】図１における表示・編集装置による編集機能とワープロでの文章編集機能との比較対応例を示す説明図である。
【図１６】従来のフレーム単位編集技術での画面表示例を示す説明図である。
【図１７】従来のシーン単位編集技術での画面表示例を示す説明図である。
【符号の説明】
１：表示装置、２：入力装置、３：表示・編集装置、４：補助記憶装置、５：連続メディア情報入力装置、６：光ディスク、７：光ディスク駆動装置、８：表示処理部、８ａ：フレーム表示部、８ｂ：区切り検出部、８ｃ：改行部、８ｄ：改行マーク明示部、８ｅ：表示枠設定部、８ｆ：折り返し部、８ｇ：横方向時間目盛表示部、８ｈ：縦方向時間目盛表示部、８ｉ：シーンブロックアイコン表示部、９：編集表示処理部、９ａ：結合表示処理部、９ｂ：アウトライン編集表示処理部、１０：データ変換部、１００：ウィンドウ、１１０，１２０，１３０，１４０：シーンブロックアイコン、１１１〜１１３：フレーム画像、１２１〜１２４：フレーム画像、１２１ａ〜１２２ａ：フレーム画像、１３１〜１３２：フレーム画像、１４１〜１４３：フレーム画像、１５０：シーン情報表示領域、１５１：フレーム画像表示領域、１５３，１５４：時間目盛線、１５６：改行マーク、１６０：ハイライト領域、１７０：マウスカーソル、１８１：編集メニュー、１８３：編集プルダウンメニュー、１８４：メニュー、２１１，２２１：棒状領域、２５１：音声波形表示領域、２６０，５６０〜５６４：ハイライト表示領域、３００：ウィンドウ、３０１：スクロールバー、３１０，３２０，３３０：行、３２１：アイコン、３４０，３５０：音声トラック、４００：ウィンドウ、４１０〜４４０：シーンブロックアイコン、７０１：メディア情報、７１１，７２１：シーン情報、７０２：ファイル名、７０３：メディア長、７０４：シーン列、７１２：アイコン画像、７１３：コメント、７１４：開始位置、７１５：終了位置、７１６：ポインタ、１３０１〜１３０６：フレーム画像、１３１１：ページ縦時間軸、１３１２：時刻表示領域、１４１０：シーンブロックアイコン、１４１１〜１４１３，１４２１〜１４２３，１４３１：フレーム画像、１５０１：領域、１５５１：フレーム画像表示領域、１６０１〜１６０８：機能（「文字列」、「１行」、「フォント変更」、「行間調整」、「検索」、「ヘッダ／フッタ」、「差込印刷」、「文章チェック」）。
【発明の属する技術分野】
本発明は、映像の動画像フレームや音声の波形データ等の連続メディア情報を、コンピュータにより、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等からなる表示装置の画面上へ表示する技術と、キーボードやマウス等からなる入力装置から入力されるオペレータからの操作指示に基づき、画面上に表示した連続メディア情報を編集する技術に係わり、特に、情報内容を理解し易く、また、細かな編集作業を容易とするのに好適な連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法およびその処理手順を記録した記録媒体に関するものである。
【０００２】
【従来の技術】
ビデオデッキやビデオカメラなどＡＶ機器の低価格化に伴う普及によって、誰にでも簡単に映像を撮影・獲得することができる。また、ハードウェアやソフトウェアによる処理速度の向上によって、撮影した映像をデジタル化してコンピュータ上で映像を再生したり編集したりすることができる。
【０００３】
このようなコンピュータを用いて、デジタル化した映像を編集する従来技術として、例えば、アビドテクノロジー（Ａｖｉｄ Ｔｅｃｈｎｏｌｏｇｙ）社製のＡＶＩＤ／１メディアコンポーザ（ＭＥＤＩＡ ＣＯＭＰＯＳＥＲ）や、特開平７−４６４６２号公報（「映像プログラムを編集する方法と装置」）に記載のアドビ（Ａｄｏｂｅ）社製のプレミア（Ｐｒｅｍｉｅｒｅ）などがある。
【０００４】
これらの技術の特徴は、編集対象となる映像を表示する際、映像を構成しているフレーム画像を映画のフィルムのように一列に並べて表示することである。
以下、図１６を用いて、このフレームを編集単位としたフレーム単位編集技術について説明する。
【０００５】
図１６は従来のフレーム単位編集技術での画面表示例を示す説明図である。
コンピュータシステムの表示装置の画面上のウィンドウ３００には、編集対象となる人物の映像を表示するための行３１０と、車の映像を表示するための行３３０が設けられている。
ここで編集対象となる映像は、一連のフレーム画像の列として構成されている。例えば、行３１０における人物の映像はフレーム画像１１１〜１１３から、また、車の映像はフレーム画像１２１〜１２４から構成されている。
【０００６】
このようなフレーム単位での編集技術の特徴は、フレーム画像の列を映画のフィルムのように直線状に並べた映像表現を用いて、映像編集を行うことである。しかし、この技術では、映像中のフレーム画像列を一直線状に配置するため、一度に全てのフレーム画像を１ウィンドウの表示枠内に表示することができない。表示枠外の映像内容を確認するためには、オペレータは、スクロールバー３０１を用いて、フレーム画像列をスクロールする。
【０００７】
また、本例では、「映像１」と「映像２」の２つの映像を１つに繋ぎあわせる編集処理時の画面を表示している。ここでは、「映像１」の人物の映像から、「映像２」の車の映像に切り替わる際、人物の画像の端からだんだんと車の画像が現れてくる「ワイプ」と呼ばれる映像特殊効果を付加している。具体的には、人物の映像末尾フレーム画像１１２，１１３と、車の映像の先頭のフレーム画像１２１，１２２とを合成した画像を、映像編集結果の画像としている。
【０００８】
上述のメディアコンポーザ等の典型的なフレーム単位編集技術では、このような特殊効果付け編集操作を、ユーザに分かり易く提示するために、特別に、特殊効果表示用の行３２０を備えている。また、実際に２つの映像が合成される個所に「ワイプ」といった特殊効果付けアイコン３２１が表示される。
このような、編集対象のフレーム画像列を映画のフィルムのように一直線状に並べた映像表現を用いた映像編集技術が、フレーム単位映像編集技術である。
【０００９】
このフレーム単位映像編集技術は、従来、内容の確認が難しかったＶＨＳや８ｍｍ形式のビデオテープのような映像を、映画のフィルムの切り張りのような直感的な操作で映像が編集できる。
しかし、フレーム画像列を一直線状に配置すると、どこにどのような映像シーンが存在するかを探しにくくなる。
【００１０】
例えば、映像には通常、オープニングシーンや人が現れるシーンやエンディングシーンなど、シーンまたはカットと呼ばれる一連の論理的な映像区間を表す単位が存在するが、フレーム単位編集技術では、このような論理的な映像区間は何も考慮せず、ただ映像中の物理的な単位であるフレーム画像列のみを並べている。そのため、どこからどこまでが一連のシーンなのかが分かりにくい。
さらには、ある人物が登場するシーンだけを削除したい場合などには、どのフレーム位置でシーンが切り替わっているかを、オペレータが１フレームずつずらして確認する必要がある。
【００１１】
このようなフレーム単位編集技術の問題点を解決するための従来技術として、例えば、特開平７−７９４０４号公報（「ビデオの代表画像一覧作成方法および装置」）および特開平５−２６８５１７号公報（「動画像編集システムの表示方法」）に記載されている日立製作所製の映像編集ソフトウェアＭｅｄｉａｃｈｅｆ／ＣＵＴがある。この技術では、映像の論理単位であるシーンを編集の基本単位としたシーン単位編集技術を用いている。
以下、図１７を用いて、このシーンを編集の基本単位としたシーン単位編集技術について説明する。
【００１２】
図１７は、従来のシーン単位編集技術での画面表示例を示す説明図である。
コンピュータシステムの表示装置の画面上のウィンドウ４００には、編集対象となる４つの映像シーンがそれぞれシーンブロックイコン形式で表示されている。本編集技術では、前述の図１６の人物のシーンを表す映像１１１〜１１３はシーンブロックアイコン４１０として、同じく車の映像シーン１２１〜１２４はシーンブロックアイコン４２０として表示され、さらに、新たなコント漫才の映像シーンがシーンブロックアイコン４３０として、また、家の映像シーンがシーンブロックアイコン４４０として表示されている。
【００１３】
本例の各シーンブロックアイコン４１０〜４４０では、シーン中の特徴的なフレームの画像がアイコン画像として表面に表示され、またシーンの名称がアイコン画像の下に表示され、さらに、そのシーンの時間長が直方体状の各シーンブロックアイコン４１０〜４４０の奥行きとして表示されている。
このように、シーン単位の編集技術では、論理的な構造であるシーンだけをシーンブロックアイコン４１０〜４４０により表示することで、映像中にどのようなシーンが存在するのかが一目で分かる。
【００１４】
また、このシーン単位の編集では、あるシーンブロックアイコンを選択して、削除したり移動したりすることで簡単にシーンの編集を行なうことができる。例えば、図１７において、家のシーンをコントのシーンの前に移動するには、まずマウスカーソル１７０により家のシーンのシーンブロックアイコン４４０を選択し、マウスカーソル１７０をコントのシーンのシーンブロックアイコン４３０の前に移動する。これにより、シーンの並び替えが行われ、シーンブロックアイコン４４０がシーンブロックアイコン４３０の前に移動する。
【００１５】
このように、シーン単位編集技術では、フレーム単位編集技術では難しかった論理的なシーンの移動や削除を簡単に行なうことができる。
尚、シーン単位編集技術によっては、いくつかのシーンブロックアイコンをグループ化することができ、グループ化したシーンブロックアイコンとグループ内シーンブロックアイコンを木構造で表現することができるものもある。この技術では、より実際の映像の論理構造にそった編集が可能である。
【００１６】
しかし、このシーン単位編集技術では、シーンをシーンブロックアイコンとして表現しているため、シーン内の細かいフレーム画像の変化が捕らえにくくなる。例えば、先述の車のシーンの場合、図１６のフレーム単位編集技術では、フレーム画像１２１〜１２４によって表現されているので、車が左方向に動いていることが容易に把握できる。しかし、本図１７のシーン単位編集技術では、ある１枚のシーンを代表するフレーム画像だけがシーンブロックアイコン上に表示されるため、車が停まっているのか、車が動いていてもどの程度のスピードで動いているのかが把握しにくい。
【００１７】
また、このシーン単位編集技術では、フレーム画像列が表示されないため、フレーム単位編集では簡単に行なうことができた先述のような（「ワイプ」による９フレーム間での特殊効果付けや、さらには、あるフレーム区間内での字幕の挿入など、フレーム単位の編集作業が難しくなっている。
【００１８】
以上のような映像編集時の問題は、映像以外の連続メディア、例えば音声の編集にも存在する。
まず、図１６のウィンドウ３００における映像・音声編集画面を用いて、メディアコンポーザなどでも用いられている典型的な音声編集技術を説明する。
【００１９】
この音声編集技術では、音声波形を一直線状に配置して表現する。図１６では、行３１０の「映像１」に付随する音声を音声トラック３４０として表現している。同様に、行３３０の「映像２」に付随する音声を音声トラック３５０として表現している。これらの音声トラック３４０，３５０は、映像編集の際と同様に、マウスやスクロールバーなどを用いることによって、音声の区間を選択したり、選択した音声を加工したりすることができる。
【００２０】
このような音声編集技術にも、先のフレーム単位映像編集と同じく、音声全体の論理構造が把握しづらいという問題がある。すなわち、音声も映像と同じように、オープニングソングやインタビューの話者の音声などのような、論理構造が存在するが、音声をこのような一直線状に表現しているため、どこからどこまでがインタビュアーの声なのかが分かりにくい。
【００２１】
また、音声編集に関しても、映像の場合のようなシーン単位編集技術を考案することもできる。しかし、映像のシーン単位編集と同じく、音声中のどの部分でボリュームが変化するかなど、シーンブロックアイコンを見ただけでは把握できない情報がある。
【００２２】
【発明が解決しようとする課題】
解決しようとする問題点は、従来の技術では、コンピュータでの編集処理において、オペレータは、映像や音声等といった連続メディアの論理構造を容易に理解しながら、同時に、その構成単位／要素（映像では画像フレーム、音声では波形データ）も容易に理解することができない点である。
【００２３】
本発明の目的は、これら従来技術の課題を解決し、コンピュータを用いた映像や音声等といった連続メディアの編集作業を効率化することが可能な連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法およびその処理手順を記録した記録媒体を提供することである。
【００２４】
【課題を解決するための手段】
上記目的を達成するため、本発明の連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法は、例えば動画像の各画像フレームを連続して画面の横方向に表示する場合、シーンの変化点を区切りとして改行し、行単位で各シーンを表示する構成とする。
【００２５】
そして、各改行位置には改行マークを明示して、シーンの単位を理解し易くする。尚、画面の表示枠を超える場合には、スクロール操作等を行なっても良いが、その表示枠で強制的に折り返して次の行に表示することでも良い。この場合には改行マークは明示しない。
【００２６】
また、画面上の各行の先頭から、および、先頭の行から後続の行方向へ、所定の経過時間を表す目盛線を表示し、各フレームおよび各シーンの時間位置を容易に理解できるようにする。
また、行先頭の前の領域に、この行に表示されている全フレームに対応する従来技術で作成されるシーンブロックアイコン情報も合わせて表示する。
【００２７】
また、オペレータが編集対象のフレームを指定すると、その対象フレーム部分をハイライト表示することで、指定の良否を容易に判断できるようにし、かつ、その移動等の編集操作を容易とする。また、例えば、複数のフレームを１行に結合する場合、各結合部分を他の部分より大きく表示する等して、結合編集の結果を容易に判断できるようにする。さらに、結合編集した行の次の行から、結合編集前の各フレーム行の表示状態をウィンドウ表示する。
【００２８】
【発明の実施の形態】
以下、本発明の実施の形態を、図面により詳細に説明する。
図１は、本発明の連続メディア情報の表示・編集装置の本発明に係る構成の一実施例を示すブロック図である。
本図１において、１はＣＲＴやＬＣＤ等からなる表示装置、２はキーボードやマウス、トラックボール等からなる入力装置、３はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等からなり蓄積プログラム方式によるコンピュータ処理を行ない本発明に係わる連続メディア情報の表示および編集処理を行なう表示・編集装置、４はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等からなる補助記憶装置、５はビデオテープレコーダ等からなり映像と音声情報を入力する連続メディア情報入力装置、６は表示・編集装置３で処理する本発明に係わる表示・編集処理の手順からなるプログラムを記録した光ディスク、７は光ディスク６を駆動してそのプログラムを表示・編集装置３に入力する光ディスク駆動装置である。
【００２９】
表示・編集装置３には、光ディスク６から読み込んだプログラムにより、フレーム単位での表示と編集を行なうための表示処理部８と編集表示処理部９が構成され、また、連続メディア情報入力装置５から入力した映像や音声情報などのアナログ信号をコンピュータ処理可能なデジタル信号に変換するデータ変換部１０が設けられている。
【００３０】
表示処理部８は、フレーム表示部８ａ、区切り検出部８ｂ、改行部８ｃ、改行マーク明示部８ｄ、表示枠設定部８ｅ、折り返し部８ｆ、横方向時間目盛表示部８ｇ、縦方向時間目盛表示部８ｈ、シーンブロックアイコン表示部８ｉを有し、編集表示処理部９は、結合表示処理部９ａとアウトライン編集表示処理部９ｂを有している。
【００３１】
このような構成により表示・編集装置３は、連続メディア情報入力装置５から入力される映像と音声を、画像フレームと波形データに変換して表示装置１のウィンドウ画面上に表示し、入力装置２からのオペレータからの操作指示に基づき、表示した画像フレームと波形データに対する編集処理を行なう。
【００３２】
この表示処理において、表示・編集装置３は、フレーム表示部８ａにより、画像フレームや波形データを横方向に順に表示する。この時、区切り検出部８ｂにより、画像フレームや波形データの論理的な区切り、すなわち、シーンの変化点を検出し、改行部８ｃにより、この検出したシーンの変化点毎に画像フレームや波形データの表示を改行する。
【００３３】
このように、画像フレームや波形データを、シーン単位で行を変えて表示するので、編集処理を行なうオペレータは、各画像フレームや波形データの論理構造、すなわち各シーン構造を容易に理解することができると共に、その構成単位／構成要素、すなわち、画像フレームや波形データの内容も容易に理解することができ、それらの編集作業を効率的に行なうことができる。
【００３４】
また、各シーンの改行位置には、改行マーク明示部８ｄにより、改行マークをハイライト表示する。これにより、オペレータは、シーンの単位を理解し易くなる。
また、表示枠設定部８ｅにより、画面横方向の表示領域が設定され、この表示領域を越えるシーンの各画像フレームや波形データは、折り返し部８ｆにより、その領域から折り返して次の行に表示する。尚、この折り返し位置に対しては、改行マーク明示部８ｄによる改行マークのハイライト表示は行なわない。
【００３５】
また、横方向時間目盛表示部８ｇと縦方向時間目盛表示部８ｈにより、画面上の各行の先頭から、および、先頭の行から後続の行方向へ、所定の経過時間を表す目盛線を表示する。これにより、オペレータは、各フレームおよび各シーンの時間位置を容易に理解できる。
さらに、シーンブロックアイコン表示部８ｉにより、行先頭の前の領域に、この行に表示されている全フレームに対応するシーンブロックアイコン情報も合わせて表示する。
【００３６】
そして、編集処理において、入力装置２を介してオペレータが編集対象のフレームを表示措置１の画面上で指定すると、表示・編集装置３は、編集表示処理部９により、例えば移動編集等を行なうと共に、その対象フレーム部分をハイライト表示する。これにより、オペレータは、自分の指定操作の良否を容易に判断することができ、また、その移動等の編集操作経過および結果を容易に確認することができる。
【００３７】
また、この編集操作において、その指示が、複数のフレームを１行に結合するものであれば、結合表示処理部９ａにより、指示通り各フレームを結合すると共に、その各結合部分を他の部分より大きく表示する。これにより、オペレータは、結合編集の結果を容易に判断することができる。
さらに、アウトライン編集表示処理部９ｂにより、結合編集した行の次の行から、結合編集前の各行のシーンの表示状態を小さめのウィンドウで表示する。
【００３８】
以上の一連のフレーム画像列を（従来技術のように単純に一直線状に並べるのではなく）、映像の論理的なシーンの切れ目でフレーム画像列を区切って改行表示していくような映像表現処理は、表示・編集装置３に、ワープロ（ワードプロセッサ）の文章表示技術や編集技術のメタファを摘用したものである。以下、このようなワープロの文章表示技術や編集技術について説明する。
【００３９】
まずワープロの文章表示・編集技術と映像の表示・編集技術との関係についてに説明し、次に、表示・編集装置３について説明し、そして、最後に、音声に対する表示・編集装置３の処理動作を説明する。
【００４０】
映像、音声、静止画像、文字列と様々なメディアの中でも、文字列は古くから用いられてきており、その表示技術や編集技術には、これまで様々な技術が開発されてきた。文字列は、元をただせば単なる文字の並びである。しかし、文字列は実際には意味を持っており（通常、文章と呼ばれる）、単語や一文、および章や節などの論理構造が存在する。このような論理構造は、紙やワープロの文章では、句読点や改行、および章や節の見出しなどを用いて、ページと呼ばれる平面上に敷き詰めることにより、分かりやすく表現されている。
【００４１】
映像も単なるフレーム画像の並びであり、また、シーンと呼ばれる論理構造も存在する。しかし、そのフレーム画像列の論理構造を分かりやすく表現する技法がないことが問題であった。
そこで、映像に対しても、文字列と同様に、改行や句読点、ページなどの概念を適用できれば、文字列からなる文章を理解するのと同様に簡単に映像を表現できる。
【００４２】
そこで、映像の表現技術として、映像に対して論理的な区切りを表現する改行という概念を加える。具体的には、一続きの映像を表示するために、
（ａ）表示対象となる映像の開始位置から映像中の論理的な切り替わり時点までの映像部分区間を、この映像部分区間の時間長に比例した長さのフレーム画像の列として表示し、
（ｂ）次回表示位置を、（ａ）で表示した前回のフレーム画像列表示位置の隣に移動し、
（ｃ）表示対象映像から、（ａ）で既に表示した映像部分区間を取り除いた残りの映像区間を新たな表示対象映像とする。
そして、この処理を、少なくとも２回行なう。
【００４３】
さらに、この映像の表示・編集技術を、音声などにも適用する。
すなわち、映像に対する表現技術を、音声、アニメーション、スライドショー、映像、およびこれらが多重化されたメディア等の連続メディアにも適用可能にするため、次の技術を用いる。
【００４４】
まず、（ｄ）表示対象となる連続メディアの開始位置から、この連続メディア中の論理的な切り替わり点までの連続メディア部分区間を、連続メディア部分区間の区間長に比例した長さの棒状表現で表示し、
（ｅ）次回表示位置を、（ｄ）で表示した前回の棒状表示領域の隣に移動し、
（ｆ）表示対象連続メディアから、（ｄ）で既に表示した連続メディア部分区間を取り除いた残りの連続メディア区間を新たな表示対象連続メディアとする。
そして、この処理を、少なくとも２回行なう。
【００４５】
以下、まず、図２，図４，図５を用いて、図１における連続メディア情報の表示・編集装置３の基本的な表現動作例および編集動作例を、映像を対象として説明し、次に、図３を用いて音声を対象として説明し、さらに、図６〜図１１を用いて、データ構造と処理フローの例を説明し、最後に、図１２〜図１５を用いて、本例の使い勝手をさらに向上させる技術について説明する。
【００４６】
図２は、図１における表示・編集装置の本発明に係わる第１の処理動作例を示す説明図である。
本例は、図１の表示装置１の画面上における表示・編集装置３による処理結果を示すものであり、ウィンドウ１００には、フレーム画像表示領域１５１が表示されている。そして、編集対象映像として、フレーム画像１１１〜１１３、これに引き続き、フレーム画像１２１〜１２４、フレーム画像１３１〜１３２、フレーム画像１４１〜１４３が、一続きのフレーム画像列として構成された映像を表示している。
【００４７】
本例の表示技術の最大の特徴は、このような一連の映像を、従来のフレーム単位編集技術のように一直線状に表示するのではなく、フレーム画像列を映像の論理的な単位毎、つまりシーン毎にフレーム画像列を改行して表示することにある。この場合、「シーン１」を表すフレーム画像１１１〜１１３が最上段の行として表示され、同様に「シーン２」を表すフレーム画像１２１〜１２４が第２行、「コント」のシーンを表すフレーム画像１３１〜１３２が第３行、「家」のシーンを表すフレーム画像１４１〜１４３が第４行に表示される。
【００４８】
このように、フレーム列を改行表示することによって、次のような効果が得られる。
（１）オペレータは、行の並びを見ることによって、映像中にどのようなシーンが存在するのかという、映像の論理構造を、容易に把握できる。
（２）また、各行を見ることによって、
（２−１）行の長さ（本図２ではフレーム画像の枚数）から、各シーンの時間長を容易に把握でき、
（２−２）行の表示内容から、各シーン内でのフレーム画像の遷移状況など、シーンの内容を容易に把握できる。
【００４９】
本図２の例では、このような表示内容の理解性をより一層向上するために、さらに幾つかの工夫をしている。
工夫の１つ目は、各行に表示されているシーンの情報を、より分かりやすくユーザに提示するために、フレーム画像表示領域１５１の隣に、シーン情報表示領域１５０を表示している。
【００５０】
そして、シーン情報表示領域１５０には、フレーム画像表示領域１５１の各行の位置に対応して、各行が表しているシーンの情報を、従来技術で作成されるシーンブロックアイコンにより、シーン情報表示領域１５０に表示している。
すなわち、シーン情報として、シーン中のフレーム画像列の中から最もシーンを良く表しているフレーム画像と、シーンの内容を表すシーンの名称と、シーン長さを表すアイコンの３次元的な奥行き表現とを、１つのアイコンとして表示している。
【００５１】
例えば、第一行目のフレーム画像１１１〜１１３のシーンに対応するシーン情報を、シーン情報表示領域１５０中の同じ位置にシーンブロックアイコン１１０として表示している。このシーンアイコン１１０には、シーンを代表するフレーム画像としてフレーム画像１１２を表示し、シーン名称として「シーン１」という文字列を表示し、アイコンの奥行きとして、３次元的な奥行きをシーンの長さに比例した長さ分だけ表示している。
【００５２】
工夫の２つ目は、フレーム画像表示領域１５１に、３０秒あるいは１分など、ある決まった時間位置を表す時間目盛線を表示することである。
本図２の例では、シーンの先頭から３０秒目を表す時間目盛線１５３と、同様に１分の位置を表す時間目盛線１５４を表示している。このような一種の補助線をフレーム画像表示領域１５１中に表示することにより、オペレータは、各シーンの時間長をより具体的に把握することができる。
【００５３】
工夫の３つ目は、よりワープロ風の編集技術に似せるために、改行マーク１５６を表示している。
工夫の４つ目は、映像中の区間を選択できるようにすることであり、詳細は以降の例にて説明する。尚、図２では、ユーザがマウスカーソル１７０を使って映像の区間を選択し、選択された区間をハイライト領域１６０で表示している。
【００５４】
次に、図２の説明の補足として、他の似たような映像表示技術と本例の技術との相違点を説明する。
他の映像表示技術の１つ目として、従来技術で説明したメディアコンポーザに備わっている素材映像管理ウィンドウについて説明する。
【００５５】
すなわち、従来技術の素材映像管理ウィンドウには、複数の映像ファイル中の１映像ファイルを、本例の技術と同様に、１映像ファイル中のフレーム画像列として一つの行として表示し、複数の映像ファイルを、本例の技術と同様に複数の行として表現することによって、複数の映像ファイルの構成を分かりやすく表示している。しかし、本例の技術が表示対象とする映像は、この技術とは違って、複数の独立したシーン群ではなく、一続きの映像をその並び通りに改行したものである。
【００５６】
他の映像表示技術の２つ目として、図１７で示した従来技術のシーン単位編集のようなシーンブロックアイコン群の表示技術において、複数のシーンブロックアイコンの並びを、本例と同様に、あるまとまり毎に改行する技術も考えられる。しかし、このような表示技術では、複数のシーンを横並びに表示することはできるが、その表示行の長さは、本例のようにシーンの時間長を表すのではなく、論理的なシーンの数を表すのみであり、シーン時間長を直感的に把握することはできない。
【００５７】
また、映像の表示技術ではないが、従来の文章の表示技術と本例の技術的な違いについて説明する。
従来の文章の表示技術が対象とするデータは、文字列のみであり、本例の技術が対象とする連続メディア情報ではない。連続メディア情報には、それを再生するための時間情報があり、単純な文字列とは異なる。また、連続メディア情報は、ある時間ではその一部しか参照することができず、このため従来技術ではその全容やその論理構造の把握が難しくなっていた。これに比べて文字列は時間情報がないため、文字列全体を同時に２次元の紙上に表現することができる。
【００５８】
図３は、図１における表示・編集装置の本発明に係わる第２の処理動作例を示す説明図である。
本例は、映像に付属した音声トラックを編集している画面であり、このように、処理対象が音声の場合、図２のフレーム画像表示領域１５１ではなく、音声波形表示領域２５１を表示する。
【００５９】
本例の場合、図２における映像のシーン２（シーンブロックアイコン１２０で表示）と、コントシーン（シーンブロックアイコン１３０で表示）に付随する音声を表示している。このような音声編集の場合、シーン２のフレーム画像１２１〜１２４の表示に代わって、本例では、シーン２に付随する音声トラックの波形を折れ線グラフを描画した棒状領域２１１を使って表示している。この棒状領域２１１の長さは、音声シーンの時間長を、画面上の時間目盛の縮尺に従って表示している。
尚、音声のトラック表現技術としては、実波形の折れ線グラフ以外にも、波形のボリュームの大きさをグラフ化した表現を用いてもよい。
【００６０】
本例では、図１の場合と同様に、マウスカーソル１７０を用いて選択した音声区間をハイライト表示領域２６０として表示している。
このように、図１における表示・編集装置３では、映像の表示・編集以外にも、音声も編集できる。これから容易に類推できるように、表示・編集装置３は、時間情報を持った、他の連続メディアにも適用できる。
【００６１】
例えば、他の連続メディアとして考えられるものとしては、数枚のスライドを数秒おきに表示するようなスライドショーや、スライドではなく、インターネットの動くＷＷＷページのようなプログラムを含んだＨＴＭＬ文書なども考えられる。さらには、これら基本的な連続メディアを連続して一列に並べた複合連続メディアや、これら連続メディアを平行して複数持つマルチトラック形式の連続メディアにも対応することができる。
【００６２】
以降、主に連続メディアが映像の場合の表示・編集操作の技術例について説明するが、これらの技術は全て音声などの連続メディアにも適用できる。
図４は、図１における表示・編集装置の本発明に係わる第３の処理動作例を示す説明図である。
本例は、図１における表示・編集装置の編集動作例を示し、特に、編集区間の選択操作例を示している。
【００６３】
図４（ａ）では、マウスカーソル１７０で指定される画面上の１点をクリックすることによって、映像中のあるフレームの位置を指定する例を示している。
また、図４（ｂ）では、マウスカーソル１７０で指定される画面上の２点をクリックすることによって、映像区間を指定する例を示している。そして、図４（ｃ）では、ある１つのシーンの全体を選択する操作例を示している。
【００６４】
尚、本例では採用していないが、マウスがクリックされた際、マウスカーソル１７０で指定された映像の位置に対応するフレーム画像を別ウィンドウで表示したり、もしくは、指定された映像の位置から始まる映像を別ウィンドウに再生したりすることも容易に実現できる。
【００６５】
図４（ａ）において、映像中のフレーム画像１１２の位置を指定するためには、マウスカーソル１７０をフレーム画像１１２の上に移動し、マウスをクリックする。このようにして映像中のフレーム画像１１２の位置を指定したこととなり、該当する指定位置のフレーム画像１１２がハイライト領域５６０によって強調表示される。
【００６６】
また、図４（ｂ）において、フレーム画像１１２〜１１３、１２１〜１２２からなる映像区間を選択して指定するためには、まず、マウスカーソル１７０を選択範囲の先頭位置であるフレーム画像１１２上に移動し、マウスの左ボタンをクリックし（図４（ａ）の表示となる）、次に、マウスカーソル１７０を選択範囲の終了位置であるフレーム画像１２２上に移動し、マウスの右ボタンをクリックする。この操作を行なうと、複数のフレーム画像に渡る映像区間を選択したこととなり、該当する選択範囲のフレーム画像１１２〜１１３、１２１〜１２２がハイライト領域５６１，５６２によって強調表示される。
【００６７】
さらに、図４（ｃ）において、ある１つのシーン、ここでは、「シーン１」の全体、つまりフレーム画像１１１〜１１３を選択するためには、選択したいシーンを表している行のうち、フレーム画像以外の場所をマウスでクリックする。図４（ｃ）の例では、シーンブロックアイコン１１０をクリックしている。この操作を行うことによって、「シーン１」のフレーム画像列全体が選択されたことになり、選択区間がハイライト表示領域５６４によって、ハイライト表示される。さらに、図４（ｃ）の例では、シーン全体が選択された場合は、該当するシーンブロックアイコンも別のハイライト表示領域５６３を用いてハイライト表示される。
【００６８】
図５は、図１における表示・編集装置の本発明に係わる第４の処理動作例を示す説明図である。
本例は、図１における表示・編集装置の選択区間に対する編集処理動作例を示しており、特に、図４の操作で指定、選択された映像区間に対して、区間の切取や挿入などの映像の並びを変更する編集操作と、選択された映像区間のフレーム画像列の各々に対して画像のぼかしなどを行うフレーム画像フィルタ編集操作を行なっている。
【００６９】
選択区間に対する編集操作では、図５（ａ）に示すように、まず初めに、オペレータが、これから編集を行いたい映像区間を図４で示した操作で選択する。そして次に、図５（ｂ）に示すように、編集メニュー１８１を指定し、編集プルダウンメニュー１８３内からオペレータが望む区間編集処理を選択する。このようにして選択された映像区間に対する編集処理を行なう。
【００７０】
選択できる区間編集処理として、本例では、編集メニュー１８１で示すように、選択した映像区間の切り取り、切り取った映像区間を挿入（貼り付け）を、また、フレーム画像フィルタ編集として、メニュー１８４で示すように、フレーム画像列の明るさ調整、同じく画像をぼかす処理、同じくフレーム画像内に字幕を表示する処理を用意している。
【００７１】
図５（ｃ−１）では、区間映像編集処理として「切り取り」選択した場合の編集結果表示を示している。編集処理によって図５（ａ）において先に選択された映像区間（フレーム画像１２１〜１２２）が編集映像から削除され、それに伴って画面からも該当する映像区間が表示されなくなる。
【００７２】
図５（ｃ−２）では、区間映像編集処理として「字幕挿入」を選択した場合の編集結果表示を示している。編集処理によって、図５（ａ）で先に選択された映像区間中の全フレーム画像１２１〜１２２に対して、字幕を表示する画像処理が施され、その画像処理結果のフレーム画像１２１ａ〜１２２ａが作成され、それに伴って画面上の該当する映像区間のフレーム画像の表示も更新される。
【００７３】
以上が、図１における表示・編集装置３の基本的な表示処理および編集操作、処理である。
次に、図６〜図１１を用いて、図１の表示・編集装置３で扱うデータ構造例と処理動作例を説明する。
図６は、図１における表示・編集装置で処理するデータ構造例を示す説明図であり、図７〜図１１は、図１における表示・編集装置の本発明に係わる第１〜第５の処理手順例を示すフローチャートである。
【００７４】
図６で示すように、メディア情報７０１に、編集対象となる映像全体の情報を格納する。また、図２におけるフレーム画像表示領域１５１中に表示される行の並び、つまりシーンの並びを表すシーン情報７１１、７２１などが、リスト構造として格納されている。
メディア情報７０１には、実際に編集される映像ファイルに対し、そのファイル名７０２と、その映像の時間長（メディア長７０３）、および、編集処理時に用いるシーン情報リストへのポインタ（シーン列７０４）が格納されている。
【００７５】
１つの表示行、または、１つのシーン（「シーン１」）を表すシーン情報７１１は、各行に表示するシーンアイコンで用いるアイコン画像７１２と、このシーンアイコンの下に表示するシーンのコメント７１３（文字列）、および、シーンの映像ファイル中でのこのシーンの開始位置７１４と同終了位置７１５と、シーンの並びのうち次に表示されるシーンのシーン情報７２１（「シーン２」）へのポインタ７１６から構成されている。
【００７６】
図７に示す処理は、図１における表示・編集装置３が、本発明に係わる処理動作として一番始めに実行する処理フローを示している。
映像の編集を始める場合、編集対象となる映像ファイルを指定する。この場合に呼ばれる処理がファイルを開く処理フロー（ステップ８００）である。以下、その内容を説明する。
【００７７】
まず、ステップ８０１において、指定された映像ファイルから、図６に示すようなデータ構造を作成する。尚、ユーザが、この映像ファイルに対応するデータ構造をファイルに格納していた場合、ファイルを開く際に映像ファイルと共に、このデータ構造ファイルの名称が指定された場合などは、ステップ８０１の処理は不要である。
【００７８】
次にステップ８０２において、ステップ８０１の処理で作成されたデータ構造を元に、図２に示すような表現形態で、映像を表示する。
次にステップ８０３では、編集に用いる選択区間の情報を初期化する。本例では、この初期表示時は、映像ファイルの先頭フレーム位置を選択することにしている。
最後にステップ８０４のループ処理において、ユーザが編集処理の終了を指示するまで、ユーザ操作イベントに対応した編集処理を行う。
【００７９】
このステップ８０４のループ内では、まず、ステップ８１１の処理により、ユーザのマウスクリックやメニュー選択、あるいはカーソル移動などの操作イベントを得る。次に、ステップ８１２での条件に対応した分岐により、ユーザ操作イベント毎に対応した処理を選択する。例えば、画面をクリックされた場合は、画面クリック処理８２１を、また、編集メニューが選択された場合は、編集メニュー処理８２２を行う。そして、編集終了メニュー（ファイルメニューの中にあるものとする）が選択された場合は、ステップ８０４のループ処理を終了する。
【００８０】
図８は、図７におけるステップ８０１の処理の詳細を示すフローチャートである。
本例は、指定された映像ファイルから、編集処理のために必要なデータ構造である図６のメディア情報を作成する処理例を示している。
まずステップ９０１において、メディアの情報を格納するメモリ領域（図６の７０１）に、映像ファイル名と映像ファイルの時間長を設定する。
【００８１】
次に、ステップ９０２において、新しくシーン情報のメモリ領域（図６の７１１）を生成し、そのシーン情報を先のメディア情報のシーン列の先頭位置（図６の７０４）に設定する。
さらに、ステップ９０３において、生成したシーン情報に初期値として、シーン開始位置に位置「０」、末尾位置にメディア情報に設定したメディア長（時間長）を設定する。
【００８２】
そして、ステップ９０４のループ処理を行う。
このステップ９０４のループ処理では、制御変数ｉを１からカウントし、複数のシーン情報を作成していく処理を行う。
すなわち、まず、ステップ９１０において、現在のシーン情報のアイコン画像に、シーンの開始位置のフレーム画像を設定し、さらに、シーンの名称を表すコメント領域に「シーンｉ」という名前をつける（ｉは変化する）。
【００８３】
次に、現シーンを論理的な区切り単位で分割するために、ステップ９１１では、映像をシーンの開始位置から１フレームずつ再生し、シーンが変化する点であるシーン変化点があるフレーム位置を探す。シーン変化点を求める技術としては、フレーム画像列中の隣接する２枚のフレーム画像間の画像的な差分量を求め、その画像差分量が、あるしきい値より大きくなった場合、そのフレーム画像位置をシーン変化点位置とする等が考えられる。
【００８４】
そして、次に、ステップ９０４のループの終了判定を行う。尚、先のステップ９１１の処理では、映像の末尾の位置もシーン変化点となるようにする。このため、ステップ９１２の処理での条件において、シーン変化点の位置が映像末尾位置の場合、映像読込みが終了したと判断する。
映像がまだ末尾位置まで達していない場合、ステップ９１３の処理を行う。
【００８５】
このステップ９１３の処理では、現在のシーン情報を、シーン変化点の位置で前後２つのシーン情報に分割する処理を行なう。
まず、新しいシーン情報メモリ領域を生成し、次に、新しいシーン情報のシーン先頭位置を先のシーン変化点位置に、シーン末尾位置を現在のシーン情報の末尾位置を設定する。その後、現在のシーン情報の末尾位置を「シーン変化点−１」の値に更新し、さらに、現在のシーン情報の次ポインタに新しいシーン情報を設定する。
【００８６】
ステップ９０４のループ処理の最後、ステップ９１４では、先の新しいシーンを次ループで用いる現在のシーン情報とする。
尚、ステップ９０４のループ中のステップ９１２における条件て、映像末尾まで読込みを完了した場合、ステップ９２１に進む。そして、ステップ９２１では、現在のシーン情報の次ポインタにリスト構造の終端を表す「なし」値を設定し、その後、ステップ９２２でステップ９０４のループを終了する。
【００８７】
図９は、図７におけるステップ８０２の処理の詳細を示すフローチャートである。
本例は、映像データを表示する処理例を示しており、まず、ステップ１００１において、画面上の表示位置を画面左上に設定する。次に、ステップ１００２において、表示開始シーンとして、連続メディア情報からシーン情報リストの先頭にあるシーン情報を得る。尚、より望ましい実現例として、ステップ１００２で指定する表示開始シーンを変更させることにより、スクロール表示機能を提供することも考えられる。この場合、スクロールバーやカーソル移動等の操作などにあわせて、この表示開始シーンを変更させれば良い。
【００８８】
次に、ステップ１００３のループ処理において、画面内に映像データを表示する処理を行う。まず、ステップ１０１１において、現在のシーン情報から、シーンのアイコン画像とシーンのコメント文字列を表示する。次に、ステップ１０１２において、シーンの開始位置から終了位置までの内容を画面上に表示する。この際、画面上に表示する形状は横長の棒状領域で、その表示長さは「（シーンの時間長）×表示係数Ｋ」となるようにする。
【００８９】
例えば、図２での映像データの表示の場合、シーンの開始位置から終了位置までのフレーム画像をフィルムのように横に並べた表示を行う。また、図３のような音声データの表示の場合、シーン中の音声波形をグラフ状に表示すれば良い。尚、ここで表示係数Ｋは、プログラム起動時などに予め設定しておく。また、この表示係数Ｋを画面のズーム表示用に用いることもできる。例えば、表示係数Ｋを小さくすることにより、時間が長いシーンでも画面からはみ出すことなく表示することができる。
【００９０】
次に、ステップ１０１３では、表示位置を一行下に移動する。この時の移動幅は、例えば、フレーム画像の高さ×２などにすれば良い。
ステップ１００３のループ処理の最後では、シーン情報の次ポインタをたどって次のシーン情報を得る。そして、表示位置が画面の範囲内である間ループし、画面外に出た場合に、ステップ１００３のループ処理を終了する。
【００９１】
次のステップ１００４のループ処理では、時間軸を表示する。すなわち、ステップ１０２１において、予め指定した３０秒もしくは１分などの表示時間幅毎に縦線を引いていく。縦線のＸ座標位置は、ループカウントｉ＝０〜ｎとすると、「表示時間幅×ｉ×表示係数Ｋ」となる。
【００９２】
図１０は、図７におけるステップ８２１の処理の詳細を示すフローチャートである。
本例は、画面クリック時の処理動作を示し、画面をクリックされた際、ステップ１１０１において、まず、クリック位置から、画面上のどのシーンが指定されたかを調べる処理を行い、次に、クリック位置のＹ座標から、クリックされた行位置Ｒを求める。行位置Ｒを求めるには、例えば、Ｙ座標値を図９のステップ１０１３の処理で用いた表示行幅で割れば良い。さらに、ステップ１１０１においては、メディアのシーン列の先頭からＲ番目のシーン情報を得る処理を行う。
【００９３】
ステップ１１０２では、条件に応じた分岐処理を行なう。すなわち、クリックされたＸ座標を元に、クリック位置がシーン情報表示領域１５０かフレーム画像表示領域１５１かの判定を行う。もし、クリック位置がシーン情報表示領域１５０の場合、ステップ１１１１において、該当するシーン全体を選択する処理を行う。ここでは、選択開始位置および選択終了位置に、ステップ１１０１の処理で得たシーン情報の開始位置と終了位置を設定する。
【００９４】
また、クリック位置がフレーム画像表示領域１５１の場合、ステップ１１１３以降、フレーム単位で選択位置を設定する処理を行う。まず、ステップ１１１３の処理で、画面上のクリック位置からシーン中の時間位置を計算する。ここでは、クリック位置のＸ座標を、映像の表示で用いた表示係数Ｋで割ることによって、シーン中の時間位置Ｃを求める。この時間位置とは、該当するシーンの開始位置を０とした時間位置である。
【００９５】
ステップ１１１４の条件分岐処理では、クリックした時間位置Ｃが選択したシーンの長さ（＝シーン．終了位置−シーン．開始位置）より長い場合、ステップ１１２１において、時間位置Ｃをシーンの長さにする補正処理を行う。
このようにして、シーン中の時間位置Ｃが決定したら、ステップ１１１５において、左クリックか右クリックかに従った選択処理を行う。左クリックの場合、ステップ１１２３において、選択開始位置をシーン．開始位置＋（シーン内）時間位置Ｃとする。
【００９６】
また、右クリックの場合、ステップ１１２５において、選択終了位置をシーン．開始位置＋（シーン内）時間位置Ｃとする。
画面クリック処理の最後、ステップ１１０３の処理として、更新された選択開始位置から選択終了位置までの領域を選択状態表示（図２における符号１６０で示すようなハイライト表示）にする。
【００９７】
図１１は、図７におけるステップ８２２の処理の詳細を示すフローチャートである。
本例は、編集メニューが選択された時の処理動作例を示している。
編集メニューが選択された場合、まず、ステップ１２０１において、現在の選択区間に対応したシーン情報を得る。得られた情報は、選択開始位置が存在するシーン情報（開始シーン情報）、選択終了位置が存在するシーン情報（終了シーン情報）、開始シーン情報の次のシーン情報から終了シーン情報の１つ手前のシーン情報までの中間のシーン情報の列（中間シーン列）からなる。
【００９８】
開始シーン情報を探すには、メディア．シーン列を先頭から順次参照していき、シーンの先頭位置≦選択開始位置≦シーンの末尾位置となるシーン情報を探せば良い。同様に終了シーン情報を探すには、シーンの先頭位置≦選択終了位置≦シーンの末尾位置となるシーン情報を探せば良い。そして、中間シーン列は、先頭シーン情報と末尾シーン情報から容易に得ることができる。
【００９９】
次に、ステップ１２０２での条件分岐処理において、選択された編集メニューを判定する。
選択された編集メニューが「切り取り」の場合、選択区間を切り取り、切り取った選択区間をクリップボードにコピーする処理を行う。すなわち、まず、ステップ１２１１において、選択区間をクリップボード用に格納する。具体的には、まず開始シーン、中間シーン列、終了シーンの複製を作成し、その後、開始シーンの複製の先頭位置を選択開始位置に、終了シーンの複製の終了位置を選択終了位置に更新し、最後に、クリップボードに複製を格納する処理を行う。
【０１００】
また、次のステップ１２１２において、選択区間を実際に削除する処理を行う。具体的には、まず、中間シーン列をメディア．シーン列のリストから削除し、その後、開始シーンの終了位置を選択開始位置−１に、また、終了シーンの開始位置を選択終了位置＋１に更新する。
【０１０１】
ステップ１２０２で、選択された編集メニューが「挿入」の場合、ステップ１２１５において、クリップボードに格納されているシーン列を、開始シーンの直後に挿入する処理を行う。
また、ステップ１２０２で、選択された編集メニューが「フィルタ」の場合、ステップ１２１７において、映像ファイルのうち、選択開始位置から選択終了位置までのフレーム画像１枚ずつに対して、字幕処理やぼかし処理などの画像処理を行う。
【０１０２】
例えば、ぼかしフィルタの場合、映像ファイルから取り出したフレーム画像に対して、移動平均フィルタと呼ばれるような画像処理技法を用いてぼかし処理を施し、その後そのフレーム画像を映像ファイルに書き戻す処理を行う。
また、字幕処理の場合は、ユーザが指定した文字列を指定されたフォント、表示位置でフレーム画像上に描画し、描画されたフレーム画像を映像ファイルに書き戻す。
【０１０３】
尚、本例では、処理の簡略化のため、フィルタメニュー指定時に、直接、画像処理を施している。しかし、望ましくは、直接画像処理を行うのではなく、繰り返し行われる編集処理の情報を別途記録しておき、ユーザが指示した時点で画像処理をバッチ的に動作させた方が、ユーザの使い勝手および処理効率が良い。
このような編集メニュー処理の最後、ステップ１２０３の処理において、編集が終わった映像を再表示する。
【０１０４】
次に、図１２〜図１５を用いて、図１における表示・編集装置３による、さらに使い勝手を向上させる表現技術および編集操作技術について説明する。
図１２は、図１における表示・編集装置の本発明に係わる第５の処理動作例を示す説明図である。
本例は、図１における表示・編集装置の表示処理動作にページの概念を導入した場合の画面構成を示している。
【０１０５】
ワープロにおる文字列編集にもページと呼ばれる概念があるように、本例の連続メディア情報の表示・編集技術にもページの概念を導入する。本例でのページの大きさを表す単位としては、時間を用いる。
そして、本図１２では、ページ幅を１分間、ページ高さを５分間として設定した場合の、ページ単位表示モードの画面例を示している。
【０１０６】
本例の特徴は、「シーン２」（フレーム画像１３０１〜１３０６）の内、ページの表示時間幅を超えた部分（フレーム画像１３０５，１３０６）が折り返し表示されていることと、ページ縦時間軸１３１１を表示していることである。すなわち、「シーン２」は、ここでは１分３０秒程度の長さであるが、先頭から一分間のフレーム画像１３０１〜１３０４と、残りのフレーム画像１３０５〜１３０６の２つに分離されて表示されている。またページ縦時間軸には、「５：００」のような時刻表示領域１３１２を設けている。
【０１０７】
このように、ページ幅と高さを意識した表示モードを導入することによって、オペレータは、映像の時間長をより分かりやすく把握できるようになる。本モードは特にＴＶ番組でのＣＭ挿入位置などの確認に最適である。
尚、このような表示を行うためには、図９のステップ１０１２における映像の表示処理を、各時間幅毎にシーンを区切って表示するように変更すれば良い。また、このステップ１０２１の時間軸表示処理において、縦線の時間軸だけでなく、横線の時間軸も表示するように変更を施せば良い。
【０１０８】
図１３は、図１における表示・編集装置の本発明に係わる第６の処理動作例を示す説明図である。
本例は、図１における表示・編集装置による結合表示動作時の画面構成例を示している。
映像に、カーチェイスのシーン列などのような数秒からなる短いシーンが多数存在するシーンが存在すると、画面上の表示行数が非常に多くなり、シーンの論理構造が把握しににくなる。このようなシーン列は、画面上では１つのシーンとしてまとめて扱えたほうが便利である。
【０１０９】
このような理由から、複数のシーンを１つのシーンとして同一行に表現する表示技術を用意した。
本図１３の例では、図２のシーンブロックアイコン１１０の「シーン１」とシーンブロックアイコン１２０の「シーン２」およびシーンブロックアイコン１３０の「コント」の各シーン列を結合し、「新シーン」（シーンブロックアイコン１４１０）として表示している。
【０１１０】
このシーンブロックアイコン１４１０の「新シーン」のフレーム画像列としては、結合した各シーンのフレーム画像１４１１〜１４１３、１４２１〜１４２３、１４３１を表示している。特に、本例では、結合していることを強調するため、結合中の各シーンの先頭フレーム画像１４１１，１４２１，１４３１を大きなフレーム画像で強調表示している。もちろん強調表示はなくとも良い。
【０１１１】
このような結合表現を提供するには、図６のデータ構造のうち、シーン情報７１１に、新たに「結合シーン列」というポインタ格納項目を設け、このポインタの先に結合されたシーン列を別途保持しておけば良い。また、図９の映像表示処理手順のステップ１０１２においてシーンを表示する際に、「結合シーン列」中のシーン情報列から適宜シーン情報とフレーム画像を取り出し、画面上に表示すれば良い。
【０１１２】
図１４は、図１における表示・編集装置の本発明に係わる第７の処理動作例を示す説明図である。
本例は、図１における表示・編集装置によるシーンのアウトライン表示動作時の画面構成例である。
図１３に示したようなシーンの結合表示を用いた場合、結合されたシーンをさらに結合するなど、各々のシーンに階層関係があらわれるようになる。
【０１１３】
本例は、このような階層関係を直接扱うものであり、図１３で説明したシーンブロックアイコン１４１０の「新シーン」下部に、結合編集された「シーン１」（シーンブロックアイコン１１０）と、「シーン２」（シーンブロックアイコン１２０）、および、「コント」（シーンブロックアイコン１３０）をぶら下げ表示している。
【０１１４】
またフレーム画像表示領域１５５１にも、結合されたシーン列に対応するフレーム画像列を、表示開始位置を少し右にずらしたインデント表示で表示している（領域１５０１）。
このように、シーンの階層構造を、インデントやぶら下げ表示することによって、映像の論理構造を、ワープロにおける章や節のアウトライン編集を使っているかのように、容易に把握することが可能となる。
【０１１５】
このような表示を行うには、図９の映像表示処理でのステップ１０１２と１０１３との処理の間に、「映像の表示（パラメタはシーン．結合シーン列）」のような再帰的な関数呼び出し処理を挿入すれば良い。
尚、映像の編集操作などは、クリック位置によってどの結合階層領域（領域１５５１または領域１５０１）で編集処理が発生したのかを判断した後、該当する領域上の映像シーン列に対して従来の処理を行えば良い。
【０１１６】
図１５は、図１における表示・編集装置による編集機能とワープロでの文章編集機能との比較対応例を示す説明図である。
本例の表においては、各ワープロ編集の機能１６０１〜１６０８（「文字列」、「１行」、「フォント変更」、「行間調整」、「検索」、「ヘッダ／フッタ」、「差込印刷」、「文章チェック」）に対応する本例の連続メディア情報の表示・編集技術による機能（「本発明の映像編集」）が示されている。
【０１１７】
本例では、「文字列」に「フレーム画像列（＝映像）」、「１行」に「１シーン」、「フォント変更」に「特殊効果付け（ぼかし）、「行間調整」に「２シーン間のワイプ等」、「検索」に「同種映像検索」、「ヘッダ／フッタ」に「オープニング／エンディング」、「差込印刷」に「映像編集テンプレート」、「文章チェック」に「不正映像検査」のそれぞれの機能が対応付けられている。
【０１１８】
上述したように、本例の連続メディア情報の表示・編集装置３および表示・編集方法では、ワープロ編集で文字列を編集するように、フレーム画像列、つまり映像を簡単に編集することができる。すなわち、本例では、フレーム画像列を１本線状に並べる（１６０１）だけではなく、ワープロ編集での改行編集（１６０２）のように、意味のある映像シーン毎に改行表示している。
【０１１９】
これを更に発展して考えると、ワープロによる文章編集で有効な様々な編集技術は、本例の表示・編集装置および方法による映像編集技術に容易に適用することができる。例えば、ワープロで選択した文字列のフォントを変更する操作（１６０３）を本例の映像編集に適用した例として、図５で説明した選択映像区間に対する編集操作技術が挙げられる。
【０１２０】
このようなワープロの編集機能を本例の表示・編集装置の編集機能に適用するという発想によって、図１５の表に示すような、より使いやすい映像編集技術を考えることができる。
【０１２１】
例えば、ワープロの行と行の間を調整する行間調整（１６０４）の操作方法を映像編集に適用する場合を考える。
ワープロでは２つ以上の行を選択して、行間調整メニューを選択することにより、行間の長さ等を調整できる。この文章編集の行間調整は、映像編集の場合、例えば、２つのシーン間のワイプなどの特殊効果付けとして捕らえることができる。このことから、映像編集の操作として、２つ以上のシーンを選択した後、シーン間特殊効果付けメニューを選択するという、シーン間特殊効果付けの新しい指定方法を容易に考えることができる。
【０１２２】
同様の考えから、ワープロで言う文字列の検索機能（１６０５）は、本例の映像編集では、指定した映像と同様の映像を探し出し、見つけ出した映像区間を選択状態にする、という映像編集技術として適用できる。この同様の映像を見つける技術としては、映像に付与されたキーワードを元に条件に見合う映像区間を見つける技術や、フレーム画像の画像差分量がある基準値より小さい映像区間を見つける技術などが考えられる。
【０１２３】
またワープロで言うページのヘッダやフッタ等の編集機能（１６０６）は、本例の映像編集では、オープニング／エンディング映像編集機能として適用できる。また、ワープロで言う差込印刷機能（１６０７）は、本例の映像編集では、映像の編集内容のテンプレートを用意し、そのテンプレートに様々な映像を挿入するという、映像編集テンプレート機能として適用できる。
【０１２４】
さらに、ワープロの文章チェックやスペルチェックなどの機能（１６０８）は、人の潜在意識に作用すると言われるサブリミナル映像シーン（１秒未満のごく短いシーン）を自動的に指摘する等の不正映像検査機能と考えることができる。尚、このサブリミナル映像シーンを自動的に見つける技術としては、例えば、特開平０９−０７４５７５号公報に記載の「動画像の特徴場面表示方法及び装置」等が挙げられる。
【０１２５】
以上、図１〜図１５を用いて説明したように、本実施例の連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法では、例えば動画像の各画像フレームを連続して画面の横方向に表示する場合、シーンの変化点を区切りとして改行し、行単位で各シーンを表示する。そして、各改行位置には改行マークを明示して、シーンの単位を理解し易くする。また、画面の表示枠を超える場合には、その表示枠で折り返して次の行に表示する。尚、この場合には改行マークは明示しない。
【０１２６】
また、画面上の各行の先頭から、および、先頭の行から後続の行方向へ、所定の経過時間を表す目盛線を表示し、各フレームおよび各シーンの時間位置を容易に理解できるようにする。
また、行先頭の前の領域に、この行に表示されている全フレームに対応する従来技術で作成されるシーンブロックアイコン情報も合わせて表示する。
【０１２７】
また、オペレータが編集対象のフレームを指定すると、その対象フレーム部分をハイライト表示することで、指定の良否を容易に判断できるようにし、かつ、その移動等の編集操作を容易とする。また、例えば、複数のフレームを１行に結合する場合、各結合部分を他の部分より大きく表示する等して、結合編集の結果を容易に判断できるようにする。さらに、結合編集した行の次の行から、結合編集前の各フレーム行の表示状態をウィンドウ表示する。
【０１２８】
このように、本実施例によれば、一続きの映像データのフレーム画像列を一直線状ではなく、意味のある区間ごとに改行表示するので、映像の論理構造と映像のフレーム構成との両方の把握が容易になる。また、音声情報等、映像以外の連続メディアにも同様に適用できるので、連続メディアの論理構造と連続メディアの構成要素との両方を把握するのも容易になる。
また、このような見た目での理解の容易さにより、連続メディアの編集操作もも容易となる。
【０１２９】
尚、本発明は、図１〜図１５を用いて説明した実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能である。例えば、本例では、画面の表示枠を超える場合には、その表示枠で折り返して次の行に表示しているが、折り返し表示することなく、スクロール操作等を行ない表示するようにしても良い。
また、本例では、映像区間の選択操作において、マウスを用いる例で説明しているが、通常のワープロの操作と同様に、キーボードのカーソルキー等を用いて映像区間を選択することもできる。
【０１３０】
また、本例では、連続メディアの格納形態としては、ビデオテープレコーダ等の蓄積メディアを用いているが、これに限定しなくとも良く、例えば、ＴＶやラジオなどのストリーミング形式の連続メディアでも良い。このようなストリーミング形式の連続メディアの場合は、連続メディアの終端位置を仮想的に無限大として扱えば良い。
【０１３１】
【発明の効果】
本発明によれば、コンピュータでの編集処理において、オペレータは、映像や音声等といった連続メディアの論理構造を容易に理解しながら、同時に、その構成単位／要素（映像では画像フレーム、音声では波形データ）も容易に理解することができ、コンピュータを用いた映像や音声等といった連続メディアの編集作業を効率的に行なうことが可能である。
【図面の簡単な説明】
【図１】本発明の連続メディア情報の表示・編集装置の本発明に係る構成の一実施例を示すブロック図である。
【図２】図１における表示・編集装置の本発明に係わる第１の処理動作例を示す説明図である。
【図３】図１における表示・編集装置の本発明に係わる第２の処理動作例を示す説明図である。
【図４】図１における表示・編集装置の本発明に係わる第３の処理動作例を示す説明図である。
【図５】図１における表示・編集装置の本発明に係わる第４の処理動作例を示す説明図である。
【図６】図１における表示・編集装置で処理するデータ構造例を示す説明図である。
【図７】図１における表示・編集装置の本発明に係わる第１の処理手順例を示すフローチャートである。
【図８】図１における表示・編集装置の本発明に係わる第２の処理手順例を示すフローチャートである。
【図９】図１における表示・編集装置の本発明に係わる第３の処理手順例を示すフローチャートである。
【図１０】図１における表示・編集装置の本発明に係わる第４の処理手順例を示すフローチャートである。
【図１１】図１における表示・編集装置の本発明に係わる第５の処理手順例を示すフローチャートである。
【図１２】図１における表示・編集装置の本発明に係わる第５の処理動作例を示す説明図である。
【図１３】図１における表示・編集装置の本発明に係わる第６の処理動作例を示す説明図である。
【図１４】図１における表示・編集装置の本発明に係わる第７の処理動作例を示す説明図である。
【図１５】図１における表示・編集装置による編集機能とワープロでの文章編集機能との比較対応例を示す説明図である。
【図１６】従来のフレーム単位編集技術での画面表示例を示す説明図である。
【図１７】従来のシーン単位編集技術での画面表示例を示す説明図である。
【符号の説明】
１：表示装置、２：入力装置、３：表示・編集装置、４：補助記憶装置、５：連続メディア情報入力装置、６：光ディスク、７：光ディスク駆動装置、８：表示処理部、８ａ：フレーム表示部、８ｂ：区切り検出部、８ｃ：改行部、８ｄ：改行マーク明示部、８ｅ：表示枠設定部、８ｆ：折り返し部、８ｇ：横方向時間目盛表示部、８ｈ：縦方向時間目盛表示部、８ｉ：シーンブロックアイコン表示部、９：編集表示処理部、９ａ：結合表示処理部、９ｂ：アウトライン編集表示処理部、１０：データ変換部、１００：ウィンドウ、１１０，１２０，１３０，１４０：シーンブロックアイコン、１１１〜１１３：フレーム画像、１２１〜１２４：フレーム画像、１２１ａ〜１２２ａ：フレーム画像、１３１〜１３２：フレーム画像、１４１〜１４３：フレーム画像、１５０：シーン情報表示領域、１５１：フレーム画像表示領域、１５３，１５４：時間目盛線、１５６：改行マーク、１６０：ハイライト領域、１７０：マウスカーソル、１８１：編集メニュー、１８３：編集プルダウンメニュー、１８４：メニュー、２１１，２２１：棒状領域、２５１：音声波形表示領域、２６０，５６０〜５６４：ハイライト表示領域、３００：ウィンドウ、３０１：スクロールバー、３１０，３２０，３３０：行、３２１：アイコン、３４０，３５０：音声トラック、４００：ウィンドウ、４１０〜４４０：シーンブロックアイコン、７０１：メディア情報、７１１，７２１：シーン情報、７０２：ファイル名、７０３：メディア長、７０４：シーン列、７１２：アイコン画像、７１３：コメント、７１４：開始位置、７１５：終了位置、７１６：ポインタ、１３０１〜１３０６：フレーム画像、１３１１：ページ縦時間軸、１３１２：時刻表示領域、１４１０：シーンブロックアイコン、１４１１〜１４１３，１４２１〜１４２３，１４３１：フレーム画像、１５０１：領域、１５５１：フレーム画像表示領域、１６０１〜１６０８：機能（「文字列」、「１行」、「フォント変更」、「行間調整」、「検索」、「ヘッダ／フッタ」、「差込印刷」、「文章チェック」）。
Claims (15)
- 連続メディア情報としての映像の画像フレームを表示装置の画面上に表示し、入力装置から入力される操作指示に基づき上記映像の表示・編集を上記画面上に表示した画像フレーム単位で行なう連続メディア情報の表示・編集装置であって、
上記画像フレームを上記画面の一方向に順に表示する手段と、
順に表示された上記画像フレームの論理的な区切りを検出する手段と、
該手段で検出した区切り毎に上記画像フレームの表示を改行する手段と
を有することを特徴とする連続メディア情報の表示・編集装置。 - 請求項１に記載の連続メディア情報の表示・編集装置において、上記検出した区切り位置に改行マークを明示する手段を設けたことを特徴とする連続メディア情報の表示・編集装置。
- 請求項１、もしくは、請求項２のいずれかに記載の連続メディア情報の表示・編集装置において、上記画像フレームを表示する画面の表示枠を制限する手段と、該手段で制限された表示枠を超えた画像フレームを折り返し次の行に表示する手段とを設けたことを特徴とする連続メディア情報の表示・編集装置。
- 請求項１から請求項３のいずれかに記載の連続メディア情報の表示・編集装置において、上記画像フレームの行先頭からの所定の経過時間を表す目盛線を表示する手段を設けたことを特徴とする連続メディア情報の表示・編集装置。
- 請求項１から請求項４のいずれかに記載の連続メディア情報の表示・編集装置において、上記画像フレームを表示した先頭の行から後続の行方向へ、所定の経過時間を表す目盛線を表示する手段を設けたことを特徴とする連続メディア情報の表示・編集装置。
- 請求項１から請求項５のいずれかに記載の連続メディア情報の表示・編集装置において、上記画像フレームを表示した行先頭の前の領域に、該行に表示されている画像フレームに対応して別途作成された、直方体状の奥行きとして時間長が表示されているシーンブロックアイコン情報を表示する手段を設けたことを特徴とする連続メディア情報の表示・編集装置。
- 請求項１から請求項６のいずれかに記載の連続メディア情報の表示・編集装置において、上記画像フレームの上記入力装置を介して指定された部分を他の部分と異なる特定表現で表示する手段を設けたことを特徴とする連続メディア情報の表示・編集装置。
- 請求項１から請求項７のいずれかに記載の連続メディア情報の表示・編集装置において、上記入力装置を介して指定された画像フレームの部分を、上記入力装置から入力される編集操作指示に従って編集する手段を設けたことを特徴とする連続メディア情報の表示・編集装置。
- 請求項１から請求項８のいずれかに記載の連続メディア情報の表示・編集装置において、上記入力装置から入力される編集操作指示に従って、複数行の画像フレームを結合して一つの行に表示する手段と、上記複数行の画像フレームのそれぞれの結合部分を他の部分と異なる表現で表示する手段とを設けたことを特徴とする連続メディア情報の表示・編集装置。
- 請求項９に記載の連続メディア情報の表示・編集装置において、上記複数行の画像フレームを結合して表示した行の次の行から、結合編集前の表示状態をウィンドウ表示する手段を設けたことを特徴とする連続メディア情報の表示・編集装置。
- 請求項１から請求項１０のいずれかに記載の連続メディア情報の表示・編集装置において、上記入力装置を介して指定された上記画面上の二次元座標位置から、対応する画像フレームの時間位置を算出する手段を設けたことを特徴とする連続メディア情報の表示・編集装置。
- 請求項１から請求項１１のいずれかに記載の連続メディア情報の表示・編集装置において、上記映像の画像フレームの代わりに、音声の波形データを少なくとも含む他の連続メディア情報に対して各手段による表示・編集処理を行なうことを特徴とする連続メディア情報の表示・編集装置。
- 連続メディア情報としての映像の画像フレームを表示装置の画面上に表示し、入力装置から入力される操作指示に基づき上記映像の編集を上記画面上に表示した画像フレーム単位で行なう処理装置の連続メディア情報の表示・編集方法であって、
請求項１から請求項１２のいずれかに記載の連続メディア情報の表示・編集装置における各手段の処理により、上記画像フレームの表示と編集を行なうことを特徴とする連続メディア情報の表示・編集方法。 - 請求項１３に記載の連続メディア情報の表示・編集方法において、上記映像の画像フレームの代わりに、音声の波形データを少なくとも含む他の連続メディア情報に対して各手段の処理による表示・編集処理を行なうことを特徴とする連続メディア情報の表示・編集方法。
- コンピュータで読み取られ処理されるデータおよびプログラムを記録する記録媒体であって、請求項１から請求項１２のいずれかに記載の連続メディア情報の表示・編集装置における各手段による処理手順をコンピュータに実行させるためのプログラムを記録したことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22117898A JP3595871B2 (ja) | 1998-08-05 | 1998-08-05 | 連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法およびその処理手順を記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP22117898A JP3595871B2 (ja) | 1998-08-05 | 1998-08-05 | 連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法およびその処理手順を記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000059720A JP2000059720A (ja) | 2000-02-25 |
| JP3595871B2 true JP3595871B2 (ja) | 2004-12-02 |
Family
ID=16762710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP22117898A Expired - Fee Related JP3595871B2 (ja) | 1998-08-05 | 1998-08-05 | 連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法およびその処理手順を記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3595871B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3569800B2 (ja) * | 1998-12-24 | 2004-09-29 | カシオ計算機株式会社 | 画像処理装置及び画像処理方法 |
| JP3600555B2 (ja) | 2001-06-27 | 2004-12-15 | 株式会社東芝 | 動画像編集装置及び動画像編集方法 |
| TW520602B (en) | 2001-06-28 | 2003-02-11 | Ulead Systems Inc | Device and method of editing video program |
| JP2009177581A (ja) | 2008-01-25 | 2009-08-06 | Ｎｅｃディスプレイソリューションズ株式会社 | 投射型表示装置および字幕表示方法 |
| JP5569120B2 (ja) * | 2010-04-23 | 2014-08-13 | 株式会社リコー | 画像処理装置、画像処理システム、データ処理方法、プログラムおよび記録媒体 |
| JP6021063B2 (ja) * | 2011-07-26 | 2016-11-02 | パナソニックＩｐマネジメント株式会社 | 動画編集装置、動画編集方法、プログラムおよび集積回路 |
| JP5794685B2 (ja) * | 2011-08-09 | 2015-10-14 | キヤノン株式会社 | 画像処理装置、方法及びプログラム |
-
1998
- 1998-08-05 JP JP22117898A patent/JP3595871B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000059720A (ja) | 2000-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6584463B2 (en) | Video searching method, apparatus, and program product, producing a group image file from images extracted at predetermined intervals | |
| US7124366B2 (en) | Graphical user interface for a motion video planning and editing system for a computer | |
| EP2127368B1 (en) | Concurrent presentation of video segments enabling rapid video file comprehension | |
| JP3892342B2 (ja) | ビデオプロジェクトを編集するためのビデオ編集方法および装置 | |
| US6571054B1 (en) | Method for creating and utilizing electronic image book and recording medium having recorded therein a program for implementing the method | |
| US7480864B2 (en) | Zoom editor | |
| JP4194272B2 (ja) | 動画像管理装置及び方法 | |
| EP0916136B1 (en) | Graphical user interface for a motion video planning and editing system for a computer | |
| US20090136201A1 (en) | Image processing apparatus | |
| JP3595871B2 (ja) | 連続メディア情報の表示・編集装置と連続メディア情報の表示・編集方法およびその処理手順を記録した記録媒体 | |
| US6272279B1 (en) | Editing method of moving images, editing apparatus and storage medium storing its editing method program | |
| JP3096280B2 (ja) | 電子映像文書作成利用方法及びプログラム格納媒体 | |
| JP2001238172A (ja) | 映像構造編集装置、構造要素再構成装置およびその装置の各手段としてコンピュータを実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP4780128B2 (ja) | スライド再生装置、スライド再生システム、およびスライド再生プログラム | |
| JP2005318618A (ja) | 動画像管理装置及び方法 | |
| JP3496866B2 (ja) | マンガ型映像編集方法及び装置ならびに該編集方法を記録した記録媒体 | |
| JPH0512406A (ja) | 動画データ作成方法 | |
| JP2000251450A (ja) | 画像検出方法 | |
| JPH11308567A (ja) | ページ表示機能付きレイアウト映像編集方法及び装置及びそのプログラムを記録した記録媒体 | |
| JPH0512347A (ja) | 動画検索方法 | |
| JP3619005B2 (ja) | 映像処理システム制御方法および装置，並びにそのプログラム記録媒体 | |
| JP2001223944A (ja) | 映像構造編集装置およびその装置の各手段としてコンピュータを実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2004140750A (ja) | 画像編集装置 | |
| JP2005130525A (ja) | 動画像編集方法及び動画像編集装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040810 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040823 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070917 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080917 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090917 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100917 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110917 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120917 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130917 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |