JPH08292965A

JPH08292965A - 映像支援システム

Info

Publication number: JPH08292965A
Application number: JP8027575A
Authority: JP
Inventors: Akio Nagasaka; 晃朗長坂; Hirotada Ueda; 博唯上田; Takafumi Miyatake; 孝文宮武
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1995-02-20
Filing date: 1996-02-15
Publication date: 1996-11-05
Anticipated expiration: 2016-02-15
Also published as: JP3472659B2; US5818439A

Abstract

(57)【要約】【課題】映像の視聴中断後、再視聴時にそれまでの視
聴内容を思い出すための手掛かり情報を、なるべく少な
い情報量で、かつ視聴者が容易に理解可能な形で提供す
る視聴支援方法及びその方法を用いたシステムを提供す
ること。【解決手段】コントローラによって映像再生の制御を
行う映像視聴端末では、視聴者が視聴を中断した箇所を
記憶し、ビデオサーバの映像ライブラリに蓄積し、ダイ
ジェスト作成プログラムにより、映像の先頭、もしくは
特定箇所からその中断箇所までの映像について、その代
表的な部分部分の映像を抽出し、縮小アイコンによる一
覧表示もしくはダイジェスト映像といったダイジェスト
情報を動的に作成すして、視聴再開時には上記ダイジェ
スト情報を視聴者に提示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する分野】本発明は、映画やテレビ番組など
のビデオ映像を視聴するための装置およびその支援方法
に係り、特にビデオオンデマンドを始めとする計算機制
御された映像視聴システムに関する。

【０００２】

【従来の技術】近年、家庭用ビデオ機器やレンタルビデ
オの普及により、家庭で様々なビデオ映像を視聴する機
会が増えている。これは、映画館等の定められた場所で
視聴するのと異なり、視聴者のスケジュールに応じて、
自由に中断したり再開しながら視聴を行える特徴があ
る。しかしながら、中断期間が長くなると、視聴した部
分の記憶があいまいになり、再開時に内容についていけ
ない事態が生ずる。そのため、従来、視聴者は、ビデオ
映像を巻き戻して、改めて最初から見直したり、飛ばし
見するなどして、記憶を呼び覚ますことを行っていた。

【０００３】しかし、こうした作業は、視聴者にとって
面倒かつ時間的に無駄の多い作業であり、また、ビデオ
オンデマンドのようなネットワークを通じて提供される
映像の場合には、一度視聴した部分の映像を再度配送す
るため、コストが大きくなるという問題がある。

【０００４】尚、特開平３−３５４３１号公報に、再生
を再開する前に早送り手段によって、記録円盤の記録開
始位置から間欠的に再生画面を出力するビデオディスク
プレーヤが記載されている。しかし、この従来技術は、
記録開始位置から所定時間ごとに早送りと通常再生とを
順に繰り返して表示する。仮に映像を後半まで見て視聴
を中断した場合には、間欠的な画面再生、つまり、早送
りと通常再生が再視聴箇所まで続き、再視聴までの時間
が著しく長くなるという問題点、更に、記録された内容
に関わらず所定時間ごとに早送りと通常再生とが繰り返
され、必ずしも重要なシーンが表示されるわけではない
という問題点がある。

【０００５】

【発明が解決しようとする課題】本発明の目的は、視聴
者が過去の視聴内容を思い出すための手掛かり情報を、
なるべく少ない情報量で、かつ視聴者が容易に理解可能
な形で提供することにある。

【０００６】

【課題を解決するための手段】上記の目的を達成するた
め、本発明は、映像再生の制御が可能な映像再生手段
と、視聴者が視聴を中断した箇所を記憶する手段と、映
像を蓄積する手段と、映像の先頭、もしくは特定箇所か
らその中断箇所までの映像について、上記映像を蓄積す
る手段から、その代表的な部分部分の映像を抽出し、縮
小アイコンによる一覧表示もしくは連続的に表示する動
画ダイジェストとして代表映像の要約情報を動的に作成
する手段を有し、視聴再開時には上記要約情報を上記映
像再生手段に提示する。

【０００７】そして、動画ダイジェストの提示後、連続
的に中断箇所から映像を再開するための手段を設ける。
このとき、中断箇所の一定時間前の部分から映像の再開
を行える手段を合わせて設ける。また、ポインティング
デバイスによって一覧表示中のアイコンが指定されたか
どうかを監視する手段と、指定されたアイコンに対応す
る場面から映像を再生する手段とを設ける。さらに、映
像の代表的な部分の抽出にあたっては、映像のカットの
変わり目を検出し、該変わり目の画像もしくはその付近
の動画映像を抽出する手段を設ける。また、１つのカッ
ト中に上記映像との画像的差異が大きく、同じカット中
の他の映像とも画像的差異が大きな映像が含まれるかど
うかを判定する手段によって、含まれると判定された場
合には、それらの映像も合わせて抽出して代表映像とす
る。あるいは、カットの先頭から一定間隔ごとの映像を
代表映像として抽出する手段を設ける。また、映像の重
要度を判定する手段を設けてランク付けし、ダイジェス
ト作成のときに一定ランク以上の映像だけを用いる手段
を設ける。このとき、重要度判定にあたって代表映像の
視聴中断箇所からの時間的距離によって重み付けを行う
手段と、ダイジェストの総時間が特定の時間になるよう
に、抽出対象のランクを調整する手段を設ける。また、
代表映像の一覧表示においては、ランクの高い代表映像
と、そうでない画像とを区別できるような視覚的特性を
持たせることのできる表示手段を設ける。

【０００８】なお、代表映像とは、発明者らの方式で
は、映像中の各カットから１枚ずつ抽出される画像であ
る。カットとは、一台のカメラで撮影された連続的な映
像区間として定義される。カットは、画像的にも内容的
にも一つのかたまりと見なせる動画の最小単位である。

【０００９】本発明によれば、映像の視聴を一度中断
し、また再開する際には、すでに視聴した映像内容を把
握するための手掛かり情報が提供されるので、視聴者が
過去の視聴内容を即座に思い起こすことができ、すでに
視聴した部分を再度視聴する手間が省ける。そして、動
画ダイジェストの提示後、連続的に中断箇所から映像が
再開されるので、記憶が呼び覚まされたところで思考の
途切れなく映像の視聴に集中できる。このとき、中断箇
所の一定時間前の部分から映像を再開するので、見たこ
とのない新しい映像が突然現われて戸惑うことなく、連
続的な映像の視聴ができる。また、指定されたアイコン
に対応する場面から映像を再生する手段によって、中断
箇所に限らず、好みの箇所から映像を自由に見直すこと
ができる。さらに、代表映像の抽出に関しては、カット
の変わり目の映像を自動的に抽出する手段が用意されて
いるので、代表映像の登録の手間も省ける。このとき、
パンやズーム等によってカットの変わり目における撮影
角度との間に変化が生じても、その変化した映像も抽出
されるので、重要な場面を漏らさず抽出でき、抽出され
た代表映像の一覧もしくは動画ダイジェストの利用価値
が高まる。また、代表映像をランク付けして、重要度の
高いものだけを抽出することで、一覧表示される代表映
像が多くなりすぎて、一覧中の本当に有効なものが見つ
かりにくくなるのが防げる。視聴再開時には、中断箇所
に近い部分の映像のほうが、それから視聴する内容に関
する情報が多く含まれているので、そうした映像のラン
クを高くすることで中断箇所に近い部分の代表映像が要
約情報に多く含まれるようになる。また、動画ダイジェ
ストを特定の時間内になるように設定することで、視聴
者が素早く簡潔に要約を得られるようになる。また、一
覧表示において、ランクの高い代表映像と、そうでない
画像とを区別することで、内容の骨格と、そのディテー
ルとが一目で把握できるようになる。

【００１０】

【発明の実施の形態】以下、本発明の１実施例を詳細に
説明する。

【００１１】本発明のサービスイメージを明確化するた
めに、まず、図１を用いてシステムの概略を説明し、そ
の後、詳細について説明することにする。

【００１２】図１は、本発明をビデオオンデマンド (VO
D) システムにおいて実現するためのシステム全体の構
成図である。システムは、大きくビデオサーバ１００と
視聴端末１０８の２装置から構成される。ビデオサーバ
１００は、ビデオサービスを提供する側であり、視聴端
末１０８はサービスを受ける側である。両者の間のデー
タや信号のやりとりは、ISDNなどの通信網１０６を介し
て行われる。ビデオサーバ１００には、補助記憶装置が
２種類接続されている。１つは、視聴者に提供する番組
そのもののデータを格納しておく、映像ライブラリ１０
２である。もう１つは、番組全体の中でも、とりわけ重
要あるいは興味深い場面（以後、代表映像と称する）だ
けを選んで格納する、代表映像ライブラリ１０４であ
る。代表映像の抽出手順は、図８、図１１を用いて後に
説明する。視聴端末１０８には、視聴する番組や各種の
情報を表示するためのディスプレイ１１０と、視聴する
番組の選択や、再生・停止の指示を行うためのコントロ
ーラ１１２が接続されている。

【００１３】番組を視聴するユーザは、視聴端末１０８
に対し、コントローラ１１２を用いて、見たい番組が何
であるかを指示する命令を通信網１０６を通じて送信す
る。ビデオサーバ１００は、その命令を受けて、指示さ
れた番組を映像ライブラリ１０２の中から探し出し、そ
の映像データを通信網１０６を通じて視聴端末１０８に
送信する。視聴端末１０８では、その映像データを受信
してディスプレイ１１０に表示することで、ユーザは所
望の番組を視聴することができる。通常は、番組の終わ
りまで、連続的にビデオサーバから視聴端末に映像デー
タが送信され続ける。もし、ユーザが、視聴を中断する
場合、コントローラ１１２によって停止を指示すると、
停止命令がビデオサーバ１００に送信され、映像データ
の送信が止まる。このとき、視聴端末１０８は、中断し
たときの映像のIDと中断位置のアドレス情報を記憶す
る。そして、次の機会に、コントローラ１１２によって
番組再生の指示があった場合、端末１０８は、記憶され
たデータを調べて、過去に視聴を中断された番組である
かどうかを判定し、その判定に応じた命令をビデオサー
バに送信する。判定の結果、再生指示された番組が新規
の番組の場合には、ビデオサーバからは、その番組の映
像データが先頭から送信される。再生指示された番組が
一度中断された映像の場合には、ビデオサーバはその番
組の中断箇所までのダイジェストを作成して送信し、そ
れに続けて、中断された位置から映像データが送信され
る。ユーザ側の視聴端末１０８上では、ダイジェストに
続けて再生指示した番組が途中から再生される。

【００１４】図２は、ビデオサーバ１００の構成図の例
である。ＣＰＵ１３４はバス４０を介して他の諸装置に
接続され、後述する各種の機能を実現するプログラムを
実行するための装置であり、メモリ１２４に、プログラ
ムやそれを実行するために必要となるデータ類が格納さ
れる。また、処理の必要に応じて、各種情報を１３６の
補助記憶装置に蓄積することもできる。ネットワーク装
置１３８は、通信網１０６を介して図２には図示されて
いない視聴端末１０８とデータをやりとりするための装
置である。制御I/F１４０は、ＣＲＴ等のディスプレイ
装置（図示せず）や、あるいはキーボードやポインティ
ングデバイスといった入出力装置（図示せず）と、ビデ
オサーバ１００との間の情報を授受を制御するためのイ
ンタフェース装置である。外部から提供される番組は、
アナログ映像であることが多い。１２２のＡ／Ｄ変換器
により、アナログビデオ映像１２０はデジタル画像デー
タに変換され、メモリ１３６に格納される。

【００１５】例えば、メモリ１３６は、光ディスク、磁
気ディスク等の記録媒体からなる映像蓄積装置とする。
蓄積される際のファイル形式は、後に説明する図７の映
像構造体６００である。

【００１６】ビデオサーバは大きく分けて２つの機能が
ある。１つは提供番組を入力し、映像ライブラリ１０２
として格納する機能である。もう１つは、視聴端末１０
８からの要求を受けて、映像データを送信する機能であ
る。

【００１７】入力された番組を映像ライブラリ１０２に
格納するために、メモリ１２４には、代表映像抽出プロ
グラム１２６と重要度抽出プログラム１２８が格納され
る。Ａ／Ｄ変換器１２２で入力されたビデオ映像は、デ
ィジタル映像データとして補助記憶装置１３６の中の１
０２に格納されると同時に、代表映像抽出プログラム１
２６によって、そのビデオ映像中の代表的な映像が抽出
される。そして、重要度抽出プログラム１２８によっ
て、１２６で抽出された代表映像の、個々の重要度ラン
クが付与される。こうして得られた代表映像と重要度ラ
ンクは、対になって代表映像ライブラリ１０４として格
納される。代表映像は図１２の代表画像構造体の形式で
格納されている。

【００１８】一方、視聴端末１０８からの要求を受けて
映像データを送信するために、ダイジェスト作成プログ
ラム１３０と映像制御プログラム１３２が用意される。
ダイジェスト作成プログラム１３０は、中断された番組
の再開のときに用いられ、代表映像ライブラリ１０４に
格納された、その番組の重要場面のうち、中断箇所まで
の範囲に関する重要場面だけを選び出してダイジェスト
を作成し、要求された映像の再発信の前に視聴端末１０
８に向けて発信する。映像制御プログラム１３２は、ネ
ットワーク装置１３８によって受信された視聴端末１０
８からの要求データを解釈して、要求に応じた番組の映
像データを１０２から探し出し、送信する。

【００１９】図４は、映像制御プログラム１３２のフロ
ーチャートの一例である。２０００は、処理要求の有無
をチェックし、要求があるまで待機する。もし、処理要
求が番組の登録要求であれば（２００２）、ビデオ映像
を映像ライブラリに記録すると同時に（２０１８）、プ
ログラム１２６と１２８によって、ダイジェスト作成の
ための前処理が行われて（２０２０〜２０２２）、２０
００に戻る。処理要求が、映像の再生停止であれば（２
００４）、映像データの送信をやめて（２００６）、２
０００に戻る。また、処理要求が新規の映像の視聴要求
であれば、新たな番組を選択するためのインタフェース
プログラムが起動する（２０２４）。例えば、ＶＯＤシ
ステムでは広く一般的となっている、番組のタイトル一
覧が表示されて、その中から所望の番組をコントローラ
を使って選択する方法などが考えられる。選択される
と、その番組の先頭から映像データが送信される（２０
２６）。ステップ２００８で、ユーザが過去に途中まで
視聴した番組に対する視聴要求であった場合、処理要求
が中断箇所からの再開要求であれば（２０１０）、プロ
グラム１３０によってダイジェストが作成され（２０１
２）、視聴端末に向けて送信されて提示され（２０１
４）、その後、中断箇所からの映像データの送信が行わ
れる（２０１６）。ダイジェスト表示後、特にユーザか
らの指示がなければ、自動的に中断位置からの映像デー
タの表示に切り替わる。ダイジェスト表示中にユーザか
ら、映像データへの切替要求が有ればシステム側で設定
したダイジェスト表示時間を無視してすぐに映像データ
に切り替わる。

【００２０】図７に、ビデオサーバ１００中の映像ライ
ブラリ１０２に格納されるデジタル映像のファイル形式
を単純化して示した一例を、映像構造体６００として示
す。この映像構造体６００の形式で、映像ライブラリ１
０２は何種類ものデジタル映像をファイルとして格納し
ている。ビデオサーバ１００では、視聴端末１０８から
映像の配信を要求する制御信号を受信すると、映像構造
体６００の形式のファイルをアクセスしながら、視聴端
末１０８に要求された映像を配信する。

【００２１】６０２は、映像を一意に識別するためのID
番号である。６０４は、光学式ビデオディスクの映像な
のか、ビデオテープのものか、あるいは外部記憶装置に
格納されたデータなのかを識別するための分類コードで
ある。したがって、光学式ビデオディスク等を制御して
再生する場合には、フレーム画像のデジタルデータは持
たない。外部機器を制御する場合、映像ごとに記録メデ
ィアを交換する必要があるなどアクセスに時間がかかる
が、その反面でメディア単価が安価というメリットがあ
る。そのため、頻繁に使用される映像は、デジタル化し
て格納し、他は外部機器を制御するという形でトータル
コストを下げることができる。

【００２２】６０６は映像ID６０２で特定された映像
（映像αとする）を代表するフレームの番号で有り、例
えば、たくさんの種類の映像の中から１つを選択する
際、この代表フレームの画像を一覧にして表示すること
でユーザの選択の便をはかる。６０８は蓄積媒体中にお
ける映像αの始点、６１０が終点フレーム番号である。
６１６には映像αの属性情報が入る。例えば、映像αの
作成日や著作権の所在、ニュース、映画、音楽など映像
の属する分野を示す。

【００２３】他は、映像データがデジタル化された映像
の場合に必要な情報である。６１２が映像の画面幅、６
１４が画面高さである。６１８は、あるフレーム番号に
対応するフレーム画像データが、映像のどのアドレスか
ら存在するかを記憶したディレクトリである。６２０は
フレーム番号、６２２にフレームの画素データ、６２４
に音声データという形式がフレーム数だけ繰り返され
る。

【００２４】図３は、映像視聴端末１０８の構成図であ
る。ＣＰＵ１６２はバス５０を介して他の諸装置に接続
され、後述する各種の機能を実現するためのプログラム
を実行するための装置であり、メモリ１５６に、プログ
ラムやそれを実行するために必要となるデータ類が格納
される。また、処理の必要に応じて、各種情報を１５２
の補助記憶装置に蓄積することもできる。ネットワーク
装置１５０は、通信網１０６を介して視聴端末とデータ
をやりとりするための装置である。ディスプレイ装置１
６６は、ビデオサーバ１００から受信した映像データの
うちの画像データ部分を、人間が絵として見られる形に
変換して、ディスプレイ１１０に表示するためのインタ
フェース装置である。コントローラI/F１６４は、キー
ボードやポインティングデバイスといった、ユーザから
の指示を伝える入力装置１１２の状態をＣＰＵ１６２に
伝えるためのインタフェースである。１６８の音声出力
装置は、ビデオサーバ１００から受信した映像データの
うちの音声データ部分を、人間が音として聞こえるよ
う、アナログ変換する装置である。

【００２５】メモリ１５６には、制御処理プログラム１
５８と再生位置記憶プログラム１６０が格納される。制
御処理プログラム１５８は、コントローラ１１２から入
力されたユーザからの指示を解釈し、必要に応じてビデ
オサーバ１００に命令を送信する。

【００２６】再生位置記憶プログラム１６０は、番組の
視聴が中断された場合、中断位置情報１５４を補助記憶
装置１５２に記録する。この情報は図６に示したような
停止時情報構造体２０からなる。２２００は過去に視聴
の中断があったことを示すフラグであり、フラグが立っ
ているときには、２２０２〜２２０６の情報が有効な情
報であることを示す。２２０２は、映像のID番号であ
り、どの番組を視聴しているときに中断されたのかを示
す。２２０４のフレーム番号は、中断された箇所の、番
組全体中での位置を表すアドレス情報である。２２０６
の停止日時は、中断された日付と時刻であり、中断時
間、すなわち、中断日時２２０６から再開要求までの時
間が短いときにはダイジェストを表示しないといった処
理を行うときに用いる。

【００２７】図５は、制御処理プログラム１５８のフロ
ーチャートの一例である。ステップ２１００では、処理
要求の有無をチェックし、要求があるまで待機する。も
し、処理要求が番組の視聴要求であれば（２１０２）、
中断位置情報１５４を読み出して、視聴要求があった番
組について中断フラグが立っているかを調べ（２１１
０）、中断フラグが立っていれば、中断箇所からの再生
をビデオサーバ１００に要求する（２１１２）。当該番
組に関して中断フラグが立っていなければ、番組の新規
視聴要求をビデオサーバに送信する（２１１４）。一
方、処理要求が番組の停止要求であれば（２１０４）、
停止要求を出した番組について図６の形式で中断フラグ
２２００を立てて、中断位置情報１５６を記憶する。そ
して、ビデオサーバに停止要求を送信し（２１０８）、
２１００に戻る。

【００２８】以下では、本発明を実現する個々の装置の
実行手順の例を詳細に説明する。代表映像抽出プログラ
ム１２６、重要度抽出プログラム１２８、ダイジェスト
作成プログラム１３０、映像制御プログラム１３２の４
つについて順に説明する。他の構成部分については、上
記の概略説明から自明であるので説明は省略する。

【００２９】代表映像抽出プログラム１２６は、新規に
入力された映像全体の中から、その映像を代表する部分
を抽出する。ここでは、映像をカット単位に分割し、各
カットの先頭の画像を代表映像とする方法について説明
する。これは、従来からのカット変わり自動検出方法を
基本とし、それに本発明を実現する処理機能を追加して
いる。従来技術の例として「Nagasaka A., Tanaka Y. "
Automatic Video Indexing and Full-video search for
Object Appearants"IFIP Transactions A-7,Visual Da
tabase Systems, II, pp.113-127 North-Holland」があ
る。カット変わりの検出は、基本的に、入力された映像
を毎フレーム計算機に取り込み、現在のフレームと、そ
の直前のフレームとの画像特徴の類似度を求め、今がカ
ット変わりにあたるか否かを判定する。カット変わりを
挟む２枚のフレームでは、画像が大きく異なるので画像
特徴の類似度は小さくなり、逆に１つのカットの中で
は、画像の類似度は大きくなる。画像特徴としては、本
実施例では色ヒストグラムを用いている。また、他のカ
ット変わり自動検出方法として、現在のフレームと、そ
の直前のフレームとの画像特徴の類似度、更に直前のフ
レームと、その更に以前のフレームとの画像特徴の類似
度を求め、夫々の類似度が許容範囲外になった時点をカ
ット変わりにあたるとして判定する方法を用いてもよ
い。

【００３０】代表映像及び付随する他の処理結果等
（例：重要度ランク）は必要に応じて補助記憶装置１３
６に格納される。

【００３１】図８は、CPU１３４によって実行される代
表映像抽出プログラム１２６のフローチャートである。
新規の映像の入力の開始に先立ち、初期化が行われ、ヒ
ストグラムのリセット及び各種変数への初期値の代入が
される。そして、フレーム番号がnで表わされるフレー
ムの画像を取り込む（３００）。nの初期値は、新規映
像の先頭のフレーム番号である。次に、取り込んだフレ
ーム画像について色ヒストグラムHnを作成する（３０
２）。色ヒストグラムは、１枚のフレーム画像全体にお
ける、同じ色を示す画素の出現頻度を求めたものであ
る。例えば、RGB各2ビット６４色の色ヒストグラムを作
成する場合、フレームの各画素をRGB各2ビット６４色に
縮退し、６４色それぞれについて、その色を示す画素の
数をカウントする。そして、Hnと、１つ前のフレームの
色ヒストグラムHn-1との間の相異度Rcpを求める（３０
４）。Rcpは、カイ二乗検定等により求める。このと
き、カットの先頭のフレームのヒストグラムHcと、Hnと
の間の相異度Rchも同様にして求める（３０６）。そし
て、RchとRcpとの差をRsumに加える（３０８）。

【００３２】次に、Rcpと、あらかじめ設定しておいた
閾値th1との大小比較を行う（３１０）。Rcpがth1より
大きい場合には、n番とn-1番とのフレームの間でカット
が変化、すなわちカット変わりであると判定し、n番目
のフレーム画像を縮小して抽出し、その縮小画像を代表
映像として記憶する（３１２）。また、Rcpがth1より小
さい場合には、続いてRsumと、あらかじめ設定しておい
た別の閾値th2との大小比較を行う（３１４）。このと
き、Rsumがth2より小さければ、３２６でnを１つ増やし
て３００に戻り、上記処理を繰り返す。Rsumがth2より
大きければ、n番目のフレームの画像と、カットの先頭
の画像との相異が十分大きくなったと見做し、このn番
目のフレーム画像を、代表映像として抽出するため、後
述する３１６〜３２０の処理を行う。一般に、フレーム
間の画像変化がない映像区間においては、そのカットの
先頭と現在のフレームの画像的相異度Rch-Rcpは、常に
０に近い値を示す。この相異度を累積したRsumも同様に
０に近い値を示す。しかし、動きのある映像区間では、
比較するフレームの間隔が大きくなるほど画像の相異度
が大きくなり、Rch > Rcpとなって、Rch-Rcpの累積値Rs
umも大きな値を示すようになる。ここで、累積値を用い
て判定を行なうのは、突発的に発生したノイズなどによ
って惹起される、代表映像の抽出しすぎを抑制するため
である。例えば、カメラ撮影のフラッシュが生じた場
合、フラッシュの瞬間には、Rchは非常に大きな値をと
るが、フラッシュがおさまると、また小さな値に戻るの
で、映像区間全体の累積値としては、それほど大きな値
にならない。これによって、抽出される代表映像が多く
なり過ぎて、それらの一覧が要約としての価値が損なわ
れないようにしている。以下で述べる３１６〜３２０の
処理は、同様の理由で設けたものである。

【００３３】１つのカットの中でカメラの動きが長時間
に渡る場合、動きの途中でRsumがth2を超えてしまう場
合がある。そのときのフレーム画像は、カット先頭の画
像と大きく違っているという意味では、代表映像として
用いることができる。しかし、代表映像としての重要度
で比較すると、カメラを固定して撮影した部分の画像
と、撮影角度の変更途中に撮られた部分の画像とでは差
がある。そこで、より重要度の高い画像を選択的に抽出
するために、Rsumがth2を超えても、すぐには代表映像
を抽出せず、次の３つの条件を満たした後に抽出処理を
行なう。(1) カメラの動きが止ったとき。(2) 一定時間
以上経過したとき。(3) 次のカット変わりが発生したと
き。(1)のカメラが動いているか止っているかの判定に
は、処理中のフレームnとその直前のフレームn-1との画
素単位の色差の総和Rpを利用する。画素単位の色差は、
２枚のフレームの同じ座標の画素の色の組について、そ
のR、G、B各々の輝度差の和として求める。Rpは、動き
に敏感に反応して大きな値を示す。このRpを過去10組程
度について記憶しておき、その10組分の値の中で小さい
ものから順に５つ程度を総和し、その値が閾値th3より
小さい場合に、カメラの動きがないと判定する（316〜3
18）。(2)については、長時間に渡ってカメラが動き続
けている場合には、カメラを動かしながらの撮影に何ら
かの意図があると考えられるので、カットの先頭から一
定時間経過しても動いている場合には、そのときの画像
を代表映像として抽出する(320)。(3)は、次のカット変
わりが発生した場合に、そのカット変わり直前のフレー
ムを代表映像として抽出する。もちろん、カット変わり
直後のフレームも同様に代表映像として抽出する。

【００３４】次に、代表映像を抽出するための他の処理
プログラムについて説明する。カット変わりから一定間
隔ごとに代表映像を抽出することで、ズームやパンなど
のカメラ変化があった場合の画像も抽出するようにす
る。もちろん、カメラ変化がない場合、ほとんど同じ画
像が連続して抽出されるが、画像認識が不要なので処理
が簡単になる。図１１に、このための他の代表映像抽出
プログラム１２６’のフローチャートを示す。700で初
期化を行ない、702〜706で上記302〜304と同様にして、
直前のフレームと現在のフレームとの相異度Rcpを求め
る。Rcpと、あらかじめ設定しておいた閾値th1との大小
比較を行う(708)。Rcpがth1より大きい場合には、カッ
ト変わりであると判定してn番目のフレーム画像を縮小
して抽出し、その縮小画像を代表映像として記憶する(7
12)。そして、最近のカット変わりのフレーム番号であ
るfnに現在のフレーム番号nを代入する。また、Rcpがth
1より小さい場合には、n-fnを求め、それが閾値th4より
大きければ、カット変わりの処理を行なう。そうでなけ
れば、現在のフレーム番号nを１つ増やして７０２に戻
る。

【００３５】代表映像の抽出方法としては、上記のよう
なカットを基本にしたもののほか、また別の尺度でも求
めることができる。例えば、特開平7-192003号に示され
ているように、映像中の字幕が現われている場面の画像
を代表映像としてもよい。あるいは、人間が現われてい
る場面や、会話している場面の画像でもよい。人間が現
われているかどうかの判定は、例えば、髪を示す黒色領
域の下に、顔を表す肌色領域があるフレーム画像を探す
等の方法で、ある程度自動的に抽出することができる。
また、会話の場面は、音声信号を解析し、人間の声に対
応する周波数帯が強い部分を求めることで推定ができ
る。このダイジェストを作る場合には、中断部分に近い
映像ほど重要度が高くなる。また、上記では、自動で代
表映像を抽出する場合についてのみ述べたが、映像の登
録者が人手で代表映像を抽出しても構わないし、自動抽
出の結果に誤りを見つけたり、気に入らない場合には、
修正を行ってもよい。

【００３６】図１２に、このときの代表画像のファイル
構造である代表画像構造体８０を示す。代表画像には、
静止画と動画との２つの種類がある。前者は一覧表示用
であり、後者は動画ダイジェスト用に使われる。映像ID
８００は、どの映像の代表映像なのかを示すID番号であ
る。８０２〜８０８は、代表画像が静止画である場合に
必要なデータである。それぞれの代表画像の幅、高さ、
画素データ、映像中におけるフレーム番号である。８１
０〜８１２は、代表画像が動画である場合に必要なデー
タで、その映像区間の先頭のフレーム番号、末尾のフレ
ーム番号である。代表画像構造体には静止画重要度ラン
ク８１４、動画重要度ランク８１６の２種類のランク記
憶構造が設けられており、代表画像が静止画の場合には
静止画重要度ランク８１４に、動画の場合には動画重要
度ランク８１６にその代表画像の重要度が書き込まれ
る。

【００３７】代表画像構造体で代表画像の静止画または
動画のいずれかに関する情報しかない場合でも、ユーザ
が静止画または動画のいずれかの代表画像しかみられな
くなるが、システムの運用上は全く支障はない。

【００３８】次に、重要度抽出プログラム１２８につい
て説明する。代表映像抽出プログラム１２６で得られた
様々な代表映像は、重要度に応じてランク分けすること
ができる。例えば、ダイジェスト作成において、字幕の
現われている画像は重要度が高い。ニュースの映像で
は、字幕の現われている部分をつなげばヘッドラインだ
けのダイジェストが作成できる。あるいは、BGMの認識
を行った場合には、それがテーマ音楽や勇ましい音楽、
何度も繰り返し使われる音楽の場合は、その部分が一般
に重要度の高いシーンである。したがって、どのような
特徴に着目して代表映像を抽出したかによって、重要度
のランク付けができる。とはいえ、多種多様な代表映像
間のランク付けを的確に行なうためには、映像の意味を
正確に理解している必要があり、計算機を使って自動で
行なうことは現状では実用的ではない。そこで、抽出さ
れた代表映像を一覧にして提示する手段を設けて、映像
の管理者が相互に見比べながらランク付けを行えるよう
にする。

【００３９】例えば、抽出された代表映像は、重要度抽
出プログラム１２８に従い、ディスプレイ等の出力装置
にアイコン化されて表示され、例えばビデオサーバ側で
映像の管理者がランクを入力する。図１７に重要度の付
与画面例を示す。１３０１は映像表示領域で、表示され
ている映像が含まれるカットの代表映像は、１３０２の
ように他の代表映像とは識別可能に表示されている。１
３０３は代表映像の重要度入力領域であり、対象の代表
映像１３０２の重要度を、ビデオサーバ側に設けられた
ディスプレイ４０１を見ながらコントローラ１１２、キ
ーボード２０４、マウス２０２等の入力装置を用いて対
話的に入力する。重要度ランク情報は、代表映像と関係
づけられて図１２のファイル形式で代表映像ライブラリ
１０４に格納される。

【００４０】次にダイジェスト作成プログラム１３０に
ついて、図２、６、１６を用いて説明する。

【００４１】このダイジェスト作成プログラム１３０
は、視聴端末からの視聴再開要求を受けると代表映像の
一覧表による静止画ダイジェスト、もしくは動画ダイジ
ェストを作成する。静止画ダイジェスト又は動画ダイジ
ェストのいずれかを作成するかは、視聴端末から事前に
通知されても良いし、VOD契約時に設定しておくことも
できる。

【００４２】まず、静止画ダイジェスト作成プログラム
１３０Aを説明する。中断からの経過時間が予めシステ
ムが設定した時間より短い場合には、視聴者も映像内容
を十分記憶しているので、これらダイジェスト情報の作
成は行なわない。図２のメモリ１２４中に格納されてい
る静止画ダイジェスト作成プログラム１３０Aに従って
ダイジェスト映像を作成する。作成にあたっては、まず
視聴要求情報（図６の修正時情報構造体２０で表されて
いる）から視聴中断箇所のフレーム番号（例えばn(160
1))を取得する。次に、代表映像ライブラリ１０４に格
納されている代表映像(1600)のうち、視聴対象の映像の
先頭(1602)から、その視聴中断箇所(1601)までの部分の
映像に関する代表映像を呼び出す。これを視覚的に表現
すると1610のようになる。先頭から中断箇所までの代表
映像の数が多く、ユーザのディスプレイ上の表示領域に
表示可能な枚数を超える場合には、視聴者にとって特に
重要度が高いと考えられる代表映像に限定して一覧表を
作成する。つまり、代表映像1610の中から重要度の高い
代表映像群1611を限定する。重要度は、前述の重要度抽
出プログラム１２８によって判定されており、代表映像
と関係づけられて代表映像ライブラリ１０４に格納され
ている。この重要度を用い、ある特定のランク以上の代
表映像だけの一覧表を作成する。このとき、特定ランク
以上の代表映像が少な過ぎる場合には、十分な数になる
まで逐次ランクを下げていくこともできる。

【００４３】図１３に静止画ダイジェスト作成プログラ
ム１３０Aのフローチャートを示す。900は初期化で、選
択した代表映像の個数をカウントするnと、どのランク
以上のものを選択するかを示すrとを各々0にする。ラン
クは、0がもっとも重要度が高く、値が大きくなるに従
ってランクが下がるものとする。902で代表映像を１つ
読み込み、そのランクを調べる。ランクがrより高けれ
ば、すなわち、ランクの値が、rの値より小さければ、
一覧表示の対象とするため、その代表映像を記憶し、n
を１増加させる(906)。全ての代表映像について調べ終
わったら(908)、rを１増加させる。nが指定閾値以下で
あれば、902に戻り、そうでなければ、ステップ９１２
でNoの場合のランクより１段階低いランクによって抽出
された代表映像の一覧表示を行なう(914)。

【００４４】また、視聴中断箇所に時間的に近いか遠い
かで、代表映像のランクを動的に変化させてもよい。例
えば、円滑に視聴再開できるよう、中断箇所に近い映像
に関する情報を多く見れるようにするといったことがで
きる。これを実現する他の静止画ダイジェスト作成プロ
グラム１３０A’のフローチャートの例を図１４に示
す。基本的に図１３と同じであるが、1004〜1010の部分
に変更が加わっている。まず代表映像の重要度ランクの
値をRに代入する。そして、中断箇所のフレーム番号
と、その代表映像のフレーム番号との差を正規化してRf
とする。映像の先頭フレームの場合がRfの最大となるの
で、その位置で重要度を何ランク下げるかによって、Rf
の取りうる値をどの範囲に正規化するかを決定する(100
6)。R+Rfの値がrの値より小さい、すなわちランクが高
いときに1012の処理を行なう(1008、1010)。

【００４５】さらには、上記では映像の先頭からの全て
の代表映像を選択対象にしているが、中断箇所から一定
時間分だけ前までの範囲の映像に関する代表映像だけを
対象にしてもよい。このようにして作成された一覧表
は、映像視聴端末１０８に送られて、ディスプレイ１１
０を通じて視聴者に提示される。視聴者は、一覧表の中
のアイコンのひとつを選択することにより、そのアイコ
ンに対応する場面から映像を再生して見ることができ
る。

【００４６】上記は静止画の代表映像の一覧表の場合に
ついて説明したが、動画ダイジェストの場合は、各代表
映像の前後数秒程度の動画映像を逐次再生することで実
現できる。動画ダイジェスト作成プログラム１３０Bの
フローチャートを図１５に示す。基本的に図１３に示し
た処理と同じであり、代表映像の個数nの代わりに、そ
の再生所要時間tをカウントする（１１０６）。所要時
間の累計がシステム内で予め設定された動画ダイジェス
ト表示時間の閾値を超えるまでランクを下げつつ代表映
像を抽出していく（１１１２）。閾値時間としてはユー
ザが動画ダイジェスト視聴にあきない程度にすればよ
く、映像中断までの放映時間を越えない範囲で適宜設定
すればよい。

【００４７】動画ダイジェストの場合、音声も同時に再
生するため、再生する動画範囲を時間だけで単純に決め
ると中途から音が始まったり切れたりして不都合な場合
がある。そこで、範囲を決めた後、その付近の音量レベ
ルを調べて、なるべく無音部分から始まって、無音部分
で終わるように範囲を調整する。この調整済みの範囲デ
ータは、代表映像ごとに関係づけて、あらかじめ代表映
像ライブラリに格納しておいてもよい。動画ダイジェス
トとして作成されるのは、代表映像ごとに決定された再
生範囲のデータのリストである。このリストに基づい
て、映像制御プログラム１３２が映像蓄積ライブラリ１
０２にに格納された動画映像を視聴端末１０８に伝送す
る。また、この動画ダイジェストのユーザへの提示に、
連続して視聴中断箇所からの映像を再生することもでき
る。このとき、映像を再開する箇所を、中断箇所より少
しだけ前のほうにしておくと、ユーザが、より円滑に視
聴をはじめられる。この際には、中断箇所以前のカット
の変わり目から再生する。ダイジェスト表示の終了を待
たずに、ダイジェスト再生中に、コントローラ１３２か
らユーザの指示を受け付けることで、直ちにダイジェス
ト再生を中止して中断箇所からの映像再生を開始するこ
ともできる。また、映像中の同じ部分でも、静止画によ
る一覧表示の場合に代表映像として適当でも、動画ダイ
ジェストでは不適当な場合がある。したがって、ダイジ
ェスト画像として静止画一覧と動画ダイジェストとを両
方提示できるシステムを構築する場合には、それぞれに
ついて各代表映像の重要度のランクを求めておく必要が
ある。

【００４８】続いて、本発明の利用形態の例について説
明する。図９は、視聴端末１０８のディスプレイ表示画
面１１０の例である。ビデオサーバ１００への指示手段
として、コントローラ１１２のほかに、マウス２０２や
キーボード２０４等も用いることができる。マウス２０
２を用いるときには、カーソル２０６がマウス操作に合
わせて画面内を移動する。２０８は、映像選択や機器の
各種設定等を行なうためのメニューである。２１０は、
映像視聴を行なうためのモニタ領域である。２１８はコ
ントロールパネル領域であり、再生・停止等を意味する
ボタンが並んでいて、ボタンの選択により映像の再生状
態の変更を行なう。２１２は、代表映像の一覧表示を行
なう領域であり、代表映像のアイコン２１４が並んでい
る。代表映像の数が多く、この領域に収まらない場合に
は、スクロール表示を行なうことができる。２１６は、
その制御を行なうためのスクロールバーである。

【００４９】視聴者は、何らかの映像作品を見たい場合
に、メニュー２０８に表示された幾つかのタイトルの中
から希望のものをマウスやコントローラ等を操作して選
択する。メニューは階層的になっており、映画や報道と
いった大きなジャンル名から始まり、ジャンルを選ぶご
とに、そのジャンルの中の小グループのタイトルが表示
される。最終的に各映像作品のタイトルが表示されたと
ころで、そのタイトルを選ぶことで、再生する映像作品
が決定される。メニュー選択によって、ジャンルがある
程度限定されてから、そのジャンル中の各作品を代表す
るアイコンを２１２の領域に表示することで、視聴者は
絵で作品を選ぶこともできる。作品の選択はアイコンを
ポイントすることで行なう。作品が決定されると、その
再生がモニタ領域２１０で開始される。映像の再生は、
モニタ領域だけでなく、ディスプレイ画面全体の大きさ
で再生することができる。これに先立って、２１２の領
域に作品の全体に対する代表映像の一覧を表示すること
もできる。視聴者は、視聴する作品を明確に決めていな
い場合、この一覧を本の目次のように利用することで概
要を把握でき、作品が視聴に値するかどうかを手早く確
認することができる。あるいは動画ダイジェストをモニ
タ領域で確認することもできる。有料のビデオオンデマ
ンドサービスにおいては、これら一覧表示や動画ダイジ
ェストを見る分には課金しないようにすることで、視聴
者が興味のない映像視聴に対して無駄な料金を払わない
で済むようになる。

【００５０】視聴を中断して映像視聴端末１０８をオフ
にした場合でも、前述のようにこの端末１０８は、どの
映像をどこまで視聴したのかを記憶しているので、次回
起動したときには、視聴者に視聴再開の希望の有無を問
い合わせ、希望があれば、中断箇所までの代表映像一覧
（静止画ダイジェスト）もしくは動画ダイジェストを提
示後、中断箇所からの再生を行なう。代表映像の表示方
法としては、例えば、静止画ダイジェストの場合、図１
０に示したように、より重要度のランクの高い画像を大
きく、それらよりも少しランクの低いものを小さくする
といったように、視聴者に重要なものが目につきやすい
ように、また区別しやすいような視覚的特性を持たせ
る。例えば、カットの変わり目の画像を大きく、カット
の変わり目以外で抽出した画像を小さく表示する。

【００５１】複数人が同じ映像視聴端末を使って、入れ
替わりに映像視聴を行なう場合には、視聴中断箇所のデ
ータは視聴者ごとに用意されている必要がある。そのた
め、映像視聴端末の利用にあたっては、大型計算機やワ
ークステーション等のOSによく見られるログインと同様
の手段を設け、誰が利用するのかを最初に指定しないと
一切利用できないようにする。ただし、映像視聴端末の
場合、個人のセキュリティ確保は重要でない場合が多い
ので、パスワードの指定を省いて視聴者の操作負担を軽
減してもよい。さらに、ログインは、メニューの中か
ら、あらかじめ登録しておく各視聴者を示す文字や絵等
を選ぶようにしてもよい。これらにより、誰が映像視聴
端末を利用しているか映像視聴端末の側で判断できるよ
うになり、利用者ごとに設けた視聴中断箇所の記憶領域
からデータを読みだして視聴再開の動作を行なえる。誰
が利用しているかのデータは、ビデオサーバの側に送る
こともできる。これにより、ビデオサービスを行なう側
は、視聴者ごとの利用回数などから、その人の嗜好を類
推し、個別に最適な新作情報を送付することもできる。

【００５２】尚、本発明は、ビデオオンデマンドのよう
な特別なシステム形態に限られない。つまり、一般のＶ
ＴＲやＴＶ、ＰＣといったパーソナルユーザ向けの単独
機器に適用することも可能である。つまり、映像再生手
段と映像蓄積手段とを備えたものであれば、視聴者が視
聴を中断した箇所を記憶し、映像の先頭、もしくは特定
箇所からその中断箇所までの映像について、その代表的
な部分部分の映像を抽出し、縮小アイコンによる一覧表
示もしくは動画ダイジェストといったダイジェスト情報
を動的に作成する手段を内蔵させておいたり、これらを
ソフトウエアにて動作させればよい。

【００５３】更に、音声に関しても公知の話速変換技術
等を用いて、代表映像に関する箇所の音声を代表映像と
共に再生することも可能である。

【００５４】

【発明の効果】本発明によれば、過去に再生視聴して途
中で視聴を中断した映像を再視聴する際に、中断した箇
所までの内容を代表する静止画による一覧又は動画とし
て短時間で確認できるため、再視聴する映像に関するユ
ーザの記憶を効果的に呼び覚ますことができる。

【図面の簡単な説明】

【図１】本発明のシステムブロック構成図。

【図２】ビデオサーバ１００の構成図。

【図３】映像視聴端末１０８の構成図。

【図４】映像制御プログラム１３４のフローチャート。

【図５】制御処理プログラム１５８のフローチャート。

【図６】停止時情報構造体を示す図。

【図７】映像をデジタル的に記憶するためのファイル構
造の例。

【図８】代表映像を抽出するアルゴリズムのフローチャ
ート。

【図９】本発明における視聴者端末の画面レイアウト
例。

【図１０】代表映像の一覧表示方法の一例。

【図１１】代表映像を抽出する別のアルゴリズムのフロ
ーチャート。

【図１２】代表映像を管理するためのファイル構造の一
例。

【図１３】一覧表示に用いる代表映像の選別方法の一
例。

【図１４】一覧表示に用いる代表映像の選別方法の一
例。

【図１５】動画ダイジェストに用いる代表映像の選別方
法の一例。

【図１６】視聴再開時に提示される要約情報の作成の概
要を示す図。

【図１７】重要度ランクを付与する際に用いる入出力用
の画面表示例。

【符号の説明】

２０…停止時情報構造体、４０，５０…バス、８０…代
表画像構造体、１００…ビデオサーバ、１０２…映像ラ
イブラリ、１０４…代表映像ライブラリ、１０６…通信
網、１０８…視聴端末、１１０…ディスプレイ、１２０
…アナログビデオ映像、１２２…Ａ／Ｄ変換器、１２４
…メモリ、１２６…代表映像抽出プログラム、１２６’
…代表映像抽出プログラム、１２８…重要度抽出プログ
ラム、１３０…ダイジェスト作成プログラム、１３０A
…静止画ダイジェスト作成プログラム、１３０B…動画
ダイジェスト作成プログラム、１３２…映像制御プログ
ラム、１３６…補助記憶装置、１３８…ネットワーク装
置、１３４…CPU、１４０…制御I/F、１５０…ネットワ
ーク装置、１５４…中断位置情報、１５６…メモリ、１
５８…制御処理プログラム、１６０…再生位置記憶プロ
グラム、１６２…ＣＰＵ、１６４…コントローラI/F、
１６６…ディスプレイ装置、１６８…音声出力装置、２
０４…キーボード、２０２…マウス、２１０…モニタ領
域、２１８…コントロールパネル領域、２１２…代表映
像一覧表示領域、２１４…代表映像アイコン、２１６…
スクロールバー、２０８…メニュー、４０１…ディスプ
レイ、６００…映像構造体、６０２…ID番号、６０４…
分類コード、６０６…フレーム番号、６０８…始点フレ
ーム番号、６１０…終点フレーム番号、６１２…画面
幅、６１４…画面高さ、６１６…属性情報、６１８…デ
ィレクトリ、６２０…フレーム番号、６２２…画素デー
タ、６２４…音声データ、８００…映像ID、８１４…静
止画重要度ランク、８１６…動画重要度ランク、１３０
１…映像表示領域、１３０２…カットの代表映像、１３
０３…重要度入力領域、２２００…中断フラグ２２０２…ID番号、２２０４…フレーム番号、２２０６
…停止日時。

Claims

【特許請求の範囲】

【請求項１】複数の映像を供給するビデオサーバと、利用者が操作可能な端末装置とを有し、該端末装置は該
利用者が操作可能な入力装置と、該ビデオサーバから供
給された映像を表示するための表示装置とを有する映像
視聴システムにおいて、上記入力装置から入力された映像再生要求に応答して、
その再生要求が指定した映像を該ビデオサーバから該端
末に供給して、該表示装置に表示し、該映像の供給中に該入力装置から入力された停止要求に
応答して、該映像の供給を中断し、上記入力装置からその後に入力された、上記中断された
映像と同じ映像の再生を要求する映像再生要求に応答し
て、上記中断された映像の中断箇所に先行する部分の概
要を示すダイジェスト映像を該ビデオサーバから該端末
に供給し、該ダイジェスト映像の供給の後に、該中断された映像
の、上記中断箇所より後の部分をビデオサーバから該端
末装置に供給するステップを有する映像視聴支援方法。
【請求項２】上記停止要求に応答して、上記中断された
映像を識別する情報と、上記中断箇所を識別する情報を
記憶するステップを更に有し、上記ダイジェスト映像を供給するステップは、上記中断後に入力された上記再生要求に応答して、この
再生要求が指定する映像が上記中断された映像に一致す
るか否かを該記憶された識別情報に基づいて判別し、上記判別の結果、上記中断後に入力された上記再生要求
が指定する映像が上記中断された映像に一致すると判別
されたときに上記ダイジェスト映像を供給するステップ
とを有する請求項１記載の映像視聴支援方法。
【請求項３】上記中断された映像を識別する情報と、上
記中断箇所を識別する情報は該端末装置に記憶され、上記判別するステップは、上記端末装置により実行さ
れ、上記ダイジェスト映像を供給するステップは、上記判別
の結果、上記中断後に入力された上記再生要求が指定す
る映像が上記中断された映像に一致すると判別されたと
きに、上記中断された映像を上記中断箇所から再生する
ことを要求する再生要求を該端末装置から該ビデオサー
バに供給するステップを更に有する請求項２記載の映像
視聴支援方法。
【請求項４】上記ダイジェスト映像は、上記中断箇所に
よらないでほぼ一定数の映像からなる請求項１記載の映
像視聴支援方法。
【請求項５】複数の映像を記憶するための記憶装置と、利用者が操作可能な入力装置と、該利用者に映像を表示するための表示装置とを有する映
像視聴システムにおいて、上記入力装置から入力された映像再生要求に応答してそ
の再生要求が指定した、該記憶装置に記憶された映像を
該表示装置に表示し、該映像の表示中に該入力装置から入力された停止要求に
応答して、該映像の表示を中断し、上記入力装置からその後に入力された、上記中断された
映像と同じ映像の再生を要求する映像再生要求に応答し
て、上記中断された映像の中断箇所に先行する部分の概
要を示すダイジェスト映像を生成し、生成されたダイジェスト映像を該表示装置に表示し、該ダイジェスト映像の表示の後に、該中断された映像
の、該記憶装置に記憶された、上記中断箇所以降の部分
を、該表示装置に表示する映像視聴支援方法。
【請求項６】上記ダイジェスト情報を表示するステップ
は、上記中断された映像から上記ダイジェスト情報を生
成するステップを有する請求項５記載の映像視聴支援方
法。
【請求項７】それぞれ該複数の映像の一つに対応し、そ
れぞれ対応する映像を代表する一群の代表映像からなる
複数群の代表映像を、外気臆そう知に記憶された該複数
の映像から生成し、上記ダイジェスト映像を生成するステップは、上記中断
された映像に対応する、上記記憶装置に記憶された一群
の代表映像から上記ダイジェスト映像を生成するステッ
プからなる請求項６記載の映像視聴支援方法。
【請求項８】上記停止要求に応答して、上記中断された
映像を識別する情報と、上記中断箇所を識別する情報を
記憶するステップを更に有し、上記ダイジェスト映像を生成するステップは、上記中断後に入力された上記再生要求に応答して、その
再生要求が指定する映像が上記中断された映像に一致す
るか否かを該記憶された識別情報に基づいて判別し、上記判別の結果、上記中断後に入力された上記再生要求
が指定する映像が上記中断された映像に一致すると判別
されたときに、上記ダイジェスト映像を生成するステッ
プとを有する請求項５記載の映像視聴支援方法。
【請求項９】複数の映像と、それぞれ該複数の映像の一
つに対応し、それぞれ対応する映像を代表する一群のあ
らかじめ定められた代表映像からなる複数群の代表映像
とを記憶するための記憶装置と、利用者が操作可能な入力装置と、該利用者に映像を表示するための表示装置とを有する映
像視聴システムにおいて、上記入力装置から入力された映像再生装置要求に応答し
て、上記複数の映像の内、その再生要求が指定した映像
を該表示装置に表示し、該映像の表示中に該入力装置から入力された停止要求に
応答して、該映像の表示を中断し、上記入力装置からその後に入力された、上記中断された
映像と同じ映像の再生を要求する映像再生要求に応答し
て、その中断された映像に対応する、上記記憶装置に記
憶された一群の代表映像から、上記中断された映像の中
断箇所に先行する部分の概要を表すダイジェスト映像を
生成し、生成されたダイジェスト映像を該表示装置に表示し、該ダイジェスト映像の表示の後に、該中断された映像
の、該記憶装置に記憶された、上記中断箇所以降の部分
を、該表示装置に表示する映像視聴支援方法。
【請求項１０】上記停止要求に応答して、上記中断され
た映像を識別する情報と、上記中断箇所を識別する情報
を記憶するステップを更に有し、上記ダイジェスト映像を生成するステップは、上記中断後に入力された上記再生要求に応答して、その
再生要求が指定する映像が上記中断された映像に一致す
るか否かを該記憶された識別情報に基づいて判別し、上記判別の結果、上記中断後に入力された上記再生要求
が指定する映像が上記中断された映像に一致すると判別
されたときに、上記ダイジェスト映像を生成するステッ
プとを有する請求項９記載の映像視聴支援方法。
【請求項１１】上記ダイジェスト映像は、動画として表
示される映像である請求項９記載の映像視聴支援方法。
【請求項１２】上記ダイジェスト映像を表示した後、上
記中断された映像の、上記中断箇所以降の部分を表示す
る前に、上記中断された映像の、上記中断箇所に先行す
る直近の部分を表示するステップを更に有する請求項１
１記載の映像視聴支援方法。
【請求項１３】上記ダイジェスト映像を生成するステッ
プは、上記中断された映像の上記中断箇所に先行する上
記部分の内、上記直近の部分より先行する部分に属する
複数の代表映像かｒ上記直近の部分より先行する部分の
ダイジェスト映像を生成するステップからなる請求項１
２に記載の映像視聴支援方法。
【請求項１４】上記ダイジェスト映像は、少なくとも一
つの画面に静止画として表示されるように並置された複
数の映像である請求項９記載の映像視聴支援方法。
【請求項１５】上記ダイジェスト映像を生成するステッ
プは、上記先行する複数の代表映像の一部を選択し、選択された一部の複数の代表映像から該ダイジェスト映
像を生成するステップを有する請求項９記載の映像視聴
支援方法。
【請求項１６】上記記憶装置は、隔映像の各代表映像に
対する重要度情報を保持し、上記一部の複数の代表映像を選択するステップは、該先
行する複数の代表映像のそれぞれに対して該記憶装置に
記憶された重要度情報に基づいて、上記一部の複数の代
表映像を選択するステップからなる請求項１５記載の映
像視聴支援方法。
【請求項１７】上記ダイジェスト映像は、動画として表
示される映像であり、上記一部の複数の代表映像を選択するステップは、該生
成されたダイジェスト映像の表示時間に関するあらかじ
め定められた閾値に基づいて、上記一部の複数の代表映
像の一部を、選択するステップからなる請求項１５記載
の映像視聴支援方法。
【請求項１８】上記記憶装置は、該映像の各代表映像に
対する重要度情報を保持し、上記一部の複数の代表映像を選択するステップは、該先
行する複数の代表映像のそれぞれに対して該記憶装置に
記憶された重要度情報と、上記閾値とに基づいて、上記
一部の複数の代表映像を選択するステップからなる請求
項１７記載の映像視聴支援方法。
【請求項１９】上記ダイジェスト映像は、少なくとも一
つの画面に静止画として表示されるように並置された複
数の映像であり、上記一部の複数の代表映像を選択するステップは、一つ
の画面内に静止画として表示する画像の数に関するあら
かじめ定められた閾値に基づいて、上記一部の複数の代
表映像の一部を選択するステップからなる請求項１５記
載の映像視聴支援方法。
【請求項２０】上記記憶装置は、各映像の各代表映像に
対する重要度情報を保持し、上記一部の複数の代表映像を選択するステップは、該先
行する複数の代表映像のそれぞれに対して該記憶装置に
記憶された重要度情報と、上記閾値とに基づいて、上記
一部の複数の代表映像を選択するステップからなる請求
項１９記載の映像視聴支援方法。
【請求項２１】複数の映像を記憶するための記憶装置
と、利用者が操作可能な入力装置と、該利用者に映像を表示するための表示装置と、上記記憶装置と、上記入力装置と、上記表示装置に接続
され、該複数の映像の該記憶装置から該表示装置への供
給を制御する映像制御装置とを有し、該映像制御装置は、第１のコンピュータと、該第１のコンピュータで実行されるべき第１のプログラ
ムを記憶する第１のメモリとを有し、該第１のプログラムは、上記入力装置から入力された映像再生要求に応答して、
その再生要求が指定した映像を該記憶装置から該表示装
置に供給し、該映像の供給中に該入力装置から入力された停止要求に
応答して、該映像の供給を中断し、上記入力装置からその後に入力された、上記中断された
映像と同じ映像の再生を要求する映像再生要求に応答し
て、上記中断された映像の中断箇所に先行する部分の概
要を表すダイジェスト映像を生成し、生成されたダイジェスト映像を該表示装置に供給し、該ダイジェスト映像の表示の後に、該中断された映像
の、該記憶装置に記憶された、上記中断箇所以降の部分
を該表示装置に供給するようにプログラムされたいる映
像視聴システム。
【請求項２２】上記入力装置と上記映像制御装置に接続
され、該入力装置から入力された要求の該映像制御装置
への転送を制御する端末制御装置を有し、該端末制御装置は、第２のコンピュータと、そのコンピュータで実行されるべき第２のプログラムを
記憶する第２のメモリとを有し、該第２のプログラムは、上記停止要求に応答して、上記中断された映像を識別す
る情報と、上記中断箇所を識別する情報を記憶し、上記中断後に入力された上記再生要求に応答して、その
再生要求が指定する映像が上記中断された映像に一致す
るか否かを該記憶された識別情報に基づいて判別し、上記判別の結果、上記中断後に入力された上記再生要求
が指定する映像が上記中断された映像に一致すると判別
されたときに、該中断箇所からの再生要求を該映像制御
装置に送出するようにプログラムされた第２のプログラ
ム部分を有し、上記第１のプログラムは、該中断箇所からの再生要求に
応答して、上記ダイジェスト映像を生成するようにさら
にプログラムされている請求項２１記載の映像視聴シス
テム。
【請求項２３】上記映像制御装置と上記記憶装置は、上
記端末制御装置にネットワークを介して接続されている
請求項２１記載の映像視聴システム。
【請求項２４】利用者に映像を表示するための表示装置
と、該利用者が操作可能な入力装置とを有する映像視聴
システムのためのビデオサーバであって、複数の映像を記憶するための記憶装置と、上記記憶装置から上記表示装置へ該複数の映像を供給す
るのを制御する映像制御装置とを有し、該映像制御装置は、コンピュータと、該コンピュータで実行されるべきプログラムを記憶する
メモリとを有し、該プログラムは、上記入力装置から入力された映像再生要求に応答して、
その再生要求が指定した映像を該記憶装置から該表示装
置に供給し、該映像の供給中に該入力装置から入力された停止要求に
応答して、該映像の供給を中断し、上記入力装置からその後に入力された、上記中断された
映像と同じ映像の再生を要求する映像再生要求に応答し
て、上記中断された映像の中断箇所に先行する部分の概
要を表すダイジェスト映像を生成し、生成されたダイジェスト映像を該表示装置に供給し、該ダイジェスト映像の表示の後に、該中断された映像
の、該記憶装置に記憶された、上記中断箇所以降の部分
を該表示装置に供給するようにプログラムされているビ
デオサーバ。
【請求項２５】複数の映像を供給するビデオサーバを有
する映像視聴システムのための端末であって、ビデオサーバから供給された映像を表示するための表示
装置と、ビデオサーバに要求を入力するための、利用者が操作可
能な入力装置と、上記入力装置に接続され、該入力装置から入力された要
求を該ビデオサーバへ転送するのを制御するための端末
制御装置を有し、該端末制御装置は、コンピュータと、そのコンピュータで実行されるべきプログラムを記憶す
るメモリとを有し、該プログラムは、上記入力装置から入力された映像再生要求を該ビデオサ
ーバに共有し、上記映像再生要求で要求された映像再生要求を該ビデオ
サーバに供給し、上記入力装置から上記映像を中断させるための停止要求
が入力されたとき、この停止要求を上記ビデオサーバに
供給し、上記停止要求に応答して、上記中断された映像を識別す
る情報と、上記中断箇所を識別する情報を記憶し、上記中断後に入力された後の再生要求に応答して、その
再生要求が指定する映像が上記中断された映像に一致す
るか否かを該記憶された識別情報に基づいて判別し、上記判別の結果、上記中断後に入力された上記後の再生
要求が指定する映像が上記中断された映像に一致すると
判別された時に、該中断箇所からの上記映像の再生を要
求する再生要求を該映像制御装置に送出するようにプロ
グラムされているものである映像視聴支援端末。