JP4450591B2 - 情報編集装置、表示制御方法およびプログラム - Google Patents

Description

本発明は、経時的に進行する場面単位の複数の画面データと、前記画面データに対応した場面で撮像された動画データとを対応付けて記録された画像情報を編集する情報編集装置、情報編集方法およびその方法をコンピュータに実行させるプログラムに関するものである。

例えばプレゼンテーションなど経時的に進行する場面単位の複数の画面データと、前記画面データに対応した場面で撮像された映像の動画データとを対応付けて記録された画像情報を編集する情報編集装置において、編集の際に、長時間の映像のうちから所望の一部のみを見たいという要望がある。この要望に応えるべく、近年では、所望の部分を容易に検索または頭出しする方法として、インデキシング技術が開発されている。インデキシング技術とは、映像全体を時間軸に沿って複数の部分に分割し、それぞれの部分に対して、検索可能とすべく記述情報を対応付ける技術である。また、インデキシングの処理が施された動画データ、画面データの目次を画面上に表示する技術が知られている。（例えば、特許文献１、特許文献２）

特開平９−９８３９２号公報 実開平６−１５１４７号公報

しかしながら、上記従来技術では、単に目次項目が列記されて表示されるだけであるため、場面の進行状況の流れを把握することが困難である。すなわち、場面の発表者がどの場面の画面データの説明に時間をかけて説明したか把握することができない。このような場面は、重要な箇所である場合が多いため、後日全場面を短時間で見る場合に、重要な箇所だけ閲覧するということが不可能になってくる。

また、画面上に表示されている目次から興味の対象の場面だけを抽出して表示する場合、視覚的に興味の対象の場面だけを短時間で抽出することが困難である。

本発明は、このような問題点に鑑みてなされたものであり、経時的に進行する場面単位の画面データの目次を使用して、画面画像情報および画面画像情報に対応する動画情報の編集および閲覧作業を効率的に行うことができる情報編集装置、情報編集方法およびその方法をコンピュータに実行させるプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、経時的に進行する場面単位の画面画像情報と、前記画面画像情報に対応する場面で撮像された動画データとを表示部に表示させることが可能な情報編集装置であって、前記画面画像情報および当該画面画像情報に対応づけられている前記動画データを前記表示部に表示し、利用者による操作部の操作に応じて前記場面単位の画面画像情報から抽出された文字情報を有する目次情報を複数の異なる形式に切り替えて前記表示部に表示するとともに、前記目次情報と当該目次情報に対応づけられ前記画面画像情報を縮小したサムネイル情報とを前記表示部に表示する表示制御手段、を備え、前記表示制御手段は、さらに、前記画面画像情報と、前記動画データと、前記目次情報と、前記サムネイル情報とを前記表示部に表示中の状態で、前記表示部に表示中の画面画像情報と同じ内容を示す前記表示部に表示中のサムネイル情報とは異なり前記利用者の指示入力に応じて指定された前記表示部に表示中のサムネイル情報を、前記目次情報に対応付けられた前記表示部に表示中の前記サムネイル情報とは別に前記表示部に表示することを特徴とする。

この請求項１にかかる発明によれば、場面単位の画面画像情報の一覧を示す目次情報を、複数の異なる形式で生成し、生成された複数の目次情報を、利用者の入力指示によって切り替えて表示することで、画面画像情報および画面画像情報に対応する動画情報の目次情報を複数の中から適宜選択して所望の画面画像情報や動画情報を検索することができ、画面画像情報および画面画像情報に対応する動画情報の編集および閲覧作業を効率的に行うことができる。
また、この請求項１にかかる発明によれば、利用者の指示入力があった場合に、入力された前記サブネイル画像に対応する画面画像情報を表示することで、サムネイル情報に基づいて所望の画面画像や動画情報を検索する際に、サムネイル画像の確認を行うことができ、画面画像や動画情報の編集および閲覧作業をより効率的に行うことができる。

また、請求項２にかかる発明は、請求項１に記載の情報編集装置において、前記画面画像情報を縮小して前記サムネイル情報を生成するサムネイル生成手段と、前記サムネイル生成手段によって生成された前記サムネイル情報に対応づけられる目次情報であり前記場面単位の画面画像情報から抽出された文字情報を有する目次情報を生成する目次情報生成手段と、をさらに備えたことを特徴とする。

この請求項２にかかる発明によれば、複数の画面画像情報を縮小して一覧表示可能なサムネイル情報を生成し、生成されたサムネイル情報を各目次項目に対応付けて目次情報を生成することで、サムネイル情報に基づいて所望の画面画像や動画情報を検索することが容易となり、画面画像や動画情報の編集および閲覧作業を効率的に行うことができる。

また、請求項３にかかる発明は、請求項１に記載の情報編集装置において、前記場面ごとの前記画面画像情報の表示時間に基づいて表示態様を変更した前記目次情報を生成する目次生成手段をさらに備え、前記表示制御手段は、前記表示態様を変更した前記目次情報を前記表示部に表示することを特徴とする。

この請求項３にかかる発明によれば、前記目次生成手段は、前記場面ごとの前記画面画像情報の表示時間に基づいて表示態様を変更した前記目次情報を生成することで、目次情報のみで一見して画面画像情報の説明に要した時間をもとに画面画像情報の重要度などを把握することができ、画面画像情報や動画情報の検索が容易となり編集および閲覧作業をより効率的に行うことができる。

また、請求項４にかかる発明は、請求項３に記載の情報編集装置において、前記目次生成手段は、前記表示時間が予め定められた第１の閾値より長い場合または前記表示時間が予め定められた第２の閾値より短い場合には、前記表示時間に対応する前記目次項目の表示属性を他の目次項目の表示属性と変えて前記目次情報を生成することを特徴とする。

この請求項４にかかる発明によれば、表示時間が予め定められた第１の閾値より長い場合または前記表示時間が予め定められた第２の閾値より短い場合には、前記表示時間に対応する前記目次項目の表示属性を他の目次項目の表示属性と変えて前記目次情報を生成することで、目次項目の表示属性によって一見して画面画像情報の説明に要した時間をもとに画面画像情報の重要度などを把握することができ、画面画像情報や動画情報の検索が容易となり編集および閲覧作業をより効率的に行うことができる。

また、請求項５にかかる発明は、請求項１に記載の情報編集装置において、前記表示制御手段は、前記目次情報の各目次項目を、前記場面の進行に応じてスクロール表示することを特徴とする。

この請求項５にかかる発明によれば、目次情報の各目次項目を、前記場面の進行に応じてスクロール表示することで、場面の進行におうじて常時対応する目次項目が表示されるので、目次項目が大量な場合でも画面画像情報や動画情報の検索が容易となり編集および閲覧作業をより効率的に行うことができる。

また、請求項６にかかる発明は、経時的に進行する場面単位の画面画像情報と前記画面画像情報に対応した場面で撮像された動画データとを表示部に表示可能な情報編集装置で実行される表示制御方法において、表示制御手段が、前記画面画像情報および当該画面画像情報に対応づけられている前記動画データを前記表示部に表示するステップと、前記表示制御手段が、前記場面単位の画面画像情報から抽出された文字情報を有する目次情報を利用者による操作部の操作に応じて複数の異なる形式に切り替えて前記表示部に表示するステップと、前記表示制御手段が、前記場面単位の画面画像情報から抽出された文字情報を有する目次情報と当該目次情報に対応づけられたサムネイル情報とを前記表示部に表示するステップと、前記表示制御手段が、前記利用者の指示入力に応じて指定された前記サムネイル情報に対応する画面画像情報であり前記表示部に表示中の動画データと対応づけられていない画面画像情報を前記表示部に表示するステップと、前記表示制御手段が、前記画面画像情報と、前記動画データと、前記目次情報と、前記サムネイル情報とを前記表示部に表示中の状態で、前記表示部に表示中の画面画像情報と同じ内容を示す前記表示部に表示中のサムネイル情報とは異なり前記利用者の指示入力に応じて指定された前記表示部に表示中のサムネイル情報を、前記目次情報に対応付けられた前記表示部に表示中の前記サムネイル情報とは別に前記表示部に表示するステップと、を含むことを特徴とする。

この請求項６にかかる発明によれば、場面単位の画面画像情報の一覧を示す目次情報を、複数の異なる形式で生成し、生成された複数の目次情報を、利用者の入力指示によって切り替えて表示することで、画面画像情報および画面画像情報に対応する動画情報の目次情報を複数の中から適宜選択して所望の画面画像情報や動画情報を検索することができ、画面画像情報および画面画像情報に対応する動画情報の編集および閲覧作業を効率的に行うことができる。
この請求項６にかかる発明によれば、利用者の指示入力があった場合に、入力された前記サブネイル画像に対応する画面画像情報を表示することで、サムネイル情報に基づいて所望の画面画像や動画情報を検索する際に、サムネイル画像の確認を行うことができ、画面画像や動画情報の編集および閲覧作業をより効率的に行うことができる。

また、請求項７にかかる発明は、請求項６に記載の情報編集方法において、サムネイル生成手段が、前記画面画像情報を縮小して前記サムネイル情報を生成するステップと、
目次情報生成手段が、生成された前記サムネイル情報に対応づけられる目次情報であり前記場面単位の画面画像情報から抽出された文字情報を有する目次情報を生成するステップと、をさらに含むことを特徴とする。

この請求項７にかかる発明によれば、複数の画面画像情報を縮小して一覧表示可能なサムネイル情報を生成し、生成されたサムネイル情報を各目次項目に対応付けて目次情報を生成することで、サムネイル情報に基づいて所望の画面画像や動画情報を検索することが容易となり、画面画像や動画情報の編集および閲覧作業を効率的に行うことができる。

また、請求項８にかかる発明は、請求項６に記載の表示制御方法において、目次生成手段が、前記場面ごとの前記画面画像情報の表示時間に基づいて表示態様を変更した前記目次情報を生成するステップと、前記表示制御手段が、前記表示態様を変更した前記目次情報を前記表示部に表示するステップと、をさらに含むことを特徴とする。

この請求項８にかかる発明によれば、前記目次生成手段は、前記場面ごとの前記画面画像情報の表示時間に基づいて表示態様を変更した前記目次情報を生成することで、目次情報のみで一見して画面画像情報の説明に要した時間をもとに画面画像情報の重要度などを把握することができ、画面画像情報や動画情報の検索が容易となり編集および閲覧作業をより効率的に行うことができる。

また、請求項９にかかる発明は、請求項８に記載の表示制御方法において、前記目次生成手段が、前記表示時間が予め定められた第１の閾値より長い場合または前記表示時間が予め定められた第２の閾値より短い場合には、前記表示時間に対応する前記目次項目の表示属性を他の目次項目の表示属性と変えて前記目次情報を生成するステップをさらに含む特徴とする。

この請求項９にかかる発明によれば、表示時間が予め定められた第１の閾値より長い場合または前記表示時間が予め定められた第２の閾値より短い場合には、前記表示時間に対応する前記目次項目の表示属性を他の目次項目の表示属性と変えて前記目次情報を生成することで、目次項目の表示属性によって一見して画面画像情報の説明に要した時間をもとに画面画像情報の重要度などを把握することができ、画面画像情報や動画情報の検索が容易となり編集および閲覧作業をより効率的に行うことができる。

また、請求項１０にかかる発明は、請求項６に記載の表示制御方法において、前記表示制御手段が、前記目次情報の有する各目次項目を、前記場面の進行に応じてスクロール表示するステップをさらに含む特徴とする。

この請求項１０にかかる発明によれば、目次情報の各目次項目を、前記場面の進行に応じてスクロール表示することで、場面の進行におうじて常時対応する目次項目が表示されるので、目次項目が大量な場合でも画面画像情報や動画情報の検索が容易となり編集および閲覧作業をより効率的に行うことができる。

また、請求項１１にかかる発明は、経時的に進行する場面単位の画面画像情報と、前記画面画像情報に対応する場面で撮像された動画データとを表示部に表示させることが可能なコンピュータを、前記画面画像情報および当該画面画像情報に対応づけられている前記動画データを前記表示部に表示し、利用者による操作部の操作に応じて前記場面単位の画面画像情報から抽出された文字情報を有する目次情報を複数の異なる形式に切り替えて前記表示部に表示するとともに、前記目次情報と当該目次情報に対応づけられ前記画面画像情報を縮小したサムネイル情報とを前記表示部に表示する表示制御手段、として機能させ、前記表示制御手段は、さらに、前記画面画像情報と、前記動画データと、前記目次情報と、前記サムネイル情報とを前記表示部に表示中の状態で、前記表示部に表示中の画面画像情報と同じ内容を示す前記表示部に表示中のサムネイル情報とは異なり前記利用者の指示入力に応じて指定された前記表示部に表示中のサムネイル情報を、前記目次情報に対応付けられた前記表示部に表示中の前記サムネイル情報とは別に前記表示部に表示することを特徴とするプログラムである。

請求項１にかかる発明によれば、画面画像情報および画面画像情報に対応する動画情報の目次情報を複数の中から適宜選択して所望の画面画像情報や動画情報を検索することができ、画面画像情報および画面画像情報に対応する動画情報の編集および閲覧作業を効率的に行うことができるという効果を奏する。
また、請求項１にかかる発明によれば、利用者の指示入力があった場合に、入力された前記サブネイル画像に対応する画面画像情報を表示することで、サムネイル情報に基づいて所望の画面画像や動画情報を検索する際に、サムネイル画像の確認を行うことができ、画面画像や動画情報の編集および閲覧作業をより効率的に行うことができるという効果を奏する。

また、請求項２にかかる発明によれば、サムネイル情報に基づいて所望の画面画像や動画情報を検索することが容易となり、画面画像や動画情報の編集および閲覧作業を効率的に行うことができるという効果を奏する。

また、請求項３にかかる発明によれば、目次情報のみで一見して画面画像情報の説明に要した時間をもとに画面画像情報の重要度などを把握することができ、画面画像情報や動画情報の検索が容易となり編集および閲覧作業をより効率的に行うことができるという効果を奏する。

また、請求項４にかかる発明によれば、目次項目の表示属性によって一見して画面画像情報の説明に要した時間をもとに画面画像情報の重要度などを把握することができ、画面画像情報や動画情報の検索が容易となり編集および閲覧作業をより効率的に行うことができるという効果を奏する。

また、請求項５にかかる発明によれば、場面の進行におうじて常時対応する目次項目が表示されるので、目次項目が大量な場合でも画面画像情報や動画情報の検索が容易となり編集および閲覧作業をより効率的に行うことができるという効果を奏する。

また、請求項６にかかる発明によれば、画面画像情報および画面画像情報に対応する動画情報の目次情報を複数の中から適宜選択して所望の画面画像情報や動画情報を検索することができ、画面画像情報および画面画像情報に対応する動画情報の編集および閲覧作業を効率的に行うことができるという効果を奏する。
また、請求項６にかかる発明によれば、サムネイル情報に基づいて所望の画面画像や動画情報を検索する際に、サムネイル画像の確認を行うことができ、画面画像や動画情報の編集および閲覧作業をより効率的に行うことができるという効果を奏する。

また、請求項７にかかる発明によれば、サムネイル情報に基づいて所望の画面画像や動画情報を検索することが容易となり、画面画像や動画情報の編集および閲覧作業を効率的に行うことができるという効果を奏する。

また、請求項８にかかる発明によれば、目次情報のみで一見して画面画像情報の説明に要した時間をもとに画面画像情報の重要度などを把握することができ、画面画像情報や動画情報の検索が容易となり編集および閲覧作業をより効率的に行うことができるという効果を奏する。

また、請求項９にかかる発明によれば、目次項目の表示属性によって一見して画面画像情報の説明に要した時間をもとに画面画像情報の重要度などを把握することができ、画面画像情報や動画情報の検索が容易となり編集および閲覧作業をより効率的に行うことができるという効果を奏する。

また、請求項１０にかかる発明によれば、場面の進行におうじて常時対応する目次項目が表示されるので、目次項目が大量な場合でも画面画像情報や動画情報の検索が容易となり編集および閲覧作業をより効率的に行うことができるという効果を奏する。

また、請求項１１にかかる発明によれば、請求項６の動作をコンピュータによって実行することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる情報編集装置、情報編集方法およびその方法をコンピュータに実行させるプログラムの最良な実施の形態を詳細に説明する。

図１は、この発明の実施の形態である情報編集装置５を含む情報提供システム１の全体構成を示している。

情報提供システム１は、プレゼンテーション資料３１を格納するプレゼンテーション装置２と、このプレゼンテーション装置２と接続し、プレゼンテーション資料３１を表示するプロジェクター等の投影機３と、投影機３により投影された画像を表示する表示画面３０と、プレゼンテーションの状況を音声と共に動画撮影する音声取り込み機能付きのＤＶカメラ４と、ＤＶカメラ４が取り込んだ音声を含む動画情報（以下単に「動画情報」と称す）を編集し、編集後の動画情報を利用者に提供する情報編集装置５とを備えている。

ＤＶカメラ４と情報編集装置５は、例えば、ＩＥＥＥ１３９４などのインターフェイスで接続されている。また、プレゼンテーション装置２と情報編集装置５は、ＩＥＥＥ８０２．１１ｂなどの通信インターフェイスで接続されている。無線通信環境がない場合は、通常のイーサネット（Ｒ）によるピア・ツー・ピア接続であってもよい。

プレゼンテーション装置２は、単にプレゼンテーション資料３１を格納しており、投影機３と通信可能であればよく、例えば、プレゼンターの所有するＰＣであってもよい。

編集者は、プレゼンターがプレゼンテーション資料３１を表示画面３０に表示させながらプレゼンテーションを行っている様子を、ＤＶカメラ４を用いて撮影する。ここで、編集者とは、情報提供システム１を利用して動画を編集する者のことである。

撮影が終了すると、情報編集装置５は、プレゼンテーション装置２からプレゼンテーション資料３１を取得し、さらに、ＤＶカメラ４からプレゼンテーションの様子を示す動画情報を取得する。そして、情報編集装置５は、動画情報を編集する。すなわち、動画情報にプレゼンテーション資料３１を対応付けた情報ファイルを生成する。そして、利用者からの要求に応じて情報ファイルを提供する。

図２は、本実施の形態にかかる情報提供システム１に特徴的な処理を行う情報編集装置５の情報編集部３５と、プレゼンテーション装置２のイベント処理部３２の機能構成を示すブロック図である。

イベント処理部３２は、プレゼンテーション装置２に接続されたキーボード２１やマウス１５からの入力により、プレゼンテーションに関するイベントを示すイベント情報を取得するイベントキャプチャ部３３と、イベントキャプチャ部３３が取得したイベント情報を記録するイベント記録部３４と、イベント情報およびプレゼンテーション資料３１を情報編集装置５に送信する送信部４４とを有している。

また、情報処編集部３５は、送信部４４からイベント情報およびプレゼンテーション資料３１を受け取る受信部３６と、受信部３６が受け取ったイベント情報を制御するイベント情報制御部３７と、イベント情報を記録するイベント記録部３８と、イベント記録部３８からイベント情報を取得し、イベント情報の内容を解釈するイベント情報解釈部４２と、イベント情報解釈部４２によって解釈されたイベント情報に基づいて動画情報を編集し、情報ファイルを生成して情報ファイルＤＢ５２に格納する情報ファイル生成部４３と、利用者等からの指示を受け付ける指示受付部５４と、情報ファイルを外部に送信する通信部５０と、ＤＶカメラ４が取り込んだ動画情報をキャプチャする動画情報キャプチャ部４０と、動画情報を管理する動画情報管理部４１と、ＤＶカメラ４を制御する撮影機器制御部３９と、情報ファイルＤＢ５２から情報ファイルを読み出してディスプレイ装置などの表示装置に対する表示制御を行う表示制御部５３とを有している。

ここで、図３を参照しつつ、プレゼンテーション資料３１について説明する。プレゼンテーション資料３１は、プレゼンテーションの際に表示画面３０に表示すべき画面画像３１０，３１２，３１４，３１６，３１８，３２０を含んでいる。各画面画像３１０，３１２，３１４，３１６，３１８，３２０には、ページ番号が対応付けられており、ページ番号順に表示される。すなわち、プレゼンテーション資料３１を構成する画面画像は、当該プレゼンテーション資料３１の作成者が定めた順番に配列されている。図３に示すプレゼンテーション資料３１は、６ページ分の画面画像を含んでいる。これらは、プレゼンターからの指示により、１ページ、２ページ、・・・とページ順に表示される。なお、本実施の形態におけるプレゼンテーション資料３１は、Ｍｉｃｒｏｓｏｆｔ（Ｒ）社製のＰｏｗｅｒ Ｐｏｉｎｔ（Ｒ）のファイルである。

通常、プレゼンテーションにおいて、プレゼンターは、以下の操作を行う。
１．プレゼンテーション装置２の起動
２．プレゼンテーション・ソフトの起動
３．発表の開始
４．キーボード２１又はマウス１５の操作による、プレゼンテーション資料３１のページめくり
５．発表の終了
６．プレゼンテーション・ソフトの終了
７．プレゼンテーション装置２の終了
ここで、ページめくりとは、表示画面３０に表示させる、プレゼンテーション資料３１を１ページから次のページすなわち２ページに切り替えることである。

以上の操作は、いずれもマウス１５またはキーボード２１における所定の操作に対応付けられている。例えば、プレゼンテーション装置２の表示画面に表示されたプレゼンテーション・ソフトのアイコンをマウス１５によりクリックする操作は、プレゼンテーション・ソフトの起動というイベントに対応付けられている。

イベント記録部３４は、このイベント情報のログを記録し、送信部４４は通信インターフェイスを介して情報編集部３５に送信する。

撮影機器制御部３９は、イベント情報に基づいてＤＶカメラ４を制御する。イベント記録部３８は、イベント処理部３２から受信したイベント情報のみならず、ＤＶカメラ４の制御のイベント情報も記録する。

例えば、プレゼンテーション・ソフトの起動というイベントが発生したときは、このイベント情報をイベント記録部３８で記録する。さらに、撮影機器制御部３９により、ＤＶカメラ４からの動画情報取り込みを開始する。プレゼンテーション・ソフトが終了したときは、撮影機器制御部３９は、ＤＶカメラ４からの動画情報の取り込みを終了する。そして、イベント情報制御部３７は、プレゼンテーション・ソフトの終了をイベントとするイベント情報をイベント記録部３８に記録する。

イベント情報解釈部４２は、イベント情報の内容を解釈する。そして、情報ファイル生成部４３は、イベント情報解釈部４２によって解釈されたイベント情報の内容を参照し、プレゼンテーション資料３１及び動画情報に基づいて情報ファイルを生成する。

このように、情報編集部３５は、ＤＶカメラ４から取り込んだ動画情報中のイベントのイベント情報を動画情報とともに管理することができる。つまり、ＤＶカメラ４で撮影され取り込まれた動画情報は、時間の推移を規定する時間情報を付されて保存される。また、記録されたイベント情報は、情報ファイル生成部４３により、プレゼンテーション資料３１とマージされ、内容記述言語（ＨＴＭＬ、ＭＰＥＧ−７など）により管理される。

通信部５０は、セキュリティレベル管理部５３が編成した提供用情報を、ネットワークを介して外部に送信する。すなわち、利用者に提供する。

図４は、イベント情報リストのデータ構成を模式的に示している。イベント情報リストには、イベント情報が、各イベントの発生した順番に配列されている。イベント情報には、発生したイベントの種類およびカウンタ値、および画面画像（スライド）のファイル名が含まれている。カウンタ値は、たＣＰＵやメモリを利用して、ある単位で値が一つずつ加算されるカウンタを用意する。このカウンタは、プレゼンテーションの発表開始と同時、一例として、プレゼンテーション・ソフトウェアの起動時に指定値（通常は０値）にリセットする。例えばページ２が表示されると、「ページ２に切り替え」というイベント情報が記録される。これにより、各ページの表示を開始したカウンタ値および表示を終了したカウンタ値を認識することができる。

図５は、図２において説明した、情報ファイル生成部４３の詳細な機能構成を示す機能ブロック図である。情報ファイル生成部４３は、区間決定部４３０と、区間調整部４３１と、同期部４３３と、サムネイル生成部４３９と、目次項目抽出部４３４と、対応付部４３５と、同期調整部４３６と、目次項目抽出部４３７と、目次生成部４３８とを有する。ここで、目次生成部４３８および目次項目抽出部４３４は、本発明における目次生成手段を構成する。

区間決定部４３０は、ＤＶカメラ４から取得した動画情報６００を、プレゼンテーション装置２から取得したイベント情報７００に基づいて、複数の区間に分割する。具体的には、区間決定部４３０は、ページめくりを示すイベント情報が示すカウンタ値のときに録画されたフレーム位置を動画情報の区間の境界位置として決定する。すなわち、一のページが表示されている区間は、同一区間となり、ページが切り替わるタイミングが、区間の境界に対応する。

区間調整部４３１は、区間決定部４３０が分割した区間の長さを調整する。具体的には、区間決定部４３０により決定された区間の長さが、予め定められた規定長に比べて短い場合に、この規定長よりも短い区間、すなわち規定長外区間を、当該規定長区間の直前または直後の区間に統合する。ここで、規定長は、変更可能である。例えば、指示受付部５４を介して編集者等から指定された長さに定められてもよい。

同期部４３３は、イベント情報に基づいて、動画情報６００とプレゼンテーション資料３１との同期を取る。すなわち、動画情報６００の各区間を表示させるときに同時に表示させるべきプレゼンテーション資料３１の一のページを、各区間に対応付ける。

同期調整部４３６は、動画情報６００の規定外区間に対して、同期部４３３が同期させたプレゼンテーション資料３１のページにかえて、規定外区間の統合先の区間に同期されたページを同期させる。

サムネイル生成部４３９は、プレゼンテーション資料３１を構成する各画面画像の縮小画像を生成して、生成された縮小画像をひとまとめにしたサムネイル画像を生成するものである。

目次項目抽出部４３４は、プレゼンテーション資料３１から、動画情報６００の目次の項目となるべき文字情報を抽出する。対応付部４３５は、目次項目抽出部４３４が抽出した目次項目とサムネイル生成部４３９によってサムネイル画像の各縮小画像を、当該目次項目の抽出元である、プレゼンテーション資料３１の各ページの画面画像に対応付ける。目次項目削除部４３７は、目次項目抽出部４３４が抽出した目次項目を必要に応じて削除する。

目次生成部４３８は、対応付部４３５によって対応付けられた目次項目、ムネイル画像の縮小画像、画面画像とから複数の異なる形式の目次情報を生成し、情報ファイルに記録するものである。

図６は、情報編集部３５が生成した情報ファイルの一例を示す説明図である。情報ファイルは、動画情報６００と、動画情報６００の各区間６１０に対応付けられた複数の画面画像３１０,３１２・・・と目次情報を有している。なお、動画情報６００の各区間６１０は、複数のフレーム６２０を含んでいる。各区間６１０の長さは、イベント情報により決定される。このように、動画情報６００は、プレゼンテーション資料３１の各画面画像３１０，３１２・・・と対応付けられているので、動画情報６００とプレゼンテーション資料３１の各画面画像３１０，３１２・・・とを同期して表示させることができる。

図７は、情報ファイルの内部構造を示す説明図である。図６でして瞑したとおり、情報ファイルは、各画面画像と動画情報と目次情報が対応付けられている。目次情報は、目次として表示する文字、文字色属性、目次項目が共通情報として含まれ、さらに全部で６のパターンの各パターンごとに画面への表示態様が異なるように、目次の画面上での表示座標を示す位置、目次項目の長さを示す長さ、サムネイル画像を表示する場合にはサムネイル画像のファイル名が記述されている。

ここで、パターン１の目次情報は、目次項目を同一長さで縦表示し、サムネイル画像の表示を行わない形式である。パターン２の目次情報は、目次項目を同一長さで縦表示し、サムネイル画像を表示する形式である。パターン３の目次情報は、目次項目を区間（表示時間）に対応して変化させた異なる長さで縦表示し、サムネイル画像を表示する形式である。パターン４の目次情報は、目次項目を同一長さで横表示し、サムネイル画像の表示を行わない形式である。パターン５の目次情報は、目次項目を同一長さで横表示し、サムネイル画像を表示する形式である。パターン６の目次情報は、目次項目を区間（表示時間）に対応して変化させた異なる長さで横表示し、サムネイル画像を表示する形式である。

また、目次情報の目次項目は、区間が第１の閾値以上の場合と、第２の閾値以下の場合には、それ以外の区間の目次項目と文字色が異なるように。文字色属性を変えている。図７の例では、通常の目次項目の文字が黒であり、区間が第１の閾値以上の場合の目次項目の文字色を青に設定している。

図８−１〜図８−４は、目次情報の各パターンごとの表示例を示す説明図であり、図８−１はパターン１の目次情報、動画情報、画面情報の表示例、図８−２はパターン２の目次情報、動画情報、画面情報の表示例、図８−３はパターン３の目次情報、動画情報、画面情報の表示例、図８−４はパターン６の目次情報、動画情報、画面情報の表示例を示している。

図８−１〜図８−４に示すように、画面上には、画面画像情報を表示する画面画像領域８０１、動画情報を表示する動画領域８０２、目次のパターンを選択するための目次ボタン８０３、目次情報を表示するための目次領域８０４が表示される。また、図８−２〜図８−４に示すように、目次項目の横（図８−４では下）には画面画像情報の縮小画像であるサムネイル画像が表示される。

次に、以上のように構成された本実施形態の情報編集装置による目次生成処理について説明する。

なお、本実施の形態においては、情報ファイル生成部４３は、ＨＴＭＬ形式を利用して情報ファイルを生成する。情報ファイルの形式は、この他、ＳＭＩＬ（Ｓｙｎｃｈｒｏｎｉｅｄ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｇｒａｔｉｏｎ Ｌａｎｇｕａｇｅ）を利用してもよい。ここで、ＳＭＩＬとは、動画、静止画、音声、音楽、文字など様々な形式のデータの再生を制御して同期させる言語のことであり、ＸＭＬで記述されている。ＳＭＩＬを用いれば、表示画面における表示位置、表示させるタイミング、表示させる時間などを指定することができる。

次に、情報編集部３５が情報ファイルを作成するときの情報編集処理について説明する。図９は、情報編集処理の手順を示すフローチャートである。まず、区間決定部４３０は、ＤＶカメラ４から取得した動画情報６００を、プレゼンテーション装置２から取得したイベント情報７００に基づいて複数の区間に分割する（ステップＳ９０１）。具体的には、「カウンタ値３、イベント種類ページ２に切り替え」及び「カウンタ値５、イベント種類ページ３に切り替え」を示す連続して記録された２つのイベント情報を取得した場合には、動画情報６００のうち１０時１０分から１０時１６分の間に録画された区間はページ２に対応する区間と決定される。すなわち、１０時１０分および１０時１６分の位置を境界位置とする区間に分割する。

次に、区間調整部４３１は、区間決定部４３０によって決定された各区間の長さを、予め定められた規定長と比較して区間調整を行う（ステップＳ９０２）。動画情報が複数の区間に分割されると、次に、同期部４３３は、イベント情報７００に基づいて、動画情報６００とプレゼンテーション資料３１とを同期させ（ステップＳ９０３）、同期調整部４３６が同期調整を行う。なお、区間調整および同期調整についての詳細な説明は省略する。

次いで、サムネイル生成部４３９によって各画面画像情報に対して縮小画像であるサムネイル画像を生成する（ステップＳ９０４）。そして、目次を生成する（ステップＳ９０５）。

次に、ステップＳ９０５の目次生成処理について説明する。図１０は、目次生成処理の手順を示すフローチャートである。まず、目次項目抽出部４３４によって画面画像情報から目次項目とすべき文字列を抽出する（ステップＳ１００１）。具体的には、プレゼンテーション資料３１の各画面画像は、タイトル属性が付与された文字情報を含んでおり、目次項目抽出部４３４は、タイトル属性に対応付けられた文字情報を抽出する。目次項目抽出部４３４は、プレゼンテーション資料３１に含まれるすべてのページの画面画像から文字情報を抽出する。なお、本実施の形態においては、画面画像における「テーマ：・・・」や「中期経営戦略」という文字情報が、タイトル属性として記述されている。

次に対応付部４３５によって、目次項目抽出部４３４が抽出した目次項目とサムネイル生成部４３９によってサムネイル画像の各縮小画像を、画面画像に対応付ける（ステップＳ１００２）。そして、目次生成部４３８によって、ステップＳ９０１で決定された区間の長さである区間長（すなわち表示時間）を、各目次項目ごとに設定する（ステップＳ１００３）。

次に、目次生成部４３８によって、各目次項目に対して区間長が第１の閾値（例えば３分）以上であるか否かを調べる（ステップＳ１００４）。そして、区間長が第１の閾値以上である場合には、目次生成部４３８によって、文字色属性に「青」を設定する（ステップＳ１００５）。

次に、目次生成部４３８によって、各目次項目に対して区間長が第２の閾値（例えば３０秒）以下であるか否かを調べる（ステップＳ１００６）。そして、区間長が第２の閾値以下である場合には、目次生成部４３８によって、文字色属性に「赤」を設定する（ステップＳ１００７）。

一方、区間長が第１の閾値以上でもなく、第２の閾値以下でもない場合には、目次生成部４３８によって、文字色属性に「黒」を設定する（ステップＳ１００８）。これによって、画面画像の表示時間に応じて目次項目の文字色を変えることができ、利用者はどの画面画像情報の説明が長かったのか、あるいは短かったのかを容易に判断することができる。

なお、文字色属性に設定するものは、各色異なっていればよく、赤、青、黒に限定されるものではない。また、第１の閾値、第２の閾値も第２の閾値が第１の閾値より小さければ、任意に定めることが可能である。

次いで、目次生成部４３８によって、上述したパターン１〜６の目次情報を各目次項目ごとにそれぞれ生成し、情報ファイルに記録する（ステップＳ１００９〜１０１４）。これによって、図７で示したような目次情報を含む情報ファイルが生成され、情報ファイルＤＢ５２に保存される。

次に、図８−１〜８−４に示すような情報ファイルの表示処理について説明する。図１１は、表示制御部５３による情報ファイルの表示処理の手順を示すフローチャートである。

まず、表示制御部５３、情報ファイルＤＢ５２から情報ファイルを読み込んで（ステップＳ１１０１）、ディスプレイ装置に画面表示を行う（ステップＳ１１０２）。そして、画面上の目次ボタンを押下することにより指示受付部５４から通知される目次ボタンイベントの入力待ちとなる（ステップＳ１１０３）。

目次ボタンイベントの入力があった場合には、入力された目次ボタンイベントに対応するパターンの目次情報を情報ファイルから読み出して画面に表示する（ステップＳ１１０４）。この表示例は、図８−１から図８−４に示したとおりである。一方、目次ボタンイベントの入力が一定時間ない場合には、省略値としてパターン１の目次情報を画面に表示する（ステップＳ１１０５）。なお、目次情報のパターンの切替は、いつでも目次ボタンを押下することにより可能である。

そして、表示制御部５３は、情報ファイルから現在表示中の動画情報の区間を取得して（ステップＳ１１０６）、現在の区間の目次項目をハイライト表示するとともに目次領域の中央座標に移動する（ステップＳ１１０７）。そして、動画情報および画面画像の進行が最終の区間となるまで、ステップ１１０６およびステップＳ１１０７の処理を繰り返し行う。これによって、複数の目次情報を切り替えて表示することができる。また、現在進行中の画面画像に対応した目次項目が常に目次領域の中央に表示され、目次情報の自動スクロールが可能となる。

また、図８−２〜図８−４のように目次情報にサムネイル画像が表示されている場合、任意のサムネイル画像をマウスなどでクリックすると、表示制御部５３はかかるサムネイル画像の位置をイベントとして取得して、指定されたサムネイル画像を図８−２〜図８−４の画面上にポップアップ表示する。なお、本実施の形態では、動画表示領域に動画情報を表示していたが、静止画像を表示することも可能である。

図１２は、実施の形態にかかる情報編集装置５のハードウェア構成を示す図である。情報編集装置５は、上述した情報編集部３５の情報編集プログラムなどが格納されているＲＯＭ１２０２、ＲＯＭ１２０２内のプログラムに従って情報編集装置５の各部を制御し、情報提供処理等を実行するＣＰＵ１２０１、ワークエリアが形成され、情報編集装置５の制御に必要な種々のデータが記憶されているＲＡＭ１２０３、ネットワークに接続して、通信を行う通信Ｉ／Ｆ１２０５、および各部を接続するバス１２０４を備えている。

先に述べた情報編集装置５における情報提供処理を実行する情報提供プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フロッピー（Ｒ）ディスク（ＦＤ）、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。

また、本実施形態の情報提供プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。

この場合には、情報提供プログラムは、情報編集装置５において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。

また、プレゼンテーション装置２のハードウェア構成は、図１８を参照しつつ説明した情報編集装置５のハードウェア構成と同様であるので、説明を省略する。

以上、実施の形態にかかる情報提供システムについて説明したが、上記実施の形態に多様な変更または改良を加えることができる。

このように本実施の形態の情報編集装置では、場面単位の画面画像情報の一覧を示す目次情報を、複数の異なる形式で生成し、生成された複数の目次情報を、利用者の入力指示によって切り替えて表示しているので、画面画像情報および画面画像情報に対応する動画情報の目次情報を複数の中から適宜選択して所望の画面画像情報や動画情報を検索することができ、画面画像情報および画面画像情報に対応する動画情報の編集および閲覧作業を効率的に行うことができる。

本発明は、プレゼンテーションなどのをＤＶカメラで撮影して動画情報とするとともに、プレゼンテーション資料を画面画像情報にして両者を対応付けて編集する情報編集装置、情報編集方法、情報編集プログラムに適している。

情報提供システム１の全体構成を示す図である。 情報編集装置５の情報編集部３５と、プレゼンテーション装置２のイベント処理部３２の機能構成を示すブロック図である。 プレゼンテーション資料３１を模式的に示す図である。 イベント情報リスト３４０のデータ構成を模式的に示す図である。 情報ファイル生成部４３の詳細な機能構成を示す機能ブロック図である。 情報編集部３５が生成した情報ファイルを示す図である。 情報編集部３５が生成した情報ファイルの構造図である。 目次情報のパターン１の画面表示例を示す説明図である。 目次情報のパターン２の画面表示例を示す説明図である。 目次情報のパターン３の画面表示例を示す説明図である。 目次情報のパターン６の画面表示例を示す説明図である。 情報編集部３５が情報ファイルを作成するときの情報編集処理を示すフローチャートである。 情報編集部３５が情報ファイルを作成するときの情報編集処理の手順を示すフローチャートである。 表示制御部５３の表示処理の手順を示すフローチャートである。 情報編集装置５のハードウェア構成を示す図である。

符号の説明

１ 情報編集システム
２ プレゼンテーション装置
３ 投影機
４ ＤＶカメラ
５ 情報編集装置
１５ マウス
２１ キーボード
３０ 表示画面
３１ プレゼンテーション資料
３２ イベント処理部
３３ イベントキャプチャ部
３４ イベント記録部
３４ 投影機
３５ 情報処理部
３６ 受信部
３７ イベント情報制御部
３８ イベント記録部
３９ 撮影機器制御部
４０ 動画情報キャプチャ部
４１ 動画情報管理部
４２ イベント情報解釈部
４３ 情報ファイル生成部
４４ 送信部
５０ 通信部
５２ 情報ファイルデータベース
５３ 表示制御部
５４ 指定受付部
６２ バス
３１０，３１２，３１４，３１６，３１８，３２０ 画面画像
３４０ イベント情報リスト
３４１，３４２，３４３ イベント情報
４３０ 区間決定部
４３１ 区間調整部
４３３ 同期部
４３４ 目次項目抽出部
４３５ 対応付部
４３６ 同期調整部
４３７ 目次項目削除部
４３８ 目次生成部
４３９ サムネイル生成部
８０１ 画面画像領域
８０２ 動画情報領域
８０３ 目次ボタン
８０４ 目次領域
８０５ サムネイル画像
８０６ スクロールバー
１２０１ ＣＰＵ
１２０２ ＲＯＭ
１２０３ ＲＡＭ
１２０４ バス
１２０５ 通信Ｉ／Ｆ

Claims (11)

1. 経時的に進行する場面単位の画面画像情報と、前記画面画像情報に対応する場面で撮像された動画データとを表示部に表示させることが可能な情報編集装置であって、
   前記画面画像情報および当該画面画像情報に対応づけられている前記動画データを前記表示部に表示し、利用者による操作部の操作に応じて前記場面単位の画面画像情報から抽出された文字情報を有する目次情報を複数の異なる形式に切り替えて前記表示部に表示するとともに、前記目次情報と当該目次情報に対応づけられ前記画面画像情報を縮小したサムネイル情報とを前記表示部に表示する表示制御手段、を備え、
   前記表示制御手段は、さらに、前記画面画像情報と、前記動画データと、前記目次情報と、前記サムネイル情報とを前記表示部に表示中の状態で、前記表示部に表示中の画面画像情報と同じ内容を示す前記表示部に表示中のサムネイル情報とは異なり前記利用者の指示入力に応じて指定された前記表示部に表示中のサムネイル情報を、前記目次情報に対応付けられた前記表示部に表示中の前記サムネイル情報とは別に前記表示部に表示することを特徴とする情報編集装置。
2. 前記画面画像情報を縮小して前記サムネイル情報を生成するサムネイル生成手段と、
   前記サムネイル生成手段によって生成された前記サムネイル情報に対応づけられる目次情報であり前記場面単位の画面画像情報から抽出された文字情報を有する目次情報を生成する目次情報生成手段と、
   をさらに備えたことを特徴とする請求項１記載の情報編集装置。
3. 前記場面ごとの前記画面画像情報の表示時間に基づいて表示態様を変更した前記目次情報を生成する目次生成手段をさらに備え、
   前記表示制御手段は、前記表示態様を変更した前記目次情報を前記表示部に表示することを特徴とする請求項１記載の情報編集装置。
4. 前記目次生成手段は、前記表示時間が予め定められた第１の閾値より長い場合または前記表示時間が予め定められた第２の閾値より短い場合には、前記表示時間に対応する前記目次項目の表示属性を他の目次項目の表示属性と変えて前記目次情報を生成することを特徴とする請求項３に記載の情報編集装置。
5. 前記表示制御手段は、前記目次情報の有する各目次項目を、前記場面の進行に応じてスクロール表示することを特徴とする請求項１記載の情報編集装置。
6. 経時的に進行する場面単位の画面画像情報と前記画面画像情報に対応した場面で撮像された動画データとを表示部に表示可能な情報編集装置で実行される表示制御方法において、
   表示制御手段が、前記画面画像情報および当該画面画像情報に対応づけられている前記動画データを前記表示部に表示するステップと、
   前記表示制御手段が、前記場面単位の画面画像情報から抽出された文字情報を有する目次情報を利用者による操作部の操作に応じて複数の異なる形式に切り替えて前記表示部に表示するステップと、
   前記表示制御手段が、前記場面単位の画面画像情報から抽出された文字情報を有する目次情報と当該目次情報に対応づけられたサムネイル情報とを前記表示部に表示するステップと、
   前記表示制御手段が、前記利用者の指示入力に応じて指定された前記サムネイル情報に対応する画面画像情報であり前記表示部に表示中の動画データと対応づけられていない画面画像情報を前記表示部に表示するステップと、
   前記表示制御手段が、前記画面画像情報と、前記動画データと、前記目次情報と、前記サムネイル情報とを前記表示部に表示中の状態で、前記表示部に表示中の画面画像情報と同じ内容を示す前記表示部に表示中のサムネイル情報とは異なり前記利用者の指示入力に応じて指定された前記表示部に表示中のサムネイル情報を、前記目次情報に対応付けられた前記表示部に表示中の前記サムネイル情報とは別に前記表示部に表示するステップと、
   を含むことを特徴とする表示制御方法。
7. サムネイル生成手段が、前記画面画像情報を縮小して前記サムネイル情報を生成するステップと、
   目次情報生成手段が、生成された前記サムネイル情報に対応づけられる目次情報であり前記場面単位の画面画像情報から抽出された文字情報を有する目次情報を生成するステップと、
   をさらに含むことを特徴とする請求項６記載の表示制御方法。
8. 目次生成手段が、前記場面ごとの前記画面画像情報の表示時間に基づいて表示態様を変更した前記目次情報を生成するステップと、
   前記表示制御手段が、前記表示態様を変更した前記目次情報を前記表示部に表示するステップと、
   をさらに含むことを特徴とする請求項６記載の表示制御方法。
9. 前記目次生成手段が、前記表示時間が予め定められた第１の閾値より長い場合または前記表示時間が予め定められた第２の閾値より短い場合には、前記表示時間に対応する前記目次項目の表示属性を他の目次項目の表示属性と変えて前記目次情報を生成するステップをさらに含む特徴とする請求項８に記載の表示制御方法。
10. 前記表示制御手段が、前記目次情報の有する各目次項目を、前記場面の進行に応じてスクロール表示するステップ
    をさらに含む特徴とする請求項６記載の表示制御方法。
11. 経時的に進行する場面単位の画面画像情報と、前記画面画像情報に対応する場面で撮像された動画データとを表示部に表示させることが可能なコンピュータを、
    前記画面画像情報および当該画面画像情報に対応づけられている前記動画データを前記表示部に表示し、利用者による操作部の操作に応じて前記場面単位の画面画像情報から抽出された文字情報を有する目次情報を複数の異なる形式に切り替えて前記表示部に表示するとともに、前記目次情報と当該目次情報に対応づけられ前記画面画像情報を縮小したサムネイル情報とを前記表示部に表示する表示制御手段、として機能させ、
    前記表示制御手段は、さらに、前記画面画像情報と、前記動画データと、前記目次情報と、前記サムネイル情報とを前記表示部に表示中の状態で、前記表示部に表示中の画面画像情報と同じ内容を示す前記表示部に表示中のサムネイル情報とは異なり前記利用者の指示入力に応じて指定された前記表示部に表示中のサムネイル情報を、前記目次情報に対応付けられた前記表示部に表示中の前記サムネイル情報とは別に前記表示部に表示することを特徴とするプログラム。

Images