JP4171316B2 - Information editing apparatus, information editing method, and information editing program - Google Patents
Information editing apparatus, information editing method, and information editing program Download PDFInfo
- Publication number
- JP4171316B2 JP4171316B2 JP2003025204A JP2003025204A JP4171316B2 JP 4171316 B2 JP4171316 B2 JP 4171316B2 JP 2003025204 A JP2003025204 A JP 2003025204A JP 2003025204 A JP2003025204 A JP 2003025204A JP 4171316 B2 JP4171316 B2 JP 4171316B2
- Authority
- JP
- Japan
- Prior art keywords
- section
- information
- digital data
- screen image
- length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
Description
【0001】
【発明の属する技術分野】
この発明は、デジタルデータを編集する情報編集装置、情報編集方法、および情報編集プログラムに関する。
【0002】
【従来の技術】
長時間の映像のうちから所望の一部のみを見たいという要望がある。この要望に応えるべく、近年では、所望の部分を容易に検索または頭出しする方法として、インデキシング技術が開発されている。インデキシング技術とは、映像全体を時間軸に沿って複数の部分に分割し、それぞれの部分に対して、検索可能とすべく記述情報を対応付ける技術である。
【0003】
インデキシング技術としては、スライド等のドキュメントが表示されたタイミングに基づいて、当該ドキュメントに関連する映像を同期させるドキュメント処理方法が知られている。(例えば、特許文献1)。
【0004】
【特許文献1】
特開2002−232858号公報(第5−9頁)
【0005】
【発明が解決しようとする課題】
しかし、上記技術によれば、ページの切り替え位置に対応して一律にインデックスが付与されるので、極端に短い区間が多数生成される場合がある。このように、必要以上に細かい区間に分割された場合、逆に検索が面倒になるという問題がある。一方、人の手によって各映像に適したインデックスを付与すると処理に長時間を要してしまい、低コストで適切なインデックスを付与することのできる技術の開発が望まれている。
【0006】
この発明は上記に鑑みてなされたもので、コストを抑えつつ、内容記述作業をより効率的に行うことができる情報編集装置、情報編集方法、および情報編集プログラムを得ることを目的とする。
【0007】
【課題を解決するための手段】
上記目的を達成するため、請求項1にかかる発明は、動画情報であるデジタルデータを編集する情報編集装置であって、表示画面に順次表示された各画面画像が、提示者からの操作に従って切り替るときの切り替りタイミングを含むイベント情報を取得するイベント情報取得手段と、前記デジタルデータを取得するデジタルデータ取得手段と、前記イベント情報に基づいて、前記デジタルデータを複数の区間に分割する分割位置を特定する区間決定手段と、前記区間決定手段により決定された区間の長さが、予め定められた規定長に比べて短い場合に、前記規定長に比べて短い規定外区間を当該規定外区間の直前または直後の区間に統合する区間調整手段とを備えたことを特徴とする。
【0008】
ここで、表示画面に表示された画像とは、連続する一連の静止画情報、すなわち複数ページで構成される静止画情報である。また、画面画像の切り替りのタイミングとは、この複数ページの一のページから他のページに切り替るタイミングのことである。例えば、表示画面に表示される画面画像が1ページから2ページに切り替わるタイミングのことである。また、表示画面に表示された画像は、動画であってもよい。動画の場合には、画面画像の切り替りとは、動画における区間の切り替わるタイミングのことである。
【0009】
この請求項1の発明によれば、デジタルデータに含まれる区間の長さが規定長区間に比べて短い場合には、隣接する区間に統合することができるので、閲覧者にとって意味のない内容のみを含む区間が生成されるのを避けることができる。
【0010】
また、請求項2にかかる発明は、請求項1に記載の情報編集装置であって、前記デジタルデータ取得手段は、前記表示画面に表示された画面画像を含むデジタルデータを取得することを特徴とする。
【0011】
この請求項2の発明によれば、イベント情報取得手段は、デジタルデータに映像として含まれている画面画像の切り替りタイミングを含むイベント情報を取得するので、デジタルデータの内容に沿った区間に分割することができる。
【0012】
また、請求項3にかかる発明は、音声データであるデジタルデータを編集する情報編集装置であって、表示画面に順次表示された各画面画像が切り替るときの切り替りタイミングを含むイベント情報を取得するイベント情報取得手段と、前記デジタルデータを取得するデジタルデータ取得手段と、前記イベント情報に基づいて、前記デジタルデータを複数の区間に分割する分割位置を特定する区間決定手段と、前記区間決定手段により決定された区間の長さが、予め定められた規定長に比べて短い場合に、前記規定長に比べて短い規定外区間を当該規定外区間の直前または直後の区間に統合する区間調整手段とを備えたことを特徴とする。
【0013】
この請求項3の発明によれば、デジタルデータに含まれる区間の長さが規定長区間に比べて短い場合には、隣接する区間に統合することができるので、閲覧者にとって意味のない内容のみを含む区間が生成されるのを避けることができる。
【0014】
また、請求項4にかかる発明は、請求項1から3のいずれか一項に記載の情報編集装置であって、前記イベント情報取得手段は、前記表示画面に順次表示された各画面画像が、提示者からの操作に従って切り替るときの切り替りタイミングを含むイベント情報を取得することを特徴とする。
【0015】
この請求項4の発明によれば、提示者からの指示に従って切り替るときの切り替りタイミングを含むイベント情報に従って区間調整を行うことができるので、提示者の操作に沿った区間に調整することができる。
【0016】
また、請求項5にかかる発明は、請求項1から4のいずれか一項に記載の情報編集装置であって、前記区間調整手段は、前記規定外区間を当該規定外区間の直後の区間に統合することを特徴とする。
【0017】
対象となるデジタルデータが、プレゼンテーションの様子を撮影した情報である場合には、デジタルデータに含まれる表示画面には、プレゼンテーションに用いるスライドが表示されている。この場合、規定外区間には、プレゼンターが説明を省略したスライドを表示する区間が該当する。このように、所定のスライドに対する説明を省略する場合、これら省略すべきスライドを表示している間は、プレゼンターは、省略したスライドの先のスライド、すなわち次に説明すべきスライドを意識しながら説明している場合が多い。
【0018】
これに対し、請求項5の発明によれば、規定外区間は、その直後の区間に統合することができるので、内容的に統一された区間を1つの区間とすることができる。このように区間を決定することにより、より適した目次を作成することができる。
【0019】
また、請求項6にかかる発明は、請求項1から5のいずれか一項に記載の情報編集装置であって、前記表示装置に表示された前記画面画像を示す画面画像情報を取得する画面画像情報取得手段と、前記イベント情報に基づいて、前記画面画像情報と前記デジタルデータとを同期させる場合に、前記デジタルデータの前記規定外区間に対して、前記規定外区間の統合先の区間に同期された前記画面画像情報を同期させる同期調整手段とをさらに備えたことを特徴とする。
【0020】
この請求項6の発明によれば、規定外区間に同期された画面画像にかえて、当該規定外区間の統合先に同期された画面画像を、規定外区間に同期することができる。従って、閲覧者にとって不必要な画面画像を表示するのを避けることができる。これにより、デジタルデータを、より有用性の高い情報に編集することができる。
【0021】
また、規定外区間は、比較的短い時間のみしか表示されない。このため、規定外区間に対して画面画像を同期させると、画面画像の切り替りが頻繁に起きることとなり、閲覧者にとって見づらい情報となってしまう。しかし、請求項6の発明によれば、規定外区間に対しては、画面画像を切り替えないこととしたので、このような利用者にとって見づらい表示内容となるのを避けることができる。
【0022】
また、請求項7にかかる発明は、請求項6に記載の情報編集装置であって、前記画面画像は、予め定められた順番に前記表示画面に表示され、前記同期調整手段は、前記規定外区間に含まれる画面画像が、当該規定外区間の直前の区間に含まれる画面画像よりも先に表示されるべき画面画像である場合に、当該規定外区間の前記デジタルデータに対して、当該規定外区間の統合先の区間に同期された前記画面画像情報を同期させることを特徴とする。
【0023】
規定外区間に含まれる画面画像が、当該規定外区間の直前の区間に含まれる画面画像よりも時系列的に先に表示されるべき画面画像である場合のみ、規定外区間を統合することができる。順番に画面画像を表示させているときは、各画面画像についての説明を省略していても、利用者の理解のためには画面画像の表示は残したほうがよい場合もある。
【0024】
このような場合であっても、この請求項7の発明によれば、逆順に画面画像切り替る場合のみ規定外区間を統合するので、より理解しやすい情報にすることができる。
【0025】
また、請求項8にかかる発明は、請求項6または7に記載の情報編集装置であって、前記画面画情報から、前記デジタルデータの目次項目として文字情報を抽出する目次項目抽出手段と、前記抽出手段が抽出した前記目次項目を、前記画面画情報に同期された前記デジタルデータに対応付け、前記規定外区間に対して統合先の目次項目を対応付ける前記対応付手段とをさらに備えたことを特徴とする。
【0026】
この請求項8の発明によれば、規定外区間には統合先の目次項目を対応付けるので、利用者にとって意味のない内容を再生する区間に対して目次の項目を設けるのを避けることができる。すなわち、より適切に目次を生成することができる。
【0027】
また、請求項9にかかる発明は、請求項1から8のいずれか一項に記載の情報編集装置であって、前記規定長の指定を受け付ける規定長指定受付手段をさらに備え、前記区間調整手段は、前記規定長指定受付手段が受け付けた前記規定長と前記区間決定手段により決定された区間の長さとを比較することを特徴とする。
【0028】
この請求項9の発明によれば、区間調整手段は、規定長指定受付手段が受け付けた規定長に基づいて区間を調整するので、規定長指定受付手段を介して規定長を自由に設定することができる。
【0029】
また、請求項10にかかる発明は、動画情報であるデジタルデータを編集する情報編集方法であって、提示者からの操作に従って、表示画面に順次表示された各画面画像が切り替るときの切り替りタイミングを含むイベント情報を取得するイベント情報取得ステップと、前記デジタルデータを取得するデジタルデータ取得ステップと、前記イベント情報に基づいて、前記デジタルデータを複数の区間に分割する分割位置を特定する区間決定ステップと、前記区間決定ステップにおいて決定された区間の長さが、予め定められた規定長に比べて短い場合に、前記規定長に比べて短い規定外区間を当該規定外区間の直前または直後の区間に統合する区間調整ステップとを有することを特徴とする。
【0030】
この請求項10の発明によれば、デジタルデータに含まれる区間の長さが規定長区間に比べて短い場合には、隣接する区間に統合することができるので、閲覧者にとって意味のない内容のみを含む区間が生成されるのを避けることができる。
【0031】
また、請求項11にかかる発明は、音声データであるデジタルデータを編集する情報編集方法であって、提示者からの操作に従って、表示画面に順次表示された各画面画像が切り替るときの切り替りタイミングを含むイベント情報を取得するイベント情報取得ステップと、前記デジタルデータを取得するデジタルデータ取得ステップと、前記イベント情報に基づいて、前記デジタルデータを複数の区間に分割する分割位置を特定する区間決定ステップと、前記区間決定ステップにおいて決定された区間の長さが、予め定められた規定長に比べて短い場合に、前記規定長に比べて短い規定外区間を当該規定外区間の直前または直後の区間に統合する区間調整ステップとを有することを特徴とする。
【0032】
この請求項11の発明によれば、デジタルデータに含まれる区間の長さが規定長区間に比べて短い場合には、隣接する区間に統合することができるので、閲覧者にとって意味のない内容のみを含む区間が生成されるのを避けることができる。
【0033】
また、請求項12にかかる発明は、動画情報であるデジタルデータを編集する情報編集方法をコンピュータに実行させる情報編集プログラムであって、提示者からの操作に従って、表示画面に順次表示された各画面画像が切り替るときの切り替りタイミングを含むイベント情報を取得するイベント情報取得ステップと、前記デジタルデータを取得するデジタルデータ取得ステップと、前記イベント情報に基づいて、前記デジタルデータを複数の区間に分割する分割位置を特定する区間決定ステップと、前記区間決定ステップにおいて決定された区間の長さが、予め定められた規定長に比べて短い場合に、前記規定長に比べて短い規定外区間を当該規定外区間の直前または直後の区間に統合する区間調整ステップとをコンピュータに実行させることを特徴とする。
【0034】
この請求項12の発明によれば、デジタルデータに含まれる区間の長さが規定長区間に比べて短い場合には、隣接する区間に統合することができるので、閲覧者にとって意味のない内容のみを含む区間が生成されるのを避けることができる。
【0035】
また、請求項13にかかる発明は、音声データであるデジタルデータを編集する情報編集方法をコンピュータに実行させる情報編集プログラムであって、提示者からの操作に従って、表示画面に順次表示された各画面画像が切り替るときの切り替りタイミングを含むイベント情報を取得するイベント情報取得ステップと、前記デジタルデータを取得するデジタルデータ取得ステップと、前記イベント情報に基づいて、前記デジタルデータを複数の区間に分割する分割位置を特定する区間決定ステップと、前記区間決定ステップにおいて決定された区間の長さが、予め定められた規定長に比べて短い場合に、前記規定長に比べて短い規定外区間を当該規定外区間の直前または直後の区間に統合する区間調整ステップとをコンピュータに実行させることを特徴とする。
【0036】
この請求項13の発明によれば、デジタルデータに含まれる区間の長さが規定長区間に比べて短い場合には、隣接する区間に統合することができるので、閲覧者にとって意味のない内容のみを含む区間が生成されるのを避けることができる。
【0037】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる情報編集装置、情報編集方法、および情報編集プログラムの好適な実施の形態を詳細に説明する。
【0038】
図1は、この発明の実施の形態である情報編集装置5を含む情報編集システム1の全体構成を示している。
【0039】
情報編集システム1は、プレゼンテーション資料31を格納するプレゼンテーション装置2と、このプレゼンテーション装置2と接続し、プレゼンテーション資料31を表示するプロジェクター等の投影機3と、投影機3により投影された画像を表示する表示画面30と、プレゼンテーションの状況を音声と共に動画撮影する音声取り込み機能付きのDVカメラ4と、DVカメラ4が取り込んだ音声を含む動画情報(以下単に「動画情報」と称す)を編集する情報編集装置5とを備えている。なお、ここで、動画情報は、本発明のデジタルデータに相当する。
【0040】
DVカメラ4と情報編集装置5は、例えば、IEEE1394などのインターフェイスで接続されている。また、プレゼンテーション装置2と情報編集装置5は、IEEE802.11bなどの通信インターフェイスで接続されている。無線通信環境がない場合は、通常のイーサネット(R)によるピア・ツー・ピア接続であってもよい。
【0041】
プレゼンテーション装置2は、単にプレゼンテーション資料31を格納しており、投影機3と通信可能であればよく、例えば、プレゼンターの所有するPCであってもよい。
【0042】
編集者は、プレゼンターがプレゼンテーション資料31を表示画面30に表示させながらプレゼンテーションを行っている様子を、DVカメラ4を用いて撮影する。ここで、編集者とは、情報編集システム1を利用して動画を編集する者のことである。
【0043】
撮影が終了すると、情報編集装置5は、プレゼンテーション装置2からプレゼンテーション資料31を取得し、さらに、DVカメラ4からプレゼンテーションの様子を示す動画情報を取得する。そして、情報編集装置5は、動画情報を編集する。すなわち、動画情報にプレゼンテーション資料31を対応付けた情報ファイルを生成する。
【0044】
図2は、本実施の形態にかかる情報編集システム1に特徴的な処理を行う情報編集装置5の情報編集部35と、プレゼンテーション装置2のイベント処理部32の機能構成を示すブロック図である。
【0045】
イベント処理部32は、プレゼンテーション装置2に接続されたキーボード21やマウス15からの入力により、プレゼンテーションに関するイベントを示すイベント情報を取得するイベントキャプチャ部33と、イベントキャプチャ部33が取得したイベント情報を記録するイベント記録部34と、イベント情報およびプレゼンテーション資料31を情報編集装置5に送信する送信部44とを有している。
【0046】
また、情報処編集部35は、送信部44からイベント情報およびプレゼンテーション資料31を受け取る受信部36と、受信部36が受け取ったイベント情報を制御するイベント情報制御部37と、イベント情報を記録するイベント記録部38と、イベント記録部38からイベント情報を取得し、イベント情報の内容を解釈するイベント情報解釈部42と、イベント情報解釈部42によって解釈されたイベント情報に基づいて動画情報を編集し、情報ファイルを生成する情報ファイル生成部43と、利用者等からの指示を受け付ける指示受付部54と、情報ファイル生成部43が生成した情報ファイルを外部に出力する出力部50と、DVカメラ4が取り込んだ動画情報をキャプチャする動画情報キャプチャ部40と、動画情報を管理する動画情報管理部41と、DVカメラ4を制御する撮影機器制御部39とを有している。
【0047】
ここで、プレゼンテーション資料31は、本発明の画面画像情報に相当する。また、イベントキャプチャ部33、受信部36、および動画情報キャプチャ部40は、それぞれ本発明のイベント情報取得手段、画面画像情報取得手段、およびデジタルデータ取得手段を構成する。
【0048】
ここで、図3を参照しつつ、プレゼンテーション資料31について説明する。プレゼンテーション資料31は、プレゼンテーションの際に表示画面30に表示すべき画面画像310,312,314,316,318,320を含んでいる。各画面画像310,312,314,316,318,320には、ページ番号が対応付けられており、ページ番号順に表示される。すなわち、プレゼンテーション資料31を構成する画面画像は、当該プレゼンテーション資料31の作成者が定めた順番に配列されている。図3に示すプレゼンテーション資料31は、6ページ分の画面画像を含んでいる。これらは、プレゼンターからの指示により、1ページ、2ページ、・・・とページ順に表示される。なお、本実施の形態におけるプレゼンテーション資料31は、Microsoft(R)社製のPower Point(R)のファイルである。
【0049】
通常、プレゼンテーションにおいて、プレゼンターは、以下の操作を行う。
1.プレゼンテーション装置2の起動
2.プレゼンテーション・ソフトの起動
3.発表の開始
4.キーボード21又はマウス15の操作による、プレゼンテーション資料31のページめくり
5.発表の終了
6.プレゼンテーション・ソフトの終了
7.プレゼンテーション装置2の終了
ここで、ページめくりとは、表示画面30に表示させる、プレゼンテーション資料31を1ページから次のページすなわち2ページに切り替えることである。
【0050】
以上の操作は、いずれもマウス15またはキーボード21における所定の操作に対応付けられている。例えば、プレゼンテーション装置2の表示画面に表示されたプレゼンテーション・ソフトのアイコンをマウス15によりクリックする操作は、プレゼンテーション・ソフトの起動というイベントに対応付けられている。
【0051】
イベント記録部34は、このイベント情報のログを記録し、送信部44は通信インターフェイスを介して情報編集部35に送信する。
【0052】
撮影機器制御部39は、イベント情報に基づいてDVカメラ4を制御する。イベント記録部38は、イベント処理部32から受信したイベント情報のみならず、DVカメラ4の制御のイベント情報も記録する。
【0053】
例えば、プレゼンテーション・ソフトの起動というイベントが発生したときは、このイベント情報をイベント記録部38で記録する。さらに、撮影機器制御部39により、DVカメラ4からの動画情報取り込みを開始する。プレゼンテーション・ソフトが終了したときは、撮影機器制御部39は、DVカメラ4からの動画情報の取り込みを終了する。そして、イベント情報制御部37は、プレゼンテーション・ソフトの終了をイベントとするイベント情報をイベント記録部38に記録する。
【0054】
イベント情報解釈部42は、イベント情報の内容を解釈する。そして、情報ファイル生成部43は、イベント情報解釈部42によって解釈されたイベント情報の内容を参照し、プレゼンテーション資料31及び動画情報に基づいて情報ファイルを生成する。
【0055】
このように、情報編集部35は、DVカメラ4から取り込んだ動画情報中のイベントのイベント情報を動画情報とともに管理することができる。つまり、DVカメラ4で撮影され取り込まれた動画情報は、時間の推移を規定する時間情報を付されて保存される。また、記録されたイベント情報は、情報ファイル生成部43により、プレゼンテーション資料31とマージされ、内容記述言語(MPEG−7など)により管理される。
【0056】
図4は、イベント情報リスト340のデータ構成を模式的に示している。イベント情報リスト340には、イベント情報341,342,343・・・が、各イベントの発生した順番に配列されている。イベント情報には、発生したイベントの種類およびイベントが発生した日時が含まれている。例えばページ2が表示されると、「ページ2に切り替え」というイベント情報が記録される。これにより、各ページの表示を開始した表示開始時刻および表示を終了した終了時刻を認識することができる。
【0057】
図5は、図2において説明した、情報ファイル生成部43の詳細な機能構成を示す機能ブロック図である。情報ファイル生成部43は、区間決定部430と、区間調整部431と、同期部433と、目次項目抽出部434と、対応付部435と、同期調整部436と、目次項目削除部437とを有する。
【0058】
区間決定部430は、DVカメラ4から取得した動画情報600を、プレゼンテーション装置2から取得したイベント情報700に基づいて、複数の区間に分割する。具体的には、区間決定部430は、ページめくりを示すイベント情報が示す時刻に録画されたフレーム位置を動画情報の区間の境界位置として決定する。すなわち、一のページが表示されている区間は、同一区間となり、ページが切り替わるタイミングが、区間の境界に対応する。
【0059】
区間調整部431は、区間決定部430が分割した区間の長さを調整する。具体的には、区間決定部430により決定された区間の長さが、予め定められた規定長に比べて短い場合に、この規定長よりも短い区間、すなわち規定長外区間を、当該規定長区間の直前または直後の区間に統合する。ここで、規定長は、変更可能である。例えば、指示受付部54を介して編集者等から指定された長さに定められてもよい。
【0060】
同期部433は、イベント情報に基づいて、動画情報600とプレゼンテーション資料31との同期を取る。すなわち、動画情報600の各区間を表示させるときに同時に表示させるべきプレゼンテーション資料31の一のページを、各区間に対応付ける。
【0061】
同期調整部436は、動画情報600の規定外区間に対して、同期部433が同期させたプレゼンテーション資料31のページにかえて、規定外区間の統合先の区間に同期されたページを同期させる。
【0062】
目次項目抽出部434は、プレゼンテーション資料31から、動画情報600の目次の項目となるべき文字情報を抽出する。対応付部435は、目次項目抽出部434が抽出した目次項目を、当該目次項目の抽出元である、プレゼンテーション資料31の各ページに対応付ける。目次項目削除部437は、目次項目抽出部434が抽出した目次項目を削除する。
【0063】
図6は、情報編集部35が生成した情報ファイルを示している。情報ファイルは、動画情報600と、動画情報600の各区間610に対応付けられた複数の画面画像310,312・・・を有している。なお、動画情報600の各区間610は、複数のフレーム620を含んでいる。各区間610の長さは、イベント情報により決定される。このように、動画情報600は、プレゼンテーション資料31の各画面画像310,312・・・と対応付けられているので、動画情報600とプレゼンテーション資料31の各画面画像310,312・・・とを同期して表示させることができる。
【0064】
図7は、出力部50から出力された情報ファイルを示している。図7に示す表示部500には、動画情報600と、プレゼンテーション資料31のうち、表示部500に表示されている区間に同期されたページ330と、動画情報600の目次800とが表示されている。なお、目次800と動画情報600とはリンクしており、例えば、目次800中の「テーマ1:製造業の空洞化」という項目が選択されると、そのとき表示されている動画の区間にかかわらず、動画情報600の区間1が再生される。なお、区間1とは、映像中に含まれる表示画面30にテーマ1が表示されている区間である。このように、目次を選択することにより、利用者の所望の区間を表示させることができる。
【0065】
なお、本実施の形態においては、情報ファイル生成部43は、SMIL(Synchronized Multimedia Integration Language)を利用して情報ファイルを生成する。ここで、SMILとは、動画、静止画、音声、音楽、文字など様々な形式のデータの再生を制御して同期させる言語のことであり、XMLで記述されている。SMILを用いることにより、表示画面における表示位置、表示させるタイミング、表示させる時間などを指定することができる。
【0066】
以下、図8を参照しつつ、情報編集部35が情報ファイルを作成するときの情報編集処理について説明する。まず、区間決定部430は、DVカメラ4から取得した動画情報600を、プレゼンテーション装置2から取得したイベント情報700に基づいて複数の区間に分割する(ステップS100)。具体的には、「発生日時10時10分、イベント種類ページ2に切り替え」及び「発生日時10時16分、イベント種類ページ3に切り替え」を示す連続して記録された2つのイベント情報を取得した場合には、動画情報600のうち10時10分から10時16分の間に録画された区間はページ2に対応する区間と決定される。すなわち、10時10分および10時16分の位置を境界位置とする区間に分割する。
【0067】
次に、区間調整部431は、区間決定部430によって決定された各区間の長さを、予め定められた規定長と比較する。そして、規定長に比べて短い区間、すなわち規定長外区間があった場合(ステップS102,Yes)、規定長外区間を調整する(ステップS104)。
【0068】
ここで、図9を参照しつつ、区間調整部431が規定長外区間を調整する方法について説明する。図9は、動画情報600を時間軸に沿って模式的に示している。例えば、「テーマ1」の区間は、動画情報600のうち、動画情報600に映像として含まれている表示画面30に「テーマ1」の表題のページ、すなわち1ページが表示されている区間を示している。このように、各区間は、表示画面30に表示された画面画像の切り替りを境界として定められている。
【0069】
また、t1は、「テーマ1」に対応する区間を再生するのに要する再生時間である。すなわち、t1は、テーマ1のページであるページ1の表示終了時刻と開始時刻の差分値である。ここで、先に述べた規定長は、tsで示される。すなわち、規定長は再生時間の単位で定められている。
【0070】
区間の長さtx(x=1〜6)の各々について規定長tsと比較し、規定長tsに比べて短い区間は、規定長tsよりも長い他の区間に統合する。例えば、図9(A)に示す「テーマ4」を表示する区間の長さt4および「テーマ5」の区間の長さt5は規定長に比べて短い。従って、「テーマ4」の区間および「テーマ5」の区間は、規定外区間と判断される。この場合、図9(B)に示すように、規定外区間は、その直後の区間に統合される。すなわち、「テーマ5」の区間は、「テーマ6」の区間に統合される。また、「テーマ4」の直後の区間、すなわち「テーマ5」の区間は規定外区間であるので、「テーマ4」の区間は、さらにその直後の区間、すなわち「テーマ6」の区間に統合される。すなわち、「テーマ4」の区間、「テーマ5」の区間、および「テーマ6」の区間が1つの区間に統合され、いずれも区間4に含まれることになる。
【0071】
プレゼンテーションにおいては、時間の都合上、途中のページの説明を省略する場合がある。図9の「テーマ4」の区間および「テーマ5」の区間ように、その表示時間が短い場合、これらの画面画像は「テーマ6」を表示させるため表示されたに過ぎず、画面画像に対する説明は省略されていると推測される。このように、説明の対象となっていないと予想される、表示時間の短い画面画像に対応する区間を省略することで、より見やすい情報に編集することができる。
【0072】
プレゼンテーション資料31の途中の画面画像の説明を省略する場合、省略する画面画像を表示させている間、プレゼンターは、次に説明する画面画像に関する内容を意識している場合が多い。このため、表示画面30に省略された画面画像が表示されている間は、その次に説明の対象となるページにおいて説明すべき事項に関連する説明をしていると予想される。また、実際のプレゼンテーションにおいても、このようなケースが多い。そこで、本実施の形態においては、規定外区間は、便宜的にその直後の区間に含めることにした。これにより、内容的に統一された区間を1つの区間とすることができる。
【0073】
説明を図8に戻す。動画情報が複数の区間に分割されると、次に、同期部433は、イベント情報700に基づいて、動画情報600とプレゼンテーション資料31とを同期させる(ステップS106)。次に、目次項目抽出部434は、プレゼンテーション資料31から動画情報600の目次として文字情報を抽出する(ステップS108)。具体的には、プレゼンテーション資料31の各画面画像は、タイトル属性が付与された文字情報を含んでおり、目次項目抽出部434は、タイトル属性に対応付けられた文字情報を抽出する。目次項目抽出部434は、プレゼンテーション資料31に含まれるすべてのページの画面画像から文字情報を抽出する。なお、本実施の形態においては、各画面画像における「テーマ・・・」という文字情報が、タイトル属性として記述されている。
【0074】
次に、目次項目抽出部434は、抽出いた目次項目を含む目次を生成する(ステップS109)。次に、対応付部435は、目次項目抽出部434が抽出した文字情報、すなわち目次項目を、当該目次項目を抽出した画面画像に対応付ける(ステップS110)。画面画像は、動画情報600の各区間に対応付けられている。従って、各目次項目は、画面画像を介して動画情報600の各区間に対応付けられる。
【0075】
ステップS102,ステップS104において、区間を統合した場合には(ステップS112,Yes)、同期調整部436は、動画情報600とプレゼンテーション資料31の同期を調整する(ステップS114)。
【0076】
ここで、図10を参照しつつ同期調整部436が同期を調整する方法について説明する。図10に示すように、動画情報600の各区間と、当該区間と同時に表示すべきプレゼンテーション資料31の各ページは同期している。規定外区間である「テーマ4」の区間および「テーマ5」の区間には、それぞれプレゼンテーション資料31のうち「テーマ4」を示す4ページと5ページが同期している。この場合、同期調整部436は、「テーマ4」の区間および「テーマ5」の区間を含む区間4全体に対してプレゼンテーション資料31の6ページを同期させる。すなわち、同期調整部436は、「テーマ4」の区間に対して、4ページにかえて6ページを同期させ、かつ「テーマ5」の区間に対して、5ページにかえて6ページを同期させる。
【0077】
規定外区間において表示画面30に表示される画面画像は、該当するページにおいて、その説明が省略されており、表示させる必要がない場合が多い。また、先に説明したように、これらの画面画像を表示しているとき、プレゼンターはその後に表示する画面画像に関する内容について説明している場合が多い。このため、同期部433によって同期された画面画像を同期させるよりも、その後に表示するページを同期したほうが、利用者は内容を理解しやすい。
【0078】
再び、図8を参照しつつ情報編集処理について説明する。同期調整が完了すると、次に、目次項目抽出部437は規定外区間に対応する目次項目を削除する。図11は、図10に示す動画情報600の目次項目を示している。図11(A)は削除前の目次項目を示している。図11(B)は削除後の目次項目を示している。図10に示すように、規定外区間である「テーマ4」の区間および「テーマ5」の区間は、いずれも「テーマ6」の区間に統合されている。そこで、これら3つの区間を含む区間4に対しては、統合先の区間に同期するページ6のページ属性を目次項目として抽出する。これにより、目次項目が無駄に多くなるのを避けることができる。以上の処理により、図8に示す動画情報600に対する情報編集処理が全て完了する。
【0079】
次に、プレゼンテーションにおいて、本来表示すべき順番と逆の順番でプレゼンテーション資料31の画面画像が表示された場合の情報編集部35の処理について、図12を参照しつつ説明する。図12に示す動画情報610には、プレゼンテーション資料31のページ順と逆の順番にページが表示される部分が含まれている。すなわち、動画情報に含まれる表示画面30は、「テーマ5」を表示したのちに、再度「テーマ4」の画面画像、「テーマ3」の画面画像、および「テーマ2」の画面画像の順に表示している。
【0080】
なお、情報編集装置35は、ページの切り替えをイベント種類として含むイベント情報に基づいて、ページ順と逆の順番に表示されていることを認識することができる。
【0081】
プレゼンテーションにおいては、既に説明した内容を、再び関連する画面画像を再度表示させて説明する場合がある。このような場合には、プレゼンターは、ユーザインターフェースを用いて操作することにより。図12に示すように順にページを戻していく。この場合も情報編集部35は、図8から図11を参照しつつ説明した情報編集処理によって、規定長外区間を、当該規定長外区間の直後の区間に統合する。具体的には、図12に示すテーマ5の区間に続いて順に表示されるテーマ4の区間およびテーマ3の区間が規定外区間である場合には、「テーマ4」の区間および「テーマ3」の区間を「テーマ2」の区間に統合する。
【0082】
その一方で、ページ順に「テーマ1」の区間から「テーマ5」の区間の間に含まれる規定外区間である「テーマ4」の区間に対しては、直後の区間に含める処理を行わない。このように、一旦表示させたページを、再度ページを遡って表示させる場合に限り直後の区間に統合することとしてもよい。
【0083】
ページ順にプレゼンテーション資料31を表示させているときは、各ページについての説明を省略していても、聴講者の理解のためには画面画像の表示は残したほうがよい場合もある。このような場合には、本例のように、逆順にページが切り替る場合のみ規定外区間を統合することにより、より理解しやすい情報にすることができる。
【0084】
逆順にページが切り替る場合は、それ以前に既に、省略されたページについての説明がなされている場合が多い。従って、逆順にページが切り替る区間内の規定外区間を統合することにより、より適切な目次を生成することができる。
【0085】
図13は、実施の形態にかかる情報編集装置5のハードウェア構成を示す図である。情報編集装置5は、図2および図5を参照しつつ説明した、情報編集部35の情報編集プログラムなどが格納されているROM52、ROM52内のプログラムに従って情報編集装置5の各部を制御し、情報編集処理等を実行するCPU51、ワークエリアが形成され、情報編集装置5の制御に必要な種々のデータが記憶されているRAM53、ネットワークに接続して、通信を行う通信I/F57、および各部を接続するバス62を備えている。
【0086】
先に述べた情報編集装置5における情報編集処理を実行する情報編集プログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、フロッピー(R)ディスク(FD)、DVD等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0087】
また、本実施形態の情報編集プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
【0088】
この場合には、情報編集プログラムは、情報編集装置5において上記記録媒体から読み出して実行することにより主記憶装置上にロードされ、上記ソフトウェア構成で説明した各部が主記憶装置上に生成されるようになっている。
【0089】
また、プレゼンテーション装置2のハードウェア構成は、図13を参照しつつ説明した情報編集装置5のハードウェア構成と同様であるので、説明を省略する。
【0090】
以上、実施の形態にかかる情報編集システム1について説明したが、上記実施の形態に多様な変更または改良を加えることができる。
【0091】
そうした第1の変更例としては、本実施の形態においては、同期調整部436は、同期部433は、イベント情報700に基づいて動画情報と画面画像情報とを同期させ、その後同期調整部436は区間調整部431が調整した区間に基づいて、動画情報と画面画像情報との同期を調整したが、他の例としては、同期部433は、区間調整部431が区間を調整した後の動画情報に対して、各区間に対する画面画像情報を動画情報の各区間に対応付けてもよい。また、この場合は、目次抽出部434は、同期調整後の各区間に対応する目次項目を抽出してもよい。なお、この場合には、情報ファイル生成部43は、同期調整部436および目次項目削除部437を有さなくともよい。
【0092】
このように、各処理の順番は、本実施の形態に限定されるものではなく、最終的に動画情報の各区間に対して、画面画像情報が1対1に対応付けられればよい。
【0093】
第2の変更例としては、本実施の形態においては、動画情報に表示画面30が映像として含まれている場合について説明したが、動画情報には必ずしも表示画面30の映像が含まれていなくてもよい。例えば、表示画面30に表示される画面画像については、画面画像情報として取得するので、あえて映像中に含めることがないと判断した場合には、プレゼンテーションが行われている間は、プレゼンターが話している様子や、会場の様子などを録画してもよい。
【0094】
また例えば、本発明のデジタルデータは、当該動画情報にかえて、プレゼンターが表示画面30を参照しつつ話している音声を録音した音声データであってもよい。この場合にも、本実施の形態において説明したのと同様に、プレゼンターが表示画面30に表示する画面画像を切り替えるタイミングを含むイベント情報に基づいて音声データを編集する。プレゼンテーションの音声データが当該プレゼンテーションにおいて参照される画面画像に同期している場合には、このように音声データと画面画像とを同期させることにより、音声データの利便性を向上させることができる。
【0095】
第3の変更例としては、本実施の形態においては、規定外区間に同期する画面画像を変更し、かつ目次項目を省略したが、これにかえて、規定外区間に同期する画面画像の変更を行わなくともよい。例えば、目次項目が煩雑になるのを避けるため、区間統合および目次項目の削除を行いたいが、省略された画面画像の表示はそのまま残した方が、内容を理解する上で便宜な場合がある。このような場合には、本例のように、規定外区間であっても、同期する画面画像を同時に表示させてもよい。
【0096】
また、規定外区間に同期する画面画像を変更するのみで、目次項目の省略を行わなくともよい。このように、これらの2つの処理は独立して行うことができる。
【0097】
第4の変更例としては、本実施の形態においては、規定外区間を当該規定外区間の直後の区間に統合したが、これにかえて、規定外区間を当該規定外区間の直前の区間に統合してもよい。例えば、作成した情報ファイルの各区間の頭出しにおいて、規定外区間が表示されるのを避けたい場合には、規定外区間を直前の区間に統合してもよい。このように、規定外区間をいずれの区間に統合するかは、利用者の希望により、また対象とする動画情報の性質などに基づいて、便宜的に定めてもよい。
【0098】
【発明の効果】
以上説明したように、請求項1にかかる発明によれば、デジタルデータに含まれる区間の長さが規定長区間に比べて短い場合には、隣接する区間に統合することができるので、閲覧者にとって意味のない内容のみを含む区間が生成されるのを避けることができるという効果を奏する。
【0099】
また、請求項2にかかる発明によれば、イベント情報取得手段は、デジタルデータに映像として含まれている画面画像の切り替りタイミングを含むイベント情報を取得するので、デジタルデータの内容に沿った区間に分割することができるという効果を奏する。
【0100】
また、請求項3にかかる発明によれば、デジタルデータに含まれる区間の長さが規定長区間に比べて短い場合には、隣接する区間に統合することができるので、閲覧者にとって意味のない内容のみを含む区間が生成されるのを避けることができるという効果を奏する。
【0101】
また、請求項4にかかる発明によれば、提示者からの指示に従って切り替るときの切り替りタイミングを含むイベント情報に従って区間調整を行うことができるので、提示者の操作に沿った区間に調整することができるという効果を奏する。
【0102】
また、請求項5にかかる発明によれば、規定外区間は、その直後の区間に統合することができるので、内容的に統一された区間を1つの区間とすることができる。このように区間を決定することにより、より適した目次を作成することができるという効果を奏する。
【0103】
また、請求項6にかかる発明によれば、規定外区間に同期された画面画像にかえて、当該規定外区間の統合先に同期された画面画像を、規定外区間に同期することができる。従って、閲覧者にとって不必要な画面画像を表示するのを避けることができる。これにより、デジタルデータを、より有用性の高い情報に編集することができるという効果を奏する。
【0104】
また、規定外区間は、比較的短い時間のみしか表示されない。このため、規定外区間に対して画面画像を同期させると、画面画像の切り替りが頻繁に起きることとなり、閲覧者にとって見づらい情報となってしまう。しかし、請求項4の発明によれば、規定外区間に対しては、画面画像を切り替えないこととしたので、このような利用者にとって見づらい表示内容となるのを避けることができるという効果を奏する。
【0105】
また、請求項7にかかる発明によれば、逆順に画面画像切り替る場合のみ規定外区間を統合するので、より理解しやすい情報にすることができるという効果を奏する。
【0106】
また、請求項8にかかる発明によれば、規定外区間には統合先の目次項目を対応付けるので、利用者にとって意味のない内容を再生する区間に対して目次の項目を設けるのを避けることができるという効果を奏する。
【0107】
また、請求項9にかかる発明によれば、区間調整手段は、規定長指定受付手段が受け付けた規定長に基づいて区間を調整するので、規定長指定受付手段を介して規定長を自由に設定することができるという効果を奏する。
【0108】
また、請求項10にかかる発明によれば、デジタルデータに含まれる区間の長さが規定長区間に比べて短い場合には、隣接する区間に統合することができるので、閲覧者にとって意味のない内容のみを含む区間が生成されるのを避けることができるという効果を奏する。
【0109】
また、請求項11にかかる発明によれば、デジタルデータに含まれる区間の長さが規定長区間に比べて短い場合には、隣接する区間に統合することができるので、閲覧者にとって意味のない内容のみを含む区間が生成されるのを避けることができるという効果を奏する。
【0110】
また、請求項12にかかる発明によれば、デジタルデータに含まれる区間の長さが規定長区間に比べて短い場合には、隣接する区間に統合することができるので、閲覧者にとって意味のない内容のみを含む区間が生成されるのを避けることができるという効果を奏する。
【0111】
また、請求項13にかかる発明によれば、デジタルデータに含まれる区間の長さが規定長区間に比べて短い場合には、隣接する区間に統合することができるので、閲覧者にとって意味のない内容のみを含む区間が生成されるのを避けることができるという効果を奏する。
【図面の簡単な説明】
【図1】 情報編集システム1の全体構成を示す図である。
【図2】 情報編集装置5の情報編集部35と、プレゼンテーション装置2のイベント処理部32の機能構成を示すブロック図である。
【図3】 プレゼンテーション資料31を模式的に示す図である。
【図4】 イベント情報リスト340のデータ構成を模式的に示す図である。
【図5】 情報ファイル生成部43の詳細な機能構成を示す機能ブロック図である。
【図6】 情報編集部35が生成した情報ファイルを示す図である。
【図7】 出力部50から出力された情報ファイルを示す図である。
【図8】 情報編集部35が情報ファイルを作成するときの情報編集処理を示すフローチャートである。
【図9】 動画情報600を時間軸に沿って模式的に示す図である。
【図10】 同期調整部436による同期の調整方法を説明するための図である。
【図11】 図10に示す動画情報600の目次を示す図である。
【図12】 動画情報610を示す図である。
【図13】 情報編集装置5のハードウェア構成を示す図である。
【符号の説明】
1 情報編集システム
2 プレゼンテーション装置
3 投影機
4 DVカメラ
5 情報編集装置
15 マウス
21 キーボード
30 表示画面
31 プレゼンテーション資料
32 イベント処理部
33 イベントキャプチャ部
34 イベント記録部
34 投影機
35 情報処理部
36 受信部
37 イベント情報制御部
38 イベント記録部
39 撮影機器制御部
40 動画情報キャプチャ部
41 動画情報管理部
42 イベント情報解釈部
43 情報ファイル生成部
44 送信部
50 出力部
62 バス
310,312,314,316,318,320 画面画像
340 イベント情報リスト
341,342,343 イベント情報
430 区間決定部
431 区間調整部
433 同期部
434 目次項目抽出部
435 対応付部
436 同期調整部
437 目次項目削除部
500 表示部
600,610 動画情報[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information editing apparatus, an information editing method, and an information editing program for editing digital data.
[0002]
[Prior art]
There is a desire to view only a desired part of a long video. In order to meet this demand, in recent years, an indexing technique has been developed as a method for easily searching or searching for a desired portion. The indexing technique is a technique in which the entire video is divided into a plurality of parts along the time axis, and description information is associated with each part so as to be searchable.
[0003]
As an indexing technique, a document processing method that synchronizes video related to a document based on the timing at which the document such as a slide is displayed is known. (For example, patent document 1).
[0004]
[Patent Document 1]
JP 2002-232858 A (page 5-9)
[0005]
[Problems to be solved by the invention]
However, according to the above technique, since an index is uniformly assigned corresponding to the page switching position, a number of extremely short sections may be generated. As described above, there is a problem in that the search becomes troublesome when it is divided into sections that are smaller than necessary. On the other hand, if a suitable index is assigned to each video by a human hand, it takes a long time to process, and it is desired to develop a technique that can assign an appropriate index at low cost.
[0006]
The present invention has been made in view of the above, and an object thereof is to obtain an information editing apparatus, an information editing method, and an information editing program capable of performing content description work more efficiently while suppressing costs.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1It is video informationAn information editing apparatus for editing digital data, and each screen image sequentially displayed on the display screen acquires event information including switching timing when switching according to an operation from the presenter; andAboveDigital data acquisition means for acquiring digital data, section determination means for specifying a division position for dividing the digital data into a plurality of sections based on the event information, and the length of the section determined by the section determination means Is provided with section adjusting means for integrating an unspecified section shorter than the specified length into a section immediately before or immediately after the unspecified section when the specified length is shorter than a predetermined specified length. To do.
[0008]
Here, the image displayed on the display screen is a series of still image information, that is, still image information including a plurality of pages. The screen image switching timing is the timing of switching from one page of the plurality of pages to another page. For example, it is the timing when the screen image displayed on the display screen is switched from the first page to the second page. The image displayed on the display screen may be a moving image. In the case of a moving image, the screen image switching is the timing at which the section of the moving image is switched.
[0009]
According to the first aspect of the present invention, when the length of the section included in the digital data is shorter than the specified length section, it can be integrated into the adjacent section, so that only contents that are meaningless to the viewer are included. It is possible to avoid generating an interval including.
[0010]
The invention according to
[0011]
According to the second aspect of the invention, the event information acquisition means acquires the event information including the switching timing of the screen image included as the video in the digital data, so it is divided into sections according to the contents of the digital data. can do.
[0012]
According to a third aspect of the present invention, there is provided an information editing apparatus for editing digital data, which is audio data, and acquires event information including switching timing when each screen image sequentially displayed on a display screen is switched. Event information acquisition means, digital data acquisition means for acquiring the digital data, section determination means for specifying a division position for dividing the digital data into a plurality of sections based on the event information, and the section determination means When the length of the section determined by is shorter than a predetermined specified length, a section adjusting means for integrating an unspecified section shorter than the specified length into a section immediately before or immediately after the specified section. It is characterized by comprising.
[0013]
According to the third aspect of the present invention, when the length of the section included in the digital data is shorter than the specified length section, it can be integrated into the adjacent section, so that only contents that are meaningless to the viewer are included. It is possible to avoid generating an interval including.
[0014]
Claims4The invention according to
[0015]
This claim4According to the invention, since the section adjustment can be performed according to the event information including the switching timing when switching according to the instruction from the presenter, the section can be adjusted according to the operation of the presenter.
[0016]
Claims5The invention according to
[0017]
When the target digital data is information obtained by photographing the state of the presentation, a slide used for the presentation is displayed on the display screen included in the digital data. In this case, the section where the presenter omits the description of the slide corresponds to the non-regulated section. As described above, when a description for a predetermined slide is omitted, while the slides to be omitted are displayed, the presenter explains the slides ahead of the omitted slide, that is, the slide to be described next. There are many cases.
[0018]
In contrast, the claim5According to the invention, the non-regulated section can be integrated into the section immediately after it, so that the section unified in terms of contents can be made one section. By determining the section in this way, a more suitable table of contents can be created.
[0019]
Claims6The invention according to
[0020]
This claim6According to this invention, it is possible to synchronize the screen image synchronized with the integration destination of the non-standard section with the non-standard section instead of the screen image synchronized with the non-standard section. Therefore, it is possible to avoid displaying a screen image unnecessary for the viewer. Thereby, digital data can be edited into more useful information.
[0021]
Further, the non-regulated section is displayed only for a relatively short time. For this reason, if the screen image is synchronized with the non-regulated section, the screen image is frequently switched, which is difficult for the viewer to see. But the claim6According to the invention, since the screen image is not switched for the non-regulated section, it is possible to avoid display contents that are difficult for the user to see.
[0022]
Claims7The invention according to claim6Wherein the screen images are displayed on the display screen in a predetermined order, and the synchronization adjustment unit is configured such that the screen image included in the non-prescribed section When the screen image is to be displayed before the screen image included in the immediately preceding section, the screen synchronized with the integration destination section of the non-specified section with respect to the digital data of the non-specified section It is characterized by synchronizing image information.
[0023]
Only when the screen image included in the non-standard section is a screen image that should be displayed in time series earlier than the screen image included in the section immediately before the non-standard section, the non-standard section may be integrated. it can. When the screen images are displayed in order, it may be better to leave the display of the screen image for the understanding of the user, even though the description of each screen image is omitted.
[0024]
Even in such a case, this claim7According to the invention, since the non-regulated sections are integrated only when the screen images are switched in the reverse order, the information can be made easier to understand.
[0025]
Claims8The invention according to claim6Or7The information editing apparatus according to
[0026]
This claim8According to the invention, since the table of contents item of the integration destination is associated with the non-regulated section, it is possible to avoid providing the table of contents item for the section in which contents that are meaningless to the user are reproduced. That is, a table of contents can be generated more appropriately.
[0027]
Claims9The invention according to
[0028]
This claim9According to the invention, the section adjusting means adjusts the section based on the specified length received by the specified length designation receiving means, so that the specified length can be freely set via the specified length designation receiving means.
[0029]
The invention according to claim 10 isIt is video informationAn information editing method for editing digital data, an event information acquisition step for acquiring event information including switching timing when each screen image sequentially displayed on the display screen switches according to an operation from a presenter;AboveA digital data acquisition step for acquiring digital data; a section determination step for identifying a division position for dividing the digital data into a plurality of sections based on the event information; and a length of the section determined in the section determination step And a section adjustment step for integrating an unspecified section shorter than the specified length into a section immediately before or immediately after the unspecified section when the specified length is shorter than a predetermined specified length. .
[0030]
According to the tenth aspect of the present invention, when the length of the section included in the digital data is shorter than the specified length section, it can be integrated into the adjacent section, so that only contents that are meaningless to the viewer are included. It is possible to avoid generating an interval including.
[0031]
According to an eleventh aspect of the present invention, there is provided an information editing method for editing digital data which is audio data, and switching when each screen image sequentially displayed on the display screen is switched in accordance with an operation from the presenter. An event information acquisition step for acquiring event information including timing, a digital data acquisition step for acquiring the digital data, and a section determination for specifying a division position for dividing the digital data into a plurality of sections based on the event information And when the length of the section determined in the section determination step is shorter than a predetermined specified length, an unspecified section shorter than the specified length is set immediately before or immediately after the non-specified section. And a section adjustment step for integrating the sections.
[0032]
According to the eleventh aspect of the present invention, when the length of the section included in the digital data is shorter than the specified length section, it can be integrated into the adjacent section. It is possible to avoid generating an interval including.
[0033]
Claims12The invention according toIt is video informationAn information editing program for causing a computer to execute an information editing method for editing digital data. Event information including switching timing when each screen image sequentially displayed on a display screen is switched according to an operation from a presenter. An event information acquisition step to be acquired;AboveA digital data acquisition step for acquiring digital data; a section determination step for identifying a division position for dividing the digital data into a plurality of sections based on the event information; and a length of the section determined in the section determination step However, when the length is shorter than the predetermined length, the computer is caused to execute a section adjustment step of integrating a non-prescribed section shorter than the predetermined length into a section immediately before or immediately after the non-standard section. Features.
[0034]
This claim12According to the invention, when the length of the section included in the digital data is shorter than the specified length section, it can be integrated into the adjacent section, so there is a section including only contents that are meaningless to the viewer. It can be avoided.
[0035]
According to a thirteenth aspect of the present invention, there is provided an information editing program for causing a computer to execute an information editing method for editing digital data that is audio data, and each screen sequentially displayed on a display screen in accordance with an operation from a presenter. An event information acquisition step for acquiring event information including switching timing when an image is switched, a digital data acquisition step for acquiring the digital data, and the digital data is divided into a plurality of sections based on the event information A section determining step for specifying a division position to be performed, and a length of the section determined in the section determining step is shorter than a predetermined specified length, an unspecified section shorter than the specified length is Let the computer execute an interval adjustment step that integrates into the interval immediately before or after the unspecified interval. It is characterized in.
[0036]
According to the thirteenth aspect of the present invention, when the length of the section included in the digital data is shorter than the specified length section, it can be integrated into the adjacent section, so only the contents that are meaningless to the viewer It is possible to avoid generating an interval including.
[0037]
DETAILED DESCRIPTION OF THE INVENTION
Exemplary embodiments of an information editing apparatus, an information editing method, and an information editing program according to the present invention will be described below in detail with reference to the accompanying drawings.
[0038]
FIG. 1 shows the overall configuration of an
[0039]
The
[0040]
The
[0041]
The
[0042]
The editor uses the
[0043]
When shooting is completed, the
[0044]
FIG. 2 is a block diagram showing a functional configuration of the
[0045]
The
[0046]
The information
[0047]
Here, the
[0048]
Here, the
[0049]
Usually, in a presentation, the presenter performs the following operations.
1. Activation of
2. Start up the presentation software
3. Start of announcement
4). Page turning of
5. End of presentation
6). End of presentation software
7. End of
Here, turning the page means switching the
[0050]
All of the above operations are associated with predetermined operations on the
[0051]
The
[0052]
The imaging
[0053]
For example, when an event of presentation software activation occurs, this event information is recorded by the
[0054]
The event
[0055]
As described above, the
[0056]
FIG. 4 schematically shows the data structure of the
[0057]
FIG. 5 is a functional block diagram showing a detailed functional configuration of the information
[0058]
The
[0059]
The
[0060]
The
[0061]
The
[0062]
The table-of-contents
[0063]
FIG. 6 shows an information file generated by the
[0064]
FIG. 7 shows the information file output from the
[0065]
In the present embodiment, the information
[0066]
The information editing process when the
[0067]
Next, the
[0068]
Here, a method in which the
[0069]
T1 is a reproduction time required to reproduce the section corresponding to “
[0070]
Each of the section lengths tx (x = 1 to 6) is compared with the specified length ts, and the section shorter than the specified length ts is integrated into another section longer than the specified length ts. For example, the length t4 of the section displaying “
[0071]
In presentations, explanation of pages on the way may be omitted for the sake of time. When the display time is short, such as the “
[0072]
When the description of the screen image in the middle of the
[0073]
Returning to FIG. When the moving image information is divided into a plurality of sections, the
[0074]
Next, the table of contents
[0075]
In step S102 and step S104, when the sections are integrated (step S112, Yes), the
[0076]
Here, a method in which the
[0077]
The description of the screen image displayed on the
[0078]
The information editing process will be described again with reference to FIG. When the synchronization adjustment is completed, the table of contents
[0079]
Next, in the presentation, the processing of the
[0080]
The
[0081]
In the presentation, there may be a case where the already explained contents are explained again by displaying a related screen image again. In such a case, the presenter operates by using the user interface. The pages are returned in order as shown in FIG. Also in this case, the
[0082]
On the other hand, for the “
[0083]
When the
[0084]
When the pages are switched in the reverse order, there are many cases where the explanation of the omitted pages has already been made before that. Therefore, a more appropriate table of contents can be generated by integrating non-regulated sections in a section where pages are switched in reverse order.
[0085]
FIG. 13 is a diagram illustrating a hardware configuration of the
[0086]
The information editing program for executing the information editing process in the
[0087]
In addition, the information editing program of the present embodiment may be provided by being stored on a computer connected to a network such as the Internet and downloaded via the network.
[0088]
In this case, the information editing program is loaded onto the main storage device by being read from the recording medium and executed by the
[0089]
The hardware configuration of the
[0090]
The
[0091]
As such a first modification, in the present embodiment, the
[0092]
As described above, the order of the processes is not limited to the present embodiment, and it is only necessary that the screen image information is finally associated with each section of the moving image information on a one-to-one basis.
[0093]
As a second modification, in the present embodiment, the case where the
[0094]
Further, for example, the digital data of the present invention may be voice data obtained by recording voice spoken by the presenter while referring to the
[0095]
As a third modification example, in this embodiment, the screen image synchronized with the non-regulated section is changed and the table of contents item is omitted. Instead, the screen image synchronized with the non-regulated section is changed. It is not necessary to do. For example, in order to avoid complication of table of contents items, it is desirable to perform section integration and table of contents items deletion, but it is convenient for understanding the contents to leave the screen image omitted as it is. . In such a case, a synchronized screen image may be displayed at the same time even in an unspecified section, as in this example.
[0096]
In addition, the table of contents items need not be omitted simply by changing the screen image synchronized with the non-regulated section. Thus, these two processes can be performed independently.
[0097]
As a fourth modified example, in this embodiment, the non-regulated section is integrated into the section immediately after the non-specified section. Instead, the non-specified section is replaced with the section immediately before the non-specified section. You may integrate. For example, when it is desired to avoid displaying an unspecified section at the beginning of each section of the created information file, the unspecified section may be integrated into the immediately preceding section. In this way, it may be determined for convenience for the user's desire and based on the nature of the target moving image information, etc.
[0098]
【The invention's effect】
As described above, according to the invention of
[0099]
According to the invention of
[0100]
According to the invention of
[0101]
Claims4According to the invention, since the section adjustment can be performed according to the event information including the switching timing when the switching is performed according to the instruction from the presenter, the section can be adjusted according to the operation of the presenter. Play.
[0102]
Claims5According to the invention, since the non-regulated section can be integrated into the section immediately after that, the section unified in terms of contents can be made one section. By determining the section in this way, there is an effect that a more suitable table of contents can be created.
[0103]
Claims6According to the invention, the screen image synchronized with the integration destination of the non-standard section can be synchronized with the non-standard section instead of the screen image synchronized with the non-standard section. Therefore, it is possible to avoid displaying a screen image unnecessary for the viewer. Thereby, there exists an effect that digital data can be edited into highly useful information.
[0104]
Further, the non-regulated section is displayed only for a relatively short time. For this reason, if the screen image is synchronized with the non-regulated section, the screen image is frequently switched, which is difficult for the viewer to see. However, according to the invention of
[0105]
Claims7According to the invention, since the non-regulated sections are integrated only when the screen images are switched in the reverse order, there is an effect that the information can be easily understood.
[0106]
Claims8According to the invention, since the table of contents item of the integration destination is associated with the non-regulated section, there is an effect that it is possible to avoid providing the table of contents item for the section that reproduces contents that are meaningless to the user. .
[0107]
Claims9According to the invention, the section adjusting unit adjusts the section based on the defined length received by the defined length designation receiving unit, so that the defined length can be freely set via the defined length designation receiving unit. There is an effect.
[0108]
According to the invention of
[0109]
Further, according to the invention of claim 11, when the length of the section included in the digital data is shorter than the specified length section, it can be integrated into the adjacent section, which is meaningless for the viewer. There is an effect that it is possible to avoid the generation of the section including only the contents.
[0110]
Claims12According to the invention, when the length of the section included in the digital data is shorter than the specified length section, it can be integrated into the adjacent section, so that the section includes only contents that are meaningless to the viewer. It is possible to avoid the generation of.
[0111]
According to the invention of claim 13, when the length of the section included in the digital data is shorter than the specified length section, it can be integrated into an adjacent section, which is meaningless for the viewer. There is an effect that it is possible to avoid the generation of the section including only the contents.
[Brief description of the drawings]
1 is a diagram showing an overall configuration of an
2 is a block diagram showing a functional configuration of an
FIG. 3 is a diagram schematically showing a
4 is a diagram schematically showing a data configuration of an
5 is a functional block diagram showing a detailed functional configuration of an information
6 is a diagram showing an information file generated by an
7 is a diagram showing an information file output from the
FIG. 8 is a flowchart showing an information editing process when the
FIG. 9 is a diagram schematically showing moving
FIG. 10 is a diagram for explaining a synchronization adjustment method by a
11 is a diagram showing a table of contents of moving
12 is a diagram showing moving
13 is a diagram showing a hardware configuration of the
[Explanation of symbols]
1 Information editing system
2 presentation devices
3 Projectors
4 DV camera
5 Information editing device
15 mouse
21 Keyboard
30 Display screen
31 Presentation materials
32 Event processing section
33 Event capture section
34 Event recording part
34 Projector
35 Information Processing Department
36 Receiver
37 Event information control unit
38 Event recording section
39 Shooting equipment controller
40 Movie information capture section
41 Video Information Management Department
42 Event information interpretation part
43 Information file generator
44 Transmitter
50 output section
62 Bus
310, 312, 314, 316, 318, 320 Screen image
340 Event Information List
341,342,343 Event information
430 Section determination section
431 Section adjustment section
433 Synchronization unit
434 Contents item extractor
435 Corresponding part
436 Synchronization adjustment unit
437 Contents item deletion section
500 display section
600,610 video information
Claims (13)
表示画面に順次表示された各画面画像が切り替るときの切り替りタイミングを含むイベント情報を取得するイベント情報取得手段と、
前記デジタルデータを取得するデジタルデータ取得手段と、
前記イベント情報に基づいて、前記デジタルデータを複数の区間に分割する分割位置を特定する区間決定手段と、
前記区間決定手段により決定された区間の長さが、予め定められた規定長に比べて短い場合に、前記規定長に比べて短い規定外区間を当該規定外区間の直前または直後の区間に統合する区間調整手段と
を備えたことを特徴とする情報編集装置。An information editing apparatus for editing digital data is moving picture information,
Event information acquisition means for acquiring event information including switching timing when each screen image sequentially displayed on the display screen is switched;
A digital data acquiring means for acquiring the digital data,
Based on the event information, section determining means for specifying a division position for dividing the digital data into a plurality of sections;
When the length of the section determined by the section determining means is shorter than a predetermined specified length, an unspecified section shorter than the specified length is integrated into a section immediately before or immediately after the specified section. An information editing apparatus comprising a section adjusting means for performing
表示画面に順次表示された各画面画像が切り替るときの切り替りタイミングを含むイベント情報を取得するイベント情報取得手段と、 Event information acquisition means for acquiring event information including switching timing when each screen image sequentially displayed on the display screen is switched;
前記デジタルデータを取得するデジタルデータ取得手段と、 Digital data acquisition means for acquiring the digital data;
前記イベント情報に基づいて、前記デジタルデータを複数の区間に分割する分割位置を特定する区間決定手段と、 Based on the event information, section determining means for specifying a division position for dividing the digital data into a plurality of sections;
前記区間決定手段により決定された区間の長さが、予め定められた規定長に比べて短い場合に、前記規定長に比べて短い規定外区間を当該規定外区間の直前または直後の区間に統合する区間調整手段と When the length of the section determined by the section determining means is shorter than a predetermined specified length, an unspecified section shorter than the specified length is integrated into a section immediately before or immediately after the specified section. Section adjustment means to
を備えたことを特徴とする情報編集装置。An information editing apparatus characterized by comprising:
前記イベント情報に基づいて、前記画面画像情報と前記デジタルデータとを同期させる場合に、前記デジタルデータの前記規定外区間に対して、前記規定外区間の統合先の区間に同期された前記画面画像情報を同期させる同期調整手段と
をさらに備えたことを特徴とする請求項1から5のいずれか一項に記載の情報編集装置。Screen image information acquisition means for acquiring screen image information indicating the screen image displayed on the display device;
When synchronizing the screen image information and the digital data based on the event information, the screen image synchronized with the integration destination section of the non-standard section with respect to the non-standard section of the digital data. information editing apparatus according to claim 1, any one of 5, further comprising a synchronization adjustment unit for synchronizing information.
前記同期調整手段は、前記規定外区間に含まれる画面画像が、当該規定外区間の直前の区間に含まれる画面画像よりも先に表示されるべき画面画像である場合に、当該規定外区間の前記デジタルデータに対して、当該規定外区間の統合先の区間に同期された前記画面画像情報を同期させることを特徴とする請求項6に記載の情報編集装置。The screen images are displayed on the display screen in a predetermined order,
When the screen image included in the non-regulated section is a screen image to be displayed before the screen image included in the section immediately before the non-specified section, the synchronization adjustment unit The information editing apparatus according to claim 6 , wherein the screen image information synchronized with the integration destination section of the non-regulated section is synchronized with the digital data.
前記抽出手段が抽出した前記目次項目を、前記画面画情報に同期された前記デジタルデータに対応付け、前記規定外区間に対して統合先の目次項目を対応付ける前記対応付手段と
をさらに備えたことを特徴とする請求項6または7に記載の情報編集装置。A table of contents item extracting means for extracting character information from the screen image information as a table of contents item of the digital data;
The table of contents extracted by the extraction unit is associated with the digital data synchronized with the screen image information, and the association unit associates the table of contents item to be integrated with the non-specified section. The information editing apparatus according to claim 6 or 7 , characterized in that:
前記区間調整手段は、前記規定長指定受付手段が受け付けた前記規定長と前記区間決定手段により決定された区間の長さとを比較することを特徴とする請求項1から8のいずれか一項に記載の情報編集装置。It further comprises a prescribed length designation accepting means for accepting designation of the prescribed length,
The section adjustment means in any one of claims 1 to 8, characterized by comparing the length of the determined period by the predetermined length and said interval determining means for said predetermined length specification receiving unit receives The information editing device described.
提示者からの操作に従って、表示画面に順次表示された各画面画像が切り替るときの切り替りタイミングを含むイベント情報を取得するイベント情報取得ステップと、
前記デジタルデータを取得するデジタルデータ取得ステップと、
前記イベント情報に基づいて、前記デジタルデータを複数の区間に分割する分割位置を特定する区間決定ステップと、
前記区間決定ステップにおいて決定された区間の長さが、予め定められた規定長に比べて短い場合に、前記規定長に比べて短い規定外区間を当該規定外区間の直前または直後の区間に統合する区間調整ステップと
を有することを特徴とする情報編集方法。An information editing method for editing digital data that is video information ,
Event information acquisition step for acquiring event information including switching timing when each screen image sequentially displayed on the display screen switches according to an operation from the presenter;
A digital data acquiring step of acquiring the digital data,
Based on the event information, a section determining step for specifying a division position for dividing the digital data into a plurality of sections;
When the length of the section determined in the section determination step is shorter than a predetermined specified length, an unspecified section shorter than the specified length is integrated into a section immediately before or immediately after the specified section. And a section adjusting step for performing information editing.
提示者からの操作に従って、表示画面に順次表示された各画面画像が切り替るときの切り替りタイミングを含むイベント情報を取得するイベント情報取得ステップと、 Event information acquisition step for acquiring event information including switching timing when each screen image sequentially displayed on the display screen switches according to an operation from the presenter;
前記デジタルデータを取得するデジタルデータ取得ステップと、 A digital data acquisition step of acquiring the digital data;
前記イベント情報に基づいて、前記デジタルデータを複数の区間に分割する分割位置を特定する区間決定ステップと、 Based on the event information, a section determining step for specifying a division position for dividing the digital data into a plurality of sections;
前記区間決定ステップにおいて決定された区間の長さが、予め定められた規定長に比べて短い場合に、前記規定長に比べて短い規定外区間を当該規定外区間の直前または直後の区間に統合する区間調整ステップと When the length of the section determined in the section determination step is shorter than a predetermined specified length, an unspecified section shorter than the specified length is integrated into a section immediately before or immediately after the specified section. Section adjustment step to
を有することを特徴とする情報編集方法。An information editing method characterized by comprising:
提示者からの操作に従って、表示画面に順次表示された各画面画像が切り替るときの切り替りタイミングを含むイベント情報を取得するイベント情報取得ステップと、
前記デジタルデータを取得するデジタルデータ取得ステップと、
前記イベント情報に基づいて、前記デジタルデータを複数の区間に分割する分割位置を特定する区間決定ステップと、
前記区間決定ステップにおいて決定された区間の長さが、予め定められた規定長に比べて短い場合に、前記規定長に比べて短い規定外区間を当該規定外区間の直前または直後の区間に統合する区間調整ステップと
をコンピュータに実行させることを特徴とする情報編集プログラム。An information editing program for executing the information editing method for editing digital data is moving picture information in a computer,
Event information acquisition step for acquiring event information including switching timing when each screen image sequentially displayed on the display screen switches according to an operation from the presenter;
A digital data acquiring step of acquiring the digital data,
Based on the event information, a section determining step for specifying a division position for dividing the digital data into a plurality of sections;
When the length of the section determined in the section determination step is shorter than a predetermined specified length, an unspecified section shorter than the specified length is integrated into a section immediately before or immediately after the specified section. An information editing program for causing a computer to execute a section adjusting step.
提示者からの操作に従って、表示画面に順次表示された各画面画像が切り替るときの切り替りタイミングを含むイベント情報を取得するイベント情報取得ステップと、 Event information acquisition step for acquiring event information including switching timing when each screen image sequentially displayed on the display screen switches according to an operation from the presenter;
前記デジタルデータを取得するデジタルデータ取得ステップと、 A digital data acquisition step of acquiring the digital data;
前記イベント情報に基づいて、前記デジタルデータを複数の区間に分割する分割位置を特定する区間決定ステップと、 Based on the event information, a section determining step for specifying a division position for dividing the digital data into a plurality of sections;
前記区間決定ステップにおいて決定された区間の長さが、予め定められた規定長に比べて短い場合に、前記規定長に比べて短い規定外区間を当該規定外区間の直前または直後の区間に統合する区間調整ステップと When the length of the section determined in the section determination step is shorter than a predetermined specified length, an unspecified section shorter than the specified length is integrated into a section immediately before or immediately after the specified section. Section adjustment step to
をコンピュータに実行させることを特徴とする情報編集プログラム。An information editing program for causing a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003025204A JP4171316B2 (en) | 2003-01-31 | 2003-01-31 | Information editing apparatus, information editing method, and information editing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003025204A JP4171316B2 (en) | 2003-01-31 | 2003-01-31 | Information editing apparatus, information editing method, and information editing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004236238A JP2004236238A (en) | 2004-08-19 |
JP4171316B2 true JP4171316B2 (en) | 2008-10-22 |
Family
ID=32953544
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003025204A Expired - Fee Related JP4171316B2 (en) | 2003-01-31 | 2003-01-31 | Information editing apparatus, information editing method, and information editing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4171316B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007081594A (en) * | 2005-09-13 | 2007-03-29 | Sony Corp | Imaging apparatus and recording method |
JP4816447B2 (en) * | 2006-12-26 | 2011-11-16 | 富士ゼロックス株式会社 | Data registration device |
JP4988649B2 (en) * | 2008-05-14 | 2012-08-01 | 日本電信電話株式会社 | Video topic section definition apparatus and method, program, and computer-readable recording medium |
-
2003
- 2003-01-31 JP JP2003025204A patent/JP4171316B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004236238A (en) | 2004-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4424389B2 (en) | Movie creation device, movie creation method, and program | |
KR101007508B1 (en) | Video signal processor, video signal recorder, video signal reproducer, video signal processor processing method, video signal recorder processing method, video signal reproducer processing method, recording medium | |
JP2003274352A (en) | Content recording and reproducing device and content editing method | |
JP3951778B2 (en) | Video content editing support system, imaging device, editor terminal device, recording medium, program, video content editing support method | |
KR20030062315A (en) | Method, system, and program for creating, recording and distributing digital stream contents | |
JP4450591B2 (en) | Information editing apparatus, display control method, and program | |
JP2007323698A (en) | Multi-media content display device, method, and program | |
JP4171316B2 (en) | Information editing apparatus, information editing method, and information editing program | |
JP4233362B2 (en) | Information distribution apparatus, information distribution method, and information distribution program | |
JP4295532B2 (en) | Information editing apparatus, information editing method, and information editing program | |
US20230199138A1 (en) | Information processing device, information processing program, and recording medium | |
JP4171315B2 (en) | Information editing apparatus, information editing system, information editing method, information editing program | |
JP2004302681A (en) | Information editing device, information editing method and information editing program | |
JP4330905B2 (en) | Information editing apparatus, information editing method, and information editing program | |
JP2004287525A (en) | Information providing device, method and program | |
JP4080904B2 (en) | Information editing device, information editing program | |
KR102625045B1 (en) | Video editing device, video editing method, and computer program | |
JP4640564B2 (en) | Content distribution system | |
JP2004304350A (en) | Device, system, method, and program for editing information | |
JP4149825B2 (en) | Indexing apparatus, indexing method and program | |
JP4250662B2 (en) | Digital data editing device | |
JP2005260512A (en) | System and method for processing content, and computer program | |
JP2003274353A (en) | Synchronizing device for video information and event information | |
JPH11260041A (en) | Method and apparatus for editing comic type image and recording medium having recorded editing method thereof | |
JP4358533B2 (en) | Event acquisition device, indexing device, event acquisition method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080805 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080808 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4171316 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |