JP4816447B2 - データ登録装置 - Google Patents

Description

本発明は、画像データと音声データとを対応付けて登録する技術に関し、特に、登録の対象から除外した画像データに対応して所得した音声データの登録処理を行う技術に関する。

プレゼンテーション・ソフトウェアや各種アプリケーションソフトウェアで動作するコンピュータを使って、資料としての静止画像を表示しながら説明、会議、講義等（本願の説明では、これらを総称してプレゼンテーションという。）を行うことが、昨今のビジネスや教育等の環境において広く行われている。
こうしたプレゼンテーションの内容を記録し、共有化する方法がさまざまに提案されている。その中で、表示された画像と、その画像が表示されたときの音声（発表者の説明等）を同期させて記録し、また、記録された画像と音声を同期させて再生する方法がいくつか提案されている。
こうした方法は、基本的に表示された静止画像を発表者の操作情報や表示された画像の比較により全て記録するものである。

例えば、発表者がコンピュータに対して行ったプレゼンテーションに関する操作指示内容の情報を取得して、プレゼンテーションの内容を記録する発明が知られている（特許文献１参照。）。
また、プロジェクタを使用したプレゼンテーションにおいて、表示された画像とそのときの音声を関連付けて取得し、再生、配信することができるプロジェクタに係る発明が知られている（特許文献２参照。）。
また、プレゼンテーションされた資料画像と音声を自動的に関連付けて取り込むシステムに係る発明が知られている（特許文献３参照。）。
特開２００４―２２７５１４号公報 特開２００５―２８４１９６号公報 特開２００６―１２７５１８号公報

一般に、プレゼンテーションでは、発表者が資料画像を表示してそれについての説明を行い、それが終了すると順次、次の資料画像を切り替えて表示してそれについての説明を行う、という形式で進められる。
しかしながら、実際のプレゼンテーションでは、連続する複数枚の資料画像についての説明を省略したい、質問に答える等のため予め用意した順序から外れた資料画像を表示したいなどの要求が発生するため、説明しない複数枚の資料画像を速い速度で切替える（資料画像捲りする）ことが発生する。

こうした操作で捲られる資料画像は発表者が表示することを意図しないものであるので、この資料画像を記録することは、後で再生するときにも視聴しづらく、わずらわしいとともに、不要なデータ記憶領域を消費することにもなる。
一方、後の再生で内容を分かり易くするため、資料画像と、当該資料画像が表示されたときに取得した音声とを対応させて記録するが、捲られる資料画像が表示されたときの音声をどのように処置するかを工夫する必要がある。

本発明は、上記従来の事情に鑑みなされたもので、不要な画像データを省きながらも、記憶された画像データと音声データとを違和感なく再生することを可能にすることを目的とする。

請求項１のデータ登録装置は、表示出力された画像を示す画像データを取り込む画像取込手段と、前記画像に対応した音声を示す音声データを取り込む音声取込手段と、画像データと音声データとを対応付けて記憶する記憶手段と、前記画像取込手段で取り込まれた画像データの示す画像の表示時間に基づいて登録対象とする画像データを判定する判定手段と、前記判定手段で登録対象と判定された画像データと当該画像データが示す画像が表示された期間に前記音声取込手段で取り込まれた音声データとを対応付けて前記記憶手段に記憶すると共に、前記判定手段で登録非対象と判定された画像データは前記記憶手段に記憶する登録対象から除外して、当該登録非対象の画像データが示す画像の表示期間に前記音声取込手段で取り込まれた音声データを当該画像に直近する登録対象の画像データに対応付けた音声データに連続させて前記記憶手段に記憶する登録処理を行う登録手段と、を備えたことを特徴とする。

請求項２のデータ登録装置は、請求項１において、前記判定手段は、前記画像データが示す画像の表示時間が所定時間以上表示出力されたか否かに基づいて、当該画像データを登録対象の画像データとするか否かを判定することを特徴とする。

請求項３のデータ登録装置は、請求項２において、前記判定手段は、前記画像取込手段で取り込まれた画像を周期的にサンプリングし、連続してサンプリングした前後の画像を比較して、これら画像が変化する間の時間を画像の表示時間として判定することを特徴とする。

請求項４のデータ登録装置は、請求項１乃至３のいずれかにおいて、前記登録手段は、前記登録非対象と判定された画像データが示す画像の表示期間に取り込まれた音声データを当該画像より前に表示された直近する登録対象の画像データに対応付けた音声データに連続させて前記記憶手段に記憶させることを特徴とする。

請求項５のデータ登録装置は、請求項１乃至３のいずれかにおいて、前記登録手段は、前記登録非対象と判定された画像データが示す画像の表示期間に取り込まれた音声データを当該画像より後に表示された直近する登録対象の画像データに対応付けた音声データに連続させて前記記憶手段に記憶させることを特徴とする。

請求項６のデータ登録装置は、請求項１乃至３のいずれかにおいて、前記登録手段は、前記登録非対象と判定された画像データが示す画像の表示期間に取り込まれた音声データを分割して、これら音声データを当該画像の前後に表示された直近する登録対象の画像データに対応付けた音声データにそれぞれ連続させて前記記憶手段に記憶させることを特徴とする。

請求項７のデータ登録装置は、コンピュータに接続するための接続手段と、画像データと音声データとを対応付けて記憶する記憶手段と、前記コンピュータに、表示出力された画像を示す画像データを取り込む画像取込手段と、前記画像に対応した音声を示す音声データを取り込む音声取込手段と、前記画像取込手段で取り込まれた画像データの示す画像の表示時間に基づいて登録対象とする画像データを判定する判定手段と、前記判定手段で登録対象と判定された画像データと当該画像データが示す画像が表示された期間に前記音声取込手段で取り込まれた音声データとを対応付けて前記記憶手段に記憶すると共に、前記判定手段で登録非対象と判定された画像データは前記記憶手段に記憶する登録対象から除外して、当該登録非対象の画像データが示す画像の表示期間に前記音声取込手段で取り込まれた音声データを当該画像に直近する登録対象の画像データに対応付けた音声データに連続させて前記記憶手段に記憶する登録処理を行う登録手段と、を構成する登録プログラムを当該コンピュータが読取り可能に記憶するプログラム記憶手段と、を備えたことを特徴とする。

請求項８のデータ登録システムは、画像を表示出力する画像表示装置と、音声を入力するマイクロホンと、画像データと音声データとを対応付けて登録するデータ登録装置と、を備え、前記データ登録装置は、前記画像表示装置により表示出力された画像が示す画像データを取り込む画像取込手段と、前記マイクロホンにより入力された音声データを取り込む音声取込手段と、画像データと音声データとを対応付けて記憶する記憶手段と、前記画像取込手段で取り込まれた画像データの示す画像の表示時間に基づいて、登録対象とする画像データを判定する判定手段と、前記判定手段で登録対象と判定された画像データと当該画像データが示す画像が表示された期間に前記音声取込手段で取り込まれた音声データとを対応付けて前記記憶手段に記憶すると共に、前記判定手段で登録非対象と判定された画像データは前記記憶手段に記憶する登録対象から除外して、当該登録非対象の画像データが示す画像の表示期間に前記音声取込手段で取り込まれた音声データを当該画像に直近する登録対象の画像データに対応付けた音声データに連続させて前記記憶手段に記憶する登録処理を行う登録手段と、を備えたことを特徴とする。

請求項９のプレゼンテーションデータ登録システムは、プレゼンテーションにおいて使用する資料画像を表示出力する画像表示装置と、前記プレゼンテーションにおいて発言された音声を入力するマイクロホンと、画像データと音声データとを対応付けて登録するデータ登録装置と、を備え、前記データ登録装置は、前記画像表示装置により表示出力された画像が示す画像データを取り込む画像取込手段と、前記マイクロホンにより入力された音声データを取り込む音声取込手段と、画像データと音声データとを対応付けて記憶する記憶手段と、前記画像取込手段で取り込まれた画像データの示す画像の表示時間に基づいて、登録対象とする画像データを判定する判定手段と、前記判定手段で登録対象と判定された画像データと当該画像データが示す画像が表示された期間に前記音声取込手段で取り込まれた音声データとを対応付けて前記記憶手段に記憶すると共に、前記判定手段で登録非対象と判定された画像データは前記記憶手段に記憶する登録対象から除外して、当該登録非対象の画像データが示す画像の表示期間に前記音声取込手段で取り込まれた音声データを当該画像に直近する登録対象の画像データに対応付けた音声データに連続させて前記記憶手段に記憶する登録処理を行う登録手段と、を備えたことを特徴とする。

請求項１０のデータ登録プログラムは、コンピュータに、表示出力された画像を示す画像データを取り込む画像取込手段と、前記画像に対応した音声を示す音声データを取り込む音声取込手段と、画像データと音声データとを対応付けて記憶する記憶手段と、前記画像取込手段で取り込まれた画像データの示す画像の表示時間に基づいて登録対象とする画像データを判定する判定手段と、前記判定手段で登録対象と判定された画像データと当該画像データが示す画像が表示された期間に前記音声取込手段で取り込まれた音声データとを対応付けて前記記憶手段に記憶すると共に、前記判定手段で登録非対象と判定された画像データは前記記憶手段に記憶する登録対象から除外して、当該登録非対象の画像データが示す画像の表示期間に前記音声取込手段で取り込まれた音声データを当該画像に直近する登録対象の画像データに対応付けた音声データに連続させて前記記憶手段に記憶する登録処理を行う登録手段と、を構成することを特徴とする。

請求項１のデータ登録装置によると、記憶された画像データと音声データとを違和感なく再生することを可能にすることができる。

請求項２のデータ登録装置によると、画像の表示時間の長短に応じて記憶された画像データと音声データとを違和感なく再生することを可能にすることができる。

請求項３のデータ登録装置によると、本発明を採用しない場合に比較して、確実に画像の表示切換えを判定することができる。

請求項４のデータ登録装置によると、本発明を採用しない場合に比較して、記録対象から除いた画像に対応する音声データを、後の画像の導入説明となり得るように記録することができる。

請求項５のデータ登録装置によると、本発明を採用しない場合に比較して、記録対象から除いた画像に対応する音声データを、前の画像の関連説明となり得るように記録することができる。

請求項６のデータ登録装置によると、本発明を採用しない場合に比較して、記録対象から除いた画像に対応する音声データを、前後の画像の関連説明や導入説明となり得るように記録することができる。

請求項７のデータ登録装置によると、コンピュータを利用することで、必要に応じて、請求項１に相当するデータ登録装置を構成することができる。

請求項８のデータ登録システムによると、不要な画像データの記録を省くことができるので不要なデータ記憶領域の消費を回避することができ、しかも、記憶された画像データと音声データとを違和感なく再生することを可能にすることができる。

請求項９のプレゼンテーションデータ登録システムによると、不要な資料画像データの記録を省くことができるので不要なデータ記憶領域の消費を回避することができ、しかも、記憶された資料画像データと発言音声データとを違和感なく再生することを可能にすることができる。

請求項１０のデータ登録プログラムによると、コンピュータを利用することで、必要に応じて、請求項１に相当するデータ登録装置を構成することができる。

図１には、本発明の一例に係るデータ登録システムの構成を示してある。
なお、以下の説明では、本例のデータ登録システムはプレゼンテーションデータを登録するためのプレゼンテーションデータ登録システムとして利用され、当該プレゼンテーションデータ登録システムの主要部はデータ登録装置により構成されている。

図１に示すシステムは、プレゼンテーションを行う発表者（或いは、補助者）が操作するコンピュータ（ＰＣ）１、コンピュータ（ＰＣ）１の操作に応じて切り替えられる静止画像データによる資料画像をスクリーンに投影して表示するプロジェクタ２、発表者や参加者の発言音声を入力するマイクロホン３、投影表示された資料画像のデータとマイクロホン３から入力された音声のデータとを取り込んで対応付けて記録するデータ登録装置４を備えている。

なお、少なくとも、資料画像を表示するスクリーンとマイクロホン３はプレゼンテーション会場に設置され、プレゼンテーションにおいて表示された資料画像に対応する音声がマイクロホン３から入力される。
また、データ登録装置４は、表示された資料画像及び音声のデータを取り込める接続関係があればよいので、プレゼンテーション会場に設置せずに別な場所に設置されていてもよい。
また、図１に示す例ではコンピュータ１からプロジェクタ２へ出力される画像データをデータ登録装置４が取り込むが、画像読取装置で読取った印刷物の画像データをデータ登録装置４が取り込むようにしてもよい。

データ登録装置４は、コンピュータ１からプロジェクタ２へ出力される画像データを取り込む画像取り込み手段１１、画像データを一時的に記憶する画像一時記憶手段１２、マイクロホン３により入力された音声データを取り込む音声取り込み手段１３、音声データを一時的に記憶する音声一時記憶手段１４、画像取り込み手段１１が取得した画像データを所定の周期でサンプリングする画像サンプリング手段１５、サンプリングされた前後の画像データを比較する画像比較手段１６、比較された前後の画像間で変化があるか否かを判定する画像確定手段１７、登録対象となる画像データを記憶する画像記憶手段１８、画像記憶手段１８に記憶された各画像データとの対応関係をもってマイクロホン３により入力された音声データを記憶する音声記憶手段１９を有している。

なお、本例では、データ登録装置４が備えるコンピュータハードウエアで本発明に係るデータ登録プログラムを実行することで、上記各機能手段１１〜１９を構成しているが、これら各機能手段１１〜１９をそれぞれ専用のハードウエアで構成してもよい。

本例のデータ登録装置４が行う処理の概要を説明する。
音声取り込み手段１３で音声データを連続的に取り込むとともに、画像データについては、画像取り込み手段１１で取り込まれた画像がそれ以前に取り込まれた画像から変化したかどうかを画像比較手段１６において判定し、画像が変化したときにはその新しい画像（すなわち、プレゼンテーションで切り替えられた資料画像）のデータを登録するか否かを判定する。

この新しい画像データに対して、画像確定手段１７において、画像が所定時間以上表示されたかどうかを判定し、所定時間以上表示されたときには、その画像のデータを画像記憶手段１８に保存して登録し、所定時間未満しか表示されなかったときには、その画像のデータを画像記憶手段１８に保存しない。
上記連続的に取り込まれた音声のうち、画像記憶手段１８に保存される画像が表示された期間に対応する音声データはその画像に対応して音声記憶手段１９に保存する。一方、画像記憶手段１８に保存されない画像が表示された期間に対応する音声データは、その期間の前又は後で、保存された画像に対応する期間の音声データに連結する形で音声記憶手段１９に保存する。

本例のデータ登録装置４が行う処理を、表示された画像と音声との関係を示す図２を参照して、より詳しく説明する。
プレゼンテーション用のコンピュータ１を使って、プロジェクタ２によるスクリーンへの投影（あるいは、大型モニター画面への表示）で資料画像を表示しながらプレゼンテーションが実施されている。
このプレゼンテーションで表示されている資料画像を画像取り込み手段１１を通してデータ登録装置４に入力する。この画像取り込み手段１１は、画像信号（画像データ）を取り込む手段であり、具体的には、プロジェクタ２を用いて画像が表示される場合には、その画像信号を分岐して入力することにより画像信号を取り込むことができる。また、プレゼンテーション用のコンピュータ１上でスクリーンキャプチャのプログラムを実行し、その画像信号を入力することもできる。

画像取り込み手段１１で入力された画像データは、画像サンプリング手段１５で、所定の周期ΔＴ毎に取得される。この周期は、画像の変化を検出するために設定される時間であり、例えば１秒間といったような極く短い時間に設定される。
そして、画像サンプリング手段１５で順次取得された画像データは画像一時記憶手段１２に記憶され、サンプリングされた画像とその１周期前にサンプリングされた画像とが画像比較手段１６で比較され、これら画像の間に変化があれば、画像が切り替えられたと判定される。

そして、切り替えられたと判定された画像が、その後、所定時間以上変化していないと画像確定手段１７で判定されると、その新しく取得された画像は発表者により意図して表示されたものとして、画像記憶手段１８に表示された順に記録される。
一方、所定時間未満しか表示されなかった画像は、単に画像捲りされた画像などの様に意図して表示されたものではないとして、画像記憶手段１８に記録されない。この所定時間は、単に画像捲りか否かを検出する場合は、例えば１秒間といったような極く短い時間に設定される。

このように、所定定時間以上表示されなかった画像は破棄されて画像記憶手段１８に記録されないが、この破棄された画像が表示された期間に相当する音声は、当該破棄された画像に前又は後で直近する登録された画像に対応する音声データに連続させる形で音声記憶手段１９に記録される。

なお、本例では、上記一連の処理を行う画像サンプリング手段１５、画像比較手段１６、画像確定手段１７が、所定時間以上の表示出力がなされた画像のデータと当該画像が表示された期間に取得された音声データとを対応付けて画像記憶手段１９に記憶させる一方、所定時間未満の表示がなされた画像のデータは画像記憶手段１９に記憶させる対象から除外して、当該所定時間未満の画像の表示期間に取得された音声データを当該画像に直近する所定時間以上の表示がなされた画像のデータに対応付けた音声データに連続させて音声記憶手段１９に記憶させる登録手段を構成している。

図２において、順次切り替えて表示された資料画像Ｐ1〜Ｐ5のうち、Ｐ1とＰ5は所定時間以上表示された画像（プレゼンテーションのために意図して表示された画像）で、その間に表示されたＰ2、Ｐ3、Ｐ4は表示の意図はないが、画像捲りのために資料画像を次々に速い速度で送る際に、所定時間未満の短時間表示された画像を示している。

上記のように、画像データＰ1とＰ5は画像記憶手段１８に記録されるが、画像データＰ2、Ｐ3、Ｐ4は破棄される。
音声取り込み手段１３で入力された音声データは、画像が切り替えられたと判断されたタイミングで区切って、音声一時記憶部１４に記憶される。
こうして一時的に記憶された音声データのうち、記録される画像Ｐ1、Ｐ5が表示された時間の音声データＶ1、Ｖ5はそれぞれの画像に対応付けて音声記憶手段１９に記録される一方、破棄された画像Ｐ2、Ｐ3、Ｐ4が表示された時間の音声データＶ2、Ｖ3、Ｖ4は、その直前又は直後に直近ずる音声データＶ1又はＶ5につなげる形で音声記憶手段１９に記録される。

次に、方式を選択する設定に応じて、本例のデータ登録装置４で実施することができるデータ登録方式を、具体的に説明する。
図３及び図４は、破棄された画像Ｐ2、Ｐ3、Ｐ4が表示された時間の音声データＶ2、Ｖ3、Ｖ4を、それに続く画像Ｐ5が表示された時間の音声Ｖ5につなげる形で記録する第１方式の一例を示し、また、図６及び図７には、破棄された画像Ｐ2、Ｐ3、Ｐ4が表示された時間の音声データＶ2、Ｖ3、Ｖ4を、それに先行する画像Ｐ1が表示された時間の音声Ｖ1につなげる形で記録する第２方式の一例を示してある。

図３には、画像Ｐ1が表示されている状態から、時刻ｔ2において画像Ｐ2に切り替えられ、その後、時刻ｔ3において画像Ｐ3、時刻ｔ4において画像Ｐ4、時刻ｔ5において画像Ｐ5、時刻ｔ6において画像Ｐ6に順次切り替えられた様子を示している。
また、図４には、第１方式による処理手順を示している。

表示された画像を所定の周期ΔＴでサンプリングし、画像一時記憶手段１２に記憶するとともに、それが一周期前、つまりΔＴ前にサンプリングして画像一時記憶手段１２に記憶されている画像と異なっているかどうかを画像比較手段１６が判定する（ステップＳ１）。
また、画像確定手段１７には、画像が表示されて所定時間経過したかどうかを判定するために状態を示すフラグが用意されており、このフラグは、画像が所定時間以上表示されたと判断されると「１」にセットされ、これが「１」の状態のときに画像が変化すると「０」にセットされる。

最初、画像Ｐ１が安定して表示されている状態では、状態フラグは「１」である（ステップＳ２）。時刻ｔ2において画像Ｐ2に切り替えられたとき、その次のサンプリングのタイミングで画像の変化が検出され、音声取り込み手段１３で取得されたそこまでの音声データが音声記憶手段１９に書き出されるとともに、フラグは「０」にセットされる（ステップＳ３）。
次に、時刻ｔ3において画像がＰ3に変化すると、次のサンプリングのタイミングで画像の変化が検出されるが、フラグが「０」であるため音声データの記憶手段１９への書き出しは行われない。

時刻ｔ4で画像Ｐ4が表示されるが、次のサンプリングのタイミングの前に次の画像に切り替えられるので、画像Ｐ4は無視される。時刻ｔ5において画像Ｐ5に切り替えられときは、次のサンプリングで画像の変化が検出されるが、フラグが「０」であるため音声データの記憶手段１９への書き出しは行われない（ステップＳ４）。
そして、画像の変化が検出されて画像確定を確認するための所定時間α以上経過したとき（ステップＳ５）、画像が所定時間以上表示されたとして確定されて画像記憶手段１８に登録され、それと同時に、フラグが「１」にセットされる（ステップＳ６）。
なお、この時間αの大きさは、サンプリングの周期と独立に決めることもできるが、サンプリングの周期の整数倍にしてもよい。

その後、しばらく、画像Ｐ5が表示されたあと、時刻ｔ6において画像Ｐ6に切り替えられると、その次のサンプリングのタイミングで画像の変化が検出される。そのとき、フラグが「１」であるので（ステップＳ２）、そこまでの音声データを音声記憶手段１９に書き出すとともにフラグを「０」にする（ステップＳ３）。
このような処理により、意図せずに短時間表示された画像は画像記憶手段１８に記憶されず、それらの画像が短時間表示された期間に発声された音声のデータは、その次に所定時間以上表示されて画像記憶手段１８に記憶される画像に対応する音声に先行する形で音声記憶手段１９に記憶される。

図５に簡略化して示すように、第１方式では、所定時間以上表示された画像（１）（５）のデータはそれぞれ画像記憶手段１８に記憶され、また、これら画像の表示期間中に取得された音声（１）（５）のデータは各画像データに公知の方法（例えば、識別子による対応付け）で対応付けて音声記憶手段１９に記憶される。
そして、所定時間未満の短時間表示されただけの画像（２）（３）（４）のデータは破棄されて画像記憶手段１８に記憶されず、画像（２）（３）（４）の表示期間中に取得された音声データ（２）（３）（４）は直後の表示画像（５）に対応する音声データ（５）に連続させて音声記憶手段１９に記憶される。
すなわち、音声データ（２）（３）（４）は直後の音声データ（５）に先行する音声データとして音声記憶手段１９に記憶され、例えば、表示画像（５）の導入説明といったような役割を果たすことができる。

第２方式は、画像が意図せずに短時間表示された期間に発声された音声を、第１方式とは逆に、それらの画像の前に所定時間以上表示された画像に対応付けて記録する。
図６は、画像Ｐ1が表示されている状態から、時刻ｔ2において画像Ｐ2に切り替えられ、その後、時刻ｔ3において画像Ｐ3、時刻ｔ4において画像Ｐ4、時刻ｔ5において画像Ｐ5、時刻ｔ6において画像Ｐ6に順次切り替えられる様子を示している。
また、図７は、第１方式による処理手順を示している。

第２方式でも、第１方式と同様に、画像を所定の周期ΔＴでサンプリングし、画像一次記憶手段１２に記憶するとともに、それが一周期前、つまりΔＴ前にサンプリングした画像と異なっているかどうかを判定する（ステップＳ１１）。
また、画像が表示されて所定時間経過したかどうかを判定するために、状態を示すフラグが用意されており、このフラグは、画像が所定時間以上表示されたと判断されると「１」にセットされ、これが「１」の状態のときに画像が変化すると「０」にリセットされる。

最初、画像Ｐ1が安定して表示されている状態では、状態フラグは「１」である。時刻ｔ2において画像Ｐ2に切り替えられたとき、その次のサンプリングのタイミングで画像の変化が検出され（ステップＳ１２）、そこまでの音声が音声記憶手段１９に書き出されるとともに、フラグは０にリセットされる（ステップＳ１３）。
次に、時刻ｔ3において画像がＰ3に変化すると、次のサンプリングのタイミングで画像の変化が検出されるが、フラグが「０」であるので、そこまでの音声をその前の音声データの最後に連続させて追加する形で書き出しを行う（ステップＳ１４）。

時刻ｔ4で画像Ｐ4が表示されるが、次のサンプリングのタイミングの前に、次の画像に切り替えられるので画像Ｐ4は無視される。時刻ｔ5において画像Ｐ5に切り替えられときは、次のサンプリングで画像の変化が検出されるが、フラグが「０」であるので（ステップＳ１２）、そこまでの音声をその前の音声データの最後に連続させて追加する形で書き出しを行う（ステップＳ１４）。
そして、画像の変化が検出されて所定時間α以上経過したとき（ステップＳ１５、Ｓ１６）、画像が所定時間以上表示されたとして確定され、画像記憶手段１８に登録され、それと同時に、フラグが「１」にセットされる（ステップＳ１７）。
この時間αの大きさは、サンプリングの周期と独立に決めることもできるが、サンプリングの周期の整数倍にしてもよい。

その後、しばらく、画像Ｐ5が表示されたあと、時刻ｔ6において画像Ｐ6に切り替えられると（ステップＳ１１）、その次のサンプリングのタイミングで画像の変化が検出される。そのとき、フラグが「１」であるので（ステップＳ１２）、そこまでの音声を音声記憶手段１９に書きだすとともにフラグを「０」にする（ステップＳ１３）。
このような処理により、意図せずに短時間表示された画像は画像記憶手段１８に記憶されず、それらの画像が短時間表示された期間に発声された音声のデータは、その前に所定時間以上表示されて画像記憶手段１８に記憶される画像に対応する音声に後続する形で音声記憶手段１９に記憶される。

図８に簡略化して示すように、第２方式では、所定時間以上表示された画像（１）（５）のデータはそれぞれ画像記憶手段１８に記憶され、また、これら画像の表示期間中に取得された音声（１）（５）のデータは各画像データに公知の方法（例えば、識別子による対応付け）で対応付けて音声記憶手段１９に記憶される。
そして、所定時間未満の短時間表示されただけの画像（２）（３）（４）のデータは破棄されて画像記憶手段１８に記憶されず、画像（２）（３）（４）の表示期間中に取得された音声データ（２）（３）（４）は直前の表示画像（１）に対応する音声データ（１）に連続させて音声記憶手段１９に記憶される。
すなわち、音声データ（２）（３）（４）は直前の音声データ（１）に後続する音声データとして音声記憶手段１９に記憶され、例えば、表示画像（１）の余談説明といったような役割を果たすことができる。

第１方式又は第２方式では、画像が意図せずに短時間（所定時間未満）のみ表示された期間に対応する音声をまとめて直前又は直後のどちらかに連続させて付加して記録するようにしたが、本発明では、図９に示すように、画像が所定時間未満表示された期間に対応する音声Ｖ2、Ｖ3、Ｖ4を二つに分割して、分割した前側の音声Ｖ2、Ｖ3を直前の音声Ｖ1に後続させて付加して記録し、分割した後側の音声Ｖ4を直後の音声Ｖ5に先行させて付加して記録する第３方式としてもよい。
このように音声を分割するための方法としては、保存する必要がない画像が表示された期間を音声の特徴（例えば、無音区間）により分割して、前後に分けてそれぞれ前後の音声に連結して記録する。

このような処理により、意図せずに短時間表示された画像は画像記憶手段１８に記憶されず、それらの画像が短時間表示された期間に発声された音声のデータは、その前と後に所定時間以上表示されて画像記憶手段１８に記憶される画像に対応する音声にそれぞれ振り分ける形で音声記憶手段１９に記憶される。

図１０に簡略化して示すように、第３方式では、所定時間以上表示された画像（１）（５）のデータはそれぞれ画像記憶手段１８に記憶され、また、これら画像の表示期間中に取得された音声（１）（５）のデータは各画像データに公知の方法（例えば、識別子による対応付け）で対応付けて音声記憶手段１９に記憶される。
そして、所定時間未満の短時間表示されただけの画像（２）（３）（４）のデータは破棄されて画像記憶手段１８に記憶されず、画像（３）の表示期間中に取得された音声データ（３）は前側の音声データ（３−前）と後側の音声データ（３−後）に分割され、前側の音声データ（３−前）は直前の表示画像（２）に対応する音声データ（２）とともに、音声データ（１）に連続させて音声記憶手段１９に記憶され、後側の音声データ（３−後）は直後の表示画像（４）に対応する音声データ（４）とともに、音声データ（５）に連続させて音声記憶手段１９に記憶される。
すなわち、音声データ（３）は前後の音声データ（１）（２）と（４）（５）に振り分けて音声記憶手段１９に記憶される。

図１１には、本発明の他の一例に係るデータ登録システムの構成を示してある。
図１１に示すシステムは、利用者（プレゼンテーションを行う発表者等）が使用するパーソナルコンピュータ２１と、当該パーソナルコンピュータ２１に本発明に必要な機能を構成するプログラムを記憶しているとともに登録データを記憶する携帯可能な小型のデータ登録装置３１とにより構成される。

パーソナルコンピュータ２１は、公知の構成を有しており、利用者の操作に応じて、内部メモリに記憶した画像データに基づいて表示画面２２に資料画像を表示し、当該表示した資料画像を切り替えることができる。また、パーソナルコンピュータ２１は、マイクロホン２３を有しており、資料画像を見ながら発言した音声を取り込むことができる。

データ登録装置３１は、例えばＵＳＢメモリデバイス等と称せられる小型のメモリ装置で構成され、パーソナルコンピュータ２１の入出力端子（例えば、ＵＳＢ端子）から当該パーソナルコンピュータ２１に接続することができ、また、パーソナルコンピュータ２１から取り外して携帯することができる。
データ登録装置３１はメモリ３２を内蔵しており、メモリ３２には、画像データと音声データとを対応付けた登録データ３３を記憶する記憶領域が設けられ、また、パーソナルコンピュータ２１に本発明に係るデータ登録のための機能手段を構成するための登録プログラム３４が予め記憶されている。なお、本例のメモリ３２には、パーソナルコンピュータ２１にメモリ３２に記憶された登録データ３３を再生するための閲覧プログラム３５も予め記憶されている。

本例では、データ登録装置３１をパーソナルコンピュータ２１に接続し、パーソナルコンピュータ２１にプログラム読取指示を操作入力すると、データ登録装置３１に記憶された登録プログラム３４又は閲覧プログラム３５をパーソナルコンピュータ２１が読取り、パーソナルコンピュータ２１が登録プログラム３４又は閲覧プログラム３５を実行することで、パーソナルコンピュータ２１内にデータ登録のために必要な機能手段又はメモリ３２に記憶された登録データ３３を再生するために必要な機能手段が構成される。

すなわち、図１２に示すように、パーソナルコンピュータ２１に、登録プログラム３４を実行することによって、上記のデータ登録装置４が備える主要な機能手段１１〜１７が構成される。
具体的には、パーソナルコンピュータ２１に、表示画面２２へ出力される画像データを取り込む画像取り込み手段１１、画像データを一時的に記憶する画像一時記憶手段１２、マイクロホン２３により入力された音声データを取り込む音声取り込み手段１３、音声データを一時的に記憶する音声一時記憶手段１４、画像取り込み手段１１が取得した画像データを所定の周期でサンプリングする画像サンプリング手段１５、サンプリングされた前後の画像データを比較する画像比較手段１６、比較された前後の画像間で変化があるか否かを判定する画像確定手段１７が構成される。

一方、登録対象となる画像データを記憶する画像記憶手段１８、及び、画像記憶手段１８に記憶された各画像データとの対応関係をもってマイクロホン２３により入力された音声データを記憶する音声記憶手段１９は、メモリ３２の登録データ記憶領域により構成され、パーソナルコンピュータ２１によって上記のように登録対象とされた画像データと音声データとが対応付けてパーソナルコンピュータ２１からデータ登録装置３１に入力され、データ登録装置３１が当該画像データと音声データとを対応付けてメモリ３２の登録データ記憶領域３３に記憶する。

本発明の特徴は、画像が所定の時間以上表示されたかどうかを判定し、所定時間以上表示されたときにはその画像データを保存して登録し、画像が所定時間未満しか表示されないときにはその画像を保存しないこと、ただし、画像の表示期間に取得した音声データについては、途中を欠落させることなく記録するために、保存されない画像に対応する期間の音声データを保存される画像に対応する期間の音声に連結して記録する、ということであり、音声データの分割や連結については、上記の例に限定されずにさまざまな方法を採用することができる。

また、本発明では、取り込む画像データは画像の表示出力の元になったファイル等であってもよく、画像表示される途中の画像データを取り込むことだけを意図したものではない。具体的には、例えば、表示出力された画像の識別情報（ページ番号、表示時間等）に対応して画像データファイルから該当する画像データを取得するようにしてもよい。

また、本発明では、記憶する音声データは必ずしも入力された全部でなくともよく、例えば、無音期間を省いた音声データを記憶するようにしてもよい。
また、本発明では、入力された音声データに無音データや効果音データ等のデータを挿入して記憶するようにしてもよい。

また、本発明では、画像データや音声データは元のままで保存しておき、画像データと音声データとを対応付けたリスト（例えば、再生順を定めたプレイリスト）として登録記憶するようにしてもよい。

本発明の一実施例に係るプレゼンテーションデータ登録システムの構成を示す図である。 本発明の一実施例に係るデータ登録処理を説明する図である。 本発明の一実施例に係るデータ登録処理を説明する図である。 本発明の一実施例に係るデータ登録処理手順を説明する図である。 本発明の一実施例に係る登録データを説明する図である。 本発明の一実施例に係るデータ登録処理を説明する図である。 本発明の一実施例に係るデータ登録処理手順を説明する図である。 本発明の一実施例に係る登録データを説明する図である。 本発明の一実施例に係るデータ登録処理を説明する図である。 本発明の一実施例に係る登録データを説明する図である。 本発明の他の一実施例に係るプレゼンテーションデータ登録システムの構成を示す図である。 本発明の他の一実施例に係るプレゼンテーションデータ登録システムの構成を示す図である。

符号の説明

２：プロジェクタ、 ３：マイクロホン、
４：データ登録装置、 １１：画像取り込み手段、
１２：画像一時記憶手段、 １３：音声取り込み手段、
１４：音声一時記憶手段、 １５：画像サンプリング手段、
１６：画像比較手段、 １７：画像確定手段、
１８：画像記憶手段、 １９：音声記憶手段、
２１：パーソナルコンピュータ、 ２２：表示画面、
２３：マイクロホン、 ３１：データ登録装置、
３２：内蔵メモリ、 ３３：登録データ記憶領域、
３４：データ登録プログラム、

Claims (7)

1. 表示出力された画像を示す画像データを取り込む画像取込手段と、
   前記画像に対応した音声を示す音声データを取り込む音声取込手段と、
   画像データと音声データとを対応付けて記憶する記憶手段と、
   前記画像取込手段で取り込まれた画像データの示す画像の表示時間に基づいて、登録対象とする画像データを判定する判定手段と、
   前記判定手段で登録対象と判定された画像データと当該画像データが示す画像が表示された期間に前記音声取込手段で取り込まれた音声データとを対応付けて前記記憶手段に記憶すると共に、前記判定手段で登録非対象と判定された画像データは前記記憶手段に記憶する登録対象から除外して、当該登録非対象の画像データが示す画像の表示期間に前記音声取込手段で取り込まれた音声データを無音区間により分割して、これら音声データを当該画像の前後に表示された直近する登録対象の画像データに対応付けた音声データにそれぞれ連続させて前記記憶手段に記憶する登録処理を行う登録手段と、
   を備えたことを特徴とするデータ登録装置。
2. 前記判定手段は、前記画像データが示す画像の表示時間が所定時間以上表示出力されたか否かに基づいて、当該画像データを登録対象の画像データとするか否かを判定することを特徴とする請求項１に記載のデータ登録装置。
3. 前記判定手段は、前記画像取込手段で取り込まれた画像を周期的にサンプリングし、連続してサンプリングした前後の画像を比較して、これら画像が変化する間の時間を画像の表示時間として判定することを特徴とする請求項２に記載のデータ登録装置。
4. コンピュータに接続するための接続手段と、
   画像データと音声データとを対応付けて記憶する記憶手段と、
   前記コンピュータに、表示出力された画像を示す画像データを取り込む画像取込手段と、前記画像に対応した音声を示す音声データを取り込む音声取込手段と、前記画像取込手段で取り込まれた画像データの示す画像の表示時間に基づいて登録対象とする画像データを判定する判定手段と、前記判定手段で登録対象と判定された画像データと当該画像データが示す画像が表示された期間に前記音声取込手段で取り込まれた音声データとを対応付けて前記記憶手段に記憶すると共に、前記判定手段で登録非対象と判定された画像データは前記記憶手段に記憶する登録対象から除外して、当該登録非対象の画像データが示す画像の表示期間に前記音声取込手段で取り込まれた音声データを無音区間により分割して、これら音声データを当該画像の前後に表示された直近する登録対象の画像データに対応付けた音声データにそれぞれ連続させて前記記憶手段に記憶する登録処理を行う登録手段と、を構成する登録プログラムを当該コンピュータが読取り可能に記憶するプログラム記憶手段と、
   を備えたことを特徴とするデータ登録装置。
5. 画像を表示出力する画像表示装置と、
   音声を入力するマイクロホンと、
   画像データと音声データとを対応付けて登録するデータ登録装置と、を備え、
   前記データ登録装置は、
   前記画像表示装置により表示出力された画像が示す画像データを取り込む画像取込手段と、
   前記マイクロホンにより入力された音声データを取り込む音声取込手段と、
   画像データと音声データとを対応付けて記憶する記憶手段と、
   前記画像取込手段で取り込まれた画像データの示す画像の表示時間に基づいて、登録対象とする画像データを判定する判定手段と、
   前記判定手段で登録対象と判定された画像データと当該画像データが示す画像が表示された期間に前記音声取込手段で取り込まれた音声データとを対応付けて前記記憶手段に記憶すると共に、前記判定手段で登録非対象と判定された画像データは前記記憶手段に記憶する登録対象から除外して、当該登録非対象の画像データが示す画像の表示期間に前記音声取込手段で取り込まれた音声データを無音区間により分割して、これら音声データを当該画像の前後に表示された直近する登録対象の画像データに対応付けた音声データにそれぞれ連続させて前記記憶手段に記憶する登録処理を行う登録手段と、
   を備えたことを特徴とするデータ登録システム。
6. プレゼンテーションにおいて使用する資料画像を表示出力する画像表示装置と、
   前記プレゼンテーションにおいて発言された音声を入力するマイクロホンと、
   画像データと音声データとを対応付けて登録するデータ登録装置と、を備え、
   前記データ登録装置は、
   前記画像表示装置により表示出力された画像が示す画像データを取り込む画像取込手段と、
   前記マイクロホンにより入力された音声データを取り込む音声取込手段と、
   画像データと音声データとを対応付けて記憶する記憶手段と、
   前記画像取込手段で取り込まれた画像データの示す画像の表示時間に基づいて、登録対象とする画像データを判定する判定手段と、
   前記判定手段で登録対象と判定された画像データと当該画像データが示す画像が表示された期間に前記音声取込手段で取り込まれた音声データとを対応付けて前記記憶手段に記憶すると共に、前記判定手段で登録非対象と判定された画像データは前記記憶手段に記憶する登録対象から除外して、当該登録非対象の画像データが示す画像の表示期間に前記音声取込手段で取り込まれた音声データを無音区間により分割して、これら音声データを当該画像の前後に表示された直近する登録対象の画像データに対応付けた音声データにそれぞれ連続させて前記記憶手段に記憶する登録処理を行う登録手段と、
   を備えたことを特徴とするプレゼンテーションデータ登録システム。
7. コンピュータに、
   表示出力された画像を示す画像データを取り込む画像取込手段と、
   前記画像に対応した音声を示す音声データを取り込む音声取込手段と、
   画像データと音声データとを対応付けて記憶する記憶手段と、
   前記画像取込手段で取り込まれた画像データの示す画像の表示時間に基づいて、登録対象とする画像データを判定する判定手段と、
   前記判定手段で登録対象と判定された画像データと当該画像データが示す画像が表示された期間に前記音声取込手段で取り込まれた音声データとを対応付けて前記記憶手段に記憶すると共に、前記判定手段で登録非対象と判定された画像データは前記記憶手段に記憶する登録対象から除外して、当該登録非対象の画像データが示す画像の表示期間に前記音声取込手段で取り込まれた音声データを無音区間により分割して、これら音声データを当該画像の前後に表示された直近する登録対象の画像データに対応付けた音声データにそれぞれ連続させて前記記憶手段に記憶する登録処理を行う登録手段と、
   を構成することを特徴とするデータ登録プログラム。

Images