JP2013236244A - 記録再生装置 - Google Patents
記録再生装置 Download PDFInfo
- Publication number
- JP2013236244A JP2013236244A JP2012107336A JP2012107336A JP2013236244A JP 2013236244 A JP2013236244 A JP 2013236244A JP 2012107336 A JP2012107336 A JP 2012107336A JP 2012107336 A JP2012107336 A JP 2012107336A JP 2013236244 A JP2013236244 A JP 2013236244A
- Authority
- JP
- Japan
- Prior art keywords
- input
- information
- time
- unit
- reproduction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Abstract
【課題】ユーザから入力された入力情報を時間情報によりAVデータと関連付けて記憶しておき、入力情報の選択によりそれに対応するAVデータを再生する記録再生装置において、ユーザが望む部分を、ユーザに手間をとらせずに素早く見つけさせることを可能にする。
【解決手段】記録再生装置1は、ユーザからの情報の入力を受け付ける情報入力部13と、情報入力部13で入力された情報である入力情報を、時間情報によりAVデータと関連付けて記憶する情報記憶部(記憶部17)と、AVデータを再生する再生部と、情報記憶部に記憶された入力情報の中から、1又は複数の入力情報を選択するユーザ操作を受け付ける選択受付部(指定部22)とを備える。選択受付部での選択がなされた場合、上記の再生部は、選択された前記1又は複数の入力情報である選択入力情報に関連付けられたAVデータを、早送りで再生する。
【選択図】図1
【解決手段】記録再生装置1は、ユーザからの情報の入力を受け付ける情報入力部13と、情報入力部13で入力された情報である入力情報を、時間情報によりAVデータと関連付けて記憶する情報記憶部(記憶部17)と、AVデータを再生する再生部と、情報記憶部に記憶された入力情報の中から、1又は複数の入力情報を選択するユーザ操作を受け付ける選択受付部(指定部22)とを備える。選択受付部での選択がなされた場合、上記の再生部は、選択された前記1又は複数の入力情報である選択入力情報に関連付けられたAVデータを、早送りで再生する。
【選択図】図1
Description
本発明は、記録再生装置に関し、より詳細には、会議等を記録したAV(Audio Visual)データと関連付けて議論の内容を示す情報を記録すること、並びにそのAVデータを再生することが可能な記録再生装置に関する。
打合せ、商談などの会議では、議事録やメモとして議論の内容を示す情報を記録し、書面や電子ファイルの文書として保存されることがあり、併せて音声レコーダによる録音やビデオカメラによる撮影が行われることもある。なお、会議には、実際に全ての出席者が同席するものもあれば、電話会議やテレビ会議も含まれる。また、講演や集会などにおいても、会議と同様に上記文書の記録と録音や撮影がなされることがある。
そして、記録されたAVデータである録音データや撮影データは、議論の内容を再確認するために、また議論の内容を出席者以外に知らせるために、再生される。また、このAVデータは、上記文書に記録漏れがないようにするため、つまり上記文書をより議論の内容に沿ったように訂正するために、巻き戻しを繰り返すなどしながら再生されることもある。
特許文献1に記載の再生装置では、順次、文字図形情報及び音声/画像信号を入力し、記憶すると共に、この文字図形情報が入力された時刻をこの文字図形情報に対応付け、この対応を記憶する。そして、この再生装置では、その後記憶された文字図形情報を表示し、その一部を指定すると、これに対応する時刻により特定される音声/画像信号の一部を再生するようになっている。
ここで、文字図形情報としては、例えば図24(C)に示すようなものが挙げられる。図24は、文字図形情報の入力例を示す図である。図24(C)に示す文字図形情報は、タブレットから「アア」、「イイ」、「ウウ」、「ZZ」、「BB」、「CC」といった複数の入力情報が入力されてタブレット上で表示されたものであり、それぞれが入力時刻に対応付けられて記憶されることになる。例えば、これらの入力情報は、最初に「アア」が書かれ、以降、「イイ」、「ウウ」、「ZZ」、「BB」、「CC」といった順番に入力される。
しかしながら、特許文献1に記載の再生装置では、記憶された文字図形情報を表示部に表示し、その一部を再生位置として指定すると、これに対応する時刻により特定される音声/画像信号の一部を再生することとなるが、ユーザが望んだ部分を効率よく再生できない場合がある。これは、結果として例えば図24(C)のような文字図形情報を入力した場合でも、上述した順序で入力情報が入力される場合に限らず、その入力順序は様々であり、また途中で消去されて上書きされた入力情報が存在することもあり、且つそのような場面ではユーザが知りたい部分がどの部分であるのかが分からないためである。
より具体的に説明すると、図24(C)の文字図形情報を最終的に入力する場合としては、まず図24(A)の文字図形情報で示すようにタブレットから「アア」、「イイ」、「ウウ」、「AA」、「BB」、「CC」といった複数の入力情報が入力され、その後、図24(B)の文字図形情報で示すように「AA」が削除され、その後、図24(C)の文字図形情報で示すようにその削除された入力範囲に「ZZ」が入力される(書き込まれる)場合もある。
このように会議や講義のメモの結果である文字図形情報のうち、入力情報「ZZ」が入力情報「AA」を消して書き直したものであった場合には、特許文献1に記載の再生装置では、入力情報「ZZ」で再生位置を指定しても、ユーザが入力情報「ZZ」を書いた部分のみ(図24(C))に対応するAVデータ(音声/画像信号)を再生して欲しいのか、入力情報「AA」を書いてその上で消して書き直したという経緯(図24(A)→図24(B)→図24(C))を示すAVデータを再生して欲しいのかが分からない。このため、入力情報「ZZ」を書いた部分だけ再生すると、ユーザが望んだ部分が再生されないということが起こり、入力情報「AA」を書いてその上で消して書き直した部分を再生すると、ユーザが望んだ部分が再生されるまで、かなりの時間を要するということが起こる。
また、ユーザが望んだ部分が再生されるようユーザが早送りや巻戻しを行う場合でも、送りすぎや戻しすぎが発生しユーザが望んだ部分へ到達するためにはかえって手間がかかってしまう場合がある。さらに、仮に、ペンで書いた部分の再生や消した部分の再生といった選択方法を採用した場合でも、ユーザは実際にどのような入力操作で文字図形情報を完成させたかを思い出せないため、また入力したユーザと再生するユーザとが異なる場合には未知の情報であるため、結局最初から再生しなければならなかった。
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、ユーザから入力された入力情報を時間情報によりAVデータと関連付けて記憶しておき、入力情報の選択によりそれに対応するAVデータを再生する記録再生装置において、ユーザが望む部分を、ユーザに手間をとらせずに素早く見つけさせることを可能にすることにある。
上記課題を解決するために、本発明の第1の技術手段は、ユーザからの情報の入力を受け付ける情報入力部と、該情報入力部で入力された情報である入力情報を、時間情報によりAVデータと関連付けて記憶する情報記憶部と、前記AVデータを再生する再生部とを備えた記録再生装置であって、前記情報記憶部に記憶された入力情報の中から、1又は複数の入力情報を選択するユーザ操作を受け付ける選択受付部を備え、前記選択受付部での選択がなされた場合、前記再生部は、選択された前記1又は複数の入力情報である選択入力情報に関連付けられたAVデータを、早送りで再生することを特徴としたものである。
本発明の第2の技術手段は、第1の技術手段において、前記選択受付部での選択がなされた場合、前記選択入力情報と同じAVデータに関連付けられ且つ前記選択入力情報の入力範囲の少なくとも一部で重なる入力範囲をもった他の入力情報を入力した時間帯と、前記選択入力情報を入力した時間帯とを含む時間帯を、AVデータの再生時間帯として決定する再生時間帯決定部を備えたことを特徴としたものである。
本発明の第3の技術手段は、第1又は第2の技術手段において、前記情報記憶部は、前記情報入力部で入力された入力情報を、該入力情報が前記情報入力部により消去された場合でも、記憶しておくことを特徴としたものである。
本発明の第4の技術手段は、第1〜第3のいずれか1の技術手段において、前記入力情報は、予め格納されたAVデータを再生しながら前記情報入力部で入力された情報であることを特徴としたものである。
本発明の第5の技術手段は、第1〜第3のいずれか1の技術手段において、前記入力情報は、AVデータの記録と同時に入力された情報であることを特徴としたものである。
本発明によれば、ユーザから入力された入力情報を時間情報によりAVデータと関連付けて記憶しておき、入力情報の選択によりそれに対応するAVデータを再生する記録再生装置において、ユーザが望む部分を、ユーザに手間をとらせずに素早く見つけさせることができる。
本発明に係る記録再生装置は、ユーザからの情報の入力を受け付ける情報入力部と、この情報入力部で入力された情報である入力情報を、時間情報によりAVデータと関連付けて(つまり時系列で関連付けて)記憶する情報記憶部と、そのAVデータを再生する再生部とを備える。以下、AVデータが、画像及び音声の信号でなる撮影データであることを前提として説明するが、AVデータは画像信号のみからなる撮影データであっても、音声信号のみからなるデータ(つまり音声データ)であってもよい。
また、上記情報入力部は、スタイラスペン等で押下された座標を入力する手書きタブレットであってもよいし、キーボードやマウスであってもよく、入力情報が入力可能なデバイスであればよい。入力情報は、文字及び/又は図形の情報であり、情報入力部の一例としての手書きタブレットから入力され、文字及び/又は図形として認識される情報であってもよいし、情報入力部の一例としてのキーボードやマウスから入力された文字及び/又は図形(記録再生装置に元々存在する文字や図形の中から入力された文字や図形)であってもよい。入力情報は、議事録やメモとして入力される情報であり、議論の内容やポイントなどを示す情報である。
また、入力情報は、AVデータの記録(入力、つまり撮影又は録音)と同時に入力された情報であることを前提に説明するが、入力情報はAVデータと同期させて入力されるものであればよく、予め格納されたAVデータを再生しながら情報入力部で入力された情報であってもよい。
さらに、本発明に係る記録再生装置は、情報記憶部に記憶された入力情報の中から、1又は複数の入力情報を選択するユーザ操作を受け付ける選択受付部を備える。選択受付部は、選択のためのUI(User Interface)画像を表示させる表示デバイスと、表示させたUI画像を選択するための操作部とで構成できる。例えば、情報入力部と同一のデバイスでユーザに選択させるようにしてもよいし、情報入力部とは別に設けたデバイスでユーザに選択させるようにしてもよい。このように、本発明に係る記録再生装置は、入力情報が列記された情報(文字図形情報と呼ぶ)の表示をユーザ操作に基づき行うこと、並びに表示された文字図形情報から1又は複数の入力情報を選択することが可能となっている。
本発明に係る記録再生装置では、その主たる特徴として、選択受付部での選択がなされた場合(つまり、選択受付部で上記1又は複数の入力情報が選択された場合)、再生部は、選択入力情報に関連付けられたAVデータ、つまり選択入力情報に時間的に関連付けられたAVデータを、早送りで再生する。ここで、選択入力情報とは、選択受付部で選択された上記1又は複数の入力情報を指す。また、このAVデータの再生に時間的に合わせるようにして、入力情報の入力過程も表示させることが望ましい。但し、AVデータの再生のみを行ってもよい。入力情報の入力過程については、選択のためのUI画像とは別に表示してもよいし、そのUI画像の表示領域に表示させてもよい。
本発明によれば、ユーザから入力された入力情報を時間情報によりAVデータと関連付けて記憶しておき、入力情報の選択によりそれに対応するAVデータを再生する記録再生装置において、ユーザが望む部分を、ユーザに手間をとらせずに素早く見つけさせることができる。
以下、図面を参照しながら、本発明に係る記録再生装置の一構成例について、並びに、会議中にその記録再生装置で入力情報が記録され、会議後にその記録再生装置で入力情報に対応したAVデータを再生する処理について、説明する。なお、会議後に、同様の機能をもつ他の記録再生装置に、入力情報及びAVデータをコピーしておくことで、他の記録再生装置でも同様のAVデータの再生が可能となる。
図1は、本発明に係る記録再生装置の一構成例を示すブロック図で、図2は、図1の記録再生装置における情報入力部の一例を示す図である。図2では、情報入力部の一例として手書き入力タブレットの例を挙げている。
図1で例示する記録再生装置1は、音声入力部11、画像入力部12、情報入力部13、音声/画像信号記録部14、グルーピング・認識部15、時刻発生部16、文字図形情報記憶部17、表示制御部18、表示部19、音声/画像信号再生部20、再生制御部21、及び信号再生位置指定部22を備える。
ここで、情報入力部13は、本発明に係る情報入力部の一例であり、文字図形情報記憶部17は、本発明に係る情報記憶部の一例であり、信号再生位置指定部22は、本発明に係る選択受付部の一例である。また、本発明に係る再生部は、音声/画像信号再生部20及び再生制御部21などで構成され、再生されたAVデータは、画像については表示制御部18からの制御により表示部19で表示され、音声については図示しない音声制御部(アンプ等)を経てスピーカから出力されることになる。
記録再生装置1は、特許文献1に記載の記録再生装置に対して、文字図形情報記憶部17でチャプタ毎の記憶を行う点、並びに音声/画像信号再生部20が速度変換部20aを有し、選択入力情報に対応するAVデータの再生を速度変換して行う点で、特に異なっている。ここで、文字図形情報記憶部17は、入力情報を時間情報と共にチャプタ分けしながら記憶するために、文字図形情報対時刻記憶部17aの他にチャプタ設定及びチャプタ対時刻記憶部17bを有する。無論、上記のチャプタ分けは必須ではなく、選択入力情報とAVデータとが時間的に関連付けできればよい。
以下、記録再生装置1における各構成について説明するが、特許文献1に記載の装置と同様の構成については、手書きタブレットの例を除き、簡単に説明する。
音声入力部11は、マイクロフォンでなり、会議中の音声を取得する。画像入力部12は、ビデオカメラ又は静止画のカメラでなり、会議中の映像又は静止画像を撮影する。なお、通常、カメラにはマイクロフォンが付属しているが、ここでは付属したマイクロフォンは上記の音声入力部11であるものとして説明する。
音声/画像信号記録部14は、音声入力部11及び/又は画像入力部12から入力される信号を、後述の文字図形情報対時刻記憶部17aから入力された時間情報と共に記録する。つまり、音声入力部11からの音声信号、画像入力部12からの画像信号は、現在の時刻又は開始時点を0とした現在の時刻と共に記録されることになる。また、これらの音声信号や画像信号は、非圧縮(例えばパルス符号変調データのまま)でも圧縮でもどちらで記憶してもよい。なお、会議中に録音するか、音声を伴って撮影するか、音声を伴わずに撮影するかについては、ユーザ操作に基づき決定すればよい。
図2で例示する手書きタブレット(以下、タブレット)30は、情報入力部13の例であり、表示パネルとタッチパネルとで構成される。表示パネルの表示領域31には、ペン等で押下しながら手書き入力するための手書き入力領域32と、各種操作を行うためのボタン群が表示されたボタン表示領域33とが表示されている。なお、タブレット30において音声入力部11や画像入力部12を内蔵又は外付けするようにしておき、会議の様子を記録することが可能に構成してもよい。タブレット30には、音声入力部11や画像入力部12も含めた図1の他の構成要素についても全て又は一部を内蔵することが好ましい。なお、情報入力部13と他の構成要素とを別に設ける場合には、例えば、音声入力部11及び画像入力部12を除き、ネットワーク接続したサーバ装置に設けるなどすればよい。
タブレット30は、ボタン群として、開くボタン34a、保存ボタン34b、背景ボタン34c、データ取り込みボタン34d、第1印刷ボタン34e、第2印刷ボタン34f、削除ボタン34g、ペンソフト設定ボタン34h、第1ペン選択ボタン35a、第2ペン選択ボタン35b、第3ペン選択ボタン35c、消しゴム選択ボタン35d、元に戻すボタン36a、やり直しボタン36b、オブジェクト選択ボタン37a、スクリーン位置調整ボタン37b、パンウィンドウ38、最小化ボタン39a、及び終了ボタン39bが、ユーザ選択可能に表示されている。
開くボタン34aは、記録再生装置1の内部の記憶装置又はネットワーク接続された外部の記憶装置から所望のファイルを開くためのボタンである。手書き入力を以前に既に入力してファイル化した文字図形情報や、或いは会議の資料のファイルに上書きして行う場合には、この開くボタン34aによりそのファイルを読み出して手書き入力領域32に表示させることもできる。保存ボタン34bは、現在編集中の文字図形情報を含むファイルを保存する指示を行うためのボタンである。この保存ボタン34bの押下により上書き保存するか、別ファイルで保存するかを選択するUI画像を表示させて、そこで受け付けたユーザ操作に応じて保存を行えばよい。
背景ボタン34cは、手書き入力領域32に表示させる背景画像を複数の中から選択するためのUI画像を表示させる指示を行うためのボタンである。この背景ボタン34cの選択により表示されたUI画像の中から背景画像をユーザに選択させて、背景画像を決定し、手書き入力領域32に表示させることができる。データ取り込みボタン34dは、現在編集中のファイルにおいて現在のカーソル位置に所望の画像データや表データ等のデータを取り込む指示を行うためのボタンである。このデータ取り込みボタン34dで取り込んだデータは、取り込み位置(現在のカーソル位置)及びその大きさにより、ペンでの手書き入力と同様に入力座標を決めることができるため、情報入力部13での入力情報として取り扱うことができる。
第1印刷ボタン34eは、現在、手書き入力領域32に表示中の画像を、ネットワーク接続された印刷装置で印刷するための指示を行うボタンであり、第2印刷ボタン34fは、表示中でない一連のページ(或いはシート)も含めた全ての画像を、上記印刷装置で印刷するための指示を行うボタンである。削除ボタン34gは、選択中のオブジェクトを削除する指示を行うためのボタンである。ペンソフト設定ボタン34hは、ペン入力ソフトの設定、例えば次のボタン群35a〜35dとして表示したペンや消しゴムをどのような幅をもつものにするかなどの設定を行う設定UI画像の表示指示をするボタンである。
第1ペン選択ボタン35aは、幅及び色が指定された第1のペンを選択する指示を行うためのボタンである。第2ペン選択ボタン35bは、第1のペンとは幅及び/又は色が異なる第2のペンを選択する指示を行うボタンである。第3ペン選択ボタン35cは、第1のペンや第2のペンとは幅及び/又は色が異なる第3のペンを選択する指示を行うボタンである。消しゴム選択ボタン35dは、消しゴムを選択する指示を行うボタンである。ユーザは、これらのボタン35a〜35dの中から所望のペン又は消しゴムを選択し、その後、手書き入力領域32の所望の部分をペンでなぞることで、情報入力部13が押下された座標の取得することで、文字や図形の入力又は消去が可能になる。
元に戻すボタン36aは、一つ前の操作に戻す(つまり一つ前の操作を取り消す)指示を行うボタンであり、やり直しボタン36bは、取り消した操作をやり直す指示を行うボタンである。オブジェクト選択ボタン37aは、手書き入力領域32に表示中の1又は複数のオブジェクトを選択する指示を行うボタンである。オブジェクトは、手書きでの入力情報の場合、グルーピング・認識部15でのグルーピングによりオブジェクトの範囲を決定することができる。文字や図形を指定した入力情報の場合、それ自身の描画範囲にしてもよいが、同じくグルーピングされていればそのグルーピングの情報によりオブジェクトの範囲を決定すればよい。
スクリーン位置調整ボタン37bは、表示位置等の調整を行う指示をするためのボタンである。このスクリーン位置調整ボタン37bにより、手書き入力領域32に表示された部分を、選択及び移動操作により移動させたり、拡大や縮小させたりすることができる。パンウィンドウ38は、手書き入力領域32に表示中のファイルのサムネイル画像を表示する領域である。最小化ボタン39aは、ペンソフトを最小化する指示を行うためのボタンであり、終了ボタン39bは、ペンソフトを終了する指示を行うためのボタンである。最小化ボタン39aの選択により、例えばボタン群35a〜35dの表示が消えて、最大化ボタンに変更される。終了ボタン39bにより、例えばボタン群35a〜35dの表示が消え、入力領域32がペン入力ができないような領域となり、ユーザはファイルのやり取りや通常のキーボード(或いは表示させたソフトウェアキーボード)からの入力のみが可能となる。
このようなタブレット30から入力された入力情報は、グルーピング・認識部15に渡され、グルーピング等の処理がなされる。グルーピング・認識部15は、ペン、キーボード、マウス等により入力された情報が画像情報であればそのままのイメージ情報ではなく、グルーピングしたり、オブジェクト化或いはコード化してから、文字図形情報記憶部17に渡す。また、キーボードのキーやマウスによる直接選択により入力された文字や図形については、そのまま文字図形情報記憶部17に渡すようにしてもよいが、この入力情報についてもグルーピングしたり、オブジェクト化或いはコード化してから、文字図形情報記憶部17に渡すことが好ましい。
文字図形情報記憶部17は、グルーピング・認識部15から出力された入力情報を記憶する。また、再生時には、文字図形情報記憶部17は、再生制御部21からの指示に基づき、記憶したデータを表示制御部18に送り(文字・図形情報は属性に合わせて送り)、チャプタや時間を再生制御部21に返す。
時刻発生部16は、現在の時刻を発生する。ここで発生した時刻は、文字図形情報記憶部17におけるチャプタ設定及びチャプタ対時刻記憶部17bに入力される。チャプタ設定及びチャプタ対時刻記憶部17bでは、この時刻を元に、音声/画像や入力情報を記憶する時間が決定されて、音声/画像信号記録部14へ渡されると共に、入力情報の入力された時間を示す時間情報が記憶される。時刻発生部16がAVデータの開始時点を0として計時した現在の時刻を発生することを前提として以下の説明を行うが、実際の日付及び時刻(つまり絶対時刻)を発生するようにしてもよい。
文字図形情報対時刻記憶部17aでは、ペン・キーボード・マウス等から入力され、グルーピング・認識部15を経た入力情報(入力・消去等の属性と座標の情報)と、時刻発生部16からの時刻を元にした時間情報を対応させて記憶する。
チャプタ設定及びチャプタ対時刻記憶部17bは、ペン・キーボード・マウス等から入力され、グルーピング・認識部15を経た入力情報のそれぞれについて、最初と最後にチャプタを付け、時刻発生部16からの時刻を元にした時間情報を対応させて記憶する。このように、チャプタ設定及びチャプタ対時刻記憶部17bでは、文字図形情報における入力情報が入力された入力時間と関連付けて、グループの最初と最後のチャプタの時間が記憶される。
音声/画像信号再生部20は、音声/画像信号記録部14に記録された音声/画像信号を、再生制御部21の指示に従って再生する。再生した画像信号は表示制御部18に出力され、表示制御部18の制御により表示部19で表示され、再生した音声信号は図示しない音声制御部(アンプ等)を経由して図示しないスピーカから出力される。
音声/画像信号再生部20は速度変換部20aを有する。速度変換部20aは、音声/画像信号記録部14に記録された音声/画像信号を再生する際に再生制御部21の指示に従い、再生する速度を変更する。速度変更方法は、音声であれば、間引き、クロック速度変更、無音カット、話速変換などが挙げられ、画像であれば、フレームの間引き(例えばキーフレームのみの再生や、さらに一部のキーフレームのみの再生など)などが挙げられる。なお、無音カットや話速変換についての例は後述する。
表示部19は、記憶された文字図形情報を表示する。記録の際に用いた表示装置(上記の例ではタブレット30の表示パネル)と兼用してもよいし、記録の際にはタブレット30を用い、再生の際には別途用意した表示装置を利用してもよい。表示制御部18は、音声/画像信号再生部20からの画像信号を受けて、画像入力部12で撮影した画像を読み出して表示部19に表示させる制御を行う。また、表示制御部18は、文字図形情報から入力情報を選択させるためのUI画像を表示させる際にも用いられる。つまり、表示制御部18は、文字図形情報記憶部17からのデータを受けて、入力情報群でなる文字図形情報を表示部19に表示させる制御を行う。
信号再生位置指定部22は、選択受付部の一例であり、文字図形情報が入力された近辺の音声/画像を再現したい場合に、表示部19に表示されたその文字図形情報を指定する。また、表示部19では、画像信号が示す画像(つまり撮影した画像)を読み出して表示する際に、その画像に重ねて文字図形情報を表示させてもよい。また、信号再生位置指定部22としては、タブレット30又は表示部19で選択用UI画像を表示させてもよく、無論、表示部19を兼ねたタブレット30で選択用UI画像を表示させてもよい。選択用UI画像には上記の文字図形情報が含まれていればよく、指定は入力情報のオブジェクトの1又は複数を選択することで行えばよい。
再生制御部21は、信号再生位置指定部22の指定に基づきその文字図形情報の座標と同一の座標を含むチャプタを文字図形情報記憶部17から検索する。そして、再生制御部21は、再生するチャプタを選定し、対応する時間情報を用いて音声/画像信号の再生と、文字図形情報対時刻記憶部17aからの文字図形の再生とについて、その再生速度を制御する。本発明では、この制御において早送り再生するようにしている。
また、記録再生装置1は、選択受付部での選択がなされた場合(この例では信号再生位置指定部22での指定がなされた場合)、選択入力情報と同じAVデータに関連付けられ且つ選択入力情報の入力範囲の少なくとも一部で重なる入力範囲をもった他の入力情報を入力した時間帯と、選択入力情報を入力した時間帯とを含む時間帯を、AVデータの再生時間帯(再生範囲)として決定する再生時間帯決定部を備えることが好ましい。この再生時間帯決定部は、選択入力情報を入力した時間帯に基づき、AVデータの再生範囲を制限することになる。
上記の入力範囲とは、手書きタブレットやマウスで手書き入力された入力情報である場合には入力座標を囲う矩形範囲であり、キーボードのキー選択やマウスでの画像や文字の選択で入力された入力情報である場合には、その画像や文字が入力されている座標を囲う矩形範囲を指す。
そして、上記したAVデータの再生時間帯としては、他の入力情報と選択入力情報とで開始位置と終了位置とが規定される時間帯であることが好ましいが、或る程度前後に所定時間加えてもよい。なお、他の入力情報と選択入力情報とはどちらが早い時間に記録されたものかに依らず、早い方の開始時間を開始位置とし、遅い方の終了時間を、終了位置とを規定すればよい。
上記の再生時間帯決定部は、再生制御部21に設けておけばよい。つまり、再生制御部21が選択入力情報に基づきAVデータの再生時間帯を決定し、その再生時間帯のAVデータを早送りで再生する。
[記録処理例]
以下、図3〜図8を参照しながら、記録再生装置1における記録処理の一例を説明する。図3は、図1の記録再生装置における記録処理の一例を説明するためのフロー図、図4は、図3に続くフロー図である。また、図5は、図3及び図4におけるグルーピング処理を説明するための入力例を示す図である。図6〜図8は、図3及び図4の記録処理における具体的な処理例を説明するための図であり、図6は、文字図形情報、チャプタ設定、及び音声/画像信号の例を示す図、図7は、入力文字図形情報−時刻対応表の一例を示す図、図8は、チャプタ−時刻対応表の一例を示す図である。
以下、図3〜図8を参照しながら、記録再生装置1における記録処理の一例を説明する。図3は、図1の記録再生装置における記録処理の一例を説明するためのフロー図、図4は、図3に続くフロー図である。また、図5は、図3及び図4におけるグルーピング処理を説明するための入力例を示す図である。図6〜図8は、図3及び図4の記録処理における具体的な処理例を説明するための図であり、図6は、文字図形情報、チャプタ設定、及び音声/画像信号の例を示す図、図7は、入力文字図形情報−時刻対応表の一例を示す図、図8は、チャプタ−時刻対応表の一例を示す図である。
図3を参照しながら説明すると、記録処理は、まず開始処理から実行される。開始処理では、まず文字図形情報記憶部17、音声/画像信号記録部14の時刻カウンタを0にし、音声のデータ構成(ch数、bit数、サンプリング周波数等)をセットし、チャプタを0にし、Gr(グループ)スタートフラグを0にする(ステップS1)。無論、ステップS1内の順序は問わない。Grスタートフラグとは、グルーピング中か否かを1か0で表すフラグである。
次に、文字図形情報記憶部17で、文字図形情報対時刻記憶部17aが入力文字図形情報−時刻対応表(図7で例示)に時刻を記録し、チャプタ設定及びチャプタ対時刻記憶部17bがチャプタ−時刻対応表(図8で例示)にチャプタ及び時刻を記録する(ステップS2)。次に、音声/画像信号記録部14で音声/画像信号の記録を開始する(ステップS3)。なお、開始時点を0としてその相対時刻を刻むように説明しているが、上述したように絶対時刻であってもよい。
次に、文字図形情報があるか否かを判定し(ステップS4)、無ければ(NOの場合)、後述の図4の処理に進み、あれば(YESの場合)、ステップS5へ進む。文字図形情報が存在する場合としては、例えば図6(A)に示すようにまず、「ア」といった入力情報が入力される場合(或いはされている途中である場合)が該当する。
ステップS5では、時刻を取得し、文字図形情報記憶部17で文字図形(入力情報)を図6(A)で例示するように記憶すると共に、入力文字図形情報−時刻対応表にそれらの対応関係を記録し、チャプタ−対時刻対応表にチャプタと時刻の対応関係を記録することで、文字図形開始を記録する。ステップS5では、さらに、Grスタートフラグを1にする。ステップS5は、文字図形の最初を検知した場合に実行される。例えばカタカナの「ア」の場合、図5(A)の黒丸の部分で示すような2箇所の最初の書き出し部分を検知した場合に実行される。
ステップS5に続き、入力情報として、タッチ位置のX,Yの座標を取得し、文字図形情報記憶部17で入力文字図形情報−時刻対応表に記録する(ステップS6)。続いて、文字図形情報があるか否かを判定し(ステップS7)、ある場合には、X,Yの座標を取得して、文字図形情報記憶部17で文字図形(入力情報)を記憶すると共に、入力文字図形情報−時刻対応表にそれらの対応関係を記録する(ステップS8)。無かった場合(ステップS7でNOの場合)には、時刻を取得し、文字図形情報記憶部17で入力文字図形情報−時刻対応表に終端及び時刻を記録し(ステップS9)、ステップS4に戻る。ステップS8は、文字図形の一筆書きとなっている部分を検知した場合に実行される。例えばカタカナの「ア」の一画目については、図5(B)で示す全ての部分を検知した場合に実行される。そして、一筆書きが終了するとステップS7でNOとなり、ステップS9の処理が施される。
一方で、ステップS4において文字図形情報がなかった場合(NOの場合)、グルーピング内か否かを判定する(ステップS10)。例えば、ユーザがカタカナの「ア」をペンにより入力しようとしているとき、図5(A)で示すような2つの図形を描くことになるが、1文字であるので1文字としてグルーピングすることが好ましい。さらに、「アア」のような複数の文字でグルーピングすることもある。このようなグルーピングは、入力がない状態が何秒以内であれば同一グループとみなすなど、入力間隔の時間を所定値で閾値処理することで実行してもよく、文字認識で文節抽出等を実行してもよく、文字間のスペースなど入力位置間の距離を所定値で閾値処理することで実行してもよく、これらの3つの方法を適当に組み合わせてもよい。
ステップS10でYESの場合、ステップS4に戻って同じグループ内の入力情報として(換言すれば、同じ入力情報の取り込みが未だ終わっていないとして)、ステップS10でNOとなるまで、ステップS4〜S9の処理を実行する。
ステップS10でNOの場合、別のグループの入力情報に移ったとして、Grスタートフラグが1であるか否かを判定し(ステップS11)、YESの場合にはチャプタ−時刻対応表に文字図形終了を記録してGrスタートフラグを0にする(ステップS12)。このように、グルーピング完了時にチャプタ−時刻対応表に文字図形終了(入力情報終了)を示す記録を行う。例えば、「アア」のような文字で2回目の「ア」が入力完了した時点でチャプタ−時刻対応表に入力情報が終了した旨の記録を行う。ステップS12の処理後、音声/画像信号の記録を終了する操作、又は入力情報の入力を終了する操作がなされたか否かを判定し(ステップS13)、終了する操作がなされなかった場合(NOの場合)にはステップS4に戻る。ステップS11でNOの場合、つまり既にGrスタートフラグが0である場合には、そのままステップS13へ進む。なお、このような終了する操作は、会議が終了したときになどに実行される。
ステップS13でYESの場合、つまり記録を終了する操作がなされた場合、その時刻を取得し、文字図形情報記憶部17で、入力文字図形情報−時刻対応表に入力情報が終了したことと時刻との対応関係を記録し、チャプタ−時刻対応表にチャプタと時刻の対応関係を記録する(ステップS14)。その後、音声/画像信号記録部14が音声/画像信号の記録を終了する(ステップS15)。ステップS14,S15は、終了処理に該当し、これらの手順は問わない。
上述のような記録処理により、図6(A)に示すように時系列で文字が入力されていった場合、図6(B)で示すようにグルーピング・認識部15でグルーピングされた入力情報毎に、チャプタ設定及びチャプタ対時刻記憶部17bで開始チャプタと終了チャプタとが1つずつ付与されて時間情報と共に記録される。さらに、その記録に併せて、図6(C)で示すように音声/画像信号記録部14で音声/画像信号の記録が開始され(ステップS3)、継続される。このように、グルーピング・認識部15でのグルーピングを元に、チャプタ設定及びチャプタ対時刻記憶部17bでチャプタが設定される。なお、図6(C)では、説明のため、音声入力部11からの音声信号のみを表している。
ここで、例えば、図6(A)における「アア」の入力は、図6(B)に示すように、時刻tァ1wsから開始され、時刻tァァ2weで終了しており、図6(C)で例示するようにこの開始−終了間も音声/画像信号の記録は継続されている。そして、図7で例示する入力文字図形情報−時刻対応表は、文字図形情報対時刻記憶部17aで作成され、記憶される。図7の例では、まず音声/画像の記録の開始を意味する「start」の属性をもつイベント(つまり記録開始イベント)の時刻が「ts」、「ペン入力」の属性についての開始時刻が「tァ1ws」、その時刻での座標が「Xァ10,Yァ10」であり、時刻tァ1ws+Δtでの座標が「Xァ11,Yァ11」、時刻tァ1ws+nΔtでの座標が「Xァ1n,Yァ1n」としてそれぞれ記録されており、その後に終端記号(term)が付与されている。また、図7の例では、音声/画像の記録の終了を意味する「end」の属性をもつイベント(つまり記録終了イベント)の時刻が「te」として記録されている。
また、図8で例示するチャプタ−時刻対応表は、チャプタ設定及びチャプタ対時刻記憶部17bで作成され、記憶される。図8の例では、各チャプタに対する時刻が記録されており、図7とは時刻で関連付けられている。
[再生処理例]
以下、図9〜図23を参照しながら、記録再生装置1における再生処理の一例を説明する。図9は、図1の記録再生装置における再生処理の一例を説明するためのフロー図、図10は、図9に続くフロー図である。図11は、図9における指定箇所を含む図形を説明するための例を示す図である。また、図12は、図1の記録再生装置における再生位置指定処理(ここでは図9及び図10の再生処理における再生位置指定処理)の一例を説明するための図である。
以下、図9〜図23を参照しながら、記録再生装置1における再生処理の一例を説明する。図9は、図1の記録再生装置における再生処理の一例を説明するためのフロー図、図10は、図9に続くフロー図である。図11は、図9における指定箇所を含む図形を説明するための例を示す図である。また、図12は、図1の記録再生装置における再生位置指定処理(ここでは図9及び図10の再生処理における再生位置指定処理)の一例を説明するための図である。
図9を参照しながら説明すると、再生処理は、まず開始処理から実行される。まず、文字図形情報記憶部17でチャプタ−時刻対応表の文字図形開始−終了間にある座標のXmin:Ymin、Xmax:Ymin、Xmax:Ymax、Xmin:Ymaxの矩形を、入力文字図形情報−時刻対応表から全て算出する(ステップS21)。ここで、Xmin:Ymin、Xmax:Ymin、Xmax:Ymax、Xmin:Ymaxとは、例えば、それぞれ図11に示す点A,B,C,Dを指している。
続いて、文字図形情報記憶部17に記録された終了時の文字図形情報を読み出して、表示させる(ステップS22)。例えば、図12で例示するように、タブレット30の入力領域32に複数の入力情報でなる文字図形情報を表示させる。ここでの表示は、情報入力部13での入力時のまま表示してもよいし、縮尺を変更して表示するなどしてもよい。
このとき、タブレット30には、通常の再生操作を行うためのボタン群を有するボタン領域33aと、本発明に係る、関連部分の再生操作のためのボタン群を有するボタン領域33bとを表示させることが好ましい。ボタン群33aとしては、音声/画像信号記録部14に記録された音声/画像信号を通常の速度で再生する指示を行うための再生ボタン41a、再生中の音声/画像を停止する指示を行うための停止ボタン41b、再生中の音声/画像を早戻し再生にする指示又は再生していない音声/画像を早戻しで再生する指示を行うための早戻しボタン41c、及び、再生中の音声/画像を早送り再生にする指示又は再生していない音声/画像を早送りで再生する指示を行うための早送りボタン41dを備える。
ユーザは、例えば、ペンPで入力情報「ZZ」のオブジェクトを選択した状態で、これらのボタン41a,41c,41dのいずれかを押下することで、或いは、音声/画像を再生中に各ボタン41b〜41dのいずれかを押下することで、各ボタンに対応する処理を実行させることができる。
また、ボタン群33bは、「関連部分を通して早送り再生」する指示を行うためのボタン42、「関連部分のみを早送り再生」する指示を行うためのボタン43、「無音部分カット」で再生する指示を行うためのボタン44、「話速変換」して再生する指示を行うためのボタン45、及び「一時通常再生」する指示を行うためのボタン46を含んでいる。ボタン44,45,46は、ボタン42又はボタン43が押下された状態であれば押下可能となっている。また、ボタン42とボタン43とは同時に押下できないようになっている。
ボタン42,43,44,45,46は、それぞれ後述する再生処理例(1),(2),(3),(4),(5)に対応する処理を実行する指示を行うためのボタンである。ユーザは、例えば、ペンPで入力情報「ZZ」のオブジェクトを選択した状態で、これらのボタン42又はボタン43を押下することで、各ボタンに対応する処理を実行させることができる。
ステップS22に続いて、座標指定があるか否かを判定し(ステップS23)、無ければステップS23に戻り、座標指定があった段階で(YESとなった段階で)、指定箇所の座標を取得する(ステップS24)。ステップS23,S24は再生指示待ちの状態を指す。
次に、指定箇所の座標を含む矩形はあるか否かを判定し(ステップS25)、無ければステップS23に戻る。一方で、そのような矩形があれば(ステップS25でYESの場合)、指定箇所の座標を含んでいる全ての文字図形の開始−終了を示すチャプタを求め、再生範囲を決定する(ステップS26)。
続いて、再生範囲の開始時刻と終了時刻をチャプタ−時刻対応表から取得し、さらに入力文字図形情報−時刻対応表の開始位置を取得する(ステップS27)。続いて、音声/画像信号再生部20に再生開始時刻、終了時刻、再生速度を設定し、再生を指示する(ステップS28)。ステップS26〜S28は、再生範囲設定と音声/画像の再生指示の処理に該当する。この具体例については、図14等を参照しながら後述する。
ステップS28に続き、図10の処理に進む。まず、音声/画像信号再生部20から再生時刻を取得し(ステップS29)、取得した時刻は再生範囲の(最後の)終了時刻と同じ若しくは過ぎたか否かを判定する(ステップS30)。ステップS30でYESの場合には、再生停止を音声/画像信号再生部20、文字図形情報記憶部17へ指示し(ステップS31)、処理を終了する。
ステップS30でNOの場合には、取得した時刻は入力文字図形情報−時刻対応表の属性(start、term、endを除く)の時刻と同じ若しくは過ぎたか否かを判定し(ステップS32)、NOの場合には、ステップS29へ戻る。ステップS32でYESの場合には、取得時刻と入力文字図形情報−時刻対応表に基づき文字入力を再生し(ステップS33)、音声/画像信号再生部20から再生時刻を取得する(ステップS34)。次いで、取得した時刻は入力文字図形情報−時刻対応表の属性(term)の時刻と同じ若しくは過ぎたか否かを判定し(ステップS35)、YESの場合にはステップS29へ戻り、NOの場合にはステップS33に戻る。ステップS29〜S35の処理は、入力情報を音声/画像信号に同期させる処理に該当する。
次に、図13〜図17を併せて参照しながら、図9のステップS26における再生処理例(1)〜(4)について説明する。図13は、図12の再生位置指定処理に対応する再生範囲の他の例を説明するための図である。また、図14は、図12で指定された位置に関連する部分を早送りで再生する再生処理例(1)の一例を説明するための図、図15、図16、図17はそれぞれ、図12で指定された位置に関連する部分を早送りで再生する再生処理例(2),(3),(4)の一例を説明するための図である。
ステップS26では、例えば、図12のようにペンPで「ZZ」が指定された場合、再生範囲としては、その「ZZ」を含む矩形領域に対応する入力情報を探し、結果は図6(A)の例では「AA」を入力した時点が検索され、結果的にそれに対応する音声/画像信号(例えば、チャプタ07〜16に対応する音声/画像信号)を再生することになる。この処理は、再生時間帯決定部の処理として説明した入力範囲の決定方法に沿ったものであり、全てが重なる入力範囲をもった他の入力情報を検索した例に相当する。
但し、図12の例では、ペンPで単に「ZZ」を選択しただけであっても、図13の入力領域32で例示するように、矩形領域52だけではなく、その矩形領域52に一部が重複した入力情報「〜」の矩形領域53と、さらにその矩形領域53に一部が重複した入力情報「イイ」の矩形領域51と、を併せて考慮して、対応する音声/画像信号を再生するようにしてもよい。この処理も、再生時間帯決定部の処理として説明した入力範囲の決定方法に沿ったものであり、一部で重なる入力範囲をもった他の入力情報を検索した例に相当する。
以下の例では、簡略化のため、図6〜図8で例示したような記録がなされた場合に、再生処理時に全てが重なる入力範囲をもった他の入力情報を検索した例についてのみ説明する。
図14(A)は、図6(A),(C)の一部分を抽出した図であり、再生処理例(1)では、指定箇所の座標を含んでいる全ての文字図形の開始−終了間を示すチャプタを全て小さい順に列挙し、一番小さいチャプタの1つ前〜一番大きいチャプタの1つ後ろのそれぞれのチャプタ間を再生範囲と決定し、それに対応する音声/画像信号を早送り再生する。なお、一番小さいチャプタ〜一番大きいチャプタであってもよい。
この例では、「ZZ」が記録されているチャプタ内のXmin:Ymin、Xmax:Ymin、Xmax:Ymax、Xmin:Ymaxの矩形を算出し、入力−時刻対応表内の座標がその矩形範囲内にあるかを遡って検索すると、入力−時刻対応表で「AAを消去」と「AAを入力」に対応するチャプタ内にあることになる。チャプタ番号の小さい「AAを入力」開始に対応するチャプタの前のチャプタから再生する。再生の終了は「ZZを入力」終了の1つ後のチャプタとなる。つまり、指定箇所の座標を含んでいる全ての文字図形の開始−終了を示すチャプタは07−08、13−14、15−16となり、再生範囲のチャプタは06−17となる。再生順をチャプタ番号で示すと、06→07→08→09→10→11→12→13→14→15→16→17となる。
そして、この再生範囲のチャプタの音声/画像信号は、図14(B)に示すように、早送り再生され、個々の入力情報も短くなった時間で再生される。ここで、音声/画像は速度変換部20aで指定された再生速度になるよう変換して再生される。再生速度の簡単な変換方法はクロックを早くする、データを間引きする(ローパスフィルタを付けても付けなくてもよい)方法がある。なお、図14(B)では説明上、音声信号のみを示しているが、画像信号も同様に早送りされるものとする(他の図でも同様)。
このように、再生処理例(1)では指定したイベントに関連する部分を早く再生することによりユーザが必要な部分の音声/画像を見つけることが容易になる。また、再生処理例(1)のような再生は、図6で例示したような消去を伴うような入力過程も記憶しておくことで実現可能となる。よって、上記した情報記憶部は、情報入力部13で入力された入力情報を、その入力情報が情報入力部13により消去された場合でも記憶しておくことが好ましい。なお、このような消去のイベントの記憶を行わない形態であっても、本発明の効果は、例えば、図13を参照しながら説明したような場面で奏することになる。
再生処理例(1)では上述のような効果を奏するが、例えば「AAを書く」のチャプタから「AAを消す」のチャプタまでスキップすればユーザはより簡単に見つけることができる。
図15を参照しながら、このような再生処理である再生処理例(2)について説明する。図15(A)は図14(A)と同様に、図6(A),(C)の一部分を抽出した図であり、再生処理例(2)では、複数箇所の座標を含んでいる全ての文字図形の開始−終了を示すチャプタを求め、開始一つ前のチャプタ〜終了一つ後のチャプタを再生範囲と決定し、それに対応する音声/画像信号を早送り再生する。なお、開始チャプタ〜終了チャプタであってもよい。
この例では、「ZZ」が記録されているチャプタ内のXmin:Ymin、Xmax:Ymin、Xmax:Ymax、Xmin:Ymaxの矩形を算出し、入力−時刻対応表内の座標がその矩形範囲内にあるかを遡って検索すると、入力−時刻対応表で「AAを消去」と「AAを入力」に対応するチャプタ内にあることになる。「AAを入力」開始に対応するチャプタの前のチャプタから再生し、「AAを入力」終了に対応するチャプタの1つ後のチャプタまで再生する。その後、「AAを消去」開始に対応するチャプタの前のチャプタから再生し、「ZZを入力」終了に対応するチャプタの1つ後のチャプタまで再生する。
再生順をチャプタ番号で示すと、再生処理例(2)の場合、指定箇所の座標を含んでいる全ての文字図形の開始−終了を示すチャプタは07−08、13−14、15−16となり、再生するチャプタ番号としては、06→07→08→09→12→13→14→15→16→17となる。なお、開始一つ前のチャプタ〜終了一つ後のチャプタはそれぞれ06−09、12−15、14−17となり、12−15、14−17は重なっているので12−17とまとめると再生範囲は、06−09、12−17となる。
そして、この再生範囲のチャプタの音声/画像信号は、図15(B)に示すように、早送り再生され、個々の入力情報も短くなった時間で再生される。このように、再生処理例(2)では、再生処理例(1)と異なり、関連部分のみを早送り再生する。早送り再生自体は、再生処理例(2)でも再生処理例(1)で説明したように、速度変換部20aで指定された再生速度になるよう、クロックを早くする、データを間引きするなどして変換して実行される。
図16を参照しながら、再生処理例(3)について説明する。図16(A)は図14(A)と同様に、図6(A),(C)の一部分を抽出した図であり、再生処理例(3)では、関連部分を通して無音をカットすることで、短くなった期間で再生する(これにより早送り再生となる)。
この例では、「ZZ」が記録されているチャプタ内のXmin:Ymin、Xmax:Ymin、Xmax:Ymax、Xmin:Ymaxの矩形を算出し、入力−時刻対応表内の座標がその矩形範囲内にあるかを遡って検索すると、入力−時刻対応表で「AAを消去」と「AAを入力」に対応するチャプタ内にあることになる。チャプタ番号の小さい「AAを入力」開始に対応するチャプタの前のチャプタから再生する。再生の終了は「ZZを入力」終了の1つ後のチャプタとなる。
そして、この再生範囲のチャプタの音声/画像信号は、図16(B)に示すように、音声の無音部分をカットして早送り再生され、個々の入力情報も短くなった時間で再生される。このとき、映像及び個々の入力情報(手書き文字/図形)も音声に合わせてカットして再生される。音声の無音部分は、速度変換部20aなどで検出することができ、速度変換部20aがその無音部分をとばして再生(画像も合わせてとばして再生)する。このように、無音部分を削除(映像も削除)して速度を速めることで、ユーザは時間を有効に使用できる。
この再生処理例(3)では、再生処理例(1)を前提にしてさらにカットした例を挙げているが、再生処理例(2)を前提にさらにカットして再生するようにすることもできる。無論、再生処理例(3)は、音声入力部11からの録音(音声レコーダのマイクロフォン、又はビデオカメラに付属のマイクロフォンなど)が前提となる。
図17を参照しながら、再生処理例(4)について説明する。図17(A)は話速変換処理前の音声波形の一例を示しており、図17(B)は図17(A)の音声波形に話速変換処理を施した後の音声波形の一例を示している。
話速変換処理は、図17(A)に示す音声波形において、ピッチiとピッチiiのように、ピッチ(音声の繰返し周期の基本周波数)単位でデータを合成して削除し、図17(B)で示す音声波形のようにする。図17(B)の音声波形は、ピッチiとピッチiiとを合成したピッチIをもっている。話速変換処理により、音声の高さ(音程)が変わらずに早くするため、聞きやすくすることが可能になる。話速変換処理も、速度変換部20aで実行され、話速変換された音声に応じて映像及び手書き文字/図形も早く再生する。無論、再生処理例(4)も、音声入力部11からの録音(音声レコーダのマイクロフォン、又はビデオカメラに付属のマイクロフォンなど)が前提となる。
また、再生処理例(4)は、再生処理例(1)又は再生処理例(2)と組み合わせることができる。また、再生処理例(4)は、基本的に再生処理例(1),(2),(3)と組み合わせること、すなわち、再生処理例(1)且つ(3)且つ(4)で処理することや、再生処理例(2)且つ(3)且つ(4)で処理することもできる。
次に、図18〜図23を参照しながら、他の再生処理例である再生処理例(5)について説明する。図18は、図1の記録再生装置における再生処理の他の例を説明するためのフロー図で、図19は、図18に続くフロー図、図20は、図19に続くフロー図である。また、図21は、図18〜図20の再生処理において利用する再生速度テーブルの一例を示す図である。そして、図22は、図12で指定された位置に関連する部分を早送りで再生する再生処理例(5)の一例を説明するための図である。また、図23は、図1の記録再生装置における再生位置指定処理の他の例を説明するための図である。
図18を参照しながら説明すると、再生処理例(5)も、再生処理例(1)等で説明した図9の開始処理と同様の開始処理から実行される。まず、文字図形情報記憶部17でチャプタ−時刻対応表の文字図形開始−終了間にある座標のXmin:Ymin、Xmax:Ymin、Xmax:Ymax、Xmin:Ymaxの矩形を入力文字図形情報−時刻対応表から全て算出する(ステップS41)。続いて、文字図形情報記憶部17で記録された終了時の文字図形情報を読み出して、表示させる(ステップS42)。
次に、再生処理例(1)等における再生指示待ち処理と同様に、座標指定があるか否かを判定し(ステップS43)、無ければステップS43に戻り、座標指定があった段階で(YESとなった段階で)、指定箇所の座標を取得する(ステップS44)。
次に、指定箇所の座標を含む矩形はあるか否かを判定し(ステップS45)、無ければステップS43に戻る。一方で、そのような矩形があれば(ステップS45でYESの場合)、指定箇所の座標を含んでいる全ての文字図形の開始−終了を示すチャプタを求め、再生範囲を決定する(ステップS46)。次いで、再生範囲の開始時刻と終了時刻をチャプタ−時刻対応表から取得し、さらに入力文字図形情報−時刻対応表の開始位置を取得する(ステップS47)。ステップS47に続き、音声/画像信号再生部20に、例えば、再生開始時刻_0、終了時刻_0、再生速度_4(早送り)を設定し、再生を指示する(ステップS48)。
次に、図19へ進み、ゆっくり再生又は通常再生の指示があったか否かを判定する(ステップS49)。ゆっくり又は通常再生の指示は、早送り再生中にユーザが再度、信号再生位置指定部22の文字図形情報を指定操作することで発生する。信号再生位置指定部22がペン入力用タブレットとして使用されている場合は、通常再生ボタンを設けてボタンを押されたら指示が発生するとしてもよい。
ステップS49でNOの場合には、音声/画像信号再生部20から再生時刻を取得し(ステップS50)、取得した時刻が再生範囲の(最後の)終了時刻と同じ若しくは過ぎたか否かを判定する(ステップS51)。ステップS51でYESの場合、再生停止を音声/画像信号再生部20、文字図形情報記憶部17へ指示し(ステップS52)、処理を終了する。
一方で、ステップS51でNOの場合、取得した時刻が入力文字図形情報−時刻対応表の属性(start、term、endを除く)の時刻と同じ若しくは過ぎたか否かを判定し(ステップS53)、NOの場合にはステップS49に戻る。ステップS53でYESの場合には、取得時刻と入力文字図形情報−時刻対応表に基づき文字入力を再生、つまり文字図形情報を入力順に沿って再生する(ステップS54)。
次に、音声/画像信号再生部20から再生時刻を取得し(ステップS55)、取得した時刻が入力文字図形情報−時刻対応表の属性(term)の時刻と同じ若しくは過ぎたか否かを判定し(ステップS56)、YESの場合にはステップS49に戻り、NOの場合にはステップS54に戻って再生を継続する。ステップS50〜S56の処理は、入力情報を音声/画像信号に同期させる処理に該当する。
一方で、ステップS49でYESの場合、つまりゆっくり又は通常再生の指示があった場合には、図20へ進む。まず、再生中のチャプタの開始時刻を開始時刻_1として取得し、音声/画像信号再生部20に開始時刻_1を設定し、spdを0に設定する(ステップS57)。ここで、spdは再生速度を示すパラメータである。例えば、図21で例示する再生速度テーブルのように、速度を設定するパラメータであるspdの値とそのパラメータに対応する速度設定値との対応関係を事前に決定しておけばよい。この再生速度テーブルの値を変えれば、速度設定を自由に変えることができる。無論、このような再生速度テーブルをもたずに、計算によって速度設定値を決定し、直接設定する方法もある。
ステップS57に続いて、次のチャプタの開始時刻を終了時刻_1として取得する(ステップS58)。次に、再生速度テーブルを参照し、spdで示される再生速度を音声/画像信号再生部20に設定し、再生を指示する(ステップS59)。その後、音声/画像信号再生部20から再生時刻を取得し(ステップS60)、取得した時刻が終了時刻_1と同じ若しくは過ぎたか否かを判定し(ステップS61)、YESの場合、spd=spd+1とする(インクリメントする)。但し、再生速度テーブルに記載されているMAX以上の値となったら再生速度テーブルに記載されているMAXの値とする。
ステップS62に続いて、取得した時刻が終了時刻と同じ若しくは過ぎたか否かを判定し(ステップS63)、YESの場合、再生停止を音声/画像信号再生部20、文字図形情報記憶部17へ指示し(ステップS64)、処理を終了する。
ステップS61でNOの場合には、取得した時刻が力文字図形情報−時刻対応表の属性(start、term、endを除く)の時刻と同じ若しくは過ぎたか否かを判定し(ステップS65)、NOの場合にはステップS60に戻る。ステップS65でYESの場合には、ステップS54〜S56と同様に、取得時刻と入力文字図形情報−時刻対応表に基づき文字入力を再生し(ステップS66)、音声/画像信号再生部20から再生時刻を取得して(ステップS67)、取得した時刻が入力文字図形情報−時刻対応表の属性(term)の時刻と同じ若しくは過ぎたか否かを判定する(ステップS68)。ステップS68でYESの場合にはステップS60に戻り、NOの場合にはステップS66に戻って再生を継続する。
上述のような再生処理例(5)の具体例について、ステップS46(図9のステップS26に対応)において再生処理例(1)を実行する場合を例に挙げて説明する。つまり、この処理例でも再生処理例(1)と同様に、入力−時刻対応表内の座標が矩形範囲内にあるかを遡って検索した結果として、入力−時刻対応表で「AAを消去」と「AAを入力」に対応するチャプタ内にあり、チャプタ番号の小さい「AAを入力」開始に対応するチャプタの前のチャプタから再生を開始して、「ZZを入力」終了の1つ後のチャプタで再生を終了する。
但し、再生処理例(5)では、このような再生ルールに則って再生中に、図19のステップS49でユーザが途中でゆっくり又は通常の再生を選んだときに、図20のステップS57〜ステップS64(特にステップS62)のように、選んだチャプタのみゆっくり又は等倍で再生し、そこから離れるにしたがって早く再生する。
図22を参照しながら、再生処理例(5)の具体例について説明する。図22(A)は図14(A)と同様に、図6(A),(C)の一部分を抽出した図であり、再生処理例(5)では、ユーザが「AAを消す」に対応する音声/画像信号を視聴しているときに聞きたい部分を見つけ、通常再生するようなユーザ操作を受け付けた場合(つまり通常再生指示があれば)、図22(B)で示すようにそのチャプタを等倍で再生し、離れたチャプタになるに従い早く再生する。ここで、等倍で再生した後は、徐々に早く再生し、最終的には通常再生指示前の速度に戻してもよいし、等倍で再生した後、直ぐに通常再生指示前の速度に戻してもよい。また、通常再生指示であることを前提にしたが、ゆっくり再生指示があった場合には、そのチャプタを1倍未満のスピードで再生するようにすればよい。
特に、ユーザが2箇所以上の音声/画像を検索する必要がある場合には、再生処理例(5)を適用することが好ましい。ユーザが早送り再生により必要な部分を見つけた場合、必要な部分を含んでいるチャプタを通常速度で再生し、そのチャプタから離れるに従い、早く再生することで、ユーザは次の箇所の音声/画像を簡単に見つけることができる。
また、再生処理例(5)は、再生処理例(1)と組み合わせることができるだけでなく、再生処理例(2),(3),(4)のいずれとも組み合わせることができる。つまり、再生処理例(5)は、基本的に再生処理例(1)又は(2)、再生処理例(3)、再生処理例(4)のうちの1又は複数を組み合わせた再生処理例と組み合わせることができる。
よって、図12の説明で簡単に説明したが、図23を参照しながら詳細に説明すると、再生時の表示装置(ここではタブレット30を兼用している)において、ボタン42,43,44,45,46を設けておき、再生処理例(1),(2),(3),(4),(5)に対応する処理を実行する指示が可能にしておけばよい。
ユーザは、例えば、図12の表示状態から、ペンPで入力情報「ZZ」のオブジェクトを選択した状態で、或いは、音声/画像を通常再生中に、これらのボタン42又はボタン43(併せてボタン44,45)を押下することで、各ボタンに対応する処理を実行させることができる。例えば、再生処理例(1)では、決定された再生範囲の音声/画像信号を早送り再生する。これにより、図23の領域32にこの画像信号が示す画像が早送りで表示されることになる。また、ボタン42又はボタン43による早送り再生中にボタン46を押下することで、ボタン46に対応する処理(通常再生して徐々に速さを戻す処理)を実行することができる。なお、ボタン42又はボタン43による早送り再生中に、再生ボタン41aが押下された場合には通常再生に完全に戻り、停止ボタン41bが押下された場合には再生を停止すればよい。
以上、本発明に係る記録再生装置について様々な例を挙げて説明したが、この記録再生装置は、講演や集会などでも会議の場面と同様に使用できる。また、メモの記録者は、主催者側であっても、出席者側であってもよい。
また、本発明に係る記録再生装置の各構成要素は、例えばマイクロプロセッサ(又はDSP:Digital Signal Processor)、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。例えば、図1の記録再生装置1において表示させるUI画像や、UI画像の表示制御機能、更にはグルーピング・認識部15の機能、文字図形情報記憶部17のハードウェアでなる記憶領域の部分以外の機能、音声/画像信号再生部20や再生制御部21の機能などは、ソフトウェアにより実現させることができる。また、上記ハードウェアの一部又は全部は集積回路/IC(Integrated Circuit)チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部又は全部を集積回路/ICチップセットとして搭載することも可能である。
また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、記録再生装置となるタブレット、表示装置、PC、レコーダ等の装置に供給し、その装置内のマイクロプロセッサ又はDSPによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体(外部記録媒体や内部記憶装置)であっても、そのコードを制御側が読み出して実行することで、本発明を構成することができる。外部記録媒体としては、例えばCD、DVD、BDなどの光ディスクやメモリカード等の不揮発性の半導体メモリなど、様々なものが挙げられる。内部記憶装置としては、ハードディスクや半導体メモリなど様々なものが挙げられる。また、プログラムコードはインターネットからダウンロードして実行することや、放送波から受信して実行することもできる。
1…記録再生装置、11…音声入力部、12…画像入力部、13…情報入力部、14…音声/画像信号記録部、15…グルーピング・認識部、16…時刻発生部、17…文字図形情報記憶部、17a…文字図形情報対時刻記憶部、17b…チャプタ対時刻記憶部、18…表示制御部、19…表示部、20…画像信号再生部、20a…速度変換部、21…再生制御部、22…信号再生位置指定部、30…タブレット。
Claims (5)
- ユーザからの情報の入力を受け付ける情報入力部と、該情報入力部で入力された情報である入力情報を、時間情報によりAVデータと関連付けて記憶する情報記憶部と、前記AVデータを再生する再生部とを備えた記録再生装置であって、
前記情報記憶部に記憶された入力情報の中から、1又は複数の入力情報を選択するユーザ操作を受け付ける選択受付部を備え、
前記選択受付部での選択がなされた場合、前記再生部は、選択された前記1又は複数の入力情報である選択入力情報に関連付けられたAVデータを、早送りで再生することを特徴とする記録再生装置。 - 前記選択受付部での選択がなされた場合、前記選択入力情報と同じAVデータに関連付けられ且つ前記選択入力情報の入力範囲の少なくとも一部で重なる入力範囲をもった他の入力情報を入力した時間帯と、前記選択入力情報を入力した時間帯とを含む時間帯を、AVデータの再生時間帯として決定する再生時間帯決定部を備えたことを特徴とする請求項1に記載の記録再生装置。
- 前記情報記憶部は、前記情報入力部で入力された入力情報を、該入力情報が前記情報入力部により消去された場合でも、記憶しておくことを特徴とする請求項1又は2に記載の記録再生装置。
- 前記入力情報は、予め格納されたAVデータを再生しながら前記情報入力部で入力された情報であることを特徴とする請求項1〜3のいずれか1項に記載の記録再生装置。
- 前記入力情報は、AVデータの記録と同時に入力された情報であることを特徴とする請求項1〜3のいずれか1項に記載の記録再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012107336A JP2013236244A (ja) | 2012-05-09 | 2012-05-09 | 記録再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012107336A JP2013236244A (ja) | 2012-05-09 | 2012-05-09 | 記録再生装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013236244A true JP2013236244A (ja) | 2013-11-21 |
Family
ID=49762005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012107336A Pending JP2013236244A (ja) | 2012-05-09 | 2012-05-09 | 記録再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013236244A (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06343146A (ja) * | 1993-03-15 | 1994-12-13 | Toshiba Corp | 再生装置及び再生方法 |
JPH11136606A (ja) * | 1997-07-24 | 1999-05-21 | Fuji Xerox Co Ltd | 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置 |
-
2012
- 2012-05-09 JP JP2012107336A patent/JP2013236244A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06343146A (ja) * | 1993-03-15 | 1994-12-13 | Toshiba Corp | 再生装置及び再生方法 |
JPH11136606A (ja) * | 1997-07-24 | 1999-05-21 | Fuji Xerox Co Ltd | 時系列情報の特定区間決定装置、情報蓄積装置および情報蓄積再生装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3185505B2 (ja) | 会議録作成支援装置 | |
JP3526067B2 (ja) | 再生装置及び再生方法 | |
US20180295427A1 (en) | Systems and methods for creating composite videos | |
RU2018118194A (ru) | Способ записи, редактирования и воссоздания компьютерного сеанса | |
US20010035869A1 (en) | Image recording and replay apparatus | |
JP5524653B2 (ja) | 表示制御装置及びその制御方法 | |
JP2016119600A (ja) | 編集装置及び編集方法 | |
JPH11341350A (ja) | マルチメディア情報編集および再生装置、マルチメディア情報再生プログラムを記録した記録媒体ならびにシーケンス情報を記録した記録媒体 | |
US20170243611A1 (en) | Method and system for video editing | |
US20050135782A1 (en) | Information processing apparatus for editing data | |
US9449646B2 (en) | Methods and systems for media file management | |
EP2711853B1 (en) | Methods and systems for media file management | |
KR101523971B1 (ko) | 녹음 기능을 수행하는 단말기 및 그 단말기의 이미지 처리 방법 | |
JPH06205151A (ja) | 電子会議システム | |
JP4720544B2 (ja) | 画像処理装置および方法、プログラム記録媒体、並びにプログラム | |
KR100652763B1 (ko) | 이동 단말의 동영상 파일 편집 방법 및 장치 | |
JP2005167822A (ja) | 情報再生装置及び情報再生方法 | |
JP2005141284A (ja) | 記録、再生方法及び装置 | |
CN101325679B (zh) | 信息处理设备、信息处理方法 | |
JP2013236244A (ja) | 記録再生装置 | |
JP2010109478A (ja) | 情報処理装置、情報処理システム、およびプログラム | |
US11322184B1 (en) | System and method for synchronizing media files with audio track | |
TW200924527A (en) | Video recording and playing system and method for setting and playing video section | |
KR102101967B1 (ko) | 자막을 표시하는 자막 표시 장치 및 방법 | |
US20240233769A1 (en) | Multitrack effect visualization and interaction for text-based video editing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151104 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160322 |