JP2013236244A - 記録再生装置 - Google Patents

Abstract

【課題】ユーザから入力された入力情報を時間情報によりＡＶデータと関連付けて記憶しておき、入力情報の選択によりそれに対応するＡＶデータを再生する記録再生装置において、ユーザが望む部分を、ユーザに手間をとらせずに素早く見つけさせることを可能にする。
【解決手段】記録再生装置１は、ユーザからの情報の入力を受け付ける情報入力部１３と、情報入力部１３で入力された情報である入力情報を、時間情報によりＡＶデータと関連付けて記憶する情報記憶部（記憶部１７）と、ＡＶデータを再生する再生部と、情報記憶部に記憶された入力情報の中から、１又は複数の入力情報を選択するユーザ操作を受け付ける選択受付部（指定部２２）とを備える。選択受付部での選択がなされた場合、上記の再生部は、選択された前記１又は複数の入力情報である選択入力情報に関連付けられたＡＶデータを、早送りで再生する。
【選択図】図１

Description

本発明は、記録再生装置に関し、より詳細には、会議等を記録したＡＶ（Audio Visual）データと関連付けて議論の内容を示す情報を記録すること、並びにそのＡＶデータを再生することが可能な記録再生装置に関する。

打合せ、商談などの会議では、議事録やメモとして議論の内容を示す情報を記録し、書面や電子ファイルの文書として保存されることがあり、併せて音声レコーダによる録音やビデオカメラによる撮影が行われることもある。なお、会議には、実際に全ての出席者が同席するものもあれば、電話会議やテレビ会議も含まれる。また、講演や集会などにおいても、会議と同様に上記文書の記録と録音や撮影がなされることがある。

そして、記録されたＡＶデータである録音データや撮影データは、議論の内容を再確認するために、また議論の内容を出席者以外に知らせるために、再生される。また、このＡＶデータは、上記文書に記録漏れがないようにするため、つまり上記文書をより議論の内容に沿ったように訂正するために、巻き戻しを繰り返すなどしながら再生されることもある。

特許文献１に記載の再生装置では、順次、文字図形情報及び音声／画像信号を入力し、記憶すると共に、この文字図形情報が入力された時刻をこの文字図形情報に対応付け、この対応を記憶する。そして、この再生装置では、その後記憶された文字図形情報を表示し、その一部を指定すると、これに対応する時刻により特定される音声／画像信号の一部を再生するようになっている。

ここで、文字図形情報としては、例えば図２４（Ｃ）に示すようなものが挙げられる。図２４は、文字図形情報の入力例を示す図である。図２４（Ｃ）に示す文字図形情報は、タブレットから「アア」、「イイ」、「ウウ」、「ＺＺ」、「ＢＢ」、「ＣＣ」といった複数の入力情報が入力されてタブレット上で表示されたものであり、それぞれが入力時刻に対応付けられて記憶されることになる。例えば、これらの入力情報は、最初に「アア」が書かれ、以降、「イイ」、「ウウ」、「ＺＺ」、「ＢＢ」、「ＣＣ」といった順番に入力される。

特開平６−３４３１４６号公報

しかしながら、特許文献１に記載の再生装置では、記憶された文字図形情報を表示部に表示し、その一部を再生位置として指定すると、これに対応する時刻により特定される音声／画像信号の一部を再生することとなるが、ユーザが望んだ部分を効率よく再生できない場合がある。これは、結果として例えば図２４（Ｃ）のような文字図形情報を入力した場合でも、上述した順序で入力情報が入力される場合に限らず、その入力順序は様々であり、また途中で消去されて上書きされた入力情報が存在することもあり、且つそのような場面ではユーザが知りたい部分がどの部分であるのかが分からないためである。

より具体的に説明すると、図２４（Ｃ）の文字図形情報を最終的に入力する場合としては、まず図２４（Ａ）の文字図形情報で示すようにタブレットから「アア」、「イイ」、「ウウ」、「ＡＡ」、「ＢＢ」、「ＣＣ」といった複数の入力情報が入力され、その後、図２４（Ｂ）の文字図形情報で示すように「ＡＡ」が削除され、その後、図２４（Ｃ）の文字図形情報で示すようにその削除された入力範囲に「ＺＺ」が入力される（書き込まれる）場合もある。

このように会議や講義のメモの結果である文字図形情報のうち、入力情報「ＺＺ」が入力情報「ＡＡ」を消して書き直したものであった場合には、特許文献１に記載の再生装置では、入力情報「ＺＺ」で再生位置を指定しても、ユーザが入力情報「ＺＺ」を書いた部分のみ（図２４（Ｃ））に対応するＡＶデータ（音声／画像信号）を再生して欲しいのか、入力情報「ＡＡ」を書いてその上で消して書き直したという経緯（図２４（Ａ）→図２４（Ｂ）→図２４（Ｃ））を示すＡＶデータを再生して欲しいのかが分からない。このため、入力情報「ＺＺ」を書いた部分だけ再生すると、ユーザが望んだ部分が再生されないということが起こり、入力情報「ＡＡ」を書いてその上で消して書き直した部分を再生すると、ユーザが望んだ部分が再生されるまで、かなりの時間を要するということが起こる。

また、ユーザが望んだ部分が再生されるようユーザが早送りや巻戻しを行う場合でも、送りすぎや戻しすぎが発生しユーザが望んだ部分へ到達するためにはかえって手間がかかってしまう場合がある。さらに、仮に、ペンで書いた部分の再生や消した部分の再生といった選択方法を採用した場合でも、ユーザは実際にどのような入力操作で文字図形情報を完成させたかを思い出せないため、また入力したユーザと再生するユーザとが異なる場合には未知の情報であるため、結局最初から再生しなければならなかった。

本発明は、上述のような実状に鑑みてなされたものであり、その目的は、ユーザから入力された入力情報を時間情報によりＡＶデータと関連付けて記憶しておき、入力情報の選択によりそれに対応するＡＶデータを再生する記録再生装置において、ユーザが望む部分を、ユーザに手間をとらせずに素早く見つけさせることを可能にすることにある。

上記課題を解決するために、本発明の第１の技術手段は、ユーザからの情報の入力を受け付ける情報入力部と、該情報入力部で入力された情報である入力情報を、時間情報によりＡＶデータと関連付けて記憶する情報記憶部と、前記ＡＶデータを再生する再生部とを備えた記録再生装置であって、前記情報記憶部に記憶された入力情報の中から、１又は複数の入力情報を選択するユーザ操作を受け付ける選択受付部を備え、前記選択受付部での選択がなされた場合、前記再生部は、選択された前記１又は複数の入力情報である選択入力情報に関連付けられたＡＶデータを、早送りで再生することを特徴としたものである。

本発明の第２の技術手段は、第１の技術手段において、前記選択受付部での選択がなされた場合、前記選択入力情報と同じＡＶデータに関連付けられ且つ前記選択入力情報の入力範囲の少なくとも一部で重なる入力範囲をもった他の入力情報を入力した時間帯と、前記選択入力情報を入力した時間帯とを含む時間帯を、ＡＶデータの再生時間帯として決定する再生時間帯決定部を備えたことを特徴としたものである。

本発明の第３の技術手段は、第１又は第２の技術手段において、前記情報記憶部は、前記情報入力部で入力された入力情報を、該入力情報が前記情報入力部により消去された場合でも、記憶しておくことを特徴としたものである。

本発明の第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記入力情報は、予め格納されたＡＶデータを再生しながら前記情報入力部で入力された情報であることを特徴としたものである。

本発明の第５の技術手段は、第１〜第３のいずれか１の技術手段において、前記入力情報は、ＡＶデータの記録と同時に入力された情報であることを特徴としたものである。

本発明によれば、ユーザから入力された入力情報を時間情報によりＡＶデータと関連付けて記憶しておき、入力情報の選択によりそれに対応するＡＶデータを再生する記録再生装置において、ユーザが望む部分を、ユーザに手間をとらせずに素早く見つけさせることができる。

本発明に係る記録再生装置の一構成例を示すブロック図である。 図１の記録再生装置における情報入力部の一例を示す図である。 図１の記録再生装置における記録処理の一例を説明するためのフロー図である。 図３に続くフロー図である。 図３及び図４におけるグルーピング処理を説明するための入力例を示す図である。 図３及び図４の記録処理における具体的な処理例を説明するための図で、文字図形情報、チャプタ設定、及び音声／画像信号の例を示す図である。 図３及び図４の記録処理における具体的な処理例を説明するための図で、入力文字図形情報−時刻対応表の一例を示す図である。 図３及び図４の記録処理における具体的な処理例を説明するための図で、チャプタ−時刻対応表の一例を示す図である。 図１の記録再生装置における再生処理の一例を説明するためのフロー図である。 図９に続くフロー図である。 図９における指定箇所を含む図形を説明するための例を示す図である。 図１の記録再生装置における再生位置指定処理の一例を説明するための図である。 図１２の再生位置指定処理に対応する再生範囲の他の例を説明するための図である。 図１２で指定された位置に関連する部分を早送りで再生する再生処理例（１）の一例を説明するための図である。 図１２で指定された位置に関連する部分を早送りで再生する再生処理例（２）の一例を説明するための図である。 図１２で指定された位置に関連する部分を早送りで再生する再生処理例（３）の一例を説明するための図である。 図１２で指定された位置に関連する部分を早送りで再生する再生処理例（４）の一例を説明するための図である。 図１の記録再生装置における再生処理の他の例を説明するためのフロー図である。 図１８に続くフロー図である。 図１９に続くフロー図である。 図１８〜図２０の再生処理において利用する再生速度テーブルの一例を示す図である。 図１２で指定された位置に関連する部分を早送りで再生する再生処理例（５）の一例を説明するための図である。 図１の記録再生装置における再生位置指定処理の他の例を説明するための図である。 文字図形情報の入力例を示す図である。

本発明に係る記録再生装置は、ユーザからの情報の入力を受け付ける情報入力部と、この情報入力部で入力された情報である入力情報を、時間情報によりＡＶデータと関連付けて（つまり時系列で関連付けて）記憶する情報記憶部と、そのＡＶデータを再生する再生部とを備える。以下、ＡＶデータが、画像及び音声の信号でなる撮影データであることを前提として説明するが、ＡＶデータは画像信号のみからなる撮影データであっても、音声信号のみからなるデータ（つまり音声データ）であってもよい。

また、上記情報入力部は、スタイラスペン等で押下された座標を入力する手書きタブレットであってもよいし、キーボードやマウスであってもよく、入力情報が入力可能なデバイスであればよい。入力情報は、文字及び／又は図形の情報であり、情報入力部の一例としての手書きタブレットから入力され、文字及び／又は図形として認識される情報であってもよいし、情報入力部の一例としてのキーボードやマウスから入力された文字及び／又は図形（記録再生装置に元々存在する文字や図形の中から入力された文字や図形）であってもよい。入力情報は、議事録やメモとして入力される情報であり、議論の内容やポイントなどを示す情報である。

また、入力情報は、ＡＶデータの記録（入力、つまり撮影又は録音）と同時に入力された情報であることを前提に説明するが、入力情報はＡＶデータと同期させて入力されるものであればよく、予め格納されたＡＶデータを再生しながら情報入力部で入力された情報であってもよい。

さらに、本発明に係る記録再生装置は、情報記憶部に記憶された入力情報の中から、１又は複数の入力情報を選択するユーザ操作を受け付ける選択受付部を備える。選択受付部は、選択のためのＵＩ（User Interface）画像を表示させる表示デバイスと、表示させたＵＩ画像を選択するための操作部とで構成できる。例えば、情報入力部と同一のデバイスでユーザに選択させるようにしてもよいし、情報入力部とは別に設けたデバイスでユーザに選択させるようにしてもよい。このように、本発明に係る記録再生装置は、入力情報が列記された情報（文字図形情報と呼ぶ）の表示をユーザ操作に基づき行うこと、並びに表示された文字図形情報から１又は複数の入力情報を選択することが可能となっている。

本発明に係る記録再生装置では、その主たる特徴として、選択受付部での選択がなされた場合（つまり、選択受付部で上記１又は複数の入力情報が選択された場合）、再生部は、選択入力情報に関連付けられたＡＶデータ、つまり選択入力情報に時間的に関連付けられたＡＶデータを、早送りで再生する。ここで、選択入力情報とは、選択受付部で選択された上記１又は複数の入力情報を指す。また、このＡＶデータの再生に時間的に合わせるようにして、入力情報の入力過程も表示させることが望ましい。但し、ＡＶデータの再生のみを行ってもよい。入力情報の入力過程については、選択のためのＵＩ画像とは別に表示してもよいし、そのＵＩ画像の表示領域に表示させてもよい。

本発明によれば、ユーザから入力された入力情報を時間情報によりＡＶデータと関連付けて記憶しておき、入力情報の選択によりそれに対応するＡＶデータを再生する記録再生装置において、ユーザが望む部分を、ユーザに手間をとらせずに素早く見つけさせることができる。

以下、図面を参照しながら、本発明に係る記録再生装置の一構成例について、並びに、会議中にその記録再生装置で入力情報が記録され、会議後にその記録再生装置で入力情報に対応したＡＶデータを再生する処理について、説明する。なお、会議後に、同様の機能をもつ他の記録再生装置に、入力情報及びＡＶデータをコピーしておくことで、他の記録再生装置でも同様のＡＶデータの再生が可能となる。

図１は、本発明に係る記録再生装置の一構成例を示すブロック図で、図２は、図１の記録再生装置における情報入力部の一例を示す図である。図２では、情報入力部の一例として手書き入力タブレットの例を挙げている。

図１で例示する記録再生装置１は、音声入力部１１、画像入力部１２、情報入力部１３、音声／画像信号記録部１４、グルーピング・認識部１５、時刻発生部１６、文字図形情報記憶部１７、表示制御部１８、表示部１９、音声／画像信号再生部２０、再生制御部２１、及び信号再生位置指定部２２を備える。

ここで、情報入力部１３は、本発明に係る情報入力部の一例であり、文字図形情報記憶部１７は、本発明に係る情報記憶部の一例であり、信号再生位置指定部２２は、本発明に係る選択受付部の一例である。また、本発明に係る再生部は、音声／画像信号再生部２０及び再生制御部２１などで構成され、再生されたＡＶデータは、画像については表示制御部１８からの制御により表示部１９で表示され、音声については図示しない音声制御部（アンプ等）を経てスピーカから出力されることになる。

記録再生装置１は、特許文献１に記載の記録再生装置に対して、文字図形情報記憶部１７でチャプタ毎の記憶を行う点、並びに音声／画像信号再生部２０が速度変換部２０ａを有し、選択入力情報に対応するＡＶデータの再生を速度変換して行う点で、特に異なっている。ここで、文字図形情報記憶部１７は、入力情報を時間情報と共にチャプタ分けしながら記憶するために、文字図形情報対時刻記憶部１７ａの他にチャプタ設定及びチャプタ対時刻記憶部１７ｂを有する。無論、上記のチャプタ分けは必須ではなく、選択入力情報とＡＶデータとが時間的に関連付けできればよい。

以下、記録再生装置１における各構成について説明するが、特許文献１に記載の装置と同様の構成については、手書きタブレットの例を除き、簡単に説明する。

音声入力部１１は、マイクロフォンでなり、会議中の音声を取得する。画像入力部１２は、ビデオカメラ又は静止画のカメラでなり、会議中の映像又は静止画像を撮影する。なお、通常、カメラにはマイクロフォンが付属しているが、ここでは付属したマイクロフォンは上記の音声入力部１１であるものとして説明する。

音声／画像信号記録部１４は、音声入力部１１及び／又は画像入力部１２から入力される信号を、後述の文字図形情報対時刻記憶部１７ａから入力された時間情報と共に記録する。つまり、音声入力部１１からの音声信号、画像入力部１２からの画像信号は、現在の時刻又は開始時点を０とした現在の時刻と共に記録されることになる。また、これらの音声信号や画像信号は、非圧縮（例えばパルス符号変調データのまま）でも圧縮でもどちらで記憶してもよい。なお、会議中に録音するか、音声を伴って撮影するか、音声を伴わずに撮影するかについては、ユーザ操作に基づき決定すればよい。

図２で例示する手書きタブレット（以下、タブレット）３０は、情報入力部１３の例であり、表示パネルとタッチパネルとで構成される。表示パネルの表示領域３１には、ペン等で押下しながら手書き入力するための手書き入力領域３２と、各種操作を行うためのボタン群が表示されたボタン表示領域３３とが表示されている。なお、タブレット３０において音声入力部１１や画像入力部１２を内蔵又は外付けするようにしておき、会議の様子を記録することが可能に構成してもよい。タブレット３０には、音声入力部１１や画像入力部１２も含めた図１の他の構成要素についても全て又は一部を内蔵することが好ましい。なお、情報入力部１３と他の構成要素とを別に設ける場合には、例えば、音声入力部１１及び画像入力部１２を除き、ネットワーク接続したサーバ装置に設けるなどすればよい。

タブレット３０は、ボタン群として、開くボタン３４ａ、保存ボタン３４ｂ、背景ボタン３４ｃ、データ取り込みボタン３４ｄ、第１印刷ボタン３４ｅ、第２印刷ボタン３４ｆ、削除ボタン３４ｇ、ペンソフト設定ボタン３４ｈ、第１ペン選択ボタン３５ａ、第２ペン選択ボタン３５ｂ、第３ペン選択ボタン３５ｃ、消しゴム選択ボタン３５ｄ、元に戻すボタン３６ａ、やり直しボタン３６ｂ、オブジェクト選択ボタン３７ａ、スクリーン位置調整ボタン３７ｂ、パンウィンドウ３８、最小化ボタン３９ａ、及び終了ボタン３９ｂが、ユーザ選択可能に表示されている。

開くボタン３４ａは、記録再生装置１の内部の記憶装置又はネットワーク接続された外部の記憶装置から所望のファイルを開くためのボタンである。手書き入力を以前に既に入力してファイル化した文字図形情報や、或いは会議の資料のファイルに上書きして行う場合には、この開くボタン３４ａによりそのファイルを読み出して手書き入力領域３２に表示させることもできる。保存ボタン３４ｂは、現在編集中の文字図形情報を含むファイルを保存する指示を行うためのボタンである。この保存ボタン３４ｂの押下により上書き保存するか、別ファイルで保存するかを選択するＵＩ画像を表示させて、そこで受け付けたユーザ操作に応じて保存を行えばよい。

背景ボタン３４ｃは、手書き入力領域３２に表示させる背景画像を複数の中から選択するためのＵＩ画像を表示させる指示を行うためのボタンである。この背景ボタン３４ｃの選択により表示されたＵＩ画像の中から背景画像をユーザに選択させて、背景画像を決定し、手書き入力領域３２に表示させることができる。データ取り込みボタン３４ｄは、現在編集中のファイルにおいて現在のカーソル位置に所望の画像データや表データ等のデータを取り込む指示を行うためのボタンである。このデータ取り込みボタン３４ｄで取り込んだデータは、取り込み位置（現在のカーソル位置）及びその大きさにより、ペンでの手書き入力と同様に入力座標を決めることができるため、情報入力部１３での入力情報として取り扱うことができる。

第１印刷ボタン３４ｅは、現在、手書き入力領域３２に表示中の画像を、ネットワーク接続された印刷装置で印刷するための指示を行うボタンであり、第２印刷ボタン３４ｆは、表示中でない一連のページ（或いはシート）も含めた全ての画像を、上記印刷装置で印刷するための指示を行うボタンである。削除ボタン３４ｇは、選択中のオブジェクトを削除する指示を行うためのボタンである。ペンソフト設定ボタン３４ｈは、ペン入力ソフトの設定、例えば次のボタン群３５ａ〜３５ｄとして表示したペンや消しゴムをどのような幅をもつものにするかなどの設定を行う設定ＵＩ画像の表示指示をするボタンである。

第１ペン選択ボタン３５ａは、幅及び色が指定された第１のペンを選択する指示を行うためのボタンである。第２ペン選択ボタン３５ｂは、第１のペンとは幅及び／又は色が異なる第２のペンを選択する指示を行うボタンである。第３ペン選択ボタン３５ｃは、第１のペンや第２のペンとは幅及び／又は色が異なる第３のペンを選択する指示を行うボタンである。消しゴム選択ボタン３５ｄは、消しゴムを選択する指示を行うボタンである。ユーザは、これらのボタン３５ａ〜３５ｄの中から所望のペン又は消しゴムを選択し、その後、手書き入力領域３２の所望の部分をペンでなぞることで、情報入力部１３が押下された座標の取得することで、文字や図形の入力又は消去が可能になる。

元に戻すボタン３６ａは、一つ前の操作に戻す（つまり一つ前の操作を取り消す）指示を行うボタンであり、やり直しボタン３６ｂは、取り消した操作をやり直す指示を行うボタンである。オブジェクト選択ボタン３７ａは、手書き入力領域３２に表示中の１又は複数のオブジェクトを選択する指示を行うボタンである。オブジェクトは、手書きでの入力情報の場合、グルーピング・認識部１５でのグルーピングによりオブジェクトの範囲を決定することができる。文字や図形を指定した入力情報の場合、それ自身の描画範囲にしてもよいが、同じくグルーピングされていればそのグルーピングの情報によりオブジェクトの範囲を決定すればよい。

スクリーン位置調整ボタン３７ｂは、表示位置等の調整を行う指示をするためのボタンである。このスクリーン位置調整ボタン３７ｂにより、手書き入力領域３２に表示された部分を、選択及び移動操作により移動させたり、拡大や縮小させたりすることができる。パンウィンドウ３８は、手書き入力領域３２に表示中のファイルのサムネイル画像を表示する領域である。最小化ボタン３９ａは、ペンソフトを最小化する指示を行うためのボタンであり、終了ボタン３９ｂは、ペンソフトを終了する指示を行うためのボタンである。最小化ボタン３９ａの選択により、例えばボタン群３５ａ〜３５ｄの表示が消えて、最大化ボタンに変更される。終了ボタン３９ｂにより、例えばボタン群３５ａ〜３５ｄの表示が消え、入力領域３２がペン入力ができないような領域となり、ユーザはファイルのやり取りや通常のキーボード（或いは表示させたソフトウェアキーボード）からの入力のみが可能となる。

このようなタブレット３０から入力された入力情報は、グルーピング・認識部１５に渡され、グルーピング等の処理がなされる。グルーピング・認識部１５は、ペン、キーボード、マウス等により入力された情報が画像情報であればそのままのイメージ情報ではなく、グルーピングしたり、オブジェクト化或いはコード化してから、文字図形情報記憶部１７に渡す。また、キーボードのキーやマウスによる直接選択により入力された文字や図形については、そのまま文字図形情報記憶部１７に渡すようにしてもよいが、この入力情報についてもグルーピングしたり、オブジェクト化或いはコード化してから、文字図形情報記憶部１７に渡すことが好ましい。

文字図形情報記憶部１７は、グルーピング・認識部１５から出力された入力情報を記憶する。また、再生時には、文字図形情報記憶部１７は、再生制御部２１からの指示に基づき、記憶したデータを表示制御部１８に送り（文字・図形情報は属性に合わせて送り）、チャプタや時間を再生制御部２１に返す。

時刻発生部１６は、現在の時刻を発生する。ここで発生した時刻は、文字図形情報記憶部１７におけるチャプタ設定及びチャプタ対時刻記憶部１７ｂに入力される。チャプタ設定及びチャプタ対時刻記憶部１７ｂでは、この時刻を元に、音声／画像や入力情報を記憶する時間が決定されて、音声／画像信号記録部１４へ渡されると共に、入力情報の入力された時間を示す時間情報が記憶される。時刻発生部１６がＡＶデータの開始時点を０として計時した現在の時刻を発生することを前提として以下の説明を行うが、実際の日付及び時刻（つまり絶対時刻）を発生するようにしてもよい。

文字図形情報対時刻記憶部１７ａでは、ペン・キーボード・マウス等から入力され、グルーピング・認識部１５を経た入力情報（入力・消去等の属性と座標の情報）と、時刻発生部１６からの時刻を元にした時間情報を対応させて記憶する。

チャプタ設定及びチャプタ対時刻記憶部１７ｂは、ペン・キーボード・マウス等から入力され、グルーピング・認識部１５を経た入力情報のそれぞれについて、最初と最後にチャプタを付け、時刻発生部１６からの時刻を元にした時間情報を対応させて記憶する。このように、チャプタ設定及びチャプタ対時刻記憶部１７ｂでは、文字図形情報における入力情報が入力された入力時間と関連付けて、グループの最初と最後のチャプタの時間が記憶される。

音声／画像信号再生部２０は、音声／画像信号記録部１４に記録された音声／画像信号を、再生制御部２１の指示に従って再生する。再生した画像信号は表示制御部１８に出力され、表示制御部１８の制御により表示部１９で表示され、再生した音声信号は図示しない音声制御部（アンプ等）を経由して図示しないスピーカから出力される。

音声／画像信号再生部２０は速度変換部２０ａを有する。速度変換部２０ａは、音声／画像信号記録部１４に記録された音声／画像信号を再生する際に再生制御部２１の指示に従い、再生する速度を変更する。速度変更方法は、音声であれば、間引き、クロック速度変更、無音カット、話速変換などが挙げられ、画像であれば、フレームの間引き（例えばキーフレームのみの再生や、さらに一部のキーフレームのみの再生など）などが挙げられる。なお、無音カットや話速変換についての例は後述する。

表示部１９は、記憶された文字図形情報を表示する。記録の際に用いた表示装置（上記の例ではタブレット３０の表示パネル）と兼用してもよいし、記録の際にはタブレット３０を用い、再生の際には別途用意した表示装置を利用してもよい。表示制御部１８は、音声／画像信号再生部２０からの画像信号を受けて、画像入力部１２で撮影した画像を読み出して表示部１９に表示させる制御を行う。また、表示制御部１８は、文字図形情報から入力情報を選択させるためのＵＩ画像を表示させる際にも用いられる。つまり、表示制御部１８は、文字図形情報記憶部１７からのデータを受けて、入力情報群でなる文字図形情報を表示部１９に表示させる制御を行う。

信号再生位置指定部２２は、選択受付部の一例であり、文字図形情報が入力された近辺の音声／画像を再現したい場合に、表示部１９に表示されたその文字図形情報を指定する。また、表示部１９では、画像信号が示す画像（つまり撮影した画像）を読み出して表示する際に、その画像に重ねて文字図形情報を表示させてもよい。また、信号再生位置指定部２２としては、タブレット３０又は表示部１９で選択用ＵＩ画像を表示させてもよく、無論、表示部１９を兼ねたタブレット３０で選択用ＵＩ画像を表示させてもよい。選択用ＵＩ画像には上記の文字図形情報が含まれていればよく、指定は入力情報のオブジェクトの１又は複数を選択することで行えばよい。

再生制御部２１は、信号再生位置指定部２２の指定に基づきその文字図形情報の座標と同一の座標を含むチャプタを文字図形情報記憶部１７から検索する。そして、再生制御部２１は、再生するチャプタを選定し、対応する時間情報を用いて音声／画像信号の再生と、文字図形情報対時刻記憶部１７ａからの文字図形の再生とについて、その再生速度を制御する。本発明では、この制御において早送り再生するようにしている。

また、記録再生装置１は、選択受付部での選択がなされた場合（この例では信号再生位置指定部２２での指定がなされた場合）、選択入力情報と同じＡＶデータに関連付けられ且つ選択入力情報の入力範囲の少なくとも一部で重なる入力範囲をもった他の入力情報を入力した時間帯と、選択入力情報を入力した時間帯とを含む時間帯を、ＡＶデータの再生時間帯（再生範囲）として決定する再生時間帯決定部を備えることが好ましい。この再生時間帯決定部は、選択入力情報を入力した時間帯に基づき、ＡＶデータの再生範囲を制限することになる。

上記の入力範囲とは、手書きタブレットやマウスで手書き入力された入力情報である場合には入力座標を囲う矩形範囲であり、キーボードのキー選択やマウスでの画像や文字の選択で入力された入力情報である場合には、その画像や文字が入力されている座標を囲う矩形範囲を指す。

そして、上記したＡＶデータの再生時間帯としては、他の入力情報と選択入力情報とで開始位置と終了位置とが規定される時間帯であることが好ましいが、或る程度前後に所定時間加えてもよい。なお、他の入力情報と選択入力情報とはどちらが早い時間に記録されたものかに依らず、早い方の開始時間を開始位置とし、遅い方の終了時間を、終了位置とを規定すればよい。

上記の再生時間帯決定部は、再生制御部２１に設けておけばよい。つまり、再生制御部２１が選択入力情報に基づきＡＶデータの再生時間帯を決定し、その再生時間帯のＡＶデータを早送りで再生する。

［記録処理例］
以下、図３〜図８を参照しながら、記録再生装置１における記録処理の一例を説明する。図３は、図１の記録再生装置における記録処理の一例を説明するためのフロー図、図４は、図３に続くフロー図である。また、図５は、図３及び図４におけるグルーピング処理を説明するための入力例を示す図である。図６〜図８は、図３及び図４の記録処理における具体的な処理例を説明するための図であり、図６は、文字図形情報、チャプタ設定、及び音声／画像信号の例を示す図、図７は、入力文字図形情報−時刻対応表の一例を示す図、図８は、チャプタ−時刻対応表の一例を示す図である。

図３を参照しながら説明すると、記録処理は、まず開始処理から実行される。開始処理では、まず文字図形情報記憶部１７、音声／画像信号記録部１４の時刻カウンタを０にし、音声のデータ構成（ｃｈ数、ｂｉｔ数、サンプリング周波数等）をセットし、チャプタを０にし、Ｇｒ（グループ）スタートフラグを０にする（ステップＳ１）。無論、ステップＳ１内の順序は問わない。Ｇｒスタートフラグとは、グルーピング中か否かを１か０で表すフラグである。

次に、文字図形情報記憶部１７で、文字図形情報対時刻記憶部１７ａが入力文字図形情報−時刻対応表（図７で例示）に時刻を記録し、チャプタ設定及びチャプタ対時刻記憶部１７ｂがチャプタ−時刻対応表（図８で例示）にチャプタ及び時刻を記録する（ステップＳ２）。次に、音声／画像信号記録部１４で音声／画像信号の記録を開始する（ステップＳ３）。なお、開始時点を０としてその相対時刻を刻むように説明しているが、上述したように絶対時刻であってもよい。

次に、文字図形情報があるか否かを判定し（ステップＳ４）、無ければ（ＮＯの場合）、後述の図４の処理に進み、あれば（ＹＥＳの場合）、ステップＳ５へ進む。文字図形情報が存在する場合としては、例えば図６（Ａ）に示すようにまず、「ア」といった入力情報が入力される場合（或いはされている途中である場合）が該当する。

ステップＳ５では、時刻を取得し、文字図形情報記憶部１７で文字図形（入力情報）を図６（Ａ）で例示するように記憶すると共に、入力文字図形情報−時刻対応表にそれらの対応関係を記録し、チャプタ−対時刻対応表にチャプタと時刻の対応関係を記録することで、文字図形開始を記録する。ステップＳ５では、さらに、Ｇｒスタートフラグを１にする。ステップＳ５は、文字図形の最初を検知した場合に実行される。例えばカタカナの「ア」の場合、図５（Ａ）の黒丸の部分で示すような２箇所の最初の書き出し部分を検知した場合に実行される。

ステップＳ５に続き、入力情報として、タッチ位置のＸ，Ｙの座標を取得し、文字図形情報記憶部１７で入力文字図形情報−時刻対応表に記録する（ステップＳ６）。続いて、文字図形情報があるか否かを判定し（ステップＳ７）、ある場合には、Ｘ，Ｙの座標を取得して、文字図形情報記憶部１７で文字図形（入力情報）を記憶すると共に、入力文字図形情報−時刻対応表にそれらの対応関係を記録する（ステップＳ８）。無かった場合（ステップＳ７でＮＯの場合）には、時刻を取得し、文字図形情報記憶部１７で入力文字図形情報−時刻対応表に終端及び時刻を記録し（ステップＳ９）、ステップＳ４に戻る。ステップＳ８は、文字図形の一筆書きとなっている部分を検知した場合に実行される。例えばカタカナの「ア」の一画目については、図５（Ｂ）で示す全ての部分を検知した場合に実行される。そして、一筆書きが終了するとステップＳ７でＮＯとなり、ステップＳ９の処理が施される。

一方で、ステップＳ４において文字図形情報がなかった場合（ＮＯの場合）、グルーピング内か否かを判定する（ステップＳ１０）。例えば、ユーザがカタカナの「ア」をペンにより入力しようとしているとき、図５（Ａ）で示すような２つの図形を描くことになるが、１文字であるので１文字としてグルーピングすることが好ましい。さらに、「アア」のような複数の文字でグルーピングすることもある。このようなグルーピングは、入力がない状態が何秒以内であれば同一グループとみなすなど、入力間隔の時間を所定値で閾値処理することで実行してもよく、文字認識で文節抽出等を実行してもよく、文字間のスペースなど入力位置間の距離を所定値で閾値処理することで実行してもよく、これらの３つの方法を適当に組み合わせてもよい。

ステップＳ１０でＹＥＳの場合、ステップＳ４に戻って同じグループ内の入力情報として（換言すれば、同じ入力情報の取り込みが未だ終わっていないとして）、ステップＳ１０でＮＯとなるまで、ステップＳ４〜Ｓ９の処理を実行する。

ステップＳ１０でＮＯの場合、別のグループの入力情報に移ったとして、Ｇｒスタートフラグが１であるか否かを判定し（ステップＳ１１）、ＹＥＳの場合にはチャプタ−時刻対応表に文字図形終了を記録してＧｒスタートフラグを０にする（ステップＳ１２）。このように、グルーピング完了時にチャプタ−時刻対応表に文字図形終了（入力情報終了）を示す記録を行う。例えば、「アア」のような文字で２回目の「ア」が入力完了した時点でチャプタ−時刻対応表に入力情報が終了した旨の記録を行う。ステップＳ１２の処理後、音声／画像信号の記録を終了する操作、又は入力情報の入力を終了する操作がなされたか否かを判定し（ステップＳ１３）、終了する操作がなされなかった場合（ＮＯの場合）にはステップＳ４に戻る。ステップＳ１１でＮＯの場合、つまり既にＧｒスタートフラグが０である場合には、そのままステップＳ１３へ進む。なお、このような終了する操作は、会議が終了したときになどに実行される。

ステップＳ１３でＹＥＳの場合、つまり記録を終了する操作がなされた場合、その時刻を取得し、文字図形情報記憶部１７で、入力文字図形情報−時刻対応表に入力情報が終了したことと時刻との対応関係を記録し、チャプタ−時刻対応表にチャプタと時刻の対応関係を記録する（ステップＳ１４）。その後、音声／画像信号記録部１４が音声／画像信号の記録を終了する（ステップＳ１５）。ステップＳ１４，Ｓ１５は、終了処理に該当し、これらの手順は問わない。

上述のような記録処理により、図６（Ａ）に示すように時系列で文字が入力されていった場合、図６（Ｂ）で示すようにグルーピング・認識部１５でグルーピングされた入力情報毎に、チャプタ設定及びチャプタ対時刻記憶部１７ｂで開始チャプタと終了チャプタとが１つずつ付与されて時間情報と共に記録される。さらに、その記録に併せて、図６（Ｃ）で示すように音声／画像信号記録部１４で音声／画像信号の記録が開始され（ステップＳ３）、継続される。このように、グルーピング・認識部１５でのグルーピングを元に、チャプタ設定及びチャプタ対時刻記憶部１７ｂでチャプタが設定される。なお、図６（Ｃ）では、説明のため、音声入力部１１からの音声信号のみを表している。

ここで、例えば、図６（Ａ）における「アア」の入力は、図６（Ｂ）に示すように、時刻ｔァ１ｗｓから開始され、時刻ｔァァ２ｗｅで終了しており、図６（Ｃ）で例示するようにこの開始−終了間も音声／画像信号の記録は継続されている。そして、図７で例示する入力文字図形情報−時刻対応表は、文字図形情報対時刻記憶部１７ａで作成され、記憶される。図７の例では、まず音声／画像の記録の開始を意味する「ｓｔａｒｔ」の属性をもつイベント（つまり記録開始イベント）の時刻が「ｔｓ」、「ペン入力」の属性についての開始時刻が「ｔァ１ｗｓ」、その時刻での座標が「Ｘァ１０，Ｙァ１０」であり、時刻ｔァ１ｗｓ＋Δｔでの座標が「Ｘァ１１，Ｙァ１１」、時刻ｔァ１ｗｓ＋ｎΔｔでの座標が「Ｘァ１ｎ，Ｙァ１ｎ」としてそれぞれ記録されており、その後に終端記号（ｔｅｒｍ）が付与されている。また、図７の例では、音声／画像の記録の終了を意味する「ｅｎｄ」の属性をもつイベント（つまり記録終了イベント）の時刻が「ｔｅ」として記録されている。

また、図８で例示するチャプタ−時刻対応表は、チャプタ設定及びチャプタ対時刻記憶部１７ｂで作成され、記憶される。図８の例では、各チャプタに対する時刻が記録されており、図７とは時刻で関連付けられている。

［再生処理例］
以下、図９〜図２３を参照しながら、記録再生装置１における再生処理の一例を説明する。図９は、図１の記録再生装置における再生処理の一例を説明するためのフロー図、図１０は、図９に続くフロー図である。図１１は、図９における指定箇所を含む図形を説明するための例を示す図である。また、図１２は、図１の記録再生装置における再生位置指定処理（ここでは図９及び図１０の再生処理における再生位置指定処理）の一例を説明するための図である。

図９を参照しながら説明すると、再生処理は、まず開始処理から実行される。まず、文字図形情報記憶部１７でチャプタ−時刻対応表の文字図形開始−終了間にある座標のＸｍｉｎ：Ｙｍｉｎ、Ｘｍａｘ：Ｙｍｉｎ、Ｘｍａｘ：Ｙｍａｘ、Ｘｍｉｎ：Ｙｍａｘの矩形を、入力文字図形情報−時刻対応表から全て算出する（ステップＳ２１）。ここで、Ｘｍｉｎ：Ｙｍｉｎ、Ｘｍａｘ：Ｙｍｉｎ、Ｘｍａｘ：Ｙｍａｘ、Ｘｍｉｎ：Ｙｍａｘとは、例えば、それぞれ図１１に示す点Ａ，Ｂ，Ｃ，Ｄを指している。

続いて、文字図形情報記憶部１７に記録された終了時の文字図形情報を読み出して、表示させる（ステップＳ２２）。例えば、図１２で例示するように、タブレット３０の入力領域３２に複数の入力情報でなる文字図形情報を表示させる。ここでの表示は、情報入力部１３での入力時のまま表示してもよいし、縮尺を変更して表示するなどしてもよい。

このとき、タブレット３０には、通常の再生操作を行うためのボタン群を有するボタン領域３３ａと、本発明に係る、関連部分の再生操作のためのボタン群を有するボタン領域３３ｂとを表示させることが好ましい。ボタン群３３ａとしては、音声／画像信号記録部１４に記録された音声／画像信号を通常の速度で再生する指示を行うための再生ボタン４１ａ、再生中の音声／画像を停止する指示を行うための停止ボタン４１ｂ、再生中の音声／画像を早戻し再生にする指示又は再生していない音声／画像を早戻しで再生する指示を行うための早戻しボタン４１ｃ、及び、再生中の音声／画像を早送り再生にする指示又は再生していない音声／画像を早送りで再生する指示を行うための早送りボタン４１ｄを備える。

ユーザは、例えば、ペンＰで入力情報「ＺＺ」のオブジェクトを選択した状態で、これらのボタン４１ａ，４１ｃ，４１ｄのいずれかを押下することで、或いは、音声／画像を再生中に各ボタン４１ｂ〜４１ｄのいずれかを押下することで、各ボタンに対応する処理を実行させることができる。

また、ボタン群３３ｂは、「関連部分を通して早送り再生」する指示を行うためのボタン４２、「関連部分のみを早送り再生」する指示を行うためのボタン４３、「無音部分カット」で再生する指示を行うためのボタン４４、「話速変換」して再生する指示を行うためのボタン４５、及び「一時通常再生」する指示を行うためのボタン４６を含んでいる。ボタン４４，４５，４６は、ボタン４２又はボタン４３が押下された状態であれば押下可能となっている。また、ボタン４２とボタン４３とは同時に押下できないようになっている。

ボタン４２，４３，４４，４５，４６は、それぞれ後述する再生処理例（１），（２），（３），（４），（５）に対応する処理を実行する指示を行うためのボタンである。ユーザは、例えば、ペンＰで入力情報「ＺＺ」のオブジェクトを選択した状態で、これらのボタン４２又はボタン４３を押下することで、各ボタンに対応する処理を実行させることができる。

ステップＳ２２に続いて、座標指定があるか否かを判定し（ステップＳ２３）、無ければステップＳ２３に戻り、座標指定があった段階で（ＹＥＳとなった段階で）、指定箇所の座標を取得する（ステップＳ２４）。ステップＳ２３，Ｓ２４は再生指示待ちの状態を指す。

次に、指定箇所の座標を含む矩形はあるか否かを判定し（ステップＳ２５）、無ければステップＳ２３に戻る。一方で、そのような矩形があれば（ステップＳ２５でＹＥＳの場合）、指定箇所の座標を含んでいる全ての文字図形の開始−終了を示すチャプタを求め、再生範囲を決定する（ステップＳ２６）。

続いて、再生範囲の開始時刻と終了時刻をチャプタ−時刻対応表から取得し、さらに入力文字図形情報−時刻対応表の開始位置を取得する（ステップＳ２７）。続いて、音声／画像信号再生部２０に再生開始時刻、終了時刻、再生速度を設定し、再生を指示する（ステップＳ２８）。ステップＳ２６〜Ｓ２８は、再生範囲設定と音声／画像の再生指示の処理に該当する。この具体例については、図１４等を参照しながら後述する。

ステップＳ２８に続き、図１０の処理に進む。まず、音声／画像信号再生部２０から再生時刻を取得し（ステップＳ２９）、取得した時刻は再生範囲の（最後の）終了時刻と同じ若しくは過ぎたか否かを判定する（ステップＳ３０）。ステップＳ３０でＹＥＳの場合には、再生停止を音声／画像信号再生部２０、文字図形情報記憶部１７へ指示し（ステップＳ３１）、処理を終了する。

ステップＳ３０でＮＯの場合には、取得した時刻は入力文字図形情報−時刻対応表の属性（ｓｔａｒｔ、ｔｅｒｍ、ｅｎｄを除く）の時刻と同じ若しくは過ぎたか否かを判定し（ステップＳ３２）、ＮＯの場合には、ステップＳ２９へ戻る。ステップＳ３２でＹＥＳの場合には、取得時刻と入力文字図形情報−時刻対応表に基づき文字入力を再生し（ステップＳ３３）、音声／画像信号再生部２０から再生時刻を取得する（ステップＳ３４）。次いで、取得した時刻は入力文字図形情報−時刻対応表の属性（ｔｅｒｍ）の時刻と同じ若しくは過ぎたか否かを判定し（ステップＳ３５）、ＹＥＳの場合にはステップＳ２９へ戻り、ＮＯの場合にはステップＳ３３に戻る。ステップＳ２９〜Ｓ３５の処理は、入力情報を音声／画像信号に同期させる処理に該当する。

次に、図１３〜図１７を併せて参照しながら、図９のステップＳ２６における再生処理例（１）〜（４）について説明する。図１３は、図１２の再生位置指定処理に対応する再生範囲の他の例を説明するための図である。また、図１４は、図１２で指定された位置に関連する部分を早送りで再生する再生処理例（１）の一例を説明するための図、図１５、図１６、図１７はそれぞれ、図１２で指定された位置に関連する部分を早送りで再生する再生処理例（２），（３），（４）の一例を説明するための図である。

ステップＳ２６では、例えば、図１２のようにペンＰで「ＺＺ」が指定された場合、再生範囲としては、その「ＺＺ」を含む矩形領域に対応する入力情報を探し、結果は図６（Ａ）の例では「ＡＡ」を入力した時点が検索され、結果的にそれに対応する音声／画像信号（例えば、チャプタ０７〜１６に対応する音声／画像信号）を再生することになる。この処理は、再生時間帯決定部の処理として説明した入力範囲の決定方法に沿ったものであり、全てが重なる入力範囲をもった他の入力情報を検索した例に相当する。

但し、図１２の例では、ペンＰで単に「ＺＺ」を選択しただけであっても、図１３の入力領域３２で例示するように、矩形領域５２だけではなく、その矩形領域５２に一部が重複した入力情報「〜」の矩形領域５３と、さらにその矩形領域５３に一部が重複した入力情報「イイ」の矩形領域５１と、を併せて考慮して、対応する音声／画像信号を再生するようにしてもよい。この処理も、再生時間帯決定部の処理として説明した入力範囲の決定方法に沿ったものであり、一部で重なる入力範囲をもった他の入力情報を検索した例に相当する。

以下の例では、簡略化のため、図６〜図８で例示したような記録がなされた場合に、再生処理時に全てが重なる入力範囲をもった他の入力情報を検索した例についてのみ説明する。

図１４（Ａ）は、図６（Ａ），（Ｃ）の一部分を抽出した図であり、再生処理例（１）では、指定箇所の座標を含んでいる全ての文字図形の開始−終了間を示すチャプタを全て小さい順に列挙し、一番小さいチャプタの１つ前〜一番大きいチャプタの１つ後ろのそれぞれのチャプタ間を再生範囲と決定し、それに対応する音声／画像信号を早送り再生する。なお、一番小さいチャプタ〜一番大きいチャプタであってもよい。

この例では、「ＺＺ」が記録されているチャプタ内のＸｍｉｎ：Ｙｍｉｎ、Ｘｍａｘ：Ｙｍｉｎ、Ｘｍａｘ：Ｙｍａｘ、Ｘｍｉｎ：Ｙｍａｘの矩形を算出し、入力−時刻対応表内の座標がその矩形範囲内にあるかを遡って検索すると、入力−時刻対応表で「ＡＡを消去」と「ＡＡを入力」に対応するチャプタ内にあることになる。チャプタ番号の小さい「ＡＡを入力」開始に対応するチャプタの前のチャプタから再生する。再生の終了は「ＺＺを入力」終了の１つ後のチャプタとなる。つまり、指定箇所の座標を含んでいる全ての文字図形の開始−終了を示すチャプタは０７−０８、１３−１４、１５−１６となり、再生範囲のチャプタは０６−１７となる。再生順をチャプタ番号で示すと、０６→０７→０８→０９→１０→１１→１２→１３→１４→１５→１６→１７となる。

そして、この再生範囲のチャプタの音声／画像信号は、図１４（Ｂ）に示すように、早送り再生され、個々の入力情報も短くなった時間で再生される。ここで、音声／画像は速度変換部２０ａで指定された再生速度になるよう変換して再生される。再生速度の簡単な変換方法はクロックを早くする、データを間引きする（ローパスフィルタを付けても付けなくてもよい）方法がある。なお、図１４（Ｂ）では説明上、音声信号のみを示しているが、画像信号も同様に早送りされるものとする（他の図でも同様）。

このように、再生処理例（１）では指定したイベントに関連する部分を早く再生することによりユーザが必要な部分の音声／画像を見つけることが容易になる。また、再生処理例（１）のような再生は、図６で例示したような消去を伴うような入力過程も記憶しておくことで実現可能となる。よって、上記した情報記憶部は、情報入力部１３で入力された入力情報を、その入力情報が情報入力部１３により消去された場合でも記憶しておくことが好ましい。なお、このような消去のイベントの記憶を行わない形態であっても、本発明の効果は、例えば、図１３を参照しながら説明したような場面で奏することになる。

再生処理例（１）では上述のような効果を奏するが、例えば「ＡＡを書く」のチャプタから「ＡＡを消す」のチャプタまでスキップすればユーザはより簡単に見つけることができる。

図１５を参照しながら、このような再生処理である再生処理例（２）について説明する。図１５（Ａ）は図１４（Ａ）と同様に、図６（Ａ），（Ｃ）の一部分を抽出した図であり、再生処理例（２）では、複数箇所の座標を含んでいる全ての文字図形の開始−終了を示すチャプタを求め、開始一つ前のチャプタ〜終了一つ後のチャプタを再生範囲と決定し、それに対応する音声／画像信号を早送り再生する。なお、開始チャプタ〜終了チャプタであってもよい。

この例では、「ＺＺ」が記録されているチャプタ内のＸｍｉｎ：Ｙｍｉｎ、Ｘｍａｘ：Ｙｍｉｎ、Ｘｍａｘ：Ｙｍａｘ、Ｘｍｉｎ：Ｙｍａｘの矩形を算出し、入力−時刻対応表内の座標がその矩形範囲内にあるかを遡って検索すると、入力−時刻対応表で「ＡＡを消去」と「ＡＡを入力」に対応するチャプタ内にあることになる。「ＡＡを入力」開始に対応するチャプタの前のチャプタから再生し、「ＡＡを入力」終了に対応するチャプタの１つ後のチャプタまで再生する。その後、「ＡＡを消去」開始に対応するチャプタの前のチャプタから再生し、「ＺＺを入力」終了に対応するチャプタの１つ後のチャプタまで再生する。

再生順をチャプタ番号で示すと、再生処理例（２）の場合、指定箇所の座標を含んでいる全ての文字図形の開始−終了を示すチャプタは０７−０８、１３−１４、１５−１６となり、再生するチャプタ番号としては、０６→０７→０８→０９→１２→１３→１４→１５→１６→１７となる。なお、開始一つ前のチャプタ〜終了一つ後のチャプタはそれぞれ０６−０９、１２−１５、１４−１７となり、１２−１５、１４−１７は重なっているので１２−１７とまとめると再生範囲は、０６−０９、１２−１７となる。

そして、この再生範囲のチャプタの音声／画像信号は、図１５（Ｂ）に示すように、早送り再生され、個々の入力情報も短くなった時間で再生される。このように、再生処理例（２）では、再生処理例（１）と異なり、関連部分のみを早送り再生する。早送り再生自体は、再生処理例（２）でも再生処理例（１）で説明したように、速度変換部２０ａで指定された再生速度になるよう、クロックを早くする、データを間引きするなどして変換して実行される。

図１６を参照しながら、再生処理例（３）について説明する。図１６（Ａ）は図１４（Ａ）と同様に、図６（Ａ），（Ｃ）の一部分を抽出した図であり、再生処理例（３）では、関連部分を通して無音をカットすることで、短くなった期間で再生する（これにより早送り再生となる）。

この例では、「ＺＺ」が記録されているチャプタ内のＸｍｉｎ：Ｙｍｉｎ、Ｘｍａｘ：Ｙｍｉｎ、Ｘｍａｘ：Ｙｍａｘ、Ｘｍｉｎ：Ｙｍａｘの矩形を算出し、入力−時刻対応表内の座標がその矩形範囲内にあるかを遡って検索すると、入力−時刻対応表で「ＡＡを消去」と「ＡＡを入力」に対応するチャプタ内にあることになる。チャプタ番号の小さい「ＡＡを入力」開始に対応するチャプタの前のチャプタから再生する。再生の終了は「ＺＺを入力」終了の１つ後のチャプタとなる。

そして、この再生範囲のチャプタの音声／画像信号は、図１６（Ｂ）に示すように、音声の無音部分をカットして早送り再生され、個々の入力情報も短くなった時間で再生される。このとき、映像及び個々の入力情報（手書き文字／図形）も音声に合わせてカットして再生される。音声の無音部分は、速度変換部２０ａなどで検出することができ、速度変換部２０ａがその無音部分をとばして再生（画像も合わせてとばして再生）する。このように、無音部分を削除（映像も削除）して速度を速めることで、ユーザは時間を有効に使用できる。

この再生処理例（３）では、再生処理例（１）を前提にしてさらにカットした例を挙げているが、再生処理例（２）を前提にさらにカットして再生するようにすることもできる。無論、再生処理例（３）は、音声入力部１１からの録音（音声レコーダのマイクロフォン、又はビデオカメラに付属のマイクロフォンなど）が前提となる。

図１７を参照しながら、再生処理例（４）について説明する。図１７（Ａ）は話速変換処理前の音声波形の一例を示しており、図１７（Ｂ）は図１７（Ａ）の音声波形に話速変換処理を施した後の音声波形の一例を示している。

話速変換処理は、図１７（Ａ）に示す音声波形において、ピッチｉとピッチｉｉのように、ピッチ（音声の繰返し周期の基本周波数）単位でデータを合成して削除し、図１７（Ｂ）で示す音声波形のようにする。図１７（Ｂ）の音声波形は、ピッチｉとピッチｉｉとを合成したピッチＩをもっている。話速変換処理により、音声の高さ（音程）が変わらずに早くするため、聞きやすくすることが可能になる。話速変換処理も、速度変換部２０ａで実行され、話速変換された音声に応じて映像及び手書き文字／図形も早く再生する。無論、再生処理例（４）も、音声入力部１１からの録音（音声レコーダのマイクロフォン、又はビデオカメラに付属のマイクロフォンなど）が前提となる。

また、再生処理例（４）は、再生処理例（１）又は再生処理例（２）と組み合わせることができる。また、再生処理例（４）は、基本的に再生処理例（１），（２），（３）と組み合わせること、すなわち、再生処理例（１）且つ（３）且つ（４）で処理することや、再生処理例（２）且つ（３）且つ（４）で処理することもできる。

次に、図１８〜図２３を参照しながら、他の再生処理例である再生処理例（５）について説明する。図１８は、図１の記録再生装置における再生処理の他の例を説明するためのフロー図で、図１９は、図１８に続くフロー図、図２０は、図１９に続くフロー図である。また、図２１は、図１８〜図２０の再生処理において利用する再生速度テーブルの一例を示す図である。そして、図２２は、図１２で指定された位置に関連する部分を早送りで再生する再生処理例（５）の一例を説明するための図である。また、図２３は、図１の記録再生装置における再生位置指定処理の他の例を説明するための図である。

図１８を参照しながら説明すると、再生処理例（５）も、再生処理例（１）等で説明した図９の開始処理と同様の開始処理から実行される。まず、文字図形情報記憶部１７でチャプタ−時刻対応表の文字図形開始−終了間にある座標のＸｍｉｎ：Ｙｍｉｎ、Ｘｍａｘ：Ｙｍｉｎ、Ｘｍａｘ：Ｙｍａｘ、Ｘｍｉｎ：Ｙｍａｘの矩形を入力文字図形情報−時刻対応表から全て算出する（ステップＳ４１）。続いて、文字図形情報記憶部１７で記録された終了時の文字図形情報を読み出して、表示させる（ステップＳ４２）。

次に、再生処理例（１）等における再生指示待ち処理と同様に、座標指定があるか否かを判定し（ステップＳ４３）、無ければステップＳ４３に戻り、座標指定があった段階で（ＹＥＳとなった段階で）、指定箇所の座標を取得する（ステップＳ４４）。

次に、指定箇所の座標を含む矩形はあるか否かを判定し（ステップＳ４５）、無ければステップＳ４３に戻る。一方で、そのような矩形があれば（ステップＳ４５でＹＥＳの場合）、指定箇所の座標を含んでいる全ての文字図形の開始−終了を示すチャプタを求め、再生範囲を決定する（ステップＳ４６）。次いで、再生範囲の開始時刻と終了時刻をチャプタ−時刻対応表から取得し、さらに入力文字図形情報−時刻対応表の開始位置を取得する（ステップＳ４７）。ステップＳ４７に続き、音声／画像信号再生部２０に、例えば、再生開始時刻＿０、終了時刻＿０、再生速度＿４（早送り）を設定し、再生を指示する（ステップＳ４８）。

次に、図１９へ進み、ゆっくり再生又は通常再生の指示があったか否かを判定する（ステップＳ４９）。ゆっくり又は通常再生の指示は、早送り再生中にユーザが再度、信号再生位置指定部２２の文字図形情報を指定操作することで発生する。信号再生位置指定部２２がペン入力用タブレットとして使用されている場合は、通常再生ボタンを設けてボタンを押されたら指示が発生するとしてもよい。

ステップＳ４９でＮＯの場合には、音声／画像信号再生部２０から再生時刻を取得し（ステップＳ５０）、取得した時刻が再生範囲の（最後の）終了時刻と同じ若しくは過ぎたか否かを判定する（ステップＳ５１）。ステップＳ５１でＹＥＳの場合、再生停止を音声／画像信号再生部２０、文字図形情報記憶部１７へ指示し（ステップＳ５２）、処理を終了する。

一方で、ステップＳ５１でＮＯの場合、取得した時刻が入力文字図形情報−時刻対応表の属性（ｓｔａｒｔ、ｔｅｒｍ、ｅｎｄを除く）の時刻と同じ若しくは過ぎたか否かを判定し（ステップＳ５３）、ＮＯの場合にはステップＳ４９に戻る。ステップＳ５３でＹＥＳの場合には、取得時刻と入力文字図形情報−時刻対応表に基づき文字入力を再生、つまり文字図形情報を入力順に沿って再生する（ステップＳ５４）。

次に、音声／画像信号再生部２０から再生時刻を取得し（ステップＳ５５）、取得した時刻が入力文字図形情報−時刻対応表の属性（ｔｅｒｍ）の時刻と同じ若しくは過ぎたか否かを判定し（ステップＳ５６）、ＹＥＳの場合にはステップＳ４９に戻り、ＮＯの場合にはステップＳ５４に戻って再生を継続する。ステップＳ５０〜Ｓ５６の処理は、入力情報を音声／画像信号に同期させる処理に該当する。

一方で、ステップＳ４９でＹＥＳの場合、つまりゆっくり又は通常再生の指示があった場合には、図２０へ進む。まず、再生中のチャプタの開始時刻を開始時刻＿１として取得し、音声／画像信号再生部２０に開始時刻＿１を設定し、ｓｐｄを０に設定する（ステップＳ５７）。ここで、ｓｐｄは再生速度を示すパラメータである。例えば、図２１で例示する再生速度テーブルのように、速度を設定するパラメータであるｓｐｄの値とそのパラメータに対応する速度設定値との対応関係を事前に決定しておけばよい。この再生速度テーブルの値を変えれば、速度設定を自由に変えることができる。無論、このような再生速度テーブルをもたずに、計算によって速度設定値を決定し、直接設定する方法もある。

ステップＳ５７に続いて、次のチャプタの開始時刻を終了時刻＿１として取得する（ステップＳ５８）。次に、再生速度テーブルを参照し、ｓｐｄで示される再生速度を音声／画像信号再生部２０に設定し、再生を指示する（ステップＳ５９）。その後、音声／画像信号再生部２０から再生時刻を取得し（ステップＳ６０）、取得した時刻が終了時刻＿１と同じ若しくは過ぎたか否かを判定し（ステップＳ６１）、ＹＥＳの場合、ｓｐｄ＝ｓｐｄ＋１とする（インクリメントする）。但し、再生速度テーブルに記載されているＭＡＸ以上の値となったら再生速度テーブルに記載されているＭＡＸの値とする。

ステップＳ６２に続いて、取得した時刻が終了時刻と同じ若しくは過ぎたか否かを判定し（ステップＳ６３）、ＹＥＳの場合、再生停止を音声／画像信号再生部２０、文字図形情報記憶部１７へ指示し（ステップＳ６４）、処理を終了する。

ステップＳ６１でＮＯの場合には、取得した時刻が力文字図形情報−時刻対応表の属性（ｓｔａｒｔ、ｔｅｒｍ、ｅｎｄを除く）の時刻と同じ若しくは過ぎたか否かを判定し（ステップＳ６５）、ＮＯの場合にはステップＳ６０に戻る。ステップＳ６５でＹＥＳの場合には、ステップＳ５４〜Ｓ５６と同様に、取得時刻と入力文字図形情報−時刻対応表に基づき文字入力を再生し（ステップＳ６６）、音声／画像信号再生部２０から再生時刻を取得して（ステップＳ６７）、取得した時刻が入力文字図形情報−時刻対応表の属性（ｔｅｒｍ）の時刻と同じ若しくは過ぎたか否かを判定する（ステップＳ６８）。ステップＳ６８でＹＥＳの場合にはステップＳ６０に戻り、ＮＯの場合にはステップＳ６６に戻って再生を継続する。

上述のような再生処理例（５）の具体例について、ステップＳ４６（図９のステップＳ２６に対応）において再生処理例（１）を実行する場合を例に挙げて説明する。つまり、この処理例でも再生処理例（１）と同様に、入力−時刻対応表内の座標が矩形範囲内にあるかを遡って検索した結果として、入力−時刻対応表で「ＡＡを消去」と「ＡＡを入力」に対応するチャプタ内にあり、チャプタ番号の小さい「ＡＡを入力」開始に対応するチャプタの前のチャプタから再生を開始して、「ＺＺを入力」終了の１つ後のチャプタで再生を終了する。

但し、再生処理例（５）では、このような再生ルールに則って再生中に、図１９のステップＳ４９でユーザが途中でゆっくり又は通常の再生を選んだときに、図２０のステップＳ５７〜ステップＳ６４（特にステップＳ６２）のように、選んだチャプタのみゆっくり又は等倍で再生し、そこから離れるにしたがって早く再生する。

図２２を参照しながら、再生処理例（５）の具体例について説明する。図２２（Ａ）は図１４（Ａ）と同様に、図６（Ａ），（Ｃ）の一部分を抽出した図であり、再生処理例（５）では、ユーザが「ＡＡを消す」に対応する音声／画像信号を視聴しているときに聞きたい部分を見つけ、通常再生するようなユーザ操作を受け付けた場合（つまり通常再生指示があれば）、図２２（Ｂ）で示すようにそのチャプタを等倍で再生し、離れたチャプタになるに従い早く再生する。ここで、等倍で再生した後は、徐々に早く再生し、最終的には通常再生指示前の速度に戻してもよいし、等倍で再生した後、直ぐに通常再生指示前の速度に戻してもよい。また、通常再生指示であることを前提にしたが、ゆっくり再生指示があった場合には、そのチャプタを１倍未満のスピードで再生するようにすればよい。

特に、ユーザが２箇所以上の音声／画像を検索する必要がある場合には、再生処理例（５）を適用することが好ましい。ユーザが早送り再生により必要な部分を見つけた場合、必要な部分を含んでいるチャプタを通常速度で再生し、そのチャプタから離れるに従い、早く再生することで、ユーザは次の箇所の音声／画像を簡単に見つけることができる。

また、再生処理例（５）は、再生処理例（１）と組み合わせることができるだけでなく、再生処理例（２），（３），（４）のいずれとも組み合わせることができる。つまり、再生処理例（５）は、基本的に再生処理例（１）又は（２）、再生処理例（３）、再生処理例（４）のうちの１又は複数を組み合わせた再生処理例と組み合わせることができる。

よって、図１２の説明で簡単に説明したが、図２３を参照しながら詳細に説明すると、再生時の表示装置（ここではタブレット３０を兼用している）において、ボタン４２，４３，４４，４５，４６を設けておき、再生処理例（１），（２），（３），（４），（５）に対応する処理を実行する指示が可能にしておけばよい。

ユーザは、例えば、図１２の表示状態から、ペンＰで入力情報「ＺＺ」のオブジェクトを選択した状態で、或いは、音声／画像を通常再生中に、これらのボタン４２又はボタン４３（併せてボタン４４，４５）を押下することで、各ボタンに対応する処理を実行させることができる。例えば、再生処理例（１）では、決定された再生範囲の音声／画像信号を早送り再生する。これにより、図２３の領域３２にこの画像信号が示す画像が早送りで表示されることになる。また、ボタン４２又はボタン４３による早送り再生中にボタン４６を押下することで、ボタン４６に対応する処理（通常再生して徐々に速さを戻す処理）を実行することができる。なお、ボタン４２又はボタン４３による早送り再生中に、再生ボタン４１ａが押下された場合には通常再生に完全に戻り、停止ボタン４１ｂが押下された場合には再生を停止すればよい。

以上、本発明に係る記録再生装置について様々な例を挙げて説明したが、この記録再生装置は、講演や集会などでも会議の場面と同様に使用できる。また、メモの記録者は、主催者側であっても、出席者側であってもよい。

また、本発明に係る記録再生装置の各構成要素は、例えばマイクロプロセッサ（又はＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。例えば、図１の記録再生装置１において表示させるＵＩ画像や、ＵＩ画像の表示制御機能、更にはグルーピング・認識部１５の機能、文字図形情報記憶部１７のハードウェアでなる記憶領域の部分以外の機能、音声／画像信号再生部２０や再生制御部２１の機能などは、ソフトウェアにより実現させることができる。また、上記ハードウェアの一部又は全部は集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部又は全部を集積回路／ＩＣチップセットとして搭載することも可能である。

また、上述した様々な構成例における機能を実現するためのソフトウェアのプログラムコードを記録した記録媒体を、記録再生装置となるタブレット、表示装置、ＰＣ、レコーダ等の装置に供給し、その装置内のマイクロプロセッサ又はＤＳＰによりプログラムコードが実行されることによっても、本発明の目的が達成される。この場合、ソフトウェアのプログラムコード自体が上述した様々な構成例の機能を実現することになり、このプログラムコード自体や、プログラムコードを記録した記録媒体（外部記録媒体や内部記憶装置）であっても、そのコードを制御側が読み出して実行することで、本発明を構成することができる。外部記録媒体としては、例えばＣＤ、ＤＶＤ、ＢＤなどの光ディスクやメモリカード等の不揮発性の半導体メモリなど、様々なものが挙げられる。内部記憶装置としては、ハードディスクや半導体メモリなど様々なものが挙げられる。また、プログラムコードはインターネットからダウンロードして実行することや、放送波から受信して実行することもできる。

１…記録再生装置、１１…音声入力部、１２…画像入力部、１３…情報入力部、１４…音声／画像信号記録部、１５…グルーピング・認識部、１６…時刻発生部、１７…文字図形情報記憶部、１７ａ…文字図形情報対時刻記憶部、１７ｂ…チャプタ対時刻記憶部、１８…表示制御部、１９…表示部、２０…画像信号再生部、２０ａ…速度変換部、２１…再生制御部、２２…信号再生位置指定部、３０…タブレット。

Claims (5)

1. ユーザからの情報の入力を受け付ける情報入力部と、該情報入力部で入力された情報である入力情報を、時間情報によりＡＶデータと関連付けて記憶する情報記憶部と、前記ＡＶデータを再生する再生部とを備えた記録再生装置であって、
   前記情報記憶部に記憶された入力情報の中から、１又は複数の入力情報を選択するユーザ操作を受け付ける選択受付部を備え、
   前記選択受付部での選択がなされた場合、前記再生部は、選択された前記１又は複数の入力情報である選択入力情報に関連付けられたＡＶデータを、早送りで再生することを特徴とする記録再生装置。
2. 前記選択受付部での選択がなされた場合、前記選択入力情報と同じＡＶデータに関連付けられ且つ前記選択入力情報の入力範囲の少なくとも一部で重なる入力範囲をもった他の入力情報を入力した時間帯と、前記選択入力情報を入力した時間帯とを含む時間帯を、ＡＶデータの再生時間帯として決定する再生時間帯決定部を備えたことを特徴とする請求項１に記載の記録再生装置。
3. 前記情報記憶部は、前記情報入力部で入力された入力情報を、該入力情報が前記情報入力部により消去された場合でも、記憶しておくことを特徴とする請求項１又は２に記載の記録再生装置。
4. 前記入力情報は、予め格納されたＡＶデータを再生しながら前記情報入力部で入力された情報であることを特徴とする請求項１〜３のいずれか１項に記載の記録再生装置。
5. 前記入力情報は、ＡＶデータの記録と同時に入力された情報であることを特徴とする請求項１〜３のいずれか１項に記載の記録再生装置。

Images