JP4543261B2

JP4543261B2 - 再生装置

Info

Publication number: JP4543261B2
Application number: JP2005282220A
Authority: JP
Inventors: 弘太高橋; 康生政木
Original assignee: THE UNIVERSITY OF ELECTRO-COMUNICATINS; Funai Electric Co Ltd
Current assignee: THE UNIVERSITY OF ELECTRO-COMUNICATINS; Funai Electric Co Ltd
Priority date: 2005-09-28
Filing date: 2005-09-28
Publication date: 2010-09-15
Anticipated expiration: 2025-09-28
Also published as: US20070071413A1; US8744244B2; JP2007093925A

Description

本発明は、再生装置に関する。

従来、ＶＣＲ再生装置やＤＶＤ再生装置等では、表示部に表示される映像を見ながら、又は、再生時間のカウンタを見ながら早送り操作又は巻戻し操作等が行われている。このような早送り・巻戻し操作においては、ユーザは、当該操作の間ずっと、表示部に表示される映像またはカウンタを注視しなくてはならず、眼に負担をかけることになるという問題があった。そのため、ＤＶＤ等に記憶された映像データの中から各シーンの代表的な映像をサムネイル表示するものが知られている（例えば、特許文献１）。

しかし、上記映像データのサムネイル表示では早送り・巻戻し操作をシーン毎に行うことしかできず、ユーザが所望する音データ等を再生したい場合には対応できない。そこで、様々な音データを可視化して表示する装置が知られている。例えば、音声波形を表示するとともにサムネイル表示を行ったり（例えば、特許文献２）、会議等の音声データの時間変化を話者毎に区切った棒グラフを表示したり（例えば、特許文献３）、音データを解析して、音データの時間変化を周波数帯域毎に色分けした棒グラフで表示したり（例えば、特許文献４）、音データを解析し、時間軸，周波数軸，パワー軸からなる三次元グラフで表示したり（例えば、特許文献５）するものが知られている。

また、上述のグラフ表示以外の表示により音データを可視化表示する方法も知られている（例えば、特許文献６〜８）。例えば、音データを解析し、当該音データが人の声であるのか音楽であるのかを判定してアイコン表示するもの（例えば、特許文献６）、音声データを音声認識技術により文字表示を行うもの（例えば、特許文献７）等が知られている。また、音データを解析した解析値を一辺とする立体図形を時間軸上に表し、当該立体図形を変形させることにより、音データの編集を行えるようにしたものも知られている（例えば、特許文献８）。

その他、音の種類によらない普遍的な方法をあきらめ、例えば、音声などの特定の音源に絞った研究がある（非特許文献１）。また、音声を映像表示することで聴覚障害者に音声を認識させる試みも発表されている（非特許文献２）。
特開２００５−０３３７１４号公報特開平１０−１９１２４８号公報特開平０８−３１７３６５号公報特開平０９−０９０９３７号公報特開平０８−２９２７９１号公報特開平０８−１７９７９１号公報特開平１１−１０９９８８号公報特開２０００−３３０６００号公報「ＶｉｓｉｂｌｅＳｐｅｅｃｈ」（ＶａｎＮｏｓｔｒａｎｄ，ＮｅｗＹｏｒｋ，１９４７年）「聴覚障害者のための音声映像化」（日本音響学会誌５２巻１２号，Ｐ９７９，１９９６年）

ところで、ユーザが早送り操作又は巻戻し操作を行って所望する音データを再生する場合、ユーザは、音データを可視化した可視化表示中における、現在再生されている音デー
タの可視化表示の位置（現時点）を認識することにより、より容易に所望の音データの可視化表示の位置を認識することができる。

しかしながら、上記特許文献６〜８の発明では、音データの再生の進行に合わせて音データを可視化した可視化表示が随時変更されていくものではないので、可視化表示において、音データの再生の進行により現時点の位置が移っていくこととなって、現時点で再生されている音データが可視化された表示が可視化表示中のどの部分に当たるのかを、そのたび毎にユーザが読取らなければならず、結果として、現時点を起点とした過去や未来の音データの内容をユーザに一望させるには不十分なものであった。すなわち、従来の音データの可視化表示は絶対的な時間軸における表示であるため、現在再生されている音データと可視化された音データの関係が必ずしも明確になっていないので、音再生時においてユーザが所望する音データの内容を認識しにくく、音データの再生操作の支援が十分ではないという問題があった。

ここで、音データの再生操作の支援とは、例えば、早送り操作又は巻戻し操作においては、ユーザが当該操作中に音データの内容を刻一刻と監視することなしに、ワンタッチで操作できるように支援すること、早送り終了時点や巻戻し終了時点を予め予測できるようにして、早送りや巻戻しが行き過ぎることを防ぐように支援すること、また、新たな時点から音データを再生する操作においては、ドラマの結末など先に知っては困るような内容がユーザに晒されることなく、かつ、新たな再生時点を決定できる程度には内容を認識できるような情報をユーザに与えること等である。

また、非特許文献１及び非特許文献２の方法は、音データを音声データに限っており、音声，音楽，自然音等を含む音データを可視化することはできない。

本発明の課題は、連続性のある音データを画像データに可視化し、かつ当該画像データを現時点を起点とした時間軸に対して表示することにより、ユーザが音データの内容をより容易に認識できる再生装置を提供することにより、ユーザによる音データの再生操作を支援することである。

請求項１に記載の発明は、蓄積された音データ又は外部から逐次入力される音データに基づく音を再生して音出力部から出力する再生装置において、
音データを記憶する音データ記憶手段と、
前記音データ記憶手段に記憶された音データを、所定の分析条件に従って分析する分析手段と、
前記分析手段による分析結果を、分析結果に対応して予め設定された画像データに変換する画像化手段と、
前記画像化手段により画像化された画像データに基づく音画像を、現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図を生成する生成手段と、
音データに基づく音が前記音出力部から出力される際に、前記生成手段により生成された音画像配置図を表示部に表示させる表示制御手段と、を備え、
前記音画像配置図は、現時点において前記音出力部から出力される音に対応する音画像が認識可能であり、且つ、現時点を含む現時点から過去の時間帯、現時点を含む現時点から未来の時間帯、現時点を含む過去から未来の時間帯の３つの時間帯のうち、何れかの時間帯における音画像を含み、
前記生成手段は、
前記音データの再生速度に応じて、前記音画像配置図の前記時間軸の縮尺を変更することを特徴としている。

請求項２に記載の発明は、蓄積された音データ又は外部から逐次入力される音データに基づく音を再生して音出力部から出力する再生装置において、
音データを記憶する音データ記憶手段と、
前記音データ記憶手段に記憶された音データを、所定の分析条件に従って分析する分析手段と、
前記分析手段による分析結果を、分析結果に対応して予め設定された画像データに変換する画像化手段と、
前記画像化手段により画像化された画像データに基づく音画像を、現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図を生成する生成手段と、
音データに基づく音が前記音出力部から出力される際に、前記生成手段により生成された音画像配置図を表示部に表示させる表示制御手段と、を備え、
前記音画像配置図は、現時点において前記音出力部から出力される音に対応する音画像が認識可能であり、且つ、現時点を含む現時点から過去の時間帯、現時点を含む現時点から未来の時間帯、現時点を含む過去から未来の時間帯の３つの時間帯のうち、何れかの時間帯における音画像を含み、
前記生成手段は、前記時間軸の縮尺が異なる２以上の前記音画像配置図を生成し、
前記表示制御手段は、前記生成手段により生成された前記時間軸の縮尺が異なる２以上の前記音画像配置図を同時に表示部に表示させることを特徴としている。

請求項３に記載の発明は、蓄積された音データ又は外部から逐次入力される音データに基づく音を再生して音出力部から出力する再生装置において、
音データを記憶する音データ記憶手段と、
前記音データ記憶手段に記憶された音データを、所定の分析条件に従って分析する分析手段と、
前記分析手段による分析結果を、分析結果に対応して予め設定された画像データに変換する画像化手段と、
前記画像化手段により画像化された画像データに基づく音画像を、現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図を生成する生成手段と、
音データに基づく音が前記音出力部から出力される際に、前記生成手段により生成された音画像配置図を表示部に表示させる表示制御手段と、を備え、
前記音画像配置図は、現時点において前記音出力部から出力される音に対応する音画像が認識可能であり、且つ、現時点を含む現時点から過去の時間帯、現時点を含む現時点から未来の時間帯、現時点を含む過去から未来の時間帯の３つの時間帯のうち、何れかの時間帯における音画像を含み、
前記生成手段は、横軸が前記時間軸であって、縦軸方向に前記時間軸の縮尺が変化する前記音画像配置図を生成し、
前記表示制御手段は、前記生成手段により生成された前記縦軸方向に前記時間軸の縮尺が変化する前記音画像配置図を表示部に表示させることを特徴としている。

請求項４に記載の発明は、蓄積された音データ又は外部から逐次入力される音データに基づく音を再生して音出力部から出力する再生装置において、
音データを記憶する音データ記憶手段と、
前記音データ記憶手段に記憶された音データを、所定の分析条件に従って分析する分析手段と、
前記分析手段による分析結果を、分析結果に対応して予め設定された画像データに変換する画像化手段と、
前記画像化手段により画像化された画像データに基づく音画像を、現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図を生成する生成手段と、
音データに基づく音が前記音出力部から出力される際に、前記生成手段により生成された音画像配置図を表示部に表示させる表示制御手段と、を備え、
前記音画像配置図は、現時点において前記音出力部から出力される音に対応する音画像が認識可能であり、且つ、現時点を含む現時点から過去の時間帯、現時点を含む現時点から未来の時間帯、現時点を含む過去から未来の時間帯の３つの時間帯のうち、何れかの時間帯における音画像を含み、
前記生成手段は、前記時間軸の縮尺が、第１の時間帯から、この第１の時間帯よりも現時点から遠い第２の時間帯に向かうにつれて小さくなる音画像配置図を生成することを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の再生装置において、
前記音データと関連付けて映像データを記憶する映像データ記憶手段と、
前記生成手段により生成された音画像配置図と前記映像データ記憶手段に記憶された映像データに基づく映像とを合成した合成画像を生成する合成手段と、を備え、
前記表示制御手段は、
音データに基づく音が前記音出力部から出力される際に、前記合成手段により生成された合成画像を表示部に表示させることを特徴としている。

請求項６に記載の発明は、請求項５に記載の再生装置において、
前記映像データ記憶手段から、所定の時点における代表映像データを抽出する代表映像データ抽出手段を備え、
前記合成手段は、
前記生成手段により生成された音画像配置図と前記映像データ記憶手段に記憶された映像データに基づく映像と前記代表映像データ抽出手段により抽出された代表映像データに基づく画像とを、現時点を起点とした相対的な時間軸に対応付けて合成することを特徴とする。

請求項７に記載の発明は、請求項１〜６の何れか一項に記載の再生装置において、
前記生成手段は、前記音画像配置図に、現時点を示す指標を合成することを特徴とする。

請求項８に記載の発明は、請求項１〜７の何れか一項に記載の再生装置において、
ユーザに操作されることにより、操作信号を出力する操作部を備え、
前記生成手段は、
前記音画像配置図に、再生開始時点を示す目印を合成し、
前記操作部から出力される前記目印を選択する操作信号に基づいて、前記目印に示される再生開始時点から音データの再生を開始する再生制御手段を備えることを特徴としている。

請求項１に記載の発明によれば、分析手段により、音データ記憶手段に記憶された音データが所定の分析条件に従って分析され、画像化手段により、当該分析結果が、分析結果に対応して予め設定された画像データに変換され、生成手段により、画像化された画像データに基づく音画像が現時点を起点とした相対的な時間軸に対応付けられて配置された音画像配置図が生成され、音データに基づく音が音出力部から出力される際に、表示制御手段により、生成された音画像配置図が表示部に表示され、音画像配置図は、現時点において音出力部から出力される音に対応する音画像が認識可能であり、且つ、現時点を含む現時点から過去の時間帯、現時点を含む現時点から未来の時間帯、現時点を含む過去から未来の時間帯の３つの時間帯のうち、何れかの時間帯における音画像を含むので、現時点において音出力部から出力される音と可視化された音画像との対応付けが明確になることとなって、ユーザは、当該音画像配置図により連続性のある音データの内容をより容易に認識できる。
また、音画像配置図は、例えば、画像のサムネイル表示に比べて時間的な連続性があるため、瞬間的に全体の様子を把握することができるので、これにより、ユーザに直感的に情報を与えることができる。
また、生成手段により、音データの再生速度に応じて、音画像配置図の時間軸の縮尺が変更されるので、音画像配置図において音画像が時間軸に沿って移動する速度が音データの再生速度によらず一定となり、音データの再生速度に応じた適切な音画像配置図を表示部に表示させることができ、当該音画像配置図からユーザは更に容易に音データの内容を認識できる。

請求項２に記載の発明によれば、分析手段により、音データ記憶手段に記憶された音データが所定の分析条件に従って分析され、画像化手段により、当該分析結果が、分析結果に対応して予め設定された画像データに変換され、生成手段により、画像化された画像データに基づく音画像が現時点を起点とした相対的な時間軸に対応付けられて配置された音画像配置図が生成され、音データに基づく音が音出力部から出力される際に、表示制御手段により、生成された音画像配置図が表示部に表示され、音画像配置図は、現時点において音出力部から出力される音に対応する音画像が認識可能であり、且つ、現時点を含む現時点から過去の時間帯、現時点を含む現時点から未来の時間帯、現時点を含む過去から未来の時間帯の３つの時間帯のうち、何れかの時間帯における音画像を含むので、現時点において音出力部から出力される音と可視化された音画像との対応付けが明確になることとなって、ユーザは、当該音画像配置図により連続性のある音データの内容をより容易に認識できる。
また、音画像配置図は、例えば、画像のサムネイル表示に比べて時間的な連続性があるため、瞬間的に全体の様子を把握することができるので、これにより、ユーザに直感的に情報を与えることができる。
また、生成手段は、時間軸の縮尺が異なる２以上の音画像配置図を生成し、表示制御手段は、生成手段により生成された時間軸の縮尺が異なる２以上の音画像配置図を同時に表示部に表示させるので、ユーザは、目的に応じて、時間軸の縮尺が異なる２以上の音画像配置図から所望の音画像配置図を選択し、選択した音画像配置図から容易に音データの内容を認識することができる。

請求項３に記載の発明によれば、分析手段により、音データ記憶手段に記憶された音データが所定の分析条件に従って分析され、画像化手段により、当該分析結果が、分析結果に対応して予め設定された画像データに変換され、生成手段により、画像化された画像データに基づく音画像が現時点を起点とした相対的な時間軸に対応付けられて配置された音画像配置図が生成され、音データに基づく音が音出力部から出力される際に、表示制御手段により、生成された音画像配置図が表示部に表示され、音画像配置図は、現時点において音出力部から出力される音に対応する音画像が認識可能であり、且つ、現時点を含む現時点から過去の時間帯、現時点を含む現時点から未来の時間帯、現時点を含む過去から未来の時間帯の３つの時間帯のうち、何れかの時間帯における音画像を含むので、現時点において音出力部から出力される音と可視化された音画像との対応付けが明確になることとなって、ユーザは、当該音画像配置図により連続性のある音データの内容をより容易に認識できる。
また、音画像配置図は、例えば、画像のサムネイル表示に比べて時間的な連続性があるため、瞬間的に全体の様子を把握することができるので、これにより、ユーザに直感的に情報を与えることができる。
また、生成手段は、横軸が時間軸であって、縦軸方向に時間軸の縮尺が変化する音画像配置図を生成し、表示制御手段は、生成手段により生成された縦軸方向に時間軸の縮尺が変化する音画像配置図を表示部に表示させるので、ユーザは、一つの音画像配置図から複数の時間軸の縮尺が異なる音画像配置図Ａ１を認識することができるとともに、ユーザが、独立して区切られた複数の時間軸の縮尺が異なる音画像配置図を見る場合における眼の負担を少なくすることができる。

請求項４に記載の発明によれば、分析手段により、音データ記憶手段に記憶された音データが所定の分析条件に従って分析され、画像化手段により、当該分析結果が、分析結果に対応して予め設定された画像データに変換され、生成手段により、画像化された画像データに基づく音画像が現時点を起点とした相対的な時間軸に対応付けられて配置された音画像配置図が生成され、音データに基づく音が音出力部から出力される際に、表示制御手段により、生成された音画像配置図が表示部に表示され、音画像配置図は、現時点において音出力部から出力される音に対応する音画像が認識可能であり、且つ、現時点を含む現時点から過去の時間帯、現時点を含む現時点から未来の時間帯、現時点を含む過去から未来の時間帯の３つの時間帯のうち、何れかの時間帯における音画像を含むので、現時点において音出力部から出力される音と可視化された音画像との対応付けが明確になることとなって、ユーザは、当該音画像配置図により連続性のある音データの内容をより容易に認識できる。
また、音画像配置図は、例えば、画像のサムネイル表示に比べて時間的な連続性があるため、瞬間的に全体の様子を把握することができるので、これにより、ユーザに直感的に情報を与えることができる。
また、生成手段は、時間軸の縮尺が、第１の時間帯から、この第１の時間帯よりも現時点から遠い第２の時間帯に向かうにつれて小さくなる音画像配置図を生成するので、当該音画像配置図から、現時点付近の時間帯（第１の時間帯）の音データの内容を詳細に認識することができるとともに、現時点からより遠い第２の時間帯の音データの内容をおおまかに認識することができる。

請求項５に記載の発明によれば、請求項１〜４の何れか一項に記載の発明と同様の効果が得られるのは勿論のこと、特に、映像データ記憶手段により、音データと関連付けて映像データが記憶され、合成手段により、生成手段によって生成された音画像配置図と映像データ記憶手段に記憶された映像データに基づく映像とが合成された合成画像が生成され、音データに基づく音が音出力部から出力される際に、表示制御手段により、合成手段によって生成された合成画像が表示部に出力させるので、映像とともに音画像配置図を視認でき、当該音画像配置図により連続性のある音データの内容をより容易に認識できる。

請求項６記載の発明によれば、請求項５に記載の発明と同様の効果が得られるのは勿論のこと、特に、代表映像データ抽出手段により、映像データ記憶手段から、所定の時点における代表映像データが抽出され、合成手段により、生成手段によって生成された音画像配置図と映像データ記憶手段に記憶された映像データに基づく映像と代表映像データ抽出手段によって抽出された代表映像データに基づく画像とが現時点を起点とした相対的な時間軸に対応付けられて合成されるので、音画像配置図に代表映像データに基づく画像が表示されることとなって、ユーザは、音画像配置図に表示された代表映像データに基づく画像により所望の音データの音画像配置図における場所をより容易に認識することができ、所望の時間の音データをさらに容易に再生させることができる。

請求項７に記載の発明によれば、請求項１〜６の何れか一項に記載の発明と同様の効果が得られるのは勿論のこと、特に、生成手段により、音画像配置図に、現時点を示す指標が合成されるので、ユーザは音画像配置図に表示される指標により、現時点を容易に確認でき、音画像配置図から更に容易に音データの内容を認識できる。

請求項８記載の発明によれば、請求項１〜７の何れか一項に記載の発明と同様の効果が得られるのは勿論のこと、特に、ユーザに操作されることにより、操作信号を出力する操作部を備え、生成手段により、音画像配置図に、再生開始時点を示す目印が合成され、再生制御手段により、操作部から出力される目印を選択する操作信号に基づいて、目印に示される再生開始時点から音データの再生が開始されるので、ユーザは音画像配置図における目印を選択するだけで、所望の時間の音データを容易に再生させることができる。

以下、図を参照して、本発明に係る再生装置，再生方法，記憶媒体を実施するための最良の形態を詳細に説明する。
（第１の実施形態）
第１の実施形態では、本発明に係る再生装置として音データ再生装置１００を例示して説明する。

まず、第１の実施形態に係る音データ再生装置１００の請求項２に対応する構成について、図１を参照して説明する。音データ再生装置１００は、例えば、音データを記憶する音データ記憶手段を備えている。また、音データ再生装置１００は、例えば、音データ記憶手段に記憶された音データを分析する分析手段，分析手段による分析結果を画像データに変換する画像化手段，画像化手段により画像化された画像データに基づく音画像Ｂを音データに基づく音が音出力部としての音出力装置２００から出力される時点（現時点）を起点とした相対的な時間軸に対応付けて配置して音画像配置図Ａ１を生成する生成手段，
生成手段により生成された音画像配置図Ａ１を表示部としての表示装置３００に表示させる表示制御手段等を備える制御部４と、操作部３等を備えて構成されている。

次に、第１の実施形態に係る音データ再生装置１００の具体的な構成について図２を参照しながら説明する。音データ再生装置１００は、例えば、図２に示すように、音データ入力部１，音データ記憶手段としての音データ記憶部２，操作部３，制御部４等を備えて構成され、ＣＤ，ＤＶＤ等に蓄積された音データ又はラジオ放送等の外部から逐次入力される音データをデコード等の再生処理を施してスピーカ等を備えた音出力装置２００に出力する。

音データ入力部１は、例えば、チューナ等を備えて構成され、ラジオ放送等の放送波を受信し、放送波に含まれる音データを音データ記憶部２に出力する。

音データ記憶部２は、例えば、ＣＤ，ＤＶＤ，ＨＤＤ，半導体メモリ，メモリカード等であり、時間的に連続する音データを記憶する。より具体的には、音データ記憶部２は、例えば、ＣＤ，ＤＶＤ等に蓄積された時間的に連続する音データ又は音データ入力部１から逐次入力される音データを記憶する。

操作部３は、例えば、ユーザにより押下されることによって各種の操作信号を出力するための操作ボタン（図示省略）等を備えて構成されており、音データ再生装置１００に設けられてもよいし、リモートコントローラとして備えられてもよい。

制御部４は、例えば、図２に示すように、ＣＰＵ（Central Processing Unit）５，
ＲＡＭ（Random Access Memory）６，記憶部７等を備えて構成されている。

ＣＰＵ５は、記憶部７に格納された処理プログラム等を読み出して、ＲＡＭ６に展開して実行することにより、音データ再生装置１００全体の制御を行う。

ＲＡＭ６は、ＣＰＵ５により実行された処理プログラム等を、ＲＡＭ６内のプログラム格納領域に展開するとともに、入力データや上記処理プログラムが実行される際に生じる処理結果等をデータ格納領域に格納する。

記憶部７は、例えば、プログラムやデータ等が予め記憶されている記録媒体（図示せず）を有しており、この記録媒体は、例えば、半導体メモリ等で構成されている。また、記憶部７は、ＣＰＵ５が音データ再生装置１００全体を制御する機能を実現させるための各種データ，各種処理プログラム，これらプログラムの実行により処理されたデータ等を記憶する。より具体的には、記憶部７は、例えば、図２に示すように、再生用音データ抽出プログラム７Ａ，可視化用音データ抽出プログラム７Ｂ，分析プログラム７Ｃ，画像化プログラム７Ｄ，生成プログラム７Ｅ，表示制御プログラム７Ｆ，可視化パラメータ決定プログラム７Ｇ等を格納している。

再生用音データ抽出プログラム７Ａは、例えば、ＣＰＵ５に、操作部３から入力された操作信号に基づいて音データ記憶部２を検索し、再生する音データを抽出する機能を実現させるプログラムである。

可視化用音データ抽出プログラム７Ｂは、例えば、ＣＰＵ５に、操作部３から入力された操作信号に基づいて音データ記憶部２を検索し、ＣＰＵ５が後述する音画像Ｂを生成するのに必要な所定時間分の音データを抽出する機能を実現させるプログラムである。ここで所定時間とは、例えば、ＣＰＵ５が再生用音データ抽出プログラム７Ａを実行することにより抽出されて再生される音データの時点（現時点）を含む現時点よりも遅い時点（未
来の時点）までの時間などである。また、当該所定時間は、操作部３から入力される操作信号に基づいて定められてもよいし、音データに基づく音の再生速度に応じて定められてもよい。また、当該所定時間は、ＣＰＵ５が後述する可視化パラメータ決定プログラム７Ｇを実行することにより変更可能となっている。

分析プログラム７Ｃは、例えば、ＣＰＵ５に、可視化用音データ抽出プログラム７Ｂを実行することにより抽出した音データを所定の分析条件に従って分析する機能を実現させるプログラムである。具体的な分析条件としては、例えば、短時間フーリエ変換（ＦＦＴ），ケプストラム分析，ウイグナー分布による時間周波数平面表現，ＡＲモデル当てはめによる極位置の推定等が挙げられる。また、分析条件として、理論的な最適性等の裏付けがなくても、人間の直感に一致している経験的な条件が使用されてもよい。ＣＰＵ５は、かかる分析プログラム７Ｃを実行することにより、分析手段として機能する。

画像化プログラム７Ｄは、例えば、ＣＰＵ５に、分析プログラム７Ｃを実行することにより、音データを分析した分析結果を分析結果に対応して予め設定された画像データに変換する機能を実現させるプログラムである。より具体的には、画像化プログラム７Ｄは、ＣＰＵ５に、分析結果を、例えば、分析によって得られたパラメータの値に対応するＲＧＢ値及び画素数（画像の大きさ）に変換することにより、ＲＧＢ値で表現された色を有する画素集団として画像小片化し、音画像Ｂの画像データに変換する機能を実現するプログラムである。ＣＰＵ５は、画像化プログラム７Ｄを実行することにより、画像化手段として機能する。

生成プログラム７Ｅは、例えば、ＣＰＵ５に、画像化プログラム７Ｄを実行することにより、分析結果を画像化して得られた画像データに基づく音画像Ｂを現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図Ａ１を生成する機能を実現させるプログラムである。また、生成プログラム７Ｅは、ＣＰＵ５に、例えば、時間的に連続した音データのうち、現在再生されている音データの音画像Ｂの音画像配置図Ａ１における位置（現時点）を示す指標Ｓを音画像配置図Ａ１に合成する機能を実現させるプログラムである。ＣＰＵ５は、かかる生成プログラム７Ｅを実行することにより、生成手段として機能する。

表示制御プログラム７Ｆは、例えば、ＣＰＵ５に、生成プログラム７Ｅを実行することにより生成した音画像配置図Ａ１を液晶パネル等を備える表示装置３００に表示させる機能を実現させるプログラムである。ＣＰＵ５は、かかる表示制御プログラム７Ｆを実行することにより、表示制御手段として機能する。

可視化パラメータ決定プログラム７Ｇは、例えば、ＣＰＵ５に、分析プログラム７Ｃや画像化プログラム７Ｄの実行における処理で使用される各種パラメータ値を調整する機能を実現させるプログラムである。

そして、ＣＰＵ５は、可視化パラメータ決定プログラム７Ｇを実行することにより、例えば、音データに基づく音の再生速度に応じて短時間フーリエ変換（ＦＦＴ）の時間分解能と周波数分解能とのトレードオフの関係における最適点が変化する場合に、当該変化に追従して、ＦＦＴ点数を最適化させる等の調整を行う。

また、ＣＰＵ５は、可視化パラメータ決定プログラム７Ｇを実行することにより、ユーザが、例えば、音データの種類（例えば、音声，音楽，男声，女声等）によって、音データの分析結果から生成される音画像Ｂの違いを際立たせるための操作信号が操作部３から入力された場合には、当該操作信号に基づいて、分析プログラム７Ｃや画像化プログラム７Ｄの実行における処理で使用される各種パラメータ値の調整を行う。

次に、上述のような構成の音データ再生装置１００における音データの可視化動作（再
生動作）を図３に示すフローチャートを参照しながら説明する。

まず、ＣＰＵ５は、再生用音データ抽出プログラム７Ａを実行することにより、操作部３から入力される操作信号に基づいて音データ記憶部２を検索し、再生する音データを抽出する（ステップＳ１）。

次に、ＣＰＵ５は、可視化用音データ抽出プログラム７Ｂを実行することにより、操作部３から入力された操作信号に基づいて音データ記憶部２を検索し、音画像Ｂを生成するのに必要な所定時間分の音データ、例えば、再生される音データの時点（現時点）を含む現時点よりも遅い時点（未来の時点）までの所定時間分の音データを抽出する（ステップＳ２）。

次に、ＣＰＵ５は、分析プログラム７Ｃを実行することにより、ステップＳ２において抽出した音データを分析する（ステップＳ３：分析工程）。ステップＳ３において音データを分析して得られる分析結果の一例を図４（ａ）に示す。

図４（ａ）に示す分析結果は、音データをケプストラム分析したものであり、縦軸がケプストラム分析により得られる基本周波数を示し、横軸が時間を示す。

次に、ＣＰＵ５は、画像化プログラム７Ｄを実行することにより、ステップＳ３において音データを分析した結果を分析結果に対応して予め設定された画像データに変換する（ステップＳ４：画像化工程）。

次に、ＣＰＵ５は、生成プログラム７Ｅを実行することにより、ステップＳ４において分析結果を画像化して得られた画像データに基づく音画像Ｂを現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図Ａ１を生成するとともに、音画像配置図Ａ１に現在再生されている音データの音画像Ｂの音画像配置図Ａ１における位置（現時点）を示す指標Ｓを合成する（ステップＳ５：生成工程）。

次に、ＣＰＵ５は、ステップＳ１において抽出した再生用音データに基づく音を音出力装置２００に出力させるとともに、表示制御プログラム７Ｆを実行して、ステップＳ５において生成した音画像配置図Ａ１を表示装置３００に表示させる（ステップＳ６：表示工程）。

ステップＳ６において、表示装置３００に表示される音画像配置図Ａ１の一例を図４（ｂ），図４（ｃ）に示す。

図４（ｂ）に示す音画像配置図Ａ１において、縦軸は音の強度を示し、横軸は時間経過を示す現時点を起点とした相対的な時間軸となっている。各音画像Ｂの色は、例えば、図４（ａ）に示す分析結果における基本周波数の数値によって規定されている。なお、音画像Ｂの色は、音色（ＦＦＴ解析によって得られる倍音成分の構成比）によって規定されてもよい。また、図４（ｃ）に示す音画像配置図Ａ１では、例えば、横軸が時間経過を示す現時点を起点とした相対的な時間軸となっており、当該時間軸に沿って配置された各音画像Ｂの大きさ及び形により音の強度及び音色が表現され、各音画像Ｂの色により図４（ａ）に示す分析結果における基本周波数が表現されている。さらに、図４（ｄ）に示す音画像配置図Ａ１では、例えば、横軸が時間経過を示す現時点を起点とした相対的な時間軸となっており、当該時間軸に沿って配置された各音画像Ｂの横幅が一定となっている。各音画像Ｂの横幅を一定とすることにより、ステップＳ５の処理を単純で手間のかからないものとすることができる。また、横幅を一定とされた各音画像Ｂの色（ＲＧＢ値）は、音の基本周波数及び音色により規定されている。より具体的には、例えば、図４（ａ）の分析において、同じ時間帯に複数の異なる周波数の基本周波数（以下、ピッチと称する）や音色が検出された場合、それぞれのピッチや音色が一つの音画像Ｂの中で色分けして表現されるとともに、それぞれのピッチや音色の強度が音画像Ｂの中で占める縦方向の長さによ
り表現されている。なお、図４（ｄ）において、音の強度を表現しない場合には、音画像Ｂの縦方向の長さが一定とされてもよい。

そして、ユーザは、例えば、図４（ｂ），図４（ｃ），図４（ｄ）等に示す音画像配置図Ａ１から、音データの強度，音色及び基本周波数等を音画像Ｂの大きさ，形及び色等により認識することができるようになっており、音画像Ｂから音データの内容を認識できるようになっている。

また、図４（ｂ），図４（ｃ），図４（ｄ）には、現在再生されている音データの音画像Ｂの音画像配置図Ａ１における位置（現時点）を示す指標Ｓが表示されている。

以上に説明した、第１の実施形態に係る音データ再生装置１００及び再生方法によれば、ＣＰＵ５が分析プログラム７Ｃを実行することにより、音データ記憶部２に記憶された音データが所定の分析条件に従って分析され、ＣＰＵ５が画像化プログラム７Ｄを実行することにより、当該分析結果が、分析結果に対応して予め設定された画像データに変換され、ＣＰＵ５が生成プログラム７Ｅを実行することにより、画像化された画像データに基づく音画像Ｂが現時点を起点とした相対的な時間軸に対応付けられて配置された音画像配置図Ａ１が生成され、音データに基づく音が音出力装置２００から出力される際に、ＣＰＵ５が表示制御プログラム７Ｆを実行することにより、生成された音画像配置図Ａ１が表示装置３００に表示され、音画像配置図Ａ１は、現時点において音出力装置２００から出力される音に対応する音画像Ｂが認識可能であり、且つ、現時点を含む過去から未来の時間帯における音画像Ｂを含むので、現時点において音出力装置２００から出力される音と可視化された音画像との対応付けが明確になることとなって、ユーザは、当該音画像配置図Ａ１により連続性のある音データの内容をより容易に認識できる。

また、音画像配置図Ａ１は、例えば、画像のサムネイル表示に比べて時間的な連続性があるため、瞬間的に全体の様子を把握することができるので、これにより、ユーザに直感的に情報を与えることができる。

また、第１の実施形態に係る音データ再生装置１００によれば、ＣＰＵ５が生成プログラム７Ｅを実行することにより、音画像配置図Ａ１に、現時点を示す指標Ｓが合成されるので、ユーザは音画像配置図Ａ１に表示される指標Ｓにより、現時点を容易に確認でき、音画像配置図Ａ１から更に容易に音データの内容を認識できる。

なお、可視化用音データとして、ＣＰＵ５が再生用音データ抽出プログラム７Ａを実行することにより抽出されて再生される音データの時点（現時点）を含む現時点よりも遅い時点（未来の時点）までの所定時間分の音データが抽出されることとしたが、これに限られるものではなく、現時点よりも早い時点（過去の時点）から現時点（現時点を含む）までの所定時間分の音データが抽出されてもよいし、現時点よりも早い時点（過去の時点）から現時点よりも遅い時点（未来の時点）までの所定時間分の音データが抽出されてもよい。

また、可視化用音データとして、現時点から現時点よりも遅い時点（未来の時点）までの所定時間分の音データが抽出される場合には、抽出した再生用音データを一時的に音データ記憶部２等に記憶させ、可視化用音データの可視化処理に要する時間分だけ遅延させて、当該再生用音データに基づく音を音出力装置２００に出力すればよい。
（第２の実施形態）
第２の実施形態では、本発明に係る再生装置として音・映像データ再生装置４００を例示して説明する。

まず、第２の実施形態に係る音・映像データ再生装置４００の請求項３に対応する構成について、図５を参照して説明する。音・映像データ再生装置４００は、例えば、映像データを記憶する映像データ記憶手段，音データを記憶する音データ記憶手段を備えている。また、音・映像データ再生装置４００は、例えば、音データ記憶手段に記憶された音デ
ータを分析する分析手段，分析手段による分析結果を画像データに変換する画像化手段，画像化手段により画像化された画像データに基づく音画像Ｂを現時点を起点とした相対的な時間軸に対応付けて配置して音画像配置図Ａ１を生成する生成手段，生成手段により生成された音画像配置図Ａ１と映像データ記憶手段に記憶された映像データに基づく映像Ａ２とを合成した合成画像Ａ３を生成する合成手段，合成手段により生成された合成画像Ａ３を表示装置３００に表示させる表示制御手段等を備える制御部４と、操作部３等を備えて構成されている。

次に、第２の実施形態に係る音・映像データ再生装置４００の具体的な構成について図６を参照しながら説明する。音・映像データ再生装置４００は、例えば、図６に示すように、音・映像データ入力部８，映像データ記憶部９，記憶部７０の構成のみが第１の実施形態に係る音データ再生装置１００と異なるので、同一の構成については同一の符号を付するとともに説明を省略する。

音・映像データ入力部８は、例えば、チューナ等を備えて構成され、デジタル放送等の放送波を受信し、放送波に含まれる音データを音データ記憶部２に出力するとともに、放送波に含まれる映像データを映像データ記憶部９に出力する。

映像データ記憶部９は、例えば、ＣＤ，ＤＶＤ，ＨＤＤ，半導体メモリ，メモリカード等であり、時間的に連続する映像データを音データ記憶部２に記憶される音データと対応づけて記憶し、映像データ記憶手段として機能する。より具体的には、映像データ記憶部９は、例えば、ＣＤ，ＤＶＤ等に蓄積された時間的に連続する映像データ又は音・映像データ入力部８から逐次入力される映像データを記憶する。

記憶部７０は、例えば、プログラムやデータ等が予め記憶されている記録媒体（図示せず）を有しており、この記録媒体は、例えば、半導体メモリ等で構成されている。また、記憶部７０は、ＣＰＵ５が音・映像データ再生装置４００全体を制御する機能を実現させるための各種データ，各種処理プログラム，これらプログラムの実行により処理されたデータ等を記憶する。より具体的には、記憶部７０は、例えば、図６に示すように、再生用音データ抽出プログラム７Ａ，再生用映像データ抽出プログラム７０Ｈ，可視化用音データ抽出プログラム７Ｂ，分析プログラム７Ｃ，画像化プログラム７Ｄ，生成プログラム７Ｅ，合成プログラム７０Ｉ，表示制御プログラム７０Ｆ，可視化パラメータ決定プログラム７Ｇ等を格納している。

再生用映像データ抽出プログラム７０Ｈは、例えば、ＣＰＵ５に、操作部３から入力された操作信号に基づいて映像データ記憶部９を検索し、再生する映像データを抽出する機能を実現させるプログラムである。

合成プログラム７０Ｉは、例えば、ＣＰＵ５に、生成プログラム７Ｅを実行することにより生成された音画像配置図Ａ１と映像データ記憶部９に記憶された映像データに基づく映像Ａ２とを合成した合成画像Ａ３を生成する機能を実現させるプログラムである。ＣＰＵ５は、かかる合成プログラム７０Ｉを実行することにより、合成手段として機能する。

表示制御プログラム７０Ｆは、例えば、ＣＰＵ５に、合成プログラム７０Ｉを実行することにより生成した合成画像Ａ３を、液晶パネル等を備える表示装置３００に表示させる機能を実現させるプログラムである。ＣＰＵ５は、かかる表示制御プログラム７０Ｆを実行することにより、表示制御手段として機能する。

次に、上述のような構成の音・映像データ再生装置４００における音データの可視化動作（再生動作）を図７に示すフローチャートを参照しながら説明する。

まず、ＣＰＵ５は、再生用音データ抽出プログラム７Ａ及び再生用映像データ抽出プログラム７０Ｈを実行することにより、操作部３から入力される操作信号に基づいて、音データ記憶部２を検索して再生する音データを抽出するとともに、映像データ記憶部９を検索して再生する映像データを抽出する（ステップＳ１０１）。

次に、ＣＰＵ５は、可視化用音データ抽出プログラム７Ｂを実行することにより、操作部３から入力された操作信号に基づいて音データ記憶部２を検索し、音画像Ｂを生成するのに必要な所定時間分の音データ、例えば、現時点を含む現時点よりも遅い時点までの所定時間分の音データを抽出する（ステップＳ１０２）。

次に、ＣＰＵ５は、分析プログラム７Ｃを実行することにより、ステップＳ１０２において抽出した音データを分析する（ステップＳ１０３）。

次に、ＣＰＵ５は、画像化プログラム７Ｄを実行することにより、ステップＳ１０３において音データを分析した結果を分析結果に対応して予め設定された画像データに変換する（ステップＳ１０４）。

次に、ＣＰＵ５は、生成プログラム７Ｅを実行することにより、ステップＳ１０４において分析結果を画像化して得られた画像データに基づく音画像Ｂを現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図Ａ１を生成するとともに、音画像配置図Ａ１に現在再生されている音データの音画像Ｂの音画像配置図Ａ１における位置（現時点）を示す指標Ｓを合成する（ステップＳ１０５）。

次に、ＣＰＵ５は、合成プログラム７０Ｉを実行することにより、ステップＳ１０５において生成した音画像配置図Ａ１とステップＳ１０１において抽出した映像データに基づく映像Ａ２とを合成した合成画像Ａ３を生成する（ステップＳ１０６）。

次に、ＣＰＵ５は、ステップＳ１０１において抽出した再生用音データに基づく音を音出力装置２００に出力させるとともに、表示制御プログラム７０Ｆを実行して、ステップＳ１０６において生成した合成画像Ａ３を表示装置３００に表示させる（ステップＳ１０７）。

ステップＳ１０７において、表示装置３００に表示される合成画像Ａ３の一例を図８に示す。図８において、表示装置３００の表示画面全体に映像データに基づく映像Ａ２が表示され、表示装置３００の画面の所定の部分（例えば、図８では、下部部分）に、映像データに基づく映像Ａ２の上に重ねるようにして音画像配置図Ａ１が表示されている。そして、図８に示す音画像配置図Ａ１では、例えば、横軸が時間経過を示す現時点を起点とした相対的な時間軸となっており、当該時間軸に沿って配置された各音画像Ｂの大きさ及び形により音の強度及び音色が表現され、各音画像Ｂの色により分析結果における基本周波数が表現されている。そして、ユーザは、図８に示す音画像配置図Ａ１から、音データの強度，音色及び基本周波数等を音画像Ｂの大きさ，形及び色等により認識することができるようになっている。

また、図８の音画像配置図Ａ１には、現在再生されている音データの音画像Ｂの音画像配置図Ａ１における位置（現時点）を示す指標Ｓが表示されている。

以上に説明した、第２の実施形態に係る音・映像データ再生装置４００によれば、第１の実施形態に係る音データ再生装置１００と同様の効果が得られるのは勿論のこと、特に、映像データ記憶部９に音データと関連付けて映像データが記憶され、ＣＰＵ５が合成プログラム７０Ｉを実行することにより、生成された音画像配置図Ａ１と映像データ記憶部９に記憶された映像データに基づく映像Ａ２とが合成された合成画像Ａ３が生成され、音
データに基づく音が音出力装置２００から出力される際に、ＣＰＵ５が表示制御プログラム７０Ｆを実行することにより、生成された合成画像Ａ３が表示装置３００に出力されるので、映像Ａ２とともに音画像配置図Ａ１を視認でき、当該音画像配置図Ａ１により連続性のある音データの内容をより容易に認識できる。

なお、第２の実施形態に係る音・映像データ再生装置４００は、次のように変形して実施されてもよい。
（変形例１）
第２の実施形態の変形例１に係る音・映像データ再生装置４００ａでは、生成プログラム７Ｅａのみが変形されている。

変形例１に係る生成プログラム７Ｅａは、例えば、第２の実施形態と同様に、ＣＰＵ５に、画像化プログラム７Ｄを実行することにより、分析結果を画像化して得られた画像データに基づく音画像Ｂを現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図Ａ１を生成するとともに、現時点を示す指標Ｓを音画像配置図Ａ１に合成する機能を実現させるプログラムである。

さらに、変形例１に係る生成プログラム７Ｅａは、例えば、ＣＰＵ５に、音データの再生速度に応じて音画像配置図Ａ１の時間軸の縮尺を変更する機能を実現させるプログラムである。より具体的には、生成プログラム７Ｅａは、例えば、ＣＰＵ５に、音データの再生速度に比例させて、音画像配置図Ａ１の時間軸の縮尺が小さくなるように変更する機能を実現させるプログラムである。ＣＰＵ５は、かかる生成プログラム７Ｅａを実行することにより、生成手段として機能する。

次に、変形例１に係る音・映像データ再生装置４００ａが表示装置３００に表示させる合成画像Ａ３について説明する。音データの再生速度が通常速度である場合の変形例１に係る合成画像Ａ３の一例を図９（ａ）に示し、音データの再生速度が早送り再生である場合の変形例１に係る合成画像Ａ３の一例を図９（ｂ）に示す。

変形例１に係る合成画像Ａ３では、第２の実施形態と同様に、表示装置３００の表示画面全体に映像データに基づく映像Ａ２が表示され、表示装置３００の表示画面の所定の部分（例えば、図９では、下部部分）に、映像データに基づく映像Ａ２の上に重ねるようにして音画像配置図Ａ１が表示されている。また、変形例１に係る音画像配置図Ａ１では、例えば、横軸が時間経過を示す現時点を起点とした相対的な時間軸となっており、当該時間軸に沿って配置された各音画像Ｂの大きさ及び形により音の強度及び音色が表現され、各音画像Ｂの色により分析結果における基本周波数が表現されており、現時点を示す指標Ｓが表示されている。

また、変形例１に係る音画像配置図Ａ１の時間軸の縮尺は、音データの再生速度に比例して小さくなるように変更される。例えば、音データの再生速度が通常再生である場合には、音画像配置図Ａ１の時間軸の縮尺は、例えば、現時点から過去に向かって３０秒から、現時点から未来に向かって３０秒までとなっており（図９（ａ））、音データの再生速度が早送り再生（例えば、４倍速再生）である場合には、音画像配置図Ａ１の時間軸の縮尺は、例えば、現時点から過去に向かって２分から、現時点から未来に向かって２分までとなっている（図９（ｂ））。

そして、音データの再生速度に比例して音画像配置図Ａ１の時間軸の縮尺が小さくなるように変更されるため、どのような再生速度であっても、音画像配置図Ａ１の右端（一番未来側）にあった音画像Ｂが、時間軸に沿って、音画像配置図Ａ１の左端（一番過去側）に移動する速度は一定となるようになっている。

以上に説明した、第２の実施形態の変形例１に係る音・映像データ再生装置４００ａによれば、第２の実施形態に係る音・映像データ再生装置４００と同様の効果が得られるの
は勿論のこと、特に、ＣＰＵ５が生成プログラム７Ｅａを実行することにより、音データの再生速度に応じて、音画像配置図Ａ１の時間軸の縮尺が変更されるので、音画像配置図Ａ１において音画像Ｂが時間軸に沿って移動する速度が音データの再生速度によらず一定となり、音データの再生速度に応じた適切な音画像配置図Ａ１を表示装置３００に表示させることができ、当該音画像配置図Ａ１からユーザは更に容易に音データの内容を認識できる。より具体的には、音画像配置図Ａ１において音画像Ｂが時間軸に沿って移動する速度が音データの再生速度によらず一定となり、現在行っている再生速度における実際の経過時間を横軸にとった音画像配置図Ａ１が表示されることとなる。すなわち、「このままの操作を続ければ何秒後に音にどのような変化が起こるか」をユーザに知らしめることができる。これによって、ユーザは、次の操作の計画を容易にたてることができる。
（変形例２）
第２の実施形態の変形例２に係る音・映像データ再生装置４００ｂでは、生成プログラム７Ｅｂのみが変形されている。

変形例２に係る生成プログラム７Ｅｂは、例えば、第２の実施形態と同様に、ＣＰＵ５に、画像化プログラム７Ｄを実行することにより、分析結果を画像化して得られた画像データに基づく音画像Ｂを現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図Ａ１を生成するとともに、現時点を示す指標Ｓを音画像配置図Ａ１に合成する機能を実現させるプログラムである。

さらに、変形例２に係る生成プログラム７Ｅｂは、例えば、ＣＰＵ５に、時間軸の縮尺が異なる２以上の音画像配置図Ａ１を生成する機能を実現させるプログラムである。ＣＰＵ５は、かかる生成プログラム７Ｅｂを実行することにより、生成手段として機能する。

次に、変形例２に係る音・映像データ再生装置４００ｂが表示装置３００に表示させる合成画像Ａ３について説明する。

変形例２に係る合成画像Ａ３では、第２の実施形態と同様に、表示装置３００の画面全体に映像データに基づく映像Ａ２が表示され、表示装置３００の画面の所定の部分（例えば、図１０では、下部部分）に、映像データに基づく映像Ａ２の上に重ねるようにして音画像配置図Ａ１が表示されている。また、変形例２に係る音画像配置図Ａ１では、例えば、横軸が時間経過を示す現時点を起点とした相対的な時間軸となっており、当該時間軸に沿って配置された各音画像Ｂの大きさ及び形により音の強度及び音色が表現され、各音画像Ｂの色により分析結果における基本周波数が表現されており、現時点を示す指標Ｓが表示されている。

また、変形例２に係る合成画像Ａ３においては、時間軸が異なる２以上の音画像配置図Ａ１が表示されるようになっている。例えば、図１０に示すように、時間軸の縮尺がより大きい音画像配置図Ａ１（例えば、図１０では、−３０秒〜３０秒）と時間軸の縮尺がより小さい音画像配置図Ａ１（例えば、図１０では、−２分〜２分）とが上下に並べられて表示装置３００の画面の下部部分に表示される。また、各音画像配置図Ａ１，Ａ１の時間軸の縮尺の対比がしやすいように、上下の音画像配置図Ａ１，Ａ１の間には、所定の時点をつなぐ線分Ｌが表示されている。

そして、変形例２に係る音・映像データ再生装置４００ｂにおいては、時間軸が異なる２以上の音画像配置図Ａ１が表示装置３００に表示されるので、例えば、音データの再生速度が変更された場合に、１つの音画像配置図Ａ１の時間軸の縮尺を再生速度に応じて変更することにより、通常再生速度における時間軸の縮尺の音画像配置図Ａ１と変更後の再生速度における時間軸の縮尺の音画像配置図Ａ１とが同時に表示されることになる。より具体的には、音データの再生速度が変更された場合に、１つの音画像配置図Ａ１の時間軸の縮尺のみを再生速度に応じて変更して、他方の音画像配置図Ａ１の時間軸の縮尺を通常再生速度に応じたものとすることにより、再生速度が変更されても、他方の音画像配置図Ａ１においては常に通常再生速度に対応した時間軸の縮尺で音画像Ｂが表示されることと
なり、再生速度が変更されるたびに音画像配置図Ａ１の時間軸の縮尺が目まぐるしく切り替わることによる眼の疲労を防ぐことができる。

以上に説明した、第２の実施形態の変形例２に係る音・映像データ再生装置４００ｂによれば、第２の実施形態に係る音・映像データ再生装置４００と同様の効果が得られるのは勿論のこと、特に、ＣＰＵ５が生成プログラム７Ｅｂを実行することにより、時間軸の縮尺が異なる２以上の音画像配置図Ａ１が生成され、ＣＰＵ５が表示制御プログラム７０Ｆを実行することにより、生成された時間軸の縮尺が異なる２以上の音画像配置図Ａ１が同時に表示装置３００に表示されるので、ユーザは、目的に応じて、時間軸の縮尺が異なる２以上の音画像配置図Ａ１から所望の音画像配置図Ａ１を選択し、選択した音画像配置図Ａ１から容易に音データの内容を認識することができる。
（変形例３）
第２の実施形態の変形例３に係る音・映像データ再生装置４００ｃでは、生成プログラム７Ｅｃのみが変形されている。

変形例３に係る生成プログラム７Ｅｃは、例えば、第２の実施形態と同様に、ＣＰＵ５に、画像化プログラム７Ｄを実行することにより、分析結果を画像化して得られた画像データに基づく音画像Ｂを現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図Ａ１を生成するとともに、現時点を示す指標Ｓを音画像配置図Ａ１に合成する機能を実現させるプログラムである。

さらに、変形例３に係る生成プログラム７Ｅｃは、例えば、ＣＰＵ５に、横軸が現時点を起点とした相対的な時間軸であって、縦軸方向に時間軸の縮尺が徐々に変化する音画像配置図Ａ１を生成する機能を実現させるプログラムである。ＣＰＵ５は、かかる生成プログラム７Ｅｃを実行することにより、生成手段として機能する。

次に、変形例３に係る音・映像データ再生装置４００ｃが表示装置３００に表示させる合成画像Ａ３について説明する。

変形例３に係る合成画像Ａ３では、第２の実施形態と同様に、表示装置３００の画面全体に映像データに基づく映像Ａ２が表示され、表示装置３００の画面の所定の部分（例えば、図１１では、下部部分）に、映像データに基づく映像Ａ２の上に重ねるようにして音画像配置図Ａ１が表示されている。また、変形例３に係る音画像配置図Ａ１では、例えば、横軸が時間経過を示す現時点を起点とした相対的な時間軸となっており、現時点を示す指標Ｓが表示されている。

また、変形例３に係る音画像配置図Ａ１においては、縦軸方向に時間軸の縮尺が徐々に変化し、各音画像Ｂの横幅がそれに伴って変化するようになっている。例えば、図１１に示すように、音画像配置図Ａ１の縦軸方向の上側に向かうにつれて時間軸の縮尺が小さくなるようになっており、各音画像Ｂの横幅は縦軸方向上側に向かうにつれて小さくなるようになっている。この場合には、音画像Ｂの形状は縦方向に連続したものとなるため当該形状から音データの強度を認識することはできないが、音画像Ｂの色及び輝度等から音データの基本周波数，音色（例えば、音声、楽音により異なる）を認識できるようになっている。

以上に説明した、第２の実施形態の変形例３に係る音・映像データ再生装置４００ｃによれば、第２の実施形態に係る音・映像データ再生装置４００と同様の効果が得られるのは勿論のこと、特に、ＣＰＵ５が生成プログラム７Ｅｃを実行することにより、音画像配置図Ａ１の縦軸方向に時間軸の縮尺が変化する音画像配置図Ａ１が生成され、ＣＰＵ５が表示制御プログラム７０Ｆを実行することにより、生成された縦軸方向に時間軸の縮尺が変化する音画像配置図Ａ１が表示装置３００に表示されるので、ユーザは、一つの音画像配置図Ａ１から複数の時間軸の縮尺が異なる音画像配置図Ａ１を認識することができると
ともに、ユーザが、独立して区切られた複数の時間軸の縮尺が異なる音画像配置図Ａ１を見る場合における眼の負担を少なくすることができる。
（変形例４）
第２の実施形態の変形例４に係る音・映像データ再生装置４００ｄでは、生成プログラム７Ｅｄのみが変形されている。

変形例４に係る生成プログラム７Ｅｄは、例えば、第２の実施形態と同様に、ＣＰＵ５に、画像化プログラム７Ｄを実行することにより、分析結果を画像化して得られた画像データに基づく音画像Ｂを現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図Ａ１を生成するとともに、現時点を示す指標Ｓを音画像配置図Ａ１に合成する機能を実現させるプログラムである。

さらに、変形例４に係る生成プログラム７Ｅｄは、例えば、ＣＰＵ５に、時間軸の縮尺が、現時点に近い時間帯（以下、第１の時間帯と称する）から、第１の時間帯よりも現時点から遠い時間帯（以下、第２の時間帯と称する）に向かうにつれて小さくなる音画像配置図Ａ１を生成する機能を実現させるプログラムである。ＣＰＵ５は、かかる生成プログラム７Ｅｄを実行することにより、生成手段として機能する。

次に、変形例４に係る音・映像データ再生装置４００ｄが表示装置３００に表示させる合成画像Ａ３について説明する。

変形例４に係る合成画像Ａ３では、第２の実施形態と同様に、表示装置３００の画面全体に映像データに基づく映像Ａ２が表示され、表示装置３００の画面の所定の部分（例えば、図１２では、下部部分）に、映像データに基づく映像Ａ２の上に重ねるようにして音画像配置図Ａ１が表示されている。また、変形例４に係る音画像配置図Ａ１では、例えば、横軸が時間経過を示す現時点を起点とした相対的な時間軸となっており、当該時間軸に沿って配置された各音画像Ｂの大きさ及び形により音の強度及び音色が表現され、各音画像Ｂの色により分析結果における基本周波数が表現されており、現時点を示す指標Ｓが表示されている。

また、変形例４に係る音画像配置図Ａ１においては、第１の時間帯における音画像配置図Ａ１の時間軸の縮尺は、第２の時間帯における音画像配置図Ａ１の時間軸の縮尺よりも大きくなるようになっている。

以上に説明した、第２の実施形態の変形例４に係る音・映像データ再生装置４００ｄによれば、第２の実施形態に係る音・映像データ再生装置４００と同様の効果が得られるのは勿論のこと、特に、ＣＰＵ５が生成プログラム７Ｅｄを実行することにより、時間軸の縮尺が、第１の時間帯から、この第１の時間帯よりも現時点から遠い第２の時間帯に向かうにつれて小さくなる音画像配置図Ａ１が生成されるので、当該音画像配置図Ａ１から、現時点付近の時間帯（第１の時間帯）の音データの内容を詳細に認識することができるとともに、現時点からより遠い第２の時間帯の音データの内容をおおまかに認識することができる。
（第３の実施形態）
まず、第３の実施形態に係る音・映像データ再生装置５００の具体的な構成について図１３を参照しながら説明する。音・映像データ再生装置５００は、例えば、図１３に示すように、記憶部７１の構成のみが第２の実施形態に係る音・映像データ再生装置４００と異なるので、同一の構成については同一の符号を付するとともに説明を省略する。

記憶部７１は、例えば、プログラムやデータ等が予め記憶されている記録媒体（図示せず）を有しており、この記録媒体は、例えば、半導体メモリ等で構成されている。また、記憶部７１は、ＣＰＵ５が音・映像データ再生装置５００全体を制御する機能を実現させ
るための各種データ，各種処理プログラム，これらプログラムの実行により処理されたデータ等を記憶する。より具体的には、記憶部７１は、例えば、図１３に示すように、再生用音データ抽出プログラム７Ａ，再生用映像データ抽出プログラム７０Ｈ，可視化用音データ抽出プログラム７Ｂ，目印時点決定プログラム７１Ｊ，サムネイル画像抽出プログラム７１Ｋ，分析プログラム７Ｃ，画像化プログラム７Ｄ，生成プログラム７１Ｅ，合成プログラム７１Ｉ，表示制御プログラム７０Ｆ，可視化パラメータ決定プログラム７Ｇ，再生制御プログラム７１Ｌ等を格納している。

目印時点決定プログラム７１Ｊは、例えば、ＣＰＵ５に、音画像配置図Ａ１に合成される目印Ｍの時間軸に対する位置（目印時点）を決定する機能を実現させるプログラムである。より具体的には、目印時点決定プログラム７１Ｊは、ＣＰＵ５に、例えば、音の強度について音データを分析して音の強度が急激に変化する時点などを目印時点として決定する機能を実現させるプログラムである。

サムネイル画像抽出プログラム７１Ｋは、例えば、ＣＰＵ５に、映像データ記憶部９を検索して、所定の時点における代表映像データを抽出する機能を実現させるプログラムである。ここで、所定の時点とは、例えば、場面が変化する時点や、ＣＰＵ５が目印時点決定プログラム７１Ｊを実行することにより決定される目印時点等である。ＣＰＵ５は、かかるサムネイル画像抽出プログラム７１Ｋを実行することにより、代表映像データ抽出手段として機能する。

生成プログラム７１Ｅは、例えば、ＣＰＵ５に、画像化プログラム７Ｄを実行することにより、分析結果を画像化して得られた画像データに基づく音画像Ｂを現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図Ａ１を生成するとともに、現時点を示す指標Ｓを音画像配置図Ａ１に合成する機能を実現させるプログラムである。

また、生成プログラム７１Ｅは、例えば、ＣＰＵ５に、目印時点を表す目印Ｍを音画像配置図Ａ１に合成する機能を実現させるプログラムである。ここで、音画像配置図Ａ１に合成された目印Ｍは、ユーザが当該目印Ｍに対応する操作部３の操作ボタンを押下することにより選択され、ユーザが選択した目印Ｍの目印時点を新たな再生開始時点とする操作信号を入力するためのものである。ＣＰＵ５は、かかる生成プログラム７１Ｅを実行することにより生成手段として機能する。

合成プログラム７１Ｉは、例えば、ＣＰＵ５に、生成した音画像配置図Ａ１と映像データ記憶部９に記憶された映像データに基づく映像Ａ２とサムネイル画像抽出プログラム７１Ｋを実行することにより抽出した代表映像データに基づく画像Ａ４とを、現時点を起点とした相対的な時間軸に対応付けて合成する機能を実現させるプログラムである。ＣＰＵ５は、かかる合成プログラム７１Ｉを実行することにより、合成手段として機能する。

再生制御プログラム７１Ｌは、例えば、ＣＰＵ５に、音画像配置図Ａ１に表示された目印Ｍに対応する操作部３の操作ボタンがユーザにより選択されて、選択された目印Ｍの目印時点を新たな再生開始時点とする操作信号が入力された際に、当該再生開始時点から音データの再生を開始する機能を実現させるプログラムである。ＣＰＵ５は、かかる再生制御プログラム７１Ｌを実行することにより、再生制御手段として機能する。

次に、上述のような構成の音・映像データ再生装置５００における音データの可視化動作（再生動作）を図１４に示すフローチャートを参照しながら説明する。

まず、ＣＰＵ５は、再生用音データ抽出プログラム７Ａ及び再生用映像データ抽出プログラム７０Ｈを実行することにより、操作部３から入力される操作信号に基づいて、音データ記憶部２を検索して再生する音データを抽出するとともに、映像データ記憶部９を検索して再生する映像データを抽出する（ステップＳ２０１）。

次に、ＣＰＵ５は、可視化用音データ抽出プログラム７Ｂを実行することにより、操作部３から入力された操作信号に基づいて音データ記憶部２を検索し、音画像Ｂを生成するのに必要な所定時間分の音データ、例えば、現時点を含む現時点よりも遅い時点までの所定時間分の音データを抽出する（ステップＳ２０２）。

次に、ＣＰＵ５は、分析プログラム７Ｃを実行することにより、ステップＳ２０２において抽出した音データを分析する（ステップＳ２０３）。

次に、ＣＰＵ５は、目印時点決定プログラム７１Ｊを実行することにより、再生開始時点となる目印時点を決定する（ステップＳ２０４）。

次に、ＣＰＵ５は、サムネイル画像抽出プログラム７１Ｋを実行することにより、代表映像データを抽出する（ステップＳ２０５）。

次に、ＣＰＵ５は、画像化プログラム７Ｄを実行することにより、ステップＳ２０３において音データを分析した結果を分析結果に対応して予め設定された画像データに変換する（ステップＳ２０６）。

次に、ＣＰＵ５は、生成プログラム７１Ｅを実行することにより、ステップＳ２０６において分析結果を画像化して得られた画像データに基づく音画像Ｂを現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図Ａ１を生成するとともに、音画像配置図Ａ１に現在再生されている音データの音画像Ｂの音画像配置図Ａ１における位置（現時点）を示す指標Ｓ及び、目印時点を示す目印Ｍを合成する（ステップＳ２０７）。

次に、ＣＰＵ５は、合成プログラム７１Ｉを実行することにより、ステップＳ２０７において生成した音画像配置図Ａ１と、ステップＳ２０１において抽出した映像データに基づく映像Ａ２と、ステップＳ２０５において抽出した代表映像データに基づく画像Ａ４とを、現時点を起点とした相対的な時間軸に対応付けて合成した合成画像Ａ３を生成する（ステップＳ２０８）。

次に、ＣＰＵ５は、ステップＳ２０１において抽出した再生用音データに基づく音を音出力装置２００に出力させるとともに、表示制御プログラム７０Ｆを実行して、ステップＳ２０８において生成した合成画像Ａ３を表示装置３００に表示させる（ステップＳ２０９）。

ステップＳ２０９において、表示装置３００に表示される合成画像Ａ３の一例を図１５に示す。図１５において、表示装置３００の画面全体に映像データに基づく映像Ａ２が表示され、表示装置３００の画面の所定の部分（例えば、図１５では、下部部分）に、映像データに基づく映像Ａ２の上に重ねるようにして音画像配置図Ａ１が表示されている。また、音画像配置図Ａ１において、例えば、横軸が時間経過を示す現時点を起点とした相対的な時間軸となっており、当該時間軸に沿って配置された各音画像Ｂの大きさ及び形により音の強度及び音色が表現され、各音画像Ｂの色により分析結果における基本周波数が表現されており、現時点を示す指標Ｓが表示されている。

また、音画像配置図Ａ１には、目印時点を示す目印Ｍが時間軸に沿って表示されている。目印Ｍは、例えば、Ａ，Ｂ，Ｃ・・・などのアルファベット表示や数字表示で示され、ユーザが目印Ｍに対応する操作部３の操作ボタンを選択することにより目印Ｍが選択されるようになっている。

また、合成画像Ａ３において、例えば、音画像配置図Ａ１の時間軸方向に沿って、代表
映像データに基づく画像Ａ４が表示されている。図１５においては、代表映像データとして目印時点に対応する映像データが抽出されており、目印Ｍの上側に対応する代表映像データに基づく画像Ａ４が表示されている。

次に、第３の実施形態に係る音・映像データ再生装置５００における音データ及び映像データの再生制御動作について図１６に示すフローチャートを参照しながら説明する。

ユーザにより操作部３が操作されて目印Ｍが選択され、当該目印Ｍの目印時点を新たな再生開始時点とする操作信号が入力されると（ステップＳ３０１）、ＣＰＵ５は、再生制御プログラム７１Ｌを実行することにより、当該再生開始時点から音データ及び映像データの再生を開始する（ステップＳ３０２）。

以上に説明した、第３の実施形態に係る音・映像データ再生装置５００によれば、第２の実施形態に係る音・映像データ再生装置４００と同様の効果が得られるのは勿論のこと、特に、ユーザに操作されることにより、操作信号を出力する操作部３を備え、ＣＰＵ５が生成プログラム７１Ｅを実行することにより、音画像配置図Ａ１に、再生開始時点を示す目印Ｍが合成され、ＣＰＵ５が再生制御プログラム７１Ｌを実行することにより、操作部３から出力される目印Ｍを選択する操作信号に基づいて、目印Ｍに示される再生開始時点から出力が開始されるので、ユーザは音画像配置図Ａ１における目印Ｍを選択するだけで、所望の時間の音データを容易に再生させることができる。

また、ＣＰＵ５がサムネイル画像抽出プログラム７１Ｋを実行することにより、映像データ記憶部９から、所定の時点における代表映像データが抽出され、ＣＰＵ５が合成プログラム７１Ｉを実行することにより、生成した音画像配置図Ａ１と映像データ記憶部９に記憶された映像データに基づく映像Ａ２と抽出した代表映像データに基づく画像Ａ４とが現時点を起点とした相対的な時間軸に対応付けられて合成されるので、音画像配置図Ａ１に代表映像データに基づく画像Ａ４が表示されることとなって、ユーザは、音画像配置図Ａ１に表示された代表映像データに基づく画像Ａ４により所望の音データの音画像配置図Ａ１における場所をより容易に認識することができ、所望の時間の音データをさらに容易に再生させることができる。

なお、本実施形態において、ＣＰＵ５が目印時点決定プログラム７１Ｊを実行することにより決定する目印時点として、音の強度について音データを分析して音の強度が急激に変化する時点を例示したが、これに限られるものではなく、例えば、目印時点は、所定時間間隔ごとに決定されてもよい。
（第４の実施形態）
第４の実施形態では、本発明に係る記録媒体としてＤＶＤ６００を例示して説明する。

図１７に第４の実施形態に係るＤＶＤ６００のデータ構造を示す。第４の実施形態に係るＤＶＤ６００のデータ構造は、図４に示すように階層構造をとっており、例えば、標準規格の一つであるＩＳＯ９６６０及びユニバーサルディスクフォーマット（ＵＤＦ）ブリッジに準拠して定められている。そして、ＤＶＤ６００に記録されるデータは、リードインエリア６０１，ボリューム／ファイル構造エリア６０２，ＤＶＤビデオエリア６０３，他記録エリア６０４，リードアウトエリア６０５等の複数のエリアから構成される。

そして、ＤＶＤ６００は、ＤＶＤビデオエリア６０３に映像データ及び音データを記憶している。また、ＤＶＤ６００は、音データを所定の分析条件で分析した分析結果を画像データに変換して、現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図データ６０６をメタデータとして他記録エリア６０４に記憶している。より具体的には、ＤＶＤ６００は、例えば、図４（ｂ），（ｃ）に示すような音画像配置図Ａ１の音画像配置図データ６０６をメタデータとして他記録エリア６０４に記憶している。

以上に説明した、第４の実施形態に係るＤＶＤ６００によれば、当該ＤＶＤ６００に、音画像配置図データ６０６がメタデータとして記憶されるので、再生装置（例えば、音データ再生装置１００等）に分析手段，画像化手段，生成手段を備えずとも、当該ＤＶＤ６００に記憶されている音画像配置図データ６０６を再生することにより、音画像配置図Ａ１を表示装置３００に表示させることができる。

なお、本実施形態において、音画像配置図Ａ１は、映像データに基づく映像Ａ２の上に重ねられて表示されることとしたが、表示装置３００の画面が音画像配置図Ａ１が表示される部分と映像Ａ２が表示される部分とに分けられてもよい。

また、本実施形態では、音画像配置図Ａ１は、現時点を含む過去から未来の時間帯の音画像Ｂを含むこととしたが、現時点を含む現時点から過去の時間帯の音画像Ｂを含むものであってもよいし、現時点を含む現時点から未来の時間帯の音画像Ｂを含むものであってもよい。

また、変形例１〜４は、音データのみを再生する音データ再生装置１００に適用されてもよい。

また、音データ再生装置１００及び音・映像データ再生装置４００，５００に音出力装置２００及び表示装置３００が音出力部及び表示部として一体型で備えられてもよい。

また、音画像配置図Ａ１における現時点を表すものとして指標Ｓを例示したが、現時点が認識できる表示であればなんであってもよく、例えば、音画像配置図Ａ１に再生時間が表示されてもよい。

本発明の第１の実施形態に係る音データ再生装置の請求項２に対応する構成を説明する図である。本発明の第１の実施形態に係る音データ再生装置の要部構成を説明するブロック図である。本発明の第１の実施形態に係る音データ再生装置の動作を説明するフローチャートである。本発明の第１の実施形態に係る音データ再生装置により音データを分析した分析結果の一例を説明する図（図４（ａ））及び本発明の第１の実施形態に係る音画像配置図の一例を示す図（図４（ｂ），図４（ｃ），図４（ｄ））である。本発明の第２の実施形態に係る音・映像データ再生装置の請求項３に対応する構成を説明する図である。本発明の第２の実施形態に係る音・映像データ再生装置の要部構成を説明するブロック図である。本発明の第２の実施形態に係る音・映像データ再生装置の動作を説明するフローチャートである。本発明の第２の実施形態に係る音・映像データ再生装置が表示装置に表示させる合成画像の一例を示す図である。本発明の第２の実施形態の変形例１に係る音・映像データ再生装置が表示装置に表示させる合成画像の一例を示す図である。本発明の第２の実施形態の変形例２に係る音・映像データ再生装置が表示装置に表示させる合成画像の一例を示す図である。本発明の第２の実施形態の変形例３に係る音・映像データ再生装置が表示装置に表示させる合成画像の一例を示す図である。本発明の第２の実施形態の変形例４に係る音・映像データ再生装置が表示装置に表示させる合成画像の一例を示す図である。本発明の第３の実施形態に係る音・映像データ再生装置の要部構成を説明するブロック図である。本発明の第３の実施形態に係る音・映像データ再生装置の動作を説明するフローチャートである。本発明の第３の実施形態に係る音・映像データ再生装置が表示装置に表示させる合成画像の一例を示す図である。本発明の第３の実施形態に係る音・映像データ再生装置の動作を説明するフローチャートである。本発明の第４の実施形態に係る記録媒体のデータ構造の一例を示す図である。

符号の説明

２音データ記憶部（音データ記憶手段）
３操作部
５ＣＰＵ（分析手段,画像化手段,生成手段,表示制御手段,合成手段,代表映像データ
抽出手段,再生制御手段）
７Ｃ分析プログラム（分析手段）
７Ｄ画像化プログラム（画像化手段）
７Ｅ,７Ｅａ,７Ｅｂ,７Ｅｃ, ７Ｅｄ,７１Ｅ生成プログラム（生成手段）
７Ｆ,７０Ｆ表示制御プログラム（表示制御手段）
７０Ｉ,７１Ｉ合成プログラム（合成手段）
７１Ｋサムネイル画像抽出プログラム（代表映像データ抽出手段）
７１Ｌ再生制御プログラム（再生制御手段）
９映像データ記憶部（映像データ記憶手段）
１００音データ再生装置（再生装置）
２００音出力装置（音出力部）
３００表示装置（表示部）
４００,４００ａ,４００ｂ,４００ｃ,４００ｄ,５００音・映像データ再生装置（再
生装置）
６００ＤＶＤ（記録媒体）
６０６音画像配置図データ
Ａ１音画像配置図
Ａ２映像
Ａ３合成画像
Ａ４画像
Ｂ音画像
Ｍ目印
Ｓ指標

Claims

蓄積された音データ又は外部から逐次入力される音データに基づく音を再生して音出力部から出力する再生装置において、
音データを記憶する音データ記憶手段と、
前記音データ記憶手段に記憶された音データを、所定の分析条件に従って分析する分析手段と、
前記分析手段による分析結果を、分析結果に対応して予め設定された画像データに変換する画像化手段と、
前記画像化手段により画像化された画像データに基づく音画像を、現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図を生成する生成手段と、
音データに基づく音が前記音出力部から出力される際に、前記生成手段により生成された音画像配置図を表示部に表示させる表示制御手段と、を備え、
前記音画像配置図は、現時点において前記音出力部から出力される音に対応する音画像が認識可能であり、且つ、現時点を含む現時点から過去の時間帯、現時点を含む現時点から未来の時間帯、現時点を含む過去から未来の時間帯の３つの時間帯のうち、何れかの時間帯における音画像を含み、
前記生成手段は、
前記音データの再生速度に応じて、前記音画像配置図の前記時間軸の縮尺を変更することを特徴とする再生装置。
蓄積された音データ又は外部から逐次入力される音データに基づく音を再生して音出力部から出力する再生装置において、
音データを記憶する音データ記憶手段と、
前記音データ記憶手段に記憶された音データを、所定の分析条件に従って分析する分析手段と、
前記分析手段による分析結果を、分析結果に対応して予め設定された画像データに変換する画像化手段と、
前記画像化手段により画像化された画像データに基づく音画像を、現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図を生成する生成手段と、
音データに基づく音が前記音出力部から出力される際に、前記生成手段により生成された音画像配置図を表示部に表示させる表示制御手段と、を備え、
前記音画像配置図は、現時点において前記音出力部から出力される音に対応する音画像が認識可能であり、且つ、現時点を含む現時点から過去の時間帯、現時点を含む現時点から未来の時間帯、現時点を含む過去から未来の時間帯の３つの時間帯のうち、何れかの時間帯における音画像を含み、
前記生成手段は、前記時間軸の縮尺が異なる２以上の前記音画像配置図を生成し、
前記表示制御手段は、前記生成手段により生成された前記時間軸の縮尺が異なる２以上の前記音画像配置図を同時に表示部に表示させることを特徴とする再生装置。
蓄積された音データ又は外部から逐次入力される音データに基づく音を再生して音出力部から出力する再生装置において、
音データを記憶する音データ記憶手段と、
前記音データ記憶手段に記憶された音データを、所定の分析条件に従って分析する分析手段と、
前記分析手段による分析結果を、分析結果に対応して予め設定された画像データに変換する画像化手段と、
前記画像化手段により画像化された画像データに基づく音画像を、現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図を生成する生成手段と、
音データに基づく音が前記音出力部から出力される際に、前記生成手段により生成された音画像配置図を表示部に表示させる表示制御手段と、を備え、
前記音画像配置図は、現時点において前記音出力部から出力される音に対応する音画像が認識可能であり、且つ、現時点を含む現時点から過去の時間帯、現時点を含む現時点から未来の時間帯、現時点を含む過去から未来の時間帯の３つの時間帯のうち、何れかの時間帯における音画像を含み、
前記生成手段は、横軸が前記時間軸であって、縦軸方向に前記時間軸の縮尺が変化する前記音画像配置図を生成し、
前記表示制御手段は、前記生成手段により生成された前記縦軸方向に前記時間軸の縮尺が変化する前記音画像配置図を表示部に表示させることを特徴とする再生装置。
蓄積された音データ又は外部から逐次入力される音データに基づく音を再生して音出力部から出力する再生装置において、
音データを記憶する音データ記憶手段と、
前記音データ記憶手段に記憶された音データを、所定の分析条件に従って分析する分析手段と、
前記分析手段による分析結果を、分析結果に対応して予め設定された画像データに変換する画像化手段と、
前記画像化手段により画像化された画像データに基づく音画像を、現時点を起点とした相対的な時間軸に対応付けて配置した音画像配置図を生成する生成手段と、
音データに基づく音が前記音出力部から出力される際に、前記生成手段により生成された音画像配置図を表示部に表示させる表示制御手段と、を備え、
前記音画像配置図は、現時点において前記音出力部から出力される音に対応する音画像が認識可能であり、且つ、現時点を含む現時点から過去の時間帯、現時点を含む現時点から未来の時間帯、現時点を含む過去から未来の時間帯の３つの時間帯のうち、何れかの時間帯における音画像を含み、
前記生成手段は、前記時間軸の縮尺が、第１の時間帯から、この第１の時間帯よりも現時点から遠い第２の時間帯に向かうにつれて小さくなる音画像配置図を生成することを特徴する再生装置。
前記音データと関連付けて映像データを記憶する映像データ記憶手段と、
前記生成手段により生成された音画像配置図と前記映像データ記憶手段に記憶された映像データに基づく映像とを合成した合成画像を生成する合成手段と、を備え、
前記表示制御手段は、
音データに基づく音が前記音出力部から出力される際に、前記合成手段により生成された合成画像を表示部に表示させることを特徴とする請求項１〜４の何れか一項に記載の再生装置。
前記映像データ記憶手段から、所定の時点における代表映像データを抽出する代表映像データ抽出手段を備え、
前記合成手段は、
前記生成手段により生成された音画像配置図と前記映像データ記憶手段に記憶された映像データに基づく映像と前記代表映像データ抽出手段により抽出された代表映像データに基づく画像とを、現時点を起点とした相対的な時間軸に対応付けて合成することを特徴とする請求項５に記載の再生装置。
前記生成手段は、前記音画像配置図に、現時点を示す指標を合成することを特徴とする請求項１〜６の何れか一項に記載の再生装置。
ユーザに操作されることにより、操作信号を出力する操作部を備え、
前記生成手段は、
前記音画像配置図に、再生開始時点を示す目印を合成し、
前記操作部から出力される前記目印を選択する操作信号に基づいて、前記目印に示される再生開始時点から音データの再生を開始する再生制御手段を備えることを特徴とする請求項１〜７の何れか一項に記載の再生装置。