JP4389821B2 - 体動検出装置、コンテンツ再生装置、体動検出方法およびコンテンツ再生方法 - Google Patents

Description

この発明は、例えば、歩行動作などの周期的な体動を検出する装置、方法、これらを利用してコンテンツの再生を行う装置、方法に関する。

例えば、ユーザの歩数を正確に計測したり、人間の動作や行動を自動認識したり、あるいは、ユーザの動きに音楽のテンポを合わせて一体感を得られるようにしたりするなどのために、ユーザの動作（体動）を正確に検出する必要性が生じており、体動の検出に関する技術が種々提案されている。

例えば、特許文献１には、加速度センサを用いて歩行動作を含む体動の検出を行うようにし、閾値判定によって歩行動作の検出を行うようにする技術であって、歩行動作のバリエーションに応じて適切な閾値が設定出来る仕組を備えた歩数計についての技術が開示されている。また、特許文献２には、加速度センサの信号を周波数領域の特徴量に変換し、予め動作と関連づけて蓄積された特徴量とのパターン比較（特徴量のパターン比較）により動作を認識する技術が開示されている。

上記の特許文献１、特許文献２は以下の通りである。
特開平０２−１６１９３２号公報 特開平１０−１１３３４３号公報

ところで、一般に人間の身体に装着した加速度センサの信号の閾値判定によって人間の動作の特定を行う場合、予め決められているような固定的な閾値では床面の状態など環境要因の影響や動作の“癖”などの個人差的な要因の影響を受けやすい。

このため、上述した特許文献１に記載の技術のように適切な閾値をユーザが選択する方法が有効となる。しかしながら、期待する加速度よりたまたま過大もしくは過小な信号が入力されると、それが直接過剰検出や検出漏れにつながるため、加速度センサ出力の閾値に基づいて体動を判定しようとする方法の場合には信号レベルの変動に原理的に脆弱であるといえる。

また、上述した特許文献２に記載の技術の場合、加速度センサから出力されるセンサ信号を特徴量に変換し、この変換した特徴量と登録された特徴量との比較によって体動の種類を認識するので、特徴量パターンを数多く用意しておくことにより認識率も向上する。しかしながら、逆に考えれば、予め登録されている動作以外は検出が不可能であり、特徴量パターンが適切に準備されていない状態では十分な認識率を得られない可能性もある。

このように、従来から、加速度センサから出力されるセンサ信号を用いて人間の動作（体動）を検出しようとする場合、閾値の設定が困難であったり、想定外の動作の検出が原理的に困難であったりするなどの問題があった。

また、上述もしたように、ユーザの動きに音楽のテンポを合わせて一体感を得られるようにするために、ユーザの体動の周期を検出しようとする場合、音楽の再生時において、リアルタイムにユーザの体動を検出してその周期を正確に把握することができなければならないので、リアルタイム性、正確性に加え、処理の負荷ができるだけ少ない方が好ましい。

以上のことにかんがみ、この発明は、上記問題点を一掃し、動作が行われる周囲の環境や人間の動作上の“癖”などに左右されること無く、正確に、かつ、簡単にユーザの動作の周期についての情報を得ることができるようにする装置、方法、これらを用いてコンテンツ再生する装置、方法を提供することを目的とする。

上記課題を解決するため、請求項１に記載の発明の体動検出装置は、
体動を計測し、その計測結果を時系列信号として出力する計測手段と、
前記計測手段からの前記時系列信号の所定位置から所定区間長の基準信号を切り出し、前記基準信号とその近傍の前記所定区間長の時系列信号との相関の強さを検出する検出手段と、
前記検出手段においての処理の対象となる前記所定区間長の前記時系列信号のエネルギーを算出する算出手段と、
前記検出手段からの検出出力に基づいて、前記体動の周期性の有無と周期との一方または両方を判定する判定手段と
を備え、
前記検出手段は、自己相関係数Ｒ（τ）を算出することにより、前記基準信号とその近傍の前記所定区間長の信号との相関の強さを検出し、
前記判定手段は、
前記算出手段により算出された前記時系列信号のエネルギーが所定の閾値より小さい場合には、体動自体がないと判定し、
前記検出手段からの前記自己相関係数Ｒ（τ）が、０＜τ≦Ｍ（Ｍは自己相関係数の次数を決めるＮ以下の自然数）の範囲でピーク値となるτのうち最小のものをτｐとするとき、τｐの整数倍の位置の、あるいは、当該τｐの整数倍の近傍の位置の自己相関係数がピーク値であるか否かを判別し、この判別結果に基づいて、前記体動が周期的な体動か否かを判定し、
前記検出手段からの前記自己相関係数Ｒ（τ）が、０＜τ≦Ｍ（Ｍは自己相関係数の次数を決めるＮ以下の自然数）の範囲でピーク値となるτを特定し、隣接するピーク値間を前記計測手段からの前記時系列信号の周期とし、特定した前記τに基づいて求められるその時間周期を体動の周期とする。

また、請求項２に記載の発明のコンテンツ再生装置は、
コンテンツデータを再生処理する再生手段と、
体動を計測し、その計測結果を時系列信号として出力する計測手段と、
前記計測手段からの前記時系列信号の所定位置から所定区間長の基準信号を切り出し、前記基準信号とその近傍の前記所定区間長の時系列信号との相関の強さを検出する検出手段と、
前記検出手段においての処理の対象となる前記所定区間長の前記時系列信号のエネルギーを算出する算出手段と、
前記検出手段からの検出出力に基づいて、前記体動の周期を特定する特定手段と、
前記特定手段によって特定された前記体動の周期に合致するように、前記再生手段を制御して、前記コンテンツデータの再生速度を制御する制御手段と
を備え、
前記検出手段は、自己相関係数Ｒ（τ）を算出することにより、前記基準信号とその近傍の前記所定区間長の信号との相関の強さを検出し、
前記特定手段は、
前記算出手段により算出された前記時系列信号のエネルギーが所定の閾値より小さい場合には、体動自体がないと判定し、
前記検出手段からの前記自己相関係数Ｒ（τ）が、０＜τ≦Ｍ（Ｍは自己相関係数の次数を決めるＮ以下の自然数）の範囲でピーク値となるτのうち最小のものをτｐとするとき、τｐの整数倍の位置の、あるいは、当該τｐの整数倍の近傍の位置の自己相関係数がピーク値であるか否かを判別し、この判別結果に基づいて、前記体動が周期的な体動か否かを特定し、
前記検出手段からの前記自己相関係数Ｒ（τ）が、０＜τ≦Ｍ（Ｍは自己相関係数の次数を決めるＮ以下の自然数）の範囲でピーク値となるτを特定し、隣接するピーク値間を前記計測手段からの前記時系列信号の周期とし、その時間周期を体動の周期とする。

第１の発明によれば、外部環境や人間の動作上の“癖”などに左右されること無く、正確に、かつ、簡単にユーザの動作についての情報を得て、これを利用することができる。すなわち、従来の体動検出装置のように動作と関連づけられた特徴量を事前に蓄積して臆などの必要が無いので、広く一般的に周期的な体動（リズミカルなユーザの動き）を検出することが可能となる。

第２の発明によれば、音楽のリズムと人間の体の動きのリズムとを連動させるようにすることができ、従来型の再生機器では出来なかった音楽の楽しみ方が可能となる。すなわち、音楽と人間の動きの一体感が得られたり、逆に音楽の再生速度を変更させるために体を動かしたりするなどのことが可能になる。したがって、聴き飽きてしまった音楽も体の動きと連動する速度で再生されることによって新たな発見があったりなどの効果が期待出来る。

以下、図を参照しながら、この発明による装置、方法の一実施の形態について説明する。以下に説明する実施の形態にいては、この発明による装置、方法を携帯型の音響再生装置（以下、単に音響再生装置という。）に適用した場合を例にして説明する。

［音響再生装置について］
図１は、この実施の形態の音響再生装置を説明するためのブロック図である。図１に示すように、この実施の形態の音響再生装置は、体動センサ１と、周期性・周期検出部２と、音楽データ蓄積部３と、再生速度決定部４と、音楽再生制御部５と、音響信号再生部６と、スピーカあるいはヘッドホンやイヤホンなどの音響変換器７と、操作部８と、表示部９とを備えたものである。

体動センサ１は、ユーザの体（身体）に装着するようにされ、ユーザの体の動き（体動）を検し、これに応じた電気信号を出力するものである。具体的には、加速度センサや角速度センサなどを用いることが可能である。体動センサ１として加速度センサを用いることにより、体の動きとその強度に応じて変化する電圧出力を得ることができる。この実施の形態の音響再生装置においては、体動センサ１として例えば加速度センサを用いるものとする。

なお、体動センサ１の装着位置は、当該体動センサ１がぶれるとノイズの原因となるためユーザの体にできるだけ密着する方がよく、なおかつユーザの体の動きを阻害しない事が望ましい。例えば、ユーザの頭部に装着されるヘッドホン本体に体動センサ１を装着するようにすることができる。このようにした場合には、ユーザの負担や違和感が少なくて済む。また、体動センサ１をヘッドホンに装着した場合は、ユーザの頭の動きのほかに、上半身や体幹部の動きを反映したセンサ出力が得られる。

また、この実施の形態の音響再生装置の体動センサ１は、ある程度定常的な信号入力が無いと検出されないため、リズムが頻繁に変わる動きよりも、歩行などある程度一定のリズム（一定の周期）が維持される動きの検出に適したものである。ここで、周期とは、繰り返し行われる動作の開始点と終了点との時間間隔を意味している。

体動センサ１からのセンサ出力は、周期性・周期検出部２に供給される。周期性・周期検出部２は、体動センサ１からのセンサ出力を解析することによって、ユーザの体動は周期性のあるものか、周期性のある体動である場合には、その周期はどれ位かを検出し、検出した周期を示す情報を再生速度決定部４に供給する。

この実施の形態においては、ユーザの体動の中でも、周期性のある体動を検出するようにしている。周期性のある体動には、例えば、ウォーキング、ジョギング、ランニング、屈伸運動、腹筋運動、腕の振りなど、所定の動作が一定の周期で繰り返し行われるような種々のいわゆるリズミカルに行われる動きが含まれる。

そして、詳しくは後述もするが、この音響再生装置の周期性・周期検出部２は、動作が行われる周囲の環境や人間の動作上の“癖”などの影響を受けることなく、周期的な動作が行われているか否かを判別し、周期的な動作が行われているときにはその周期をも検出することができるようにしている。

音楽データ蓄積部３は、ハードディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、ＭＤ（Mini Disc（登録商標））などの光磁気ディスク、フラッシュメモリなどの半導体メモリなどの記録媒体を備えたドライブである。この実施の形態の音響再生装置において、音楽データ蓄積部３は、記録媒体として小型のハードディスクが搭載されたハードディスクドライブであるものとする。

そして、音楽データ蓄積部３には、この音響再生装置において再生する種々の音楽（楽曲）の音楽データ（デジタルデータ）と、各音楽データに対応してその音楽のテンポに関する情報が記録保持されている。音楽データとしては、デジタル化されただけの音楽信号そのもの、ＭＩＤＩ（Musical Instrument Digital Interface）データなどの楽譜に相当する形式のデータ、ＰＣＭ（Pulse Code Modulation）データなどのサンプリングされた波形データ、ＡＴＲＡＣ（Adaptive Transform Acoustic Coding）方式やＭＰ３（MPEG1 Audio Layer 3）方式などの符号化方式で処理されたビットストリームなどの種々の形式のものがある。

また、各音楽データに対応するテンポに関する情報は、例えば、四分音符換算で幾つ音符が存在するかといった数値で表現される。なお、曲の途中でテンポが変化する楽曲もあるため、テンポの変わり目の時刻とそのテンポの持続時間といった、時間に関する情報も付加される。

また、各音楽データに対応するテンポに関する情報は、音楽データがＭＩＤＩデータである場合にはテンポ情報として通常記録されている情報を用いればよい。また、音楽データが、ＭＩＤＩデータ以外の例えばＰＣＭデータなどの音響波形に基づくデータであれば、その音楽データについて予め解析を行うことによってテンポに関する情報を定めておき、これを楽曲に付随するメタデータの形で記憶保持するようにする。なお、音声データの再生時においてリアルタイムに当該音声データを分析するなどしてテンポに関する情報を算出し、これを用いるようにすることも可能である。

そして、再生速度決定部４は、周期性・周期検出部２からの体動の周期と、音楽データ蓄積部３から取得する再生中の音楽データについてのテンポに関する情報とに基づいて、再生中の音楽データの再生速度を決定し、この決定した再生速度で音楽データの再生を行うように音楽再生制御部５に対して指示を出す。

具体的には、一番最近に周期性・周期検出部２から供給を受けた体動の周期（体動のサンプル周期）をＬ１とし、デジタル信号のサンプリング周波数をＦｓとし、体動の一周期を四分音符の長さとして、体動をテンポＴｂに換算すると、Ｔｂ＝６０Ｆｓ／Ｌ１となる。このとき、再生速度決定部４は、現在の再生位置の音楽データの再生テンポをＴｍとしたとき、通常の再生速度と比較してＴｂ／Ｔｍ倍（Ｔｍ分のＴｂ倍）の速度で音楽データを再生するように音楽再生制御部５に対して指示を出す。

なお、再生速度が音楽として聴きとれないほど極端に変化するのでは音響再生装置としては適切でない。そこで、例えば、Ｔｂ＜Ｔｍ／２の場合（ＴｂよりＴｍ／２の方が大きい場合）には、再生速度係数Ｘ＝０．５とし、Ｔｂ＞２Ｔｍの場合（Ｔｂの方が２Ｔｍより大きい場合）には、再生速度係数Ｘ＝２とし、これ以外の場合、すなわち、Ｔｂ≧Ｔｍ／２かつＴｂ≦２Ｔｍの場合（ＴｂがＴｍ／２以上で、かつ、Ｔｂが２Ｔｍ以下である場合）には、再生速度係数Ｘ＝Ｔｂ／Ｔｍとして、Ｘ倍速で再生するように制御することによって、再生速度を通常の再生速度の０．５倍速から２倍速までの範囲に限定することが可能である。

なお、上述したように、この明細書において、記号“＞”、“＜”、“≧”、“≦”のそれぞれは、数学における不等号として用いており、２つの値や式の大小関係を示すためにもちいている。また、言うまでも無く、記号“＝”は、数学における等号として用いており、２つの値や式が等しいことを示すためにもちいている。

そして、音楽再生制御部５は、操作部８を通じてユーザから指示された音楽データを音楽データ蓄積部３から読み出して再生する処理を行い、処理後の音楽データを音響信号再生部６に供給する。この場合、音楽再生制御部５は、再生速度決定部４からの指示に応じた再生速度となるように、再生速度の制御を行う。

音楽再生制御部５においては、再生対象の音楽データがＭＩＤＩデータである場合には、再生速度の変更は、当該ＭＩＤＩデータのテンポに関するパラメータを変更するだけでよい。しかし、再生対象の音楽データがＰＣＭデータなどの音響波形に基づくデータである場合には、再生対象の音楽データ（音響波形信号）を加工するなどして音響波形信号の時間軸上の伸縮を行ったうえで、再生を行うようにする。

音響信号再生部６は、音楽再生制御部５からの音楽データから再生用のアナログ音声信号を形成する。例えば、音楽再生制御部５からの音楽データがＭＩＤＩデータである場合には、当該ＭＩＤＩデータのパラメータにしたがって再生用のアナログ音声信号を形成し、これを音響変換器７に供給する。また、音楽再生制御部５からの音声データが、上述したように加工処理された音声データである場合には、Ｄ／Ａ（Digital/Analog）変換するなどの処理を行って、再生用のアナログ音声信号を形成し、これを音響変換器７に供給する。

これにより、スピーカやヘッドホンなどである音響変換器７からは、ユーザにより指定され音楽データ蓄積部３から読み出された再生対象の音声データに応じた音楽（楽曲）が放音するようにされる。

また、音楽再生制御部５に接続された表示部９は、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electronic Luminescence）ディスプレイなどの薄型の表示素子を備え、例えば、再生可能な音声データについての情報や、再生速度についての情報、操作ガイダンスなどの種々の操作メッセージを表示することができるものである。

なお、図示しないが、この実施の形態の音響再生装置には、例えば、パーソナルコンピュータなどの外部機器との接続を可能にするための入出力端子や外部Ｉ／Ｆを備え、パーソナルコンピュータなどの外部機器から音楽データの提供を受けて、これを音楽データ蓄積部３に記録するなどのことができるようにされる。

そして、上述もしたように、ユーザは、操作部８を通じて指示情報を入力することにより、音楽データ蓄積部３に蓄積されている多数の音楽データの中から目的とする音楽（楽曲）の音楽データを選択し、その選択した音声データについて、再生して聴取することができるようにされる。もちろん、早送り、早戻し、停止、一時停止などの種々の処理を行うことも可能である。

また、この実施の形態の音響再生装置は、携帯型のものであり、例えば、ウォーキングやジョギングなどの運動をしながら音楽を聴取するために利用される場合もある。このようにユーザが何らかの運動をしながら利用する場合、そのユーザの運動（ユーザの体動）が、体動センサ１によって検知され、これが電気信号として周期性・周期検出部２に供給され、ユーザの体動が周期的なものか、周期的なものである場合にはその周期はどれ位かが検出される。

そして、再生速度決定部４において、再生中の音楽データの再生速度（テンポ）が、周期性・周期検出部２において検出されたユーザの体動の周期に合致（一致）するように、再生中の音楽データの再生速度が決定され、この決定された再生速度に従って、音楽再生制御部５によって音楽データが再生される。

これにより、ユーザは自分の体動の周期に合致するように音楽データを再生することができるので、再生される音楽に対して一体感を感じることができるなど、新たな態様で音楽データを利用することができる。また、再生される音楽に合わせて、周期的な体動の周期を維持して、当該周期的な体動を無理なく継続させることができ、運動効率を上げるなどのことができるようにされる。

［体動の周期性の有無、体動の周期の検出について］
次に、この実施の形態の音響再生装置の体動センサ１および周期性・周期検出部２よって行われるユーザの体動が周期的なものか否かの検出および周期的な体動である場合の周期の検出について説明する。図２は、この実施の形態の音響再生装置の体動センサ１、周期性・周期検出部２の構成を説明するためのブロック図である。また、図３は、周期性・周期検出部２において行われる処理において用いられる計算式を示す図である。

図２に示すように、この実施の形態の音響再生装置の体動センサ１は、３軸（Ｘ軸、Ｙ軸、Ｚ軸）の加速度センサによって構成されたものであり、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向それぞれのユーザの体動を検知し、この検知した体動に応じたアナログ時系列信号を出力する。体動センサ１からの３軸のそれぞれのセンサ出力（アナログ時系列信号）は、周期性・周期検出部２に供給される。

周期性・周期検出部２は、図２に示すように、Ａ／Ｄ（Analog/Digital）変換部２１と、演算処理部２２とを備えたものである。Ａ／Ｄ変換部２１は、３軸のそれぞれのセンサ出力用に、Ａ／Ｄ変換器２１１、２１２、２１３を備えている。また、演算処理部２２は、ＣＰＵ（Central Processing Unit）２２１と、ＲＯＭ（Read Only Memory）２２２と、ＲＡＭ（Random Access Memory）２２３とがＣＰＵバス２２４を通じて接続され、マイクロコンピュータの構成とされたものである。

そして、図２に示したように、Ｘ軸のセンサ出力はＡ／Ｄ変換器２１１に、Ｙ軸のセンサ出力はＡ／Ｄ変換器２１２に、Ｚ軸のセンサ出力はＡ／Ｄ変換器２１３に供給される。Ａ／Ｄ変換器２１１、２１２、２１３のそれぞれにおいては、体動センサ１から供給された対応する軸のセンサ出力をデジタル時系列信号に変換し、これらを演算処理部２２に供給する。

演算処理部２２は、Ａ／Ｄ変換部２１からの各軸のデジタル時系列信号をＣＰＵ２２１からの割り込み動作などにより取り込み、ＲＡＭ２２３などにデジタル時系列信号として蓄積するようにする。そして、演算処理部２２は、ＣＰＵ２２１からの割り込み動作などの所定のタイミングでＲＡＭ２２３に蓄積されたデジタル時系列信号を解析対象となるデジタル時系列信号として、詳しくは後述もするように、三次元空間における加速度ベクトルのノルムを計算し、これをＲＡＭ２２３の記憶領域に一次元の時系列データｘ（ｎ）として格納し、ｘ（ｎ）を分析して周期性を判定する。このように、３軸のセンサを用い、加速度ベクトルのノルムを分析対象とすることによって、動きの向きや体動センサ１を装着する向きによらずに、運動の検出が可能となる。

具体的には、演算処理部２２は、解析対象となるデジタル時系列信号の所定位置から所定区間長の基準信号を切り出し、この切り出した基準信号とその近傍の所定区間長の信号との相関の強さを順次に求め、この相関の強さに基づいて、体動の周期性の有無、周期性がある場合にはその周期を判定するようにしている。

この実施の形態においては、ユーザの体動が同じ動きを繰り返すようなものであるかどうかを、上述もしたように、加速度センサによって構成される体動センサ１から得られる時系列信号の周期性を検出することにより判定するために、閾値の設定値が検出精度に大きな影響を及ぼしたり、ユーザの体動の“癖”の影響を受けたりすることなく、かつ、ユーザの体動の種類に限定されることもないようにして、ユーザのリズミカルな体の動き（体動）を検出することができるようにしている。

周期性の有無の判定や周期を判定する方法としては、例えば、移動平均法、これを発展させた指数平滑法、多項式回帰分析、スペクトル密度を用いた解析など、ランダム変動の解析に用いられる種々の統計的あるいは数学的な時系列分析方法を用いることが可能である。しかし、この実施の形態においては、自己相関係数Ｒ（τ）を用いて、周期性の有無の判定や周期を判定するようにしている。

自己相関係数Ｒ（τ）は、図３に示した（１）式によって求められる値である。つまり、自己相関係数Ｒ（τ）は、固定サンプル長Ｎ分のデジタル時系列信号の切り出しを行ってＮ次元ベクトルの基準信号とし、切り出しを行った区間近傍でもＮサンプルの時系列信号を切り出すとともに基準信号との内積を取り、内積の値の大小により区間信号の相関を求めることに相当する。

換言すれば、図３に示した（１）式において、関数ｘ（ｎ）は、周期性の有無および周期の検出対象となる体動センサ１からのセンサ出力に応じたデジタル時系列信号である。そして、自己相関係数Ｒ（τ）は、デジタル時系列信号ｘ（ｎ）において、値（変数）ｎ＝０〜Ｎ−１までを基準信号（所定位置“０”から所定区間長“Ｎ”の基準信号）とし、この基準信号と、この基準信号と同じ区間長を持ち、基準信号に対して値τだけずれた（離れた）相関検出対象信号であるデジタル時系列信号ｘ（ｎ−τ）との相関の強さを表すものである。このように、値τは、基準信号に対する相関検出対象信号のずれ量、すなわち基準信号と相関検出対象信号との間の距離（時間差）に相当するものであり、例えばサンプル数によって表されるものである。

そして、自己相関係数Ｒ（τ）は、デジタル時系列信号ｘ（ｎ）から切り出すようにした基準信号と、基準信号と同じ区間長を持ち基準信号に対して値τだけ離れたデジタル時系列信号ｘ（ｎ−τ）との相関が強ければ（相関が高ければ）大きな値となり、逆に相関が弱ければ（相関が低ければ）小さな値となるものである。

したがって、値（変数）τを０〜Ｍまで変化させた場合の自己相関係数Ｒ（τ）の値の変化が周期的なものであれば、ユーザの体動は周期的なものであると判定することができる。そして、ユーザの体動が周期的なものである場合には、値τを０〜Ｍまで変化させた場合の自己相関係数（自己相関関数）Ｒ（τ）の隣接するピーク値間の長さが、ユーザの体動の１周期分の長さであると判定することができる。

なお、上述もしたように、この明細書においてピーク値という文言は、値が変化する場合にその変化の頂点の値を意味する。換言すれば、変化する値が上昇から下降に転じる直前の値であって、最大のものであり、値が周期的に変化する場合、その値は１周期毎にピーク値となる。

また、図３にも示したように、値（変数）τ、値（変数）Ｍ、値（変数）ｎは、０≦τ≦Ｍ≦Ｎと言う関係にあり、値Ｍは、自己相関係数の次数（区間長に相当）を決めるＮ以下の自然数である。

そして、この実施の形態の音響再生装置の体動センサ１は、上述もしたように、３軸の加速度センサであり、３軸それぞれのセンサ出力を周期性・周期検出部２に供給する。このため、各軸のセンサ出力のそれぞれについて、図３の（１）式にしたがって自己相関係数を求め、それぞれの周期性を調べることが可能である。

しかし、各軸のセンサ信号それぞれについて周期性を調べるのでは、処理の負荷が大きくなったり、最終的にユーザの体動の周期性を判定する場合の処理が複雑になったりすることがある。そこで、この実施の形態の音響再生装置においては、各軸のセンサ出力から周期性や周期を検出するために用いるデジタル時系列信号を形成する。

具体的には、これは、センサの軸数ＬをＬ＝２もしくは３としたとき、各軸の時系列データをｘｉ（ｎ）［１≦ｉ≦Ｌ］とした場合に、図３の（２）式によって算出されるデジタル時系列データｘ（ｎ）を周期性や周期を検出するために用いるデジタル時系列信号とする。端的に言えば、この実施の形態においては、加速度ベクトルのノルム、すなわち各軸のセンサ出力のＡ／Ｄ変換後の値の２乗和の平方根を取ることによって形成した信号を体動の周期性や周期を検出するために用いるデジタル時系列信号としている。

なお、図３の（２）式によって、周期性や周期を検出するために用いるデジタル時系列信号を形成する方法は一例であり、多軸の体動センサを用いる場合には、何らかのデジタル的もしくはアナログ的な演算によって一次元の時系列信号に変換し、その周期性や周期を調べるようにすればよい。

もちろん、演算処理部２２の処理能力が高い場合などにおいては、多軸のセンサを用いる場合にそれぞれの軸のセンサ出力ごとに周期性を調べるようにし、その内の１つ、あるいは、各軸のセンサ出力ごとの周期性の検出結果に基づいて、ユーザの体動の周期性の有無および周期を特定するようにしてもよい。

また、ここでは多軸の体動センサを用いる場合について説明したが、これに限るものではない。例えば、ユーザの異なる部位に複数のセンサを取り付ける場合など、すなわち、複数のセンサを用いる場合には、同様にして一次元の時系列信号に変換し、その周期性や周期を調べるようにすればよい。

なお、自己相関係数Ｒ（τ）を計算するための基準信号や演算対象信号である所定区間長の信号の切り出しは、直前の周期判定（リズム判定）の結果などに基づいて、１周期分切り出す方法も考えられる。しかし、この実施の形態においては、より簡便な方法として一定の間隔と幅で信号を機械的に切り出す方法を用いるようにしている。一定の幅で切り出した信号を用いるようにした場合には、その信号区間長の信号の周期性の強弱やその周期が自己相関係数に反映されることを利用することができる。

但しその場合に、自己相関係数の最大値を求めるだけで信号の周期性の判定や周期の決定を行うような単純な方法では、周期的でない信号を周期性があると誤判定するなどの問題が生じる。そこで、真に周期性のある信号であるかの判定を行うための機構が備わっていることが望ましい。

すなわち、ユーザの体動の周期は、上述もしたように、値τを０〜Ｍまで変化させた場合の自己相関係数（自己相関関数）Ｒ（τ）の隣接するピーク値間の長さを１周期の長さであると特定することができるが、その前にユーザの体動が周期的なものか否かを正確に判定できることが望ましい。

そこで、この実施の形態の音響再生装置においては、自己相関係数Ｒ（τ）が、０≦τ≦Ｍの範囲でピーク値となる値τのうち最小のもの（原点（値τ＝０）に一番近いピーク値に対応する値τ）を値τｐとし、この値τｐの整数倍の位置、あるいは、値τｐの整数倍の近傍の位置にピーク値が存在するか否を調べることによって、体動が周期的なものか否かを判別するようにしている。

具体的には、値ｋを図３の（３）式を満たす範囲の自然数とし、値Δ（デルタ）を小さな自然数としたときに、図３の（４）式を満たす範囲のτのうち、自己相関係数Ｒ（τ）がピーク値であるかどうかをチェックし、それに基づいて体動の周期性の判定および体動の周期の判定（特定）を行う。

換言すれば、上述もしたように、周期的に変動する値の場合、１周期ごとにピーク値が到来するので、１周期の長さとみなした値τｐの整数倍の位置、あるいは、その近傍にピーク値が存在すれば、ユーザの体動は周期的なものであると判定することができ、値τｐの長さを１周期の長さと特定することができる。

そして、この実施の形態の音響再生装置においては、図３の（５）式に示すように、求めた自己相関係数Ｒ（τ）を、自己相関係数Ｒ（０）で正規化した値ｒ（τ）を求め、このｒ（τ）が予め決められる閾値以上でない場合には、ピーク値としては用いないようにする。このように正規化を行うのは、体動の強度の違いなどから起こる信号の振幅の変動に影響されることなく、自己相関係数のピーク値の判定を適切に行うためである。

すなわち、華奢な女性がすり足で歩いた場合と、屈強な男性がのっしのっしとあるいた場合とではセンサ信号の振幅は異なる。したがって、正規化しない自己相関係数に対して固定的な閾値により周期を判定するようにした場合には、上述の例の場合には女性の方だけが信号の周期性の如何にかかわらず検出から漏れてしまうことになる。このような検出信号の振幅の変動に影響を受けないために、正規化を行うのである。

なお、上述のようにして、ユーザの体動の周期性の有無や周期の検出を行う前に、体動センサ１からのセンサ出力のエネルギーＰが、所定レベル以上か否かを判別するようにして、所定レベル以上である場合においてのみ、ユーザの体動の周期性の有無や周期の検出を行うようにしてもよい。ここで、センサ出力のエネルギーとは、信号区間の時系列サンプルの二乗和であり、０次の自己相関係数Ｒ（０）をエネルギーＰとしてもよい。

このように、センサ出力のエネルギーＰを処理を行うか否かの判断基準として用いることによって、ユーザが明らかに静止している場合などにおいて、無駄にユーザの体動の周期性の有無の検出などを行うことがないようにすることができる。

この実施の形態の周期性・周期検出部２２おいては、上述のように種々の演算を行って、ユーザの体動の周期性の有無を判定したり、ユーザの体動が周期的なものである場合には、その周期を特定したりすることができるようにしている。

次に、この実施の形態の周期性・周期検出部２の演算処理部２２において行われるユーザの体動の周期性の有無の検出処理および周期の特定処理について、図４〜図６のフローチャートを参照しながら説明する。まず、処理の全体について説明する前に自己相関係数の算出処理について説明する。

図４は、自己相関係数Ｒ（τ）の算出処理を説明するためのフローチャートである。この図４に示す処理、および、図５、図６を用いて後述する処理は、いずれも周期性・周期検出部２の演算処理部２２において実行される処理である。

自己相関係数Ｒ（τ）を計算する場合、演算処理部２２は、値（変数）τをゼロクリア（初期化）し（ステップＳ１）、値（変数）ｎ、および、自己相関係数Ｒ（τ）をゼロクリア（初期化）する（ステップＳ２）。そして、Ｒ（τ）＝Ｒ（τ）＋ｘ（ｎ）ｘ（ｎ−τ）なる演算を行い（ステップＳ３）、値ｎに対して１をインクリメントする（ステップＳ４）。

そして、値ｎが、値Ｎより小さいか否か、すなわち、切り出した所定の区間長の信号の全てについて（ステップＳ３）の演算を行ったか否かを判断し（ステップＳ５）、小さいと判断した場合には、所定区間長の信号の全てを対象として自己相関係数Ｒ（τ）を計算する処理は終了していないので、ステップＳ３からの処理を繰り返す。すなわち、ステップＳ３からステップＳ５によって形成されるループが、自己相関係数Ｒ（τ）を計算する処理であり、図３の（１）式の演算を行う処理である。

そして、ステップＳ５の判断処理において、値ｎが値Ｎ以上になったと判断した場合には、所定区間長の信号の全てを対象する自己相関係数Ｒ（τ）の計算が終了したので、値τに１をインクリメントし（ステップＳ６）、値τが値Ｍより小さいか否かを判断する（ステップＳ７）。すなわち、基準信号ｘ（ｎ）と、信号ｘ（ｎ−０）から信号ｘ（ｎ−Ｍ）までの各信号との間で自己相関係数を求める処理が終了したか否かを判断するようにしている。

ステップＳ７の判断処理において、値τが値Ｍより小さいと判断したときには、インクリメントされて新たな値となった値τを用い、基準信号ｘ（ｎ）と信号ｘ（ｎ−τ）との間の自己相関係数を求めるために、ステップＳ２からの処理を繰り返す。また、ステップＳ７の判断処理において、値τが値Ｍ以上であると判断したときには、一連の自己相関係数の算出処理、すなわち、基準信号ｘ（ｎ）と、信号ｘ（ｎ−０）から信号ｘ（ｎ−Ｍ）までの各信号との間で自己相関係数を求める処理が終了したので、この図４に示した自己相関係数の算出処理を終了する。

このようにして、体動センサ１からのセンサ出力に基づいて、ユーザの体動についての自己相関係数Ｒ（τ）を算出することができるようにされる。

なお、自己相関係数の計算に必要なｘ（ｎ）は、実際にはＮ＋Ｍサンプルあれば十分であり、メモリ領域節約のため長さＮ＋Ｍのリングバッファに格納されることになる。しかし、説明を簡単にするため、図４においてはリングバッファに関する操作は適切に行われるものとして省略した。

次に、自己相関係数Ｒ（τ）を用いて行うユーザの体動の周期性の有無の検出処理および周期の特定処理について、図５、図６のフローチャートを参照しながら詳細に説明する。図５、図６に示す処理は、この実施の形態の音響再生装置において、音楽データ蓄積部３に蓄積されている音楽データの再生時において、周期性・周期検出部２のＣＰＵ２２１の割り込み動作などにより、周期性・周期検出部２の主に演算処理部２２において、適宜のタイミングで行われる処理である。

まず、演算処理部２２は、体動センサ１から供給され、Ａ／Ｄ変換部２１でデジタル時系列信号に変換されて、演算処理部２２のＲＡＭ２２３に蓄積されたセンサ出力ｘ（ｎ）を用い、図４に示したフローチャートに示した処理にしたがって自己相関係数Ｒ（τ）を計算する（ステップＳ１０１）。

そして、演算処理部２２は、信号エネルギー（０次の自己相関係数Ｒ（０））と予め設定された閾値ＴＲを比較し（ステップＳ１０２）、０次の自己相関係数Ｒ（０）＞閾値ＴＲを満たさなければ（自己相関係数Ｒ（０）が、閾値ＴＲ以下である場合には）、ユーザの体動そのものが無く静止しているものと判定し、体動は無しと判定する。

この閾値判定は、上述もしたように、明らかに静止をしている時に無駄な計算をしないようにするとともに、信号レベルが非常に小さい時の誤検出を防止するためのものである。したがって、閾値ＴＲを必要以上に大きな値に設定すると検出漏れの原因となるため、閾値ＴＲは体動検出の精度に影響をおよぼさない程度のできるだけ小さな値に設定することが望ましい。

ステップＳ１０２の判定処理において、０次の自己相関係数Ｒ０＞閾値ＴＲの条件を満たすと判定した場合には、値（変数）τに“１”をセットし（ステップＳ１０３）、自己相関係数Ｒ（τ）を０次の自己相関係数Ｒ（０）で正規化した係数ｒ（τ）を算出する（ステップＳ１０４）。

そして、演算処理部２２は、値τに１をインクリメントし（ステップＳ１０５）、値τは、値Ｍよりも小さいか否かを判断する（ステップＳ１０６）。ステップＳ１０６の判断処理において、値τが値Ｍより小さいと判断したときには、ステップＳ１０４からの処理を繰り返す。ステップＳ１０６の判断処理において、値τが値Ｍより小さくない（値τが値Ｍ以上である）と判断した場合には、値τに“２”をセットし、値（変数）ｎに“０”をセットする（ステップＳ１０７）。

このステップＳ１０３からステップＳ１０７までの一連の処理（２）では、自己相関係数Ｒ（τ）を０次の自己相関係数Ｒ（０）で正規化することにより、ほぼ−１．０から１．０の範囲の値を取り、信号の周期性が強い時に、その信号周期および周期の整数倍の位置に近い正の値を取る正規化された自己相関係数ｒ（τ）を得るようにしている。

次に、正規化された自己相関係数ｒ（τ）がピーク値であるか否かを判定するための値ｆを求める計算を行う（ステップＳ１０８）。ステップＳ１０８で求められる値ｆは、係数ｒ（τ）がピーク値である場合には“０”より大きくなるが、係数ｒ（τ）がピーク値でない場合には“０”以下になるものである。

そして、演算処理部２２は、ステップＳ１０８で求めた値ｆが“０”より大きく、かつ、係数ｒ（τ）が１．０未満の値を取る予め決められた閾値Ｔτより大きいか否かを判断する（ステップＳ１０９）。ステップＳ１０９の判断処理において、値ｆが“０”より大きく、かつ、係数ｒ（τ）が閾値Ｔτより大きいと判断した場合には、レジスタｃ（ｎ）にτをセットし、値ｎに１をインクリメントする（ステップＳ１１０）。

ステップＳ１０９の判断処理において、値ｆが“０”より大きく、かつ、ｒ（τ）が閾値Ｔτより大きいという条件を満足しないと判断した場合、または、ステップＳ１１０の処理の後においては、値τに１をインクリメントし（ステップＳ１１１）、値τが値Ｍ−１よりも小さいか否かを判断する（ステップＳ１１２）。ステップＳ１１２の判断処理において、値τが値Ｍ−１よりも小さいと判断した場合には、ステップＳ１０８からの処理を繰り返す。

すなわち、ステップＳ１０８からステップＳ１１２までの一連の処理（３）は、信号の過渡期やノイズ性の信号などではｒ（τ）が突発的に大きな値となる事があり得ることを考慮し、値Ｔτを１．０未満の正の値をとる閾値として、ｒ（τ） がピーク値であり、かつｒ（τ）＞Ｔτの条件を満たすτを求めて小さい方から順にｃ（０）、ｃ（１）、…、ｃ（ｎ）とするものである。すなわち、一連の処理（３）は、ピーク値を取る値τを小さい順にレジスタｃ（０）、ｃ（１）、…、ｃ（ｎ）に格納するものである。

ステップＳ１１２の判断処理において、値τが値Ｍ−１より小さくない（値τが値Ｍ−１以上である）と判断した場合には、図６に示した処理に進み、値ｎが“０”よりも大きいか否かを判断する（ステップＳ１１３）。ステップＳ１１３の判断処理において、ｎが“０”以下であると判断した場合には、一連の処理（３）において、ピーク値が１つも検出できなかったと判別することができ、ユーザの体動は無いと判断する。

ステップＳ１１３の判断処理において、値ｎは“０”より大きいと判断した場合には、値ｉに“１”をセットし（ステップＳ１１４）、ｃ（ｉ）をｃ（０）で割り算した値から、ｃ（ｉ）をｃ（０）で割り算して得た値の整数部分を減算して小数点以下の値ｄを求める（ステップＳ１１５）。

そして、演算処理部２２においては、ステップＳ１１５で求めた値ｄが、予め決められた閾値Δ（デルタ）よりも小さいか否かを判断する（ステップＳ１１６）。このステップＳ１１６は、ピーク値の位置を示す値τが順次に格納されたｃ（０）、ｃ（１）、ｃ（２）、ｃ（３）、…のそれぞれについて、ｃ（０）の整数倍、若しくは、整数倍の近傍に位置するか否かを判断するする処理である。

ステップＳ１１６の判断処理において、値ｄが閾値Δ（デルタ）以上であると判断したときには、周期的な体動は発生していないと判断する。ステップＳ１１６の判断処理において、値ｄが閾値Δ（デルタ）よりも小さいと判断したときには、値ｉに１をインクリメントし（ステップＳ１１７）、値ｉは値ｎより小さいか否かを判断する（ステップＳ１１８）。

すなわち、ステップＳ１１４からステップＳ１１８までの一連の処理（４）は、一連の処理（３）によって求めたｃ（１）、ｃ（２）、ｃ（３）、…のそれぞれが、すべてｃ（０）を整数倍した値の近傍であるかを調べ、もしｃ（０）の整数倍から大きく外れるものがみつかったら、体動センサ１からのセンサ出力は周期的な信号ではないと判定でき、その逆の場合には周期的な信号であると判定することができる。

そして、ステップＳ１１８の判断処理において、値ｉが値ｎより小さくない（値ｉは値ｎ以上である）と判断したとき、体動センサ１からのセンサ出力は周期的なものか否かの判断を終了していないので、ステップＳ１１５からの処理を繰り返す。

ステップＳ１１８の判断処理において、値ｉが値ｎ以上になったと判断したときには、ｃ（０）をＡ／Ｄ変換のサンプリング周波数Ｆで割り算し、これに単位併せのために“１０００”を掛け算することによって、体動の周期Ｔ（ｍｓ（ミリ秒））を求める（ステップＳ１１９）。この場合には、周期的な体動があり、その体動の周期はＴ（ｍｓ）であると特定することができる。すなわち、図６に示した処理（５）（ステップＳ１１９の処理）は、周期的な体動の周期を求める（特定する）処理である。

図４〜図６のフローチャートを用いて説明したように、この実施の形態の音響再生装置の周期性・周期検出部２２おいては、体動センサ１からのセンサ出力についての自己相関係数を算出し、この算出した自己相関係数に基づいて、ユーザの体動があるか否か、また、体動がある場合には周期的か否か、周期的である場合にはその周期はどれ位かを適切かつ迅速に検出することができるようにされる。

図７、図８は、正規化した自己相関係数Ｒ（τ）をプロットしたグラフの例を説明するための図である。図７、図８に示した例の場合には、サンプリング周波数Ｆｓ＝１０００Ｈｚ、Ｍ＝Ｎ＝２０４８サンプルとして、自己相関係数Ｒ（０）で正規化した自己相関係数ｒ（τ）を計算している。グラフでは、上記の「ｒ（τ）がピーク値であり、かつｒ（τ）＞Ｔτ」においてＴｒ＝０．１としたときに、条件を満たす係数の位置を点線で示している。

図７の方は、ランダムに点線が並んでいるので周期性無しと判定される。一方、図８の方はｃ（０）＝５０６のほぼ整数倍の位置に並んでいるため「周期性あり」と判定され、その周期は５０６ｍｓと算出される。

体動周期の検出頻度をＴ（ｍｓ（ミリ秒））に１回とすると、体動の回数Ｋは、Ｋ＝Ｋ＋（Ｔｓ／Ｔｂ）のように検出されるごとに毎回蓄積していくことで数えることができ、このＫをディスプレイに表示したりすることも可能である。

このようにして、ユーザの体動が周期的なものである場合には、周期性・周期検出部２においてユーザの体動の周期が検出され、これが用いられて、再生中の音楽データの再生速度が変更され、ユーザの体動に合致するテンポで当該音楽データが再生するようにされる。

これにより、ユーザは自分の体動と再生されている音楽（楽曲）の再生テンポを一致させることができるようにされ、再生される音楽に対して一体感を感じたり、再生される音楽に合わせてウォーキングやジョギングなどを行うことによって、比較的長い時間にわたって継続することが難しいウォーキング、ジョギング、ランニングなどの有酸素運動をリズムを維持して無理なく持続させるために利用したりするなどのことが可能になる。

なお、上述した実施の形態の音響再生装置においては、体動センサを例えばユーザによって使用されるヘッドホンに装着するものとして説明したが、これに限るものではない。ユーザの体動を検出可能な種々の位置に体動センサを装着することが可能であるし、ユーザの体の複数の場所に体動センサを装着するようにしてもよい。

また、上述した実施の形態の音響再生装置は携帯型のものであり、体動センサ１を音響再生装置内部に搭載するようにしてもよい。ユーザは通常、携帯型の再生装置を衣服のポケットや鞄に入れて持ち運ぶが、衣服のポケットは勿論、鞄も体の動きにほぼ連動した動きの軌跡をたどるため、体に装着したのとほぼ同等なセンサ出力を得ることが出来る。この場合のセンサ出力は、どこに装置を持つかで多少の変動はあるが、少なくとも体幹部の動きを反映した出力は得られる。

また、この場合、音響再生装置は通常ある程度の密度と質量を持ち、ヘッドホンなどと比較して体幹部の動きと無関係な微小振動を起こしにくいため、装置内部に搭載したセンサの信号には微小振動によるノイズ成分が乗りにくいという利点もある。

また、磁気ディスクを搭載した携帯型装置の場合は、磁気ディスクの保護のために落下検出を行う目的で加速度センサを搭載する場合があり、この場合にはその加速度センサのセンサ信号を体動検出のためにも用いることによって、製造コストを抑制することが可能である。

また、加速度センサの軸数は特に問わないが、軸数が多い方が向きによらず様々な動作が検出できる。一方で、多軸の信号をそのまま用いるのでは信号処理が複雑になってしまう。しかし、上述もしたように、例えば互いに直交するＭ軸（１≦Ｍ≦３）のセンサの各軸の信号のそれぞれを、図３の（２）式にしたがって１つの時系列信号を作り出し、これを用いて周期性の解析を行うようにすることによって、複数軸のそれぞれのセンサ出力を考慮した体動の周期性の有無の検出と周期性がある場合にはその周期の検出とを行うことができる。

なお、図３の（２）式にしたがって求める値は、Ｍ次元空間における加速度ベクトルのノルムに相当する量であり、Ｍ次元で表現された加速度ベクトルと比較すると、方向に関する情報が欠落したものとなる。しかし、当該Ｍ次元空間における加速度ベクトルのノルムに相当する量を調べただけでは動きの種類などの特定は困難であるが、この発明の場合には、体動リズムを検出できればよいため十分である。

また、周期性の有無や周期の検出対象となる時系列信号は、図３の（２）式により求められるものに限るものではなく、例えば、ｘｉ（ｎ）の２乗和、すなわち、ｘｉ（ｎ）の２乗の値のｉ＝１からＬまでの総和を周期性の有無や周期の検出対象となる時系列信号とするなど、センサ出力（周期性・周期検出部２への入力信号）を用いた種々の演算により形成することが可能である。

また、体動センサ１は、上述もしたように、加速度センサや角速度センサなど動きを反映する信号波形が得られるものであればどのようなものであっても用いることが可能である。特に、複数の回転方向もしくは軸方向の動きを検出するセンサを用いることで、動作の種類のみならず体動の方向に関する依存性も無くすことが可能である。

また、信号波形の周期性を調べるための演算は、体動センサ１から得られる信号波形をＡ／Ｄ変換して得られる時系列そのものを用いて行ってもよいが、何らかの演算によって他のパラメータの時系列に変換し、その時系列の周期性を調べるようにしてももちろんよい。

また、上述した実施の形態の音響再生装置においては、リズミカルな体動（周期性のある体動）が検出された場合にのみそのテンポと一致するような速度で音楽を再生するようにし、例えば、屋内で座るなどして静止した状態である場合など、リズミカルな体動が検出されないときは通常の速度で音楽を再生するようにして、静止した状態でも適正に利用できることは言うまでも無い。

また、音楽データの再生を行う前に、ユーザの体動の周期を検出するようにし、その検出した体動の周期と同じ周期の再生テンポを有する音楽データを音楽再生制御部５などが自動選局するようにすることも可能である。このため、再生している音楽データの再生テンポを、検出されるユーザの体動の周期に応じて変更する再生音楽のテンポ変更モードと、前もって検出されるユーザの体動の周期と同じ再生テンポの音楽データを自動的に検索して再生する再生音楽のテンポ検索再生モードとを設けることにより、それぞれのモードを使い分けるようにすることができる。

なお、音楽データの再生速度を変更する場合、再生対象の音声データが符号化されている場合はデコード処理によって波形データに戻したうえで、例えば、Ｄ／Ａ（Digital/Analog）コンバータのサンプリング周波数を変更することによって変更することが可能である。但し、その場合は再生される楽音のピッチが変化してしまうため、波形の時間軸上の圧縮/伸長を行う技術としてＰＩＣＯＬＡなどを用いることにより、ピッチを変えずに再生速度だけを変更するようにすることができる。

なお、上述の波形の時間軸上の圧縮/伸長を行う技術であるＰＩＣＯＬＡについての詳細は、「http://keizai.yokkaichi-u.ac.jp/ ikeda/research/picola-jp.html」に開示されている。

また、ユーザの体動の周期性・周期の検出は、上述した自己相関系数を用いる場合のほか、閾値判定により一定以上の強度の運動が検出されることを検出し、その間隔を体動の周期することによって求める方法がある。これは、例えば、ある閾値Ｘを連続して越える区間内にあり、かつその区間で最大値となるサンプル位置を満たすサンプル位置を求め、その条件を満たす互いに隣接するサンプル位置とのサンプル数を過去に向かって順にサンプル数Ｌ１、Ｌ２、…とすると、これらＬｋ（ｋ＝１、２、…）がほぼ一定の値となっていれば信号に周期性があると判定し、Ｌｋをそれぞれの区間の周期とすることで実現できる。

サンプル数Ｌｋがほぼ一定であるか否かの判定は、例えば連続するＭ個のサンプル数Ｌｋがある一定の誤差範囲に収まっていることを条件にする方法がある。例えば、
（１−Δ）Ｌ１≦Ｌｋ≦（１＋Δ）Ｌ１ （２＜ｋ＜Ｍ，０＜Δ＜１）
とし、Δ＝０．１とすれば、Ｌｋが全てＬ１の１０％以内の誤差範囲に収まっているという条件に相当する。

このようにして、閾値を用いたユーザの体動の周期性および周期の検出を行うようにすることも可能である。しかし、図１〜図８を用いて説明した実施の形態のように、ユーザの体動の周期性の有無や周期を検出する場合に、自己相関係数を用いることによって、上述もしたように、ユーザの動きの“癖”などに影響を受けることなく、ユーザの体動の周期性の有無や周期を検出することができる。

また、ユーザの運動を検出する方法としては、加速度センサや加速度センサの他、ひずみゲージなどの物理的な運動を電気信号に変換する種々のセンサを用いたり、あるいは、筋電などの生体信号から人の動きを検出するようにしたりすることもできる。

また、ユーザの自然な体動を自動検出するものに限ることなく、より簡便には、押しボタンなどのスイッチを一定間隔で人が手足で押下し、その周期を算出することによりこれをユーザの体動の周期として用いるようにすることも可能である。このようにした場合には、再生される音楽データの再生速度をゲーム感覚で変更するなどのことができるようにされる。

また、音楽の再生速度の変更は、検出した体動リズムに音楽の再生速度を杓子定規に合わせるのではなく、たとえば変更可能な速度に制限をもたせるなど、音楽として不自然にならないような機構を備えるようにすることももちろん可能である。

また、図２を用いてその構成例を説明し、図３〜図６を用いてその動作例を説明した周期性・周期検出部２のみを、体動検出装置あるいは体動検出回路として構成し、これを提供するようにすることももちろん可能である。このようにした場合には、例えば、歩数計に搭載することによって、歩数のカウント誤差を低減し、正確に歩数のカウントが可能な信頼性の高い歩数計を実現することができる。また、ランニングマシンなどのいわゆるフィットネスマシンに搭載することによって、ユーザの体動の周期性の有無や周期を検出して、ユーザにかける負荷を制御したり、動作リズムを変化させるように制御したりすることが可能なフィットネスマシンを実現することができる。

また、上述した実施の形態においては、音楽データの再生速度を変更する場合を例にして説明したが、これに限るものではない。ユーザの体動の周期に応じて再生速度の変更可能なデータは、話音声などの音楽データ以外の音声データや、動画像データなどであってももちろんよい。

この発明の一実施の形態が適用された音響再生装置の一実施の形態を説明するためのブロック図である。 図１に示した音響再生装置の体動センサ１、周期性・周期検出部２を説明するためのブロック図である。 周期性・周期検出部２で用いられる演算式を説明するための図である。 自己相関係数の算出処理を説明するためのフローチャートである。 体動の周期性の有無および周期の検出処理を説明するためのフローチャートである。 図５に続くフローチャートである。 周期性のない自己相関係数のグラフの例について説明するための図である。 周期性のある自己相関係数のグラフの例について説明するための図である。

符号の説明

１…体動センサ、２…周期性・周期検出部、３…音楽データ蓄積部、４…再生速度決定部、５…音楽再生制御部、６…音響信号再生部、７…音響変換器、８…操作部、９…表示部、２１…Ａ／Ｄ変換部、２１１、２１２、２１３…Ａ／Ｄ変換器、２２…演算処理部、２２１…ＣＰＵ、２２２…ＲＯＭ、２２３…ＲＡＭ、２２４…ＣＰＵバス

Claims (4)

1. 体動を計測し、その計測結果を時系列信号として出力する計測手段と、
   前記計測手段からの前記時系列信号の所定位置から所定区間長の基準信号を切り出し、前記基準信号とその近傍の前記所定区間長の時系列信号との相関の強さを検出する検出手段と、
   前記検出手段においての処理の対象となる前記所定区間長の前記時系列信号のエネルギーを算出する算出手段と、
   前記検出手段からの検出出力に基づいて、前記体動の周期性の有無と周期との一方または両方を判定する判定手段と
   を備え、
   前記検出手段は、自己相関係数Ｒ（τ）を算出することにより、前記基準信号とその近傍の前記所定区間長の信号との相関の強さを検出し、
   前記判定手段は、
   前記算出手段により算出された前記時系列信号のエネルギーが所定の閾値より小さい場合には、体動自体がないと判定し、
   前記検出手段からの前記自己相関係数Ｒ（τ）が、０＜τ≦Ｍ（Ｍは自己相関係数の次数を決めるＮ以下の自然数）の範囲でピーク値となるτのうち最小のものをτｐとするとき、τｐの整数倍の位置の、あるいは、当該τｐの整数倍の近傍の位置の自己相関係数がピーク値であるか否かを判別し、この判別結果に基づいて、前記体動が周期的な体動か否かを判定し、
   前記検出手段からの前記自己相関係数Ｒ（τ）が、０＜τ≦Ｍ（Ｍは自己相関係数の次数を決めるＮ以下の自然数）の範囲でピーク値となるτを特定し、隣接するピーク値間を前記計測手段からの前記時系列信号の周期とし、特定した前記τに基づいて求められるその時間周期を体動の周期とする体動検出装置。
2. コンテンツデータを再生処理する再生手段と、
   体動を計測し、その計測結果を時系列信号として出力する計測手段と、
   前記計測手段からの前記時系列信号の所定位置から所定区間長の基準信号を切り出し、前記基準信号とその近傍の前記所定区間長の時系列信号との相関の強さを検出する検出手段と、
   前記検出手段においての処理の対象となる前記所定区間長の前記時系列信号のエネルギーを算出する算出手段と、
   前記検出手段からの検出出力に基づいて、前記体動の周期を特定する特定手段と、
   前記特定手段によって特定された前記体動の周期に合致するように、前記再生手段を制御して、前記コンテンツデータの再生速度を制御する制御手段と
   を備え、
   前記検出手段は、自己相関係数Ｒ（τ）を算出することにより、前記基準信号とその近傍の前記所定区間長の信号との相関の強さを検出し、
   前記特定手段は、
   前記算出手段により算出された前記時系列信号のエネルギーが所定の閾値より小さい場合には、体動自体がないと判定し、
   前記検出手段からの前記自己相関係数Ｒ（τ）が、０＜τ≦Ｍ（Ｍは自己相関係数の次数を決めるＮ以下の自然数）の範囲でピーク値となるτのうち最小のものをτｐとするとき、τｐの整数倍の位置の、あるいは、当該τｐの整数倍の近傍の位置の自己相関係数がピーク値であるか否かを判別し、この判別結果に基づいて、前記体動が周期的な体動か否かを特定し、
   前記検出手段からの前記自己相関係数Ｒ（τ）が、０＜τ≦Ｍ（Ｍは自己相関係数の次数を決めるＮ以下の自然数）の範囲でピーク値となるτを特定し、隣接するピーク値間を前記計測手段からの前記時系列信号の周期とし、その時間周期を体動の周期とするコンテンツ再生装置。
3. 計測手段が、体動を計測し、その計測結果を時系列信号として出力する計測ステップと、
   検出手段が、前記計測ステップにおいて計測して得た前記時系列信号の所定位置から所定区間長の基準信号を切り出し、前記基準信号とその近傍の前記所定区間長の時系列信号との相関の強さを検出する検出ステップと、
   算出手段が、前記検出ステップにおいての処理の対象となる前記所定区間長の前記時系列信号のエネルギーを算出する算出ステップと、
   判定手段が、前記検出ステップにおいての検出結果に基づいて、前記体動の周期性の有無と周期との一方または両方を判定する判定ステップと
   を有し、
   前記検出ステップにおいては、自己相関係数Ｒ（τ）を算出することにより、前記基準信号とその近傍の前記所定区間長の信号との相関の強さを検出し、
   前記判定ステップにおいては、
   前記算出ステップにおいて算出した前記時系列信号のエネルギーが所定の閾値より小さい場合には、体動自体がないと判定し、
   前記検出ステップにおいて検出した前記自己相関係数Ｒ（τ）が、０＜τ≦Ｍ（Ｍは自己相関係数の次数を決めるＮ以下の自然数）の範囲でピーク値となるτのうち最小のものをτｐとするとき、τｐの整数倍の位置の、あるいは、当該τｐの整数倍の近傍の位置の自己相関係数がピーク値であるか否かを判別し、この判別結果に基づいて、前記体動が周期的な体動か否かを判定し、
   前記検出ステップにおいて検出した前記自己相関係数Ｒ（τ）が、０＜τ≦Ｍ（Ｍは自己相関係数の次数を決めるＮ以下の自然数）の範囲でピーク値となるτを特定し、隣接するピーク値間を前記計測手段からの前記時系列信号の周期とし、特定した前記τに基づいて求められるその時間周期を体動の周期とする体動検出方法。
4. 再生手段が、コンテンツデータを再生処理する再生ステップと、
   計測手段が、体動を計測し、その計測結果を時系列信号として出力する計測ステップと、
   検出手段が、前記計測ステップにおいて計測して得た前記時系列信号の所定位置から所定区間長の基準信号を切り出し、前記基準信号とその近傍の前記所定区間長の時系列信号との相関の強さを検出する検出ステップと、
   算出手段が、前記検出ステップにおいての処理の対象となる前記所定区間長の前記時系列信号のエネルギーを算出する算出ステップと、
   特定手段が、前記検出ステップにおいての検出結果に基づいて、前記体動の周期を特定する特定ステップと、
   制御手段が、前記特定ステップにおいて特定した前記体動の周期に合致するように、前記再生ステップにおいての前記再生処理を制御して、前記コンテンツデータによるコンテンツの再生速度を制御する制御ステップと
   を有し、
   前記検出ステップにおいては、自己相関係数Ｒ（τ）を算出することにより、前記基準信号とその近傍の前記所定区間長の信号との相関の強さを検出し、
   前記特定ステップにおいては、
   前記算出ステップにおいて算出した前記時系列信号のエネルギーが所定の閾値より小さい場合には、体動自体がないと判定し、
   前記検出ステップにおいて検出した前記自己相関係数Ｒ（τ）が、０＜τ≦Ｍ（Ｍは自己相関係数の次数を決めるＮ以下の自然数）の範囲でピーク値となるτのうち最小のものをτｐとするとき、τｐの整数倍の位置の、あるいは、当該τｐの整数倍の近傍の位置の自己相関係数がピーク値であるか否かを判別し、この判別結果に基づいて、前記体動が周期的な体動か否かを特定し、
   前記検出ステップにおいて検出した前記自己相関係数Ｒ（τ）が、０＜τ≦Ｍ（Ｍは自己相関係数の次数を決めるＮ以下の自然数）の範囲でピーク値となるτを特定し、隣接するピーク値間を前記計測手段からの前記時系列信号の周期とし、その時間周期を体動の周期とするコンテンツ再生方法。

Images