JP5496935B2 - 呼吸分布更新装置、呼吸分布更新方法、及びプログラム - Google Patents
呼吸分布更新装置、呼吸分布更新方法、及びプログラム Download PDFInfo
- Publication number
- JP5496935B2 JP5496935B2 JP2011050369A JP2011050369A JP5496935B2 JP 5496935 B2 JP5496935 B2 JP 5496935B2 JP 2011050369 A JP2011050369 A JP 2011050369A JP 2011050369 A JP2011050369 A JP 2011050369A JP 5496935 B2 JP5496935 B2 JP 5496935B2
- Authority
- JP
- Japan
- Prior art keywords
- respiratory
- respiration
- information
- content
- distribution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Electrophonic Musical Instruments (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Description
時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する、時間軸に沿った第1呼吸目標設定位置に対して定められた呼吸状態を特定する第1呼吸目標情報と、を含む、呼吸分布付きコンテンツが含む各再生位置にそれぞれ対応するコンテンツ情報を順次再生するための再生情報を出力する。再生されたコンテンツ情報の鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定する呼吸指標を抽出し、時間軸上の少なくとも一部の位置での鑑賞者の呼吸状態に対応する第2呼吸目標情報を呼吸指標から得て、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する時間軸上の位置である第2呼吸目標設定位置に対応するコンテンツ情報に対応付け、呼吸分布付きコンテンツが含む第1呼吸目標情報を第2呼吸目標情報で置き換える。
〔用語の定義〕
以下のように用語を定義する。
コンテンツ:音楽、音声若しくは朗読、又は、演劇、映画若しくはテレビ番組その他の動画など、鑑賞目的のための音響情報や映像情報を意味する。
コンテンツ情報:コンテンツを構成し、時間軸に沿って順次再生される情報を意味する。
再生位置:時間軸に沿って順次再生される各コンテンツ情報の再生位置、つまり、コンテンツ再生における時間軸上の進行位置を意味する。より具体的には、例えば、フレーム位置、サンプル点、タイムコード、ソングポジションポインターなどが再生位置に対応する。
呼吸状態:周期的に行われる呼吸運動中の各状態を意味する。より具体的には、例えば、呼気運動を開始する時点の状態である呼気開始状態、呼気運動中の各時点での呼気状態、呼気運動を終了する時点の状態である呼気終了状態、吸気運動を開始する時点の状態である吸気開始状態、吸気運動中の各時点での吸気状態、吸気運動を終了する時点の状態である吸気終了状態などが呼吸状態に対応する。
基準状態:所定の呼吸状態を意味する。例えば、呼気開始状態、呼気終了状態、吸気開始状態、吸気終了状態などが基準状態に対応する。
呼吸基準位置:呼吸状態が特定の基準状態となる時間軸上の位置を意味する。
再生速度:ある再生位置Aのコンテンツ情報を再生してから次の再生位置Bのコンテンツ情報を再生するまでに要する時間の逆数を意味する。再生テンポやクロック間隔などに読み替え可能な概念である。
次に、本発明の第1実施形態を説明する。
<構成>
図1は、再生速度同期装置の機能構成を例示するためのブロック図である。
図1に例示するように、第1実施形態の再生速度同期装置1は、入力部11と、呼吸分布付きコンテンツ12aを格納する記憶部12と、呼吸計測部13と、呼吸指標抽出部14と、再生速度演算部15と、コンテンツ再生制御部16と、再生部17と、制御部19とを有する。
入力部11は、呼吸分布付きコンテンツ12aの入力を受け付ける機能部であり、入力部11の例は、入力ポート、入力インタフェース、読み出し装置、受信装置などである。
呼吸分布付きコンテンツ12aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する位置(例えば、当該再生位置や当該再生位置と特定の関係にある位置など)である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、を含むデータ構造からなるデータである。
記憶部12は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。
[呼吸計測部13]
呼吸計測部13は、コンテンツの鑑賞者100の呼吸状態を計測し、それによって得られる呼吸情報を出力する周知の装置である。本形態の例では、胸部回りや腹部回りの長さに対応する情報(呼吸レベル)を呼吸情報とし、胸部や腹部に巻き付けられたゴム管の抵抗変化から呼吸を検出する装置(例えば、日本光電製のTR-753Tや、ADInstruments製のMLT1132)を呼吸計測部13とする。この例の呼吸計測部13は、設定されたある任意の周期T1で呼吸レベルV(t)を計測して出力する。なお、tは離散的な時刻に対応する整数インデックスであり、「時刻t」とは整数インデックスtに対応する時刻を意味する。また、簡単のためにtは周期T1で1ずつ進行するとするとして説明を行う。また、V(t)は時刻tでの呼吸レベルを表す。
図2の例では、呼気が開始される時刻である呼気開始時刻(bpe(n-1)等)で呼吸レベルV(t)が極大となり、呼気状態が進むにつれて呼吸レベルV(t)が減少し、吸気が開始される時刻である吸気開始時刻(bpi(n)等)で呼吸レベルV(t)が極小となり、吸気状態が進むにつれて呼吸レベルV(t)が増加し、次の呼気開始時刻(bpe(n)等)で再び呼吸レベルV(t)が極大となる、といった状態が周期的に繰り返される。
呼吸指標抽出部14は、例えば、CPU(central processing unit)に所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部14は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の呼吸状態を特定するための呼吸指標を抽出し、当該呼吸指標を出力するものである。本形態の例の呼吸指標抽出部14は、呼吸計測部13から出力された呼吸レベルV(t)(呼吸情報)を入力とし、計測対象となる鑑賞者の、時刻tからみた直近の未来の呼気開始時刻の予測値pbpe(n)を呼吸指標として出力する。ここで、nは説明上便宜的に付した指標であり、鑑賞者の呼吸回数に対応する整数である。
呼気開始時刻の予測値pbpe(n)は、例えば、現在の時刻t=t1からみた直近の過去の呼吸周期を、時刻t=t1からみた直近の未来の呼吸周期と推定して求めることができる。すなわち、呼気開始時刻の予測値pbpe(n)は、例えば以下のように算出することができる。
pbpe(n)=bpe(n-1)+(bpe(n-1)-bpe(n-2))
=2・bpe(n-1)-bpe(n-2) (1)
ここでbpe(n-1)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された時刻tからみた直近の過去の呼気開始時刻を表し、bpe(n-2)は、呼吸レベルV(t1), V(t1-1), V(t1-2),...を用いて算出された呼気開始時刻bpe(n-1)からみた直近の過去の呼気開始時刻を表す。より具体的には、例えば、時刻t=t1から最も近い過去の呼吸レベルの極大値に対応する時刻をbpe(n-1)とし、呼気開始時刻bpe(n-1)から最も近い過去の呼吸レベルの極大値に対応する時刻をbpe(n-2)とする(図3参照)。
再生速度演算部15は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部15は、呼吸目標情報と呼吸指標とを入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各再生位置にそれぞれ対応する各コンテンツ情報を時間軸に沿って順次再生する際の再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する。すなわち、再生速度演算部15は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態との相関が高くなるように、コンテンツの再生速度を設定する。なお、設定される再生速度は、鑑賞者の呼吸を誘導するための速度ではなく、コンテンツの進行を鑑賞者の呼吸に同期させるための速度である。
本形態の再生速度演算部15は、サンプル更新間隔を定めることでコンテンツの再生速度を設定する。また、本形態の再生速度演算部15は、呼吸計測部13で呼吸レベルV(t)が得られるたびに、すなわち、周期T1でサンプル更新間隔S(t)を定め、これを再生速度情報として出力する。ここで、p(t)は、時刻tの時点で再生されたコンテンツ情報に対応するサンプル点τを表す。以下、図4を用いて再生速度演算部15の処理を例示する。
S(t1)=(pbpe(n)-t1)×T1/(Bpe(m)-p(t1)) (2)
コンテンツ再生制御部16は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生制御部16は、再生速度情報とコンテンツ情報とを入力とし、当該再生速度情報で特定される再生速度で各再生位置にそれぞれ対応する各コンテンツ情報を順次再生するための再生情報を出力する。
再生部17は、例えば、アンプ、スピーカー、画像表示装置などから構成される周知の呈示装置である。再生部17は、コンテンツ再生制御部16から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定される音響情報等のコンテンツを出力する。
制御部19は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部19は、再生速度同期装置1の処理全体を制御する。
次に、本形態の再生速度同期方法を例示する。
図5は、再生速度同期方法を例示するためのフローチャートである。
まず、入力部11に呼吸分布付きコンテンツ12aが入力され(ステップS11)、記憶部12に格納される(ステップS12)。
ここで、すべてのコンテンツ情報d(τ)の再生が終了していないと判定された場合、t1+1を新たなt1としてステップS13の処理に戻される。一方、コンテンツ情報d(τ)の再生が終了していると判定された場合、処理が終了する。
第2実施形態は第1実施形態の変形例である。第2実施形態の呼吸分布付きコンテンツは、さらに、再生位置にそれぞれ対応する係数である同期重要度を含み、第2実施形態の再生速度演算部は、さらに同期重要度を入力とし、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する同期重要度に依存する再生速度を定める。
なお、第2実施形態以降では、第1実施形態と相違する事項を中心に説明し、第1実施形態と共通する事項については説明を省略する。また、同一の処理部や処理ステップには同一の符号を用い、説明の繰り返しを避ける。
図1に例示するように、第2実施形態の再生速度同期装置2は、入力部21と、呼吸分布付きコンテンツ22aを格納する記憶部22と、呼吸計測部13と、呼吸指標抽出部14と、再生速度演算部25と、コンテンツ再生制御部16と、再生部17と、制御部19とを有する。
入力部21は、呼吸分布付きコンテンツ22aの入力を受け付ける機能部であり、記憶部22は、呼吸分布付きコンテンツ22aを格納する。本形態の呼吸分布付きコンテンツ22aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する位置(例えば、当該再生位置や当該再生位置と特定の関係にある位置など)である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報と、再生位置にそれぞれ対応する係数である同期重要度とを含むデータ構造からなるデータである。ここで、同期重要度は、それに対応する再生位置に対応する呼吸目標情報の重要度を示す。すなわち、同期重要度は、それに対応する再生位置に対応する呼吸目標情報と、その再生位置に対応するコンテンツ情報が再生される時点での鑑賞者100の呼吸と、を同期させる重要度が大きいほど大きな値をとる。第2実施形態の場合、同期重要度は0以上1以下の値に設定されることが望ましい。
再生速度演算部25は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部25は、呼吸目標情報と同期重要度と呼吸指標を入力とし、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される呼吸状態が、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での鑑賞者の呼吸状態に近づくように、各同期重要度に対応する再生位置ごとに、当該再生位置に対応する同期重要度に依存する再生速度を設定し、設定した再生速度を特定する再生速度情報を出力する。
再生速度演算部25は、呼吸指標抽出部14から出力された呼吸指標である呼気開始時刻の予測値pbpe(n)と、記憶部22に格納された呼吸目標分布付きコンテンツ22aから抽出した呼吸目標サンプル点Bpe(m)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とを入力とし、サンプル点τ=p(t1)の同期重要度α(p(t1))を考慮しつつ、呼気開始時刻の予測値pbpe(n)に、呼吸目標サンプル点Bpe(m)に対応するコンテンツ情報d(τ)の再生時刻が近づくように、サンプル更新間隔S(t1)を以下のように算出する。
S(t1)=α(p(t1)){((pbpe(n)-t1)×T1/(Bpe(m)-p(t1)))-S0}+S0 (3)
ここで、S0は予め定められたサンプル更新間隔の標準設定値であり、α(p(t1)){((pbpe(n)-t1)×T1/(Bpe(m)-p(t1)))-S0}は、サンプル更新間隔の変化量である。すなわち、再生速度演算部25は、同期重要度α(p(t1))が1の場合には、時刻t1から時刻pbpe(n)までの間に再生対象のサンプル点がp(t1)からBpe(m)まで更新されるようなサンプル更新間隔S(t1)を算出する。一方、同期重要度α(p(t1))が0以上1未満の場合、再生速度演算部25は、サンプル更新間隔の標準設定値S0に対する変化量が、同期重要度α(p(t1))が1の場合のものよりも小さなサンプル更新間隔S(t1)を算出する。特に、同期重要度α(p(t1))が0の場合には、S(t1)=S0となる。
次に、図5を用いて本形態の再生速度同期方法を例示する。
第1実施形態との相違点は、ステップS11,12の処理の代わりに、入力部21に呼吸分布付きコンテンツ22aが入力され(ステップS21)、記憶部22に格納される(ステップS22)点、ステップS15の処理の代わりに、再生速度演算部25が、呼吸指標抽出部14から出力された呼気開始時刻の予測値pbpe(n)と、記憶部22に格納された呼吸目標分布付きコンテンツ22aから抽出した呼吸目標サンプル点Bpe(m)、同期重要度α(p(t1))及びサンプル点τ=p(t1)とを入力とし、式(3)に従ってサンプル更新間隔S(t1)(再生速度情報)を算出して出力する(ステップS25)点である。その他は第1実施形態と同一である。
本形態は、第1,2実施形態の変形例である。第3実施形態の呼吸目標情報及び呼吸指標は、それぞれ、周期的な呼吸運動の位相に対応する情報(位相を特定するための情報)であり、第3実施形態の再生速度演算部は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を特定する再生速度情報を出力する。
図1に例示するように、第3実施形態の再生速度同期装置3は、入力部31と、呼吸分布付きコンテンツ32aを格納する記憶部32と、呼吸計測部13と、呼吸指標抽出部34と、再生速度演算部35と、コンテンツ再生制御部16と、再生部17と、制御部19とを有する。
入力部31は、呼吸分布付きコンテンツ32aの入力を受け付ける機能部であり、記憶部32は、呼吸分布付きコンテンツ32aを格納する。本形態の呼吸分布付きコンテンツ32aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する位置(例えば、当該再生位置や当該再生位置と特定の関係にある位置など)である各呼吸目標設定位置に対して予め定められた呼吸状態を特定するための呼吸目標情報とを含む。第1,2実施形態との相違点は、呼吸目標情報が周期的な呼吸運動の位相に対応する情報である点である。
呼吸指標抽出部34は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部34は、鑑賞者を計測して得られる呼吸情報から当該鑑賞者の周期的な呼吸運動の位相に対応する情報を呼吸指標として抽出し、当該呼吸指標を出力するものである。
どのような値を「鑑賞者の周期的な呼吸運動の位相に対応する情報」として用いるかについては特に制限はない。例えば、呼吸レベルV(t)を1次元値とし、その遅延値V(t-γ)を2次元値としたベクトルを「鑑賞者の周期的な呼吸運動の位相に対応する情報」としてもよいし、呼吸レベルV(t)を1次元値とし、その遅延値V(t-γ)を2次元値とした直交座標系の空間(相空間)での極座標の偏角を「鑑賞者の周期的な呼吸運動の位相に対応する情報」としてもよい。
1.呼吸計測部13から出力された時刻tにおける呼吸レベルV(t)を相空間の1次元値とする。
2.呼吸レベルV(t)を時間遅延フィルターに通して得られる呼吸レベルV(t-γ)を相空間の2次元目の値とする。ここでγは時間遅延フィルターの遅延幅(定数)であり、呼吸の場合は200msから800ms程度が望ましい。
3.相空間の直行座標系の点(V(t),V(t-γ))を極座標表示した場合の偏角を、呼吸指標φ(t)として求めて出力する(図8A参照)。
なお、このような値を呼吸指標φ(t)とする場合、予め定められた各サンプル点τにおいて望ましい呼吸指標φ(t)が、当該サンプル点τに対応する呼吸目標情報Φ(τ)(図7参照)として呼吸分布付きコンテンツ32aに設定されている。
再生速度演算部35は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。再生速度演算部35は、何れかの呼吸目標設定位置に対応する呼吸目標情報によって特定される位相と、当該呼吸目標設定位置に対応するコンテンツ情報が再生される時点での呼吸指標よって特定される位相との差が小さくなるような再生速度を特定する再生速度情報を出力する。
本形態の再生速度演算部35は、サンプル更新間隔を定めることでコンテンツの再生速度を設定する。また、本形態の再生速度演算部35は、呼吸計測部13で呼吸レベルV(t)が得られるたびに、すなわち、周期T1でサンプル更新間隔S(t)を定め、これを再生速度情報として出力する。
R(t1)=φ(t1)-Φ(p(t1)) (4)
If |R(t1)|>π then L(t1)=R(t1)-Sgn(R(t1))・2π else L(t1)=R(t1) (5)
ただし、Sgn(δ)は符号関数であり、その関数値は、δ<0のときはSgn(δ)=-1となり、δ=0のときはSgn(δ)=0となり、δ>0のときはSgn(δ)=1となる。L(t1)>0の場合、時刻t1において鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいることになり、L(t1)<0の場合、時刻t1において鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れていることになる。図8Bに、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とL(t1)との関係を例示する。なお、図8BはL(t1)<0の例である。
S(t1)=S0/{α(p(t1))・C・L(t1)+1} (6)
ここで、S0は予め定められたサンプル更新間隔の標準設定値であり、CはC>0を満たす任意の定数である。例えば、取り得るすべてのα(τ),L(t)に対してα(p(t))・C・L(t)+1>0となるように定数Cが定められた場合、再生速度演算部25は、鑑賞者の呼吸が呼吸目標情報の示す呼吸より進んでいる場合(L(t1)>0)に、S0よりも大きなサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸に同期している場合(L(t1)=0)に、S0と等しいサンプル更新間隔S(t1)を算出し、鑑賞者の呼吸が呼吸目標情報の示す呼吸より遅れている場合(L(t1)<0)に、S0よりも小さなサンプル更新間隔S(t1)を算出する。
次に、図5を用いて本形態の再生速度同期方法を例示する。
第1実施形態との相違点は、ステップS11,12の処理の代わりに、入力部31に呼吸分布付きコンテンツ32aが入力され(ステップS31)、記憶部32に格納される(ステップS32)点、ステップS14の処理の代わりに、呼吸指標抽出部34が、呼吸レベルV(t)を入力として、鑑賞者の周期的な呼吸運動の位相に対応する情報である呼吸指標φ(t)を生成して出力する(ステップS34)点、ステップS14−2の代わりに、制御部19がλ+1個の呼吸レベルV(t)が計測された否かを判定し、Noの場合はステップS13の処理に戻り、Yesの場合には以下のステップS35に進む(ステップS34−2)点、ステップS15の代わりに、再生速度演算部35が、呼吸指標φ(t1)と呼吸目標情報Φ(p(t1))とを入力とし、式(4)-(6)に従ってサンプル更新間隔S(t1)を算出し、これを再生速度情報として出力する(ステップS35)。その他は第1実施形態と同一である。
第3実施形態では、呼吸レベルV(t)を1次元値にとり、その遅延値V(t-γ)を2次元値にとる相空間表現を用いる例を示した。しかし、第3実施形態においてその他の相空間表現を用いてもよい。例えば、呼吸レベルV(t)を1次元値にとり、V(t)のヒルベルト変換値(一般的に解析信号と呼ばれる)を2次元値にとる相空間での位相を特定する情報を呼吸指標としてもよい(例えば、「K. Kotani, K. Takamasu, Y. Jimbo, Y. Yamamoto, “Postural-induced phase shift of respiratory sinus arrhythmia and blood pressure variations: insight from respiratory-phase domain analysis,” Am. J. Physiol. Heart. Circ. Physiol. , Vol. 294, pp. H1481-H1489, 2008」参照)。また、呼吸レベルV(t)の微分値W(t)が得られる場合には、呼吸レベルV(t)を1次元値にとり、呼吸レベルV(t)の微分値W(t)を2次元値にとってもよい。また、呼吸レベルV(t)の微分値W(t)が得られない場合には、呼吸レベルV(t)を差分フィルターに通した擬似的な微分値(例えばV(t)-V(t-1))/T1)を2次元目にとってもよい(例えば、日本光電製のTR-712を用いるとW(t)に相当する値を計測することができる)。
また、呼吸分布付きコンテンツが同期重要度α(τ)を含まない構成であってもよい。この場合には、同期重要度α(τ)を予め定められた値(例えば1)とみなした第3実施形態と同様な処理がなされればよい。
本形態では、鑑賞者が呼吸分布付きコンテンツを鑑賞するたびに、呼吸分布付きコンテンツを鑑賞者の特性に適合させていく方法を説明する。すなわち、鑑賞者が呼吸分布付きコンテンツを鑑賞しているときに特定の再生位置で特定の呼吸状態になり易いことを、その呼吸分布付きコンテンツに含まれる呼吸目標情報や同期重要度に反映させる方法を説明する。本形態では、第2実施形態で例示した呼吸分布付きコンテンツ22a(図6)を対象とした例を示す。以下では、上述の何れかの実施形態と共通する事項については、上述した実施形態で用いたのと同じ参照番号を用いて説明を省略する。
図9に例示するように、第4実施形態の呼吸分布更新装置4は、入力部21、記憶部42,43、呼吸計測部13、呼吸指標抽出部44、コンテンツ再生制御部46、再生部47、呼吸分布更新部48、及び制御部49を有する。
記憶部42は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。記憶部42は、入力部21に入力された呼吸分布付きコンテンツ22aを格納する。呼吸分布付きコンテンツ22aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する、時間軸に沿った第1呼吸目標設定位置(例えば、当該再生位置や当該再生位置と特定の関係にある位置など)に対して定められた呼吸状態を特定する第1呼吸目標情報と、少なくとも一部の再生位置にそれぞれ対応する係数である第1同期重要度とを含むデータ構造からなるデータである。本形態では、各サンプル点τ(再生位置)にそれぞれ対応するコンテンツ情報d(τ)と、少なくとも一部のサンプル点τに対応する各呼吸目標サンプル点(第1呼吸目標設定位置)に対して定められた呼気開始状態を特定する呼吸目標情報Bpe(μ)(第1呼吸目標情報)と、各サンプル点τにそれぞれ対応する係数である同期重要度α(τ)(第1同期重要度)とを含む呼吸分布付きコンテンツ22aを例示して説明を行う。前述のように、μは説明上便宜的に付した指標であり、各呼吸目標情報Bpe(μ)を識別するための0以上の連続した整数である。値が大きいμほど時間的に後の呼吸目標情報に対応する。
コンテンツ再生制御部46は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生制御部46は、呼吸分布付きコンテンツ22aの各サンプル点(再生位置)にそれぞれ対応するコンテンツ情報d(τ)を入力とし、当該コンテンツ情報d(τ)を順次再生するための再生情報r(τ)(音響信号等)を出力する。本形態のコンテンツ再生制御部46は、一定のサンプル更新間隔S(0)で再生対象のサンプル点τを更新しつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)を呼吸目標分布付きコンテンツ22aから順次抽出し、抽出したコンテンツ情報d(τ)を一定速度で再生するための再生情報r(τ)を順次出力する。
第1実施形態で説明した通りである。本形態の再生部17は、コンテンツ再生制御部46から出力された再生情報r(τ)を入力とし、再生情報r(τ)によって特定される音響情報等のコンテンツを一定の再生速度で再生して出力する。
第1実施形態で説明した通り、呼吸計測部13は、再生されたコンテンツ情報の鑑賞者100を計測して得られる呼吸情報を出力する周知の装置である。本形態では、計算の便宜上、コンテンツ情報d(0)の再生開始時刻をt=0として周期T1で各時刻tの呼吸レベルV(t)(呼吸情報)を計測する。ただし、呼吸レベルV(t)の測定はコンテンツ情報d(0)の再生開始時刻よりも前の時点から開始されてもよいし、コンテンツ情報d(0)の再生開始時刻よりも後の時点から開始されてもよい。
記憶部43は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。呼吸計測部13から出力された呼吸レベルV(t)(呼吸情報)を、時刻tと当該時刻tで再生されたコンテンツ情報d(τ)とに対応付けが可能な形態で記録する。本形態では、一例として、コンテンツ情報d(0)の再生開始時刻をt=0とし、サンプル更新間隔S0で再生対象のサンプル点τが更新されつつ再生対象のサンプル点τに対応するコンテンツ情報d(τ)が再生されることとする。そのため、呼吸レベルV(t)を時刻tに対応付けて記録すれば、時刻tで再生されたコンテンツ情報d(τ)に呼吸レベルV(t)を対応付けることができる。記憶部43に記録された情報は、以下の処理で適宜読み出されて使用される。
呼吸指標抽出部44は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部44は、再生されたコンテンツ情報の鑑賞者100を計測して得られる呼吸情報から、当該鑑賞者100の呼吸状態を特定する呼吸指標を抽出し、呼吸指標を出力する。本形態の例の呼吸指標抽出部44は、呼吸計測部41から出力された呼吸レベルV(t)(呼吸情報)を入力とし、計測対象となる鑑賞者100の呼気開始時刻bpe(n)を呼吸指標として出力する。例えば、呼吸指標抽出部44は、呼吸運動ごとに呼吸レベルV(t)が極大値となる時刻を呼気開始時刻bpe(n)とし、それらを呼吸指標として出力する(図2参照)。前述のように、nは説明上便宜的に付した指標であり、鑑賞者100の呼吸回数に対応する整数である。
呼吸分布更新部48は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸分布更新部48は、時間軸上の少なくとも一部の位置での鑑賞者の呼吸状態を加味した第2呼吸目標情報を、呼吸指標と呼吸分布付きコンテンツが含む第1呼吸目標情報とから得る。また呼吸分布更新部48は、少なくとも一部の再生位置にそれぞれ対応する係数である第2同期重要度を呼吸指標から得る。呼吸分布更新部48は、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する時間軸上の位置である第2呼吸目標設定位置に対応するコンテンツ情報に対応付け、当該第2同期重要度を当該第2同期重要度に対応する再生位置に対応付け、呼吸分布付きコンテンツが含む第1呼吸目標情報及び第1同期重要度を第2呼吸目標情報及び第2同期重要度でそれぞれ置き換える。
≪step I≫
呼吸分布更新部48は、記憶部42に格納された呼吸目標分布付きコンテンツ22a(図6)が含む呼吸目標情報Bpe(μ)及び同期重要度α(τ)を読み込む。呼吸分布更新部48は、呼吸目標情報Bpe(μ)(μ=0,1,...,M-1)を標本とみなした確率密度関数rbpe(τ)を求める。ここでは、呼吸目標情報Bpe(μ)(μ=0,1,...,M-1)を標本とみなし、同期重要度α(τ)で重み付けを行い、カーネル密度推定法(参考文献「C. M. ビショップ、パターン認識と機械学習(上)Springer, 2007, 2.5.1節」等参照)を適用する例を示す。この場合、サンプル点τでの確率密度関数rbpe(τ)(確率密度分布)は例えば以下のようになる。
ここで、Mは呼吸目標分布付きコンテンツ22aが含む呼吸目標情報Bpe(μ)の総数を表わし、k()はカーネル関数(kernel function)を表す。
ただし、hは標準偏差を表し、Hはガウス関数の対称軸となる平均を表す定数である。例えば平均Hを0とし、標準偏差hとして500msに相当する値を例示できる。
呼吸分布更新部48は、呼吸指標抽出部44で呼吸レベルV(t)(呼吸情報)から得られた時刻tの時間軸で表されている呼気開始時刻bpe(n)(n=0,1,...,N-1)を、サンプル点τの時間軸で表された呼気開始サンプル点bpe'(n)に変換する。
bpe'(n)=bpe(n)×T1÷S0 (9)
ただし、Nは呼吸目標分布付きコンテンツ22aの再生開始から終了までの鑑賞者100の総呼吸回数を表す。
呼吸分布更新部48は、呼気開始サンプル点bpe'(n)(n=0,1,...,N-1)を標本とみなした確率密度関数pbpe(τ)を求める。カーネル密度推定法を適用する場合のサンプル点τでの確率密度関数pbpe(τ)(確率密度分布)は例えば以下のようになる。
ただし、hは標準偏差を表し、Hはガウス関数の対称軸となる平均を表す定数である。例えば平均Hを0とし、標準偏差hとして500msに相当する値を例示できる。
呼吸分布更新部48は、確率密度関数rbpe(τ)と確率密度関数pbpe(τ)との線形和である確率密度関数Pbpe(τ)を求める。呼吸分布更新部48は、例えば以下のように確率密度関数Pbpe(τ)を求める。
Pbpe(τ)=rbpe(τ)+a×pbpe(τ) (12)
ただし、aは鑑賞者100の呼吸状態を呼吸目標分布付きコンテンツ22aの呼吸目標情報の更新にどの程度反映させるかを定めるパラメータであり、a≧0を満たす変数又は定数である。
呼吸分布更新部48は、確率密度関数Pbpe(τ)のピークに対応するサンプル点τの少なくとも一部を新たな呼吸目標情報Bpe'(μ1)(第2呼吸目標情報)とする。例えば、呼吸分布更新部48は、確率密度関数Pbpe(τ)のピークのうち、大きさが所定の閾値Thを超えるピークに対応するサンプル点τを呼吸目標情報Bpe'(μ1)とする。例えば、図11のピークB2は閾値Thを超えるためピークB2に対応するサンプル点τは呼吸目標情報Bpe'(μ1)(μ1=1)とされるが、ピークB3は閾値Th未満であるため、ピークB3に対応するサンプル点τは呼吸目標情報Bpe'(μ1)とされない。ただし、所定の窓幅(例えば2秒に対応する区間)内に2個以上の呼吸目標情報Bpe'(μ1)は設定されない。窓幅内に閾値Thを超えるピークが複数存在する場合には、そのうちで最も値(確率)の大きなピークのみが呼吸目標情報Bpe'(μ1)とされる。例えば、図11のピークB1は閾値Thを超えるが、窓幅内にさらに値の大きなピークB2が存在するため、ピークB1に対応するサンプル点τは呼吸目標情報Bpe'(μ1)とされない。なお、閾値ThはTh≧0を満たす値であり、例えば、確率密度関数Pbpe(τ)の最大値の70%の値などである。
呼吸分布更新部48は、確率密度関数Pbpe(τ)のピークでの関数値に対応する値を同期重要度α'(τ)(第2同期重要度)とする。例えば、呼吸分布更新部48は、まず以下のように同期重要度α'(Bpe'(μ1))を得る。
α'(Bpe'(μ1))=b0×Pbpe(Bpe'(μ1)) (13)
ただし、b0はb0>0の任意の比例係数である。
α'(τ)=α'(Bpe'(0))÷Bpe'(0)×τ (14)
また呼吸分布更新部48は、例えばサンプル点τ=Bpe'(μ2-1)+1、Bpe'(μ2-1)+2,…、Bpe'(μ2)-1での同期重要度α'(τ)を以下のように求める。ただし、μ2は呼吸目標情報を識別するために便宜的に付した1以上の整数である。
α'(τ)={α'(Bpe'(μ2))-α'(Bpe'(μ2-1))}÷{Bpe'(μ2)-Bpe'(μ2-1)}
×(τ-Bpe'(μ2-1))+α'(Bpe'(μ2-1)) (15)
呼吸分布更新部48は、記憶部42に格納された呼吸分布付きコンテンツ22aが含む呼吸目標情報Bpe(μ)及び同期重要度α(τ)を呼吸目標情報Bpe'(μ1)及び同期重要度α'(τ)にそれぞれ置き換える。これにより、各呼吸目標情報Bpe'(μ1)はコンテンツ情報d(Bpe'(μ1))に対応付けられ、同期重要度α'(τ)はコンテンツ情報d(τ)に対応付けられる。呼吸分布更新部48は、更新した呼吸分布付きコンテンツ22aを出力し、記憶部42に格納する。
制御部49は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部49は、上述した呼吸分布更新装置4の処理全体を制御する。図10を用いて制御部49の制御処理を説明する。
制御部49は入力部21に入力された呼吸分布付きコンテンツ22aを記憶部42に格納する(ステップS41)。呼吸計測部13は、周期T1で各時刻tの呼吸レベルV(t)(呼吸情報)を計測し(ステップS42)、記憶部43に格納する(ステップS43)。コンテンツ再生制御部46が呼吸分布付きコンテンツ22aの各サンプル点(再生位置)にそれぞれ対応するコンテンツ情報d(τ)を入力とし、当該コンテンツ情報d(τ)を順次再生するための再生情報r(τ)(音響信号等)を出力し、再生部17がそれによって特定されるコンテンツを一定の再生速度で再生する(ステップS44)。制御部49は再生が終了したかを判定し、再生が終了していなければステップS42-S45の処理を継続させる(ステップS45)。再生が終了した場合、制御部49は、呼吸指標抽出部44に呼吸レベルV(t)(呼吸情報)から呼気開始時刻bpe(n)(呼吸指標)を生成させ(ステップS46)、呼吸分布更新部48に呼吸分布付きコンテンツ22aが含む呼吸目標情報Bpe(μ)及び同期重要度α(τ)を呼吸目標情報Bpe'(μ1)及び同期重要度α'(τ)にそれぞれ更新させる(ステップS47)。
第4実施形態では、同期重要度α(τ)が設定された呼吸分布付きコンテンツ22aを更新する例を示した。しかし、同期重要度α(τ)が設定されていない第1実施形態の呼吸分布付きコンテンツ12a(図4)を更新することにしてもよい。その場合には、第4実施形態で説明した同期重要度に関する設定や処理が不要となる。
また、第4実施形態では、呼吸分布更新部48が、呼吸指標と呼吸分布付きコンテンツが含む第1呼吸目標情報とから第2呼吸目標情報を得ることとしたが、第1呼吸目標情報を用いることなく呼吸指標から少なくとも一部の第2呼吸目標情報が得られてもよい。すなわち、少なくとも一部のサンプル点τにおいて、式(12)の代わりにPbpe(τ)=pbpe(τ)が用いられてもよい。
第5実施形態では、第3実施形態で例示した呼吸分布付きコンテンツ32a(図7)を更新する例を説明する。以下では、上述の何れかの実施形態と共通する事項については、上述した実施形態で用いたのと同じ参照番号を用いて説明を省略する。
記憶部52は、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリなどの情報記憶装置である。記憶部52は、入力部31に入力された呼吸分布付きコンテンツ32aを格納する。呼吸分布付きコンテンツ32aは、時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の再生位置に対応する、時間軸に沿った第1呼吸目標設定位置に対して予め定められた呼吸状態を特定する第1呼吸目標情報と、少なくとも一部の再生位置にそれぞれ対応する係数である第1同期重要度とを含むデータ構造からなるデータである。本形態では、各サンプル点τ(再生位置)にそれぞれ対応するコンテンツ情報d(τ)と、各サンプル点τ(第1呼吸目標設定位置)に対して定められた呼吸運動にそれぞれ対応する位相に対応する呼吸目標情報Φ(τ)(第1呼吸目標情報)と、各サンプル点τにそれぞれ対応する係数である同期重要度α(τ)(第1同期重要度)とを含む呼吸分布付きコンテンツ32aを例示して説明を行う。
呼吸指標抽出部54は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部54は、再生されたコンテンツ情報の鑑賞者100を計測して得られる呼吸情報から、当該鑑賞者100の呼吸状態を特定する呼吸指標を抽出し、呼吸指標を出力する。本形態の例の呼吸指標抽出部54は、呼吸計測部13から出力された呼吸レベルV(t)(呼吸情報)を入力とし、計測対象となる鑑賞者100の呼吸運動にそれぞれ対応する位相に対応する情報(V(t),W(t))を呼吸指標として出力する。例えば、呼吸指標抽出部54は、第3実施形態で例示した相空間の直行座標系の点(V(i,t),V(i,t-γ))、言い換えると相空間上のベクトル(V(t),W(t))=(V(t),V(t-γ))を呼吸指標として求めて出力する(図8A参照)。或いは、第3実施形態の変形例1のように相空間上のベクトル(V(t),W(t))の1次元値V(t)と2次元値W(t)とを定め、ベクトル(V(t),W(t))を呼吸指標として出力してもよい。
呼吸分布更新部58は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸分布更新部58は、記憶部52から読み込んだ呼吸分布付きコンテンツ32aが含む呼吸目標情報Φ(τ)(第1呼吸目標情報)に対応する位相に対応する位相空間上のベクトル(CV(τ),CW(τ))(第1ベクトル)と、呼吸指標(V(t),W(t))に対応する位相に対応する位相空間上のベクトル(V'(τ),W'(τ))(第2ベクトル)と、から得られる重心(G1(τ),G2(τ))(重心ベクトル)の位相に対応する情報を新たな呼吸目標情報Φ'(τ)(第2呼吸目標情報)とする。呼吸分布更新部58は、(G1(τ),G2(τ))の動径(重心ベクトルの大きさ)を新たな同期重要度α'(τ)(第2同期重要度)とする。
≪step XI≫
呼吸分布更新部58は、記憶部52に格納された呼吸目標分布付きコンテンツ32a(図7)が含む呼吸目標情報Φ(τ)及び同期重要度α(τ)を読み込む。呼吸分布更新部58は、読み込んだ呼吸目標情報Φ(τ)と同期重要度α(τ)とを、偏角Φ(τ)及び動径α(τ)を持つ相空間の極座標表示とみなして相空間上に投影し、これらを以下のように直交座標系の表現(CV(τ),CW(τ))(第1ベクトル)に変換する。
CV(τ)=α(τ)×COS(Φ(τ)) (16)
CW(τ)=α(τ)×SIN(Φ(τ)) (17)
呼吸分布更新部58は、呼吸指標抽出部54で呼吸レベルV(t)(呼吸情報)から得られた時刻tの時間軸に対応する呼吸指標(V(t),W(t))を、以下のようにサンプル点τの時間軸に対応する相空間上の位置(V'(τ),W'(τ))(第2ベクトル)に変換する。
V'(τ)=V(τ×S0÷T1) (18)
W'(τ)=W(τ×S0÷T1) (19)
G1(τ)=(CV(τ)+ω×V'(τ))÷(1+ω) (20)
G2(τ) =(CW(τ)+ω×W'(τ))÷(1+ω) (21)
ただし、ωは重み係数であり、任意の定数である。ωにより、鑑賞者100の呼吸の癖を呼吸分布付きコンテンツに反映する程度が決まる。例えば0以上1未満に設定することで、徐々に鑑賞者の呼吸の癖を反映させることが出来る。
呼吸分布更新部58は、(G1(τ),G2(τ))の偏角を新たな呼吸目標情報Φ'(τ)(第2呼吸目標情報)とし、(G1(τ),G2(τ))の動径を新たな同期重要度α'(τ)(第2同期重要度)とする(図12参照)。
呼吸分布更新部58は、記憶部52に格納された呼吸分布付きコンテンツ32aが含む呼吸目標情報Φ(τ)及び同期重要度α(τ)を呼吸目標情報Φ'(τ)及び同期重要度α'(τ)にそれぞれ置き換える。これにより、呼吸目標情報Φ'(τ)及び同期重要度α'(τ)はコンテンツ情報d(τ)に対応付けられる。呼吸分布更新部58は、更新した呼吸分布付きコンテンツ32aを出力し、記憶部52に格納する。
制御部59は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部59は、上述した呼吸分布更新装置4の処理全体を制御する。図10を用いて制御部59の制御処理を説明する。
制御部59は入力部31に入力された呼吸分布付きコンテンツ32aを記憶部52に格納する(ステップS51)。呼吸計測部13は、周期T1で各時刻tの呼吸レベルV(t)(呼吸情報)を計測し(ステップS42)、記憶部43に格納する(ステップS43)。コンテンツ再生制御部46が呼吸分布付きコンテンツ32aの各サンプル点(再生位置)にそれぞれ対応するコンテンツ情報d(τ)を入力とし、当該コンテンツ情報d(τ)を順次再生するための再生情報r(τ)(音響信号等)を出力し、再生部17がそれによって特定されるコンテンツを一定の再生速度で再生する(ステップS44)。制御部59は再生が終了したかを判定し、再生が終了していなければステップS42-S45の処理を継続させる(ステップS45)。再生が終了した場合、制御部59は、呼吸指標抽出部44に呼吸レベルV(t)(呼吸情報)から呼吸指標(V(t),W(t))を生成させ(ステップS56)、呼吸分布更新部58に呼吸分布付きコンテンツ32aが含む呼吸目標情報Φ(τ)及び同期重要度α(τ)を呼吸目標情報Φ'(τ)及び同期重要度α'(τ)にそれぞれ更新させる(ステップS57)。
第5実施形態では、同期重要度α(τ)が設定された呼吸分布付きコンテンツ32aを更新する例を示した。しかし、第3実施形態の変形例2のように同期重要度α(τ)を含まない呼吸分布付きコンテンツを更新する構成でもよい。その場合には、第5実施形態で説明した同期重要度に関する設定や処理が不要となる。すなわち、同期重要度α(τ)を定数とみなした第5実施形態の処理を実行し、≪step XIII≫で新たな同期重要度α'(τ)を生成せず、記憶部52に格納された呼吸分布付きコンテンツが含む呼吸目標情報Φ(τ)を呼吸目標情報Φ'(τ)に置き換えればよい。
また、第5実施形態では、呼吸分布更新部58が、呼吸指標と呼吸分布付きコンテンツが含む第1呼吸目標情報とからから第2呼吸目標情報を得ることとしたが、第1呼吸目標情報を用いることなく呼吸指標から少なくとも一部の第2呼吸目標情報が得られてもよい。すなわち、少なくとも一部のサンプル点τについて、(V'(τ),W'(τ))の偏角を新たな呼吸目標情報Φ'(τ)(第2呼吸目標情報)としたり、(V'(τ),W'(τ))の動径を新たな同期重要度α'(τ)(第2同期重要度)としたりしてもよい。
第4及び5実施形態では、一定のサンプル更新間隔S(0)で再生対象のサンプル点τを更新してコンテンツ情報d(τ)を一定速度で再生する際にその鑑賞者100の呼吸状態を計測し、その結果を用いて呼吸目標分布付きコンテンツの更新を行った。第6実施形態では、第2実施形態で説明したように鑑賞者100の呼吸状態に応じたサンプル更新間隔S(t1)で再生対象のサンプル点τを更新してコンテンツ情報d(τ)を再生する。そして、その際の鑑賞者100の呼吸状態に基づいて第4実施形態と同様に呼吸目標分布付きコンテンツ22a(図6)の更新を行う。以下では、上述の何れかの実施形態と共通する事項については、上述した実施形態で用いたのと同じ参照番号を用いて説明を省略する。
図13に例示するように、第6実施形態の呼吸分布更新装置6は、入力部21、記憶部42,63、呼吸計測部13、呼吸指標抽出部64、コンテンツ再生制御部66、再生部17、対応付け部67、呼吸分布更新部68、及び制御部69を有する。
コンテンツ再生制御部66は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。コンテンツ再生制御部66は、第1実施形態で説明したコンテンツ再生制御部16と同様、サンプル更新間隔S(t1)とコンテンツ情報d(τ)とを入力とし、サンプル更新間隔S(t1)で特定される再生速度でコンテンツ情報d(τ)を順次再生するための再生情報r(τ)を出力し、再生情報r(τ)は再生部17での再生に用いられる。さらにコンテンツ再生制御部66は、再生するコンテンツ情報d(τ)に対応する再生サンプル点τ=p(t)を出力する。
対応付け部67には、コンテンツ再生制御部66から出力された再生サンプル点τ=p(t)が入力される。対応付け部67は、再生されたコンテンツ情報d(τ)の鑑賞者100を呼吸計測部13で計測して得られる呼吸レベルV(t)に対応する時刻t(呼吸情報に対応する各時刻に対応する情報)と、再生サンプル点τ=p(t)(再生されたコンテンツ情報に対応する再生位置)とを対応付け、呼吸レベルV(t)と再生サンプル点τ=p(t)とを記憶部63(第2記憶部)に格納する。
呼吸指標抽出部64は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸指標抽出部64は、呼吸指標抽出部14と呼吸指標抽出部44の機能の両方を備える。本形態の例の呼吸指標抽出部64は、呼吸計測部13から出力された呼吸レベルV(t)(呼吸情報)を入力とし、計測対象となる鑑賞者100の呼気開始時刻bpe(n)及び未来の呼気開始時刻の予測値pbpe(n)を呼吸指標として出力する。
呼吸分布更新部68は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸分布更新部68は、時間軸上の少なくとも一部の位置での鑑賞者の呼吸状態に対応する第2呼吸目標情報を、呼吸指標と呼吸分布付きコンテンツが含む第1呼吸目標情報とからから得る。本形態の呼吸分布更新部68は、例えば、鑑賞者100の呼気開始状態に対応する呼吸目標情報Bpe'(μ)(第2呼吸目標情報)を、呼気開始時刻bpe(n)(呼吸指標)と呼吸分布付きコンテンツ22aが含む呼吸目標情報Bpe(μ)(第1呼吸目標情報)とから得る。第4実施形態の呼吸分布更新部48との相違点は、≪step II≫で式(9)に従って呼気開始時刻bpe(n)(n=0,1,...,N-1)を呼気開始サンプル点bpe'(n)に変換するのではなく、記憶部63に格納された呼吸レベルV(t)に対応する時刻tと再生サンプル点τ=p(t)との対応付けを参照してこの変換(時刻に対応する呼吸指標を再生位置に対応する第2呼吸指標に変換)を行う。すなわち、以下のような変換が行われる。
bpe'(n)=p(bpe(n)) (22)
その他は第4実施形態と同様である。
制御部69は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部69は、上述した呼吸分布更新装置6の処理全体を制御する。図14を用いて制御部69の制御処理を説明する。制御部69は第2実施形態のステップS21−S19までの処理を実行させる。ステップS19で再生が終了したと判定された場合、制御部69は、呼吸指標抽出部64に呼吸レベルV(t)(呼吸情報)から呼気開始時刻bpe(n)(呼吸指標)を生成させ(ステップS46)、呼吸分布更新部68に呼吸分布付きコンテンツ22aが含む呼吸目標情報Bpe(μ)及び同期重要度α(τ)を呼吸目標情報Bpe'(μ1)及び同期重要度α'(τ)にそれぞれ更新させる(ステップS67)。
第6実施形態では、同期重要度α(τ)が設定された呼吸分布付きコンテンツ22aを更新する例を示した。しかし、同期重要度α(τ)が設定されていない第1実施形態の呼吸分布付きコンテンツ12a(図4)を更新することにしてもよい。その場合には、第2実施形態のステップS21−S19までの処理の代わりに第1実施形態のステップS11−S19までの処理(図14)が実行され、ステップS67等での同期重要度に関する設定や処理が不要となる。
第7実施形態では、第3実施形態で説明したように鑑賞者100の呼吸状態に応じたサンプル更新間隔S(t1)で再生対象のサンプル点τを更新してコンテンツ情報d(τ)を再生する。そして、その際の鑑賞者100の呼吸状態に基づいて第5実施形態と同様に呼吸目標分布付きコンテンツ32a(図7)の更新を行う。以下では、上述の何れかの実施形態と共通する事項については、上述した実施形態で用いたのと同じ参照番号を用いて説明を省略する。
呼吸分布更新部78は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。呼吸分布更新部78は、記憶部52から読み込んだ呼吸分布付きコンテンツ32aが含む呼吸目標情報Φ(τ)(第1呼吸目標情報)に対応する位相に対応する位相空間上のベクトル(CV(τ),CW(τ))(第1ベクトル)と、呼吸指標(V(t),W(t))に対応する位相に対応する位相空間上のベクトル(V'(τ),W'(τ))(第2ベクトル)と、から得られる重心(G1(τ),G2(τ))(重心ベクトル)の位相に対応する情報を新たな呼吸目標情報Φ'(τ)(第2呼吸目標情報)とする。呼吸分布更新部78は、(G1(τ),G2(τ))の動径(重心ベクトルの大きさ)を新たな同期重要度α'(τ)(第2同期重要度)とする。呼吸分布更新部78の第5実施形態の呼吸分布更新部58との相違点は、≪step XII≫の処理において式(18)(19)に従って呼吸指標(V(t),W(t))を(V'(τ),W'(τ))(第2呼吸指標)に変換するのではなく、記憶部63に格納された呼吸レベルV(t)に対応する時刻tと再生サンプル点τ=p(t)との対応付けを参照してこの変換(時刻に対応する呼吸指標を再生位置に対応する第2呼吸指標に変換)を行う。すなわち、以下のような変換が行われる。
V'(τ)=V'(p(t))=V(t) (23)
W'(τ)=W'(p(t))=W(t) (24)
その他は第5実施形態と同様である。
[制御部79]
制御部79は、例えば、CPUに所定のプログラムが読み込まれることで構成される処理部である。制御部79は、上述した呼吸分布更新装置7の処理全体を制御する。図14を用いて制御部79の制御処理を説明する。制御部79は第3実施形態のステップS31−S19までの処理を実行させる。ステップS19で再生が終了したと判定された場合、制御部79は、呼吸指標抽出部54に呼吸レベルV(t)(呼吸情報)から呼吸指標(V(t),W(t))を生成させ(ステップS56)、呼吸分布更新部78に呼吸分布付きコンテンツ32aが含む呼吸目標情報Φ(τ)及び同期重要度α(τ)を呼吸目標情報Φ(τ)'及び同期重要度α'(τ)にそれぞれ更新させる(ステップS77)。
〔第7実施形態の変形例1〕
第7実施形態では、同期重要度α(τ)が設定された呼吸分布付きコンテンツ32aを更新する例を示した。しかし、第3実施形態の変形例2のように同期重要度α(τ)を含まない呼吸分布付きコンテンツを更新する構成でもよい。その場合には、同期重要度に関する設定や処理が不要となる。すなわち、同期重要度α(τ)を定数とみなした第7実施形態の処理を実行し、≪step XIII≫で新たな同期重要度α'(τ)を生成せず、記憶部52に格納された呼吸分布付きコンテンツが含む呼吸目標情報Φ(τ)を呼吸目標情報Φ'(τ)に置き換えればよい。
〔その他の変形例〕
本発明は上述の各実施形態に限定されるものではない。
例えば、上述の各実施形態では、コンテンツの再生が終了してから記憶部63に記録された呼吸レベルV(t)を用いて呼吸指標を生成し、呼吸分布付きコンテンツを更新することとした。しかし、コンテンツの再生中に順次呼吸レベルV(t)から呼吸指標を生成して呼吸指標を記憶部に記録していき、この記憶部に記録された呼吸指標を用いて呼吸分布付きコンテンツが更新されてもよい。
また、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能であることはいうまでもない。
各実施形態により得られる効果を列挙する。
第4−7実施形態によれば、鑑賞者があるコンテンツを鑑賞している際の呼吸の癖を徐々に呼吸分布付きコンテンツに反映させることができる。
第6,7実施形態によれば、再生速度が変化する場合でも、コンテンツ再生中のある時点の鑑賞者の呼吸情報をその時点で再生されているコンテンツの再生サンプル点の位置に付与される呼吸目標情報や同期重要度に反映することができる。
上述の各構成をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。
また、処理内容を記述したプログラムや前述したデータ構造の呼吸目標分布付きコンテンツは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。
また、プログラムや呼吸目標分布付きコンテンツの流通は、例えば、プログラムや呼吸目標分布付きコンテンツを記録したDVD、CD−ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、プログラムや呼吸目標分布付きコンテンツをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにプログラムや呼吸目標分布付きコンテンツを転送することにより、これら流通させる構成としてもよい。
また、上述の各実施形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
4−7 呼吸分布更新装置
Claims (9)
- 時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置に対応する、前記時間軸に沿った第1呼吸目標設定位置に対して定められた呼吸状態を特定する第1呼吸目標情報と、を含む、呼吸分布付きコンテンツを格納する記憶部と、
前記呼吸分布付きコンテンツが含む各再生位置にそれぞれ対応する前記コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生制御部と、
再生された前記コンテンツ情報の鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定する呼吸指標を抽出する呼吸指標抽出部と、
前記時間軸上の少なくとも一部の位置での前記鑑賞者の呼吸状態に対応する第2呼吸目標情報を前記呼吸指標から得て、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する前記時間軸上の位置である第2呼吸目標設定位置に対応する前記コンテンツ情報に対応付け、前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報を前記第2呼吸目標情報で置き換える呼吸分布更新部と、を有し、
前記呼吸分布更新部は、前記呼吸指標と前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報とから前記第2呼吸目標情報を得、
前記第1呼吸目標情報のそれぞれは、呼吸状態が特定の基準状態となるべき前記時間軸上の位置である第1呼吸基準位置を特定し、
前記呼吸指標のそれぞれは、前記鑑賞者の呼吸状態が特定の基準状態となる前記時間軸上の位置である第2呼吸基準位置を特定し、
前記呼吸分布更新部は、前記第1呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第1確率密度関数と前記第2呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第2確率密度関数との線形和である第3確率密度関数のピークに対応する前記時間軸上の位置を表す情報を前記第2呼吸目標情報とする、
ことを特徴とする呼吸分布更新装置。 - 時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置に対応する、前記時間軸に沿った第1呼吸目標設定位置に対して定められた呼吸状態を特定する第1呼吸目標情報と、を含む、呼吸分布付きコンテンツを格納する記憶部と、
前記呼吸分布付きコンテンツが含む各再生位置にそれぞれ対応する前記コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生制御部と、
再生された前記コンテンツ情報の鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定する呼吸指標を抽出する呼吸指標抽出部と、
前記時間軸上の少なくとも一部の位置での前記鑑賞者の呼吸状態に対応する第2呼吸目標情報を前記呼吸指標から得て、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する前記時間軸上の位置である第2呼吸目標設定位置に対応する前記コンテンツ情報に対応付け、前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報を前記第2呼吸目標情報で置き換える呼吸分布更新部と、を有し、
前記呼吸分布更新部は、前記呼吸指標と前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報とから前記第2呼吸目標情報を得、
前記第1呼吸目標情報のそれぞれは、呼吸運動にそれぞれ対応する位相に対応する情報であり、
前記呼吸指標のそれぞれは、前記鑑賞者の呼吸運動にそれぞれ対応する位相に対応する情報であり、
前記呼吸分布更新部は、前記第1呼吸目標情報に対応する位相に対応する位相空間上の第1ベクトルと前記呼吸指標に対応する位相に対応する位相空間上の第2ベクトルとから得られる重心ベクトルの位相に対応する情報を前記第2呼吸目標情報とする、
ことを特徴とする呼吸分布更新装置。 - 請求項1または2の呼吸分布更新装置であって、
前記呼吸分布付きコンテンツは、さらに、少なくとも一部の前記再生位置にそれぞれ対応する係数である第1同期重要度を含み、
前記呼吸分布更新部は、少なくとも一部の前記再生位置にそれぞれ対応する係数である第2同期重要度を前記呼吸指標から得て、当該第2同期重要度を当該第2同期重要度に対応する前記再生位置に対応付け、前記呼吸分布付きコンテンツが含む前記第1同期重要度を前記第2同期重要度で置き換える、
ことを特徴とする呼吸分布更新装置。 - 請求項3の呼吸分布更新装置であって、
前記第1呼吸目標情報のそれぞれは、呼吸状態が特定の基準状態となるべき前記時間軸上の位置である第1呼吸基準位置を特定し、
前記呼吸指標のそれぞれは、前記鑑賞者の呼吸状態が特定の基準状態となる前記時間軸上の位置である第2呼吸基準位置を特定し、
前記呼吸分布更新部は、前記第1呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第1確率密度関数と前記第2呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第2確率密度関数との線形和である第3確率密度関数のピークでの関数値に対応する値を前記第2同期重要度とする、
ことを特徴とする呼吸分布更新装置。 - 請求項3の呼吸分布更新装置であって、
前記第1呼吸目標情報のそれぞれは、呼吸運動に対応する位相に対応する情報であり、
前記呼吸指標のそれぞれは、前記鑑賞者の呼吸運動に対応する位相に対応する情報であり、
前記呼吸分布更新部は、前記第1呼吸目標情報に対応する位相に対応する位相空間上の第1ベクトルと前記呼吸指標に対応する位相に対応する位相空間上の第2ベクトルとから得られる重心ベクトルの大きさに対応する情報を前記第2同期重要度とする、
ことを特徴とする呼吸分布更新装置。 - 請求項1から5の何れかの呼吸分布更新装置であって、
前記呼吸情報は各時刻に対してそれぞれ得られ、
前記第1呼吸目標設定位置及び前記第2呼吸目標設定位置のそれぞれは、何れかの前記再生位置であり、
前記呼吸分布更新装置は、前記再生されたコンテンツ情報の前記鑑賞者を計測して得られる前記呼吸情報に対応する各時刻に対応する情報を、当該再生されたコンテンツ情報に対応する前記再生位置にそれぞれ対応付けて格納する第2記憶部を有し、
前記呼吸指標のそれぞれは時刻に対応し、
前記呼吸分布更新部は、前記第2記憶部を参照して時刻に対応する前記呼吸指標を前記再生位置に対応する第2呼吸指標に変換し、当該第2呼吸指標から前記第2呼吸目標情報を得る、
ことを特徴とする呼吸分布更新装置。 - 時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置に対応する、前記時間軸に沿った第1呼吸目標設定位置に対して定められた呼吸状態を特定する第1呼吸目標情報と、を含む、呼吸分布付きコンテンツが含む各再生位置にそれぞれ対応する前記コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生制御ステップと、
再生された前記コンテンツ情報の鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定する呼吸指標を抽出する呼吸指標抽出ステップと、
前記時間軸上の少なくとも一部の位置での前記鑑賞者の呼吸状態に対応する第2呼吸目標情報を前記呼吸指標から得て、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する前記時間軸上の位置である第2呼吸目標設定位置に対応する前記コンテンツ情報に対応付け、前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報を前記第2呼吸目標情報で置き換える呼吸分布更新ステップと、を有し、
前記呼吸分布更新ステップは、前記呼吸指標と前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報とから前記第2呼吸目標情報を得、
前記第1呼吸目標情報のそれぞれは、呼吸状態が特定の基準状態となるべき前記時間軸上の位置である第1呼吸基準位置を特定し、
前記呼吸指標のそれぞれは、前記鑑賞者の呼吸状態が特定の基準状態となる前記時間軸上の位置である第2呼吸基準位置を特定し、
前記呼吸分布更新ステップは、前記第1呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第1確率密度関数と前記第2呼吸基準位置に対応する値を標本として得られる呼吸基準位置の第2確率密度関数との線形和である第3確率密度関数のピークに対応する前記時間軸上の位置を表す情報を前記第2呼吸目標情報とする、呼吸分布更新方法。 - 時間軸に沿った各再生位置にそれぞれ対応するコンテンツ情報と、少なくとも一部の前記再生位置に対応する、前記時間軸に沿った第1呼吸目標設定位置に対して定められた呼吸状態を特定する第1呼吸目標情報と、を含む、呼吸分布付きコンテンツが含む各再生位置にそれぞれ対応する前記コンテンツ情報を順次再生するための再生情報を出力するコンテンツ再生制御ステップと、
再生された前記コンテンツ情報の鑑賞者を計測して得られる呼吸情報から、当該鑑賞者の呼吸状態を特定する呼吸指標を抽出する呼吸指標抽出ステップと、
前記時間軸上の少なくとも一部の位置での前記鑑賞者の呼吸状態に対応する第2呼吸目標情報を前記呼吸指標から得て、当該第2呼吸目標情報を当該第2呼吸目標情報に対応する前記時間軸上の位置である第2呼吸目標設定位置に対応する前記コンテンツ情報に対応付け、前記呼吸分布付きコンテンツが含む前記第1呼吸目標情報を前記第2呼吸目標情報で置き換える呼吸分布更新ステップと、を有し、
前記第1呼吸目標情報のそれぞれは、呼吸運動にそれぞれ対応する位相に対応する情報であり、
前記呼吸指標のそれぞれは、前記鑑賞者の呼吸運動にそれぞれ対応する位相に対応する情報であり、
前記呼吸分布更新ステップは、前記第1呼吸目標情報に対応する位相に対応する位相空間上の第1ベクトルと前記呼吸指標に対応する位相に対応する位相空間上の第2ベクトルとから得られる重心ベクトルの位相に対応する情報を前記第2呼吸目標情報とする、呼吸分布更新方法。 - 請求項1から6の何れかの呼吸分布更新装置の各部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050369A JP5496935B2 (ja) | 2011-03-08 | 2011-03-08 | 呼吸分布更新装置、呼吸分布更新方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011050369A JP5496935B2 (ja) | 2011-03-08 | 2011-03-08 | 呼吸分布更新装置、呼吸分布更新方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012190492A JP2012190492A (ja) | 2012-10-04 |
JP5496935B2 true JP5496935B2 (ja) | 2014-05-21 |
Family
ID=47083495
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011050369A Active JP5496935B2 (ja) | 2011-03-08 | 2011-03-08 | 呼吸分布更新装置、呼吸分布更新方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5496935B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5587815B2 (ja) * | 2011-03-08 | 2014-09-10 | 日本電信電話株式会社 | 呼吸分布付与装置、再生速度同期装置、呼吸分布付与方法、再生速度同期方法、及びプログラム |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4627379B2 (ja) * | 2001-04-04 | 2011-02-09 | 三菱電機株式会社 | 呼吸誘導装置 |
JP2004227638A (ja) * | 2003-01-21 | 2004-08-12 | Sony Corp | データ記録媒体、データ記録方法および装置、データ再生方法および装置並びにデータ伝送方法および装置 |
JP2006171133A (ja) * | 2004-12-14 | 2006-06-29 | Sony Corp | 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法 |
JP4595555B2 (ja) * | 2005-01-20 | 2010-12-08 | ソニー株式会社 | コンテンツ再生装置およびコンテンツ再生方法 |
US10741218B2 (en) * | 2005-02-14 | 2020-08-11 | Koninklijke Philips N.V. | Electronic device and method for reproducing a human perceptual signal |
JP5392907B2 (ja) * | 2009-09-10 | 2014-01-22 | 日本電信電話株式会社 | 再生速度同期装置、再生速度同期方法、及びプログラム |
JP5314543B2 (ja) * | 2009-09-10 | 2013-10-16 | 日本電信電話株式会社 | 呼吸誘導装置、呼吸誘導方法、及びプログラム |
-
2011
- 2011-03-08 JP JP2011050369A patent/JP5496935B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012190492A (ja) | 2012-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6428066B2 (ja) | 採点装置及び採点方法 | |
JP6249569B2 (ja) | トレーニングで使用されるメディアに関するパフォーマンス・メタデータを用いた方法、システム及びコンピュータ読み取り可能な記録媒体 | |
JP6137935B2 (ja) | 身体動作評価装置、カラオケシステム、及びプログラム | |
CN106503034B (zh) | 一种为动画配乐的方法及装置 | |
JP5553232B2 (ja) | 楽曲再生システム | |
US10055413B2 (en) | Identifying media content | |
US9116605B2 (en) | System and method for generating event distribution information | |
JP5392907B2 (ja) | 再生速度同期装置、再生速度同期方法、及びプログラム | |
JP2006244028A (ja) | 情報提示装置及び情報提示プログラム | |
JP5496935B2 (ja) | 呼吸分布更新装置、呼吸分布更新方法、及びプログラム | |
JP5314543B2 (ja) | 呼吸誘導装置、呼吸誘導方法、及びプログラム | |
JP5587815B2 (ja) | 呼吸分布付与装置、再生速度同期装置、呼吸分布付与方法、再生速度同期方法、及びプログラム | |
JP5599498B2 (ja) | 再生速度同期装置、再生速度同期方法、及びプログラム | |
JP6295381B1 (ja) | 表示タイミング決定装置、表示タイミング決定方法、及びプログラム | |
JP5818261B2 (ja) | 再生コンテンツ制御装置とその方法とプログラム | |
JP5673371B2 (ja) | 再生速度同期装置及びプログラム | |
JP6762925B2 (ja) | 影響評価装置、呼吸誘導装置、影響評価方法、及びそれらのプログラム | |
Hirata et al. | Bowing-net: Motion generation for string instruments based on bowing information | |
WO2017145800A1 (ja) | 音声解析装置、音声解析方法及びプログラム | |
JP5510822B2 (ja) | 歌唱情報処理システム | |
JP5939217B2 (ja) | 情報処理装置、情報処理システム及びプログラム | |
Maezawa et al. | Automatic music accompaniment based on audio-visual score following | |
JP6361430B2 (ja) | 情報処理装置及びプログラム | |
JP6069567B2 (ja) | ゲーム処理方法、ゲーム処理システム及びゲーム処理プログラム | |
JP6472216B2 (ja) | カラオケ連携システム、デジタルサイネージ、およびその広告選択方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121227 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140225 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140305 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5496935 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |