JP4864055B2 - 音声処理装置、音声処理方法、ならびに、プログラム - Google Patents

Description

本発明は、異なるオクターブであっても同じ音名を有する音に対しては、ほぼ同一の運指が割り当てられる楽器を模したコントローラにより楽曲を演奏するのに好適な音声処理装置、音声処理方法、ならびに、これらをコンピュータにて実現するプログラムに関する。

楽器演奏において広く用いられている西洋音楽の理論によれば、異なるオクターブに属し、異なる音高（基本周波数、ピッチ）を有するが、「同じ音である」と人間に感じられる音、具体的には、基本周波数が２の羃乗倍だけ異なる音には、同じ音名が与えられることとなっている。

したがって、オクターブの異なる二つの音であっても、同じ「ド」「レ」「ミ」「ファ」「ソ」「ラ」「シ」などの音名が割り当てられることになる。

この関係から、ある音高（基本周波数、ピッチ）を持つ音は、その音が属するオクターブと、その音の音名と、によって、指定することができる。

リコーダー等の管楽器においては、右手と左手の両手の指にそれぞれ孔が割り当てられ、どの指で孔を開放するか塞ぐかによって、息を吹き込んだときに出る音の音高が決まるものがある。

リコーダーでは、基本となる「ド」を演奏するための運指と、これより１オクターブだけ高い「ド」を演奏するための運指と、では、一方の手の親指が孔を開放するか否かだけが異なる。「レ」「ミ」等についても、同様の関係がなりたつ。

したがって、これらの楽器は、異なるオクターブであっても同じ音名を有する音に対しては、ほぼ同一の運指が割り当てられる楽器と考えることができる。

一方で、管楽器を電子化する技術については、以下の文献に開示されている。
特開平１０−５５１７６号公報

ここで、特許文献１には、管楽器本体の先端に設けられたマウスピースから吹き込まれた呼気の流速、流量、圧力のいずれかをブレスセンサで検出し、このブレスセンサからの検出信号に基づいて楽音制御手段で楽音の発生を制御する電子管楽器が開示されている。

しかしながら、ゲーム装置等で管楽器を模した電子楽器を実現する場合には、製造コストや衛生上の観点から、唇でコントローラを支持したり、口でコントローラに息を吹き込むような形態を採用することができない場合もある。

このとき、唇でコントローラを支持しないのであれば、右手親指等は、コントローラを支持する指として、常にコントローラの一定の場所を押さえるようにした方が良い、とも考えられる。

したがって、このような条件を満たしつつ、できるだけ通常の運指と同様に広いオクターブの異なる音を出力できるような電子楽器を実現する技術が求められている。

本発明は、上記のような課題を解決するもので、異なるオクターブであっても同じ音名を有する音に対しては、ほぼ同一の運指が割り当てられる楽器を模したコントローラにより楽曲を演奏するのに好適な音声処理装置、音声処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することを目的とする。

以上の目的を達成するため、本発明の原理にしたがって、下記の発明を開示する。

本発明の第１の観点に係る音声処理装置は、コントローラ部、音名選択部、オクターブ選択部、出力部を備え、以下のように構成する。

すなわち、コントローラ部は、ユーザにより支持される支持体と、当該支持体に配置され、当該ユーザによる押圧操作を受け付ける複数の操作体と、当該支持体の傾きを検出する検出部と、を有する。

典型的には、操作体は、押圧操作を検出するボタンやスイッチであり、リコーダー等の管楽器の形状を模した棒状の支持体を採用した場合には、上面に、右手の小指、薬指、中指、人差指、および左手の薬指、中指に操作される６個の操作体を一列に配置する。

一般的なリコーダーでは、当該６個の操作体に対応するものとして、上面には７個の穴が配置されており、これとや別に、左手の親指で操作する孔が裏面に１個配置されており、孔を閉じるか開くかによって、オクターブを定めることとしている。

しかしながら、本発明においては、スイッチ等の押圧操作によりオクターブを決めるのではなく、後述するように、支持体の傾きによってオクターブを定めることとしている。

一方、音名選択部は、一つの音階に含まれる複数の音のうち、複数の操作体により受け付けられた押圧操作の組み合わせに対応付けられる音名を選択する。

すなわち、リコーダー等の管楽器と同様の運指を音名と押圧操作の組み合わせに割り当て、電子楽器が発する音を定めるものである。

さらに、オクターブ選択部は、複数のオクターブから、検出された傾きに対応付けられるオクターブを選択する。

典型的には、ユーザが支持体を無理なく自然に支えているときの傾き以下の傾きであれば、基準となるオクターブが選択され、傾きがこれより上、すなわち、支持体の先端を上に持ち上げる方向の姿勢になっていれば、１オクターブ上を選択する。もっとも、傾きを複数の段階に分割して、それぞれの傾きに応じたオクターブを選択することとしても良い。

そして、出力部は、選択されたオクターブ内の選択された音名の音を出力する。

すなわち、支持体の傾きによって選択されたオクターブ内の、操作体の押圧状態によって選択された音名の音を出力することで、電子楽器としての演奏を行うのである。

なお、リコーダーでは、音が出るのは、演奏者が息を吹き込んだときである。したがって、本発明の音声処理装置においては、「音を出すか否か」を決定するための技術が必要となる。最も容易には、支持体の端部にスイッチを設け、このスイッチをプレイヤーの唇や体で押圧している間、音声が出る、とするものである。それ以外の態様としては、後述する発明による例を採用することができる。

本発明によれば、異なるオクターブであっても同じ音名を有する音に対しては、ほぼ同一の運指が割り当てられる楽器を模したコントローラにより楽曲を演奏するのに好適な音声処理装置を提供することができる。

また、本発明の音声処理装置において、オクターブ選択部において、当該複数のオクターブは、互いに隣り合う２つのオクターブであり、当該２つのオクターブのうち、高いオクターブは、当該ユーザから見て当該支持体を上げる方向の傾きに対応付けられ、低いオクターブは、当該ユーザから見て当該支持体を下げる方向の傾きに対応付けられるように構成することができる。

上述の通り、本発明は、上記発明の好適実施形態に係るものである。リコーダーなどの管楽器では、２オクターブの範囲で音を出すことができるものが典型的であること、高い音を出すときには上を向き、低い音を出すときには下を向く、という動作は、人間にとって、心理学的にも適合していることを考慮したものである。

したがって、本発明によれば、人間の自然な動作に基づいて、２オクターブの範囲で音声を出力できるような電子楽器を実現することができる。

また、本発明の音声処理装置は、提示部をさらに備え、以下のように構成することができる。

ここで、提示部は、出力すべき音高およびタイミングを当該ユーザに提示する。

提示部は、楽譜に相当するものであり、出力すべき音高およびタイミングをユーザに提示するものである。

リズムゲームやダンスゲーム、楽器演奏ゲームなどでは、スクロールする楽譜が画面に表示され、楽譜に含まれる音符が所定の位置（照準線）に至るか否かによってタイミングをユーザに知らせ、各種のボタンやスイッチを押圧操作することで、成績を判定するものが広く知られている。本発明は、このような技術を適用するものである。

音名選択部により選択された音名が提示された音高の音名である場合、オクターブ選択部は、検出された傾きに対応付けられるオクターブを選択するのにかえて、提示された音高のオクターブを選択する。

本発明においては、どの音名の音を出力すべきか、ならびに、どのオクターブで出力すべきか、が、音高として提示される。そして、前者は押圧操作による運指で指定され、後者は支持体の傾きによって指定されることを基本的な動作としている。

ここでのオクターブ選択部は、運指が正しければ、支持体の傾きが間違っていても、正しい傾きである、と認定することに相当する。一般に、リコーダーなどの管楽器において、操作が難しく、練習を積む必要があるのは、運指であり、正しい音名を指定できるようにすることである。そこで、本発明においては、オクターブについての指定が間違っている場合であっても、運指が正しければ、正しい音高で音を出力することにより、ユーザの熟達を促すのである。

さらに、出力部は、提示されたタイミングに、選択されたオクターブ内の選択された音名の音を出力する。

本発明においては、提示部の提示によって、音声を出力すべきタイミングが定められることになる。したがって、支持体の端部に、音声出力を指示するスイッチなどを設ける必要はない。

本発明によれば、画面に楽譜などを提示することで、出力すべき音高および音を出力すべきタイミングをユーザに知らせるとともに、ユーザの運指の練習を促し、演奏の上達を促進することができるようになる。

また、本発明の音声処理装置において、音名選択部により選択された音名が提示された音高の音名である場合、オクターブ選択部は、
（ｐ）当該音高が提示されてから所定の猶予時間が経過するまでは、検出された傾きに対応付けられるオクターブを選択するのにかえて、提示された音高のオクターブを選択し、
（ｑ）当該音高が提示されてから所定の猶予時間が経過して以降は、当該音高が提示されてから当該所定の猶予時間内に検出された傾きに対応付けられるオクターブが提示された音高のオクターブに一致することがあれば、検出された傾きに対応付けられるオクターブを選択するのにかえて、提示された音高のオクターブを選択する
ように構成することができる。

上記発明では、運指が正しければ、支持体の傾きが間違っていても、正しい傾きである、と認定していたが、本発明では、運指が正しく、かつ、所定の猶予時間内にオクターブの指定が正しくなった場合には、正しい音名で音声が出力されることになる。

本発明においては、運指が正しく、オクターブについての指定が所定の猶予時間内に正しくなれば、正しい音高で音を出力することにより、ユーザの熟達を促すことができるようになる。

また、本発明の音声処理装置は、記憶部、加算部をさらに備え、以下のように構成することができる。

すなわち、記憶部により、当該ユーザが獲得した得点が記憶される。楽器演奏ゲーム、リズムゲーム、ダンスゲームなどと同様に、得点を管理することによって、ユーザの上達の度合を見るものである。

一方加算部は、音名選択部により選択された音名が提示された音高の音名である場合、所定の音名正解得点を記憶部に記憶される得点に加算し、当該音高が提示されてから当該所定の猶予時間内に、検出された傾きに対応付けられるオクターブが提示された音高のオクターブとなった場合、所定のオクターブ正解得点を記憶部に記憶される得点に加算する。

すなわち、運指が正しければ、音名正解得点がユーザの成績に加算される。

また、支持体の傾きによるオクターブの指定には一定の猶予時間が設けられており、この間に正しいオクターブが指定されれば、オクターブ正解得点がユーザの成績に加算される。

本発明によれば、運指とオクターブの指定の加算の手法を区別することで、上達するのが難しい運指の練習を優先して促すこととして、ユーザの状態を促進することができるようになる。

本発明のその他の観点に係る音声処理方法は、コントローラ部、音名選択部、オクターブ選択部、出力部を有する音声処理装置が実行し、コントローラ部は、ユーザに支持される支持体と、当該支持体に配置され、当該ユーザによる押圧操作を受け付ける複数の操作体と、当該支持体の傾きを検出する検出部と、を有し、コントローラ工程、音名選択工程、オクターブ選択工程、出力工程を備え、以下のように構成する。

すなわち、コントローラ工程では、コントローラ部が、当該複数の操作体により押圧操作を受け付け、当該検出部により当該支持体の傾きを検出する。

一方、音名選択工程では、音名選択部が、一つの音階に含まれる複数の音のうち、複数の操作体により受け付けられた押圧操作の組み合わせに対応付けられる音名を選択する。

さらに、オクターブ選択工程では、オクターブ選択部が、複数のオクターブから、検出された傾きに対応付けられるオクターブを選択する。

そして、出力工程では、出力部が、選択されたオクターブ内の選択された音名の音を出力する。

本発明のその他の観点に係るプログラムは、コンピュータを上記の音声処理装置の各部として機能させ、コンピュータに、上記の音声処理方法の各工程を実行させるように構成する。

また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。

上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。

本発明によれば、異なるオクターブであっても同じ音名を有する音に対しては、ほぼ同一の運指が割り当てられる楽器を模したコントローラにより楽曲を演奏するのに好適な音声処理装置、音声処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。

以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。

図１は、プログラムを実行することにより、本実施形態の音声処理装置として機能しうる典型的な情報処理装置の概要構成を示す模式図である。以下、本図を参照して説明する。

情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ １０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェース１０４と、コントローラ１０５と、外部メモリ１０６と、画像処理部１０７と、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８と、ＮＩＣ（Network Interface Card）１０９と、音声処理部１１０と、マイク１１１と、を備えるように構成することができる。各種の入出力装置は、適宜省略することができる。

ゲーム用のプログラムおよびデータを記憶したＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態の音声処理装置が実現される。

また、携帯ゲーム機器においては、携帯可能とするために、ＤＶＤ−ＲＯＭドライブ１０８を利用するのではなく、ＲＯＭカセット用スロットを利用することも可能である。この場合、プログラムが記録されたＲＯＭカセットを挿入して、当該プログラムを実行することで、本実施形態の音声処理装置が実現される。

ＣＰＵ １０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ １０１は、レジスタ（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ １０１自身が構成されているものや、コプロセッサを備えて実現するものがある。

ＲＯＭ １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ １０３に読み出してＣＰＵ １０１による実行が開始される。また、ＲＯＭ １０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。

ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ １０１は、ＲＡＭ １０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行ったり、ＲＡＭ １０３に格納された値を一旦レジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻す、などの処理を行う。

赤外線通信などの無線通信を用いてインターフェース１０４に接続されたコントローラ１０５は、ユーザがゲーム実行の際に行う操作入力を受け付ける。本実施形態に係るコントローラ１０５は、ユーザが支持する支持体２０１と、情報処理装置１００側の通信部２５１との組み合わせからなり、両者は赤外線通信などによって通信する。コントローラ１０５の詳細については、後述する。

インターフェース１０４を介して着脱自在に接続された外部メモリ１０６には、ゲーム等のプレイ状況（過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ（記録）のデータなどが書き換え可能に記憶される。ユーザは、コントローラ１０５を介して指示入力を行うことにより、これらのデータを適宜外部メモリ１０６に記録することができる。

ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ １０３等に一時的に記憶される。

画像処理部１０７は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ １０１や画像処理部１０７が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０７が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０７に接続されるテレビジョン装置へ出力される。これにより、各種の画像表示が可能となる。

画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。

また、仮想３次元空間に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から仮想３次元空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。

さらに、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画することが可能である。

ＮＩＣ １０９は、情報処理装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、ＬＡＮを構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ １０１との仲立ちを行うインターフェース（図示せず）により構成される。

音声処理部１１０は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず）から出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカや、ヘッドホン（図示せず）、イヤフォン（図示せず）から出力させる。

音声処理部１１０では、ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカに出力することにより、音声出力が可能となる。

さらに、情報処理装置１００には、インターフェース１０４を介してマイク１１１を接続することができる。この場合、マイク１１１からのアナログ信号に対しては、適当なサンプリング周波数でＡ／Ｄ変換を行い、ＰＣＭ形式のディジタル信号として、音声処理部１１０でのミキシング等の処理ができるようにする。

このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリ１０６、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。

また、ユーザからの文字列の編集入力を受け付けるためのキーボードや、各種の位置の指定および選択入力を受け付けるためのマウスなどを接続する形態も採用することができる。また、本実施形態の情報処理装置１００にかえて、汎用のパーソナルコンピュータを利用することもできる。

図２は、コントローラ１０５の外観を示す説明図である。以下、本図を参照して説明する。

本図に示すように、コントローラ１０５は、ユーザが支持する棒状の支持体２０１と、情報処理装置１００本体のインターフェース１０４に接続される通信部２５１と、の２つからなる。

棒状の支持体２０１の上面には、操作体として機能するスイッチ２０２が６個配置されている。ユーザは、この６個のスイッチ２０２に、順に、右小指、右薬指、右中指、右人差指、左薬指、左中指で触れるとともに、左親指および右親指は、支持体２０１の下面を押さえ、左人差指は支持体２０１の上面を押さえる（押さえる場所は、図中点線の丸で示されている。）ことで、コントローラ１０５全体を支持する。

スイッチ２０２は、指で触れると押圧操作がされている、と検出され、離すと押圧操作がされていない、と検出されるような、微力でも動作するスイッチを採用するのが典型的である。たとえば、フェザータッチ型の機械スイッチを利用しても良いし、指が触れていることを検出する感圧センサや、指の温度を検出する温度センサなどを採用しても良い。

コントローラ１０５の内部には、傾きセンサ２０３（重力加速度の方向との差異を直接検出するセンサを利用しても良いし、加速度センサや角加速度センサ、速度センサや角速度センサなどが検出する結果を積分することで傾きを得ることとしても良い。）が配置されており、傾きセンサ２０３の検出結果と、スイッチ２０２の押圧操作とは、支持体の端部のうち、左小指に近い側の端部に配置された赤外線通信装置２０５を介して、情報処理装置１００に伝達される。

なお、スイッチ２０２のほかに、右親指で触れる位置や、ユーザの体に近い端部にボタン（図示せず。）をさらに設けることとしても良い。前者の場合には、右親指で押圧操作することにより、音を出すことを指示し、後者の場合には、ユーザが唇でボタンを押すことにより、音を出すことを指示する、という態様を採用することもできる。

また、コントローラ１０５と情報処理装置１００との間の通信は、赤外線通信によるほかケーブルによる有線通信や無線ＬＡＮなどの電波を用いた無線通信を採用することとしても良い。

以下では、本実施形態に係る音声処理装置の運指について説明する。図３Ａは、音名「ド」を指定する運指を示す説明図であり、図３Ｂは、音名「レ」を指定する運指を示す説明図であり、図３Ｃは、音名「ミ」を指定する運指を示す説明図であり、図３Ｄは、音名「ファ」を指定する運指を示す説明図であり、図３Ｅは、音名「ソ」を指定する運指を示す説明図であり、図３Ｆは、音名「ラ」を指定する運指を示す説明図であり、図３Ｇは、音名「シ」を指定する運指を示す説明図である。以下、これらの図を参照して説明する。

これらの図には、コントローラ１０５の支持体２０１の上面のスイッチ２０２を押した状態（リコーダーで孔を閉じた状態に相当する。）を斜線で、離した状態（リコーダーで孔を開いた状態に相当する。）を白い色で、それぞれ表記している。

また、これらの図では、コントローラ１０５の支持体２０１の赤外線通信装置２０５は、図の上側に配置され、ユーザの体に向く側は、図の下側に配置するように図示している。

図３Ａに示すように、音名「ド」を指定する場合には、６個すべてのスイッチ２０２を押圧操作する。

一方、図３Ｂに示すように、音名「レ」を指定する場合には、左小指のスイッチ２０２のみ解放し、その他のスイッチ２０２は押圧操作する。

さらに、図３Ｃに示すように、音名「ミ」を指定する場合には、左小指、左薬指のスイッチ２０２を解放し、その他のスイッチ２０２は押圧操作する。

以下、このように、左手の指を順に解放することで（図３Ｄ、図３Ｅ）、「ファ」「ソ」が指定され、さらに右手の指を順に解放することで（図３Ｆ、図３Ｇ）、「ラ」「シ」が指定されるのである。

なお、運指の対応付けや、半音の高低を指定するための運指については、コントローラ１０５によって実現する電子楽器の種類によって、適宜変更することが可能である。

図４は、本実施形態に係る音声処理装置の傾きとオクターブの関係について説明する説明図である。以下、本図を参照して説明する。

本図では、ユーザの体３０１とコントローラ１０５の支持体２０１との相対的な位置関係を示しており、本実施形態では、重力加速度の方向３０２に対するコントローラ１０５の支持体２０１の傾きθが、傾きセンサ２０３によって検知される。

本図に示すコントローラ１０５の支持体２０１の傾きθは、ユーザが自然にコントローラ１０５を支持したときの姿勢に相当するものであり、およそ６０度ほどの角度となっているが、音声処理装置の各種設定によって調整が可能である。

図５は、傾きθとオクターブとの対応付けを示す説明図である。以下、本図を参照して説明する。

本図に示すように、傾きθがおよそ６０度ほどの角度となるところが閾下限傾き３０３であり、これにある程度の余裕角（本図では、およそ１０度。）を加算した傾きが、閾上限傾き３０４である。

コントローラ１０５の支持体２０１が閾下限傾き３０３よりも低い傾きとなっている場合（本図では、支持体２０１ａとして示している。）、は、基準となるオクターブに対応付けられ、コントローラ１０５の支持体２０１が閾上限傾き３０４以上の傾きとなっている場合（本図では、支持体２０１ｂとして示している。）、は、基準オクターブより１オクターブだけ高いオクターブに対応付けられている。

高い音を出すときには上を向き、低い音を出すときには下を向く、という動作は、人間にとって、心理学的にも適合しており、この対応付けは、このような心理学的な効果を考慮したものである。

このように、ユーザは、図３Ａ〜図３Ｇに示す運指と、図５に示す傾きによって、２オクターブの範囲にある音高の音を、演奏出力することができるようになるのである。

さて、以下では、音声出力を指定するボタンを設けない態様、すなわち、音を出すタイミングを決めるのは、ユーザの操作ではなく、音声処理装置であるような実施形態について説明する。

図６は、本実施形態に係る音声処理装置の概要を示す模式図である。以下、本図を参照して説明する。

本図に示すように、音声処理装置５０１は、コントローラ部５０２、音名選択部５０３、オクターブ選択部５０４、出力部５０５、提示部５０６、記憶部５０７、加算部５０８を備える。

すなわち、コントローラ部５０２は、コントローラ１０５により実現される。そして、棒状の支持体２０１を、ユーザにより支持される支持体（図示せず。）として利用し、複数のスイッチ２０２を、ユーザによる押圧操作を受け付ける複数の操作体（図示せず。）として利用し、コントローラ１０５に内蔵される傾きセンサ２０３を、当該支持体の傾きを検出する検出部（図示せず。）として利用する。

一方、音名選択部５０３、オクターブ選択部５０４は、コントローラ１０５と共働するＣＰＵ １０１により実現され、出力部５０５は、ＣＰＵ １０１により制御される音声処理部１１０ならびにこれに接続されるスピーカやヘッドホンなどにより実現される。

また、提示部５０６は、ＣＰＵ １０１により制御される画像処理部１０７ならびにこれに接続されるモニタなどにより実現される。また、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤなどの情報記録媒体には、あらかじめ用意された各種のデータが保存され、必要に応じて一時的な記憶領域であるＲＡＭ １０３に一時的にデータを読み出して、利用する。

さらに、記憶部５０７は、ＣＰＵ １０１の制御下でＲＡＭ １０３により実現され、加算部５０８は、ＲＡＭ １０３と共働するＣＰＵ １０１により実現される。

図７は、本実施形態に係る音声処理装置にて実行される音声処理の制御の流れを示すフローチャートである。以下、本図を参照して説明する。

本音声処理が開始されると、ＣＰＵ １０１は、ＲＡＭ １０３に用意される各種の記憶域を、初期化する（ステップＳ６０１）。たとえば、ユーザの得点を記憶する記憶部５０７は、本ステップによって得点「０」に初期化される。このほか、ユーザの運指が変化した時刻を記憶する運指変化時刻記憶領域も「０」に初期化する。

次に、ＤＶＤ−ＲＯＭドライブ１０８に装着されたＤＶＤから、ユーザに提示する音高およびタイミングをＲＡＭ １０３に読み出す（ステップＳ６０２）。このデータは、どの音をいつ出すかを定義するもので、ユーザが演奏すべき楽曲の楽譜に相当するデータである。

さらに、ＣＰＵ １０１は、音声処理部１１０を制御して、ＤＶＤ−ＲＯＭドライブ１０８に装着されたＤＶＤに記憶される楽曲の伴奏を表す音声データの再生を開始させる（ステップＳ６０３）。当該伴奏の音声データは、ＭＩＤＩデータやＰＣＭデータなど、種々のフォーマットで用意される。

ついで、ＣＰＵ １０１は、ステップＳ６０３における再生が開始されてからの経過時間tを取得する（ステップＳ６０４）。本図では、「ｔ←経過時間」のように代入演算の形式で図示している。

当該経過時間tが現在再生されている音声データの時間長以下であるか否か、すなわち、ユーザに演奏を続けさせるべきか否かを判断する（ステップＳ６０５）。そうでなければ（ステップＳ６０５；Ｎｏ）、本処理を終了する。

一方、ユーザに演奏を続けさせるべき場合（ステップＳ６０５；Ｙｅｓ）、当該経過時間tの近傍で、ユーザが演奏すべき音高とタイミング、および、現在記憶部５０７に記憶されているユーザの得点を表す画像をＲＡＭ １０３内に生成して（ステップＳ６０６）、垂直同期割り込みが生じるまで待機してから画像処理部１０７を制御して当該画像をモニターの画面に表示する（ステップＳ６０７）。このようにして、提示部５０６の機能が実現される。

なお、ステップＳ６０４における経過時間tは、リアルタイムクロックやタイマ割込、垂直同期割込などでカウントすることにより取得可能である他、音声処理部１１０に対して、現在再生中の伴奏の音声データが、どこまで演奏されたかを問い合わせることによって取得することもできる。

また、リズムゲームやダンスゲーム、楽器演奏ゲームなどでは、スクロールする楽譜が画面に表示され、楽譜に含まれる音符が所定の位置（照準線）に至るか否かによってタイミングをユーザに知らせ、各種のボタンやスイッチを押圧操作することで、成績を判定するものが広く知られている。本実施形態では、このような技術を適用することができる。

図８は、提示部５０６による画面への表示例を示す説明図である。以下、本図を参照して説明する。

本図に示す例では、画面７０１に配置された五線７０２内に、４分音符や２分休符などの音符７０３が指定され、音符７０３上下方向の位置によって音高、すなわち、音名とオクターブとの組み合わせが提示される。

また、音符７０３の形状が、２分音符か４分音符か８分音符か、ならびに、左右に並ぶ音符７０３の位置に基づいて、各音符７０３を演奏すべきタイミングが提示される。

このほか、現在、すなわち、伴奏の楽曲データの再生が開始されてからの経過時間tを表す照準線７０４も画面に表示されている。照準線７０４は、時間の経過とともに、左から右へ移動していく。そして、照準線７０４が音符７０３に重なった瞬間に、ユーザが、当該音符７０３により提示される音高の音を出力するような操作をすると、正しいタイミングで演奏したことになる。

したがって、各音符７０３は、当該音符７０３の「演奏」に要する時間長だけの横幅を仮想的に持つことになる。

ＣＰＵ １０１は、伴奏の楽曲データの再生が開始されてからの経過時間tと、ＤＶＤ−ＲＯＭから読み出した音高およびタイミングと、を参照しながら、画面７０１に表示されている音符７０３の演奏がすべて完了すると、画面全体の表示が更新され、以降に演奏すべき音符７０３と照準線７０４と、が画面７０１に表示されるように、画像を生成する。

本処理は繰り返し行われ、垂直同期割込ごとに画面に表示される画像が更新されるので、照準線７０４が動く動画表示がなされることになる。

また、この画像には、ユーザが現在獲得している得点７０５も描画されている。この値は、ユーザの操作によって適宜変化するため、ユーザは、自身の操作が正しかったか否かを知得することが可能となる。

ついで、ＣＰＵ １０１は、コントローラ１０５のスイッチ２０２の押圧状態と、傾きセンサ２０３の検知結果と、を取得する（ステップＳ６０８）。したがって、上記した通り、コントローラ１０５は、ＣＰＵ １０１の制御の下、コントローラ部５０２として機能する。

さらに、ＣＰＵ １０１は、取得されたスイッチ２０２の押圧状態の組み合わせから、図３Ａ〜図３Ｇに示すような対応関係に基づいて、音名（以下「指定音名」という。）を選択する（ステップＳ６０９）。したがって、ＣＰＵ １０１は、上記した通り、音名選択部５０３として機能する。

上記の例では、上面のスイッチ２０２の数は６個であるため、その押圧状態は2⁶通り存在するが、正しい運指を上記のものに限るとすれば、７通りとなる。したがって、正しい運指の押圧状態でない場合には、指定音名として「失敗音」を選択するものとする。

この後、ＣＰＵ １０１は、ステップＳ６０９において選択された指定音名が、前回の繰返しにおいて選択された指定音名と同じであるか否か、すなわち、ユーザの運指が変化したか否か、を調べ（ステップＳ６１０）、変化していれば（ステップＳ６１０；Ｙｅｓ）、現在の経過時間tをＲＡＭ １０３内の運指変化時刻記憶領域に記憶させて（ステップＳ６１１）、ステップＳ６１２に進む。一方、運指に変化がない場合（ステップＳ６１０；Ｎｏ）は、そのままステップＳ６１２に進む。

以下、運指変化時刻記憶領域に記憶される値を、適宜Yと記す。ステップＳ６１１では、「Y←t」のような代入演算が行われることになる。

そして、ＣＰＵ １０１は、取得された傾きセンサ２０３の検知結果から、図４〜図５に示すような対応関係に基づいて、オクターブ（以下「指定オクターブ」という。）を選択する（ステップＳ６１２）。したがって、ＣＰＵ １０１は、上記した透り、オクターブ選択部５０４として機能する。

ついで、ＣＰＵ １０１は、現在の経過時間tから、現在のタイミングでユーザが演奏すべき音高、すなわち、ユーザが演奏すべき音名（以下「課題音名」という。）とオクターブ（以下「課題オクターブ」という。）の組み合わせを取得する（ステップＳ６１３）。

なお、現在のタイミングが休符の場合には、いずれの指定音名とも一致しない「休符音」を課題音名として採用する。

この後、ＣＰＵ １０１は、指定音名と課題音名が一致するか否か、すなわち、正しい音名であるか否かを判定し（ステップＳ６１４）、一致すれば（ステップＳ６１４；Ｙｅｓ）、所定の音名正解得点を、記憶部５０７に記憶される得点に加算して（ステップＳ６１５）、ステップＳ６１６に進む。すなわち、正しい運指を行ったことに対するポイントが付与されることになる。

なお、一致しない場合（ステップＳ６１４；Ｎｏ）は、ステップＳ６１９に進む。

さらに、ＣＰＵ １０１は、指定オクターブと課題オクターブとが一致し（すなわち、正しいオクターブであり）、かつ、現在時刻、すなわち現在の経過時間tと、ＲＡＭ １０３内の運指変化時刻記憶領域に記憶されている値Yと、の差が、所定の猶予時間以内であるか否かを判定し（ステップＳ６１６）、これが成立すれば（ステップＳ６１６；Ｙｅｓ）、所定のオクターブ正解得点を、記憶部５０７に記憶される得点に加算し（ステップＳ６１７）、ＲＡＭ １０３内の運指変化時刻記憶領域に「０」を記憶させて（ステップＳ６１８）、ステップＳ６１９に進む。

ここで、所定の猶予時間は、現在ユーザが演奏すべき音符の長さよりも短い必要がある。たとえば、ユーザが演奏すべき楽譜において最も短い音符の長さが四分音符である場合には、その４分の１の長さである十六分音符の長さとする等の手法が考えられる。

ステップＳ６１７において「Y←0」とした直後は、t-Yは明らかに、猶予時間よりも長くなる。したがって、オクターブが正しいことによる加算は、各音符（音高とタイミングの組み合わせ）ごとに多くとも１回だけ行われる。

なお、成立しない場合（ステップＳ６１６；Ｎｏ）は、ステップＳ６１９に進む。

このように加点を行うことで、ＣＰＵ １０１は、ユーザの練習の成果である成績を計算することとなるので、上述の通り、ＣＰＵ １０１は、加算部５０８として機能する。

上記のように、運指については、垂直同期割込おきに正しいか否かがチェックされ、オクターブについては、一定の猶予時間内に正しいオクターブへの指定がされたか否かにより、チェックがされる。

また、運指による加点が垂直同期割込おきにされるので、ある音符の時間長と、正しい運指を行っている時間と、が一致する程度も、適切に得点に反映される。

このため、運指とオクターブの指定の加算の手法を区別することで、上達するのが難しい運指の練習を優先して促すこととして、ユーザの上達を促進することができるようになる。なお、本実施形態における得点処理の構成全体や、オクターブが正しいか否かの判定に猶予時間を設ける手法等は、適用分野によっては、省略することも可能である。

このようにして、採点を行った後、ＣＰＵ １０１は、現在の課題音名が「休符音」であるか否かを判定する（ステップＳ６１９）。現在の課題音名が「休符音」である場合（ステップＳ６１９；Ｙｅｓ）、ステップＳ６０４に戻る。

一方、現在の課題音名が「休符音」でない場合（ステップＳ６１９；Ｎｏ）、ＣＰＵ １０１は、何らかの演奏音を出力すべきである、と判断して、ステップＳ６２０に進む。

従来のリコーダー型の電子楽器では、演奏音を出力するか否かは、センサによりユーザが息を吹き込んでいるか否かを検知して、息を吹き込んでいる間、演奏音を出力することとしていた。

本実施形態においては、ユーザに提示される楽譜によって、現在演奏音を出力すべきか否かが決定される。この点が、本実施形態と、従来の電子楽器との大きな違いである。

さて、ＣＰＵ １０１は、出力すべき演奏音の音高を決定する（ステップＳ６２０）。

第１の手法は、指定音名と指定オクターブの組み合わせを、そのまま出力すべき音高とするものである。この場合、ユーザは、自身の指定の結果を直ちに知ることができ、上級者に向いた手法に相当する。

第２の手法は、指定音名と課題音名とが一致していれば（すなわち、運指が正しければ）、指定オクターブと課題オクターブとが一致しているか否かにかかわらず、課題音名と課題オクターブの組み合わせを、出力すべき音高とするものである。

なお、本手法では、指定音名と課題音名が一致していなければ、指定音名と指定オクターブの組み合わせを、そのまま出力すべき音高とする。

この場合、ユーザは、専ら運指に集中して練習を進めることができるので、初心者に向いた手法に相当する。

第３の手法は、指定音名と課題音名とが一致していれば（すなわち、運指が正しければ）、
（１）現在時刻（現在の経過時間t）と、ＲＡＭ １０３内の運指変化時刻記憶領域に記憶されている値と、の差が、所定の猶予時間以内である間は、指定オクターブと課題オクターブとが一致しているか否かにかかわらず、課題音名と課題オクターブの組み合わせを、出力すべき音高とし、
（２）当該差が当該猶予時間を超えた場合には、課題音名と指定オクターブの組み合わせを、出力すべき音高とする。

本手法では、当初の猶予時間では、指定オクターブが正しいか否かに関らず、楽譜に指定されたオクターブを使用して音高が定められるが、これを過ぎると、あるいは、一旦正しい指定オクターブが指定された後は、ユーザによる指定オクターブを使用して音高が定められる。

スイッチ２０２運指とコントローラ１０５の傾きとでは、ユーザが反応できる機敏さに差が生じるのが一般的である。そこで本手法では、コントローラ１０５の傾きについてはある程度の猶予時間を設けておき、ユーザがその時間内に正しい傾きにすることができれば、その間は、ずっと、当該音符に対する正しい音高で演奏がされることになる。

また、この猶予時間は、ステップＳ６１５で用いられる猶予時間と同じ値とするのが典型的であるが、異なる値としても良い。

なお、運指が間違っている場合には、指定音名と指定オクターブの組み合わせを、そのまま出力すべき音高とする。

したがって、本手法においては、ユーザは、運指については厳しい判定で、オクターブについては緩い判定で、練習を進めることができるので、本手法は、中級者に向いた手法と考えることができる。

第１〜第３の手法は、ユーザの事前選択によって定めることとしても良いし、ユーザの得点の変化に応じて、いずれの手法を採用すべきかをＣＰＵ １０１が自動的に判断することとしても良い。

このようにして音高が決定されると、ＣＰＵ １０１は、音声処理部１１０を制御して、当該決定された音高の音をスピーカやヘッドホンなどに出力して（ステップＳ６２１）、ステップＳ６０４に戻る。

したがって、上記の通り、ＣＰＵ １０１は、音声処理部１１０と共働して、出力部５０５として機能する。

なお、指定音名が「失敗音」である場合には、かすれた音や調子が外れた音、雑音など、必ずしも音高にこだわらない音声を出力することとしても良い。

このように、本実施形態によれば、画面に楽譜などを提示することで、出力すべき音高および音を出力すべきタイミングをユーザに知らせるとともに、ユーザの運指の練習を促し、演奏の上達を促進することができるようになる。

リコーダーでは、音が出るのは、演奏者が息を吹き込んだときである。

上記の実施形態では、「音を出すか否か」を決定するために、伴奏によって定められるタイミングをそのまま利用していた。本実施形態は、コントローラ１０５に新たなスイッチを設けることにより、音を出すか否かを決定するものである。

図９は、本実施形態に係るコントローラの外観を示す説明図である。以下、本図を参照して説明する。

本図に示すコントローラ１０５の構成は、図２に示すコントローラ１０５の構成とほとんど同じであるが、ユーザに近い側の端部にスイッチ２１１が設けられている点が異なる。

ユーザがコントローラ１０５を支持したとき、このスイッチ２１１は、ユーザの唇や胸元などの近傍に配置される。

ユーザは、音を出したいときには、コントローラ１０５全体を、唇や胸に押し当てる。すると、スイッチ２１１が押圧されて、当該押圧状態がＣＰＵ １０１に伝達されて、演奏音を出力すべきタイミングである旨が識別されるのである。

なお、本実施形態に係るコントローラ１０５を採用する場合には、上記フローチャートにおけるステップＳ６１９における判断を、
（１）当該スイッチ２１１が押圧されていなければ現在は「休符音」であり、
（２）押圧されていれば現在は「休符音」ではない、
のように置き換えれば良い。

従来の管楽器やリコーダー型の電子楽器では、息を吹き込むことを必要としていたため、息に含まれる水蒸気が結露してしまい、水抜きを行わなければならない、という、問題がある。

本実施形態では、コントローラ１０５が水に濡れることはないので、より衛生的であり、機器の故障が生じにくくなる、という効果がある。

本実施例は、本発明を他の形状のコントローラを利用した情報処理装置を適用するものである。

図１０は、本実施形態において利用されるコントローラと情報処理装置の外観を示す説明図である。以下、本図を参照して説明する。

情報処理装置１００では、モニタ２９１上に通信部２５１が用意され、赤外線センサ２５２を介して、情報処理装置１００は、支持体２０１に各種スイッチ２０２やボタン２９２、ＬＥＤ（Light Emitting Diode）２７１、赤外線通信装置２０５を備えるコントローラ１０５と通信を行う。

また、コントローラ１０５の内部に用意された加速度センサや角加速度センサが検出した値と、赤外線センサ２５２に赤外線通信装置２０５からの信号が到達する時間差や位相差を参照して、支持体２０１の傾きを検知することができる。

スイッチ２０２のうち、モニタ２９１に近い側は、十字形状の方向キーが１つ用意され、ユーザに近い側には、丸形状のキーが２つ用意されている。方向キーは、十字の各辺の端部を押圧することで４方向の入力が可能である。

本図では、人が右手でコントローラ１０５を握った様子を示しているが、当該コントローラ１０５のスイッチ２０２を、操作体として利用することによって、上記実施形態と同様に、リコーダーを模した電子楽器を実現することが可能である。

以下では、本実施形態に係るコントローラにおける、操作体と音名の対応付けを説明する。図１１Ａは、音名「ド」を指定する運指を示す説明図であり、図１１Ｂは、音名「レ」を指定する運指を示す説明図であり、図１１Ｃは、音名「ミ」を指定する運指を示す説明図であり、図１１Ｄは、音名「ファ」を指定する運指を示す説明図であり、図１１Ｅは、音名「ソ」を指定する運指を示す説明図であり、図１１Ｆは、音名「ラ」を指定する運指を示す説明図であり、図１１Ｇは、音名「シ」を指定する運指を示す説明図である。これらの図においては、理解を容易にするため、スイッチ２０２のみを簡易提示することとし、符号は適宜図示を省略している。また、上記実施形態と同様に、押圧操作するスイッチは、網かけで表示する。

図１１Ａに示すように、音名「ド」を指定する場合には、方向キーの一つのスイッチ２０２ａと、丸形状キーのスイッチ２０２ｄ、２０２ｅを同時に押圧操作する。

一方、図１１Ｂに示すように、音名「レ」を指定する場合には、方向キーの一つのスイッチ２０２ｂと、丸形状キーのスイッチ２０２ｄ、２０２ｅを同時に押圧操作する。

さらに、図１１Ｃに示すように、音名「ミ」を指定する場合には、方向キーの一つのスイッチ２０２ｃと、丸形状キーのスイッチ２０２ｄ、２０２ｅを同時に押圧操作する。

そして、図１１Ｄに示すように、音名「ファ」を指定する場合には、丸形状キーのスイッチ２０２ｄ、２０２ｅを同時に押圧操作する。

一方、図１１Ｅに示すように、音名「ソ」を指定する場合には、丸形状キーのスイッチ２０２ｅのみを押圧操作する。

さらに、図１１Ｆに示すように、音名「ラ」を指定する場合には、丸形状キーのスイッチ２０２ｄのみを押圧操作する。

そして、図１１Ｇに示すように、音名「シ」を指定する場合には、方向キーの一つのスイッチ２０２ａと、丸形状キーのスイッチ２０２ｄを同時に押圧操作する。

この運指では、音名が「ドレミファソラシドレミ…」のように順に変化していくときの隣り合う音名に対して、殆どの場合に、押すスイッチ２０２が１つだけ違う、という構成になっている。したがって、リコーダーに類似した操作感を得ることができる。

本実施形態の運指は、実施例１と同様に、モニタ２９１に提示された譜面に合わせて演奏し、音が出力されるタイミングが音声処理装置５０１によって決定される態様に適用することができる。

また、本実施形態の運指では、丸形状キーのスイッチ２０２ｄ、２０２ｅのいずれか一方が、必ず押圧操作されることとなっている。実施例２においては、スイッチ２１１が押圧操作されると音を出力することとしていたが、本実施形態では、丸形状キーのスイッチ２０２ｄ、２０２ｅのいずれか少なくとも一方が押圧操作されると音が出力され、両方とも解放されていると休符が指定されたこととして、電子楽器を実現することも可能である。

本実施形態の運指は、左手を十字型のスイッチ２０２の近傍に、右手を丸型のスイッチ２０２の近傍に、それぞれ配置するようなものであるが、これを左右対称に変更すれば、手の位置を逆にすることも可能である。

以上説明したように、本発明によれば、異なるオクターブであっても同じ音名を有する音に対しては、ほぼ同一の運指が割り当てられる楽器を模したコントローラにより楽曲を演奏するのに好適な音声処理装置、音声処理方法、ならびに、これらをコンピュータにて実現するプログラムを提供することができる。

典型的な情報処理装置の概要構成を示す模式図である。 コントローラの外観を示す説明図である。 音名「ド」を指定する運指を示す説明図である。 音名「レ」を指定する運指を示す説明図である。 音名「ミ」を指定する運指を示す説明図である。 音名「ファ」を指定する運指を示す説明図である。 音名「ソ」を指定する運指を示す説明図である。 音名「ラ」を指定する運指を示す説明図である。 音名「シ」を指定する運指を示す説明図である。 本実施形態に係る音声処理装置の傾きとオクターブの関係について説明する説明図である。 傾きθとオクターブとの対応付けを示す説明図である。 本実施形態に係る音声処理装置の概要を示す模式図である。 本実施形態に係る音声処理装置にて実行される音声処理の制御の流れを示すフローチャートである。 画面への表示例を示す説明図である。 本発明の他の実施形態に係るコントローラの外観を示す模式図である。 本発明の他の実施形態に係る情報処理装置とコントローラの外観を示す模式図である。 音名「ド」を指定する運指を示す説明図である。 音名「レ」を指定する運指を示す説明図である。 音名「ミ」を指定する運指を示す説明図である。 音名「ファ」を指定する運指を示す説明図である。 音名「ソ」を指定する運指を示す説明図である。 音名「ラ」を指定する運指を示す説明図である。 音名「シ」を指定する運指を示す説明図である。

符号の説明

１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ インターフェース
１０５ コントローラ
１０６ 外部メモリ
１０７ 画像処理部
１０８ ＤＶＤ−ＲＯＭドライブ
１０９ ＮＩＣ
１１０ 音声処理部
１１１ マイク
２０１ 支持体
２０２ スイッチ
２０３ 傾きセンサ
２０５ 赤外線通信装置
２１１ スイッチ
２５１ 通信部
２５２ 赤外線センサ
２７１ ＬＥＤ
２９１ モニタ
２９２ ボタン
３０１ ユーザの体
３０２ 重力加速度の方向
３０３ 閾下限傾き
３０４ 閾上限傾き
５０１ 音声処理装置
５０２ コントローラ部
５０３ 音名選択部
５０４ オクターブ選択部
５０５ 出力部
５０６ 提示部
５０７ 記憶部
５０８ 加算部
７０１ 画面
７０２ 五線
７０３ 音符
７０４ 照準線
７０５ 得点

Claims (6)

1. ユーザにより支持される支持体と、当該支持体に配置され、当該ユーザによる押圧操作を受け付ける複数の操作体と、当該支持体の傾きを検出する検出部と、を有するコントローラ部、
   出力すべき音高およびタイミングを当該ユーザに提示する提示部、
   前記提示されたタイミング内において、前記複数の操作体に対する押圧操作が検出されると、一つの音階に含まれる複数の音のうち、当該検出された押圧操作の組み合わせに対応付けられる音名を選択する音名選択部、
   前記音名選択部により音名が選択されると、
   （ａ）当該選択された音名が、前記提示された音高の音名である場合、前記提示された音高のオクターブを選択し、
   （ｂ）当該選択された音名が、前記提示された音高の音名でない場合、複数のオクターブから、前記検出された傾きに対応付けられるオクターブを選択する
   オクターブ選択部、
   前記提示されたタイミングにおいて、前記選択されたオクターブ内の前記選択された音名の音を出力する出力部
   を備える音声処理装置。
2. 請求項１に記載の音声処理装置であって、
   前記オクターブ選択部は、前記選択された音名が、前記提示された音高の音名である場合、
   （ａ１）前記提示されたタイミングに至ってから所定の猶予時間が経過するまでは、前記提示された音高のオクターブを選択し、
   （ａ２）前記提示されたタイミングに至ってから当該所定の猶予時間が経過するまでに、前記検出された傾きに対応付けられられるオクターブが前記提示された音高のオクターブに一致することがあれば、当該所定の猶予時間が経過して以降も前記提示された音高のオクターブを選択し、
   （ａ３）前記提示されたタイミングに至ってから当該所定の猶予時間が経過するまでに、前記検出された傾きに対応付けられられるオクターブが前記提示された音高のオクターブに一致することがなければ、当該所定の猶予時間が経過して以降は、前記検出された傾きに対応付けられるオクターブを選択する
   ことを特徴とする音声処理装置。
3. 請求項２に記載の音声処理装置であって、
   当該ユーザが獲得した得点が記憶される記憶部、
   前記音名選択部により選択された音名が前記提示された音高の音名である場合、所定の音名正解得点を前記記憶部に記憶される得点に加算し、当該音高が提示されてから当該所定の猶予時間内に、前記検出された傾きに対応付けられるオクターブが前記提示された音高のオクターブとなった場合、所定のオクターブ正解得点を前記記憶部に記憶される得点に加算する加算部
   をさらに備えることを特徴とする音声処理装置。
4. 請求項１から３のいずれか１項に記載の音声処理装置であって、
   前記オクターブ選択部において、当該複数のオクターブは、互いに隣り合う２つのオクターブであり、当該２つのオクターブのうち、高いオクターブは、当該ユーザから見て当該支持体を上げる方向の傾きに対応付けられ、低いオクターブは、当該ユーザから見て当該支持体を下げる方向の傾きに対応付けられる
   ことを特徴とする音声処理装置。
5. コントローラ部、提示部、音名選択部、オクターブ選択部、出力部を有する音声処理装置が実行する音声処理方法であって、
   前記コントローラ部は、ユーザに支持される支持体と、当該支持体に配置され、当該ユーザによる押圧操作を受け付ける複数の操作体と、当該支持体の傾きを検出する検出部と、を有し、
   前記提示部が、出力すべき音高およびタイミングを当該ユーザに提示する提示工程、
   前記コントローラ部が、当該複数の操作体により押圧操作を受け付け、当該検出部により当該支持体の傾きを検出するコントローラ工程、
   前記提示されたタイミング内において、前記複数の操作体に対する押圧操作が検出されると、前記音名選択部が、一つの音階に含まれる複数の音のうち、当該検出された押圧操作の組み合わせに対応付けられる音名を選択する音名選択工程、
   前記音名選択工程にて音名が選択されると、前記オクターブ選択部が、
   （ａ）当該選択された音名が、前記提示された音高の音名である場合、前記提示された音高のオクターブを選択し、
   （ｂ）当該選択された音名が、前記提示された音高の音名でない場合、複数のオクターブから、前記検出された傾きに対応付けられるオクターブを選択する
   オクターブ選択工程、
   前記提示されたタイミングにおいて、前記出力部が、前記選択されたオクターブ内の前記選択された音名の音を出力する出力工程
   を備えることを特徴とする音声処理方法。
6. ユーザにより支持される支持体と、当該支持体に配置され、当該ユーザによる押圧操作を受け付ける複数の操作体と、当該支持体の傾きを検出する検出部と、を有するコントローラ部が接続されたコンピュータを、
   出力すべき音高およびタイミングを当該ユーザに提示する提示部、
   前記提示されたタイミング内において、前記複数の操作体に対する押圧操作が検出されると、一つの音階に含まれる複数の音のうち、当該検出された押圧操作の組み合わせに対応付けられる音名を選択する音名選択部、
   前記音名選択部により音名が選択されると、
   （ａ）当該選択された音名が、前記提示された音高の音名である場合、前記提示された音高のオクターブを選択し、
   （ｂ）当該選択された音名が、前記提示された音高の音名でない場合、複数のオクターブから、前記検出された傾きに対応付けられるオクターブを選択する
   オクターブ選択部、
   前記提示されたタイミングにおいて、前記選択されたオクターブ内の前記選択された音名の音を出力する出力部
   として機能させることを特徴とするプログラム。

Images