JP6477096B2 - 入力装置、および音合成装置 - Google Patents

Description

本発明は、複数の点に同時に触れて操作することができるマルチタッチパネルを利用した入力装置に関する。

電子機器に対するユーザの入力操作を受け付けるユーザインタフェースとしてタッチパネルが一般に普及している。タッチパネルは液晶ディスプレイなどの表示装置の表示面に透明なシート状の接触検知センサを貼り付けて構成されている。電子機器のユーザは、表示装置に表示される画像による案内に応じて指やペン先などで透明接触検知センサの表面（以下、操作検出面）に触れるといった直観的で判り易い操作により、電子機器に対する各種入力を行うことができる。タッチパネルを電子機器に対するユーザインタフェースとして用いる場合、ユーザの操作内容を表すデータ、すなわち、ユーザのタッチ位置を表すデータをその電子機器にて実行するアプリケーションに応じたデータに変換する必要がある。例えば、歌唱音声を合成する歌唱合成装置であれば、ユーザのタッチ位置を合成対象の歌唱音声の発音を表すデータ（例えば、音素や音高、音量を表すデータ等）に変換し、その変換結果に応じて歌唱音声を合成するといった具合である。

"アングリーバード"、インターネット、＜ＵＲＬ：http://www.angrybirds.jp/＞

従来のタッチパネルは、ユーザが操作検出面の複数個所に同時に指を触れたとしても、一点だけしか検出できないものや、接触箇所を正しく検出できないものが主流であった。しかし、近年では、複数個所の接触検出が可能なマルチタッチパネルが普及しつつある。電子機器のユーザインタフェースとしてマルチタッチパネルを用いると、従来にはなかったアプリケーションを実現できると期待される。例えば、複数人が同時に操作することで共同作業的なアプリケーションを実現できる、といった具合である。また、複数のタッチ位置間の位置関係に新たな情報を対応させたり、それらタッチ位置の変化に応じてアプリケーションの処理内容を変えられるようにすれば、上記ユーザインタフェースを適用可能なアプリケーションの幅が広がる。しかし、複数のタッチ位置の位置関係に新たな情報を対応させることや、それら複数のタッチ位置の経時的な変化に応じてアプリケーションの処理内容を変えられるようにする技術は従来なかった。

本発明は以上に説明した課題に鑑みて為されたものであり、操作検出面上の複数のタッチ位置の関係に情報を対応させることを可能にするとともに、当該位置関係の経時的な変化に応じて処理内容を変えるアプリケーションを実現できるようにする技術を提供することを目的とする。

上記課題を解決するために本発明は、操作検出面に対してユーザにより為されたタッチ操作による複数のタッチ位置の各々を示す操作内容データを出力する操作検出手段と、前記操作内容データを他の情報を表すデータに変換して出力する手段であって、前記操作内容データの示す複数のタッチ位置のうちの一つを始点とし当該始点以外のタッチ位置のうちの一つを終点とした場合における当該始点と当該終点の予め定められた方の位置、当該予め定められた方から見た他方の方向および両者の間の距離を予め定められたルールにしたがって３種類の情報に変換し、少なくとも当該３種類の情報を含む複数の情報を表すデータを出力する変換手段とを備えることを特徴とする入力装置を提供する。

上記操作検出手段の具体例としてはマルチタッチパネルが挙げられる。本発明の入力装置を電子機器に対する入力手段として用いるようにすれば、始点或いは終点の位置に応じて定まる情報の他に、始点と終点のうち予め定められた方から見た他方の方向に応じて定まる情報と両者の間の距離に応じて定まる情報（すなわち、両者の位置関係に応じて定まる情報）を操作検出面に対する操作に応じて出力することが可能になる。また、上記操作検出手段が、少なくとも１つのタッチ位置の更新が発生する毎に上記操作内容データを出力するものであり、上記変換手段が、操作内容データを受け取る毎に上記変換および出力を行うものであれば、始点と終点の位置関係を経時的に変化させる操作、すなわち、始点を指示している指先や終点を指示している指先の何れか一方、或いは両方を操作検出面をなぞるように動かす操作に応じて上記情報が経時的に更新され、当該情報を利用して何らかの処理を行うアプリケーション側では当該情報の更新に応じてその処理内容を変えることができる。非特許文献１に開示のコンピュータゲームでは、キャラクタをタッチしたままドラッグすることで、当該キャラクタを投げ飛ばす際の初速および方向を指定することができるが、これら初速や方向の経時的な変化を指定できる訳ではなく、本発明とは異なる技術である。

より好ましい態様としては、始点と終点のうちの予め定められた方の位置、当該予め定められた方から見た他方の方向および両者の間の距離の少なくとも一つに関する基準値または推奨値をユーザに報知する報知手段を上記入力装置に設ける態様が考えられる。このような態様によれば、ユーザは、報知手段により報知される基準値或いは推奨値を参照しつつ、始点或いは終点を指定する操作を行うことができるからである。

さらに別の好ましい態様としては、操作検出手段には、各タッチ位置に加えてタッチ開始時刻を表す操作内容データを生成させ、変換手段には、始点のタッチ開始時刻と終点のタッチ開始時刻の時間差を前記３種類の情報とは異なる第４の情報に変換して出力させる態様が考えられる。このような態様によれば、操作検出面上の複数のタッチ位置の位置関係および時間関係に情報を対応させることが可能になり、一層多様な情報入力を行うことが可能になる。なお、上記時間差を第４の情報に対応させるのではなく、始点の決定に利用しても良い。例えば、時間差を設けて指定された２つのタッチ位置のうちの一方を始点、他方を終点とする場合、上記時間差が所定の閾値未満の場合には先に指定された方を始点とし、上記時間差が所定の閾値以上の場合は後から指定された方を始点とするといった具合である。

本発明において始点と終点のうちの予め定められた方の位置等に対応付ける情報の種類は、本発明の入力装置をどのような種類の電子機器の入力手段として用いるのかに応じて定まる。本発明の入力装置の適用対象となる電子機器としては、歌唱合成装置などの音合成装置やコンピュータゲーム機が挙げられる。また、本発明の入力装置を、地図アプリケーション用の入力装置、或いはコンピュータゲーム用の入力装置として用いても勿論良い。例えば、本発明の入力装置を、歌唱合成装置等の音合成装置の入力手段として用いる態様、換言すれば、本発明の入力装置と、当該入力装置の出力データに応じて歌唱音声や楽器演奏音を合成する音合成手段とを有する音合成装置を提供する態様においては、始点と終点の予め定められた方の位置、当該予め定められた方から見た他方の方向および両者の間の距離を、合成対象の音を規定する複数の情報（少なくとも、音色または発音、音高および音量の３つの情報）に対応付けておけば良い。また、始点と終点の各々のタッチ時刻の時間差を第４の情報に対応付ける態様においては、合成結果の音を出力する際のベロシティに当該第４の情報を対応付けるようにすれば良い。

本発明の入力装置を音合成装置の入力手段として用いる態様においては、始点と終点のうちの予め定められた方から他方を見た方向に音高を対応付け、変換手段には、予め定められた方を中心として他方が予め定められた角度分回転する毎に音高が一オクターブ変化するように、始点および終点の位置を示すデータを音高を示すデータに変換させる方向と音高の対応付けを行っておくことが好ましい。始点と終点のうちの予め定められた方から見た他方の方向は、当該予め定められた方を中心とする極座標における角度で表すことができ、当該角度による表現は平均律等の音楽理論における音高表現との親和性が高いからである。

上記課題を解決するための別の態様としては、ＣＰＵ（Central Processing Unit）などのコンピュータを上記変換手段および上記音合成手段として機能させるプログラム、すなわち、当該コンピュータを本発明の音合成装置として機能させるプログラムを提供する態様が考えられる。同様に、コンピュータを上記変換手段として機能させるプログラム、すなわち、当該コンピュータを本発明の入力装置として機能させるプログラムを提供する態様も考えられる。これらのプログラムの具体的な提供態様としては、ＣＤ−ＲＯＭ（Compact Disk-Read Only memory）やＤＶＤ（登録商標：Digital Versatile Disc）、フラッシュＲＯＭなどのコンピュータ読み取り可能な記録媒体に上記プログラムを書き込んで配布する態様や、インターネットなどの電気通信回線経由のダウンロードにより配布する態様が考えられる。

この発明の音合成装置の一実施形態である歌唱合成装置１０の構成例を示すブロック図である。 同歌唱合成装置１０のユーザインタフェース部１１０の表示手段１１０ａに表示される画面の一例を示す図である。 同歌唱合成装置１０に対する入力操作を説明するための図である。 同歌唱合成装置１０の制御部１００が歌唱合成プログラム１２４ａにしたがって作動することにより実現される状態遷移を説明するための図である。 同制御部１００が歌唱合成プログラム１２４ａにしたがって実行する処理のうち、タッチ開始の検出を契機として実行する処理の流れを示すフローチャートである。 同制御部１００が歌唱合成プログラム１２４ａにしたがって実行する処理のうち、タッチ終了の検出を契機として実行する処理の流れを示すフローチャートである。 角度のアンラッピングを実現するプログラムのソースコードの一例を示す図である 変形例（３）を説明するための図である。 変形例（４）を説明するための図である。 変形例（８）を説明するための図である。 変形例（８）を説明するための図である。 変形例（８）を説明するための図である。 変形例（８）を説明するための図である。

以下、図面を参照しつつ、この発明の実施形態を説明する。
（Ａ：構成）
図１は、本発明の音合成装置の一実施形態の歌唱合成装置１０の構成例を示す図である。歌唱合成装置１０は、ユーザが手に持って操作可能な大きさ（例えばＢ５サイズ）のタブレット型のコンピュータ装置に歌唱合成プログラムをインストールしたものである。歌唱合成装置１０のユーザは、歌唱合成装置１０を片手で保持しつつ他方の手で各種操作を行うことができる。歌唱合成装置１０は、ユーザの操作に応じて歌唱音声を合成し、放音する。図１に示すように、歌唱合成装置１０は、制御部１００、ユーザインタフェース（以下、「Ｉ／Ｆ」と表記）部１１０、記憶部１２０、およびこれら構成要素間のデータ授受を仲介するバス１３０を有している。

制御部１００は例えばＣＰＵである。制御部１００は、記憶部１２０に記憶されている歌唱合成プログラム１２４ａを実行することで歌唱合成装置１０の制御中枢として機能する。制御部１００が歌唱合成プログラム１２４ａにしたがって実行する処理の詳細については後に明らかにする。

ユーザＩ／Ｆ部１１０は、表示手段１１０ａ、音出力手段１１０ｂ、および操作検出手段１１０ｃを有する。表示手段１１０ａは、歌唱合成装置１０の筐体と略同じサイズの液晶パネルである。音出力手段１１０ｂは、制御部１００から与えられる音データ（例えば、音のサンプリング波形を表すサンプル列：本実施形態では歌唱音声のサンプル列）に応じた音を出力する。図１では図示を省略したが、音出力手段１１０ｂは、上記音データをアナログ信号に変換するＤ／Ａ変換器と当該Ｄ／Ａ変換器の出力信号により駆動されるスピーカとを含んでいる。

操作検出手段１１０ｃは、表示手段１１０ａの表示面全体を覆うように貼り付けられた透明なシート状の接触検知センサ（すなわち、Ｂ５サイズよりも若干小さい透明接触検知センサ）である。操作検出手段１１０ｃは透明であるため、ユーザは操作検出手段１１０ｃ越しに表示手段１１０ａの表示内容を視認できる。詳細については後述するが、表示手段１１０ａには、制御部１００による制御の下、歌唱合成装置１０の使用をユーザに促す画面が表示される。ユーザは、表示手段１１０ａに表示される画面による案内を受けて操作検出面に対する操作を行う。操作検出手段１１０ｃは、その表面（すなわち、操作検出面）に対してユーザの指先等によるタッチ開始またはタッチ終了の操作が為されると、その操作内容を表す操作内容データを出力する。なお、タッチ終了の操作とは、タッチしていた指先等を操作検出面から離すことを言う。

操作内容データには、タッチ開始の位置またはタッチ終了の位置を示す位置データと、操作種別（タッチ開始であるか、タッチ終了であるか）を示す操作種別データとが含まれている。本実施形態では、位置データとして、操作検出面の左上隅を原点とし、表示手段１１０ａの水平走査方向を一方の座標軸、垂直走査方向を他方の座標軸とした場合の二次元座標系におけるタッチ開始の位置等の座標を示すデータが用いられる。操作検出手段１１０ｃは、操作検出面上のある位置に対してタッチが為されている状態で他の位置に対するタッチが開始されると、後者の位置を示す位置データおよびタッチ開始を示す操作種別データを含む操作内容データを出力する。つまり、操作検出手段１１０ｃと表示手段１１０ａはマルチタッチパネルを形成する。

記憶部１２０は、図１に示すように、揮発性記憶部１２２および不揮発性記憶部１２４を有する。揮発性記憶部１２２は例えばＲＡＭ（Random Access Memory）である。揮発性記憶部１２２は、各種プログラムを実行する際のワークエリアとして制御部１００によって利用される。不揮発性記憶部１２４は、フラッシュＲＯＭやハードディスクである。不揮発性記憶部１２４には、歌唱合成プログラム１２４ａの他に、ＯＳ（Operating System）を制御部１００に実現させるためのＯＳソフトウェア（図１では図示略）が格納されている。

制御部１００は、歌唱合成装置１０の電源（図１では図示略）の投入またはリセットを契機としてＯＳソフトウェアを不揮発性記憶部１２４から揮発性記憶部１２２へ読み出してその実行を開始する。ＯＳソフトウェアにしたがって作動し、ＯＳを実現している状態の制御部１００は、ユーザの指示に応じて他のプログラムを実行することができる。ユーザＩ／Ｆ部１１０を介して歌唱合成プログラム１２４ａの実行指示を与えられると、制御部１００は歌唱合成プログラム１２４ａを不揮発性記憶部１２４から揮発性記憶部１２２に読み出し、その実行を開始する。

歌唱合成プログラム１２４ａにしたがって作動している制御部１００は、合成対象の歌唱音声の発音（本実施形態では、当該歌唱音声の音素）、音高および音量を指示する合成指示データにしたがって歌唱音声の波形データを合成し、音出力手段１１０ｂに出力する音声合成手段として機能する。加えて、歌唱合成プログラム１２４ａにしたがって作動している制御部１００は、合成対象の歌唱音声を規定する複数の情報（前述した音素、音高、および音量）を操作検出手段１１０ｃに対する操作によりユーザに指定させるための画面を表示手段１１０ａに表示させる。

より詳細に説明すると、歌唱合成プログラム１２４ａにしたがって作動している制御部１００は、合成対象の歌唱音声を規定する複数の情報をユーザに指定させるため、図２に示す画面を表示手段１１０ａに表示させる。図２に示すように、この画面には、各々が正五角形の頂点となるように配置された小円Ａ０１〜Ａ０５と小円Ａ０１〜Ａ０５の各々の中心を通る大円Ａ０６とが描画されており、小円Ａ０１〜Ａ０５の各々の内部には母音を表す文字“ａ”、“ｅ”、“ｉ”、“ｏ”、および“ｕ”が描画されている。図２に示す画面を視認したユーザは、操作検出面に対して一つのベクトルを指定する操作（すなわち、ベクトルの始点と終点を指定する操作）を行うことで、合成対象の歌唱音声を規定する複数の情報を指定することができる。

本実施形態では、操作検出手段１１０ｃに対して複数のベクトルを同時に指定することはできない。つまり、１つのベクトルが指定されている状態（当該ベクトルの始点および終点をユーザが指先で押さえている状態）でさらに他の位置に対するタッチ操作が為されても当該タッチ操作は無視される。本実施形態では、ベクトルが全く指定されていない状態或いは終点のみが指定された状態（始点と終点とが指定された状態から始点の指定が解除されることで生じる状態）でユーザがタッチ操作を行うと、そのタッチ位置はベクトルの始点と解釈される。

より詳細に説明すると、ユーザは、小円Ａ０１〜Ａ０５の何れかの内部の一点を始点として指定することで小円に対応する母音を、合成対象の歌唱音声の音素として指定することができる。本実施形態では、合成対象の歌唱音声の音素の指定を促す表象として、母音を割り当てられた小円を用いるが、他の表象を用いても勿論良い。また、ユーザは、始点から見た終点の方向で音高を、始点と終点の間の距離で音量を指定することができる。例えば、母音“ａ”をある音高および音量で発音する歌唱音声の合成を指示する場合には、図３の矢印Ｂ０１で表されるようなベクトルを指定（すなわち、始点および終点を指定）すれば良く、より大きな音量の歌唱音声の合成を指示する場合には同図３の矢印Ｂ０２で表されるようなベクトルを指定すれば良い。そして、図３の矢印Ｂ０１のベクトルの示す歌唱音声よりも音高の高い歌唱音声の合成を指定する場合には、図３の矢印Ｂ０３で表されるようなベクトルを指定すれば良い。

図２に示す画面を表示手段１１０ａに表示させている状況下で操作検出手段１１０ｃに対して何らかの操作が行われると、制御部１００はその操作内容に応じたデータを揮発性記憶部１２２に書き込み、これにより歌唱合成装置１０の内部状態は順次遷移して行く。歌唱合成装置１０の内部状態としては図４に示す４つの状態が挙げられる。すなわち、始点および終点の両者の何れも指定されていない初期状態Ｓ０１、始点のみが指定された始点記憶済状態Ｓ０２、終点のみが指定された終点記憶済状態Ｓ０３、始点と終点の両者が指定された始点・終点記憶済状態Ｓ０４の４種類の状態である。制御部１００は、操作検出手段１１０ｃの操作検出面に対するタッチ開始の検出を契機として図５に示す処理を実行する一方、タッチ終了の検出を契機として図６に示す処理を実行することで上記４種類の状態間の遷移を実現する。

図５は、タッチ開始の検出を契機として実行される処理の流れを示すフローチャートである。操作検出手段１１０ｃから受け取った操作内容データを解析してタッチ開始を検出した制御部１００は、まず、始点を示す始点位置データが揮発性記憶部１２２に格納されているか否かを判定する（ステップＳＡ１００）。本実施形態では、操作内容データに含まれている操作種別データが“タッチ開始”を意味するものである場合に制御部１００はタッチ開始を検出し、ステップＳＡ１００の判定を行う。

ステップＳＡ１００の判定結果が“Ｎｏ”であれば、制御部１００は、操作内容データに含まれる位置データの示す位置を始点の位置とし、当該始点の位置を示す始点位置データを記憶し、すなわち、揮発性記憶部１２２に当該始点位置データを書き込み（ステップＳＡ１１０）、当該処理を終了する。これにより、初期状態Ｓ０１から始点記憶済状態Ｓ０２への遷移Ｔ０１、或いは終点記憶済状態Ｓ０３から始点・終点記憶済状態Ｓ０４への遷移Ｔ０７が実現される。これに対して、ステップＳＡ１００の判定結果が“Ｙｅｓ”である場合には、制御部１００は、終点の位置を示す終点位置データが揮発性記憶部１２２に格納されているか否かを判定する（ステップＳＡ１２０）。

ステップＳＡ１２０の判定結果が“Ｎｏ”であれば、制御部１００は、操作内容データに含まれる位置データの示す位置を終点の位置とし、当該終点の位置を示す終点位置データを記憶（ステップＳＡ１３０）して当該処理を終了する。これにより、始点記憶済状態Ｓ０２から始点・終点記憶済状態Ｓ０４への遷移Ｔ０２が実現される。ステップＳＡ１２０の判定結果が“Ｙｅｓ”である場合には、制御部１００はタッチ開始期位置の記憶を行うことなく、当該処理を終了する。始点と終点とが指定されている状態でさらに他の位置に対するタッチが為されても、そのタッチ操作を無視するためである。

図６は、タッチ終了の検出を契機として実行される処理の流れを示すフローチャートである。操作検出手段１１０ｃから受け取った操作内容データを解析してタッチ終了を検出した制御部１００は、まず、始点のタッチが解除されたのか否かを判定する（ステップＳＢ１００）。ステップＳＢ１００の判定結果が“Ｙｅｓ”であれば、制御部１００は、始点位置データを揮発性記憶部１２２から削除し（ステップＳＢ１１０）、当該処理を終了する。これにより、始点記憶済状態Ｓ０２から初期状態Ｓ０１への遷移Ｔ０４、或いは始点・終点記憶済状態Ｓ０４から終点記憶済状態Ｓ０３への遷移Ｔ０５が実現される。

これに対して、ステップＳＢ１００の判定結果が“Ｎｏ”である場合、制御部１００は、終点のタッチが解除されたか否かを判定する（ステップＳＢ１２０）。ステップＳＢ１２０の判定結果が“Ｙｅｓ”であれば、制御部１００は、終点位置データを揮発性記憶部１２２から削除し（ステップＳＢ１３０）、当該処理を終了する。これにより、始点・終点記憶済状態Ｓ０４から始点記憶済状態Ｓ０２への遷移Ｔ０３、或いは終点記憶済状態Ｓ０３から初期状態Ｓ０１への遷移Ｔ０６が実現される。ステップＳＢ１２０の判定結果が“Ｎｏ”である場合には、制御部１００は当該処理を終了する。なお、本実施形態では、始点および終点以外に他の点を指定するタッチ操作が為されても当該タッチ操作は無視されるため、ステップＳＢ１２０の判定結果が“Ｎｏ”になることはない。

始点記憶済状態Ｓ０２から始点・終点記憶済状態Ｓ０４への遷移Ｔ０２、或いは終点記憶済状態Ｓ０３から始点・終点記憶済状態Ｓ０４への遷移Ｔ０７が発生すると、１つのベクトルが確定する。このため、制御部１００は、始点・終点記憶済状態Ｓ０４への遷移が発生すると当該ベクトルを表すデータを予め定められたルールにしたがって合成指示データに変換して音合成手段に与える。つまり、歌唱合成プログラム１２４ａにしたがって作動している制御部１００は、操作内容データを予め定められたルールにしたがって合成指示データに変換して出力する変換手段として機能する。

本実施形態の変換手段は、始点・終点記憶済状態Ｓ０４において記憶されている始点の位置を合成対象の歌唱音声の音素に、始点から見た終点の方向を同歌唱音声の音高に、始点と終点との間の距離を歌唱音声の音量に変換し、当該音素、音高および音量の歌唱音声の合成を指示する合成指示データを音合成手段に出力する。その結果、上記音素、音高および音量の歌唱音声が音出力手段から出力される。このようにして出力を開始した歌唱音について、制御部１００は、始点・終点記憶済状態Ｓ０４から他の状態への状態遷移の発生を契機として出力を停止する。

変換手段におけるデータ変換ルールとしては種々のものが考えられるが、具体例を挙げると以下の通りである。まず、始点位置の音素への変換ルールについては、図２に示す画面における小円Ａ０１〜Ａ０２の各々の円周上および内部の領域を示す範囲データ（前述した二次元座標系における当該円周上および当該範囲を示すデータ）に対応付けてその小円に対応する母音を示す母音データを格納した変換ルールテーブルを歌唱合成プログラム１２４ａに内蔵させておき、この変換ルールテーブルの格納内容と始点位置データの示す始点位置との対比により実現すれば良い。例えば、始点位置が何れかの小円の円周上または領域内の位置である場合には、変換手段は、変換ルールテーブルにおいてその小円に対応付けられた母音データの表す母音を、合成対象の歌唱音声の音素とするのである。なお、始点位置が小円Ａ０１〜Ａ０５の円周上または内部に属さない場合には、最も近い小円に対応する母音が指定されたと解釈しても良く、また、最も近い小円と２番目に近い小円の各々に対応する母音の間の音素が指定されたと解釈しても良い。また、始点位置が小円Ａ０１〜Ａ０５の円周上または内部に属さない場合には、各母音に対応する小円の中心と当該始点との間の距離の逆数をその合計値が１になるように正規化した値を各母音の重みとして各母音をモーフィングすることで得られる音素の発音を指示されたと解釈し、当該始点の位置を当該音素（上記モーフィングにより得られる音素）に変換しても良い。

始点から見た終点の方向の音高への変換、および始点と終点の間の距離の音量への変換については、変換手段は、まず、終点の位置を、始点を原点とする極座標（ｒ、θ）に変換する。始点の座標が（ｘ１、ｙ１）であり、終点の座標が（ｘ２、ｙ２：ただし、ｘ２≠ｘ１、ｙ２≠ｙ１）である場合、変換手段は、以下の数１および数２により極座標変換を実現する。なお、数２においてａｔａｎ（）は逆正接関数であり、ｘ＝ｘ２−ｘ１、ｙ＝ｙ２−ｙ１であり、πは円周率である。次いで、変換手段は、数１にしたがって算出したｒの値を変換ルールテーブル（すなわち、ｒの値と音量とを対応付ける変換ルールテーブル）を用いて音量に変換するとともに、数２にしたがって算出したθの値を変換ルールテーブル（すなわち、θの値と音高とを対応付ける変換ルールテーブル）を用いて音高に変換する。これら変換ルールテーブルについても歌唱合成プログラム１２４ａに予め内蔵させておけば良い。

数２に従って算出されるθの値は−πからπの範囲に制限される。ここで、タッチ位置検出の時間的間隔を十分小さくとることで直前のタッチ位置検出から現在のタッチ位置検出までの間に閾値θth以上の角度の変化は起きないものとみなすことができる。このような状況下では、閾値θth＝π として所謂アンラッピングを施すことでθの値を正負ともに拡大することができる。なお、アンラッピングの具体的な実現アルゴリズムとしては、例えば図７のソースコードにより示されるアルゴリズムが挙げられる。このようなアンラッピングを施すことで、始点を中心として終点が予め定められた角度分回転する毎に１オクターブ音高が変化する（例えば、反時計回りに予め定められた角度分回転したときは音高が１オクターブ高くなり、時計回りに予め定められた角度分回転したときは音高が１オクターブ低くなる）ように上記角度θと音高の変換ルールを定めておくことで、平均律等の音楽理論との親和性の高い音高表現が可能になる。通常の楽曲の演奏を行う際には２オクターブ程度の音域が必要となることを考慮すると、上記予め定められた角度をπラジアンと設定しておくことが好ましい。始点を中心に終点を一周させるといった直観的に判り易い操作で、通常の楽曲の演奏に必要な２オクターブの音域を確保できるからである。なお、より広い音域が必要となる楽曲の演奏の際には、上記予め定められた角度をπ／２ラジアン（すなわち、１／４周分の角度）、或いはπ／４ラジアン（すなわち、１／８周分の角度）に設定すれば良いことは言うまでもない。

以上説明したように、本実施形態によれば、歌唱音声を規定する複数の情報（歌詞の音素、当該歌詞を発音する際の音高および音量）を操作検出面上の複数のタッチ位置（本実施形態では、始点および終点の２点の位置）の位置関係に対応させることが可能になる。また、操作検出手段１１０ｃとして、少なくとも１つのタッチ位置の更新が発生する毎に上記操作内容データを出力するものを用い、その操作内容データに応じて始点或いは終点の位置を更新し更新後の始点位置等に応じて合成指示データを生成して出力する処理を制御部１００に実行させるようにすれば、始点を指示している指先や終点を指示している指先の何れか一方、或いは両方を操作検出面をなぞるように動かす操作に応じて上記複数の情報を経時的に更新すること、すなわち、歌唱音声を経時的に変化させることが可能になり、ビブラートなどの音響効果の付与を簡便に行うことが可能になる。

本実施形態では、歌唱合成装置への本発明の適用を説明したが、文章等の読み上げ音声を合成する装置や楽器の演奏音を合成する装置に本発明を適用しても良い。例えば、楽器の演奏音を合成する音合成装置であれば、始点の位置に音色を対応付けておけば良い。文章の読み上げ音声を合成する音合成装置や楽器の演奏音を合成する音合成装置であっても、合成対象の音を規定する情報として音色或いは音素と、音高および音量の指定および経時的な更新を直観的かつ判り易い操作で行えることが好ましいことには変わりはないからである。

（Ｂ：変形）
以上本発明の実施形態について説明したが、以下の変形を加えても良い。
（１）上記実施形態では、始点記憶済状態Ｓ０２から始点・終点記憶済状態Ｓ０４への遷移、或いは終点記憶済状態Ｓ０３から始点・終点記憶済状態Ｓ０４への遷移の発生タイミングを発音開始時刻としたが、初期状態Ｓ０１から始点記憶済状態Ｓ０２への遷移の発生タイミングを発音開始時刻としても良い。始点記憶済状態Ｓ０２では終点が指定されておらず、合成対象の歌唱音声の音高および音量を確定できない。このため、初期状態Ｓ０１から始点記憶済状態Ｓ０２への遷移の発生タイミングを発音開始時刻とする態様においては音高および音量については予め定められた値としても良く、また、疑似乱数等を用いて定めた値としても良い。

また、歌唱合成装置１０が加速度センサなどの他のセンサや操作子等の他の操作検出手段を有している場合には、当該他の操作検出手段を介して取得したデータに応じて音高および音量を定めるようにしても良い。発音終了時刻についても同様に、始点・終点記憶済状態Ｓ０４から始点記憶済状態Ｓ０２或いは終点記憶済状態Ｓ０３への遷移が発生したタイミングを発音終了時刻とするのではなく、始点・終点記憶済状態Ｓ０４から始点記憶済状態Ｓ０２或いは終点記憶済状態Ｓ０３の何れかを経て初期状態Ｓ０１へ遷移したタイミングを発音終了時刻としても良い。なお、始点・終点記憶済状態Ｓ０４において始点の指定が解除された場合には、それまでの終点を新たな始点として始点記憶済状態Ｓ０２へ遷移させるようにしても良い。

（２）上記実施形態では、操作検出手段１１０ｃに対するタッチ操作により指定された始点の位置を合成対象の歌唱音声の音素に、始点から見た終点の方向を歌唱音声の音高に、始点と終点との間の距離を歌唱音声の音量に対応させたがこれに限定される訳ではない。例えば、始点の位置を音量に対応させ、始点から見た終点の方向を音素に対応させ、始点と終点の間の距離を音高に対応させても良く、始点と終点の役割を入れ替えても良い。また、時間的に先に指定された方を終点とし、後から指定された方を始点としても良い。始点と終点とが指定されると１つのベクトルが特定されるので、当該ベクトルを規定する複数の情報（ベクトルの大きさ、方向、および位置の各々を示す情報）を合成対象の歌唱音声を規定する複数の情報に対応させる態様であれば良い。また、始点と終点の他に、始点とは異なり、終点とも異なる第３の点をユーザに指定させ、これら３つの点の位置関係を複数の情報に対応させても良い。また、始点と終点を順次指定する際の時間間隔を歌唱音声のベロシティに対応させる（例えば、始点と終点の各々を指定する際の時間間隔が短いほどベロシティを大きくする）など、上記ベクトルを規定する情報以外の情報を歌唱音声の合成に利用しても良い。

一般に歌声は、発音が開始されてから音響的に定常的な状態に至るまでにある程度の時間を要し、発音が音響的に定常的な状態ではなくなってから完全に発音が停止するまでにもある程度時間を要する。ベロシティとは、音楽の演奏情報の通信に使用されるＭＩＤＩ規格において、主に発音開始および終了時点の過渡特性を伝達する目的で利用される情報である。従来、スマートフォンなどのタブレット端末用の楽器アプリケーション等では、そのタブレット端末が加速度センサを有している場合には、加速度センサの出力値をベロシティとして利用することが多かった。しかし、このような態様では、タブレット端末自体を動かしながら演奏した場合に意図したベロシティを入力できないといった問題や、タブレット端末の持ち方に応じて入力値が変わってしまうといった問題があった。これに対して、ベクトルの始点と終点を順次指定する際の時間間隔をベロシティに対応させるようにすれば、装置自体を動かしながら使用しても問題はなく、また、装置自体の持ち方による影響を小さくすることができる。

（３）上記実施形態では、母音の範囲で合成対象の歌唱音声の発音を指定させたが、ボタンなどを併用することでより多彩な発音（或いは音色）を指定できるようにしても良い。例えば、図８に示す画面を表示手段１１０ａに表示させ、[Ｓ]ボタンＡ０８をタッチした状態で母音[ａ]に対応する小円Ａ０１内の点を始点として指定するタッチ操作が為された場合には、子音／ｓ／を付加して／ｓａ／の発音の音を合成するようにしても良い。また、多様な歌詞（或いは音色）による音合成を可能にするため、始点・終点記憶済状態Ｓ０４への遷移が発生する毎に表示手段１１０ａに表示させる音素（或いは音色）の候補を切り替えるようにしても良い。また、歌唱合成装置に本発明を適用する場合、音素ではなく発音記号により合成対象の歌唱音声の発音を指定させても良い。この場合、小円Ａ０１等の内部に音素を示す文字を表示するのではなく発音記号を表示すれば良い。要は、小円Ａ０１等に発音を表す発音文字（音素を表す文字や発音記号）を表示してユーザに発音を指定する操作を促す態様であれば良い。また、合成対象の歌唱音声の発音を指定させる際に、音節単位で発音を指定させても良く、日本語の範囲で発音を指定させるのであればモーラ単位で発音を指定させても良い。

（４）上記実施形態の音合成装置（すなわち、歌唱合成装置１０）は、歌唱音声を規定する複数の情報を指定する操作を検出する操作検出手段と、当該操作検出手段により検出された操作の内容を表すデータを合成指示データに変換する変換手段と、この合成指示データにしたがって歌唱音声を合成する音合成手段、および音出力手段を有していた。しかし、ヘッドフォンを音出力手段として用いる等、図９（ａ）に示すように、音出力手段を外部要素としても良い。つまり、音出力手段は、本発明の音合成装置の必須構成要素ではない。また、操作検出手段、変換手段および音合成手段についても、これらのうちの何れか１つと他の２つとが異なる装置に実装されていても良く、また、これら３つが全て異なる装置に実行されていても良い。例えば、図９（ｂ）に示すように操作検出手段と変換手段とで、ユーザの操作内容を表すデータを合成指示データに変換して出力する入力装置を形成し、有線或いは無線通信により当該入力装置から音声合成手段に合成指示データを与えるようにしても良い。また、図９（ｂ）における入力装置を単体で製造・販売しても良い。

また、図９（ｃ）に示すように、操作検出手段１１０ｃと音出力手段１１０ｂとを有する第１のコンピュータ装置をインターネットなどの電気通信回線に接続するとともに、上記変換手段および音声合成手段として機能する第２のコンピュータ装置を当該電気通信回線に接続し、当該電気通信回線経由で第１のコンピュータ装置から送信されてくる操作内容データの合成指示への変換、当該合成指示に応じた波形データの合成、およびその波形データの第１のコンピュータ装置への返信を上記第２のコンピュータ装置に行わせるようにしても良い。図９（ｃ）では、２台の第１のコンピュータ装置を電気通信回線に接続する場合について例示されている。このような態様によれば、歌唱音声のリアルタイム合成を所謂ＡＳＰ形式の通信サービスで提供することが可能になる。なお、複数の歌唱合成装置１０を電気通信回線に接続し、それら複数の歌唱合成装置１０のうちの１つを第１のコンピュータ装置かつ第２のコンピュータ装置として機能させ、他のものを第１のコンピュータ装置として機能させた場合も同様の効果が得られる。

また、複数の上記第１のコンピュータ装置を電気通信回線に接続して同時に演奏を行わせ、第１のコンピュータ装置の各々に入力されたベクトルを、当該ベクトルを入力された装置以外の他の第１のコンピュータ装置にも表示させるとともに、第２のコンピュータ装置からの返信を上記複数のコンピュータ装置に対するマルチキャストにより行っても良い。このようにすることで、複数の第１のコンピュータ装置の各々のユーザに、各ユーザが指定した歌唱音声の音楽的な関係を各ベクトルの位置関係等を通じて視覚的に把握させることが可能になる。

例えば、２πラジアンの回転が１オクターブ（すなわち、１２００ｃｅｎｔ）の音高変化に一致するように音高とベクトルの角度とを対応付けておけば、（ｉ）音高が等しいベクトルは平行になる、（ｉｉ）音高の比がオクターブの関係、すなわち、１２００ｃｅｎｔの倍数の関係にある２つのベクトルも平行になる、（ｉｉｉ）音色が同一のベクトルは始点が一致する等の視覚的な美観が得られる。音高に関してより一般的に言えば、互いの音高の関係が特別な値にあることをベクトルの為す角度により視覚的に把握できるといった効果が得られる。なお、上記（ｉ）〜（ｉｉｉ）の何れかの事象の発生を第２のコンピュータ装置において検知して複数の第１のコンピュータ装置の各々に通知し、当該通知に応じた報知（ベクトルの表示態様を変化させるなどの視覚に訴える報知や、音による報知或いは振動による報知等）を行っても良い。

（６）上記実施形態では、操作検出手段１１０ｃとして略Ｂ５サイズのシート状の接触検知センサを用いた。しかし、畳一枚分などより大きな接触検知センサを用いても良い。このように大きな接触検知センサを用いる場合には、当該接触検知センサを床などに敷き、その操作検出面を足で踏むことで始点および終点の指定を行うようにすれば良い。なお、このような態様においては、接触検知センサは透明である必要はなく、各々異なる発音を示す複数の表象（図２における小円Ａ０１〜Ａ０５）が描画されたものであれば良い。このような態様によれば、接触検知センサ上でステップを踏んだり、踊るなどの操作で合成対象の歌唱音声を規定する複数の情報を指定することが可能になり、ゲーム感覚で歌唱合成を行うことが可能になる。また、本態様と上記実施形態の態様とを併用し、歌詞を構成する音素のうち母音については本態様により指定し、子音については上記実施形態の態様により指定するようにしても良い。

（７）上記実施形態では、本発明の入力装置（すなわち、操作検出手段と変換手段とを有する入力装置）を、音合成装置への情報入力手段として用いたが、携帯型ゲーム機や据え置き型ゲーム機への情報入力手段として用いても良く、また、地図アプリケーションへの情報入力手段として用いても良い。例えば、地図アプリケーションへの情報入力手段やロールプレイングゲーム用の情報入力手段として本発明の入力装置を用いると、地図上で始点と終点とが指定されたことを契機としてその始点から見た終点の方向の風景の画像を、始点と終点との間の距離に応じたズーム比率で表示し、道案内を行うことが可能になる。

（８）アプリケーションの種類に応じてベクトルを指定する際の基準となる情報を表示しても良い。具体的には、図１０に示すような格子や、図１１に示す十字線と同心円の組み合わせなど何らかの規則に基づいた表象を上記基準を示す情報として表示するのである。このような態様によれば、ベクトルの位置、大きさ、角度についての基準或いは基準間隔をユーザに把握させつつ入力操作を行わせることが可能になる。また、図１２に示すように、入力中のベクトルの始点に上記十字線と同心円の組み合わせの中心を位置づけるなど、大きさや角度についての基準を示す表象の表示位置を入力中のベクトルの位置に追従させても良い。また、上記同心円を構成する各円の半径を始点の指定時刻からの経過時間に応じて次第に小さく（或いは大きく）しても良い。

また、図１３に示すように、ベクトルの位置、方向および長さの何れか（或いは、これらのうちの複数）についての推奨値を示す表象を表示させても良く、入力中のベクトルと当該表象の表すベクトルとが充分に近くなったときに、その旨をユーザに報知しても良い。具体的には、入力中のベクトルと当該表象の表すベクトルの近似の度合いに応じて、入力中のベクトルと当該表象の表すベクトルの何れか一方（或いは両方）の表示態様を異ならせる態様や音や振動により報知する態様が考えられる。また、この推奨値を表す表象についても、入力中のベクトルの始点の指定時刻からの経過時間に応じて表示態様を変化させても良い。

（９）上記実施形態では、変換手段と音合成手段とがソフトウェアモジュールにより実現されていたが、電子回路などのハードウェアにより実現しても良い。また、上記実施形態では、歌唱合成プログラム１２４ａに制御部１００を変換手段として機能させるプログラムが含まれていたが、制御部１００を変換手段として機能させるプログラム単体で提供しても良い。マルチタッチパネルを有するコンピュータ装置の制御部を当該プログラムにしたがって作動させることで、当該コンピュータ装置を本発明の入力装置として機能させることが可能になるからである。なお、当該プログラムの具体的な提供態様としては、ＣＤ−ＲＯＭやＤＶＤなどのコンピュータ読み取り可能な記録媒体に当該プログラムを記録して配布する態様や、電気通信回線経由のダウンロードにより配布する態様が考えられる。

１０…歌唱合成装置、１００…制御部、１１０…ユーザＩ／Ｆ部、１１０ａ…表示手段、１１０ｂ…音出力手段、１１０ｃ…操作検出手段、１２０……記憶部、１２２…揮発性記憶部、１２４…不揮発性記憶部、１２４ａ…歌唱合成プログラム、１３０…バス。

Claims (6)

1. 操作検出面に対してユーザにより為されたタッチ操作による複数のタッチ位置の各々を示す操作内容データを所定の時間間隔で出力する操作検出手段と、
   前記所定の時間間隔で出力される前記操作内容データを他の情報を表すデータに変換して出力する手段であって、前記操作内容データの示す複数のタッチ位置のうちベクトルの始点および終点が指定されていない状態で開始されたタッチ位置を前記ベクトルの始点とし、当該始点以外の前記ベクトルの始点が指定された状態で開始されたタッチ位置を前記ベクトルの終点とした場合における当該始点と当該終点の予め定められた方の位置、当該予め定められた方から見た他方の方向θ、および両者の間の距離ｒを算出し、前記方向θにアンラッピング処理を施して前記方向θの値を正負ともに拡大し、予め定められたルールにしたがって３種類の情報に変換し、少なくとも当該３種類の情報を含む複数の情報を表すデータを出力する変換手段と
   を備えることを特徴とする入力装置。
2. 始点と終点のうちの予め定められた方の位置、当該予め定められた方から見た他方の方向および両者の間の距離の少なくとも一つに関する基準値または推奨値をユーザに報知する報知手段をさらに有する
   ことを特徴とする請求項１に記載の入力装置。
3. 前記操作検出手段は、タッチ位置に加えてタッチ開始時刻を表す操作内容データを出力し、
   前記変換手段は、始点のタッチ開始時刻と終点のタッチ開始時刻の時間差を前記３種類の情報とは異なる第４の情報に変換する
   ことを特徴とする請求項１または請求項２に記載の入力装置。
4. 前記変換手段は、前記予め定められた方の位置、前記予め定められた方から見た他方の方向および両者の間の距離の各々を予め定められたルールにしたがって音色または発音、音高および音量に変換し、始点のタッチ開始時刻と終点のタッチ開始時刻の時間差を、当該音色または発音の音を出力する際のベロシティに変換する
   ことを特徴とする請求項３に記載の入力装置。
5. 前記始点と終点のうちの予め定められた方から他方を見た方向には音高が対応付けられており、
   前記変換手段は、前記始点と前記終点のうちの予め定められた方を中心として他方が予め定められた角度分回転する毎に音高が一オクターブ変化するように、前記始点および前記終点の位置を示すデータを、音高を示すデータに変換する
   ことを特徴とする請求項４に記載の入力装置。
6. ユーザの操作内容に応じた音色または発音の音を、その操作内容に応じた音高および音量を有する音として合成し出力する音合成装置において、
   操作検出面に対してユーザにより為されたタッチ操作による複数のタッチ位置の各々を示す操作内容データを出力する操作検出手段と、
   前記操作内容データを他の情報を表すデータに変換して出力する手段であって、前記操作内容データの示す複数のタッチ位置のうちの一つを始点とし当該始点以外のタッチ位置のうちの一つを終点とした場合における当該始点と当該終点の予め定められた方の位置、当該予め定められた方から見た他方の方向および両者の間の距離の各々を予め定められたルールにしたがって音色または発音、音高および音量に変換し、当該音色または発音の音を当該音高および当該音量で合成することを指示する合成指示データを出力する変換手段と、
   前記変換手段の出力する合成指示データにしたがって音を合成する音合成手段と、
   を有することを特徴とする音合成装置。

Images