JP2011007932A - Mobile terminal device, sound synthesizing method, and sound synthesis program - Google Patents
Mobile terminal device, sound synthesizing method, and sound synthesis program Download PDFInfo
- Publication number
- JP2011007932A JP2011007932A JP2009149771A JP2009149771A JP2011007932A JP 2011007932 A JP2011007932 A JP 2011007932A JP 2009149771 A JP2009149771 A JP 2009149771A JP 2009149771 A JP2009149771 A JP 2009149771A JP 2011007932 A JP2011007932 A JP 2011007932A
- Authority
- JP
- Japan
- Prior art keywords
- external
- sound
- voice
- synthesis
- synthesized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
- Telephone Function (AREA)
Abstract
Description
本発明は、外部音声入力機能を備えた、例えば携帯電話機、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機、デジタルカメラ装置、携帯型の動画撮像装置等の携帯機器に適用して好適な携帯端末装置、音声の合成方法、及び音声の合成プログラムに関する。
特には、外部入力されるゲーム音声と内部音声とをミキシングして出力している際に、外部入力されているゲーム音声の音圧及びテンポを監視し、該ゲーム音声の音圧及びテンポが変化した際に、内部音声と合成している該ゲーム音声の合成割合を高くして出力することで、ゲームの通常の進行時には内部音声を主とする合成音声の出力を行い、ゲームの効果音発生時やゲームのイベント発生時にはゲーム音声を主とする合成音声の出力を行うことを可能とした携帯端末装置、音声の合成方法、及び音声の合成プログラムに関する。
The present invention includes, for example, a mobile phone, a PHS phone (PHS: Personal Handyphone System), a PDA device (PDA: Personal Digital Assistant), a portable game machine, a digital camera device, and a portable video imaging device having an external voice input function. The present invention relates to a portable terminal device, a voice synthesis method, and a voice synthesis program suitable for application to portable devices such as the above.
In particular, when the externally input game sound and the internal sound are mixed and output, the sound pressure and tempo of the externally input game sound are monitored, and the sound pressure and tempo of the game sound change. When the game is played, the synthesis rate of the game sound synthesized with the internal sound is increased and output, so that during the normal progress of the game, the synthesized sound mainly including the internal sound is output and the sound effect of the game is generated. The present invention relates to a portable terminal device, a voice synthesis method, and a voice synthesis program capable of outputting synthesized voice mainly including game voice when a game event occurs.
特開平１０−２６０６７８号の公開特許公報に、自己の演奏音を含み、外部で他の演奏音とミキシングした演奏音を内蔵スピーカで発音可能な電子楽器が開示されている。 Japanese Laid-Open Patent Publication No. 10-260678 discloses an electronic musical instrument that includes its own performance sound and can generate a performance sound mixed with other performance sounds externally with a built-in speaker.
この電子楽器の場合、楽音信号選択合成手段が、内部で生成した楽音信号を外部出力手段から外部に出力し、外部で生成した楽音信号が外部入力手段から入力されている場合、外部楽音信号だけを選択的に発音出力する。内部楽音信号が外部出力手段から外部に出力されず、外部楽音信号が外部入力手段から入力されている場合、内部楽音信号と外部楽音信号の合成信号を発音出力する。内部楽音信号が外部出力手段から外部に出力されず、外部楽音信号が外部入力手段から入力していない場合、内部楽音信号だけを発音出力する。 In the case of this electronic musical instrument, when the musical sound signal selection / synthesis means outputs the internally generated musical sound signal from the external output means and the externally generated musical sound signal is input from the external input means, only the external musical sound signal is output. Is output as a sound. When the internal musical sound signal is not output to the outside from the external output means and the external musical sound signal is input from the external input means, a synthesized signal of the internal musical sound signal and the external musical sound signal is sounded and output. When the internal musical tone signal is not output to the outside from the external output means and the external musical tone signal is not input from the external input means, only the internal musical tone signal is sounded and output.
これにより、外部入力インターフェイスから取り込まれた外部機器からの楽音信号を、自分の演奏した演奏音と内部のミキサでミキシングすることで、内蔵スピーカを介して、自分の演奏した演奏音と外部機器からの楽音とを合成して出力することができるようになっている。 As a result, the musical sound signal from the external device imported from the external input interface is mixed with the performance sound you played with the internal mixer, so that the performance sound you played and the external device can be transmitted via the built-in speaker. Can be synthesized and output.
しかし、特許文献１に開示されている電子楽器は、ミキサで決定される合成割合で外部機器からの楽音と自分の演奏した演奏音とを合成して上記内蔵スピーカを介して出力するため、ミキサにより上記合成割合が決定された後には、上記電子楽器の操作者が、再度、ミキサを操作して上記合成割合が変更するまでの間、上記合成割合は固定されたものとなる。
However, the electronic musical instrument disclosed in
このため、上記外部機器からの楽音を主として出力するタイミングで、該外部機器からの楽音の合成割合を自動的に多くして出力し、上記演奏音を主として出力するタイミングで、該演奏音の合成割合を自動的に多くして出力する等のように、自動的、かつ、臨機応変に上記合成割合を変化させることは困難となる問題があった。 For this reason, at the timing when the musical sound from the external device is mainly output, the composition ratio of the musical sound from the external device is automatically increased and output, and at the timing when the performance sound is mainly output, the performance sound is synthesized. There is a problem that it is difficult to change the composition ratio automatically and flexibly, such as automatically increasing the ratio and outputting.
本発明は、上述の課題に鑑みてなされたものであり、外部音声と内部音声とを合成して出力する際に、自動的、かつ、臨機応変に該各音声の合成割合を変化させた合成音声を形成して出力することができるような携帯端末装置、音声の合成方法、及び音声の合成プログラムを提供することを目的とする。 The present invention has been made in view of the above-described problems, and when synthesizing and outputting external speech and internal speech, synthesis is performed by automatically and flexibly changing the synthesis rate of each speech. It is an object of the present invention to provide a portable terminal device capable of forming and outputting a voice, a voice synthesis method, and a voice synthesis program.
本発明は、上述の課題を解決するために、
内部音声が記憶されたメモリと、
上記メモリに記憶されている上記内部音声を再生する内部音声再生部と、
外部からの外部音声を入力するための外部音声入力部と、
上記内部音声再生部により再生された上記内部音声と、上記外部音声入力部を介して入力された上記外部音声とを合成した合成音声を形成して出力する、該合成割合を可変可能な合成音声形成部と、
上記外部音声入力部を介して入力された外部音声の、少なくとも音圧及びテンポを監視し、上記外部音声の音圧及びテンポに変化が無い場合は、所定の合成割合で上記外部音声及び上記内部音声を合成した上記合成音声を形成するように、上記合成音声形成部の上記合成割合を可変制御し、
上記外部音声の所定音圧以上の音圧の変化を検出した場合、該所定音圧以上の音圧の変化を検出した間のみ、上記内部音声よりも上記外部音声の合成割合を多くした上記合成音声を形成するように上記合成音声形成部の上記合成割合を可変制御し、上記外部音声の音圧が上記所定音圧よりも低い音圧となった際に、上記所定の合成割合の上記合成音声を形成するように、上記合成音声形成部の上記合成割合を可変制御し、
上記外部音声のテンポの変化を検出した場合、上記内部音声よりも上記外部音声の合成割合を多くした上記合成音声を形成するように上記合成音声形成部の上記合成割合を可変制御し、上記テンポが変化した上記外部音声の入力がなされてから所定時間経過した際に、上記所定の合成割合の上記合成音声を形成するように、上記合成音声形成部の上記合成割合を可変制御する制御部と
を有する。
In order to solve the above-mentioned problems, the present invention
A memory that stores the internal audio,
An internal audio reproduction unit for reproducing the internal audio stored in the memory;
An external audio input unit for inputting external audio from outside,
Synthetic speech with variable synthesis ratio that forms and outputs synthesized speech in which the internal speech reproduced by the internal speech playback unit and the external speech input via the external speech input unit are synthesized. Forming part;
At least the sound pressure and tempo of the external sound input via the external sound input unit are monitored, and when there is no change in the sound pressure and tempo of the external sound, the external sound and the internal sound are mixed at a predetermined synthesis rate. Variably controlling the synthesis ratio of the synthesized speech forming unit so as to form the synthesized speech synthesized by speech;
In the case of detecting a change in sound pressure that is equal to or greater than a predetermined sound pressure of the external sound, the synthesis in which the synthesis ratio of the external sound is increased from that of the internal sound only while a change in sound pressure that is equal to or greater than the predetermined sound pressure is detected. The synthesis ratio of the synthesis voice forming unit is variably controlled so as to form speech, and the synthesis of the predetermined synthesis ratio is performed when the sound pressure of the external voice becomes lower than the predetermined sound pressure. Variably controlling the synthesis ratio of the synthesized speech forming unit so as to form speech,
When a change in the tempo of the external sound is detected, the synthetic ratio of the synthetic voice forming unit is variably controlled so as to form the synthetic voice in which the synthetic ratio of the external voice is larger than that of the internal voice. A control unit that variably controls the synthesis rate of the synthesized speech forming unit so that the synthesized speech of the predetermined synthesis rate is formed when a predetermined time elapses after the input of the external speech having changed Have
このような本発明は、内部音声と合成して出力している外部音声の音圧及びテンポに変化が無い場合は、外部音声及び内部音声を所定の合成割合で合成した合成音声を形成して出力する。 In the present invention, when there is no change in the sound pressure and tempo of the external sound that is synthesized and output with the internal sound, the synthesized sound is formed by synthesizing the external sound and the internal sound at a predetermined synthesis rate. Output.
これに対して、外部音声の所定音圧以上の音圧の変化を検出した場合、該所定音圧以上の音圧の変化を検出した間のみ、内部音声よりも外部音声の合成割合を多くして出力し、外部音声の音圧が上記所定音圧よりも低い音圧となった際に、合成割合を上記所定の合成割合に戻して外部音声及び内部音声の合成を行い出力する。 On the other hand, when a change in the sound pressure of the external sound that is equal to or higher than the predetermined sound pressure is detected, the synthesis ratio of the external sound is increased over that of the internal sound only while the change in the sound pressure that is higher than the predetermined sound pressure is detected. When the sound pressure of the external voice becomes lower than the predetermined sound pressure, the synthesis ratio is returned to the predetermined synthesis ratio and the external voice and the internal voice are synthesized and output.
また、外部音声のテンポの変化を検出した場合、内部音声よりも外部音声の合成割合を多くした合成音声を形成して出力し、上記テンポが変化した外部音声の入力がなされてから所定時間経過した際に、合成割合を上記所定の合成割合に戻して外部音声及び内部音声の合成を行い出力する。 Also, when a change in the tempo of the external sound is detected, a synthesized voice having a higher proportion of the external voice than the internal voice is formed and output, and a predetermined time has elapsed since the input of the external voice with the tempo changed. In this case, the synthesis rate is returned to the predetermined synthesis rate, and the external voice and the internal voice are synthesized and output.
外部音声が所定音圧以上の音圧に変化するタイミングや、外部音声のテンポが変化するタイミングは、内部音声よりも外部音声の重要度が高いタイミングであることを意味する。このため、外部音声の所定音圧以上の音圧の変化を検出した場合、及び外部音声のテンポの変化を検出した場合に、それぞれ外部音声の合成割合を多くして出力することで、自動的、かつ、臨機応変に上記各音声の合成割合を変化させた合成音声を形成して出力することができる。 The timing at which the external sound changes to a sound pressure equal to or higher than a predetermined sound pressure and the timing at which the tempo of the external sound changes mean that the importance of the external sound is higher than that of the internal sound. For this reason, when a change in the sound pressure of the external sound equal to or higher than the predetermined sound pressure is detected, and when a change in the tempo of the external sound is detected, the output is automatically increased by increasing the synthesis ratio of the external sound. In addition, it is possible to form and output synthesized speech in which the synthesis ratio of each of the above-mentioned speeches is changed in a flexible manner.
本発明は、外部音声と内部音声とを合成して出力する際に、自動的、かつ、臨機応変に上記各音声の合成割合を変化させた合成音声を形成して出力することができる。 According to the present invention, when synthesizing and outputting an external voice and an internal voice, it is possible to form and output a synthesized voice in which the synthesis ratio of each voice is changed automatically and flexibly.
本発明は、携帯電話機に適用することができる。 The present invention can be applied to a mobile phone.
［携帯電話機の使用形態］
まず、図１に、本発明を適用した実施例となる携帯電話機の使用形態の一例を示す。この実施例となる携帯電話機は、外部入力された外部音声と、当該携帯電話機で再生した内部音声とを所定の合成割合で合成して外部出力可能となっている。この図１は、当該実施例となる携帯電話機１に対して、携帯ゲーム機２からの外部音声を入力し、当該携帯電話機１で再生された内部音声と上記携帯ゲーム機２からの外部音声とを所定の合成割合で合成してヘッドホン装置３に出力している例を示している。
[Use form of mobile phone]
First, FIG. 1 shows an example of a usage form of a mobile phone as an embodiment to which the present invention is applied. The mobile phone according to this embodiment is capable of external output by synthesizing externally input external audio and internal audio reproduced by the mobile phone at a predetermined synthesis ratio. FIG. 1 shows an example in which an external sound from a
携帯電話機１に対する外部音声の入力は、当該携帯電話機１と携帯ゲーム機２とを相互に接続するケーブルを介して行われるようになっている。或いは、この携帯電話機１に対する外部音声の入力は、当該携帯電話機１及び携帯ゲーム機２にそれぞれ設けられている、例えばブルートゥース（Bluetooth：登録商標）等の近距離無線通信部や赤外線通信部等を用いて行われるようになっている。
External audio input to the
なお、以下、この図１に示す例に従って、当該携帯電話機１は、携帯ゲーム機２から外部入力されるゲーム音声と、当該携帯電話機１で再生した内部音声とを所定の合成割合で合成してヘッドホン装置３に出力するものとして説明を進めるが、この図１に示す当該携帯電話機の使用形態は一例であり、携帯型の音楽再生装置等の他の機器で再生された音声を上記外部音声として当該携帯電話機に入力してもよい。
In the following, according to the example shown in FIG. 1, the
また、外部音声と内部音声との合成出力は、ヘッドホン装置３に出力することとして説明を進めるが、この他、イヤホン装置やスピーカ装置に対して上記外部出力を出力してもよい。
In addition, although the description will be given assuming that the combined output of the external sound and the internal sound is output to the
［携帯電話機の構成］
次に、図２に、この携帯電話機のブロック図を示す。この図２からわかるように、この携帯電話機は、無線基地局との間で音声通話、テレビ電話通話、電子メール、Ｗｅｂデータ（Web：World Wide Web）、画像データ（動画像、静止画像）、音声データ等の無線通信を行うアンテナ１１及び通信回路１２と、受話音声や上記合成出力等を出力するためのスピーカ部１３と、送話音声等を集音するためのマイクロホン部１４と、例えば待ち受け画像、操作メニュー、電子メール、画像（静止画像及び動画像）、所定のメッセージの他、後述する外部音声と内部音声との合成割合等を表示するための表示部１５とを有している。
[Configuration of mobile phone]
Next, FIG. 2 shows a block diagram of the mobile phone. As can be seen from FIG. 2, this mobile phone can be used for voice calls, videophone calls, e-mail, Web data (Web: World Wide Web), image data (moving images, still images), An
また、この携帯電話機は、例えば十字キー、決定キー、数字キー等の複数の操作キーを備えた操作部１６と、電話や電子メールの発着信等を光でユーザに通知するための発光部１７（LED：Light Emitting Diode）と、所望の被写体を撮像するためのカメラ部１８と、当該携帯電話機の筐体を振動させて発着信等をユーザに通知するためのバイブレーションユニット１９と、現在時刻をカウントし、この現在時刻を示す現在時刻情報を出力するタイマ２０とを有している。
In addition, the mobile phone includes an
また、この携帯電話機は、当該携帯電話機の筐体の振動や移動等に対応する加速度を検出する加速度センサ２１と、例えば通信可能距離が５０ｃｍ程度の非接触無線通信を行うための非接触無線通信アンテナ２２及び非接触ＩＣユニット２３と、例えば通信可能距離が１０ｍ程度の近距離無線通信を行うための近距離無線通信アンテナ２４及び近距離無線通信ユニット２５と、赤外線通信を行うための赤外線通信ユニット２６とを有している。
In addition, this mobile phone is connected to the
また、この携帯電話機は、図１に示したように当該携帯電話機と携帯ゲーム機２とをケーブルで相互に接続するための外部入力インターフェイス部２７（外部入力ＩＦ部）と、当該携帯電話機とヘッドホン装置３とを接続するための外部出力インターフェイス部２８（外部出力ＩＦ部）と、無線基地局を介した無線通信処理を行うためのコミュニケーションプログラムや各種アプリケーションプログラムの他、これら各アプリケーションプログラムで取り扱われる各種データ等が記憶されたメモリ２９と、当該携帯電話機全体の動作を制御する制御部３０とを有している。
In addition, as shown in FIG. 1, the mobile phone includes an external input interface unit 27 (external input IF unit) for connecting the mobile phone and the
メモリ２９には、上記コミュニケーションプログラムの他、上記外部音声及び上記内部音声を所定の合成割合で合成して出力するための音声合成処理プログラムと、撮像した静止画像や動画像のビューア機能を備えた、カメラ部１８の撮像制御を行うためのカメラ制御プログラムと、電子メールの作成や送受信を制御するための電子メール管理プログラムとが記憶されている。
In addition to the communication program, the
また、メモリ２９には、ユーザのスケジュールが登録されたスケジュール帳の管理を行うためのスケジュール帳管理プログラムと、コミュニケーションネットワークやインターネット等の所定のネットワーク上に設けられたサーバ装置から配信されるＷｅｂ情報を取得して閲覧するためのＷｅｂブラウジングプログラムと、電話帳の管理を行うための電話帳管理プログラムと、音楽データの再生を行うための音楽プレーヤプログラムとが記憶されている。
The
また、メモリ２９には、ユーザの所望のスケジュールが登録されるスケジュール帳と、ユーザの知人や友人等のユーザ名、静止画像（顔写真等）、住所、電話番号、電子メールアドレス、生年月日等が登録された電話帳と、音楽プレーヤプログラムに基づいて再生される音楽データと、上記カメラ制御プログラムのビューワ機能に基づいて再生される静止画像データ及び動画像データと、送受信された電子メールデータと、電話及び電子メールの発着信履歴と、後述する合成音声の出力モードを示す情報や、外部音声と内部音声との合成割合を示す情報等の設定モード情報とが記憶されている。
In addition, the
［音声合成処理動作］
次に、このような構成を有する当該実施例の携帯電話機は、図１に示したように携帯ゲーム機２から供給された外部音声（＝ゲーム音声）と、音楽プレーヤとして機能することで再生した内部音声（＝音楽データを再生した音声）とを、所定の合成割合で合成してヘッドホン装置３に出力するようになっている。
[Speech synthesis processing operation]
Next, the mobile phone of this embodiment having such a configuration was reproduced by functioning as an external sound (= game sound) supplied from the
図３のフローチャートに、このような音声合成処理動作の流れを示す。当該携帯電話機の制御部３０は、当該携帯電話機のシステムを起動すると、メモリ２９に記憶されている音声合成処理プログラムに基づいて、この図３のフローチャートに示す各処理を実行制御する。
The flowchart of FIG. 3 shows the flow of such speech synthesis processing operation. When the mobile
まず、ステップＳ１では、制御部３０が、音楽プレーヤの起動操作の有無を監視し、音楽プレーヤの起動操作を検出したタイミングで、メモリ２９に記憶されている音楽プレーヤプログラムに基づいて、音楽プレーヤを起動制御し、処理をステップＳ２に進める。ステップＳ２では、制御部３０が、外部入力ＩＦ部２７に対して外部音声が入力されているか否かを判別、或いは近距離無線通信ユニット２５（又は赤外線通信ユニット２６）を介して外部音声が入力されているか否かを判別する。
First, in step S1, the
このステップＳ２において、外部音声の入力を検出できないということは、外部入力ＩＦ部２７に携帯ゲーム機２が接続されておらず、又は外部入力ＩＦ部２７に携帯ゲーム機２が接続されていても、該携帯ゲーム機２からのゲーム音声が入力されていないことを意味する。或いは、近距離無線通信ユニット２５を介して携帯ゲーム機２からのゲーム音声が入力されていないことを意味する。このため、制御部３０は、上記ステップＳ２において、外部音声の入力を検出できない場合は、処理をステップＳ８に進め、メモリ２９に記憶されている音楽プレーヤプログラムに基づいて音楽プレーヤとして機能することで、ユーザにより指定された音楽データを再生して処理をステップＳ７に進める。そして、このステップＳ７において、上記音楽プレーヤの終了操作を検出するまでの間、上記音楽データの再生制御を行い、上記音楽プレーヤの終了操作を検出したタイミングで、この図３のフローチャートに示す処理を終了する。
In
次に、上記ステップＳ１において音楽プレーヤを起動制御し、上記ステップＳ２において外部音声の入力を検出すると、制御部３０は、処理をステップＳ３に進め、図４（ａ）に示すモード選択メニューを表示部１５に表示制御する。
Next, activation control of the music player is performed in step S1, and when an external audio input is detected in step S2, the
具体的には、この携帯電話機の場合、外部音声及び内部音声のうち、ユーザにより選択されたいずれか一方のみの音声を出力する「出力切り替えモード」と、ユーザにより設定された合成割合で固定的に外部音声と内部音声とを合成して出力する「合成割合固定モード」と、通常時にはユーザにより設定された合成割合で固定的に外部音声と内部音声とを合成して出力するが、外部音声のテンポ或いは音圧が変化した際に、外部音声の合成割合を多くして出力する「合成割合可変モード」とを有している。 Specifically, in the case of this mobile phone, the “output switching mode” for outputting only one of the voices selected by the user from the external voice and the internal voice and the synthesis ratio set by the user are fixed. The “synthetic rate fixed mode” that synthesizes and outputs the external audio and the internal audio and the external audio and the internal audio are fixedly synthesized and output at the synthesis rate set by the user during normal operation. When the tempo or sound pressure changes, the “synthesizing ratio variable mode” is used to increase the synthesizing ratio of the external sound and output.
制御部３０は、処理をステップＳ３に進めると、このような３つのモードの選択メニューを、図４（ａ）に示すように表示部１５に表示制御する。ユーザは、操作部１６に設けられている十字キーや回転操作キー等を操作することでカーソルＣＲを移動操作し、所望のモードを選択操作する。
When the process proceeds to step S <b> 3, the
〔出力切り替えモードが選択された場合〕
次に、このように表示部１５に対してモード選択メニューを表示すると、制御部３０は、ステップＳ４〜ステップＳ６において、上記３つのモードのうち、どのモードが選択されたかを判別する。上記モード選択メニューから「出力切り替えモード」が選択されたものと判別した場合、制御部３０は、ステップＳ９に処理を進め、図４（ｂ）に示すように、この出力切り替えモードにおいて、現在、出力することが選択されている音声を示す情報と、出力を行う所望の音声を選択するための選択画面を表示部１５に表示制御する。この図４（ｂ）に示す例は、現在、外部音声を出力することが選択されており、これに対して、「出力を切り替えますか？ Ｙｅｓ Ｎｏ」等の出力切り替えの是非を問うメッセージが表示された例を示している。
[When output switching mode is selected]
Next, when the mode selection menu is displayed on the
ユーザは、この図４（ｂ）に示す画面を見ることで、現在、出力することが選択されている音声を認識し、上記操作部１６を介してカーソルＣＲを移動操作することで、出力する音声の切り替えを行う場合には「Ｙｅｓ」の選択枝を選択し、出力する音声の切り替えを行わない場合には「Ｎｏ」の選択枝を選択する。制御部３０は、現在、出力することが選択されている音声と、ユーザの上記選択枝の選択操作に基づいて、ユーザにより出力することが選択された音声を認識し、この出力することが選択された音声を示す情報をメモリ２９に記憶制御すると共に、例えば図４（ｃ）に示すようにユーザにより出力することが選択された音声を示すメッセージを表示部１５に表示制御する。そして、ユーザにより出力することが選択された外部音声、或いは内部音声を、図２に示す外部出力ＩＦ部２８を介して、図１に示すヘッドホン装置３に出力制御する。
The user recognizes the voice currently selected to be output by looking at the screen shown in FIG. 4B, and outputs the voice by moving the cursor CR via the
これにより、この「出力切り替えモード」において、ユーザにより外部音声の出力が選択された場合は、図１に示す携帯ゲーム機２からのゲーム音声のみがヘッドホン装置３に供給され、ユーザにより内部音声の出力が選択された場合は、制御部３０が音楽プレーヤとして機能することでメモリ２９から再生した音楽データの音声のみがヘッドホン装置３に供給されることとなる。制御部３０は、ステップＳ７において、ユーザによる終了指定操作を検出するまでの間、このような外部音声の出力制御或いは内部音声の出力制御を行う。
Thereby, in this “output switching mode”, when the output of the external sound is selected by the user, only the game sound from the
なお、「出力切り替えモード」において、ユーザにより外部音声の出力が選択された場合、制御部３０は、ステップＳ１で起動した音楽プレーヤを終了制御したうえで、上記ゲーム音声のみをヘッドホン装置３に供給するように外部出力ＩＦ部２８を制御する。これにより、音楽プレーヤを終了制御できる分、消費電力の削減を図ることができる。
In the “output switching mode”, when the output of the external sound is selected by the user, the
また、制御部３０は、図４（ｂ）に示す現在、出力することが選択されている音声を示す情報を表示する際に、上記メモリ２９に記憶されている上記出力することが選択された音声を示す情報を読み出して、該表示部１５に表示制御する。
Further, when the
また、図４（ｃ）の例は、先に外部音声の出力が選択されており、図４（ｂ）の上記選択画面で内部音声の出力が選択された場合の表示例である。この場合、制御部３０は、例えば「選択出力を内部音声に切り替えました。」等の、ユーザにより出力することが選択された音声を示すメッセージを表示部１５に表示制御する。
Further, the example of FIG. 4C is a display example when the output of the external sound is selected first and the output of the internal sound is selected on the selection screen of FIG. 4B. In this case, the
〔合成割合固定モードが選択された場合〕
次に、図３のフローチャートのステップＳ５において、図４（ａ）に示したモード選択メニューから「合成割合固定モード」が選択されたものと判別すると、制御部３０は、図４（ｄ）に示すように、現在設定されている外部音声と内部音声との合成割合を示す数値及び合成割合表示バーを表示部１５に表示制御する。この図４（ｄ）に示す例は、上記合成割合表示バーの向かって左側の表示領域が内部音声の合成割合を示す表示領域で、上記合成割合表示バーの向かって右側の表示領域が外部音声の合成割合を示す表示領域となっており、現在、内部音声及び外部音声が共に５０％の合成割合で設定されていることを示す例である。
[When composition ratio fixed mode is selected]
Next, in step S5 of the flowchart of FIG. 3, if it is determined that the “combination ratio fixed mode” is selected from the mode selection menu shown in FIG. As shown, the
各音声の合成割合は、合成割合表示バー上に表示されている操作バーＳＣを、ユーザが操作部１６を介して左方向或いは右方向に移動操作することで変更可能となっている。すなわち、制御部３０は、操作バーＳＣが左方向へ移動操作されると、この移動操作量に対応して内部音声の合成割合を徐々に多くするように合成割合の設定制御を行い、操作バーＳＣが右方向へ移動操作されると、この移動操作量に対応して外部音声の合成割合を徐々に多くするように合成割合の設定制御を行う。
The synthesis ratio of each voice can be changed by the user moving the operation bar SC displayed on the synthesis ratio display bar to the left or right via the
図４（ｅ）に示す例は、操作バーＳＣが左方向へ移動操作されることで、内部音声の合成割合が７０％、外部音声の合成割合が３０％に設定された例を示している。そして、制御部３０は、このように上記各音声の合成割合が設定されると、この合成割合を示す情報をメモリ２９に記憶制御すると共に、図４（ｆ）に示すように、例えば「合成割合可変モードを設定しました。」等の合成割合の設定が完了した旨のメッセージを表示部１５に表示制御する。
The example shown in FIG. 4E shows an example in which the operation ratio SC is set to 70% and the synthesis ratio of the external voice is set to 30% by moving the operation bar SC to the left. . Then, when the synthesis ratios of the respective voices are set as described above, the
なお、制御部３０は、図４（ｄ）、図４（ｅ）に示す現在設定されている各音声の合成割合を表示する際に、上記メモリ２９に記憶されている上記合成割合を示す情報を読み出して、この情報に基づいて、上記合成割合を示す数値及び合成割合表示バーを表示部１５に表示制御する。
Note that the
次に、制御部３０は、このようにユーザにより設定された合成割合で外部音声及び内部音声を合成してヘッドホン装置３に出力制御する。この各音声の合成時における制御部３０の機能ブロック図を図５に示す。この図５からわかるように、各音声の合成時となると制御部３０は、メモリ２９に記憶されている音声合成処理プログラムに基づいて、内部音声再生部３１（＝音楽プレーヤ機能）、外部入力音声処理部３２、合成音声形成部３３、合成制御部３４として機能する。
Next, the
制御部３０は、内部音声再生部３１として機能すると、メモリ２９に記憶されている音楽データのうち、ユーザにより指定された音楽データを再生する。また、制御部３０は、外部入力音声処理部３２として機能すると、外部入力ＩＦ部２７を介して供給された上記ゲーム音声を取得する。
When the
そして、制御部３０は、合成制御部３４として機能することで、メモリ２９に記憶されている上記ユーザにより設定された上記合成割合を示す情報を読み出し、合成音声形成部として機能することで、この合成割合となるように上記音楽データの音声及びゲーム音声を合成処理して、外部出力ＩＦ部２８に供給する。これにより、予め設定した合成割合で合成された上記音楽データの音声及びゲーム音声が上記ヘッドホン装置３に供給されることとなる。制御部３０は、ステップＳ７において、ユーザによる終了指定操作を検出するまでの間、外部音声及び内部音声の合成割合が、終始、ユーザにより設定された合成割合となるように、固定的な合成制御を行う。
The
また、制御部３０は、上記各音声の合成時において、合成制御部３４として機能することで、図６（ａ）及び図６（ｂ）に示すように外部音声（ゲーム音声）及び内部音声（＝音楽プレーヤとして機能することで再生した音楽データ）の合成割合を示す情報を表示部１５に表示制御する。
In addition, the
具体的には、図６（ａ）に示す表示例は、ユーザにより内部音声と外部音声との合成割合が共に５０％に設定されている例である。この場合、制御部３０は、現在再生中の音楽データに対応する曲名、歌手名、アルバム名、再生時間等の再生中の音楽データに関する情報と共に、各音声の現在の合成割合を示す情報として、上述の合成割合表示バーと共に、５０％等の各音声の合成割合を示す文字を表示部１５に表示制御する。
Specifically, the display example shown in FIG. 6A is an example in which the synthesis ratio of the internal voice and the external voice is set to 50% by the user. In this case, the
同様に、図６（ｂ）に示す表示例は、ユーザにより内部音声の合成割合が３０％、外部音声の合成割合が７０％に設定されている例である。この場合、制御部３０は、現在再生中の音楽データに対応する曲名、歌手名、アルバム名、再生時間等の再生中の音楽データに関する情報と共に、各音声の現在の合成割合を示す情報として、上述の合成割合表示バーと共に、３０％及び７０％等の各音声の合成割合を示す文字を表示部１５に表示制御する。
Similarly, the display example shown in FIG. 6B is an example in which the synthesis rate of internal speech is set to 30% and the synthesis rate of external speech is set to 70% by the user. In this case, the
ここで、当該携帯電話機の場合、各音声の合成処理中であっても上記合成割合を変更操作可能となっている。合成割合を変更する場合、ユーザは、操作部１６の左右の操作キーを操作する。制御部３０は、操作部１６の左操作キーが操作されると、例えば３０％→２０％→１０％・・・等のように、該左操作キーの操作量に応じて内部音声の合成割合が徐々に少なくなるように該内部音声の合成割合を制御する。反対に、制御部３０は、操作部１６の右操作キーが操作されると、例えば３０％→４０％→５０％・・・等のように、該左操作キーの操作量に応じて内部音声の合成割合が徐々に多くなるように該内部音声の合成割合を制御する。制御部３０は、このような左右の操作キーの操作に対応する合成割合の制御と共に、図６（ａ）、図６（ｂ）に示したように現在の合成割合を示す表示を、表示部１５に対して行う。
Here, in the case of the mobile phone, the composition ratio can be changed even during the speech synthesis process. When changing the composition ratio, the user operates the left and right operation keys of the
〔合成割合可変モードが選択された場合〕
次に、図３のフローチャートのステップＳ６において、図４（ａ）に示したモード選択メニューから「合成割合可変モード」が選択されたものと判別すると、制御部３０は、図７のフローチャートのステップＳ１１に処理を進める。ステップＳ１１では、制御部３０が、上記メモリ２９に記憶されている上記合成割合を示す情報に基づいて、図４（ｄ）を用いて説明したように、現在設定されている外部音声と内部音声との合成割合を示す数値及び合成割合表示バーを表示部１５に表示制御する。上述のように、ユーザは、合成割合表示バーの操作バーＳＣを左右に移動操作することで、当該合成割合可変モードの通常時における各音声の合成割合を設定する。
[When composite ratio variable mode is selected]
Next, in step S6 of the flowchart of FIG. 3, if it is determined that the “combination ratio variable mode” has been selected from the mode selection menu shown in FIG. 4A, the
すなわち、当該携帯電話機の場合、制御部３０は、上述の「合成割合固定モード」では、終始、上記設定された合成割合となるように外部音声及び内部音声を合成して出力する、言わば固定的な合成制御を行う。
That is, in the case of the mobile phone, in the above-described “synthesis ratio fixed mode”, the
これに対して、この「合成割合可変モード」では、制御部３０は、通常時には、上記ユーザにより設定された合成割合となるように外部音声及び内部音声を合成して出力するのであるが、外部音声のテンポが変わったタイミング、及び外部音声の音圧が高くなったタイミングで、外部音声の合成割合を多くして内部音声と合成して出力する、言わば可変的な合成制御を行う。このため、ユーザは、この「合成割合可変モード」を選択した場合には、予め、上記通常時における所望の合成割合の設定を行う。
On the other hand, in this “synthesis ratio variable mode”, the
制御部３０は、ステップＳ１２において、操作部１６の操作状況を監視することで、このユーザによる合成割合の設定が終了したか否かを判別し、該ユーザによる合成割合の設定が終了したものと判別したタイミングで処理をステップＳ１３に進める。
In step S12, the
ステップＳ１３では、制御部３０が、外部入力ＩＦ部２７を介して現在入力されている外部音声のテンポ及び音圧を検出し、このテンポ及び音圧を示す情報をそれぞれメモリ２９に記憶制御してステップＳ１４に処理を進める。
In step S13, the
この携帯電話機の場合、制御部３０は、このような外部音声のテンポ及び音圧を検出処理を例えば３０秒毎、１分毎等の所定時間毎に行うようになっている。このため、制御部３０は、上記外部音声のテンポ及び音圧を示す情報をメモリ２９に記憶制御することで処理をステップＳ１４に進めると、タイマ２０で計時されている計時情報に基づいて、テンポ及び音圧を示す情報をメモリ２９に記憶制御してから、上記３０秒或いは１分等の所定時間が経過したか否かを判別し、該所定時間が経過していないものと判別した際に処理をステップＳ１５に進める。
In the case of this cellular phone, the
制御部３０は、以下に説明するステップＳ１５及びステップＳ１６において、後述するように現在入力されている外部音声のテンポ及び音圧の変化を検出し、この外部音声のテンポ及び音圧の変化を検出しない場合は、処理をステップＳ１７に進める。そして、このステップＳ１７において、上記ステップＳ１１で設定された合成割合で、内部音声及び外部音声の合成処理を行い、これをヘッドホン装置３に供給するように外部出力ＩＦ部２８を出力制御すると共に、図６（ａ）及び図６（ｂ）に示したように、現在再生中の音楽データに関する情報と共に、外部音声及び内部音声の現在の合成割合を示す情報を表示部１５に表示制御する。
In step S15 and step S16 described below, the
これにより、外部音声のテンポ及び音圧の変化が検出されない通常時には、上記ステップＳ１１でユーザにより設定された合成割合で合成された内部音声及び外部音声が、上記ヘッドホン装置３を介して出力されると共に、この通常時における外部音声及び内部音声の現在の合成割合を示す情報が表示部１５に表示されることとなる。
As a result, at a normal time when the tempo and the sound pressure of the external sound are not detected, the internal sound and the external sound synthesized at the synthesis rate set by the user in step S11 are output via the
次に、上記ステップＳ１５に処理を進めると、制御部３０は、メモリ２９に記憶されている音声合成処理プログラムに基づいて、図５に示す外部音声変化検出部３５として機能し、上記メモリ２９に記憶制御した上記情報で示される外部音声のテンポと、外部入力ＩＦ部２７を介して現在入力されている外部音声のテンポとを比較することで、該外部音声のテンポの変化の有無を検出する。
Next, when the process proceeds to step S15, the
上述のように、この例における外部音声は、携帯ゲーム機２からのゲーム音声であるが、ロールプレイイングゲーム等のゲーム音声は、ゲームイベントが発生したり、シーンチェンジが行われると、ＢＧＭ（バックグランドミュージック）が変化し、該ゲーム音声のテンポが変化する。そして、このゲームイベントの発生やシーンチェンジ等により、ゲームの流れに変化が生じた場合は、ゲーム音声（＝外部音声）の合成割合を多くして、このゲームの流れの変化をユーザに知らせることが好ましい。このため、制御部３０は、上記ステップＳ１５において、外部音声変化検出部３５として機能することで、外部音声のテンポの変化を検出すると、それまでメモリ２９に記憶していた外部音声のテンポを示す情報を、上記変化した外部音声のテンポを示す情報に更新し、処理をステップＳ１９に進める。
As described above, the external sound in this example is a game sound from the
ステップＳ１９では、制御部３０が、図５に示す合成制御部として機能することで、外部音声の合成割合が多くなるように、内部音声と外部音声とを合成処理している合成音声形成部３３の合成割合を可変して設定する。そして、制御部３０は、合成音声形成部３３として機能した際に、この設定した合成割合で、該外部音声の合成割合を多くして内部音声と合成し、これをヘッドホン装置３に出力するように外部出力ＩＦ部２８を出力制御すると共に、図６（ａ）及び図６（ｂ）に示したように、現在再生中の音楽データに関する情報と共に、上記設定した合成割合を示す情報を表示部１５に表示制御する。
In step S19, the
具体的には、制御部３０は、上記通常時に設定されている外部音声の合成割合を基準として、上記外部音声の合成割合の割り増し量を決定するようになっている。すなわち、通常時における外部音声の合成割合が５０％であった場合、該外部音声の合成割合は、あと５０％割り増して合成することができる。このため、制御部３０は、この割り増し可能な全合成割合の半分、或いは２／３程度を、上記通常時における外部音声の合成割合に加算することで、該外部音声の合成割合の割り増し制御を行う。従って、通常時における外部音声の合成割合が５０％であった場合、制御部３０は、残り５０％の半分の２５％を上記通常時における外部音声の５０％の合成割合に加算処理した７５％を、該外部音声の合成割合として上記合成音声形成部３３に設定し、或いは残り５０％の２／３の約３３％を上記通常時における外部音声の５０％の合成割合に加算処理した８３％を、該外部音声の合成割合として上記合成音声形成部３３に設定する。
Specifically, the
同様に、通常時における外部音声の合成割合が３０％であった場合、該外部音声の合成割合は、あと７０％割り増して合成することができる。このため、制御部３０は、残り７０％の半分の３５％を上記通常時における外部音声の３０％の合成割合に加算処理した６５％を、該外部音声の合成割合として上記合成音声形成部３３に設定し、或いは残り７０％の２／３の約４６％を上記通常時における外部音声の３０％の合成割合に加算処理した７６％を、該外部音声の合成割合として上記合成音声形成部３３に設定する。
Similarly, when the synthesis rate of the external voice in the normal time is 30%, the synthesis rate of the external voice can be synthesized by adding another 70%. For this reason, the
これにより、ゲームイベントが発生したり、シーンチェンジが行われることで、ゲーム音声のテンポが変化した際に、内部音声と合成しているゲーム音声（＝外部音声）の合成割合を多くすることができ、該ゲームイベントの発生やシーンチェンジ等のゲームの流れの変化ををユーザに知らせることができる。 As a result, when a game event occurs or a scene change is performed, when the tempo of the game sound changes, the composition ratio of the game sound synthesized with the internal sound (= external sound) may be increased. It is possible to notify the user of a change in the flow of the game such as the occurrence of the game event or a scene change.
なお、この例では、制御部３０は、通常時に設定されている外部音声の合成割合を基準として、上記外部音声の合成割合の割り増し量を決定することとしたが、上記テンポの変化を検出した場合は、外部音声の合成割合を例えば１０％多くする等のように、固定的な割り増し量で制御してもよい。この場合でも、内部音声と合成しているゲーム音声（＝外部音声）の合成割合を多くすることができるため、該ゲームイベントの発生やシーンチェンジ等のゲームの流れの変化ををユーザに知らせることができる。
In this example, the
次に、このように外部音声の合成割合を多くすることで、ゲームの流れの変化をユーザが認識した後には、再度、ユーザにより設定されている上記通常時における各音声の合成割合に戻すことが好ましい。このため、制御部３０は、上述のように外部音声の合成割合が多くなるように各音声の合成割合を制御すると、ステップＳ２０に処理を進め、再度、メモリ２９に記憶されている上記更新した情報で示されるテンポと、現在の外部音声のテンポとを比較することで、該外部音声のテンポの変化の有無を判別する。
Next, after the user recognizes a change in the flow of the game by increasing the synthesis rate of the external speech in this way, the speech synthesis rate is set back to the normal rate set by the user again. Is preferred. For this reason, if the
上記ステップＳ１９において、外部音声の合成割合が多くなるように各音声の合成割合を可変制御することで、ユーザの意識は外部音声に向いている。このため、外部音声の合成割合が多くなるように各音声の合成割合を可変制御した直後に外部音声のテンポの変化が生じた場合に、再度、外部音声の合成割合を多くしてしまうと、外部音声の出力が多くなり過ぎて、かえって煩わしい制御となる虞れがある。 In step S19, the user's consciousness is suitable for external voice by variably controlling the synthesis ratio of each voice so that the synthesis ratio of the external voice is increased. For this reason, when a change in the tempo of the external sound occurs immediately after variably controlling the synthesis ratio of each voice so that the synthesis ratio of the external voice is increased, if the synthesis ratio of the external voice is increased again, There is a possibility that the output of the external sound will be excessive and the control becomes troublesome.
このため、外部音声の合成割合が多くなるように各音声の合成割合を可変制御した直後に、再度、外部音声のテンポの変化を検出した場合、制御部３０は、このテンポの変化は無視し、ステップＳ２２に処理を進めて、現在の合成割合を維持する。なお、この例では、外部音声のテンポの再度の変化を検出した場合は、現在の合成割合を維持することとしたが、上述と同様に可変的或いは固定的に外部音声の合成割合を割り増し制御してもよい。また、いずれの場合でも、制御部３０は、現在の合成割合を示す情報等を表示部１５に表示制御する。
For this reason, when the change in the tempo of the external sound is detected again immediately after variably controlling the synthesis ratio of each sound so that the synthesis ratio of the external sound is increased, the
一方、上記ステップＳ２０において、外部音声のテンポの再度の変化を検出することなく処理をステップＳ２１に進めると、制御部３０は、ステップＳ１９で合成割合を多くした外部音声のテンポと、メモリ２９に記憶されている上記更新した情報で示されるテンポとを比較し、同じテンポの外部音声の入力が一定時間続いたか否かを判別する。
On the other hand, in step S20, when the process proceeds to step S21 without detecting a change in the tempo of the external sound again, the
そして、同じテンポの外部音声の入力が一定時間続いていないものと判別した場合は、処理を上記ステップＳ２０に戻して、上記一定時間の経過を待ち、同じテンポの外部音声の入力が一定時間続いたものと判別した場合に処理をステップＳ１７に進め、ユーザにより設定された上記通常時の各音声の合成割合を上記合成音声形成部３３に設定する。これにより、外部音声の合成割合を多くした後、上記一定時間が経過したタイミングで、上記通常時における各音声の合成割合に戻すことができる。
If it is determined that the input of the external sound with the same tempo does not continue for a certain time, the process returns to step S20, waits for the elapse of the certain time, and the input of the external sound with the same tempo continues for the certain time. If it is determined that the voice is determined to be the same, the process proceeds to step
制御部３０は、このように通常時における各音声の合成割合に戻した際には、この通常時における各音声の合成割合を示す情報等を、上述のように表示部１５に表示制御する。
When the
次に、図７のフローチャートにおいて、上記ステップＳ１５において、外部音声のテンポの変化を検出することなく処理をステップＳ１６に進めると、制御部３０は、メモリ２９に記憶されている音声合成処理プログラムに基づいて、図５に示す外部音声変化検出部３５として機能することで、上記メモリ２９に記憶制御した上記情報で示される外部音声の音圧と、外部入力ＩＦ部２７を介して現在入力されている外部音声の音圧とを比較することで、該外部音声の音圧が高くなったか否かを判別する。
Next, in the flowchart of FIG. 7, when the process proceeds to step S <b> 16 without detecting a change in the tempo of the external voice in step S <b> 15, the
上述のように、この例における外部音声は、携帯ゲーム機２からのゲーム音声であるが、効果音等が発生すると、ゲーム音声の音圧が高くなる。そして、この効果音等は、ゲームの進行や面白みを左右する音声であるため、効果音等が発生した場合には、ゲーム音声（＝外部音声）の合成割合を多くして、この効果音の発生等をユーザに知らせることが好ましい。このため、制御部３０は、上記ステップＳ１６において、外部音声変化検出部３５として機能することで、外部音声の音圧が高くなったことを検出すると、それまでメモリ２９に記憶していた外部音声の音圧を示す情報を、上記高くなった音圧を示す情報に更新する。
As described above, the external sound in this example is a game sound from the
そして、図５に示す合成制御部として機能することで、外部音声の合成割合が多くなるように、内部音声と外部音声とを合成処理している合成音声形成部３３の合成割合を可変して設定する。そして、制御部３０は、合成音声形成部３３として機能した際に、この設定した合成割合で、該外部音声の合成割合を多くして内部音声と合成し、これをヘッドホン装置３に出力するように、外部出力ＩＦ部２８を出力制御すると共に、上述のように現在の合成割合を示す情報等を表示部１５に表示制御する。
Then, by functioning as the synthesis control unit shown in FIG. 5, the synthesis rate of the synthesized voice forming unit 33 that synthesizes the internal voice and the external voice is varied so that the synthesis rate of the external voice is increased. Set. When the
この外部音声の合成割合を多くする際の割り増し制御は、上述と同様に可変的な割り増し制御を行っても良いし、固定的な割り増し制御を行ってもよい。詳しくは、上述のステップＳ１９の説明を参照されたい。 As for the extra control when increasing the synthesis ratio of the external voice, variable extra control may be performed as described above, or fixed extra control may be performed. For details, refer to the description of step S19 described above.
次に、このように外部音声の合成割合を多くすると、制御部３０は、ステップＳ２４に処理を進め、メモリ２９に記憶されている上記更新した情報で示される音圧と、現在の外部音声の音圧とを比較し、該外部音声の音圧が低くなったか否かを判別する。外部音声の音圧が低くなっていないということは、効果音等が続いて出力されていることを意味するため、制御部３０は、このステップＳ２４において外部音声の音圧が低くなるのを待ち、該外部音声の音圧が低くなったものと判別したタイミングで、メモリ２９に記憶されている外部音声の音圧を示す情報を上記低くなった音圧を示す情報に更新し、処理をステップＳ１７に進める。
Next, when the external audio synthesis ratio is increased in this way, the
そして、このステップＳ１７において、ユーザにより設定された上記通常時の各音声の合成割合を上記合成音声形成部３３に設定すると共に、上述のように現在の合成割合を示す情報等を表示部１５に表示制御する。これにより、ゲームの効果音等が発生した際には、外部音声の合成割合を多くして、該ゲームの効果音等の発生をユーザに知らせることができ、該ゲームの効果音等の発生が終わったタイミングで、上記通常時における各音声の合成割合に戻すことができる。なお、制御部３０は、このように通常時における各音声の合成割合に戻した際には、この通常時における各音声の合成割合を示す情報を上述のように上記表示部１５に表示制御する。
In step S17, the normal voice synthesis ratio set by the user is set in the synthesized voice forming unit 33, and information indicating the current synthesis ratio is displayed on the
次に、制御部３０は、このような各処理の間、ステップＳ１８において、操作部１６の操作状況を監視することで、ユーザにより、当該合成割合可変モードの終了指定操作がなされたか否かを監視する。そして、この終了指定操作がなされたものと判別した場合は、図３のエンドへ処理を進め、この図３及び図７の各フローチャートに示す各処理を終了する。また、上記終了指定操作がなされていないものと判別した場合には、処理をステップＳ１４に戻し、上記外部音声のテンポ及び音圧を示す情報をメモリ２９に記憶制御してから所定時間が経過したか否かを判別し、該所定時間が経過したものと判別した場合には、処理をステップＳ１３に戻して、外部音声のテンポ及び音圧を再度検出してメモリ２９に記憶し直し、上記所定時間が経過していないものと判別した場合には、処理をステップＳ１５に進めて、上述のように外部音声のテンポの変化の有無を判別する。
Next, during each process, the
［実施例の効果］
以上の説明から明らかなように、この実施例の携帯電話機は、携帯ゲーム機２から外部入力されるゲーム音声（外部音声）と、当該携帯電話機の音楽プレーヤ機能で音楽データの再生を行うことで形成された音楽音声（内部音声）とを合成して出力する際に、上記ゲーム音声のテンポ及び音圧の変化を検出する。そして、ゲーム音声の音圧及びテンポに変化が無い場合は、通常時における出力制御として、例えばユーザにより予め設定されている合成割合でゲーム音声及び音楽音声を合成した合成音声を形成して出力する。
[Effect of Example]
As is clear from the above description, the mobile phone of this embodiment reproduces music data by externally input game sound (external sound) from the
これに対して、ゲーム音声の所定音圧以上の音圧の変化を検出した場合、該所定音圧以上の音圧の変化を検出した間のみ、音楽音声よりもゲーム音声の合成割合を多くして出力し、ゲーム音声の音圧が上記所定音圧よりも低い音圧となった際に、合成割合を上記通常時の合成割合に戻してゲーム音声及び音楽音声の合成を行い出力する。 On the other hand, when a change in the sound pressure above the predetermined sound pressure of the game sound is detected, the synthesis rate of the game sound is increased more than the music sound only while the change in the sound pressure above the predetermined sound pressure is detected. When the sound pressure of the game sound is lower than the predetermined sound pressure, the composition ratio is returned to the normal composition ratio and the game sound and the music sound are combined and output.
また、ゲーム音声のテンポの変化を検出した場合、音楽音声よりもゲーム音声の合成割合を多くした合成音声を形成して出力し、上記テンポが変化したゲーム音声の入力がなされてから所定時間経過した際に、合成割合を上記所定の合成割合に戻してゲーム音声及び音楽音声の合成を行い出力する。 In addition, when a change in the tempo of the game sound is detected, a synthesized sound having a greater proportion of the game sound than the music sound is formed and output, and a predetermined time has elapsed since the input of the game sound having the changed tempo. When this is done, the synthesis rate is returned to the predetermined synthesis rate, and the game voice and music voice are synthesized and output.
ゲーム音声が所定音圧以上の音圧に変化するタイミングや、ゲーム音声のテンポが変化するタイミングは、ゲームの効果音の発生時、ゲームイベントの発生時、シーンチェンジ等のゲームの進行上、重要度が高いタイミングであることを意味する。このため、ゲーム音声の所定音圧以上の音圧の変化を検出した場合、及びゲーム音声のテンポの変化を検出した場合に、それぞれ外部音声の合成割合を多くして出力することで、自動的、かつ、臨機応変に上記各音声の合成割合を変化させた合成音声を形成して出力することができる。
The timing at which the game sound changes to a sound pressure higher than the specified sound pressure and the timing at which the game sound tempo changes are important for the progress of the game, such as when a game sound effect occurs, when a game event occurs, and when a scene change occurs. It means that the timing is high. For this reason, when a change in the sound pressure above the predetermined sound pressure of the game sound is detected, and when a change in the tempo of the game sound is detected, the output is automatically increased by increasing the synthesis ratio of the external sound. In addition, it is possible to form and output synthesized speech in which the synthesis ratio of each of the above-mentioned speeches is changed in a flexible manner.
［変形例］
上述の実施例の説明では、本発明を携帯電話機に適用することとしたが、本発明を、ＰＨＳ電話機（PHS：Personal Handyphone System）、ＰＤＡ装置（PDA：Personal Digital Assistant）、携帯ゲーム機等の他の携帯機器に適用してもよい。いずれの場合も上述と同様の効果を得ることができる。
[Modification]
In the above description of the embodiment, the present invention is applied to a mobile phone. However, the present invention is not limited to a PHS phone (PHS: Personal Handyphone System), a PDA device (PDA: Personal Digital Assistant), a portable game machine, or the like. You may apply to another portable device. In either case, the same effect as described above can be obtained.
最後に、上述の実施例は、本発明の一例である。このため、本発明は上述の実施例に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論であることを付け加えておく。 Finally, the above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiments, and various modifications can be made according to the design and the like as long as they do not depart from the technical idea according to the present invention. Let me add that.
１ 携帯電話機 ２ 携帯ゲーム機、３ ヘッドホン装置、１１ 携帯電話機のアンテナ、１２ 通信回路、１３ スピーカ部、１４ マイクロホン部、１５ 表示部、１６ 操作部、１７ 発光部（ＬＥＤ）、１８ カメラ部、１９ バイブレーションユニット、２０ タイマ、２１ 加速度センサ、２２ 非接触無線通信アンテナ、２３ 非接触無線通信ユニット、２４ 近距離無線通信アンテナ、２５ 近距離無線通信ユニット、２６ 赤外線通信ユニット、２７ 外部入力インターフェイス部（外部入力ＩＦ部）、２８ 外部出力インターフェイス部（外部出力ＩＦ部）、２９ メモリ、３０ 制御部
DESCRIPTION OF
Claims (5)
上記メモリに記憶されている上記内部音声を再生する内部音声再生部と、
外部からの外部音声を入力するための外部音声入力部と、
上記内部音声再生部により再生された上記内部音声と、上記外部音声入力部を介して入力された上記外部音声とを合成した合成音声を形成して出力する、該合成割合を可変可能な合成音声形成部と、
上記外部音声入力部を介して入力された外部音声の、少なくとも音圧及びテンポを監視し、上記外部音声の音圧及びテンポに変化が無い場合は、所定の合成割合で上記外部音声及び上記内部音声を合成した上記合成音声を形成するように、上記合成音声形成部の上記合成割合を可変制御し、
上記外部音声の所定音圧以上の音圧の変化を検出した場合、該所定音圧以上の音圧の変化を検出した間のみ、上記内部音声よりも上記外部音声の合成割合を多くした上記合成音声を形成するように上記合成音声形成部の上記合成割合を可変制御し、上記外部音声の音圧が上記所定音圧よりも低い音圧となった際に、上記所定の合成割合の上記合成音声を形成するように、上記合成音声形成部の上記合成割合を可変制御し、
上記外部音声のテンポの変化を検出した場合、上記内部音声よりも上記外部音声の合成割合を多くした上記合成音声を形成するように上記合成音声形成部の上記合成割合を可変制御し、上記テンポが変化した上記外部音声の入力がなされてから所定時間経過した際に、上記所定の合成割合の上記合成音声を形成するように、上記合成音声形成部の上記合成割合を可変制御する制御部と
を有する携帯端末装置。 A memory that stores the internal audio,
An internal audio reproduction unit for reproducing the internal audio stored in the memory;
An external audio input unit for inputting external audio from outside,
Synthetic speech with variable synthesis ratio that forms and outputs synthesized speech in which the internal speech reproduced by the internal speech playback unit and the external speech input via the external speech input unit are synthesized. Forming part;
At least the sound pressure and tempo of the external sound input via the external sound input unit are monitored, and when there is no change in the sound pressure and tempo of the external sound, the external sound and the internal sound are mixed at a predetermined synthesis rate. Variably controlling the synthesis ratio of the synthesized speech forming unit so as to form the synthesized speech synthesized by speech;
In the case of detecting a change in sound pressure that is equal to or greater than a predetermined sound pressure of the external sound, the synthesis in which the synthesis ratio of the external sound is increased from that of the internal sound only while a change in sound pressure that is equal to or greater than the predetermined sound pressure is detected. The synthesis ratio of the synthesis voice forming unit is variably controlled so as to form speech, and the synthesis of the predetermined synthesis ratio is performed when the sound pressure of the external voice becomes lower than the predetermined sound pressure. Variably controlling the synthesis ratio of the synthesized speech forming unit so as to form speech,
When a change in the tempo of the external sound is detected, the synthetic ratio of the synthetic voice forming unit is variably controlled so as to form the synthetic voice in which the synthetic ratio of the external voice is larger than that of the internal voice. A control unit that variably controls the synthesis rate of the synthesized speech forming unit so that the synthesized speech of the predetermined synthesis rate is formed when a predetermined time elapses after the input of the external speech having changed A mobile terminal device.
請求項１に記載の携帯端末装置。 The portable terminal device according to claim 1, wherein the external voice input unit is a short-range wireless communication unit that receives the external voice from the external device by performing short-range wireless communication with the external device.
上記制御部は、上記合成音声形成部の制御出力に基づいて、上記内部音声と上記外部音声との上記合成割合を検出し、この合成割合を示す表示を上記表示部に対して行う
請求項１又は請求項２に記載の携帯端末装置。 Having a display,
The control unit detects the synthesis ratio of the internal voice and the external voice based on the control output of the synthesized voice forming unit, and displays the synthesis ratio on the display unit. Or the portable terminal device of Claim 2.
外部音声入力部が、外部から入力される外部音声を取得するステップと、
合成割合を可変可能な合成音声形成部が、上記ステップで上記内部音声再生部により再生された上記内部音声と、上記ステップで上記外部音声入力部により取得された上記外部音声とを所定の合成割合で合成した合成音声を形成して出力するステップと、
制御部が、上記ステップで上記外部音声入力部により取得された外部音声の、少なくとも音圧及びテンポの変化の有無を検出するステップと、
制御部が、上記ステップにおいて上記外部音声の音圧及びテンポに変化が無いものと判別した場合に、上記所定の合成割合で上記外部音声及び上記内部音声を合成した上記合成音声を形成するように、上記合成音声形成部の上記合成割合を可変制御するステップと、
制御部が、上記ステップにおいて上記外部音声の所定音圧以上の音圧の変化を検出した場合、該所定音圧以上の音圧の変化を検出した間のみ、上記内部音声よりも上記外部音声の合成割合を多くした上記合成音声を形成するように上記合成音声形成部の上記合成割合を可変制御すると共に、上記外部音声の音圧が上記所定音圧よりも低い音圧となった際に、上記所定の合成割合で上記外部音声及び上記内部音声を合成した上記合成音声を形成するように、上記合成音声形成部の上記合成割合を可変制御するステップと、
制御部が、上記ステップにおいて上記外部音声のテンポの変化を検出した場合、上記内部音声よりも上記外部音声の合成割合を多くした上記合成音声を形成するように上記合成音声形成部の上記合成割合を可変制御すると共に、上記テンポが変化した上記外部音声の入力がなされてから所定時間経過した際に、上記所定の合成割合で上記外部音声及び上記内部音声を合成した上記合成音声を形成するように、上記合成音声形成部の上記合成割合を可変制御するステップと
を有する音声の合成方法。 An internal audio reproduction unit reproducing the internal audio stored in the memory;
An external audio input unit acquiring external audio input from outside;
A synthesized voice forming unit capable of changing a synthesis ratio has a predetermined synthesis ratio between the internal voice reproduced by the internal voice reproducing unit in the step and the external voice acquired by the external voice input unit in the step. Forming and outputting a synthesized speech synthesized in step 1,
A step of detecting whether or not there is a change in at least sound pressure and tempo of the external sound acquired by the external sound input unit in the step;
When the control unit determines that there is no change in the sound pressure and tempo of the external voice in the step, the synthesized voice is formed by synthesizing the external voice and the internal voice at the predetermined synthesis ratio. Variably controlling the synthesis ratio of the synthesized speech forming unit;
When the control unit detects a change in sound pressure equal to or higher than the predetermined sound pressure of the external sound in the step, only when the change in sound pressure equal to or higher than the predetermined sound pressure is detected, the control unit While variably controlling the synthetic ratio of the synthetic voice forming unit so as to form the synthetic voice with a high synthetic ratio, and when the sound pressure of the external voice becomes lower than the predetermined sound pressure, Variably controlling the synthesis ratio of the synthesized voice forming unit so as to form the synthesized voice obtained by synthesizing the external voice and the internal voice at the predetermined synthesis ratio;
When the control unit detects a change in the tempo of the external sound in the step, the synthesis rate of the synthesized speech forming unit is formed so as to form the synthesized speech in which the synthesis rate of the external speech is higher than that of the internal speech. And synthesizes the synthesized voice by synthesizing the external voice and the internal voice at the predetermined synthesis ratio when a predetermined time has elapsed since the input of the external voice with the tempo changed. And a step of variably controlling the synthesis ratio of the synthesized speech forming unit.
外部から入力される外部音声を取得するように外部音声入力部を制御する外部音声入力制御部としてコンピュータを機能させ、
コンピュータを上記内部音声再生部として機能させることで再生された上記内部音声と、コンピュータを上記外部音声入力制御部として機能させることで上記外部音声入力部を介して取得された上記外部音声とを所定の合成割合で合成した合成音声を形成して出力する、合成割合を可変可能な合成音声形成部としてコンピュータを機能させ、
コンピュータを上記外部音声入力制御部として機能させることで上記外部音声入力部により取得された外部音声の、少なくとも音圧及びテンポの変化の有無を検出する外部音声変化検出部としてコンピュータを機能させ、
コンピュータを上記外部音声変化検出部として機能させることで、上記外部音声の音圧及びテンポに変化が無いものと判別した場合に、上記所定の合成割合で上記外部音声及び上記内部音声を合成した上記合成音声を形成するように、上記合成音声形成部の上記合成割合を可変制御し、
上記外部音声の所定音圧以上の音圧の変化を検出した場合、該所定音圧以上の音圧の変化を検出した間のみ、上記内部音声よりも上記外部音声の合成割合を多くした上記合成音声を形成するように上記合成音声形成部の上記合成割合を可変制御すると共に、上記外部音声の音圧が上記所定音圧よりも低い音圧となった際に、上記所定の合成割合で上記外部音声及び上記内部音声を合成した上記合成音声を形成するように、上記合成音声形成部の上記合成割合を可変制御し、
上記外部音声のテンポの変化を検出した場合、上記内部音声よりも上記外部音声の合成割合を多くした上記合成音声を形成するように上記合成音声形成部の上記合成割合を可変制御すると共に、上記テンポが変化した上記外部音声の入力がなされてから所定時間経過した際に、上記所定の合成割合で上記外部音声及び上記内部音声を合成した上記合成音声を形成するように、上記合成音声形成部の上記合成割合を可変制御する制御部としてコンピュータを機能させる
音声の合成プログラム。 Let the computer function as an internal audio playback unit that plays back the internal audio stored in the memory,
Let the computer function as an external audio input control unit that controls the external audio input unit to acquire external audio input from the outside,
The internal audio reproduced by causing the computer to function as the internal audio reproduction unit and the external audio acquired via the external audio input unit by causing the computer to function as the external audio input control unit are predetermined. The computer is made to function as a synthesized speech forming unit that can synthesize and output synthesized speech with a synthesis rate of
By causing the computer to function as the external audio input controller, the external audio acquired by the external audio input unit is caused to function as an external audio change detector that detects at least whether there is a change in sound pressure and tempo,
When the computer is functioned as the external sound change detection unit and the sound pressure and tempo of the external sound are determined not to change, the external sound and the internal sound are synthesized at the predetermined synthesis rate. Variably controlling the synthesis ratio of the synthesized speech forming unit so as to form synthesized speech,
In the case of detecting a change in sound pressure that is equal to or greater than a predetermined sound pressure of the external sound, the synthesis in which the synthesis ratio of the external sound is increased from that of the internal sound only while a change in sound pressure that is equal to or greater than the predetermined sound pressure is detected. The synthesis ratio of the synthesized voice forming unit is variably controlled so as to form a voice, and the sound volume of the external voice becomes lower than the predetermined sound pressure, and the predetermined synthesis ratio is used. Variably controlling the synthesis ratio of the synthesized voice forming unit so as to form the synthesized voice obtained by synthesizing the external voice and the internal voice;
When a change in the tempo of the external sound is detected, the synthetic ratio of the synthetic voice forming unit is variably controlled so as to form the synthetic voice in which the synthetic ratio of the external voice is larger than that of the internal voice. The synthesized voice forming unit configured to form the synthesized voice obtained by synthesizing the external voice and the internal voice at the predetermined synthesis ratio when a predetermined time has elapsed since the input of the external voice having a changed tempo. A speech synthesis program that causes a computer to function as a control unit that variably controls the above-described synthesis ratio.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009149771A JP2011007932A (en) | 2009-06-24 | 2009-06-24 | Mobile terminal device, sound synthesizing method, and sound synthesis program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009149771A JP2011007932A (en) | 2009-06-24 | 2009-06-24 | Mobile terminal device, sound synthesizing method, and sound synthesis program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011007932A true JP2011007932A (en) | 2011-01-13 |
Family
ID=43564695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009149771A Withdrawn JP2011007932A (en) | 2009-06-24 | 2009-06-24 | Mobile terminal device, sound synthesizing method, and sound synthesis program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011007932A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11754110B2 (en) | 2018-06-21 | 2023-09-12 | Ejot Gmbh & Co. Kg | Self-tapping screw |
-
2009
- 2009-06-24 JP JP2009149771A patent/JP2011007932A/en not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11754110B2 (en) | 2018-06-21 | 2023-09-12 | Ejot Gmbh & Co. Kg | Self-tapping screw |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7966035B2 (en) | Screen changing method in mobile terminal | |
| RU2382514C2 (en) | System and method for automatic generation of user video data for call signals and transmitting context information | |
| JP3966876B2 (en) | Communication terminal device | |
| JP2005237014A (en) | Wristwatch with information terminal function and mobile phone | |
| JP2008268308A (en) | Mobile information terminal, information sharing system, and information sharing management method | |
| JP6051075B2 (en) | A communication karaoke system that can continue duet singing in the event of a communication failure | |
| JP2011007932A (en) | Mobile terminal device, sound synthesizing method, and sound synthesis program | |
| KR101114155B1 (en) | Bell service method using mp3 music of mobile phone | |
| KR100818927B1 (en) | Apparatus and method for contents management of portable device | |
| KR100762634B1 (en) | Method for reflection data creating and displaying by wireless terminal | |
| JP2009086056A (en) | Mobile terminal device, movement guide method and movement guide program | |
| KR100678119B1 (en) | Method for replaying music file in wireless terminal | |
| JP2005151067A (en) | Communication terminal and reproduction method | |
| JP4751439B2 (en) | Communication terminal device | |
| KR20060072877A (en) | Method for setting and providing mp3 player skin in mobile phone | |
| JP2003249983A (en) | Wristwatch with information terminal function and mobile phone | |
| KR20070021456A (en) | Performing and generating music pattern game in wireless terminal | |
| JP2003308282A (en) | Communication equipment | |
| JP5160950B2 (en) | Timing correction program, portable terminal, and processing timing synchronization method | |
| JP4968250B2 (en) | Communication terminal device | |
| KR101023301B1 (en) | Method for sending and editing mp3 file in wireless terminal | |
| KR101054740B1 (en) | Smart phone capable of storing and providing background-sounds and method for providing background-sounds using the same | |
| JP2009188987A (en) | Communication terminal device | |
| JP2007235265A (en) | Portable terminal | |
| JP2004064191A (en) | Communication terminal device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20120424 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20120426 |
|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20120904 |