JP2009296155A - Processor and processing control method - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To transmit digital information to an opposite party during speech communication by a simple operation without imposing functional constraints. <P>SOLUTION: As a configuration for the transmission processing operation of sound signals on which digital information is superimposed, a sound OFDM processor 1 includes: a microphone 15 for inputting sound from the outside; a keyboard 16 for inputting information from the outside; a text conversion part 14 for converting the inputted information to digital information (text information as an example); a sound OFDM encoder 12 for performing encoding processing based on sound watermark technique (sound OFDM as an example) to the digital information and superimposing the digital information after the processing to the inputted sound signals; a sound codec part 11 for converting the superimposed sound signals to signals for communication; and a communication part 10 for transmitting the signals for the communication to the outside. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、音声と情報を同時に送信又は受信する処理装置および処理制御方法に関する。   The present invention relates to a processing apparatus and a processing control method for transmitting or receiving voice and information simultaneously.

携帯電話を利用して通話をしている最中に、あるWebサイトのURLを通話の相手に伝えるには、声でURLを伝え、相手は、伝えられたURLを紙にメモを取るなどの対応をしなければならない。また、通話の相手にテキストメッセージを送るには、携帯電話でメールを起動し、メールによって当該テキストメッセージを送信するなどの対応をしなければならない。
「マルチアクセス・マルチタスク」に関する外部参照可能なホームページ（http://www.nttdocomo.co.jp/service/func_tool/multi/） In order to convey the URL of a website to the other party while making a call using a mobile phone, convey the URL by voice, and the other party takes notes on the transmitted URL on paper. You must take action. In addition, in order to send a text message to the other party of the call, it is necessary to respond by, for example, starting a mail with a mobile phone and transmitting the text message by mail.
A homepage (http://www.nttdocomo.co.jp/service/func_tool/multi/) where you can refer to "Multi-access / Multi-task"

上記のように従来の携帯電話では、通話中に相手にURLやテキストメッセージ等のデジタル情報を送信することは、後述の携帯電話の機能上の問題および操作上の問題から一般に困難であった。   As described above, in conventional mobile phones, it is generally difficult to transmit digital information such as URLs and text messages to the other party during a call due to functional problems and operational problems of the mobile phone described later.

機能上の問題は、旧来の携帯電話がシングルタスクしか許容しなかったことである。つまり、通話中はデジタル通信を実行できず、メールやブラウザといった他のアプリケーションの起動および操作を実行できないといった問題である。この問題については、既に「マルチアクセス」、「マルチタスク」（非特許文献１参照）に関するサービスにより、通話中のデジタル通信および一部のアプリケーションの起動を可能にしている。   The functional problem is that traditional mobile phones only allowed a single task. That is, there is a problem that digital communication cannot be executed during a call, and activation and operation of other applications such as mail and browser cannot be executed. With regard to this problem, digital communication during a call and activation of some applications are already enabled by services related to “multi-access” and “multi-task” (see Non-Patent Document 1).

しかしながら、相手の電話番号しか知らない場合には、デジタル通信を行うにあたり、一部の例外を除き、デジタル通信のための識別子（電子メールアドレス等）を相手に通知する必要がある。ここでの一部の例外とは、ショートメッセージサービス（ＳＭＳ）であり、当該サービスでは電話番号をIDとして用いたデジタル通信が可能であるが、日本国内においては、同じ通信会社の携帯電話間でしか通信が出来ないことおよび送受信可能な情報量が非常に小さい（例えば140オクテット）という問題がある。   However, when only the other party's telephone number is known, it is necessary to notify the other party of an identifier (e-mail address or the like) for digital communication, with some exceptions, when performing digital communication. Some exceptions here are short message service (SMS), which allows digital communication using a phone number as an ID, but in Japan, between mobile phones of the same telecommunications company. However, there are problems that only communication is possible and the amount of information that can be transmitted and received is very small (for example, 140 octets).

一方、操作上の問題は、携帯電話がマルチタスクに対応している場合であっても通話中に他のアプリケーションの操作が煩雑となる問題である。通話中は多くの場合、携帯電話に具備されたスピーカに片方の耳を当てて音声を聞き取るため、スピーカに片方の耳を当てた状態で複雑なキー操作を同時に行うことは、実際上困難である。   On the other hand, the operational problem is a problem that the operation of other applications becomes complicated during a call even when the mobile phone supports multitasking. During a call, in many cases, it is difficult to perform complex key operations at the same time with one ear applied to the speaker because one ear is applied to the speaker provided in the mobile phone. is there.

上記２点の問題により、例えば、メールアドレスを知らない通話の相手に対し、通話中にテキストメッセージを送りたい場合は、相手のメールアドレスを音声で聞いてメモを取った上で、通話を切ってメールを立ち上げ、相手のメールアドレスおよびテキストメッセージを入力して送信するといった一連の煩雑な処理を行う必要があった。   Due to the above two problems, for example, if you want to send a text message during a call to a caller who does not know your e-mail address, listen to the caller's mail address and take a note, then hang up the call. It is necessary to perform a series of complicated processes such as starting up an e-mail and inputting and sending the other party's e-mail address and text message.

本発明は、上記の問題に対処すべく、機能的な制約を課すことなく、簡単な操作で、通話中に相手にデジタル情報を送信可能とする処理装置および処理制御方法を提供することを目的とする。   An object of the present invention is to provide a processing device and a processing control method that can transmit digital information to a partner during a call with a simple operation without imposing functional restrictions in order to cope with the above-described problems. And

本発明に係る処理装置は、外部から音声を入力するための音声入力部と、外部から情報を入力するための入力インターフェースを含み、上記入力インターフェースから入力された情報をデジタル情報に変換するデジタル情報入力部と、上記デジタル情報入力部により変換されたデジタル情報に対し、音響すかし技術に基づくエンコード処理を行い、上記エンコード処理後のデジタル情報を、上記音声入力部から入力された音声の音声信号に重畳するエンコーダと、上記エンコーダにより上記デジタル情報が重畳された音声信号を、通信用信号へ変換する音声コーデック部と、上記音声コーデック部により変換された通信用信号を外部へ送信する通信部と、を備えたことを特徴とする。   A processing apparatus according to the present invention includes a voice input unit for inputting voice from outside and an input interface for inputting information from outside, and digital information for converting information inputted from the input interface into digital information The input unit and the digital information converted by the digital information input unit are subjected to an encoding process based on an acoustic watermark technique, and the encoded digital information is converted into an audio signal of the audio input from the audio input unit. An encoder that superimposes the digital information, an audio codec unit that converts the audio signal on which the digital information is superimposed by the encoder into a communication signal, and a communication unit that transmits the communication signal converted by the audio codec unit to the outside , Provided.

本発明に係る処理制御方法は、処理装置により実行される、音声と情報を同時に送信するための処理制御方法であって、外部から音声を入力するとともに外部から情報を入力し、入力された情報をデジタル情報に変換する入力・変換ステップと、上記変換されたデジタル情報に対し、音響すかし技術に基づくエンコード処理を行い、上記エンコード処理後のデジタル情報を上記入力された音声の音声信号に重畳する重畳ステップと、上記デジタル情報が重畳された音声信号を通信用信号へ変換するコーデック変換ステップと、上記変換された通信用信号を外部へ送信する送信ステップと、を備えたことを特徴とする。   The processing control method according to the present invention is a processing control method for transmitting voice and information simultaneously, which is executed by a processing device, and inputs information from outside and inputs information from outside. An input / conversion step for converting the digital information into the digital information, and an encoding process based on an acoustic watermark technique is performed on the converted digital information, and the digital information after the encoding process is superimposed on the audio signal of the input voice And a codec conversion step for converting the audio signal on which the digital information is superimposed into a communication signal, and a transmission step for transmitting the converted communication signal to the outside. .

以上のような処理装置、処理制御方法によれば、入力情報から変換したデジタル情報を音声信号に重畳して、外部へ送信可能となるので、機能的な制約を課すことなく、簡単な操作で、通話中に相手にデジタル情報を送信することができる。   According to the processing device and the processing control method as described above, digital information converted from input information can be superimposed on an audio signal and transmitted to the outside, so that a simple operation can be performed without imposing functional restrictions. , Digital information can be sent to the other party during a call.

一方、通話の相手側における音声出力およびデジタル情報出力に係る構成は、以下のように記述することができる。   On the other hand, the configuration relating to voice output and digital information output at the other end of the call can be described as follows.

本発明に係る処理装置は、デジタル情報が重畳された音声信号を変換することで得られた通信用信号を、外部から受信する通信部と、上記通信部により受信された通信用信号を逆変換することで、上記デジタル情報が重畳された音声信号を得る音声コーデック部と、上記音声コーデック部により得られた、上記デジタル情報が重畳された音声信号に対し、音響すかし技術に基づくデコード処理を行うことで、上記音声信号から上記デジタル情報を分離するデコーダと、上記デコーダにより分離されたデジタル情報を外部へ出力するデジタル情報出力部と、上記音声コーデック部により得られた上記音声信号に基づき音声出力を行う音声出力部と、を備えたことを特徴とする。   A processing apparatus according to the present invention includes a communication unit that receives a communication signal obtained by converting an audio signal on which digital information is superimposed, and an inverse conversion of the communication signal received by the communication unit. An audio codec unit that obtains an audio signal on which the digital information is superimposed; and a decoding process based on an acoustic watermark technique on the audio signal obtained by the audio codec unit on which the digital information is superimposed. A decoder that separates the digital information from the audio signal, a digital information output unit that outputs the digital information separated by the decoder to the outside, and an audio based on the audio signal obtained by the audio codec unit. And an audio output unit for outputting.

本発明に係る処理制御方法は、処理装置により実行される、デジタル情報が重畳された音声信号から、上記デジタル情報および音声信号を出力するための処理制御方法であって、上記デジタル情報が重畳された音声信号を変換することで得られた通信用信号を、外部から受信する受信ステップと、上記受信された通信用信号を逆変換することで、上記デジタル情報が重畳された音声信号を得る逆変換ステップと、上記音声信号に基づき音声出力を行うとともに、上記デジタル情報が重畳された音声信号に対し音響すかし技術に基づくデコード処理を行うことで上記音声信号から上記デジタル情報を分離する音声出力・分離ステップと、上記分離されたデジタル情報を外部へ出力する情報出力ステップと、を備えたことを特徴とする。   The processing control method according to the present invention is a processing control method for outputting the digital information and the audio signal from the audio signal on which the digital information is superimposed, which is executed by the processing device, wherein the digital information is superimposed on the digital information. A receiving step for receiving the communication signal obtained by converting the received audio signal from the outside, and an inverse process for obtaining the audio signal on which the digital information is superimposed by inversely converting the received communication signal. Audio output that separates the digital information from the audio signal by performing a conversion step and audio output based on the audio signal and performing decoding processing based on an acoustic watermarking technique on the audio signal on which the digital information is superimposed A separation step and an information output step for outputting the separated digital information to the outside are provided.

以上のような処理装置、処理制御方法によれば、デジタル情報が重畳された音声信号から上記デジタル情報を分離し、分離されたデジタル情報および音声信号を出力することができる。即ち、受信側でデジタル情報および音声信号を適正に再生することができる。   According to the processing apparatus and the processing control method as described above, the digital information can be separated from the audio signal on which the digital information is superimposed, and the separated digital information and the audio signal can be output. That is, digital information and audio signals can be properly reproduced on the receiving side.

なお、上記の「音響すかし技術」としては、音響ＯＦＤＭを用いることが好適である。   Note that it is preferable to use acoustic OFDM as the “acoustic watermark technique”.

本発明によれば、機能的な制約を課すことなく、簡単な操作で、通話中に相手にデジタル情報を送信することができる。即ち、音声通話回線を利用してデジタル情報を送ることが可能となることから、通話の相手との間で、音声だけでなくデジタル情報（例えばテキストメッセージなど）を送受信できる。これにより、テキストメッセージ中のURLやメールアドレスによって、当該URLのWebページを参照すること、および当該メールアドレスあてに電子メールを送信することが可能となる。   According to the present invention, digital information can be transmitted to the other party during a call with a simple operation without imposing functional restrictions. That is, since digital information can be transmitted using a voice call line, not only voice but also digital information (for example, text message) can be transmitted and received with the other party of the call. As a result, it is possible to refer to the Web page of the URL and to send an e-mail to the mail address by the URL or mail address in the text message.

以下、図面を参照しながら、本発明に係る処理装置および処理制御方法の一実施形態を説明する。以下では、まず、本発明に係る処理装置としての音響OFDM処理装置の構成および実行される処理動作について説明し、その後、本発明の応用例として、通話中に役所の申請資料に入力する事例について説明する。   Hereinafter, an embodiment of a processing apparatus and a processing control method according to the present invention will be described with reference to the drawings. In the following, first, the configuration of an acoustic OFDM processing apparatus as a processing apparatus according to the present invention and the processing operation to be performed will be described, and then, as an application example of the present invention, an example of inputting to an application document at a government office during a call explain.

［音響OFDM処理装置の構成］
図１には、音響OFDM処理装置１の構成図を示す。音響OFDM処理装置１は、デジタル情報を重畳した音声の送信処理に係る構成と、通話の相手側における受信処理（音声出力およびデジタル情報出力）に係る構成の両方を備え、デジタル情報および音声の送信側として動作することも、デジタル情報および音声の受信側として動作することもできる。 [Configuration of acoustic OFDM processor]
In FIG. 1, the block diagram of the acoustic OFDM processing apparatus 1 is shown. The acoustic OFDM processing apparatus 1 includes both a configuration related to voice transmission processing in which digital information is superimposed and a configuration related to reception processing (voice output and digital information output) on the other side of a call, and transmits digital information and voice. Can operate as a digital information and voice receiving side.

図１に示すように、音響OFDM処理装置１は、通信部１０（本発明に係る通信部に相当）、音声コーデック部１１（本発明に係る音声コーデック部に相当）、音響OFDMエンコーダ１２（本発明に係るエンコーダに相当）、音響OFDMデコーダ１３（本発明に係るデコーダに相当）、テキスト変換部１４、マイク１５（本発明に係る音声入力部に相当）、キーボード１６、ディスプレイ１７、およびスピーカ１８（本発明に係る音声出力部に相当）を含んで構成される。なお、テキスト変換部１４とキーボード１６は、一体となって、本発明に係るデジタル情報入力部の動作を実行する。また、テキスト変換部１４とディスプレイ１７は、一体となって、本発明に係るデジタル情報出力部の動作を実行する。   As shown in FIG. 1, an acoustic OFDM processing apparatus 1 includes a communication unit 10 (corresponding to a communication unit according to the present invention), an audio codec unit 11 (corresponding to an audio codec unit according to the present invention), and an acoustic OFDM encoder 12 (present one). The audio OFDM decoder 13 (corresponding to the decoder according to the present invention), the text conversion unit 14, the microphone 15 (corresponding to the voice input unit according to the present invention), the keyboard 16, the display 17 and the speaker 18. (Corresponding to the audio output unit according to the present invention). The text conversion unit 14 and the keyboard 16 are integrated to execute the operation of the digital information input unit according to the present invention. Further, the text conversion unit 14 and the display 17 are integrated to execute the operation of the digital information output unit according to the present invention.

このうち、通信部１０は、音声コーデック部１１により変換された通信用信号を無線信号へ変調して外部へ送信する機能と、デジタル情報（本実施形態では一例として、テキスト情報）と音声信号とが重畳された無線信号を外部から受信し復調する機能とを有する。   Among these, the communication unit 10 modulates the communication signal converted by the audio codec unit 11 into a radio signal and transmits the signal to the outside, digital information (in this embodiment, text information as an example), an audio signal, and the like. Has a function of receiving and demodulating a radio signal superimposed on the outside.

音声コーデック部１１は、送信処理時に、テキスト情報が重畳された音声信号を電話回線上で適切な形に変換する（音声コーデックにより変換する）機能と、受信処理時に、音声コーデックにより変換された音声信号を、スピーカ１８から再生可能な音声信号へ逆変換する機能を有する。   The voice codec unit 11 converts a voice signal on which text information is superimposed into an appropriate form on the telephone line at the time of transmission processing (converted by the voice codec), and voice converted by the voice codec at the time of reception processing. It has a function of converting the signal back into an audio signal that can be reproduced from the speaker 18.

音響OFDMエンコーダ１２は、キーボード１６から入力されテキスト変換部１４により変換されたテキスト情報に対し、音響すかし技術（本実施形態では一例として音響OFDM）に基づくエンコード処理を行い、エンコード処理後のテキスト情報を、マイク１５から入力された音声の音声信号に重畳する機能を有する。   The acoustic OFDM encoder 12 performs an encoding process based on an acoustic watermark technology (acoustic OFDM as an example in the present embodiment) on the text information input from the keyboard 16 and converted by the text conversion unit 14, and the text after the encoding process is performed. It has a function of superimposing information on the audio signal of the audio input from the microphone 15.

音響OFDMデコーダ１３は、テキスト情報が重畳された音声信号に対し、音響すかし技術（本実施形態では一例として音響OFDM）に基づくデコード処理を行うことで、音声信号からテキスト情報を分離する機能を有する。   The acoustic OFDM decoder 13 performs a decoding process based on an acoustic watermark technology (acoustic OFDM as an example in the present embodiment) on a speech signal on which text information is superimposed, thereby separating text information from the speech signal. Have.

テキスト変換部１４は、入力インターフェースとしてのキーボード１６から入力された情報をテキスト情報に変換して音響OFDMエンコーダ１２へ出力する機能と、音響OFDMデコーダ１３から出力されたテキスト情報をディスプレイ１７へ転送する機能とを有する。   The text conversion unit 14 converts information input from the keyboard 16 serving as an input interface into text information and outputs the text information to the acoustic OFDM encoder 12, and transfers the text information output from the acoustic OFDM decoder 13 to the display 17. With functions.

マイク１５は、外部から音声を入力するための構成であり、入力された音声を音声信号へ変換し、音響OFDMエンコーダ１２へ出力する機能を有する。   The microphone 15 is configured to input sound from the outside, and has a function of converting the input sound into a sound signal and outputting the sound signal to the acoustic OFDM encoder 12.

キーボード１６は、外部から情報を入力するための入力インターフェースである。本実施形態では、キーボード１６から入力された情報は、上記のテキスト変換部１４によりテキスト情報に変換される。   The keyboard 16 is an input interface for inputting information from the outside. In the present embodiment, information input from the keyboard 16 is converted into text information by the text conversion unit 14 described above.

ディスプレイ１７は、テキスト変換部１４から転送されたテキスト情報を表示する機能を有する。   The display 17 has a function of displaying the text information transferred from the text conversion unit 14.

スピーカ１８は、音声コーデック部１１から出力された音声信号を再生する機能を有する。   The speaker 18 has a function of reproducing the audio signal output from the audio codec unit 11.

［デジタル情報を重畳した音声の送信処理について］
次に、音響OFDM処理装置１において実行される送信処理について説明する。図２には、音響OFDM処理装置１における送信処理時の動作ブロック図を示し、図３には、送信処理フロー図を示す。なお、以下で説明する送信処理の実行時には、音響OFDM処理装置１において、マイク１５には音声が継続的に入力されているものとする。 [For audio transmission processing with digital information superimposed]
Next, transmission processing executed in the acoustic OFDM processing device 1 will be described. FIG. 2 shows an operation block diagram during transmission processing in the acoustic OFDM processing apparatus 1, and FIG. 3 shows a transmission processing flowchart. It is assumed that sound is continuously input to the microphone 15 in the acoustic OFDM processing apparatus 1 when the transmission process described below is executed.

まず、送信者により情報がキーボード１６から入力されると、該情報はキーボード１６からテキスト変換部１４へ転送される（図３のＳ１）。   First, when information is input from the keyboard 16 by the sender, the information is transferred from the keyboard 16 to the text conversion unit 14 (S1 in FIG. 3).

テキスト変換部１４は、キーボード１６から入力された情報をテキスト情報に変換して音響OFDMエンコーダ１２へ出力する（Ｓ２）。   The text converter 14 converts the information input from the keyboard 16 into text information and outputs it to the acoustic OFDM encoder 12 (S2).

一方、図３のＳ１、Ｓ２と並行して、マイク１５には音声が継続的に入力されている（Ｓ３）。なお、図３のＳ１〜Ｓ３は、本発明に係る入力・変換ステップに相当する。   On the other hand, in parallel with S1 and S2 in FIG. 3, sound is continuously input to the microphone 15 (S3). Note that S1 to S3 in FIG. 3 correspond to the input / conversion step according to the present invention.

音響OFDMエンコーダ１２は、テキスト変換部１４からのテキスト情報に対し、音響OFDMに基づくエンコード処理を行い（Ｓ４）、エンコード処理後のテキスト情報を、マイク１５からの音声信号に重畳する（Ｓ５）。なお、図３のＳ４〜Ｓ５は、本発明に係る重畳ステップに相当する。テキスト情報が重畳された音声信号は、音声コーデック部１１へ転送される。ところで、音声OFDMエンコーダ１２は、次のテキスト情報が入力されるまで同一のテキスト情報を音声信号に対して重畳する。   The acoustic OFDM encoder 12 performs an encoding process based on the acoustic OFDM for the text information from the text conversion unit 14 (S4), and superimposes the encoded text information on the audio signal from the microphone 15 (S5). Note that S4 to S5 in FIG. 3 correspond to the superimposing step according to the present invention. The audio signal on which the text information is superimposed is transferred to the audio codec unit 11. By the way, the voice OFDM encoder 12 superimposes the same text information on the voice signal until the next text information is input.

音声コーデック部１１は、テキスト情報が重畳された音声信号に対し、音声コーデックを用いて通信用信号（即ち、電話回線を通過できる信号）へ変換し、通信部１０へ転送する（Ｓ６）。このＳ６は、本発明に係るコーデック変換ステップに相当する。   The voice codec unit 11 converts the voice signal on which the text information is superimposed into a communication signal (that is, a signal that can pass through the telephone line) using the voice codec, and transfers the signal to the communication unit 10 (S6). This S6 corresponds to a codec conversion step according to the present invention.

そして、通信部１０は、音声コーデック部１１からの、テキスト情報が重畳された音声信号を無線信号へ変調して外部へ送信する（Ｓ７）。このＳ７は、本発明に係る送信ステップに相当する。   And the communication part 10 modulates the audio | voice signal with which the text information was superimposed from the audio | voice codec part 11 to a radio signal, and transmits outside (S7). This S7 corresponds to a transmission step according to the present invention.

［通話の相手側における受信処理について］
次に、音響OFDM処理装置１において実行される受信処理について説明する。図４には、音響OFDM処理装置１における受信処理時の動作ブロック図を示し、図５には、受信処理フロー図を示す。 [Reception processing at the other end of the call]
Next, reception processing executed in the acoustic OFDM processing device 1 will be described. FIG. 4 shows an operation block diagram during reception processing in the acoustic OFDM processing apparatus 1, and FIG. 5 shows a reception processing flowchart.

まず、通信部１０は、外部から無線信号（ここでは、テキスト情報（送信側で音声コーデック変換されたテキスト情報）が重畳された音声信号を変調した無線信号）を受信し、該無線信号を、上記テキスト情報が重畳された音声信号へ復調して、音声コーデック部１１へ転送する（図５のＳ１１）。このＳ１１は、本発明に係る受信ステップに相当する。   First, the communication unit 10 receives a radio signal (here, a radio signal obtained by modulating a voice signal on which text information (text information subjected to voice codec conversion on the transmission side) is superimposed) from outside, and the radio signal is It demodulates to the audio | voice signal on which the said text information was superimposed, and transfers to the audio | voice codec part 11 (S11 of FIG. 5). This S11 corresponds to a receiving step according to the present invention.

次に、音声コーデック部１１は、上記テキスト情報（送信側で音声コーデック変換されたテキスト情報）が重畳された音声信号を、スピーカ１８から再生可能な音声信号（即ち、音声コーデック復号されたテキスト情報が重畳された音声信号）へ逆変換する（Ｓ１２）。逆変換後の音声信号は、スピーカ１８と音声OFDMデコーダ１３へ転送される。なお、Ｓ１２は、本発明に係る逆変換ステップに相当する。   Next, the audio codec unit 11 reproduces an audio signal on which the text information (text information subjected to audio codec conversion on the transmission side) is superimposed, from the speaker 18 (that is, the audio codec decoded text information). Is inversely converted into a voice signal superimposed with (S12). The audio signal after the inverse conversion is transferred to the speaker 18 and the audio OFDM decoder 13. Note that S12 corresponds to an inverse conversion step according to the present invention.

スピーカ１８では、転送されてきた音声信号（即ち、音声コーデック復号されたテキスト情報が重畳された音声信号）が、音声として再生出力される（Ｓ１３）。   In the speaker 18, the transferred audio signal (that is, the audio signal on which the text information decoded by the audio codec is superimposed) is reproduced and output as audio (S13).

一方、上記のＳ１３と並行して、音響OFDMデコーダ１３は、テキスト情報が重畳された音声信号に対し音響OFDMのデコード処理を行うことで、上記音声信号からテキスト情報を分離し、該テキスト情報をテキスト変換部１４へ転送する（Ｓ１４）。上記Ｓ１３、Ｓ１４は、本発明に係る音声出力・分離ステップに相当する。   On the other hand, in parallel with the above S13, the acoustic OFDM decoder 13 performs acoustic OFDM decoding processing on the speech signal on which the text information is superimposed, thereby separating the text information from the speech signal, and converting the text information into the speech information. The data is transferred to the text conversion unit 14 (S14). S13 and S14 correspond to the audio output / separation step according to the present invention.

テキスト変換部１４は、入力されてきたテキスト情報と、一つ前にデコードしたテキスト情報とを比較し、同一の場合は受信処理を終了し、異なる場合には、上記入力されてきたテキスト情報をディスプレイ１７へ転送する（Ｓ１５）。そして、ディスプレイ１７は、テキスト情報を受信すると、適切な形式にて表示する（Ｓ１６）。画面表示が完了すると、受信処理は終了する。なお、上記Ｓ１５、Ｓ１６は、本発明に係る情報出力ステップに相当する。ただし、Ｓ１５の比較処理を実行することは必須ではなく、テキスト変換部１４は、比較処理を行うことなく、入力されてきたテキスト情報をディスプレイ１７へ転送してもよい。   The text conversion unit 14 compares the input text information with the previously decoded text information. When the text information is the same, the text conversion unit 14 terminates the reception process. The data is transferred to the display 17 (S15). Then, when receiving the text information, the display 17 displays it in an appropriate format (S16). When the screen display is completed, the reception process ends. Note that S15 and S16 correspond to the information output step according to the present invention. However, it is not essential to perform the comparison process of S15, and the text conversion unit 14 may transfer the input text information to the display 17 without performing the comparison process.

以上説明した本実施形態によれば、機能的な制約を課すことなく、簡単な操作で、通話中に相手にデジタル情報を送信することができる。即ち、音声通話回線を利用してデジタル情報を送ることが可能となることから、通話の相手との間で、音声だけでなくデジタル情報（例えばテキストメッセージなど）を送受信できる。これにより、テキストメッセージ中のURLやメールアドレスによって、当該URLのWebページを参照すること、および当該メールアドレスあてに電子メールを送信することが可能となる。   According to the present embodiment described above, digital information can be transmitted to the other party during a call with a simple operation without imposing functional restrictions. That is, since digital information can be transmitted using a voice call line, not only voice but also digital information (for example, text message) can be transmitted and received with the other party of the call. As a result, it is possible to refer to the Web page of the URL and to send an e-mail to the mail address by the URL or mail address in the text message.

［本発明の応用例（通話中に役所の申請資料に入力する事例）］
以下、本発明の応用例として、通話中に役所の申請資料に入力する事例について説明する。 [Example of application of the present invention (example of inputting in application materials at a government office during a call)]
Hereinafter, as an application example of the present invention, an example of inputting to an application material at a government office during a call will be described.

図６には応用例に係る構成図を示し、図７には応用例に係る処理シーケンスを示す。図６に示すように、役所に設けられた音響OFDM処理装置１Ａと、ユーザの音響OFDM処理装置１Ｂとの間で処理が実行される。このうち、役所のオペレータが使用する音響OFDM処理装置１Ａは、パーソナルコンピュータを想定しており、この音響OFDM処理装置１Ａには、公衆通信網３に接続するための電話通信機能を持つ電話装置２が接続されている。なお、音響OFDM処理装置１Ａが電話通信機能を有してもよく、その場合には電話装置２は不要である。一方、ユーザの音響OFDM処理装置１Ｂは、携帯電話を想定しており、公衆通信網３に接続するための電話通信機能を備えている。   FIG. 6 shows a configuration diagram according to the application example, and FIG. 7 shows a processing sequence according to the application example. As shown in FIG. 6, the process is executed between the acoustic OFDM processing apparatus 1A provided at the public office and the user's acoustic OFDM processing apparatus 1B. Among these, the acoustic OFDM processing apparatus 1A used by the operator at the government office is assumed to be a personal computer. The acoustic OFDM processing apparatus 1A includes a telephone apparatus 2 having a telephone communication function for connecting to the public communication network 3. Is connected. Note that the acoustic OFDM processing apparatus 1A may have a telephone communication function, and in that case, the telephone apparatus 2 is unnecessary. On the other hand, the user's acoustic OFDM processing apparatus 1B is assumed to be a mobile phone and has a telephone communication function for connecting to the public communication network 3.

次に、図７を用いて、応用例の処理シーケンスを説明する。最初に、役所の職員であるオペレータは、ユーザからの音声電話を受け付け、申請処理を開始する（図７のS21、S22）。オペレータは、音響OFDM処理装置１Ａのキーボード１６（図１参照）を操作し、デジタル通信に必要な自身のオペレータ識別子（電子メールアドレス等、ＵＲＬ等）を入力すると共に、オペレータ識別子を送信した旨をユーザに対し音声により伝える（S23、S24）。   Next, the processing sequence of the application example will be described with reference to FIG. First, an operator who is a staff member of a government office receives a voice call from a user and starts application processing (S21 and S22 in FIG. 7). The operator operates the keyboard 16 (see FIG. 1) of the acoustic OFDM processing apparatus 1A, inputs his own operator identifier (e-mail address, URL, etc.) necessary for digital communication, and indicates that the operator identifier has been transmitted. Tell the user by voice (S23, S24).

入力されたオペレータ識別子は、音響OFDM処理装置１Ａのテキスト変換部１４によりテキスト情報（以下「オペレータ識別子情報」という）に変換され、音響OFDMエンコーダ１２に転送される。一方、オペレータの音声はマイク１５を通じて音響OFDM処理装置１Ａに入力され、その音声信号は、音響OFDMエンコーダ１２へ転送される。   The entered operator identifier is converted into text information (hereinafter referred to as “operator identifier information”) by the text conversion unit 14 of the acoustic OFDM processing apparatus 1A, and transferred to the acoustic OFDM encoder 12. On the other hand, the operator's voice is input to the acoustic OFDM processing apparatus 1 </ b> A through the microphone 15, and the voice signal is transferred to the acoustic OFDM encoder 12.

音響OFDM処理装置１Ａの音響OFDMエンコーダ１２は、テキスト変換部１４より入力されたオペレータ識別子情報に対し、音響OFDMに基づくエンコード処理を行い、エンコード処理後のオペレータ識別子情報を、マイク１５から入力された音声の音声信号に重畳する。そして、重畳された音声信号は、音響OFDM処理装置１Ａから電話装置２へ出力され、電話装置２から公衆通信網３経由で、ユーザの音響OFDM処理装置１Ｂへ送信される（S25）。   The acoustic OFDM encoder 12 of the acoustic OFDM processing apparatus 1A performs encoding processing based on acoustic OFDM for the operator identifier information input from the text conversion unit 14, and the operator identifier information after the encoding processing is input from the microphone 15. Superimpose on the audio signal. The superimposed audio signal is output from the acoustic OFDM processing device 1A to the telephone device 2 and transmitted from the telephone device 2 to the user's acoustic OFDM processing device 1B via the public communication network 3 (S25).

音響OFDM処理装置１Ｂでは、重畳された音声信号を受信すると、音声コーデック復号処理をした後、オペレータ識別子情報の重畳された音声信号を取り出し、該音声信号（オペレータの説明に関する音声信号）をスピーカ１８へ転送する。これにより、ユーザは、音声によるオペレータの説明を聞くことができる（S26）。また、同時に、音響OFDM処理装置１Ｂは、音響OFDMデコーダ１３によりオペレータ識別子を再現し、再現されたオペレータ識別子の種別に応じて、ブラウザまたはメールアプリケーションが自動で起動する（S27）。   When the audio OFDM processor 1B receives the superimposed audio signal, the audio OFDM codec decoding process is performed, and then the audio signal on which the operator identifier information is superimposed is taken out, and the audio signal (audio signal related to the explanation of the operator) is output to the speaker 18. Forward to. Thereby, the user can hear the explanation of the operator by voice (S26). At the same time, the acoustic OFDM processing apparatus 1B reproduces the operator identifier by the acoustic OFDM decoder 13, and the browser or the mail application is automatically activated according to the type of the reproduced operator identifier (S27).

このとき、ブラウザが起動した場合には、オペレータ識別子を含むコンテンツが表示され、当該コンテンツ中のオペレータ識別子の表示を選択することにより、メールアプリケーションが起動する仕組みとすることも可能である。   At this time, when the browser is activated, the content including the operator identifier is displayed, and the mail application is activated by selecting the display of the operator identifier in the content.

また、メールアプリケーションが起動した場合には、自動的にユーザ識別子（一例として電子メールアドレス）がアプリケーションに入力される（S28）。なお、ユーザ自身が電子メールアドレスを入力してもよい。   When the mail application is activated, a user identifier (e-mail address as an example) is automatically input to the application (S28). The user himself / herself may input an e-mail address.

音響OFDM処理装置１Ｂは、アプリケーションを通じてユーザ識別子情報を受信するとともに、マイク１５を通じてユーザの音声を受信する（S29）。受信されたユーザ識別子情報は、詳細な処理手順は省略するが、音響OFDMエンコーダ１２により、ユーザの音声信号に重畳される。そして、ユーザ識別子情報が重畳したユーザの音声信号は、公衆通信網３および電話装置２を介して、音響OFDM処理装置１Ａへ送信される（S30）。   The acoustic OFDM processing apparatus 1B receives the user identifier information through the application and also receives the user's voice through the microphone 15 (S29). Although the detailed processing procedure is omitted, the received user identifier information is superimposed on the user's voice signal by the acoustic OFDM encoder 12. Then, the user's voice signal superimposed with the user identifier information is transmitted to the acoustic OFDM processing apparatus 1A via the public communication network 3 and the telephone device 2 (S30).

音響OFDM処理装置１Ａは、ユーザ識別子情報が重畳したユーザの音声信号を受信した後、前述した図５の手順で、音声信号からユーザ識別子情報を分離し、ユーザ識別子をディスプレイ１７へ表示するとともにユーザの音声をスピーカ１８から出力する。これにより、オペレータは、ユーザの音声を聞き、ユーザ識別子を認識することができる（S31、S32）。   After receiving the user's voice signal on which the user identifier information is superimposed, the acoustic OFDM processing device 1A separates the user identifier information from the voice signal and displays the user identifier on the display 17 in the procedure shown in FIG. Is output from the speaker 18. Thereby, the operator can hear the user's voice and recognize the user identifier (S31, S32).

そして、オペレータは、ユーザ識別子で示されるアドレス宛に、申請用の情報（例えば申請用のURL）を送信するよう音響OFDM処理装置１Ａを操作するとともに、音響OFDM処理装置１Ａのマイク１５から指示音声を入力する（S33）。そして、音響OFDM処理装置１Ａは、申請用の情報をオペレータの指示音声に重畳させて、ユーザの音響OFDM処理装置１Ｂへ送信する（S34）。   Then, the operator operates the acoustic OFDM processing apparatus 1A so as to transmit application information (for example, an application URL) to the address indicated by the user identifier, and instructs voice from the microphone 15 of the acoustic OFDM processing apparatus 1A. Is input (S33). Then, the acoustic OFDM processing apparatus 1A superimposes the application information on the operator's instruction voice and transmits it to the user's acoustic OFDM processing apparatus 1B (S34).

音響OFDM処理装置１Ｂは、申請用の情報が重畳したオペレータの音声信号を受信した後、前述した図５の手順で、音声信号から申請用の情報を分離し、申請用の情報をディスプレイ１７へ表示するとともにオペレータの指示音声をスピーカ１８から出力する。これにより、ユーザは、オペレータの指示音声を聞き、申請用の情報（例えば申請用のURL）を認識することができる（S35）。   After receiving the voice signal of the operator on which the application information is superimposed, the acoustic OFDM processing apparatus 1B separates the application information from the voice signal in the above-described procedure of FIG. The operator's instruction voice is output from the speaker 18 while being displayed. Thus, the user can recognize the application information (for example, the application URL) by listening to the operator's instruction voice (S35).

ここで、ユーザは、必要な申請事項を入力する（S36）。例えば、ユーザは、ディスプレイ１７に表示された申請用のURLをクリックすることで申請用のＷＥＢサイトへアクセスし、当該ＷＥＢサイトから、キーボード１６を用いて必要な申請事項を入力することができる。このとき同時に、ユーザは、マイク１５を通じて、応答の音声を入力することができる（S37）。   Here, the user inputs necessary application items (S36). For example, the user can access an application WEB site by clicking an application URL displayed on the display 17 and input necessary application items from the WEB site using the keyboard 16. At the same time, the user can input a response voice through the microphone 15 (S37).

音響OFDM処理装置１Ｂは、前述した図３の手順で、入力された上記の申請事項情報をユーザの音声信号に重畳させて、音響OFDM処理装置１Ａへ送信する（S38）。   The acoustic OFDM processing device 1B superimposes the inputted application item information on the user's voice signal and transmits it to the acoustic OFDM processing device 1A in the above-described procedure of FIG. 3 (S38).

音響OFDM処理装置１Ａは、申請事項情報が重畳したユーザの音声信号を受信した後、前述した図５の手順で、音声信号から申請事項情報を分離し、申請事項をディスプレイ１７へ表示するとともにユーザの音声をスピーカ１８から出力する。これにより、オペレータは、ユーザの音声を聞き、申請事項を確認することができる（S39、S40）。そして、オペレータは、申請事項を確認し、申請内容に不備がなければ、申請事項に問題なく申請が正常に完了した旨を音声でユーザに伝え、所定の終了処理を行って、図７の申請処理を終了させる。   After receiving the user's voice signal on which the application item information is superimposed, the acoustic OFDM processing device 1A separates the application item information from the audio signal and displays the application item on the display 17 according to the procedure shown in FIG. Is output from the speaker 18. Thereby, the operator can confirm the application items by listening to the user's voice (S39, S40). Then, the operator confirms the application items, and if there are no deficiencies in the application contents, the operator informs the user that the application has been completed successfully without any problems with the application items, performs a predetermined termination process, and performs the application shown in FIG. End the process.

なお、申請事項が複雑な場合、または、ユーザがS36の申請事項の入力方法を理解できない場合には、S36では、ユーザが申請事項を入力する代わりに、オペレータが、ユーザから申請事項を音声で聞いて入力してもよい。   If the application items are complicated, or if the user does not understand how to input the application items in S36, instead of the user inputting the application items in S36, the operator can hear the application items from the user. You may ask and enter.

また、ユーザによる申請事項に不備がある場合は、S33以降と同様の手順を行うことで、申請事項の追加・修正を行うことができる。   In addition, if there are deficiencies in the application items by the user, the application items can be added / modified by performing the same procedure as in S33 and thereafter.

以上説明した応用例では、以下のようなさまざまな効果を奏する。   The application examples described above have the following various effects.

電話装置に接続されたＰＣと、携帯電話との間の新たなコミュニケーション系アプリケーションとして利用できる。コールセンタービジネスに応用すれば、コールセンターに電話している最中に、オペレータがＰＣから携帯電話へテキストメッセージを送ることができる。また、ブラウザを利用してオペレータは、電話をかけてきたユーザに対しWebページを見せることにより、音声だけでなく視覚情報を利用して説明を行うことができる。例えば、ユーザが番号案内オペレータへ電話をかけて所望の相手の電話番号情報を取得する際に、ユーザは、口頭で教えてもらうと共に、番号案内オペレータから送信された相手の電話番号情報を携帯電話の画面上に表示させることができ、このため、ユーザにとってはメモを取る手間が省けるという利点がある。   It can be used as a new communication application between a PC connected to a telephone device and a mobile phone. When applied to a call center business, an operator can send a text message from a PC to a mobile phone while calling the call center. In addition, an operator can explain using visual information as well as voice by showing a Web page to a user who makes a call using a browser. For example, when a user calls a number guidance operator and acquires the telephone number information of a desired partner, the user is verbally informed and the telephone number information of the other party transmitted from the number guidance operator is transmitted to the mobile phone. For this reason, there is an advantage that the user can save the trouble of taking notes.

また、役所の申請資料などネットワークからユーザに入力してもらう必要がある手続きを携帯電話で行う場合、ユーザの代理人がユーザに代わって申請情報を入力し、その後、入力された申請情報をユーザが携帯電話の画面にて確認し最終承認のための簡単な操作（例えば確認画面でのＯＫボタンのクリックなど）を携帯電話から行う、といった処理態様を採用することもできる。   In addition, when performing procedures that require users to input from the network, such as application documents at government offices, the user's agent inputs the application information on behalf of the user, and then the input application information is entered by the user. It is also possible to adopt a processing mode in which the user confirms on the screen of the mobile phone and performs a simple operation for final approval (for example, clicking the OK button on the confirmation screen) from the mobile phone.

発明の実施形態に係る音響OFDM処理装置の構成図である。It is a block diagram of the acoustic OFDM processing apparatus which concerns on embodiment of invention. 音響OFDM処理装置における送信処理時の動作ブロック図である。It is an operation | movement block diagram at the time of the transmission process in an acoustic OFDM processing apparatus. 送信処理のフロー図である。It is a flowchart of a transmission process. 音響OFDM処理装置における受信処理時の動作ブロック図である。It is an operation | movement block diagram at the time of the reception process in an acoustic OFDM processing apparatus. 受信処理のフロー図である。It is a flowchart of a reception process. 発明の実施形態の応用例に係る構成図である。It is a block diagram concerning the example of application of embodiment of invention. 発明の実施形態の応用例に係る処理シーケンス図である。It is a processing sequence figure concerning the example of application of an embodiment of an invention.

符号の説明Explanation of symbols

１、１Ａ、１Ｂ…音響OFDM処理装置、２…電話装置、３…公衆通信網、１０…通信部、１１…音声コーデック部、１２…音響OFDMエンコーダ、１３…音響OFDMデコーダ、１４…テキスト変換部、１５…マイク、１６…キーボード、１７…ディスプレイ、１８…スピーカ。   DESCRIPTION OF SYMBOLS 1, 1A, 1B ... Acoustic OFDM processing apparatus, 2 ... Telephone apparatus, 3 ... Public communication network, 10 ... Communication part, 11 ... Voice codec part, 12 ... Acoustic OFDM encoder, 13 ... Acoustic OFDM decoder, 14 ... Text conversion part 15 ... Microphone, 16 ... Keyboard, 17 ... Display, 18 ... Speaker.

Claims (5)

外部から音声を入力するための音声入力部と、
外部から情報を入力するための入力インターフェースを含み、前記入力インターフェースから入力された情報をデジタル情報に変換するデジタル情報入力部と、
前記デジタル情報入力部により変換されたデジタル情報に対し、音響すかし技術に基づくエンコード処理を行い、前記エンコード処理後のデジタル情報を、前記音声入力部から入力された音声の音声信号に重畳するエンコーダと、
前記エンコーダにより前記デジタル情報が重畳された音声信号を、通信用信号へ変換する音声コーデック部と、
前記音声コーデック部により変換された通信用信号を外部へ送信する通信部と、
を備えた処理装置。 A voice input unit for inputting voice from outside;
An input interface for inputting information from the outside, and a digital information input unit for converting information input from the input interface into digital information;
An encoder that performs an encoding process based on an acoustic watermark technique on the digital information converted by the digital information input unit, and superimposes the digital information after the encoding process on the audio signal of the audio input from the audio input unit When,
An audio codec unit that converts the audio signal on which the digital information is superimposed by the encoder into a communication signal;
A communication unit for transmitting the communication signal converted by the voice codec unit to the outside;
A processing apparatus comprising: デジタル情報が重畳された音声信号を変換することで得られた通信用信号を、外部から受信する通信部と、
前記通信部により受信された通信用信号を逆変換することで、前記デジタル情報が重畳された音声信号を得る音声コーデック部と、
前記音声コーデック部により得られた、前記デジタル情報が重畳された音声信号に対し、音響すかし技術に基づくデコード処理を行うことで、前記音声信号から前記デジタル情報を分離するデコーダと、
前記デコーダにより分離されたデジタル情報を外部へ出力するデジタル情報出力部と、
前記音声コーデック部により得られた前記音声信号に基づき音声出力を行う音声出力部と、
を備えた処理装置。 A communication unit for receiving a communication signal obtained by converting an audio signal on which digital information is superimposed;
An audio codec unit that obtains an audio signal on which the digital information is superimposed by inversely converting a communication signal received by the communication unit;
A decoder that separates the digital information from the audio signal by performing a decoding process based on an acoustic watermark technique on the audio signal on which the digital information is superimposed, obtained by the audio codec unit;
A digital information output unit for outputting the digital information separated by the decoder to the outside;
An audio output unit that performs audio output based on the audio signal obtained by the audio codec unit;
A processing apparatus comprising: 前記音響すかし技術として、音響ＯＦＤＭを用いることを特徴とする請求項１又は２に記載の処理装置。   The processing apparatus according to claim 1 or 2, wherein acoustic OFDM is used as the acoustic watermark technique. 処理装置により実行される、音声と情報を同時に送信するための処理制御方法であって、
外部から音声を入力するとともに外部から情報を入力し、入力された情報をデジタル情報に変換する入力・変換ステップと、
前記変換されたデジタル情報に対し、音響すかし技術に基づくエンコード処理を行い、前記エンコード処理後のデジタル情報を前記入力された音声の音声信号に重畳する重畳ステップと、
前記デジタル情報が重畳された音声信号を通信用信号へ変換するコーデック変換ステップと、
前記変換された通信用信号を外部へ送信する送信ステップと、
を備えた処理制御方法。 A processing control method for transmitting voice and information simultaneously, executed by a processing device,
An input / conversion step for inputting sound from outside and inputting information from outside, and converting the input information into digital information;
A step of performing an encoding process based on an acoustic watermark technique on the converted digital information, and superimposing the digital information after the encoding process on the audio signal of the input audio;
A codec conversion step of converting the audio signal on which the digital information is superimposed into a communication signal;
A transmission step of transmitting the converted communication signal to the outside;
A process control method comprising: 処理装置により実行される、デジタル情報が重畳された音声信号から前記デジタル情報および前記音声信号を出力するための処理制御方法であって、
前記デジタル情報が重畳された音声信号を変換することで得られた通信用信号を、外部から受信する受信ステップと、
前記受信された通信用信号を逆変換することで、前記デジタル情報が重畳された音声信号を得る逆変換ステップと、
前記音声信号に基づき音声出力を行うとともに、前記デジタル情報が重畳された音声信号に対し音響すかし技術に基づくデコード処理を行うことで前記音声信号から前記デジタル情報を分離する音声出力・分離ステップと、
前記分離されたデジタル情報を外部へ出力する情報出力ステップと、
を備えた処理制御方法。
A processing control method for outputting the digital information and the audio signal from an audio signal on which digital information is superimposed, executed by a processing device,
A receiving step of receiving a communication signal obtained by converting the audio signal on which the digital information is superimposed;
An inverse conversion step of obtaining an audio signal on which the digital information is superimposed by inversely converting the received communication signal;
An audio output step for separating the digital information from the audio signal by performing audio output based on the audio signal and performing a decoding process based on an acoustic watermark technique on the audio signal on which the digital information is superimposed; ,
An information output step of outputting the separated digital information to the outside;
A process control method comprising:

Images