JP2006203643A - Digital data processing device - Google Patents
Digital data processing device Download PDFInfo
- Publication number
- JP2006203643A JP2006203643A JP2005014039A JP2005014039A JP2006203643A JP 2006203643 A JP2006203643 A JP 2006203643A JP 2005014039 A JP2005014039 A JP 2005014039A JP 2005014039 A JP2005014039 A JP 2005014039A JP 2006203643 A JP2006203643 A JP 2006203643A
- Authority
- JP
- Japan
- Prior art keywords
- digital data
- sound
- electrical signal
- multiplexed
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Abstract
Description
この発明は、音声をバーコードとして用いる音声処理技術に関する。 The present invention relates to a voice processing technique using voice as a barcode.
1次元または2次元の画像から成るバーコードが実用されている。バーコードを用いることによりデジタルデータを即時かつ確実に取得することができる。 Bar codes consisting of one-dimensional or two-dimensional images are in practical use. By using the bar code, digital data can be acquired immediately and reliably.
ことろで音声により情報が伝播される場合、その情報を即時かつ確実に取得することが困難である。例えば、電話を使用しているときにその受話器(スピーカ)から音声が流れてくるときに、そこに重要な情報があっても、それをメモしなければ利用できない。また、テレビやラジオの番組を視聴しているときに重要な情報が音声により伝達される場合も同様である。 Of course, when information is propagated by voice, it is difficult to obtain the information immediately and reliably. For example, when voice is flowing from the handset (speaker) when using a telephone, even if there is important information there, it cannot be used unless it is noted. The same applies to the case where important information is transmitted by voice while watching a television or radio program.
しかも、音声により伝搬される情報は、人または音声認識装置等を用いなければ情報として顕在化させることができず、そのような情報を携帯電話機、パーソナルコンピュータに入力するときには、人または特殊な認識装置を用いて入力処理を行なう必要があり、扱いが煩雑である。 In addition, information propagated by voice cannot be revealed as information unless a person or a voice recognition device is used. When such information is input to a mobile phone or personal computer, a person or special recognition is required. It is necessary to perform input processing using an apparatus, and handling is complicated.
この発明は、以上の事情を考慮してなされたものであり、音声を用いて即時かつ確実に情報を取得できるようにする音声処理技術を提供することを目的としている。 The present invention has been made in view of the above circumstances, and an object thereof is to provide an audio processing technique that enables information to be acquired immediately and reliably using audio.
この発明によれば、上述の目的を達成するために、特許請求の範囲に記載のとおりの構成を採用している。ここでは、発明を詳細に説明するのに先だって、特許請求の範囲の記載について補充的に説明を行なっておく。 According to this invention, in order to achieve the above-mentioned object, the configuration as described in the claims is adopted. Here, prior to describing the invention in detail, supplementary explanations of the claims will be given.
すなわち、この発明の一側面によれば、上述の目的を達成するために、デジタルデータ処理装置に:音の波形を表す電気信号から、上記音に多重化されているデジタルデータを抽出するデジタルデータ抽出手段と;抽出したデジタルデータを処理するアプリケーション実行手段とを設けるようにしている。 That is, according to one aspect of the present invention, in order to achieve the above-described object, the digital data processing device: digital data for extracting digital data multiplexed on the sound from an electrical signal representing the waveform of the sound Extraction means; and application execution means for processing the extracted digital data are provided.
この構成においては、音声に多重化されたデジタルデータを即座にかつ確実に利用することができる。 In this configuration, the digital data multiplexed on the voice can be used immediately and reliably.
この構成において、音を電気信号に変換する変換手段を設け、上記デジタルデータ抽出手段が、上記電気信号から、上記上記音に多重化されているデジタルデータを抽出するようにしてもよい。この場合、外来音声からデジタルデータを抽出する。 In this configuration, conversion means for converting sound into an electrical signal may be provided, and the digital data extraction means may extract digital data multiplexed on the sound from the electrical signal. In this case, digital data is extracted from the foreign sound.
また、音の波形を表す電気信号を受信する受信手段を設け、上記デジタルデータ抽出手段が、上記受信手段で受信した上記電気信号から、上記上記音に多重化されているデジタルデータを抽出する用にしても良い。この場合、外来電気信号からデジタルデータを抽出する。 Also, receiving means for receiving an electrical signal representing a sound waveform is provided, and the digital data extracting means is for extracting digital data multiplexed on the sound from the electrical signal received by the receiving means. Anyway. In this case, digital data is extracted from the external electric signal.
上記音は、所定のパターンの可聴領域の基本パターン音に上記デジタルデータが多重化されたものであることが好ましいが、これに限定されない。この基本パターン音または基本パターン音の相違によりデジタルデータが搬送されていることや、どのようなデジタルデータが搬送されているかをユーザが判別可能となる。 The sound is preferably a sound obtained by multiplexing the digital data on a basic pattern sound in an audible area having a predetermined pattern, but is not limited thereto. The user can discriminate that the digital data is carried by the basic pattern sound or the difference between the basic pattern sounds and what kind of digital data is carried.
上記基本パターン音の開始時点より遅延して上記デジタルデータが多重化開始されており、上記デジタルデータ抽出手段は、上記基本パターン音の開始時点を判別して上記デジタルデータの抽出を開始するようにしてもよい。 The digital data is started to be multiplexed delayed from the start time of the basic pattern sound, and the digital data extracting means determines the start time of the basic pattern sound and starts extracting the digital data. May be.
また、この発明は電話機やテレビジョン受像機、ラジオ受信機、リモートコントロール装置等として実現することも可能である。 The present invention can also be realized as a telephone, a television receiver, a radio receiver, a remote control device, or the like.
なお、この発明は装置またはシステムとして実現できるのみでなく、方法としても実現可能である。また、そのような発明の一部をソフトウェアとして構成することができることはもちろんである。またそのようなソフトウェアをコンピュータに実行させるために用いるソフトウェア製品もこの発明の技術的な範囲に含まれることも当然である。 The present invention can be realized not only as an apparatus or a system but also as a method. Of course, a part of the invention can be configured as software. Of course, software products used for causing a computer to execute such software are also included in the technical scope of the present invention.
この発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。 These and other aspects of the invention are set forth in the appended claims and will be described in detail below with reference to examples.
この発明によれば、音声に多重化されたデジタルデータを即座にかつ確実に利用できる。 According to the present invention, digital data multiplexed on sound can be used immediately and reliably.
以下、この発明の実施例について説明する。 Examples of the present invention will be described below.
まず、この発明のデジタルデータ処理技術を電話機に適用した実施例1について説明する。なお、以下では対象となるデジタルデータをサウンドバーコードともいう。 First, a first embodiment in which the digital data processing technique of the present invention is applied to a telephone will be described. In the following, the target digital data is also referred to as a sound barcode.
図1は、この実施例の電話機およびその使用環境を示しており、この図において、発呼側電話機100から着呼側電話機200に電話回線150を介して電話をかける例が示されている。図では交換局等は省略されている。発呼側電話機100には発呼側の機能部分のみ示し、着呼側電話機200には着呼側の機能部分のみ示し、それぞれの相補する機能部分は示さないが、それらを有することはもちろんである。発呼側電話機100は、発呼に関連する機能部分としてマイクロホン101、デジタルデータ多重化部102、デジタルデータ入力部103、デジタルデータ記憶部104、信号送信部105、表示部106等を有している。着呼側電話機200は、着呼に関連する機能部分として信号受信部201、デジタルデータ多重分離部202、スピーカ203、デジタルデータ処理部204、デジタルデータ記憶部205、表示部206等を有している。発呼に関連して用いる表示部106と着呼に関連して用いる表示部206は通常同一であるが、それに限定されない。 FIG. 1 shows the telephone of this embodiment and its use environment. In this figure, an example is shown in which a call is made from a calling telephone 100 to a called telephone 200 via a telephone line 150. In the figure, switching offices and the like are omitted. The calling side telephone 100 shows only the calling side functional parts, the called side telephone 200 shows only the called side functional parts, and the corresponding functional parts are not shown. is there. The calling side telephone 100 includes a microphone 101, a digital data multiplexing unit 102, a digital data input unit 103, a digital data storage unit 104, a signal transmission unit 105, a display unit 106, and the like as functional parts related to the call. Yes. The called telephone 200 has a signal receiving unit 201, a digital data demultiplexing unit 202, a speaker 203, a digital data processing unit 204, a digital data storage unit 205, a display unit 206, etc. as functional parts related to the incoming call. Yes. The display unit 106 used in connection with an outgoing call and the display unit 206 used in connection with an incoming call are usually the same, but not limited thereto.
発呼側電話機100のマイクロホン101は、発呼者の音声を電気信号に変換し、デジタルデータ多重化部102は音声を表す電気信号(ベースバンド信号、サブバンド信号、デジタル信号等)に、デジタルデータ入力部103から入力されたデジタルデータを多重化する。多重化手法としては、後に一例を挙げて説明するが、FFT(ファーストフーリエ変換)、DCT(離散コサイン変換)、スペクトル拡散法等の種々の手法を採用できる。デジタルデータ自体を適宜な周波数に周波数コンバートしたものでも良い。デジタルデータが多重化された、音声を表す電気信号は信号送信部105を介して着呼側電話機200に送られる。 The microphone 101 of the calling telephone 100 converts the caller's voice into an electrical signal, and the digital data multiplexing unit 102 converts the voice signal into an electrical signal (baseband signal, subband signal, digital signal, etc.) digitally. The digital data input from the data input unit 103 is multiplexed. As the multiplexing method, an example will be described later, but various methods such as FFT (Fast Fourier Transform), DCT (Discrete Cosine Transform), spread spectrum method, and the like can be adopted. Digital data itself may be frequency-converted to an appropriate frequency. The electric signal representing the voice in which the digital data is multiplexed is sent to the called telephone 200 via the signal transmission unit 105.
着呼側電話機200の信号受信部201は発呼側電話機からの音声を表す電気信号を受信し、デジタルデータ多重分離部202は電気信号に多重化されているデジタルデータを多重分離する。多重分離手法は、多重化に対応したものである。音声を表す電気信号はスピーカ203に送られ、スピーカにより変換された音声を着呼者が聞く。デジタルデータ処理部204は多重分離されたデジタルデータをデジタルデータ多重分離部202から受け取り、所望の処理を実行する。例えば、デジタルデータが示す宛先に発呼したり、ウェブ閲覧を行なったり、指定宛先に電子メールを送信したり、デジタルデータの詳細を表示したりする。デジタルデータ処理部204の処理は、例えば、アプリケーションプログラムや組み込みプログラムにより実現される。 The signal receiving unit 201 of the called telephone 200 receives an electric signal representing the voice from the calling telephone, and the digital data demultiplexing unit 202 demultiplexes the digital data multiplexed on the electric signal. The demultiplexing method corresponds to multiplexing. The electric signal representing the voice is sent to the speaker 203, and the called party listens to the voice converted by the speaker. The digital data processing unit 204 receives the demultiplexed digital data from the digital data demultiplexing unit 202 and executes a desired process. For example, a call is made to a destination indicated by digital data, web browsing is performed, an e-mail is transmitted to a designated destination, and details of the digital data are displayed. The processing of the digital data processing unit 204 is realized by, for example, an application program or an embedded program.
図2は、発呼側電話機100、着呼側電話機200の例を示すものであり、この図では電話機を符号10を用いて表す。図2において、電話機10は、表示部11(表示部106、206に対応)、キー操作部12、デジタルデータ入力ボタン13、デジタルデータ記録ボタン14等を具備している。キー操作部12、デジタルデータ入力ボタン13、デジタルデータ記録ボタン14等は、表示部11に表示されて表示部11を介して入力等を行なうものでも良い。キー操作部12は電話番号やアルファベットを入力したり、各種のモード設定、状態遷移等を制御するものであり、表示部11に操作内容等が表示される。また、電話機10はウェブ閲覧機能15はメール閲覧・送信機能16を有している。 FIG. 2 shows an example of the calling side telephone 100 and the called side telephone 200. In FIG. 2, the telephone 10 includes a display unit 11 (corresponding to the display units 106 and 206), a key operation unit 12, a digital data input button 13, a digital data recording button 14, and the like. The key operation unit 12, the digital data input button 13, the digital data recording button 14, and the like may be displayed on the display unit 11 and input via the display unit 11. The key operation unit 12 is used to input a telephone number or alphabet, and to control various mode settings, state transitions, and the like, and operation contents and the like are displayed on the display unit 11. The telephone 10 has a web browsing function 15 and a mail browsing / sending function 16.
なお、図2の電話機10は、移動体通信の携帯電話機を示しているが、それに限定されず、固定電話機等であってもよい。 2 is a mobile communication mobile phone, the present invention is not limited to this and may be a fixed phone or the like.
図3は、図1の発呼側電話機100のデジタルデータ入力部103を用いてデジタルデータを入力する際の表示部11(106)の表示例を示している。図3に示すように多重化データ作成画面に移り、電話番号や電子メールアドレスやウェブのURL等をキー操作部12等を用いて入力する。「登録」ボタン11aを操作して入力内容を多重対象のデジタルデータとして登録できる。複数のデジタルデータを区切りコードを用いて一度の処理することもできる。こののち、通話時に、デジタルデータ入力ボタン13を押圧操作することによりデジタルデータを通話音声に多重化開始できる。 FIG. 3 shows a display example of the display unit 11 (106) when digital data is input using the digital data input unit 103 of the calling telephone 100 of FIG. As shown in FIG. 3, the screen moves to a multiplexed data creation screen, and a telephone number, an e-mail address, a web URL, and the like are input using the key operation unit 12 and the like. By operating the “Register” button 11a, the input content can be registered as digital data to be multiplexed. A plurality of digital data can be processed once using a delimiter code. Thereafter, when the digital data input button 13 is pressed during a call, the digital data can be multiplexed with the call voice.
図4は、図1の着呼側電話機200で受信した通話音声中のデジタルデータの受信画面の例を示している。操作者(着呼ユーザ)がデジタルデータ記録ボタン14を押圧操作することにより通話音声中のデジタルデータが多重分離されて表示部11(206)に「受信中」と表示される。デジタルデータ記録ボタン14を再度押すと記録解除される。記録解除ボタンを別途設けても良い。デジタルデータ記録ボタン14を設けずに、通話中は常に多重分離処理および分離データの記録が行なわれるようにしても良い。多重分離されたデジタルデータはデジタルデータ記憶部205に記憶され、記録内容を閲覧することが可能である。この閲覧表示例を図5に示す。図5の例では記録済みデジタルデータに関して送信元(電話番号や、氏名(アドレス帳を用いて電話番号から変換)、受信時刻、内容等が表示されるようになっているが、これに限定されない。記録済みのデジタルデータのエントリの1つを選択(表示反転)させ、その後、「接続ボタン」11bを選択操作すると、通話ソフトウェア、メールソフトウェア、閲覧ソフトウェアが起動して、通話、メール通信、閲覧要求等を行なえる。また「詳細ボタン」11cを選択操作してその内容すべてを表示させることができる。 FIG. 4 shows an example of a reception screen of digital data in the call voice received by the called telephone 200 in FIG. When the operator (calling user) presses the digital data recording button 14, the digital data in the call voice is demultiplexed and displayed on the display unit 11 (206) as “receiving”. Pressing the digital data recording button 14 again cancels the recording. A record release button may be provided separately. Without providing the digital data recording button 14, the demultiplexing process and the recording of the separated data may always be performed during a call. The demultiplexed digital data is stored in the digital data storage unit 205, and the recorded content can be browsed. An example of this browsing display is shown in FIG. In the example of FIG. 5, the transmission source (telephone number, name (converted from the telephone number using the address book)), reception time, contents, etc. are displayed for the recorded digital data. However, the present invention is not limited to this. When one of the recorded digital data entries is selected (inverted display) and then the “connect button” 11b is selected and operated, the call software, mail software, and browsing software are activated, and call, mail communication, and browsing are performed. It is possible to make a request, etc. Also, the “detail button” 11c can be selected and displayed to display all of its contents.
つぎにこの実施例のデジタルデータ多重化・多重分離の手法について説明する。もちろんこれ以外の種々の手法を採用してもよい。 Next, the digital data multiplexing / demultiplexing technique of this embodiment will be described. Of course, various other methods may be employed.
この例では、後に詳述するように音声周波数帯にデジタル情報を重畳する。仕組みとしては、従来のモデム技術の応用となる。 In this example, digital information is superimposed on the audio frequency band as will be described in detail later. The mechanism is the application of conventional modem technology.
この例では、つぎの二つのタイプを実装可能する。 In this example, the following two types can be implemented.
(1)可聴タイプ
基本的に短い(数秒程度)。
人間が聞いて、それとわかる。
可聴域(60〜15000Hz)を主に使用。
音声圧縮に耐える。
耳触りが良い。
ノイズに強い。
(1) Audible type is basically short (several seconds).
Humans can hear and understand.
Mainly audible range (60-15000Hz).
Withstand audio compression.
Good touch.
Resistant to noise.
(2)非可聴(ステルス)タイプ
短い(数秒)場合も、長い場合(数分程度)もある。
人間には聞こえない
非可聴域を使用。
ノイズに耐性あり。
複数の内容を格納可能。
(2) Non-audible (stealth) type: short (several seconds) or long (several minutes).
Uses a non-audible range that cannot be heard by humans.
Resistant to noise.
Multiple contents can be stored.
基本的な多重化手法はつぎのとおりである。 The basic multiplexing method is as follows.
(1)周波数、エネルギー(音量)、時間を使用してビット表現を行う。(後述)
(2)可聴タイプについては、可聴域で作成する。「この音がサウンドバーコードである」と聴いてわかるための仕組みは、以下のとおり。
(a)基本構造の波形(基本波形)をあらかじめ定義する。それがサウンドバーコードの特徴を示す(一種のサウンドロゴ)。聞いてサウンドバーコードとすぐ理解できる音である。
(b)それとは別に表現したいビット列を埋め込んだ波形を作成し、それを基本波形に重ねることで完成する。
(c)表現したいビット列は、元のビット列に対して圧縮・エラー訂正・ヘッダー付加といった加工を施したものとする。
(d)基本波形に重ねる際は、電子透かしの技術を用いてもよい。その場合には、元の音がある程度変化する。ただし耳障りのよい範囲とする。
(3)ステルスタイプでは、非可聴域を使用するため、耳障りは考慮しない。また大量データの搬送を考慮してエラー耐性を強化する。
(1) Bit representation is performed using frequency, energy (volume), and time. (Described later)
(2) Create an audible type in the audible range. The mechanism to understand by listening to "This sound is a sound barcode" is as follows.
(A) A waveform having a basic structure (basic waveform) is defined in advance. That shows the characteristics of the sound barcode (a kind of sound logo). It is a sound that can be understood immediately as a sound bar code.
(B) Separately from this, a waveform in which a bit string to be expressed is embedded is created, and the waveform is completed by superimposing it on the basic waveform.
(C) It is assumed that the bit string to be expressed has undergone processing such as compression, error correction, and header addition to the original bit string.
(D) When superposing on the basic waveform, a digital watermark technique may be used. In that case, the original sound changes to some extent. However, the range is good for the ears.
(3) Since the stealth type uses a non-audible range, it does not consider harshness. In addition, error tolerance is enhanced in consideration of transporting large amounts of data.
図6はデジタルデータを多重化する際の階層モデルおよびその例を示している。図6においてペイロード層はデジタルデータを格納するためのものである。プロトコルヘッダー層はデジタルデータを処理するプロトコルやバージョン情報等を格納するためのものである。制御ヘッダー層は複数チャネル区分制御、暗号化を行う際の制御情報を格納するためのものである。エラー制御層は微たび復号等を用いた誤り訂正の情報を格納するためのものである。符号化・伝送技術層はベース波形との合成・切り分けおよびFFTを行なう際の制御情報を格納するためのものである。ベース波形はサウンドバーコードを特徴づける音である。 FIG. 6 shows a hierarchical model for multiplexing digital data and an example thereof. In FIG. 6, the payload layer is for storing digital data. The protocol header layer is for storing a protocol for processing digital data, version information, and the like. The control header layer is for storing control information for performing multi-channel partition control and encryption. The error control layer is for storing information on error correction using fine decoding. The encoding / transmission technology layer is for storing control information when performing synthesis / separation with the base waveform and FFT. The base waveform is the sound that characterizes the sound barcode.
このようなプロトコルスタックを用いてビット列(デジタルデータ、サウンドバーコード)をサウンドバーコード音声に変換する。 A bit string (digital data, sound bar code) is converted into sound bar code sound using such a protocol stack.
符号化・伝送技術層におけるビット列・アナログ音声変換の方式は以下のとおり。 The bit string / analog audio conversion method in the encoding / transmission technology layer is as follows.
基本的には、周波数帯を分割し、それぞれ毎のエネルギー強度(音圧)にビットを割り当てて表現とする。それを時間軸に展開する。なお時間ごとの変化量で表現してもよい。 Basically, the frequency band is divided and a bit is assigned to each energy intensity (sound pressure) for expression. Expand it on the time axis. In addition, you may express with the variation | change_quantity for every time.
デジタルデータを多重化して音声出力する場合、デジタル情報(ビット列)をFFTにより上記波形群として合成し、ベース波形と合成の上で音声発生させる。ビット列の状態でベース波形と合成する演算を行っても良い。 When digital data is multiplexed and output as audio, digital information (bit string) is synthesized as the above waveform group by FFT, and audio is generated upon synthesis with the base waveform. You may perform the calculation combined with the base waveform in the state of the bit string.
音声を入力してデジタルデータを多重分離する場合、上記の逆に、マイク等より取得した(アナログ)音声を、FFTによりビット列とする。なお、ベース波形の除去は行う場合もあれば、行わずにエラー訂正に任せる場合もある。 When digital data is demultiplexed by inputting voice, conversely to the above, (analog) voice acquired from a microphone or the like is converted into a bit string by FFT. The base waveform may be removed or may be left to error correction without being performed.
図7は、デジタルデータ多重分離部202の構成例を示している。図7において、デジタルデータ多重分離部202は、アナログ・デジタル変換部2021、波形変換部2022、エラー訂正部2023、暗号処理部2024、チャネル情報処理部2025、プロトコルデータ処理部2026等を含んで構成されている。アナログ・デジタル変換部2021はアナログ入力された音を、デジタル化する。波形変換部2022はベース波形との切り分けおよびFFTを行う。エラー訂正部2023は巡回符号等を用いた誤り訂正を行う。暗号処理部2024は暗号化されていた場合、その復号を行う。使用する鍵は、受信機内部に保持されている。チャネル情報処理部2025は利用するチャネル情報を取得し、チャネル外の情報をフィルタリングする。プロトコルデータ処理部2026はデータを処理するプロトコル識別情報およびバージョン情報等を取得する。最終的に取得されたデジタルデータはアプリケーションソフトウェア(デジタルデータ処理部204)で処理される。 FIG. 7 shows a configuration example of the digital data demultiplexing unit 202. In FIG. 7, the digital data demultiplexing unit 202 includes an analog / digital conversion unit 2021, a waveform conversion unit 2022, an error correction unit 2023, an encryption processing unit 2024, a channel information processing unit 2025, a protocol data processing unit 2026, and the like. Has been. The analog / digital conversion unit 2021 digitizes the analog input sound. The waveform converting unit 2022 performs separation from the base waveform and FFT. The error correction unit 2023 performs error correction using a cyclic code or the like. If the encryption processing unit 2024 is encrypted, the encryption processing unit 2024 performs the decryption. The key to be used is held inside the receiver. The channel information processing unit 2025 acquires channel information to be used and filters information outside the channel. The protocol data processing unit 2026 acquires protocol identification information, version information, and the like for processing data. The finally acquired digital data is processed by application software (digital data processing unit 204).
図8は、デジタルデータ多重化部102の構成例を示している。図8において、デジタルデータ多重化部102は、プロトコルデータ付与部1021、チャネル情報付与部1022、暗号処理部1023、エラー符号化部1024、波形変換部1025等を含んで構成されている。プロトコルデータ付与部1021はプロトコル識別情報およびバージョン情報等を付与し、チャネル情報付与部1022は利用するチャネル番号を付与する。暗号処理部1023は必要な場合に暗号化を行なう。エラー符号化部1024は巡回符号等を用いた誤り訂正のための冗長化を行う。波形変換部1025はベース波形との合成およびFFTを行う。最終的に得られたサウンドバーコードファイル(ストリーム)は通信回線や放送回線を介して配布される。この例では信号送信部105により着呼側電話機200に送信される。 FIG. 8 shows a configuration example of the digital data multiplexing unit 102. In FIG. 8, the digital data multiplexing unit 102 includes a protocol data adding unit 1021, a channel information adding unit 1022, an encryption processing unit 1023, an error encoding unit 1024, a waveform converting unit 1025, and the like. The protocol data giving unit 1021 gives protocol identification information and version information, and the channel information giving unit 1022 gives a channel number to be used. The encryption processing unit 1023 performs encryption when necessary. The error encoding unit 1024 performs redundancy for error correction using a cyclic code or the like. The waveform conversion unit 1025 performs synthesis with the base waveform and FFT. The finally obtained sound barcode file (stream) is distributed via a communication line or a broadcast line. In this example, the signal is transmitted to the called telephone 200 by the signal transmission unit 105.
このようにこの実施例によれば、音声に多重化させたデジタルデータを即座にかつ確実に用いることができる。 As described above, according to this embodiment, the digital data multiplexed into the voice can be used immediately and reliably.
なお、ベース音(基本パターン音)の開始時点より遅延して上記デジタルデータが多重化開始するようにすることが好ましい。そのようにすれば、ユーザは確実にデジタルデータの多重化の事実を知ることができ、その後に多重分離処理の指示(ボタン操作)を行なってもデジタルデータを確実に取得できる。またベース音を自動判別して多重分離処理を起動するようにしても良い。 It is preferable that the digital data start to be multiplexed with a delay from the start time of the bass sound (basic pattern sound). By doing so, the user can surely know the fact of the multiplexing of the digital data, and the digital data can be reliably acquired even if the instruction (button operation) of the demultiplexing process is subsequently performed. Alternatively, the base sound may be automatically determined and the demultiplexing process may be activated.
つぎにこの発明を放送技術に適用した実施例2について説明する。 Next, a second embodiment in which the present invention is applied to broadcasting technology will be described.
図2は実施例2の構成を示しており、この図において図1と対応する箇所には対応する符号を付した。この例では、テレビジョン放送局300でデジタルデータを多重化し、テレビジョン受像機400でデジタルデータを多重分離している。テレビジョン放送におけるビデオ信号に関する部分については省略した。音声部分に関しても簡略化して示した。また、テレビジョン放送局300においてデジタルデータ多重化部102により多重化した音声部分の信号はビデオ部分の信号と共にテレビジョン信号に合成され、そのまま、あるいは、一旦、記録された後にテレビジョン受像機400側に配信される。テレビジョン受像機400は多重分離されたデジタルデータを画面(表示部206)に表示したりする。テレビジョン受像機400がインテリジェント化されたものであり、情報処理が可能なものであれば、デジタルデータをアプリケーションプログラムにより処理することもできる。もちろん、テレビジョン受像機400は、テレビジョン受像機の機能を有するパーソナルコンピュータでもよいし、CATV等のセットトップボックスでも良い。 FIG. 2 shows a configuration of the second embodiment. In this figure, portions corresponding to those in FIG. In this example, digital data is multiplexed by the television broadcast station 300 and the digital data is demultiplexed by the television receiver 400. The portion related to the video signal in television broadcasting is omitted. The audio part is also shown in a simplified manner. Also, the audio part signal multiplexed by the digital data multiplexing unit 102 in the television broadcast station 300 is combined with the video part signal into a television signal and recorded directly or after being recorded, the television receiver 400. Delivered to the side. The television receiver 400 displays the demultiplexed digital data on the screen (display unit 206). If the television receiver 400 is intelligent and can process information, digital data can be processed by an application program. Of course, the television receiver 400 may be a personal computer having the function of a television receiver, or a set-top box such as CATV.
また、音声部分にデジタルデータを多重化するのに併せてあるいは単独で映像部分にデジタルデータを多重化させてこれをアプリケーションプログラム等で利用したり表示したりしても良い。またクローズドキャプションデータを音声部分や映像部分に多重化してデジタルデータとして送っても良い。この場合、音声部分の多重化に関しては非可聴帯域に多重化することが好ましい。 Further, in addition to multiplexing the digital data in the audio part or independently, the digital data may be multiplexed in the video part and used or displayed in an application program or the like. Alternatively, the closed caption data may be multiplexed with the audio part or the video part and sent as digital data. In this case, it is preferable that the audio part is multiplexed in a non-audible band.
またテレビジョン放送でなくラジオ放送に適用しても良い。 Further, the present invention may be applied to radio broadcasting instead of television broadcasting.
つぎにこの発明をリモートコントローラ装置に適用した実施例3について説明する。 Next, a third embodiment in which the present invention is applied to a remote controller device will be described.
図10は実施例3のリモートコントローラ装置500およびその利用環境を示しており、この図において、リモートコントローラ装置500は、マイクロホン501、デジタルデータ多重分離部502、デジタルデータ処理部503、デジタルデータ記憶部504、表示部505、リモートコントロール主回路部506、制御信号送信部507等を含んで構成されている。デジタルデータ多重分離部502、デジタルデータ処理部503、デジタルデータ記憶部504、表示部505は、図1のデジタルデータ多重分離部202、デジタルデータ処理部204、デジタルデータ記憶部205、表示部206とそれぞれ対応するものである。この例では、例えば、テレビジョン受像機600のスピーカ601からの音声をマイクロホン501で電気信号に変換してデジタルデータ多重分離部502で多重化デジタルデータを分離して利用する。リモートコントロール主回路部506はリモートコントロール用の主たる動作を実現するものであり、制御信号送信部507は例えば赤外線により制御信号をテレビジョン受像機600の制御信号受信部602に送信する。テレビジョン受像機600の制御部603は制御信号受信部602で受信した制御信号に基づいたチャンネル切り替え、オンオフ制御等、種々の制御を行なう。デジタルデータ処理部503はアプリケーションプログラムを実行する。 FIG. 10 shows a remote controller device 500 according to the third embodiment and a use environment thereof. In this figure, the remote controller device 500 includes a microphone 501, a digital data demultiplexing unit 502, a digital data processing unit 503, and a digital data storage unit. 504, a display unit 505, a remote control main circuit unit 506, a control signal transmission unit 507, and the like. The digital data demultiplexing unit 502, digital data processing unit 503, digital data storage unit 504, and display unit 505 are the same as the digital data demultiplexing unit 202, digital data processing unit 204, digital data storage unit 205, and display unit 206 of FIG. Each corresponds. In this example, for example, sound from the speaker 601 of the television receiver 600 is converted into an electric signal by the microphone 501, and the multiplexed digital data is separated and used by the digital data demultiplexing unit 502. The remote control main circuit unit 506 realizes a main operation for remote control, and the control signal transmission unit 507 transmits a control signal to the control signal reception unit 602 of the television receiver 600 by, for example, infrared rays. The control unit 603 of the television receiver 600 performs various controls such as channel switching and on / off control based on the control signal received by the control signal receiving unit 602. The digital data processing unit 503 executes an application program.
この例でも、例えば、リモートコントローラ装置500でアプリケーションプログラムが実行されてデジタルデータを適宜に利用する。 Also in this example, for example, an application program is executed by the remote controller device 500 and digital data is appropriately used.
なお、リモートコントローラ装置500は、テレビジョン受像機600以外の電気機器700を制御するためのものでもよいし、汎用的な(テレビジョン受像機を含む複数の電気機器を制御できる)リモートコントローラ装置でも良い。例えば、電子レンジ等を制御するリモートコントローラ装置であれば、テレビジョン受像機600からの音声情報からレシピ情報のデジタルデータを多重分離して取得し電子レンジに自動設定できるようにしてもよい。 The remote controller device 500 may be for controlling an electric device 700 other than the television receiver 600, or may be a general-purpose remote controller device (which can control a plurality of electric devices including a television receiver). good. For example, in the case of a remote controller device that controls a microwave oven or the like, digital data of recipe information may be obtained by demultiplexing from audio information from the television receiver 600 and automatically set in the microwave oven.
また、移動体通信等の携帯型の電話機にリモートコントローラの機能を持たせて同様にデジタルデータの多重分離を行なうようにしても良い。このようにすると、テレビジョン放送やラジオ放送の音声部分、映像部分に多重化されたデジタルデータを用いて発呼したり、ウェブ閲覧したり、電子メール送信を行なったりすることができる。 In addition, a portable telephone such as mobile communication may be provided with a remote controller function to similarly demultiplex digital data. In this way, it is possible to make a call using digital data multiplexed in the audio part and video part of a television broadcast or radio broadcast, browse the web, or send an e-mail.
つぎにこの発明を汎用的な情報処理装置に適用した実施例4について説明する。 Next, a fourth embodiment in which the present invention is applied to a general-purpose information processing device will be described.
図11はこの実施例の情報処理装置800(例えばパーソナルコンピュータやPDA等の携帯型の情報機器、インテリジェント電話機等)を示しており、この図において図10と対応する箇所には対応する符号を付した。この実施例では、外来音声に多重化されているデジタルデータをデジタルデータ多重分離部502で多重分離し、これをデジタルデータ処理部503(アプリケーションプログラム実行部)で利用する。デジタルデータが多重化された音声の音源はテレビジョン受像機、ラジオ受信機、電話機等に限定されず、ひろくスピーカにより電気音響変換されたものであれば良い。なお、スピーカ等に入力される前の電気信号を所定の端子から取りだして利用するようにしても良い。 FIG. 11 shows an information processing apparatus 800 of this embodiment (for example, a portable information device such as a personal computer or a PDA, an intelligent telephone, etc.). In FIG. 11, portions corresponding to those in FIG. did. In this embodiment, the digital data multiplexed in the foreign sound is demultiplexed by the digital data demultiplexing unit 502 and used by the digital data processing unit 503 (application program execution unit). A sound source in which digital data is multiplexed is not limited to a television receiver, a radio receiver, a telephone, or the like, and may be any sound source that has been electroacoustic converted by a speaker. Note that an electrical signal before being input to a speaker or the like may be extracted from a predetermined terminal and used.
以上実施例について説明したが、これら実施例やその代替例によれば、とくに可聴タイプのものでは、画像バーコードのように、「あるシンボルが一目見てそれとわかり、それに対する「読み取り」を人間が機械に指示することで、シンボルにエンコードされた個別情報を抽出・処理できる仕組み」の音声版が実現できる。 Although the embodiments have been described above, according to these embodiments and their alternatives, particularly in the case of an audible type, like an image barcode, “a certain symbol can be seen at a glance and“ read ”for it can be read by humans. By instructing the machine, an audio version of “a mechanism that can extract and process individual information encoded in symbols” can be realized.
また、デジタル情報を圧縮して音に変換し、受け渡しを行うという仕組みなので、近距離機器間通信の領域でも利用可能であり、近距離向けの微弱電波によるデータ通信(例えばBluetooth(商標))にも最適である。例えば、携帯電話でダウンロードしたレシピを音声により電子レンジにセットすることができる。 In addition, since digital information is compressed and converted into sound and delivered, it can also be used in the area of near-field communication, and can be used for data communication (for example, Bluetooth (trademark)) using weak radio waves for short distance. Is also optimal. For example, a recipe downloaded with a mobile phone can be set in a microwave by voice.
また、アクセシビリティ技術として、音に字幕やURLを付加するという機能を生かし、防災放送等の際に聴覚障害の人でも携帯電話のマイクを通じてサウンドバーコードを取り込むことで、画面に放送内容が表示されるようにできる。 As accessibility technology, the function of adding subtitles and URLs to sound is utilized, and even for people with hearing impairments during disaster prevention broadcasting etc., the content of the broadcast is displayed on the screen by capturing the sound barcode through the microphone of the mobile phone. You can make it.
また、メディア多重化技術として、見えるラジオと同様に、FM放送で現在流れている楽曲のタイトル、アーティスト、購入先URLを曲の最初にサウンドバーコードで埋め込み、ラジオでそれを識別し、液晶画面に表示したり、ネット接続環境であればダウンロードサイトを表示やセットすることができる。 Also, as a media multiplexing technology, like the visible radio, the title, artist, and purchase URL of the music currently playing in FM broadcasts are embedded at the beginning of the music with a sound bar code, which is identified by the radio, and the LCD screen You can display or set the download site if you have a network connection environment.
さらに、「人が識別できる」という形式でなく、例えば可聴域外の周波数を使い、「人にはわからない」という形式も可能である(非可聴タイプ)。 Furthermore, it is not possible to use a format that “a person can be identified” but, for example, a format that uses a frequency outside the audible range, and that “a person does not know” (non-audible type) is also possible.
具体的には、リアルタイム音声字幕を実現できる。高周波領域の音を使用して、音声情報の内容をテキスト化してリアルタイムで流す。その音を携帯電話のマイクで拾ってデコードし、画面に字幕を表示する。英語等も可能である。 Specifically, real-time audio subtitles can be realized. Using the sound in the high frequency region, the contents of the voice information are converted into text and streamed in real time. The sound is picked up by the microphone of the mobile phone and decoded, and the subtitles are displayed on the screen. English is also possible.
また「サウンドチラシ」(音声によりチラシを実現する)を構成できる。すなわち、街頭で宣伝文句を連呼するのと同時に、高周波を使用して各自の携帯電話にデジタルチラシを配布・表示することができる。 In addition, a “sound flyer” (which realizes a flyer by voice) can be configured. In other words, at the same time that the advertising phrases are repeated on the street, a digital flyer can be distributed and displayed on each mobile phone using high frequency.
またファイル転送を行なえる。すなわち、パソコンと携帯電話との間、携帯電話と携帯電話との間等のファイル転送手段(片方向通信)として、赤外線通信の代替として使用することができる。 You can also transfer files. That is, it can be used as an alternative to infrared communication as a file transfer means (one-way communication) between a personal computer and a mobile phone, between a mobile phone and a mobile phone, or the like.
上述の実施例の技術をバーコードに比べた場合、紙媒体に印刷されたバーコードと異なり、同時に複数の利用者が利用可能である。例えば駅のアナウンスで利用して時刻表を全ユーザーが同時に受け取ることができる。 When the technique of the above-described embodiment is compared with a bar code, unlike a bar code printed on a paper medium, a plurality of users can use it simultaneously. For example, all users can receive timetables at the station announcement.
また上述の実施例の技術をFAX・モデム等に比べた場合、サウンドバーコードの中に格納されたデータは、チャネル情報を付与されており、同時に複数のサウンドバーコードが鳴っていてもチャネル情報によって混同することなく識別が可能であるという利点がある。 In addition, when the technology of the above-described embodiment is compared with a FAX / modem or the like, the data stored in the sound bar code is given channel information, and even if a plurality of sound bar codes are sounded at the same time, the channel information There is an advantage that identification is possible without confusion.
さらに、Fax・モデム等に比べた場合、常時動作する点が異なる。受信機が常時マイクにより外部音声をモニタリングし、その音にサウンドバーコードが含まれていれば自動的にデータが取得される。(当該機能をオフにし、利用者が指定したときのみ動作することも可能) Furthermore, it is different in that it always operates when compared with a fax / modem or the like. The receiver constantly monitors the external sound with the microphone, and if the sound includes a sound bar code, the data is automatically acquired. (It is also possible to turn off the function and operate only when specified by the user)
さらに、Fax・モデム等に比べた場合、配信チャネルやキーワードマッチングにより、特定の利用者のみを対象とした情報伝送が可能である。 Furthermore, when compared with a fax / modem or the like, information transmission for only a specific user is possible by means of a distribution channel or keyword matching.
また、バーコードに比べた場合、情報量の可変性が高い。短い時間で、人間に耳障りの良い音を使用して少量(数十バイト)の情報を付与することもあれば、非可聴領域の音を使用して数分間で数万バイトのデータ転送も可能である。 In addition, the amount of information is highly variable when compared with a barcode. In a short amount of time, a small amount (several tens of bytes) of information can be given using sounds that are harsh to humans, or tens of thousands of bytes of data can be transferred in minutes using non-audible sound. It is.
10 電話機
11 表示部
12 キー操作部
13 デジタルデータ入力ボタン
14 デジタルデータ記録ボタン
15 ウェブ閲覧機能
16 メール閲覧・送信機能
100 発呼側電話機
101 マイクロホン
102 デジタルデータ多重化部
103 デジタルデータ入力部
104 デジタルデータ記憶部
105 信号送信部
106 表示部
150 電話回線
200 着呼側電話機
201 信号受信部
202 デジタルデータ多重分離部
203 スピーカ
204 デジタルデータ処理部
205 デジタルデータ記憶部
206 表示部
300 テレビジョン放送局
400 テレビジョン受像機
500 リモートコントローラ装置
501 マイクロホン
502 デジタルデータ多重分離部
503 デジタルデータ処理部
504 デジタルデータ記憶部
505 表示部
506 リモートコントロール主回路部
507 制御信号送信部
600 テレビジョン受像機
601 スピーカ
602 制御信号受信部
603 制御部
700 電気機器
800 情報処理装置
1021 プロトコルデータ付与部
1022 チャネル情報付与部
1023 暗号処理部
1024 エラー符号化部
1025 波形変換部
2021 アナログ・デジタル変換部
2022 波形変換部
2023 エラー訂正部
2024 暗号処理部
2025 チャネル情報処理部
2026 プロトコルデータ処理部
DESCRIPTION OF SYMBOLS 10 Telephone 11 Display part 12 Key operation part 13 Digital data input button 14 Digital data recording button 15 Web browsing function 16 Mail browsing / transmission function 100 Calling side telephone 101 Microphone 102 Digital data multiplexing part 103 Digital data input part 104 Digital data Storage unit 105 Signal transmission unit 106 Display unit 150 Telephone line 200 Called telephone 201 Signal reception unit 202 Digital data demultiplexing unit 203 Speaker 204 Digital data processing unit 205 Digital data storage unit 206 Display unit 300 Television broadcast station 400 Television Receiver 500 Remote controller device 501 Microphone 502 Digital data demultiplexing unit 503 Digital data processing unit 504 Digital data storage unit 505 Display unit 506 Remote control Main circuit unit 507 control signal transmission unit 600 television receiver 601 speaker 602 control signal reception unit 603 control unit 700 electric device 800 information processing apparatus 1021 protocol data addition unit 1022 channel information addition unit 1023 encryption processing unit 1024 error encoding unit 1025 Waveform conversion unit 2021 Analog / digital conversion unit 2022 Waveform conversion unit 2023 Error correction unit 2024 Encryption processing unit 2025 Channel information processing unit 2026 Protocol data processing unit
Claims (10)
抽出したデジタルデータを処理するアプリケーション実行手段とを有することを特徴とするデジタルデータ処理装置。 Digital data extraction means for extracting digital data multiplexed in the sound from an electrical signal representing the waveform of the sound;
A digital data processing apparatus comprising: an application execution unit that processes the extracted digital data.
多重化した電気信号を配信する配信手段とを有することを特徴とするデジタルデータ多重化装置。 A multiplexing means for multiplexing digital data on an electrical signal representing sound;
A digital data multiplexing apparatus comprising distribution means for distributing multiplexed electrical signals.
抽出したデジタルデータを処理するアプリケーション実行手段とを有することを特徴とする電話機。 Digital data extraction means for extracting digital data multiplexed on the sound from an electrical signal representing a sound waveform sent via a telephone line;
A telephone having application execution means for processing the extracted digital data.
抽出したデジタルデータを処理するアプリケーション実行手段とを有することを特徴とする放送信号再生装置。 Digital data extraction means for extracting digital data multiplexed on the sound from an electrical signal representing a sound waveform sent via a telephone line;
A broadcast signal reproduction apparatus comprising: an application execution unit that processes the extracted digital data.
抽出したデジタルデータを処理するアプリケーション実行手段とを有することを特徴とするリモートコントローラ装置。 Digital data extraction means for extracting digital data multiplexed on the sound from an electrical signal representing a sound waveform sent via a telephone line;
An application execution means for processing the extracted digital data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005014039A JP2006203643A (en) | 2005-01-21 | 2005-01-21 | Digital data processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005014039A JP2006203643A (en) | 2005-01-21 | 2005-01-21 | Digital data processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006203643A true JP2006203643A (en) | 2006-08-03 |
Family
ID=36961236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005014039A Pending JP2006203643A (en) | 2005-01-21 | 2005-01-21 | Digital data processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006203643A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009296155A (en) * | 2008-06-03 | 2009-12-17 | Ntt Docomo Inc | Processor and processing control method |
WO2014141413A1 (en) * | 2013-03-13 | 2014-09-18 | 株式会社東芝 | Information processing device, output method, and program |
-
2005
- 2005-01-21 JP JP2005014039A patent/JP2006203643A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009296155A (en) * | 2008-06-03 | 2009-12-17 | Ntt Docomo Inc | Processor and processing control method |
WO2014141413A1 (en) * | 2013-03-13 | 2014-09-18 | 株式会社東芝 | Information processing device, output method, and program |
JPWO2014141413A1 (en) * | 2013-03-13 | 2017-02-16 | 株式会社東芝 | Information processing apparatus, output method, and program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101370204B (en) | A media transfer and control system | |
US8249422B2 (en) | Content usage system, content usage method, recording and playback device, content delivery method, and content delivery program | |
CN102957796B (en) | Media transfer and control system | |
JP4772800B2 (en) | Broadcast content information providing method and system | |
CN101228808A (en) | Information providing system | |
JP3834579B1 (en) | Information provision system | |
JP2001320337A (en) | Method and device for transmitting acoustic signal and storage medium | |
CN107888785A (en) | Realize the method, terminal and service end system of interactive voice and video response | |
JP2004304601A (en) | Tv phone and its data transmitting/receiving method | |
KR100557131B1 (en) | Apparatus and method for transmitting an audio signal detected from digital multimedia broadcasting signal in mobile terminal equipment | |
JP6081560B2 (en) | Receiver | |
KR100421571B1 (en) | Audio contents audition system and system server and portable telephone | |
MX2010010368A (en) | Systems, methods and apparatus for transmitting data over a voice channel of a wireless telephone network. | |
CN101094374A (en) | Apparatus and method for furnishing epg information in digital multimedia broadcasting terminal | |
JP2006203643A (en) | Digital data processing device | |
KR100919629B1 (en) | method of using apparatus for video telephony | |
JP2001326979A (en) | Radio portable terminal and communication method of radio portable terminal | |
WO2022012521A1 (en) | Method and system for adding subtitles and/or audios | |
JP2019041366A (en) | Distribution data generation device, advertisement data generation device and data generation system | |
JP6766981B2 (en) | Broadcast system, terminal device, broadcasting method, terminal device operation method, and program | |
JP2019041293A (en) | Distribution data generation device, advertisement data generation device and data generation system | |
JP7390816B2 (en) | Distribution system, receiving device and program | |
KR100877724B1 (en) | Potable broadcasting equipment | |
KR101169277B1 (en) | System and method for imagination announce service using data channel in DMB mobile terminal | |
KR20040107813A (en) | Mobile having digital multi media broadcasting receiving function |