JP2009044365A - Voice processor and processing method, mobile terminal - Google Patents
Voice processor and processing method, mobile terminal Download PDFInfo
- Publication number
- JP2009044365A JP2009044365A JP2007206164A JP2007206164A JP2009044365A JP 2009044365 A JP2009044365 A JP 2009044365A JP 2007206164 A JP2007206164 A JP 2007206164A JP 2007206164 A JP2007206164 A JP 2007206164A JP 2009044365 A JP2009044365 A JP 2009044365A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- headphones
- unit
- processing
- leakage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Headphones And Earphones (AREA)
- Circuit For Audible Band Transducer (AREA)
Abstract
Description
本発明は、音楽等の再生音声をヘッドフォンを通じて出力する音声処理装置及び方法、携帯端末に関する。 The present invention relates to a sound processing apparatus and method for outputting reproduced sound such as music through headphones, and a portable terminal.
従来より、例えば音声再生装置にて再生される音楽等をヘッドフォンで聴く場合、本人はもちろんその音楽を楽しむことができる。しかしながら、例えば公共の場所など周囲に人がいる場所で音楽を聴くような場合、ヘッドフォンの性能によっては再生音が周囲に漏れ出してしまうことがあり、当該音漏れにより周囲の人に不快な思いをさせてしまうことがある。 Conventionally, for example, when listening to music played by an audio playback device with headphones, for example, the user can enjoy the music. However, for example, when listening to music in a public place such as a public place, the playback sound may leak out to the surroundings depending on the performance of the headphones. May be caused.
なお、特開平8−314473号の公開特許公報(特許文献1)には、音楽の音声信号をスピーカにて音波に変換して出力し、一方、別の複数のスピーカからは位相反転した音声信号を音波に変換して出力することにより、再生音場の外に漏れる音を打ち消すようにし、また、上記別の複数のスピーカへ供給する音声信号には、遅延回路による位相調整や増幅器による音量調整を施すことにより、音場の音響特性を自由に設定可能にした防音装置が開示されている。 In JP-A-8-314473, an open patent publication (Patent Document 1) converts a sound signal of music into sound waves by a speaker and outputs the sound wave, and a sound signal whose phase is inverted from another plurality of speakers. By converting the sound into sound waves and outputting them, the sound leaking out of the reproduction sound field is canceled, and for the audio signals supplied to the other speakers, phase adjustment by a delay circuit and volume adjustment by an amplifier A soundproofing device is disclosed in which the acoustic characteristics of the sound field can be freely set by applying the above.
特開平3−247098号の公開特許公報(特許文献2)には、ヘッドフォンに供給される音声信号の音漏れ帯域を減衰させると同時に、その減衰量を音声信号のレベルに応じて可変にすることにより、ヘッドフォンから漏れる音を周囲の人に聞こえ難くしつつ音質の劣化を少なくすることも可能にした携帯用再生装置とヘッドフォンが開示されている。 In Japanese Patent Laid-Open No. 3-247098 (Patent Document 2), the sound leakage band of the audio signal supplied to the headphones is attenuated, and at the same time, the attenuation amount is made variable according to the level of the audio signal. Accordingly, a portable playback device and headphones that make it possible to reduce sound quality deterioration while making it difficult for surrounding people to hear sound leaking from the headphones are disclosed.
ところで、ヘッドフォンにて音楽等を聴いている場合において、周囲の人に不快な思いをさせるのは、故意の場合を除くと、殆どの場合、本人の近くに人が居て且つヘッドフォンから音が漏れており、さらにそのことに本人自身が気づいていないために起きる。すなわち、ヘッドフォンから音が漏れていたとしても、例えば本人の近くに全く人が居ない場合には他人に迷惑をかけることはなく、また例えば、本人の近くに人がいる場合であっても、ヘッドフォンから音が漏れていることに本人が気づき、その本人自身が音漏れに対する是正措置(例えば音量を下げるなどの措置)をとれば、周囲の人に迷惑をかけなくて済むことになる。しかしながら、ヘッドフォンにて音楽等を聴いている場合には、音漏れしていることを周囲の人から指摘されるまで、自分自身では全く気づかないことも非常に多い。 By the way, when listening to music, etc. with headphones, it is almost always the case that there is a person near the person and the sound from the headphones is unpleasant. It happens because it is leaking and the person is not aware of it. That is, even if the sound leaks from the headphones, for example, if there is no person near the person, it will not cause trouble to others, and for example, even if there is a person near the person, If the person notices that the sound is leaking from the headphones, and the person himself takes corrective measures against the sound leakage (for example, a measure such as lowering the volume), the surrounding people can be prevented from being disturbed. However, when listening to music or the like with headphones, it is very often not noticed at all until the surrounding people point out that the sound is leaking.
また、上述の特開平8−314473号や特開平3−247098号の公開特許公報のように、音漏れ自体を少なくする音漏れ防止技術を用いれば、周囲の人に迷惑をかけることも少なくなるが、実際には僅かであるが音が漏れてしまうことも多く、その場合、音楽を聴いている本人は、音漏れによって周囲の人に不快な思いをさせてしまっていることに気づかない。 Further, if a sound leakage prevention technique for reducing sound leakage itself is used as in the above-mentioned Japanese Patent Application Laid-Open Nos. 8-314473 and 3-247098, it is less likely to inconvenience surrounding people. However, in reality, there are many cases where the sound leaks, and in this case, the person who listens to the music does not notice that the sound leakage makes the surrounding people feel uncomfortable.
本発明は、このような実情に鑑みて提案されたものであり、ヘッドフォンにて音楽等を聴く場合において、ヘッドフォンから音漏れしている時に、その音漏れに対する是正措置を取ることを可能とする音声処理装置及び方法、携帯端末を提供することを目的とする。 The present invention has been proposed in view of such circumstances, and when listening to music or the like with headphones, it is possible to take corrective measures for the sound leakage when the sound is leaking from the headphones. An object is to provide a voice processing apparatus and method, and a portable terminal.
本発明の音声処理装置及び方法、携帯端末においては、音声データ供給部がヘッドフォンへ音声データを供給し、耳に装着された状態のヘッドフォンから外部へ漏れだした音声を音漏れ検出部が検出し、ヘッドフォンから外部への音声の漏れだしが検出された時、音漏れ是正処理部が所定の音漏れ是正処理を実行することにより、上述した課題を解決する。 In the audio processing apparatus and method of the present invention and the portable terminal, the audio data supply unit supplies audio data to the headphones, and the sound leak detection unit detects the sound leaked to the outside from the headphones attached to the ear. When the sound leakage from the headphones to the outside is detected, the sound leakage correction processing unit executes a predetermined sound leakage correction process to solve the above-described problem.
すなわち、本発明によれば、耳に装着された状態のヘッドフォンから音声を出力している時に、マイクロフォンにて周辺音声を取得することにより、ヘッドフォンから外部へ音が漏れ出している現象を監視及び検知可能となされている。 That is, according to the present invention, when sound is output from a headphone worn on the ear, a phenomenon in which sound leaks from the headphone to the outside is obtained by acquiring peripheral sound with a microphone. It can be detected.
本発明においては、ヘッドフォンにて音楽等を聴いているような場合に、ヘッドフォンからの音漏れを検知可能となされており、ヘッドフォンからの音漏れを検知した時には、それに対する是正措置を取ることにより、使用者本人が意図しない音漏れにより周囲の人に不快な思いをさせる状態になることを回避することができる。 In the present invention, when listening to music or the like with headphones, sound leakage from the headphones can be detected, and when sound leakage from the headphones is detected, corrective measures are taken against it. It is possible to avoid a situation in which the surrounding person feels uncomfortable due to sound leakage that is not intended by the user.
以下、図面を参照しながら、本発明の一実施形態について説明する。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
なお、以下の実施形態では、本発明の音声処理装置及び方法、携帯端末の適用例として、携帯電話端末を挙げているが、勿論、ここで説明する内容はあくまで一例であり、本発明はこの例に限定されないことは言うまでもない。 In the following embodiments, a mobile phone terminal is cited as an application example of the voice processing apparatus and method and the mobile terminal of the present invention. Of course, the content described here is merely an example, and the present invention is not limited to this. Needless to say, the examples are not limited.
〔携帯電話端末の概略的な内部構成〕
図1には、本発明実施形態の携帯電話端末の概略的な内部構成を示す。
[Schematic internal structure of mobile phone terminal]
FIG. 1 shows a schematic internal configuration of a mobile phone terminal according to an embodiment of the present invention.
図1において、通信アンテナ12は、例えば内蔵アンテナであり通話やパケット通信のための信号電波の送受信を行う。通信回路11は、送受信信号の周波数変換、変調と復調等を行う。上記通信アンテナ12及び通信回路11にて受信された通話音声データは、データラインを介して音声処理部35へ送られ、それ以外の受信データは、一旦、制御部10へ送られて処理された後、必要に応じて当該制御部10から各部へ送られる。
In FIG. 1, a
内蔵スピーカ30は、携帯電話端末に設けられている受話用のスピーカやリンガ(着信音)、アラーム音、警告音、音声、音楽等の出力用スピーカであり、ディジタル/アナログ変換器と増幅器を含み、通話音声やリンガ音,音楽等の音声データを、ディジタル/アナログ変換及び増幅した後に出力する。これにより、通話音声やリンガ音,音楽等の音声が空気中に出力されることになる。
The built-in
内蔵マイクロホン31は、携帯電話端末に設けられている送話用及び外部音声集音用のマイクロホンであり、アナログ/ディジタル変換器と増幅器を含む。この内蔵マイクロホン31を介して入力された音声信号は、増幅器により所定のレベルに増幅された後、アナログ/ディジタル変換器によりディジタル音声データに変換され、データラインを介して音声処理部35へ送られて符号化された後、データラインを介して通信回路11へ送られて変調、周波数変換等の各種処理を受け、通信アンテナ12から送信される。
The built-in microphone 31 is a microphone for transmission and external sound collection provided in a mobile phone terminal, and includes an analog / digital converter and an amplifier. The audio signal input via the built-in
外部オーディオ端子32は、外部のヘッドフォン33や外部マイクロフォン34と携帯電話端末本体とを接続するための端子である。なお、当該外部オーディオ端子32には、例えば音楽等の再生音のボリューム調整や早送り再生、早戻し再生、チャネル切換、外部マイクロフォン34及びヘッドフォン33を用いた通話時の発話指示などを行うためのリモートコントロール端子も含まれている。
The
ディジタル放送受信部38は、ディジタル放送の受信チューナ部とAVコーデック部とを備えており、ディジタル放送用アンテナ39により受信されたディジタルテレビジョン放送信号やディジタルラジオ放送信号の復調,アナログ/ディジタル変換,圧縮符号化されているデータの伸張復号等の処理を行い、それら復調及び伸張復号されたディジタル放送データのうち、ディジタルテレビジョン放送の動画像データについては画像処理部36へ送り、ディジタルテレビジョン放送の音声データやディジタルラジオ放送の音声データについては音声処理部35へ送る。
The digital
音声処理部35は、上記通信アンテナ12及び通信回路11から受信音声の圧縮符号化データが供給された時には、当該受信音声の圧縮符号化データを伸張復号化し、その伸張復号化後の受信音声データを、データラインを介してスピーカ30へ送るか若しくは外部オーディオ端子32に接続されたヘッドフォン33へ供給する。また、本実施形態の携帯電話端末の動作モードが、例えばメモリ部16等に圧縮符号化されて保存されている楽曲データコンテンツ(音楽ファイル)や動画像データコンテンツ(動画像ファイル)の再生モードになされている場合、音声処理部35は、制御部10による制御の元で、上記メモリ部16から読み出された楽曲データコンテンツや動画像データコンテンツの音声データの伸張復号化を行い、その伸張復号化後の再生音声データを、データラインを介してスピーカ30へ送るか若しくは外部オーディオ端子32に接続されたヘッドフォン33へ送る。また、本実施形態の携帯電話端末の動作モードが、例えばディジタル放送の受信及び視聴モードになされている場合、音声処理部35は、制御部10による制御の元で、ディジタル放送受信部38から供給されたディジタルテレビジョン放送やディジタルラジオ放送の音声データを、データラインを介してスピーカ3へ送るか若しくは外部オーディオ端子32経由でヘッドフォン33へ供給する。なお、当該音声処理部35の機能は、制御部10がソフトウェアにより実現することも可能である。
When the compressed encoded data of the received voice is supplied from the
表示部13は、例えば液晶ディスプレイや有機EL(ElectorLuminescence)パネル等の表示デバイスと、そのディスプレイの表示駆動回路とを含み、上記ディスプレイ上に文字や各種メッセージ、静止画像や動画像等を表示する。
The
画像処理部36は、待ち受け画面や電子メール文、アドレス帳、各種ユーザインターフェース画面、動画像データコンテンツの再生動画像、ディジタルテレビジョン放送の受信動画像等の画像データを生成して、それら画像データをデータラインを介して表示部13のディスプレイへ送って表示させる処理等を行う。なお、当該画像処理部36の機能は、制御部10がソフトウェアにより実現することも可能である。
The
操作部14は、本実施形態の携帯電話端末の図示しない筐体上に設けられているテンキーや発話キー、終話/電源キー等の各キーや十字キー,ジョグダイヤル等の各操作子と、それら操作子が操作された時の操作信号を発生する操作信号発生器とからなる。本実施形態において、上記操作部14の各操作子は、ユーザによる電源のオン/オフ操作、発信や着信の指示操作、電話番号入力操作や電子メール等の文字入力操作、ディスプレイ上に表示されたメニュー項目の選択操作、ディジタルカメラ機能におけるシャッター操作、ディジタル放送の受信指示操作、楽曲データコンテンツや動画像データコンテンツ等の再生指示操作及びそれらに関連する各指示操作のために用いられる。
The
時計部15は、年月日及び日時のような時刻情報や、制御部10が各種処理を行う際に用いる時間情報などを生成する。当該時計部15による時刻や時間等は、ディスプレイ上に表示されたり、スケジュール管理やアラーム報知などにも用いられる他、例えば楽曲データコンテンツ等の再生時間や再生日時の管理などにも用いられる。
The
バイブレータ37は、回転軸に偏芯分銅が固着された小型のモータを回転/停止させることで、本実施形態の携帯電話端末に振動を発生させる。
The
メモリ部16は、ROM(Read Only Memory)とRAM(Random Access Memory)を含む。ROMは、NAND型フラッシュメモリ(NAND-type flash memory)のような書き換え可能な記憶媒体を含み、例えば、OS(Operating System)のプログラムや制御部10が各部を制御するための制御プログラム、例えば楽曲データコンテンツ等の音声再生出力やディジタル放送された楽曲データ等の音声再生出力などのような音声再生出力管理及び制御を行う音声再生管理及び制御プログラム、本発明に係る後述の音漏れ検出及び音漏れ是正措置のための通知や制御等の処理を実行するためのプログラム(音漏れ検出及び制御プログラム)を含む各種のアプリケーションプログラム、圧縮符号化された楽曲データコンテンツや動画像データコンテンツの他、各種の初期設定値、フォントデータ、各辞書データ、機種名情報や端末識別情報などをも記憶する。RAMは、制御部10が各種のデータ処理を行う際の作業領域として、随時データを格納する。また、メモリ部16は、着脱可能な外部メモリカードや小型のハードディスクドライブを含んでいてもよい。なお、本実施形態において、当該メモリ部16のコンテンツ蓄積部18には、圧縮符号化された楽曲データコンテンツや動画像データコンテンツ等が蓄積される。当該コンテンツ蓄積部18に蓄積される楽曲データコンテンツや動画像データコンテンツは、通信回線を介して取得したものやディジタル放送受信部38により受信したものの他、外部メモリカードに保存されたものも含まれる。また、メモリ部16のプログラム蓄積部17には、本実施形態の音漏れ検出及び制御プログラムを含む各種のアプリケーションプログラムが蓄積される。また、音漏れ検知用パラメータ格納部19には、後述する音漏れ検出及び音漏れ是正措置のための通知や制御等の処理の実行の際に使用される「音漏れし易い音声周波数」の情報や、ヘッドフォン33と外部マイクロフォン34との間の空間的な距離に応じた「音声到達遅延時間」の情報、音漏れ是正措置を必要とする「最低音量」の情報などが、音漏れ検知用パラメータとして格納されている。抽出・変換後再生音声データ格納部20は、後述する音漏れ検出の際に、楽曲やディジタル放送の音声データから「音漏れし易い音声周波数」部分が抽出されて且つそれに音声到達遅延時間が加味された音声データ(抽出・変換後再生音声データ)を一時的に格納するために用意されている。
The
上記制御部10は、通信回路11における通信の制御、音声処理部35や画像処理部36、ディジタル放送受信部38等の各部の制御を行う。特に、本実施形態の場合、詳細については後述するが、制御部10は、上記メモリ部16のプログラム蓄積部17に蓄積されている音漏れ検出及び制御プログラムを実行することにより、音楽等の音声を外部オーディオ端子32を介してヘッドフォン33から出力する場合に、そのヘッドフォン33からの不要な音漏れの検出とそれに対する是正措置のための通知や制御等の処理を実行する。
The
その他、図1には図示を省略しているが、本発明の携帯電話端末は、写真画像の撮影のためのディジタルカメラ部、キー照明や着信ライト用などのLED(発光ダイオード)とその駆動部、各部へ電力を供給するバッテリとその電力をコントロールするパワーマネージメントIC部、いわゆるブルートゥース方式(Bluetooth:登録商標)やUWB(Ultra Wide Band)方式、無線LAN(Local Area Network)などによる近距離無線通信を行うための近距離無線通信部、いわゆる電子マネーのための情報記憶と信号の送受信を行う電子財布部、GPS(Global Positioning System)通信部、外部メモリ用スロットなど、一般的な携帯電話端末に設けられる各構成要素についても備えている。 In addition, although not shown in FIG. 1, the mobile phone terminal of the present invention includes a digital camera unit for taking a photographic image, an LED (light emitting diode) for key illumination and incoming light, and its driving unit. , A battery that supplies power to each unit, and a power management IC unit that controls the power, so-called Bluetooth method (Bluetooth: registered trademark), UWB (Ultra Wide Band) method, wireless LAN (Local Area Network), etc. For general mobile phone terminals such as short-range wireless communication units for information processing, electronic wallets for information storage and transmission / reception of signals for electronic money, GPS (Global Positioning System) communication units, external memory slots, etc. It is provided also about each component provided.
〔音漏れ検出及び音漏れ是正措置の通知,制御の説明〕
以下、本実施形態の携帯電話端末において、音漏れ検出及び音漏れ是正措置のための通知と制御について、前述の図1の構成と図2〜図4のフローチャートを用いて説明する。なお、図2〜図4のフローチャートに示す処理は、本実施形態の携帯電話端末のメモリ部16のプログラム蓄積部17に格納された本実施形態の音声再生管理及び制御プログラムと音漏れ検出及び制御プログラムを、上記制御部10が実行することにより実現される処理である。
[Sound leak detection, sound leak corrective action notification, control explanation]
Hereinafter, notification and control for sound leakage detection and sound leakage correction measures in the mobile phone terminal of the present embodiment will be described using the configuration of FIG. 1 and the flowcharts of FIGS. Note that the processing shown in the flowcharts of FIGS. 2 to 4 includes the sound reproduction management and control program and sound leakage detection and control of this embodiment stored in the
〔各パラメータの概要〕
先ず、本実施形態において、例えば携帯電話端末の製品製造段階では、「音声到達遅延時間」と「音漏れし易い音声周波数」と「最低音量」の各パラメータの決定及びそれらパラメータがメモリ部16の音漏れ検知用パラメータ格納部19へ格納される。
[Outline of each parameter]
First, in the present embodiment, for example, in the product manufacturing stage of a mobile phone terminal, the parameters of “sound arrival delay time”, “sound frequency that is likely to leak sound”, and “minimum volume” are determined and those parameters are stored in the
上記「音声到達遅延時間」のパラメータは、実使用時におけるヘッドフォン33と外部マイクロフォン34との間の距離を元に予め決定される情報であり、具体的には、ヘッドフォン33から音楽等の音声出力が行われた場合に、当該ヘッドフォン33から漏れ出た音が外部マイクロフォン34へ到達するまでの時間情報である。すなわち、或る音がヘッドフォン33から出力されて外部マイクロフォン34にて検知される場合、その音がヘッドフォン33から出力された時刻と当該音が外部マイクロフォン34に到達した時刻との差分が上記「音声到達遅延時間」として決定される。この「音声到達遅延時間」のパラメータは、当該携帯電話端末の製品製造段階で決められ、メモリ部16の音漏れ検知用パラメータ格納部19に格納される。
The “sound arrival delay time” parameter is information determined in advance based on the distance between the
なお、上述の説明では、製品製造段階で「音声到達遅延時間」を決めておく例について述べているが、本実施形態の携帯電話端末は、実使用時にヘッドフォン33と外部マイクロフォン34との間の距離が変化するような場合に、それらの距離の変化を検知し、その検知した距離を元にして「音声到達遅延時間」を適宜求める機能を備えていても良い。このような機能を実現する場合の一例としては、ヘッドフォン33と外部マイクロフォン34のコードが巻き取り式となされており、実使用時には当該コードの巻き取り,引き出しによってそれらヘッドフォン33と外部マイクロフォン34との間の距離が変化するような場合において、例えばコードの巻き取り量や引き出し量によりそれらヘッドフォン33と外部マイクロフォン34との間の距離を計測し、当該計測した距離の情報に基づいて「音声到達遅延時間」を適宜計算するような処理を挙げることができる。その他にも、一例として気圧や湿度,温度などによって「音声到達遅延時間」が変動するような場合には、携帯電話端末に気圧計や湿度計,温度計などを設け、それらの計測値に応じて上記「音声到達遅延時間」を適宜計算するような処理を行っても良い。
In the above description, an example in which the “voice arrival delay time” is determined at the product manufacturing stage is described. However, the mobile phone terminal according to the present embodiment is provided between the
上記「音漏れし易い音声周波数」のパラメータは、ヘッドフォン33の実使用状態、つまり例えばユーザの耳に挿入された実使用状態において、当該ヘッドフォン33から漏れ出し易い(耳から外へ漏れ易い)音声周波数帯を表す情報である。ここで、ユーザの耳に挿入された状態のヘッドフォン33から外部へ漏れ出し易い音声周波数帯は、実際には可成り広帯域となるが、特に、周囲の人が耳障りに感ずる音は高周波数帯域の音(高い音)である。このため、本実施形態では、一例として4kHz以上の高い周波数を上記「音漏れし易い音声周波数」として決定する。この「音漏れし易い音声周波数」のパラメータは、当該携帯電話端末の製品製造段階で決められ、メモリ部16の音漏れ検知用パラメータ格納部19に格納される。
The parameter “sound frequency at which sound leaks easily” is a sound that is likely to leak out from the headphone 33 (easy to leak out from the ear) when the
なお、上記4kHzは一例であり、それ以上或いはそれ以下の周波数帯であっても良い。また、上述の説明では、製品製造段階で「音漏れし易い音声周波数」を決めておく例について述べているが、一例として、ヘッドフォン33から外部へ漏れ出す音の音量や周囲の環境音の音量によって、周囲の人が耳障りと感じる音の周波数が変化するような場合には、それら漏れ出し音や周囲環境音の音量に基づいて上記「音漏れし易い音声周波数」を適宜変更するようにしても良い。
The above 4 kHz is an example, and may be a frequency band higher or lower. In the above description, an example is described in which the “voice frequency at which sound leaks easily” is determined at the product manufacturing stage. As an example, the volume of sound leaking from the
上記「最低音量」のパラメータは、本実施形態の携帯電話端末において音漏れ検知及び音漏れ是正の機能を動作させるか否か(機能を「有効」に設定するか否か)を決定するための情報であり、具体的には、90dBが閾値として設定され、ヘッドフォン33から出力される音の音量が、上記閾値以上の音量である場合には上記音漏れ検知及び音漏れ是正の機能を動作させ、一方、上記閾値より低い音量である場合には音漏れ検知及び音漏れ是正の機能を動作させないように制御するための情報である。すなわち、ヘッドフォン33から出力される音の音量が非常に小さく、音漏れにより周囲の人に不快な思いをさせることがないと判断できる場合には、音漏れ検知及び音漏れ是正の機能を動作させないことで、ヘッドフォン33からの音楽を聴いている本人がその音楽に集中できるようにする。この「最低音量」のパラメータは、当該携帯電話端末の製品製造段階で決められ、メモリ部16の音漏れ検知用パラメータ格納部19に格納される。
The “minimum volume” parameter determines whether to operate the sound leakage detection and sound leakage correction function (whether the function is set to “valid”) in the mobile phone terminal of the present embodiment. Specifically, when 90 dB is set as a threshold and the volume of sound output from the
なお、ヘッドフォン33から外部へ漏れ出す音が周囲の人に不快感を与えるかどうかは、その際の周囲の環境音の音量により変化するため、周囲環境音の音量に基づいて上記「最低音量」を適宜変更するようにしても良い。すなわち上述の説明では、製品製造段階で「最低音量」を決めておく例について述べているが、一例として、周囲環境音の音量が非常に大きい場合には上記「最低音量」の閾値を上げるように変更し、逆に、周囲環境音の音量が非常に小さい場合には上記「最低音量」の閾値を下げるように変更するようにしても良い。
Note that whether or not the sound leaking from the
その他、周囲環境音については、外部マイクロフォン34だけでなく、内蔵マイクロフォン31にて取得しても良い。
In addition, the ambient sound may be acquired not only by the
〔処理フローの説明〕
次に、本実施形態の携帯電話端末において、外部オーディオ端子32にヘッドフォン33及び外部マイクロフォン34が接続され、上記ヘッドフォン33から音楽等の音声出力を行う実使用時、制御部10は、メモリ部16のプログラム蓄積部17に格納された本実施形態の音声再生管理及び制御プログラムを実行することにより、図2のフローチャートに示すような音声再生関連処理を実行する。また、音声再生処理を実行する際、制御部10は、メモリ部16のプログラム蓄積部17に格納された本実施形態の音漏れ検出及び制御プログラムを実行することにより、図3及び図4のフローチャートに示すような音漏れ検出及び音漏れ是正関連処理を実行する。
[Explanation of processing flow]
Next, in the mobile phone terminal of the present embodiment, the
〔音声再生処理フロー〕
本実施形態の携帯電話端末において、音声再生管理及び制御プログラムが起動し、例えばメニュー選択画面に表示された複数のメニュー項目の中から、ユーザにより、複数の音楽ファイルの中から所望の音楽ファイルを選んで再生するメニュー項目の選択が行われたとすると、制御部10は、先ず図2のフローチャートのステップS1の処理として、メモリ部16のコンテンツ蓄積部18に蓄積されている全楽曲データコンテンツに対応した音楽ファイルのリストを取得し、次いでステップS2の処理として、画像処理部36を制御して、上記音楽ファイルリストの画像を生成させ、その音楽ファイルリストの画像を表示部13のディスプレイ画面上に表示させる。
[Audio playback processing flow]
In the mobile phone terminal according to the present embodiment, the voice reproduction management and control program is activated, and for example, a user selects a desired music file from a plurality of music files from a plurality of menu items displayed on the menu selection screen. Assuming that the menu item to be selected and played is selected, the
次に、制御部10は、操作部14を介してユーザが上記音楽ファイルリストの中から所望の音楽ファイルを選択し、さらに操作部14を介してユーザがその音楽ファイルの再生開始指示を入力すると、ステップS3の処理として、当該ユーザにより選択された音楽ファイルに対応した楽曲データコンテンツを上記コンテンツ蓄積部18から読み出し、音声処理部35を制御して当該楽曲データコンテンツの伸張復号化を行わせることにより、上記音楽ファイルの再生処理を開始させる。
Next, when the user selects a desired music file from the music file list via the
そして、制御部10は、ステップS4の処理として、音声処理部35を制御することにより、上記音楽ファイルの再生処理を実行させると共に、その再生音楽のデータを外部オーディオ端子32を通じてヘッドフォン33へ送る。これにより、ヘッドフォン33からは上記再生音楽が出力されることになり、ユーザは、上記所望の音楽ファイル(楽曲データコンテンツ)の音楽を楽しむことが可能となる。
Then, the
さらに、制御部10は、上記ステップS4の処理を実行中、ステップS5の処理として当該音楽ファイルの再生が終了したか、若しくは制御部14を通じてユーザから再生終了等の指示が入力されたか否か判断しており、当該音楽ファイルの再生が終了したか若しくはユーザから再生終了等の指示入力がなされた時には図2のフローチャートの処理を終了する。
Furthermore, the
〔音漏れ対策フロー(再生音声側処理)〕
また、図2に示したフローチャートの処理がスタートした時、制御部10は、少なくとも図2のステップS3の処理以前に、図3のフローチャートのステップS11の処理として、例えばヘッドフォン33から音楽等を出力する際に音漏れ対策のための機能(音漏れ検出及び音漏れ是正の機能)を有効にしておく設定が予めなされているか否か判定し、音漏れ対策設定がON(有効)になされていると判定した場合にのみステップS12以降へ処理を進め、それ以外の場合にはこの図3のフローチャートの処理を終了する。
[Sound Leakage Countermeasure Flow (Playback Audio Processing)]
When the process of the flowchart shown in FIG. 2 is started, the
ステップS11において、音漏れ対策設定がON(有効)になされていると判定されてステップS12の処理に進むと、制御部10は、メモリ部16の音漏れ検知用パラメータ格納部19から「最低音量」のパラメータを読み出すと共に、携帯電話端末の現在の音声出力用のボリュームの現在の設定値から、当該現在のボリューム設定による出力音量が「最低音量」の閾値以上になるか否か判定する。当該ステップS12の判定処理により、現在のボリューム設定による出力音量が上記「最低音量」の閾値より低いと判定された場合、そのボリューム設定にて音声出力がなされたとしても音漏れにより周囲の人に不快な思いをさせることが少ないと考えられるため、制御部10は、当該図3のフローチャートの処理を終了する。一方、当該ステップS12の判定処理により、現在のボリューム設定による出力音量が上記「最低音量」の閾値以上であると判定された場合には、そのボリューム設定にて音声出力がなされると音漏れにより周囲の人に不快な思いをさせる可能性があるため、制御部10は、ステップS13以降へ処理を進める。
When it is determined in step S11 that the sound leakage countermeasure setting is ON (valid) and the process proceeds to step S12, the
ステップS13の処理に進むと、制御部10は、音楽ファイルの再生処理を実行すること、すなわち図2のフローチャートのステップS4の処理を行う。
When the process proceeds to step S13, the
また、制御部10は、ステップS13の処理が開始されると、ステップS14の処理として、メモリ部16の音漏れ検知用パラメータ格納部19から「音漏れし易い周波数」のパラメータを読み出し、当該「音漏れし易い音声周波数」のパラメータを基に、ステップS13での音楽ファイル再生処理による再生音声データから、上記「音漏れし易い音声周波数」部分を抽出する処理を行う。
Further, when the process of step S13 is started, the
次に、制御部10は、ステップS15の処理として、メモリ部16の音漏れ検知用パラメータ格納部19から「音声到達遅延時間」のパラメータを読み出し、上記ステップS14の処理により得られた抽出音声データに対して当該「音声到達遅延時間」を加味した時間変換処理、つまり抽出音声データに付随する時刻情報を上記「音声到達遅延時間」分だけ遅延させる時間変換処理を行う。
Next, as the process of step S15, the
そして、制御部10は、ステップS16の処理として、上記ステップS15による時間変換処理後の抽出音声データ(抽出・変換後再生音声データ)を、メモリ部16の抽出・変換後再生音声データ格納部20へ格納する。なお、当該抽出・変換後再生音声データ格納部20へ格納されるデータは、最新の一定時間分の抽出・変換後再生音声データのみとし、古いデータについては新しいデータにより上書きされるようにすることが望ましい。すなわち、抽出・変換後再生音声データを全て格納するようなことを行うと、メモリ部16の容量を圧迫してしまうことになるため、後述する図4のフローチャートのステップS26にて周辺音声データとの比較により音漏れ対策を実行するか否か判断するために必要な或る一定時間分のデータだけを格納するようにして、メモリ部16の容量を無駄に消費してしまわないようにすることが望ましい。
Then, as the process of step S16, the
この図3に示したフローチャートの処理は、図2のフローチャートのステップS5において、当該音楽ファイルの再生が終了したか、若しくは制御部14を通じてユーザから再生終了等の指示が入力されるまで繰り返されることになる。
The processing of the flowchart shown in FIG. 3 is repeated until playback of the music file is completed or an instruction to finish playback is input from the user through the
なお、図3のフローチャートにおいて、ステップS14とステップS15の処理は何れが先に行われても良い。すなわち、再生音声データに対して先に時間変換処理を行い、その後、周波数部分の抽出を行うようにしても良い。 In the flowchart of FIG. 3, either of the processes of step S14 and step S15 may be performed first. That is, the time conversion process may be performed on the reproduced audio data first, and then the frequency portion may be extracted.
〔音漏れ対策フロー(周辺音声側処理)〕
また、制御部10は、図3のフローチャートの処理の実行と並行して、図4のフローチャートの処理を実行する。なお、図4のフローチャートのステップS21,ステップS22は、図3のフローチャートのステップS11,ステップS12と同じ処理で且つ同時に行われる処理であり、それらステップS11,ステップS12とは別に行われる処理ではないが、説明の都合上、図4ではステップS21,ステップS22として記述している。
[Sound leakage countermeasure flow (peripheral voice side processing)]
Further, the
図4のフローチャートにおいて、制御部10は、少なくとも図2のステップS3の処理以前に、図4のフローチャートのステップS21の処理として、例えばヘッドフォン33から音楽等を出力する際に音漏れ対策のための機能(音漏れ検出及び音漏れ是正の機能)を有効にしておく設定が予めなされているか否か判定し、音漏れ対策設定がON(有効)になされていると判定した場合にのみステップS22以降へ処理を進め、それ以外の場合にはこの図4のフローチャートの処理を終了する。
In the flowchart of FIG. 4, the
また、ステップS21において、音漏れ対策設定がON(有効)になされていると判定されてステップS22の処理に進むと、制御部10は、メモリ部16の音漏れ検知用パラメータ格納部19から「最低音量」のパラメータを読み出すと共に、携帯電話端末の現在の音声出力用のボリュームの現在の設定値から、当該現在のボリューム設定による出力音量が「最低音量」の閾値以上になるか否か判定し、当該ステップS22の判定処理により、現在のボリューム設定による出力音量が上記「最低音量」の閾値より低いと判定された場合には当該図4のフローチャートの処理を終了し、一方、現在のボリューム設定による出力音量が上記「最低音量」の閾値以上であると判定された場合にはステップS23以降へ処理を進める。
Further, when it is determined in step S21 that the sound leakage countermeasure setting is ON (valid) and the process proceeds to step S22, the
ステップS23の処理に進むと、制御部10は、外部マイクロフォン34を有効(ON)に設定した後、ステップS24へ処理を進める。
In step S23, the
ステップS24の処理に進むと、制御部10は、上記外部マイクロフォン34により取得された周辺の音声データを取り込み、ステップS25へ処理を進める。
When the process proceeds to step S24, the
ステップS25の処理に進むと、制御部10は、メモリ部16の音漏れ検知用パラメータ格納部19から「音漏れし易い周波数」のパラメータを読み出し、当該「音漏れし易い音声周波数」のパラメータを基に、上記ステップS24で外部マイクロフォン34により取得した周辺音声データから、上記「音漏れし易い音声周波数」部分を抽出する処理を行う。
When the processing proceeds to step S25, the
次に、制御部10は、ステップS26の処理として、メモリ部16の抽出・変換後再生音声データ格納部20に格納されている抽出・変換後再生音声データの中から、上記外部マイクロフォン34が取得した周辺音声の中に含まれている再生音声(音漏れした再生音声)と同じ時間情報を持ったデータ、つまりヘッドフォン33から出力されて外部マイクロフォン34へ到達するまでの遅延時間分が加味された抽出・変換後再生音声データを読み出し、上記ステップS25により得られた抽出後周辺音声データに上記抽出・変換後再生音声データが含まれているか否か分析する。なお、当該分析処理は、一例として、両データのパターンマッチング等による一致判定処理により実現することができる。
Next, in step S26, the
そして、制御部10は、ステップS26にて上記抽出後周辺音声データに抽出・変換後再生音声データが含まれていると判定した場合、すなわち、外部マイクロフォン34が集積した周辺音声の中に、ヘッドフォン33から外部へ漏れ出した音漏れし易い周波数部分で且つヘッドフォン33から外部マイクロフォン34までの到達遅延時間を加味した音声成分が含まれていると判定した場合には、音漏れが発生していると判断し、ステップS27へ処理を進める。
If the
ステップS27の処理に進むと、制御部10は、音漏れしている状態を改善するための音漏れ対策処理を行う。具体的には、ヘッドフォン33から出力される音量を音漏れしないレベルまで自動的に下げる処理や、音漏れし易い周波数部分を自動的に減衰させる処理、音漏れにより外部へ漏れる再生音声波形に対して逆位相の音声波形をヘッドフォン33にて発生させる処理、音漏れ状態である旨を表示部13の画面表示させたり、アラーム音の出力やバイブレータ37の振動などにより、ユーザが認識できるように通知するなどの処理を行う。なお、画面表示やアラーム音出力,バイブレータ振動などによるユーザへの通知は、当該ユーザ自身による音漏れ是正措置(例えばボリュームを操作して音量を下げるなど)を促すための通知となされる。これにより、本実施形態の携帯電話端末では、音漏れ状態を改善することができることになる。
When the processing proceeds to step S27, the
この図4に示したフローチャートの処理は、図2のフローチャートのステップS5において、当該音楽ファイルの再生が終了したか、若しくは制御部14を通じてユーザから再生終了等の指示が入力されるまで繰り返されることになる。
The processing of the flowchart shown in FIG. 4 is repeated until playback of the music file is completed or an instruction to finish playback is input from the user through the
なお、本実施形態では、図3のステップS16にて上記抽出・変換後再生音声データを抽出・変換後再生音声データ格納部20に一旦格納し、図4のステップS26にて上記抽出・変換後再生音声データ格納部20から読み出した抽出・変換後再生音声データと、抽出後周辺音声データとの比較を行うようにしているが、例えば、図3のステップS15における時間変換処理をディレイ回路による時間遅延処理とし、当該ディレイ回路にて時間遅延された再生音声データと上記抽出後周辺音声データとを直接比較することで、音声データの一時的な格納を行わないようにしても良い。
In this embodiment, the extracted / converted playback audio data is temporarily stored in the extracted / converted playback audio
〔まとめ〕
以上説明したように、本発明実施形態の携帯電話端末においては、ヘッドフォン33を用いて音楽等の音声を出力する場合、外部マイクロフォン34にて周辺の音声を監視し、当該外部マイクロフォン34にて集積した周辺音声の中に、ヘッドフォン33から漏れ出した音声が含まれているか否かの音漏れ検知を行い、音漏れが検知された時には、その音漏れを是正するための対策処理を行うか、若しくはユーザに音漏れを是正する措置を求めるようにしている。これにより、本実施形態の携帯電話端末によれば、ヘッドフォンからの音漏れにより周囲の人に不快感を与えてしまう状態になることを防止でき、また、ヘッドフォンで音楽等を聴いている本人が気づき難い音漏れを本人自身に容易に気づかせて、音漏れの是正措置を取り易くなっている。
[Summary]
As described above, in the mobile phone terminal according to the embodiment of the present invention, when sound such as music is output using the
なお、上述した本発明の各実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。 The above description of each embodiment of the present invention is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and it is needless to say that various modifications can be made according to the design or the like as long as the technical idea according to the present invention is not deviated.
本実施形態の音声処理装置は、携帯電話端末に限定されず、楽曲データコンテンツの保存及び再生機能を備えたPDA(Personal Digital Assistant)やパーソナルコンピュータ、携帯型テレビゲーム装置、携帯型ディジタルテレビジョン受信機、カーナビゲーション装置など様々な端末や、据え置き型の動画像再生装置などにも適用可能である。 The audio processing apparatus according to the present embodiment is not limited to a mobile phone terminal, and a PDA (Personal Digital Assistant), a personal computer, a portable video game apparatus, and a portable digital television reception having a music data content storage and playback function. The present invention can also be applied to various terminals such as mobile devices and car navigation devices, and stationary moving image playback devices.
10 制御部、11 通信回路、12 通信アンテナ、13 表示部、14 操作部、15 時計部、16 メモリ部、17 プログラム蓄積部、18 コンテンツ蓄積部、19 音漏れ検知用パラメータ格納部、20 抽出・変換後再生音声データ格納部、30 スピーカ、31 マイクロホン、32 外部オーディオ端子、33 ヘッドフォン、34 外部マイクロフォン、35 音声処理部、36 画像処理部、37 バイブレータ、38 ディジタル放送受信部、39 ディジタル放送受信用のアンテナ
DESCRIPTION OF
Claims (7)
耳に装着された状態のヘッドフォンから外部へ漏れだした音声を検出する処理を実行する音漏れ検出部と、
上記音漏れ検出部により上記ヘッドフォンから外部への音声の漏れだしが検出された時、所定の音漏れ是正処理を実行する音漏れ是正処理部とを有する、
ことを特徴とする音声処理装置。 An audio data supply unit for supplying audio data to the headphones;
A sound leak detection unit that performs processing for detecting sound leaked to the outside from the headphones worn in the ear;
A sound leakage correction processing unit that executes a predetermined sound leakage correction process when the sound leakage detection unit detects leakage of sound from the headphones to the outside,
A speech processing apparatus characterized by that.
上記ヘッドフォンへ供給される音声データに対して、所定の周波数部分の抽出処理、及び、当該ヘッドフォンから外部へ漏れだした音声が上記マイクロフォンへ到達するまでの到達遅延時間分を加味する時間変換処理を行う音声抽出変換部と、
周辺音声を取得して音声データに変換するマイクロフォンより供給された音声データから上記所定の周波数部分を抽出する処理を行う周辺音声抽出部と、
上記周辺音声抽出部による上記抽出処理後の音声データと、上記音声抽出変換部による上記抽出処理及び時間変換処理後の音声データとの一致判定を行い、両音声データが略々一致したと判定した時に、上記耳に装着された状態のヘッドフォンから外部へ音声の漏れだしが発生していることを検出する一致判定部とを有することを特徴とする請求項1記載の音声処理装置。 The sound leak detection unit
Extraction processing of a predetermined frequency portion from the audio data supplied to the headphones, and time conversion processing that takes into account the arrival delay time until the sound leaked from the headphones to the microphone reaches the microphone A voice extraction conversion unit to perform,
A peripheral sound extraction unit that performs processing of extracting the predetermined frequency portion from the sound data supplied from the microphone that acquires the peripheral sound and converts it into sound data;
The voice data after the extraction process by the peripheral voice extraction unit and the voice data after the extraction process and the time conversion process by the voice extraction conversion unit are determined to match, and it is determined that the two voice data are substantially matched. 2. The audio processing apparatus according to claim 1, further comprising: a coincidence determination unit that detects that audio leaks from the headphones attached to the ear to the outside.
上記音漏れ是正処理部は、使用者に対して所定の音漏れ是正措置を求めるための通知を上記通知部に行わせることを、上記音漏れ是正処理として実行することを特徴とする請求項1記載の音声処理装置。 It has a notification unit for making notifications recognizable by the user,
2. The sound leak correction processing unit, as the sound leak correction process, causes the notification unit to make a notification for requesting a user for a predetermined sound leak correction measure. The speech processing apparatus according to the description.
耳に装着された状態のヘッドフォンから外部へ漏れだした音声を、音漏れ検出部が検出するステップと、
上記音漏れ検出部により上記ヘッドフォンから外部への音声の漏れだしが検出された時、音漏れ是正処理部が、所定の音漏れ是正処理を実行するステップとを有する、
ことを特徴とする音声処理方法。 An audio data supply unit supplying audio data to the headphones;
A step in which the sound leak detection unit detects the sound leaked to the outside from the headphones worn in the ear; and
A sound leakage correction processing unit that executes a predetermined sound leakage correction process when the sound leakage detection unit detects a leakage of sound from the headphones to the outside.
And a voice processing method.
耳に装着された状態のヘッドフォンから外部へ漏れだした音声を検出する処理を実行する音漏れ検出部と、
上記音漏れ検出部により上記ヘッドフォンから外部への音声の漏れだしが検出された時、所定の音漏れ是正処理を実行する音漏れ是正処理部とを有する、
ことを特徴とする携帯端末。 An audio data supply unit for supplying audio data to the headphones;
A sound leak detection unit that performs processing for detecting sound leaked to the outside from the headphones worn in the ear;
A sound leakage correction processing unit that executes a predetermined sound leakage correction process when the sound leakage detection unit detects leakage of sound from the headphones to the outside,
A portable terminal characterized by that.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007206164A JP2009044365A (en) | 2007-08-08 | 2007-08-08 | Voice processor and processing method, mobile terminal |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007206164A JP2009044365A (en) | 2007-08-08 | 2007-08-08 | Voice processor and processing method, mobile terminal |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009044365A true JP2009044365A (en) | 2009-02-26 |
Family
ID=40444641
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007206164A Pending JP2009044365A (en) | 2007-08-08 | 2007-08-08 | Voice processor and processing method, mobile terminal |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009044365A (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012244522A (en) * | 2011-05-23 | 2012-12-10 | Yamaha Corp | Sound reproduction control apparatus |
WO2023045697A1 (en) * | 2021-09-22 | 2023-03-30 | 歌尔股份有限公司 | Sound leakage test device and test method |
WO2024024412A1 (en) * | 2022-07-26 | 2024-02-01 | ソニーグループ株式会社 | Audio processing device, information processing method, and earpiece |
-
2007
- 2007-08-08 JP JP2007206164A patent/JP2009044365A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012244522A (en) * | 2011-05-23 | 2012-12-10 | Yamaha Corp | Sound reproduction control apparatus |
WO2023045697A1 (en) * | 2021-09-22 | 2023-03-30 | 歌尔股份有限公司 | Sound leakage test device and test method |
WO2024024412A1 (en) * | 2022-07-26 | 2024-02-01 | ソニーグループ株式会社 | Audio processing device, information processing method, and earpiece |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2007520943A (en) | Extended use of phones in noisy environments | |
JP2009267877A (en) | Portable telephone | |
JP5702251B2 (en) | Portable electronic device, audio output method and audio output program | |
JP2009044365A (en) | Voice processor and processing method, mobile terminal | |
JP2013048387A (en) | Portable electronic apparatus, voice output method, and voice output program | |
KR100705163B1 (en) | portable termial and signal transmission method for service the background music | |
KR20090027817A (en) | Method for output background sound and mobile communication terminal using the same | |
JP2003110666A (en) | Electronic equipment | |
JP5726446B2 (en) | Portable electronic devices | |
JP2006197509A (en) | Mobile terminal with broadcasting wave receiving function | |
KR100678119B1 (en) | Method for replaying music file in wireless terminal | |
JP2006135634A (en) | Portable mobile communication terminal device and silent mode setting method | |
JP2006180122A (en) | Mobile terminal and its state indicating method, and computer program of mobile terminal | |
KR101091245B1 (en) | Method for limiting receipt notice in alarm mode of wireless terminal | |
JP2009018257A (en) | Vibrator driving circuit and potable terminal | |
KR100752599B1 (en) | Method for restoring the bass band of the received voice in mobile terminal | |
JP5535034B2 (en) | Portable electronic device and voice control system | |
KR100790147B1 (en) | Apparatus and method for outputting audio file in a wireless mobile terminal | |
JP2009027578A (en) | Information reproduction apparatus and method | |
KR20030034725A (en) | Apparatus and method for automatically adjusting arrival of the bell by surrounding noise degree in wireless telecommunication terminal | |
JP2009188987A (en) | Communication terminal device | |
JP2006013838A (en) | Mobile phone | |
KR20040095411A (en) | Apparatus and method for vibration mode conversion by surrounding noise degree in mobile communication terminal | |
KR20090011154A (en) | Mobile terminal and method for executing conditional manner mode | |
KR20060007089A (en) | Method for editing bell sound in mobile communication terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20091002 |