JP2017530413A - Sound processing apparatus having low latency - Google Patents

Sound processing apparatus having low latency Download PDF

Info

Publication number
JP2017530413A
JP2017530413A JP2017518156A JP2017518156A JP2017530413A JP 2017530413 A JP2017530413 A JP 2017530413A JP 2017518156 A JP2017518156 A JP 2017518156A JP 2017518156 A JP2017518156 A JP 2017518156A JP 2017530413 A JP2017530413 A JP 2017530413A
Authority
JP
Japan
Prior art keywords
rate
audio
digital
signal
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017518156A
Other languages
Japanese (ja)
Inventor
アミット クマール,
アミット クマール,
トーマス イルギャング,
トーマス イルギャング,
クドン ザオ,
クドン ザオ,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Avnera Corp
Original Assignee
Avnera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avnera Corp filed Critical Avnera Corp
Publication of JP2017530413A publication Critical patent/JP2017530413A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1781Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions
    • G10K11/17821Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase characterised by the analysis of input or output signals, e.g. frequency range, modes, transfer functions characterised by the analysis of the input signals only
    • G10K11/17827Desired external signals, e.g. pass-through audio such as music or speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17855Methods, e.g. algorithms; Devices for improving speed or power requirements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1785Methods, e.g. algorithms; Devices
    • G10K11/17853Methods, e.g. algorithms; Devices of the filter
    • G10K11/17854Methods, e.g. algorithms; Devices of the filter the filter being an adaptive filter
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17879General system configurations using both a reference signal and an error signal
    • G10K11/17881General system configurations using both a reference signal and an error signal the reference signal being an acoustic signal, e.g. recorded with a microphone
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G10K11/1787General system configurations
    • G10K11/17885General system configurations additionally using a desired external signal, e.g. pass-through audio such as music or speech
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30Means
    • G10K2210/301Computational
    • G10K2210/3051Sampling, e.g. variable rate, synchronous, decimated or interpolated

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

低レイテンシを有するオーディオシステムは、デジタルオーディオプロセッサと、該プロセッサに連結されたセンサ入力部とを含む。センサ入力部は、マイクロホン入力部である。オーディオプロセッサは、センサ入力部と同じ周波数で動作する。それは、オーディオプロセッサに供給されるオーディオ信号よりも一般的にはるかに高い。いくつかの態様では、オーディオプロセッサはノイズキャンセレーション処理装置として動作し、オーディオ入力部を含まない。【選択図】図4An audio system having low latency includes a digital audio processor and a sensor input coupled to the processor. The sensor input unit is a microphone input unit. The audio processor operates at the same frequency as the sensor input. It is generally much higher than the audio signal supplied to the audio processor. In some aspects, the audio processor operates as a noise cancellation processor and does not include an audio input. [Selection] Figure 4

Description

本開示は、音響処理装置に関する。より具体的には、リアルタイムまたはほぼリアルタイムで動作することができる再構成可能な音響処理装置に関する。   The present disclosure relates to a sound processing apparatus. More specifically, the present invention relates to a reconfigurable sound processing apparatus that can operate in real time or near real time.

一般に、リスニング環境に存在するノイズは、ヘッドホンを介して音声を聞く経験にほとんど常に悪影響を与える。例えば、飛行機のキャビンでは、飛行機からのノイズは、望ましくない音波、すなわち、オーディオプログラムに加えて、リスナーの耳に伝わるノイズを生成する。他の例として、オフィスまたは家のコンピュータおよび空調のノイズ、公的または私的輸送における車両および乗客のノイズ、または他の騒々しい環境が挙げられる。   In general, noise present in the listening environment almost always adversely affects the experience of listening to sound through headphones. For example, in an airplane cabin, noise from the airplane generates unwanted sound waves, ie, noise transmitted to the listener's ear in addition to the audio program. Other examples include office or home computer and air conditioning noise, vehicle and passenger noise in public or private transportation, or other noisy environments.

リスナーが受けるノイズの量を低減する努力において、ノイズ低減の2つの主要なスタイルが開発されており、それは、パッシブノイズリダクションとアクティブノイズキャンセレーションである。パッシブノイズリダクションとは、一般的にヘッドホンやイヤープラグなどの物理的な障壁を耳腔とノイズの多い外部環境との間に置くことによってもたらされるノイズの低減である。低減されるノイズの量は、障壁の品質に依存する。一般に、より多くの質量を有するノイズリダクションヘッドホンは、より高いパッシブノイズリダクションを提供する。しかし、大型で重いヘッドホンを長時間着用するのは不快である。所定のヘッドホンでは、パッシブノイズリダクションは、より高周波数のノイズを低減するためにはより効果的に作用するが、低周波数はパッシブノイズリダクションシステムを通過する可能性がある。   In an effort to reduce the amount of noise experienced by listeners, two major styles of noise reduction have been developed: passive noise reduction and active noise cancellation. Passive noise reduction is the reduction of noise typically caused by placing a physical barrier such as headphones or ear plugs between the ear cavity and the noisy external environment. The amount of noise that is reduced depends on the quality of the barrier. In general, noise reduction headphones with more mass provide higher passive noise reduction. However, wearing large, heavy headphones for a long time is uncomfortable. For a given headphone, passive noise reduction works more effectively to reduce higher frequency noise, but low frequencies can pass through the passive noise reduction system.

アクティブノイズキャンセレーション(ANC)とも呼ばれるアクティブノイズリダクションシステムとは、ヘッドホンスピーカを介してアンチノイズ信号を再生することによって達成されるノイズの低減である。アンチノイズ信号は、ANCがない場合に耳腔内に存在するノイズ信号の負の近似値として生成される。ノイズ信号は、アンチノイズ信号と組み合わせたときに相殺される。   An active noise reduction system, also called active noise cancellation (ANC), is the reduction of noise achieved by playing an anti-noise signal through a headphone speaker. The anti-noise signal is generated as a negative approximation of the noise signal present in the ear cavity when there is no ANC. The noise signal is canceled when combined with the anti-noise signal.

一般的なノイズキャンセレーションプロセスでは、1つまたは複数のセンサ(例えば、マイクロホン)が、周囲ノイズまたはヘッドホンのイヤーカップ内のノイズをリアルタイムでモニターし、その後、そのシステムは、周囲ノイズまたは残留ノイズからアンチノイズ信号を生成する。アンチノイズ信号は、例えば、ANCシステム(例えば、ヘッドホンなど)の物理的形状およびサイズ、センサおよびトランスデューサ(例えばスピーカなど)の周波数応答、様々な周波数でのトランスデューサのレイテンシ、センサの感度、トランスデューサおよびセンサの配置などの要因に応じて異なるように生成される。異なるセンサおよびトランスデューサ(例えば、ヘッドホン)間、さらには、同じヘッドホンシステムの2つのイヤーカップ間の上記要因のバリエーションは、アンチノイズを生成するための最適なフィルタ設計もまた異なることを意味する。   In a typical noise cancellation process, one or more sensors (e.g., microphones) monitor ambient noise or noise in the headphone ear cup in real time, after which the system detects ambient noise or residual noise. Generate an anti-noise signal. An anti-noise signal can be, for example, the physical shape and size of an ANC system (eg, headphones), the frequency response of sensors and transducers (eg, speakers), the latency of transducers at various frequencies, the sensitivity of the sensors, the transducers and sensors It is generated differently depending on factors such as the arrangement of the. Variations of the above factors between different sensors and transducers (eg, headphones), as well as between two ear cups of the same headphone system, mean that the optimal filter design for generating anti-noise is also different.

アンチノイズ信号を処理する際のレイテンシは、アクティブノイズキャンセレーションシステムが効率的に動作することを妨げる。例えば、センサ信号をデジタル化し、44.1KHzまたは48KHzのようなオーディオ処理において共通のレートで、その信号を処理すると、高レイテンシが生じる。ANCのような音響処理装置の性能は、ノイズを検出し、そのノイズをキャンセルするのに十分早くアンチノイズ信号を生成する能力に依存するので、高レイテンシは、音響ノイズキャンセレーション処理に有害である。   Latency in processing anti-noise signals prevents the active noise cancellation system from operating efficiently. For example, digitizing a sensor signal and processing the signal at a common rate in audio processing such as 44.1 KHz or 48 KHz results in high latency. High latency is detrimental to the acoustic noise cancellation process because the performance of an acoustic processing device such as ANC depends on the ability to detect noise and generate an anti-noise signal fast enough to cancel the noise. .

本発明の実施形態は、従来技術のこのような課題および他の課題に対処するものである。   Embodiments of the present invention address these and other problems of the prior art.

図1は、フィードフォワードアクティブノイズキャンセレーションの従来の形態を示す回路図である。FIG. 1 is a circuit diagram showing a conventional form of feedforward active noise cancellation.

図2は、フィードバックアクティブノイズキャンセレーションの従来の形態を示す回路図である。FIG. 2 is a circuit diagram showing a conventional form of feedback active noise cancellation.

図3は、フィードフォワードおよびフィードバックを組み合わせたアクティブノイズキャンセレーションの従来の形態を示す回路図である。FIG. 3 is a circuit diagram showing a conventional form of active noise cancellation combining feedforward and feedback.

図4は、本発明の実施形態にかかる再構成可能な音響処理装置を含むオーディオシステムのブロック図である。FIG. 4 is a block diagram of an audio system including a reconfigurable sound processing apparatus according to an embodiment of the present invention.

図5は、図4の再構成可能な音響処理装置の一例の機能ブロック図である。FIG. 5 is a functional block diagram of an example of the reconfigurable sound processing apparatus of FIG.

図6は、フィードフォワードおよびフィードバックを組み合わせたアクティブノイズキャンセレーション動作を実行するように構成された、図4の再構成可能な音響処理装置を示すブロック図である。FIG. 6 is a block diagram illustrating the reconfigurable sound processing apparatus of FIG. 4 configured to perform an active noise cancellation operation that combines feedforward and feedback.

図7は、本発明の実施形態にかかる図4の再構成可能な音響処理装置の一例のコンポーネントの機能ブロック図である。FIG. 7 is a functional block diagram of components of an example of the reconfigurable sound processing apparatus of FIG. 4 according to an embodiment of the present invention.

本発明の実施形態は、デジタル化されたセンサ入力を使用するオーディオシステムで使用する再構成可能な音響処理装置(Reconfigurable Acoustic Processor:RAP)などのデジタル音響処理装置に関する。   Embodiments of the present invention relate to a digital sound processing device such as a reconfigurable acoustic processor (RAP) for use in an audio system using digitized sensor inputs.

アクティブノイズキャンセレーション(ANC)には、センサ、またはシステム内のマイクロホンの配置に基づいて区別される3つの主要なタイプがある。フィードフォワードANCでは、センサが周囲のノイズを感知するが、スピーカなどのトランスデューサによって生成された信号をほとんど感知しない。このようなシステムが図1に示される。図1を参照すると、フィードフォワードANCシステム10は、周囲ノイズを感知するがトランスデューサ14からの信号を直接的にモニター(monitor)しないセンサ12を含む。センサ12からの出力は、フィードフォワードフィルタ16でフィルタリングされ、そのフィルタ出力は、フィルタリングされた信号が入力オーディオ信号と混合されるフィードフォワードミキサ18に連結される。フィルタ16からフィルタリングされた信号は、センサ12の出力から生成されたアンチノイズ信号である。ミキサ18内でアンチノイズ信号が所望の信号と混合されると、フィルタリングされたアンチノイズ信号と混合された入力信号の組合せであるトランスデューサ14の出力は、アンチノイズ信号が生成されなかった場合よりもノイズが少ない。   There are three main types of active noise cancellation (ANC) that are distinguished based on the placement of sensors or microphones in the system. In feedforward ANC, the sensor senses ambient noise, but hardly senses the signal generated by a transducer such as a speaker. Such a system is shown in FIG. Referring to FIG. 1, the feedforward ANC system 10 includes a sensor 12 that senses ambient noise but does not directly monitor the signal from the transducer 14. The output from the sensor 12 is filtered by a feed forward filter 16 and the filter output is coupled to a feed forward mixer 18 where the filtered signal is mixed with the input audio signal. The signal filtered from the filter 16 is an anti-noise signal generated from the output of the sensor 12. When the anti-noise signal is mixed with the desired signal in the mixer 18, the output of the transducer 14, which is a combination of the filtered anti-noise signal and the input signal, is greater than if no anti-noise signal was generated. There is little noise.

フィードバックANCにおいて、センサは、耳腔内に存在するすべてのオーディオ信号を感知する位置に配置される。換言すれば、センサは、トランスデューサによって再生されるオーディオと周囲ノイズの両方の合計を感知する。このようなシステムが図2に示される。図2を参照すると、フィードバックANCシステム20において、センサ32は、トランスデューサ24からの出力を直接的にモニターする。センサ32からの出力は、フィードバックミキサ30においてオーディオ入力信号と混合され、その後、組み合わせられた信号は、フィードバックフィルタ34に送信される。フィードバックフィルタ34では、アンチノイズ信号を生成するために、組み合わせられた信号がフィルタリングされる。フィルタ34からのこのアンチノイズ信号は、ミキサ28でオリジナルオーディオ信号と混合され、その組み合わせられた出力がトランスデューサ24に供給される。フィードバックANCシステム20も、スピーカ24のリスナーによって聞かれるノイズを低減する。   In the feedback ANC, the sensor is placed in a position that senses all audio signals present in the ear cavity. In other words, the sensor senses the sum of both audio and ambient noise played by the transducer. Such a system is shown in FIG. Referring to FIG. 2, in the feedback ANC system 20, the sensor 32 directly monitors the output from the transducer 24. The output from sensor 32 is mixed with the audio input signal in feedback mixer 30, and the combined signal is then sent to feedback filter 34. In feedback filter 34, the combined signal is filtered to produce an anti-noise signal. This anti-noise signal from filter 34 is mixed with the original audio signal in mixer 28 and the combined output is provided to transducer 24. The feedback ANC system 20 also reduces noise heard by the listener of the speaker 24.

フィードフォワードおよびフィードバックを組み合わせたANCシステムは、2つ以上のセンサを使用する。センサの第1の位置は、図1に示すようにフィードフォワード経路にあり、センサの第2の位置は、図2に示すようにフィードバック経路にある。フィードフォワードおよびフィードバックを組み合わせたANCシステム40は、図3に示され、センサ位置42、52、および図示される位置44で1つまたは複数のトランスデューサを含む。位置52のフィードバックセンサから感知された信号は、フィードバックミキサ50で混合され、組み合わせられた信号は、フィードバックフィルタ54によってフィルタリングされる。同様に、位置42のフィードフォワードセンサから感知された信号は、フィードフォワードフィルタ46でフィルタリングされ、フィルタリングされた信号はフィードフォワードミキサ48で入力オーディオ信号と組み合わせられる。フィルタリングおよびミキシング動作によって、位置44でのトランスデューサの出力は低減されたノイズを有する。   ANC systems that combine feedforward and feedback use more than one sensor. The first position of the sensor is in the feedforward path as shown in FIG. 1, and the second position of the sensor is in the feedback path as shown in FIG. A combined feedforward and feedback ANC system 40 is shown in FIG. 3 and includes one or more transducers at sensor positions 42, 52 and illustrated position 44. The signal sensed from the feedback sensor at position 52 is mixed by the feedback mixer 50 and the combined signal is filtered by the feedback filter 54. Similarly, the signal sensed from the feedforward sensor at position 42 is filtered by a feedforward filter 46 and the filtered signal is combined with the input audio signal by a feedforward mixer 48. Due to the filtering and mixing operation, the output of the transducer at position 44 has reduced noise.

既存のシステムが、固定された形態およびフィルタを使用するのに対して、本発明の実施形態は、以下で詳細に説明するように、多くの異なるアプリケーションをカバーするように選択可能なシステムを使用する。   Whereas existing systems use fixed forms and filters, embodiments of the present invention use systems that can be selected to cover many different applications, as described in detail below. To do.

典型的なオーディオ処理レートは、44.1kHzまたは48kHzである。これは、典型的な人間の聴覚の周波数範囲に基づく。これらのサンプルレートでは、サンプリングタイムは約20μsである。ANCシステムにおけるデジタル化とフィルタリングは、常に複数のサンプルを取る。これらのレートでは、生じる遅延は数百マイクロ秒オーダーである。処理の遅延がアンチノイズ信号の生成を低下させるので、これはANCの性能を著しく低下させる。これは通常、キャンセルされる最大ノイズ周波数を制限するものとして現れる。   Typical audio processing rates are 44.1 kHz or 48 kHz. This is based on the typical human auditory frequency range. At these sample rates, the sampling time is about 20 μs. Digitization and filtering in the ANC system always takes multiple samples. At these rates, the resulting delay is on the order of hundreds of microseconds. This significantly degrades the performance of the ANC because processing delays reduce the generation of anti-noise signals. This usually appears as limiting the maximum noise frequency that can be canceled.

図4は、低レイテンシまたは超低レイテンシ音響処理装置を含むオーディオシステム100のブロック図である。いくつかの実施形態では、音響処理装置は再構成可能であり、再構成可能なオーディオプロセッサ(RAP)150という。図4のオーディオシステムは、3つの一般的な部分に分割される。それは、アナログ部102と、アナログデジタル変換器(ADC)のレートで動作するデジタル部104と、44.1または48KHzなどの標準オーディオサンプルレートで動作するデジタル部106とである。これらの部分は、ドメインということもある。   FIG. 4 is a block diagram of an audio system 100 that includes a low-latency or ultra-low latency acoustic processing device. In some embodiments, the sound processing device is reconfigurable, referred to as a reconfigurable audio processor (RAP) 150. The audio system of FIG. 4 is divided into three general parts. It is an analog unit 102, a digital unit 104 that operates at an analog-to-digital converter (ADC) rate, and a digital unit 106 that operates at a standard audio sample rate such as 44.1 or 48 KHz. These parts are sometimes called domains.

アナログ部102は、クロック(clock)を必要とせず、典型的には、この部分の信号は、一般的な連続するアナログ信号である。例えば、トランスデューサまたはスピーカ110は、ヘッドホンまたは他のスピーカからのようなアナログオーディオ信号を生成する。デジタルマイクロホン112などのセンサは、アナログ入力信号からデジタル出力を自動的に生成する。一方、マイクロホン114などの標準アナログセンサは、アナログセンサ114からデジタル信号を生成するためにADC124と組み合わせることができる。また、マイクロホンなどのセンサ116は、フィードバック位置に配置され、ADC126に連結される。ADC124、126は、例えば、シグマ‐デルタ処理を使用することができる。他の実施形態では、ADC124、126は、パルス符号変調(PCM)または逐次比較レジスタ(SAR)タイプであってもよい。単一のセンサ112、114、116は、例えば、電話機の入力マイクロホンとして機能しつつ、周囲雑音をサンプリングするなど、多目的に使用することができる。ADC124、126からの出力をフィルタリングするために、1つまたは複数のフィルタ128があるが、すべての実施形態において必要ではない。   The analog portion 102 does not require a clock, and typically this portion of the signal is a general continuous analog signal. For example, the transducer or speaker 110 generates an analog audio signal, such as from headphones or other speakers. A sensor such as digital microphone 112 automatically generates a digital output from the analog input signal. On the other hand, a standard analog sensor such as the microphone 114 can be combined with the ADC 124 to generate a digital signal from the analog sensor 114. A sensor 116 such as a microphone is disposed at the feedback position and is connected to the ADC 126. The ADCs 124, 126 can use, for example, sigma-delta processing. In other embodiments, the ADCs 124, 126 may be pulse code modulation (PCM) or successive approximation register (SAR) types. The single sensor 112, 114, 116 can be used for multiple purposes, for example, sampling ambient noise while functioning as a telephone input microphone. There is one or more filters 128 to filter the output from the ADCs 124, 126, but this is not necessary in all embodiments.

デジタル信号プロセッサ(DSP)130または他のオーディオソースは、デジタル部106において標準オーディオサンプルレートの周波数で動作する。典型的には、オーディオシステム100のデジタル部106の動作周波数は、44.1または48KHzである。   A digital signal processor (DSP) 130 or other audio source operates at a frequency of standard audio sample rate in the digital section 106. Typically, the operating frequency of the digital portion 106 of the audio system 100 is 44.1 or 48 KHz.

これに対して、デジタル部104の動作周波数は、約50KHzの低周波数から約100MHzのレートで(好ましくは2−100MHzのような範囲内で)動作する。いくつかの実施形態では、デジタル部104は、50KHz、96KHz、数百KHzの範囲内、1‐6などの低MHz範囲の周波数、10‐20MHzのような十数MHzの範囲、最大約100MHzまでで動作してもよい。本発明の実施形態では、特定のドメインの各コンポーネントは、そのドメインの周波数で動作する。例えば、図4を参照すると、ADC124、126は、オーディオプロセッサまたはRAP150と同じ周波数で動作する。これは、オーディオプロセッサで処理する前にデシメーションフィルタを典型的に使用してセンサ信号をダウンサンプリングする従来のシステムとは全く異なる。   On the other hand, the operating frequency of the digital unit 104 operates at a low frequency of about 50 KHz to a rate of about 100 MHz (preferably within a range such as 2-100 MHz). In some embodiments, the digital section 104 is in a range of 50 KHz, 96 KHz, hundreds of KHz, a frequency in a low MHz range such as 1-6, a range of dozens of MHz such as 10-20 MHz, up to about 100 MHz. It may work with. In an embodiment of the invention, each component of a particular domain operates at the frequency of that domain. For example, referring to FIG. 4, the ADCs 124, 126 operate at the same frequency as the audio processor or RAP 150. This is quite different from conventional systems that typically use a decimation filter to downsample the sensor signal prior to processing by the audio processor.

インターポレータ140は、例えば、48KHzで動作するDSP130からのオーディオ信号を、RAP150への入力信号として3MHzまたは6MHzで動作するオーディオ信号に変換する。これに対して、デシメータ144は、全てのオーディオシステム100に存在する必要はないが、例えば3または6MHzで動作するRAP150からの信号をデジタル部106の動作周波数に変換する。その結果、RAP150のレイテンシは、例えば2.5μs未満、好ましくは0.5μs未満と非常に低くなる。なぜなら、RAP150は、センサがデジタルマイクロホンであろうがなかろうが、またはセンサ信号がADC124、126によってデジタル信号に変換されようが、センサまたはマイクロホン112、114、116によって信号が生成されるのと同じ速度で信号を処理するからである。   For example, the interpolator 140 converts an audio signal from the DSP 130 operating at 48 KHz into an audio signal operating at 3 MHz or 6 MHz as an input signal to the RAP 150. On the other hand, the decimator 144 does not need to be present in all the audio systems 100, but converts a signal from the RAP 150 operating at, for example, 3 or 6 MHz into the operating frequency of the digital unit 106. As a result, the latency of RAP 150 is very low, for example, less than 2.5 μs, and preferably less than 0.5 μs. Because the RAP 150 is the same as the signal generated by the sensor or microphone 112, 114, 116, whether the sensor is a digital microphone or whether the sensor signal is converted to a digital signal by the ADC 124, 126. This is because the signal is processed at a speed.

以下でより詳細に説明するように、RAP150は、例えばトランスデューサ110から送信される音響信号をリアルタイムで制御する。上述したように、RAP150は、デシメーションフィルタまたは他のサンプルレート変換器のような中間処理を行うことなく、マイクロホン112、114、および/または116からの生のセンササンプルで動作するように構成される。これは、RAP150における計算遅延が無いまたはほぼ無い状態でマイクロホン信号に応答することを可能にし、リアルタイム音響処理アルゴリズムの実行を可能にする。リアルタイムセンササンプリングを使用することの効果は、従来システムのデシメーションフィルタからの遅延が除去され、制御ループの応答性が劇的に向上することである。   As described in more detail below, the RAP 150 controls, for example, an acoustic signal transmitted from the transducer 110 in real time. As described above, RAP 150 is configured to operate on raw sensor samples from microphones 112, 114, and / or 116 without any intermediate processing such as a decimation filter or other sample rate converter. . This allows to respond to the microphone signal with no or nearly no computational delay in the RAP 150 and allows the execution of real-time acoustic processing algorithms. The effect of using real-time sensor sampling is that the delay from the decimation filter of conventional systems is eliminated and the control loop response is dramatically improved.

デジタル部104のサンプルレートは、デジタルセンサ112またはアナログセンサ114に連結されたADC124のサンプルレートに従って変更されてもよい。サンプルレートとサンプルごとに処理される処理量との間には、直線的なトレードオフがある。   The sample rate of the digital unit 104 may be changed according to the sample rate of the ADC 124 connected to the digital sensor 112 or the analog sensor 114. There is a linear trade-off between the sample rate and the throughput processed for each sample.

図5は、図4のRAP150の一実施形態である再構成可能な音響処理装置(RAP)250の一例の機能ブロック図である。図5のRAP250は、6つのバイクワッドチェーン(バイクワッドフィルタ)BQ0‐BQ6を含み、それらの機能は以下で説明される。バイクワッドフィルタは、電気処理、特にオーディオ処理において周知である。バイクワッドフィルタは、通常、2つのゼロと2つの極を含む。バイクワッドチェーンBQ0‐BQ6は、それぞれ、バイクワッドフィルタのカスケード(cascade)を含む。いくつかの実施形態では、チェーンBQ0‐BQ6は、4、6、8、12、または16のカスケードされたバイクワッドフィルタを含み、8が好ましい。バイクワッドフィルタチェーンBQ0‐BQ6はプログラム可能であり、それらのフィルタリング値は、所望の実行に従って変更される。バイクワッドフィルタチェーンBQ0‐BQ6は、パススルーまたは単一に設定することもできる。これは、バイクワッドフィルタチェーンBQ0‐BQ6が、それらを通過する信号にほとんど影響を及ぼさないことを意味する。   FIG. 5 is a functional block diagram of an example of a reconfigurable sound processing apparatus (RAP) 250 that is one embodiment of the RAP 150 of FIG. The RAP 250 of FIG. 5 includes six biquad chains (biquad filters) BQ0-BQ6, the functions of which are described below. Biquad filters are well known in electrical processing, particularly audio processing. A biquad filter typically includes two zeros and two poles. Each of the biquad chains BQ0-BQ6 includes a cascade of biquad filters. In some embodiments, chain BQ0-BQ6 includes 4, 6, 8, 12, or 16 cascaded biquad filters, with 8 being preferred. The biquad filter chains BQ0-BQ6 are programmable and their filtering values are changed according to the desired implementation. The biquad filter chains BQ0-BQ6 can also be set to pass-through or single. This means that the biquad filter chains BQ0-BQ6 have little effect on the signals passing through them.

各バイクワッドフィルタチェーンBQ0‐BQ6には、ゲインユニットM0‐M6がそれぞれ接続され、ゲインユニットM7が追加されている。その目的は以下に記載される。ゲインユニットM0‐M7は、それらの入力と出力との間で生成されるゲイン量が制御可能であるという点で、プログラム可能である。特定のバイクワッドフィルタチェーンBQ0‐BQ6の出力は、それに連結されたゲインユニットM0‐M6によって制御される。ゲインユニットM0‐M6のいずれかのゲインをゼロに設定することは、その特定の回路分岐を効果的にオフにする。バイクワッドフィルタチェーンとゲインユニットの間に1対1の関係を維持することは厳密には必要ないが、その関係を維持することでRAPを柔軟に設定できる。図5のRAP250は、単一のオーディオチャネルを示す。ステレオ処理などの2つ以上のチャンネルに対しては、追加のハードウェアが用いられる。   To each biquad filter chain BQ0-BQ6, gain units M0-M6 are respectively connected, and a gain unit M7 is added. Its purpose is described below. The gain units M0-M7 are programmable in that the amount of gain generated between their inputs and outputs can be controlled. The output of a particular biquad filter chain BQ0-BQ6 is controlled by gain units M0-M6 connected to it. Setting the gain of any of the gain units M0-M6 to zero effectively turns off that particular circuit branch. Although it is not strictly necessary to maintain a one-to-one relationship between the biquad filter chain and the gain unit, RAP can be set flexibly by maintaining this relationship. RAP 250 in FIG. 5 shows a single audio channel. Additional hardware is used for two or more channels such as stereo processing.

以下に説明するように、バイクワッドフィルタチェーンBQ0‐BQ6の特定のフィルタ係数およびゲインユニットM0‐M6の特定のゲイン値をプログラムすることによって、オーディオノイズキャンセレーションなどの異なるオーディオアプリケーションをRAP250において実行することができる。   As described below, different audio applications, such as audio noise cancellation, are performed in RAP 250 by programming specific filter coefficients of biquad filter chains BQ0-BQ6 and specific gain values of gain units M0-M6. be able to.

また、RAP250に連結されるものは、マイクロホンとされ得るデジタルセンサ212、214からの入力、デシメータ218およびインターポレータ220を含む。センサ入力部212、214のいずれかまたは両方は、ADCに連結されたアナログマイクロホンを有することにより形成されてもよい。デシメータ218およびインターポレータ220は、図4を参照して説明したように動作する。   Also coupled to the RAP 250 includes inputs from digital sensors 212, 214, which can be microphones, a decimator 218, and an interpolator 220. Either or both of the sensor inputs 212, 214 may be formed by having an analog microphone coupled to the ADC. Decimator 218 and interpolator 220 operate as described with reference to FIG.

動作中、RAP250は、バイクワッドフィルタチェーンBQ0およびBQ3でセンサ212からの入力を受信し、バイクワッドフィルタチェーンBQ1およびBQ5でセンサ214からの入力を受信する。オーディオ信号は、バイクワッドフィルタチェーンBQ2およびBQ6で受信される。いくつかの実施形態では、オーディオ信号は厳密には必要ない。例えば、ハンター用や産業用のノイズキャンセレーションヘッドホンでは、オーディオ信号が存在しなくてよい。   In operation, RAP 250 receives input from sensor 212 on biquad filter chains BQ0 and BQ3 and receives input from sensor 214 on biquad filter chains BQ1 and BQ5. Audio signals are received by biquad filter chains BQ2 and BQ6. In some embodiments, an audio signal is not strictly necessary. For example, in a noise cancellation headphones for hunters and industrial use, there is no need for an audio signal.

ゲインユニットM7は、コンバイナA2においてインターポレータ220からの未処理のオーディオ信号との最終的な組合せ前の処理されたオーディオ信号に対して、制御可能なゲインとして使用される。ゲインユニットM7は、そのゲインを徐々に増加するように制御される。その結果、ノイズキャンセレーションや他の処理が未処理のオーディオ信号に徐々に加えられ、リスナーにとっては不快な出力オーディオ信号におけるポップや他の急激な変化を排除することができる。   The gain unit M7 is used as a controllable gain for the processed audio signal before final combination with the unprocessed audio signal from the interpolator 220 in the combiner A2. The gain unit M7 is controlled so as to gradually increase its gain. As a result, noise cancellation and other processing are gradually added to the unprocessed audio signal, eliminating pops and other sudden changes in the output audio signal that are unpleasant for the listener.

図5に示すように、加算器またはコンバイナA0、A1およびA2は、バイクワッドフィルタチェーンからの中間信号出力を組み合わせる。   As shown in FIG. 5, adders or combiners A0, A1 and A2 combine the intermediate signal outputs from the biquad filter chain.

一実施形態では、RAP350は、オーディオ処理の標準レートである49.152MHzで動作する。入力サンプルレートは、典型的には3.072Mspsであり、フィルタ部も同じレートで動作する。   In one embodiment, the RAP 350 operates at 49.152 MHz, a standard rate for audio processing. The input sample rate is typically 3.072 Msps, and the filter unit operates at the same rate.

RAP250の動作の簡単な例は、センサ212、214のいずれかからの入力を使用しない単純なオーディオプロセッサである。そのような例では、ゲインユニットM7はゼロに設定、すなわちオフにされる。一方、インターポレータからのオーディオ信号は、バイクワッドフィルタチェーンBQ6によってフィルタリングされる。ゲインユニットM6の制御は、トランスデューサ210に送信されるフィルタリングされたオーディオ信号の出力信号レベルを制御する。トランスデューサ210は、スピーカまたは他のトランスデューサ出力部であってもよい。   A simple example of the operation of RAP 250 is a simple audio processor that does not use input from either of sensors 212, 214. In such an example, gain unit M7 is set to zero, i.e. turned off. On the other hand, the audio signal from the interpolator is filtered by the biquad filter chain BQ6. Control of the gain unit M6 controls the output signal level of the filtered audio signal transmitted to the transducer 210. The transducer 210 may be a speaker or other transducer output.

より複雑な例では、RAP250は、図3に示すフィードフォワードおよびフィードバックANC回路と同じ機能を有するフィードフォワード/フィードバックANCとして構成される。図6は、そのような構成のためにRAP250がどのように設定されるかを示す。この構成では、ゲインユニットM0およびM5はゼロに設定される。これは、ゲインユニットM0およびM5が処理に何も寄与しないことを示す「x」を有するものとして図6に示される。ゲインユニットM2、M4、M6およびM7は1に設定される。ゲインユニットM1およびM3は、その出力が減算されることを意味する−1に設定される。バイクワッドフィルタチェーンBQ1、BQ2およびBQ6は、パススルー設定にされる。図3および図6を参照すると、バイクワッドフィルタチェーンBQ3はフィードフォワードフィルタ46の役割を有し、バイクワッドフィルタチェーンBQ4はフィードバックフィルタ54の役割を有する。   In a more complex example, RAP 250 is configured as a feedforward / feedback ANC having the same functionality as the feedforward and feedback ANC circuit shown in FIG. FIG. 6 shows how the RAP 250 is configured for such a configuration. In this configuration, gain units M0 and M5 are set to zero. This is shown in FIG. 6 as having an “x” indicating that gain units M0 and M5 contribute nothing to the process. Gain units M2, M4, M6 and M7 are set to 1. Gain units M1 and M3 are set to -1 which means that their outputs are subtracted. Biquad filter chains BQ1, BQ2 and BQ6 are set to pass-through. Referring to FIGS. 3 and 6, the biquad filter chain BQ <b> 3 has a role of a feed forward filter 46, and the biquad filter chain BQ <b> 4 has a role of a feedback filter 54.

RAP250、特にゲインユニットM0‐M7およびバイクワッドフィルタチェーンBQ1‐BQ6を構成することによって、RAPは、ほとんどのタイプのオーディオ処理を実行するように構成される。例えば、RAP250は、フィードバック構成、フィードフォワード構成、またはフィードフォワードおよびフィードバックを組み合わせた構成のいずれかで、アクティブノイズキャンセレーションヘッドホン用のANC処理装置として構成される。RAP250は、ハンドセットマイクロホンからの入力を用いることにより、また、ハンドセット内の1つ以上のスピーカのためのオーディオ出力を生成することにより、電話ハンドセットにおいてアクティブノイズキャンセレーションのために使用される。また、RAP250は、ノイズキャンセレーションを実行するとともに、入力オーディオ信号をさらに増幅することができる。また、RAP250は、マイクロホン入力の1つで周囲音を受信し、それを1つ以上のバイクワッドフィルタチェーンを通して修正し、適切なゲインレベルを設定して、次いで修正された周囲信号を出力することによって、周囲音の増幅のために使用される。   By configuring RAP 250, in particular gain units M0-M7 and biquad filter chains BQ1-BQ6, RAP is configured to perform most types of audio processing. For example, the RAP 250 is configured as an ANC processing device for active noise cancellation headphones in either a feedback configuration, a feed forward configuration, or a combination of feed forward and feedback. The RAP 250 is used for active noise cancellation in a telephone handset by using input from a handset microphone and by generating audio output for one or more speakers in the handset. The RAP 250 can perform noise cancellation and further amplify the input audio signal. The RAP 250 also receives ambient sound at one of the microphone inputs, modifies it through one or more biquad filter chains, sets an appropriate gain level, and then outputs a modified ambient signal. Are used for amplification of ambient sounds.

実際には、図6のRAP250または図5のRAP150は、オーディオ信号入力を修正するための機能、処理、または動作を含む。また、実際には、これらの機能は、デジタル信号処理装置(DSP)のような汎用または専用処理装置で動作するプログラムされた機能として特別に形成されたハードウェア回路によって提供されてもよく、またはフィールドプログラマブルゲートアレイ(FPGAs)またはプログラマブルロジックデバイス(PLDs)において実行されてもよい。他のバリエーションも可能である。   In practice, the RAP 250 of FIG. 6 or the RAP 150 of FIG. 5 includes functions, processing, or operations for modifying the audio signal input. Also, in practice, these functions may be provided by a hardware circuit specially formed as a programmed function operating on a general purpose or dedicated processing device such as a digital signal processing device (DSP), or It may be implemented in field programmable gate arrays (FPGAs) or programmable logic devices (PLDs). Other variations are possible.

図7は、本発明の実施形態にかかる図4の再構成可能な音響処理装置の一例のコンポーネントの機能ブロック図である。図7において、RAP350は、バイクワッドエンジン310と乗算アキュムレータ(multiplier accumulator)320とを含む。乗算アキュムレータ320は、図5よび図6の機能ブロック図において、乗算および加算のすべてを実行する。一実施形態では、サンプル当たり7回の積和演算がある。バイクワッドエンジン310は、マイクロホンなどの1つ以上のセンサからの入力と、処理されるオーディオ信号の入力とを含む。バイクワッドエンジンは、乗算アキュムレータ出力部からの入力を受信することもできる。センサからの入力は、バイクワッドエンジンと同じレートで記録される。換言すると、センサ入力は、デシメーションまたはレートリダクションなしに処理される。バイクワッドエンジン310は、16のバイクワッドフィルタで動作するように作製される。バイクワッドディスクリプタ部330は、バイクワッドフィルタチェーンを実行するためのフィルタ値を含む。一方、バイクワッドステイトメモリ332は、バイクワッド処理中の中間値を記憶するためのメモリである。ゲインテーブル322はゲインユニットのための値を記憶する。一方、図5のゲインユニットM7によって提供されるようなフェザリング制御は、フェザリング制御部334によって別個に提供される。図7に示すように、RAP350は、バイクワッドディスクリプタ330およびゲインテーブル322に特定の値を書き込むことによって、プログラムおよび構成される。   FIG. 7 is a functional block diagram of components of an example of the reconfigurable sound processing apparatus of FIG. 4 according to an embodiment of the present invention. In FIG. 7, the RAP 350 includes a biquad engine 310 and a multiplication accumulator 320. Multiplication accumulator 320 performs all multiplications and additions in the functional block diagrams of FIGS. In one embodiment, there are 7 product-sum operations per sample. The biquad engine 310 includes an input from one or more sensors, such as a microphone, and an input of an audio signal to be processed. The biquad engine can also receive input from a multiplication accumulator output. Input from the sensor is recorded at the same rate as the biquad engine. In other words, the sensor input is processed without decimation or rate reduction. The biquad engine 310 is made to operate with 16 biquad filters. The biquad descriptor unit 330 includes a filter value for executing the biquad filter chain. On the other hand, the biquad state memory 332 is a memory for storing intermediate values during biquad processing. The gain table 322 stores values for gain units. On the other hand, the feathering control as provided by the gain unit M7 of FIG. 5 is separately provided by the feathering control unit 334. As shown in FIG. 7, the RAP 350 is programmed and configured by writing specific values into the biquad descriptor 330 and the gain table 322.

このようなプログラム可能な技術を使用することによって、フィルタは、ある特定の音またはノイズを低減するよりむしろ、増幅するために選択される。例えば、上述したように、特定のマイクロホンによって感知された音を低減する能力のために選択されたバイクワッドチェーンフィルタパラメータの代替として、特定の音を増幅するパラメータが選択されてもよい。例えば、ある者は、さまざまな騒音を伴う機械が設けられた騒々しい作業環境において、ノイズキャンセレーションヘッドホンを使用しているかもしれないが、依然としてノイズリデューシングキャンセレーションヘッドホンを取り外すことなく同僚と話すことができるようにしたいと考えている。適応のフィルタ係数を使用して、マイクロホンが声帯のノイズを検出したとき、異なるパラメータが、RAPシステムに自動的にロードされる。RAPは、同僚の声を増幅した。したがって、リスナーは、特定の音を最適に増幅するノイズキャンセレーションヘッドホンを有することになる。たとえば、音声、オーディオテレビジョン信号、およびトラフィックなどのサウンドが増幅される。このようなサウンドが無くなった時(例えば同僚が話しを止めた時)、標準のフィルタリング係数がRAPシステムのフィルタに再び動的にロードされる。   By using such a programmable technique, the filter is selected to amplify rather than reduce a particular sound or noise. For example, as described above, a parameter that amplifies a specific sound may be selected as an alternative to a biquad chain filter parameter selected for its ability to reduce the sound sensed by a specific microphone. For example, one person may be using noise-cancelling headphones in a noisy work environment with a variety of noisy machines, but still with colleagues without removing the noise-reducing cancellation headphones. I want to be able to speak. Different parameters are automatically loaded into the RAP system when the microphone detects vocal cord noise using adaptive filter coefficients. RAP amplifies the voice of colleagues. Therefore, the listener has noise cancellation headphones that optimally amplify a specific sound. For example, sounds such as voice, audio television signals, and traffic are amplified. When such a sound disappears (eg when a colleague stops talking), the standard filtering coefficients are dynamically loaded again into the filter of the RAP system.

本発明の実施形態は、サウンド処理回路または他のオーディオ回路などの集積回路に組み込まれてもよい。さらに、集積回路は、ヘッドホン、携帯電話、ポータブルコンピューティングデバイス、サウンドバー、オーディオドック、増幅器、スピーカなどのオーディオデバイスで使用されてもよい。   Embodiments of the present invention may be incorporated into an integrated circuit such as a sound processing circuit or other audio circuit. Furthermore, integrated circuits may be used in audio devices such as headphones, mobile phones, portable computing devices, sound bars, audio docks, amplifiers, speakers, and the like.

図示の実施形態を参照して本発明の原理を記述および図示したが、図示の実施形態は、本発明の原理から逸脱することなく、配置や詳細に関し変更可能であり、さらに、任意の所望の方法によって組合せ可能であることが理解される。さらに、上述の議論は、特定の実施形態にフォーカスしたものであるが、他の構成も考えられる。   Although the principles of the invention have been described and illustrated with reference to the illustrated embodiments, the illustrated embodiments can be modified with respect to arrangement and detail without departing from the principles of the invention, and any desired It is understood that combinations are possible depending on the method. Furthermore, while the discussion above focuses on specific embodiments, other configurations are possible.

特に、「本発明の実施形態にかかる」などの表現が本明細書で使用される場合でも、これらの文言は、実施形態の可能性を一般的に参照するものであり、本発明を特定の実施形態の構成に限定するものではない。本明細書で使用されるように、これらの文言は、他の実施形態に組合せ可能な同じまたは異なる実施形態を参照ことができる。   In particular, even when expressions such as “according to an embodiment of the present invention” are used in this specification, these terms generally refer to the possibility of the embodiment, and It is not limited to the configuration of the embodiment. As used herein, these terms can refer to the same or different embodiments that can be combined with other embodiments.

したがって、本明細書に記載された実施形態の広範な置換の観点から、この詳細な説明および添付資料は、例示に過ぎず、本発明の範囲を限定するものとして解釈されるべきではない。   Accordingly, in light of a broad permutation of the embodiments described herein, this detailed description and the accompanying materials are merely examples and should not be construed as limiting the scope of the invention.

Claims (38)

50KHzより高い第1のレートでデジタルセンサ信号を生成するセンサと、
前記第1のレートで動作し、前記第1のレートで入力オーディオ信号を受信するための第1の入力と、前記第1のレートで前記デジタルセンサ信号を受信する第2の入力と、出力とを有するデジタルオーディオプロセッサと、を含むことを特徴とするオーディオシステム。
A sensor that generates a digital sensor signal at a first rate higher than 50 KHz;
A first input that operates at the first rate and receives an input audio signal at the first rate; a second input that receives the digital sensor signal at the first rate; and an output; An audio system comprising: a digital audio processor;
前記センサは、マイクロホンである請求項1に記載のオーディオシステム。   The audio system according to claim 1, wherein the sensor is a microphone. 前記マイクロホンは、アナログデジタル変換器(ADC)へ連結された前記マイクロホンを含むシステムの一部であり、
前記アナログデジタル変換器の出力は、前記デジタルセンサ信号である請求項2に記載のオーディオシステム。
The microphone is part of a system including the microphone coupled to an analog-to-digital converter (ADC);
The audio system according to claim 2, wherein an output of the analog-digital converter is the digital sensor signal.
前記アナログデジタル変換器は、シグマ‐デルタ処理を実行するように構成される請求項3に記載のオーディオシステム。   The audio system of claim 3, wherein the analog to digital converter is configured to perform sigma-delta processing. 前記アナログデジタル変換器は、SAR処理を実行するように構成される請求項3に記載のオーディオシステム。   The audio system of claim 3, wherein the analog to digital converter is configured to perform SAR processing. 前記出力は、トランスデューサに連結される請求項1に記載のオーディオシステム。   The audio system of claim 1, wherein the output is coupled to a transducer. 前記トランスデューサは、スピーカである請求項6に記載のオーディオシステム。   The audio system according to claim 6, wherein the transducer is a speaker. 前記第1のレートは、50KHzまたはそれより速いレートである請求項1に記載のオーディオシステム。   The audio system of claim 1, wherein the first rate is a rate of 50 KHz or faster. 前記第1のレートは、96KHzまたはそれより速いレートである請求項1に記載のオーディオシステム。   The audio system of claim 1, wherein the first rate is 96 KHz or faster. 前記第1のレートは、200KHzまたはそれより速いレートである請求項1に記載のオーディオシステム。   The audio system of claim 1, wherein the first rate is a rate of 200 KHz or faster. 前記第1のレートは、350KHzまたはそれより速いレートである請求項1に記載のオーディオシステム。   The audio system of claim 1, wherein the first rate is a rate of 350 KHz or faster. 前記第1のレートは、750KHzまたはそれより速いレートである請求項1に記載のオーディオシステム。   The audio system of claim 1, wherein the first rate is a rate of 750 KHz or faster. 前記第1のレートは、1MHzまたはそれより速いレートである請求項1に記載のオーディオシステム。   The audio system of claim 1, wherein the first rate is a rate of 1 MHz or faster. 前記第1のレートは、3MHzまたはそれより速いレートである請求項1に記載のオーディオシステム。   The audio system of claim 1, wherein the first rate is a rate of 3 MHz or faster. 前記第1のレートは、6MHzまたはそれより速いレートである請求項1に記載のオーディオシステム。   The audio system of claim 1, wherein the first rate is a rate of 6 MHz or faster. 第2のレートでデジタルオーディオ信号を受信するための入力を有し、前記第2のレートを有する前記デジタルオーディオ信号を、前記第1のレートを有する前記デジタルオーディオ信号に変換するインターポレータをさらに含む請求項1に記載のオーディオシステム。   An interpolator having an input for receiving a digital audio signal at a second rate and converting the digital audio signal having the second rate into the digital audio signal having the first rate; The audio system according to claim 1, comprising: 前記第2のレートは、前記第1のレートより低い請求項16に記載のオーディオシステム。   The audio system of claim 16, wherein the second rate is lower than the first rate. 前記第2のレートは、100KHzまたはそれより遅い請求項16に記載のオーディオシステム。   The audio system of claim 16, wherein the second rate is 100 KHz or slower. 前記デジタルオーディオプロセッサは、複数のプログラム可能なフィルタと、複数の制御可能なゲインステージと、を含み、
前記複数の制御可能なゲインステージの少なくとも一部は、それぞれ、前記複数のプログラム可能なフィルタの少なくとも一部に連結される請求項1に記載のオーディオシステム。
The digital audio processor includes a plurality of programmable filters and a plurality of controllable gain stages,
The audio system of claim 1, wherein at least some of the plurality of controllable gain stages are each coupled to at least some of the plurality of programmable filters.
第1のレートでデジタルオーディオ信号を受信するための入力部と、
前記デジタルオーディオ信号のサンプルレートを、前記第1のレートから前記第1のレートより高い第2のレートへ変更するインターポレータと、
前記第2のレートでセンサ信号を生成する少なくとも1つのセンサと、
前記インターポレータおよび前記センサに連結されるデジタルオーディオプロセッサと、を含み、
前記デジタルオーディオプロセッサは、再構成可能であり、前記第2のレートで動作し、
複数のプログラム可能なフィルタと、
複数の制御可能なゲインステージと、
前記1または複数のゲインステージの出力を組み合わせるように構成された加算器と、
少なくとも1つの加算器に連結され、前記入力されたオーディオ信号から修正された出力オーディオ信号を伝達するためのオーディオ出力部と、を備え、
前記複数の制御可能なゲインステージの少なくとも一部は、それぞれ、前記複数のプログラム可能なフィルタの少なくとも一部に連結されていることを特徴とする再構成可能なノイズキャンセレーションシステム。
An input for receiving a digital audio signal at a first rate;
An interpolator for changing a sample rate of the digital audio signal from the first rate to a second rate higher than the first rate;
At least one sensor generating a sensor signal at the second rate;
A digital audio processor coupled to the interpolator and the sensor;
The digital audio processor is reconfigurable and operates at the second rate;
Multiple programmable filters,
Multiple controllable gain stages;
An adder configured to combine the outputs of the one or more gain stages;
An audio output unit coupled to at least one adder for transmitting a modified output audio signal from the input audio signal;
A reconfigurable noise cancellation system, wherein at least some of the plurality of controllable gain stages are each coupled to at least some of the plurality of programmable filters.
前記少なくとも1つのセンサは、前記第2のレートで動作するデジタルサンプリングマイクロホンである請求項20に記載の再構成可能なノイズキャンセレーションシステム。   21. The reconfigurable noise cancellation system of claim 20, wherein the at least one sensor is a digital sampling microphone that operates at the second rate. 前記少なくとも1つのセンサは、前記第2の処理レートで動作するアナログデジタル変換器(ADC)へ連結されたアナログマイクロホンである請求項20に記載の再構成可能なノイズキャンセレーションシステム。   The reconfigurable noise cancellation system of claim 20, wherein the at least one sensor is an analog microphone coupled to an analog-to-digital converter (ADC) operating at the second processing rate. 前記アナログデジタル変換器は、シグマ‐デルタ処理を実行するように構成される請求項22に記載の再構成可能なノイズキャンセレーションシステム。   The reconfigurable noise cancellation system of claim 22, wherein the analog to digital converter is configured to perform sigma-delta processing. 前記アナログデジタル変換器は、SAR処理を実行するように構成される請求項22に記載の再構成可能なノイズキャンセレーションシステム。   The reconfigurable noise cancellation system of claim 22, wherein the analog to digital converter is configured to perform SAR processing. 前記プログラム可能なフィルタは、前記ノイズキャンセレーションシステムの動作中に、プログラムされるように構成される請求項20に記載の再構成可能なノイズキャンセレーションシステム。   The reconfigurable noise cancellation system of claim 20, wherein the programmable filter is configured to be programmed during operation of the noise cancellation system. 前記複数の制御可能なゲインステージの少なくとも一部は、前記ノイズキャンセレーションシステムの動作中に、アップデートされるように構成される請求項20に記載の再構成可能なノイズキャンセレーションシステム。   The reconfigurable noise cancellation system of claim 20, wherein at least some of the plurality of controllable gain stages are configured to be updated during operation of the noise cancellation system. 50KHz以上の第1のレートで、デジタルオーディオプロセッサを動作させる工程と、
前記デジタルオーディオプロセッサで、前記第1のレートを有するデジタル入力オーディオ信号を受信する工程と、
前記デジタルオーディオプロセッサで、前記第1のレートを有するデジタルセンサ信号を受信する工程と、
前記第1のレートで動作する前記デジタルオーディオプロセッサにおいて、前記デジタル入力オーディオ信号と、前記デジタルセンサ信号から得られた信号とを組み合わせることにより、前記デジタル入力オーディオ信号を処理する工程と、
前記処理されたデジタル入力オーディオ信号を出力部で出力する工程とを含むことを特徴とするオーディオシステムを動作させる方法。
Operating the digital audio processor at a first rate of 50 KHz or higher;
Receiving at the digital audio processor a digital input audio signal having the first rate;
Receiving at the digital audio processor a digital sensor signal having the first rate;
Processing the digital input audio signal by combining the digital input audio signal and a signal obtained from the digital sensor signal in the digital audio processor operating at the first rate;
And outputting the processed digital input audio signal at an output unit.
前記第1のレートを有するデジタルセンサ信号を受信する工程は、前記第1のレートでマイクロホン信号を受信する工程を含む請求項27に記載のオーディオシステムを動作させる方法。   28. The method of operating an audio system according to claim 27, wherein receiving a digital sensor signal having the first rate includes receiving a microphone signal at the first rate. 前記処理されたデジタル入力オーディオ信号を出力部で出力する工程は、前記デジタル入力オーディオ信号をトランスデューサへ出力する工程を含む請求項27に記載のオーディオシステムを動作させる方法。   28. The method of operating an audio system according to claim 27, wherein outputting the processed digital input audio signal at an output unit includes outputting the digital input audio signal to a transducer. 前記第1のレートは、96KHzまたはそれより速いレートである請求項27に記載のオーディオシステムを動作させる方法。   28. The method of operating an audio system according to claim 27, wherein the first rate is a rate of 96 KHz or faster. 前記第1のレートは、1MHzまたはそれより速いレートである請求項27に記載のオーディオシステムを動作させる方法。   28. The method of operating an audio system of claim 27, wherein the first rate is a rate of 1 MHz or faster. 前記第1のレートは、3MHzまたはそれより速いレートである請求項27に記載のオーディオシステムを動作させる方法。   28. A method of operating an audio system according to claim 27, wherein the first rate is a rate of 3 MHz or faster. 前記第1のレートは、6MHzまたはそれより速いレートである請求項27に記載のオーディオシステムを動作させる方法。   28. A method of operating an audio system according to claim 27, wherein the first rate is a rate of 6 MHz or faster. 第2のレートでデジタルオーディオ信号を受信する工程と、
前記デジタルオーディオ信号を、前記第2のレートから前記第1のレートに変換する工程と、
前記第1のレートで、前記デジタルオーディオ信号を前記デジタルオーディオプロセッサに送信する工程とを含む請求項27に記載のオーディオシステムを動作させる方法。
Receiving a digital audio signal at a second rate;
Converting the digital audio signal from the second rate to the first rate;
28. A method of operating an audio system according to claim 27, comprising: transmitting the digital audio signal to the digital audio processor at the first rate.
前記第2のレートは、前記第1のレートより低い請求項34に記載のオーディオシステムを動作させる方法。   35. The method of operating an audio system of claim 34, wherein the second rate is lower than the first rate. 前記第2のレートは、100KHzまたはそれより遅い請求項34に記載のオーディオシステムを動作させる方法。   35. The method of operating an audio system of claim 34, wherein the second rate is 100 KHz or slower. 再構成可能なノイズキャンセレーション処理装置を動作させる方法であって、
第1の周波数で、オーディオ入力部を介してオーディオ信号を受信する工程と、
1つ以上のセンサ入力部を介して、前記第1の周波数で、モニターされた環境の1つ以上のセンサ信号を受信する工程と、
前記再構成可能なノイズキャンセレーション処理装置において、複数のプログラム可能なフィルタのフィルタパラメータ部を構成する工程と、
前記再構成可能なノイズキャンセレーション処理装置において、複数の制御可能なゲインステージを構成する工程と、
修正されたオーディオ信号出力を生成するように、前記第1の周波数で、前記複数の制御可能なゲインステージの出力のうちの選択されたものを前記オーディオ信号と混合する工程とを含み、
前記複数の制御可能なゲインステージの少なくとも一部は、それぞれ、前記複数のプログラム可能なフィルタの少なくとも一部に連結されていることを特徴とする再構成可能なノイズキャンセレーション処理装置を動作させる方法。
A method of operating a reconfigurable noise cancellation processor,
Receiving an audio signal at a first frequency via an audio input;
Receiving one or more sensor signals of the monitored environment at the first frequency via one or more sensor inputs;
In the reconfigurable noise cancellation processing apparatus, configuring a filter parameter portion of a plurality of programmable filters;
In the reconfigurable noise cancellation processing apparatus, configuring a plurality of controllable gain stages;
Mixing a selected one of the outputs of the plurality of controllable gain stages with the audio signal at the first frequency so as to produce a modified audio signal output;
A method of operating a reconfigurable noise cancellation processing apparatus, wherein at least some of the plurality of controllable gain stages are each coupled to at least some of the plurality of programmable filters .
前記再構成可能なノイズキャンセレーション処理装置の動作中に、前記複数のプログラム可能なフィルタの前記フィルタパラメータ部を修正する工程をさらに含む請求項37に記載の再構成可能なノイズキャンセレーション処理装置を動作させる方法。   38. The reconfigurable noise cancellation processing device of claim 37, further comprising modifying the filter parameter portion of the plurality of programmable filters during operation of the reconfigurable noise cancellation processing device. How to make it work.
JP2017518156A 2014-09-30 2015-09-30 Sound processing apparatus having low latency Pending JP2017530413A (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201462057481P 2014-09-30 2014-09-30
US62/057,481 2014-09-30
US201414553644A 2014-11-25 2014-11-25
US14/553,644 2014-11-25
PCT/US2015/053187 WO2016054186A1 (en) 2014-09-30 2015-09-30 Acoustic processor having low latency

Publications (1)

Publication Number Publication Date
JP2017530413A true JP2017530413A (en) 2017-10-12

Family

ID=54337376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017518156A Pending JP2017530413A (en) 2014-09-30 2015-09-30 Sound processing apparatus having low latency

Country Status (6)

Country Link
EP (1) EP3201911B1 (en)
JP (1) JP2017530413A (en)
KR (1) KR20170084054A (en)
CN (1) CN107112003B (en)
TW (2) TWI734176B (en)
WO (1) WO2016054186A1 (en)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012075343A2 (en) 2010-12-03 2012-06-07 Cirrus Logic, Inc. Oversight control of an adaptive noise canceler in a personal audio device
US9824677B2 (en) 2011-06-03 2017-11-21 Cirrus Logic, Inc. Bandlimiting anti-noise in personal audio devices having adaptive noise cancellation (ANC)
US9318094B2 (en) 2011-06-03 2016-04-19 Cirrus Logic, Inc. Adaptive noise canceling architecture for a personal audio device
US8958571B2 (en) 2011-06-03 2015-02-17 Cirrus Logic, Inc. MIC covering detection in personal audio devices
US9123321B2 (en) 2012-05-10 2015-09-01 Cirrus Logic, Inc. Sequenced adaptation of anti-noise generator response and secondary path response in an adaptive noise canceling system
US9318090B2 (en) 2012-05-10 2016-04-19 Cirrus Logic, Inc. Downlink tone detection and adaptation of a secondary path response model in an adaptive noise canceling system
US9532139B1 (en) 2012-09-14 2016-12-27 Cirrus Logic, Inc. Dual-microphone frequency amplitude response self-calibration
US9414150B2 (en) 2013-03-14 2016-08-09 Cirrus Logic, Inc. Low-latency multi-driver adaptive noise canceling (ANC) system for a personal audio device
US9666176B2 (en) 2013-09-13 2017-05-30 Cirrus Logic, Inc. Systems and methods for adaptive noise cancellation by adaptively shaping internal white noise to train a secondary path
US9620101B1 (en) 2013-10-08 2017-04-11 Cirrus Logic, Inc. Systems and methods for maintaining playback fidelity in an audio system with adaptive noise cancellation
US10219071B2 (en) 2013-12-10 2019-02-26 Cirrus Logic, Inc. Systems and methods for bandlimiting anti-noise in personal audio devices having adaptive noise cancellation
US9478212B1 (en) 2014-09-03 2016-10-25 Cirrus Logic, Inc. Systems and methods for use of adaptive secondary path estimate to control equalization in an audio device
GB2541977B (en) * 2015-07-21 2019-05-15 Cirrus Logic Int Semiconductor Ltd Hybrid finite impulse response filter
WO2017029550A1 (en) 2015-08-20 2017-02-23 Cirrus Logic International Semiconductor Ltd Feedback adaptive noise cancellation (anc) controller and method having a feedback response partially provided by a fixed-response filter
US10013966B2 (en) 2016-03-15 2018-07-03 Cirrus Logic, Inc. Systems and methods for adaptive active noise cancellation for multiple-driver personal audio device
US10609468B2 (en) 2016-09-16 2020-03-31 Avatronics Sarl Active noise cancellation system for headphone
TWI681387B (en) * 2017-03-09 2020-01-01 美商艾孚諾亞公司 Acoustic processing network and method for real-time acoustic processing
US10553195B2 (en) 2017-03-30 2020-02-04 Bose Corporation Dynamic compensation in active noise reduction devices
US10580398B2 (en) 2017-03-30 2020-03-03 Bose Corporation Parallel compensation in active noise reduction devices
US10614790B2 (en) 2017-03-30 2020-04-07 Bose Corporation Automatic gain control in an active noise reduction (ANR) signal flow path
EP3627493B1 (en) * 2017-03-30 2024-05-15 Bose Corporation Compensation and automatic gain control in active noise reduction devices
JP7282761B2 (en) * 2017-10-31 2023-05-29 グーグル エルエルシー Low-latency decimator and interpolator filter
CN108419162A (en) * 2018-02-09 2018-08-17 万魔声学科技有限公司 Active denoising method, active noise reducing device and noise cancelling headphone
US11223891B2 (en) * 2020-02-19 2022-01-11 xMEMS Labs, Inc. System and method thereof
CN115298647A (en) * 2020-03-13 2022-11-04 弗劳恩霍夫应用研究促进协会 Apparatus and method for rendering sound scenes using pipeline stages

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193421A (en) * 2007-02-05 2008-08-21 Sony Corp Image processor and image processing method
JP2012533091A (en) * 2009-07-10 2012-12-20 クゥアルコム・インコーポレイテッド System, method, apparatus and computer readable medium for adaptive active noise cancellation
JP2014503844A (en) * 2010-12-03 2014-02-13 シラス ロジック、インコーポレイテッド Monitoring and control of an adaptive noise canceller in personal audio devices
US20140112491A1 (en) * 2012-10-18 2014-04-24 Texas Instruments Incorporated Method and Apparatus for a Configurable Active Noise Canceller

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5685308A (en) * 1994-08-05 1997-11-11 Acuson Corporation Method and apparatus for receive beamformer system
US7933295B2 (en) * 1999-04-13 2011-04-26 Broadcom Corporation Cable modem with voice processing capability
TWI315159B (en) * 2004-05-12 2009-09-21 Chou Yuan Fan The frequency response shaping analog hearing aid
GB0725108D0 (en) * 2007-12-21 2008-01-30 Wolfson Microelectronics Plc Slow rate adaption
SG163453A1 (en) * 2009-01-28 2010-08-30 Creative Tech Ltd An earphone set
US7928886B2 (en) * 2009-07-01 2011-04-19 Infineon Technologies Ag Emulation of analog-to-digital converter characteristics
US8940994B2 (en) * 2010-09-15 2015-01-27 Avedis Zildjian Co. Illuminated non-contact cymbal pickup
US20120155666A1 (en) * 2010-12-16 2012-06-21 Nair Vijayakumaran V Adaptive noise cancellation
US20120300960A1 (en) * 2011-05-27 2012-11-29 Graeme Gordon Mackay Digital signal routing circuit
US9318094B2 (en) * 2011-06-03 2016-04-19 Cirrus Logic, Inc. Adaptive noise canceling architecture for a personal audio device
CN103402156B (en) * 2013-07-25 2016-05-25 瑞声科技(南京)有限公司 Sound system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008193421A (en) * 2007-02-05 2008-08-21 Sony Corp Image processor and image processing method
JP2012533091A (en) * 2009-07-10 2012-12-20 クゥアルコム・インコーポレイテッド System, method, apparatus and computer readable medium for adaptive active noise cancellation
JP2014503844A (en) * 2010-12-03 2014-02-13 シラス ロジック、インコーポレイテッド Monitoring and control of an adaptive noise canceller in personal audio devices
US20140112491A1 (en) * 2012-10-18 2014-04-24 Texas Instruments Incorporated Method and Apparatus for a Configurable Active Noise Canceller

Also Published As

Publication number Publication date
TW201626361A (en) 2016-07-16
KR20170084054A (en) 2017-07-19
TW201944390A (en) 2019-11-16
TWI672689B (en) 2019-09-21
CN107112003B (en) 2021-11-19
TWI734176B (en) 2021-07-21
EP3201911A1 (en) 2017-08-09
CN107112003A (en) 2017-08-29
EP3201911B1 (en) 2024-06-05
WO2016054186A1 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
EP3201911B1 (en) Acoustic processor having low latency
US10096312B2 (en) Noise cancellation system
TWI759652B (en) Electrical network for processing acoustic signals, method for real-time acoustic processing and active noise cancellation audio device
EP2973540B1 (en) Low-latency multi-driver adaptive noise canceling (anc) system for a personal audio device
JP2020510240A5 (en)
KR101357935B1 (en) Noise canceling system and noise canceling method
KR101699067B1 (en) Noise Cancelling Method and Earphone havinng Noise Cancelling Function
US20160365084A1 (en) Hybrid finite impulse response filter
WO2009081192A1 (en) Active noise cancellation system with slow rate adaptation of adaptive filter
US10997960B2 (en) Acoustic processor having low latency
GB2541976A (en) Hybrid finite impulse response filter
KR20210149857A (en) Wind noise suppression for active noise cancellation systems and methods
CN114787911A (en) Noise elimination system and signal processing method of ear-wearing type playing device
WO2009081184A1 (en) Noise cancellation system and method with adjustment of high pass filter cut-off frequency
WO2017160333A1 (en) Systems and methods for adaptive active noise cancellation for multiple-driver personal audio device
WO2019096930A1 (en) Noise cancellation filter structure, noise cancellation system and signal processing method
CN114155827A (en) Feedback type active anti-noise system for controlling bi-level and bi-level error amount
TWI549525B (en) With three-dimensional effect and to enhance the noise reduction of the environment noise loudspeakers active noise reduction headphones
TW202324383A (en) Low-latency hybrid active noise control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180920

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190318

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200602