JP4784184B2 - Acoustic signal processing apparatus and program - Google Patents

Description

この発明は、入力信号と、入力信号に対して処理を施して得た信号とを混合して出力するエフェクト機能を有する音響信号処理装置及び、コンピュータをこのような音響信号処理装置として機能させるためのプログラムに関する。   The present invention provides an acoustic signal processing device having an effect function of mixing and outputting an input signal and a signal obtained by performing processing on the input signal, and for causing a computer to function as such an acoustic signal processing device. Related to the program.

従来から、入力信号と、入力信号に対して処理を施して得たボイス信号と呼ばれる信号とを混合して出力する、ダブリングエフェクトと呼ばれるエフェクトを付与するエフェクタが知られている。
このようなエフェクタにおいて、ボイス信号は、ディレイを用いて入力信号を遅延させて生成したり、入力信号のピッチを単に一定量ずらすピッチシフトを行ったりして生成したりすることが行われていた。また、出力信号は、入力信号とボイス信号を重ねたり、これらの各信号をパンで左右に定位させたりしたものである。 Conventionally, an effector for adding an effect called a doubling effect that mixes and outputs an input signal and a signal called a voice signal obtained by processing the input signal is known.
In such an effector, the voice signal is generated by delaying the input signal using a delay, or by performing a pitch shift that simply shifts the pitch of the input signal by a certain amount. . The output signal is obtained by superimposing the input signal and the voice signal, or panning these signals left and right by panning.

このようなエフェクタについては、例えば以下の特許文献１乃至５に記載されている。
特許第３１８３１１７号公報 米国特許第５３０１２５９号明細書 米国特許第５２３１６７１号明細書 米国特許第５５６７９０１号明細書 米国特許第６０４６３９５号明細書 Such effectors are described in, for example, Patent Documents 1 to 5 below.
Japanese Patent No. 3183117 US Pat. No. 5,301,259 US Pat. No. 5,231,671 US Pat. No. 5,567,901 US Pat. No. 6,046,395

ここで、図１３及び図１４に、従来のエフェクタにおける入力信号（破線）とボイス信号（実線）のピッチの時間変化を示す。図１３はディレイを用いた場合の例、図１４はピッチシフトを行った場合の例である。
これらの図からもわかるように、ディレイを用いるだけでは、ピッチの変化の仕方が入力信号とボイス信号で全く同じである。そしてこのため、エフェクトの出力信号が単調に聞こえる傾向があるという問題があった。また、ピッチシフトを行った場合でも、音高がいくら違っていてもピッチの変化の仕方が一定であり、同様な問題があった。
この発明は、このような問題を解決し、変化に富んだエフェクトを、簡単な仕組みで実現できるようにすることを目的とする。 Here, FIGS. 13 and 14 show temporal changes in the pitches of the input signal (broken line) and the voice signal (solid line) in the conventional effector. FIG. 13 shows an example when a delay is used, and FIG. 14 shows an example when a pitch shift is performed.
As can be seen from these figures, the pitch change method is exactly the same for the input signal and the voice signal only by using the delay. For this reason, there is a problem that the output signal of the effect tends to sound monotonously. Further, even when the pitch shift is performed, the pitch change method is constant regardless of the pitch, and there is a similar problem.
It is an object of the present invention to solve such problems and to realize various effects with a simple mechanism.

上記の目的を達成するため、この発明の音響信号処理装置は、入力信号のピッチ情報を検出して第１のピッチ情報を出力するピッチ検出手段と、上記第１のピッチ情報に対してフィルタ処理を行い第２のピッチ情報を出力するフィルタ処理手段と、上記第１のピッチ情報を用いて上記入力信号のうちピッチ変換の処理対象となる区間を設定し、その設定された区間の入力信号のピッチを、上記第２のピッチ情報が示すピッチに変換した加工信号を生成する加工信号生成手段と、上記入力信号と上記加工信号とを混合して出力する混合手段とを設けたものである。
このような音響信号処理装置において、上記加工信号生成手段に、上記入力信号のピッチ情報又は上記フィルタ処理手段によるフィルタ処理後のピッチ情報が示すピッチの値を、時間をずらして上記加工信号の生成に反映させるようにするとよい。 In order to achieve the above object, an acoustic signal processing apparatus according to the present invention detects pitch information of an input signal and outputs first pitch information, and performs filtering processing on the first pitch information. and filtering means for outputting a row physician second pitch information, by using the first pitch information to set the interval to be processed by the pitch conversion of the input signal, the input signal of the set interval Is provided with processing signal generation means for generating a processing signal obtained by converting the pitch of the input signal into the pitch indicated by the second pitch information, and mixing means for mixing and outputting the input signal and the processing signal. .
In such an acoustic signal processing device, the processed signal generation means generates the processed signal by shifting the pitch value indicated by the pitch information of the input signal or the pitch information after the filter processing by the filter processing means by shifting the time. It should be reflected in

また、この発明のプログラムは、コンピュータを、入力信号のピッチ情報を検出して第１のピッチ情報を出力するピッチ検出手段と、上記第１のピッチ情報に対してフィルタ処理を行い第２のピッチ情報を出力するフィルタ処理手段と、上記第１のピッチ情報を用いて上記入力信号のうちピッチ変換の処理対象となる区間を設定し、その設定された区間の入力信号のピッチを、上記第２のピッチ情報が示すピッチに変換した加工信号を生成する加工信号生成手段と、上記入力信号と上記加工信号とを混合して出力する混合手段として機能させるためのプログラムである。 Further, the present invention program the computer to a pitch detecting means for outputting a first pitch information by detecting the pitch information of the input signal, the filtering process line physician second to said first pitch information Using the filter processing means for outputting pitch information and the first pitch information, a section to be processed for pitch conversion is set in the input signal, and the pitch of the input signal in the set section is set to the first pitch information . 2 is a program for functioning as a machining signal generating unit that generates a machining signal converted into a pitch indicated by pitch information of 2, and a mixing unit that mixes and outputs the input signal and the machining signal.

以上のようなこの発明の音響信号処理装置によれば、変化に富んだエフェクトを、簡単な仕組みで実現することができる。
また、この発明のプログラムによれば、コンピュータを音響信号処理装置として機能させ、同様な効果を得ることができる。 According to the acoustic signal processing apparatus of the present invention as described above, it is possible to realize effects that are rich in changes with a simple mechanism.
Moreover, according to the program of this invention, a computer can be functioned as an acoustic signal processing apparatus, and the same effect can be acquired.

以下、この発明を実施するための最良の形態を図面に基づいて具体的に説明する。
まず、図１を用いて、この発明の音響信号処理装置の実施形態である電子楽器の構成について説明する。図１はその電子楽器の構成を示すブロック図である。
図１に示すように、この電子楽器１０は、ＣＰＵ１１，ＲＯＭ１２，ＲＡＭ１３，検出回路１４，表示回路１５，オーディオ信号インタフェース（Ｉ／Ｆ）１６，通信Ｉ／Ｆ１７，音源部１８，信号処理部１９を備え、これらがシステムバス２０によって接続されている。そして、検出回路１４には操作子２１が、表示回路１５には表示器２２が、信号処理部１９にはサウンドシステム２３が接続されている。 Hereinafter, the best mode for carrying out the present invention will be specifically described with reference to the drawings.
First, the configuration of an electronic musical instrument which is an embodiment of the acoustic signal processing apparatus of the present invention will be described with reference to FIG. FIG. 1 is a block diagram showing the configuration of the electronic musical instrument.
As shown in FIG. 1, the electronic musical instrument 10 includes a CPU 11, a ROM 12, a RAM 13, a detection circuit 14, a display circuit 15, an audio signal interface (I / F) 16, a communication I / F 17, a sound source unit 18, and a signal processing unit 19. These are connected by a system bus 20. An operation element 21 is connected to the detection circuit 14, a display 22 is connected to the display circuit 15, and a sound system 23 is connected to the signal processing unit 19.

そして、ＣＰＵ１１は、電子楽器１０を統括制御する制御部であり、ＲＯＭ１２に記憶された所要の制御プログラムを実行することにより、検出回路１４を介した操作子２１の操作内容検出、表示回路１５を介した表示器２２の表示制御、オーディオ信号Ｉ／Ｆ１６を介したオーディオ信号の入力受付、通信Ｉ／Ｆ１７を介した通信の制御、音源部１８における波形データ生成の制御、信号処理部１９における信号処理の制御等の制御動作を行う。   The CPU 11 is a control unit that performs overall control of the electronic musical instrument 10, and by executing a required control program stored in the ROM 12, the operation content detection and display circuit 15 of the operation element 21 via the detection circuit 14 is detected. Display control of the display device 22 via the audio signal I / F 16, input reception of the audio signal via the audio signal I / F 16, control of communication via the communication I / F 17, control of waveform data generation in the sound source unit 18, signal in the signal processing unit 19 Control operations such as processing control are performed.

ＲＯＭ１２は、ＣＰＵ１１が実行する制御プログラムや、変更する必要のないデータ等を記憶する記憶手段である。このＲＯＭ１２をフラッシュメモリ等の書き換え可能な不揮発性記憶手段によって構成し、これらのデータを更新できるようにすることも考えられる。
ＲＡＭ１３は、ＣＰＵ１１のワークメモリとして使用したり、一時的に使用するパラメータの値等を記憶したりする記憶手段である。 The ROM 12 is a storage unit that stores a control program executed by the CPU 11, data that does not need to be changed, and the like. It is conceivable that the ROM 12 is constituted by rewritable nonvolatile storage means such as a flash memory so that these data can be updated.
The RAM 13 is a storage unit that is used as a work memory for the CPU 11 or that temporarily stores parameter values and the like.

検出回路１４は、操作子２１に対してなされた操作内容を検出してその内容に従った信号をＣＰＵ１１に伝達するための回路である。また、操作子２１は、キー、ボタン、ダイヤル、スライダ等によって構成され、電子楽器１０に対するユーザからの操作を受け付けるための操作手段である。なお、タッチパネルをＬＣＤに積層する等して表示器２２と操作子２１とを一体に形成することもできる。また、電子楽器１０の種類に応じて、鍵盤、弦、パッド、ペダル、ブレスコントローラ等、演奏操作を受け付けるための操作子も含む。   The detection circuit 14 is a circuit for detecting an operation content performed on the operation element 21 and transmitting a signal according to the content to the CPU 11. The operation element 21 is constituted by keys, buttons, dials, sliders, and the like, and is an operation means for receiving an operation from the user on the electronic musical instrument 10. Note that the display 22 and the operation element 21 can be integrally formed by, for example, stacking a touch panel on the LCD. In addition, depending on the type of the electronic musical instrument 10, an operation element for receiving a performance operation such as a keyboard, strings, pads, pedals, and a breath controller is included.

表示回路１５は、ＣＰＵ１１からの指示に従って表示器２２における表示を制御する回路である。また、表示器２２は、液晶ディスプレイ（ＬＣＤ）や発光ダイオード（ＬＥＤ）ランプ等によって構成され、電子楽器１０の動作状態や設定内容あるいはユーザへのメッセージ、ユーザからの指示を受け付けるためのグラフィカル・ユーザ・インタフェース（ＧＵＩ）等を表示するための表示手段である。   The display circuit 15 is a circuit that controls display on the display 22 in accordance with an instruction from the CPU 11. Further, the display 22 is configured by a liquid crystal display (LCD), a light emitting diode (LED) lamp, or the like, and is a graphical user for receiving an operation state and setting contents of the electronic musical instrument 10, a message to the user, and an instruction from the user. Display means for displaying an interface (GUI) or the like.

オーディオ信号Ｉ／Ｆ１６は、マイクや他の音響機器等を接続し、オーディオ信号の入力を受け付けるためのインタフェースである。そして、ここに入力されたオーディオ信号は、信号処理部１９における信号処理に供するようにしている。このとき、ＲＡＭ１３等により信号をバッファできるようにしてもよい。また、アナログ信号の入力を受け付ける場合にはＡ／Ｄ変換を行ってデジタル信号に変換するようにしている。   The audio signal I / F 16 is an interface for connecting a microphone and other audio equipment and receiving an input of an audio signal. The audio signal input here is used for signal processing in the signal processing unit 19. At this time, the signal may be buffered by the RAM 13 or the like. When receiving an analog signal input, A / D conversion is performed to convert it into a digital signal.

通信Ｉ／Ｆ１７は、ＬＡＮ（ローカルエリアネットワーク）のようなネットワークに接続する等して、ＰＣ（パーソナルコンピュータ）等の外部装置と通信するためのインタフェースである。そして、例えばイーサネット（登録商標）規格のインタフェースを用いて構成することができる。
また、通信Ｉ／Ｆ１７として、他の電子楽器、音源装置等、ＭＩＤＩデータを取り扱う外部装置との間でＭＩＤＩデータの送受信を行うためのインタフェースを設けてもよい。このようなインタフェースは、例えばＵＳＢ規格や、ＩＥＥＥ１３９４（Institute of Electrical and Electronic Engineers 1394）規格、あるいはＲＳ２３２Ｃ（Recommended Standard 232 version C）規格等に準拠したインタフェースによって構成することができる。ＭＩＤＩデータとそれ以外のデータを、共通のインタフェースを介して送受信できるようにすることも考えられる。 The communication I / F 17 is an interface for communicating with an external device such as a PC (personal computer) by connecting to a network such as a LAN (local area network). For example, an Ethernet (registered trademark) standard interface can be used.
Further, as the communication I / F 17, an interface for transmitting / receiving MIDI data to / from an external device handling MIDI data, such as another electronic musical instrument or a sound source device, may be provided. Such an interface can be configured by an interface conforming to, for example, the USB standard, the IEEE 1394 (Institute of Electrical and Electronic Engineers 1394) standard, or the RS232C (Recommended Standard 232 version C) standard. It may be possible to transmit and receive MIDI data and other data via a common interface.

音源部１８は、演奏操作子の操作に従ってＣＰＵ１１が生成したり、通信Ｉ／Ｆ１７を介して外部装置から受信したりしたＭＩＤＩ形式の演奏データを基に、複数の発音チャンネルでデジタル音響信号である波形データを生成する音源手段である。そして、生成した波形データはスピーカ等によるサウンドシステム２３に入力して発音を行わせたり、信号処理部１９に入力して信号処理に供したりする。   The sound source unit 18 is a digital sound signal in a plurality of sound generation channels based on MIDI performance data generated by the CPU 11 according to the operation of the performance operator or received from an external device via the communication I / F 17. This is a sound source means for generating waveform data. The generated waveform data is input to the sound system 23 such as a speaker to generate sound, or input to the signal processing unit 19 for signal processing.

信号処理部１９は、エフェクタやミキサ等として機能し、音源部１８によって生成されたりオーディオ信号Ｉ／Ｆ１６を介して入力されたりした波形データに対し、ＣＰＵ１１により設定される処理パラメータに従ったエフェクト付与やミキシング等の信号処理を施す信号処理手段である。また、処理後の信号は、サウンドシステム２３に入力し、その信号に基づく発音を行わせるようにしている。
これらの音源部１８や信号処理部１９は、ソフトウェアによって実現してもハードウェアによって実現してもよい。 The signal processing unit 19 functions as an effector, a mixer, and the like, and applies effects according to processing parameters set by the CPU 11 to waveform data generated by the sound source unit 18 or input via the audio signal I / F 16. And signal processing means for performing signal processing such as mixing. Further, the processed signal is input to the sound system 23, and sound generation based on the signal is performed.
The sound source unit 18 and the signal processing unit 19 may be realized by software or hardware.

ところで、上述の電子楽器１０は、信号処理部１９に、入力信号に対してダブリングのエフェクトを付与するダブリングエフェクタを備えている。なおここでは、ダブリングとは、元の音に、その音を加工した音を重ね、音に厚みを出す処理を指すものとする。そして、このようなダブリング自体は、ダブルトラック録音やＡＤＴ（Artificial Double Tracking）を模した効果として広く利用されており、ボーカルだけでなくエレキギター等の楽器音に使われることも多い。   By the way, the electronic musical instrument 10 described above includes a doubling effector that applies a doubling effect to the input signal in the signal processing unit 19. Here, doubling refers to a process of adding a processed sound to the original sound to increase the thickness of the sound. Such doubling itself is widely used as an effect simulating double track recording or ADT (Artificial Double Tracking), and is often used not only for vocals but also for musical instruments such as electric guitars.

また、上記の「加工」としては例えば、ディレイ、パンニング、ピッチシフト（ここでは、入力信号のピッチによらず一定量だけピッチを変化させるものをいう）、あるいはこれらにモジュレーションやデチューンを組み合わせた処理が使用されていた。
しかしここでは、上記の「加工」として、入力信号のピッチを、その入力信号のピッチ情報をフィルタ処理して得たピッチに変換するピッチ変換処理を行うようにしている。この点が、この実施形態の特徴である。なおここでは、ピッチ変換に加え、入力信号と、加工後の加工信号であるボイス信号とに対して、それぞれパンニング処理も行うようにしている。 In addition, as the above-mentioned “processing”, for example, delay, panning, pitch shift (in this case, the pitch is changed by a fixed amount regardless of the pitch of the input signal), or processing in which modulation or detuning is combined with these. Was used.
However, here, as the “processing” described above, a pitch conversion process is performed in which the pitch of the input signal is converted into a pitch obtained by filtering the pitch information of the input signal. This is a feature of this embodiment. Here, in addition to pitch conversion, panning processing is also performed on the input signal and the voice signal that is the processed signal after processing.

次に、図２に、信号処理部１９に備える上記のようなダブリングエフェクタの機能構成を示す。
図２に示すように、ダブリングエフェクタ３０は、ボイス信号生成部４０，遅延処理部５０，ミックス部６０を備えている。
このうち、ボイス信号生成部４０は、上記の「加工」を行ってボイス信号を生成する加工信号生成手段であり、ピッチ検出部４１，フィルタ処理部４２，ピッチ変換部４３を備えている。 Next, FIG. 2 shows a functional configuration of the doubling effector as described above provided in the signal processing unit 19.
As shown in FIG. 2, the doubling effector 30 includes a voice signal generation unit 40, a delay processing unit 50, and a mixing unit 60.
Among these, the voice signal generation unit 40 is a processing signal generation unit that performs the above-described “processing” to generate a voice signal, and includes a pitch detection unit 41, a filter processing unit 42, and a pitch conversion unit 43.

そして、ピッチ検出部４１は、入力信号のピッチを検出してピッチ情報を取得する機能を有するピッチ検出手段である。ピッチ情報取得のためのピッチ検出処理の詳細については、後述する。
フィルタ処理部４２は、ピッチ検出部４１で取得したピッチ情報に対してフィルタ処理を行うフィルタ処理手段である。このフィルタ処理としては、例えば図３に示すような遅延部７１〜７４、減衰部７５〜７９及び加算部８０を備えたローパスフィルタ（ＬＰＦ）が考えられるが、ハイパスフィルタ（ＨＰＦ）やバンドエリミネートフィルタ（ＢＥＦ）を始め、他にも種々のフィルタを使用することが考えられる。複数のフィルタを組み合わせてもよい。また、フィルタ処理の前や後ろに遅延を挿入し、ピッチ情報をピッチ変換部４３でのピッチ変換処理に反映させるタイミングをずらすようにしてもよい。 The pitch detector 41 is pitch detecting means having a function of detecting pitch of an input signal and acquiring pitch information. Details of the pitch detection process for acquiring pitch information will be described later.
The filter processing unit 42 is a filter processing unit that performs filter processing on the pitch information acquired by the pitch detection unit 41. As this filter processing, for example, a low pass filter (LPF) including delay units 71 to 74, attenuation units 75 to 79, and an adder unit 80 as shown in FIG. 3 can be considered, but a high pass filter (HPF) or a band eliminate filter may be used. It is conceivable to use various filters such as (BEF). A plurality of filters may be combined. Further, a delay may be inserted before or after the filter processing, and the timing at which the pitch information is reflected in the pitch conversion processing in the pitch conversion unit 43 may be shifted.

ピッチ変換部４３は、ピッチ検出部４１で取得したピッチ情報と、フィルタ処理部４２による処理後のピッチ情報とを利用し、入力信号に対してピッチ変換処理を行い、そのピッチをフィルタ処理部４２による処理後のピッチ情報が示すピッチに変換してボイス信号を生成する機能を有するピッチ変換手段である。このとき、なるべく音色を変えず、ピッチのみ変換するような処理を行うことが好ましい。この実施形態で採用しているピッチ変換処理については後に詳述する。また、ピッチ変換部４３は、生成したボイス信号をミックス部６０に供給する。   The pitch conversion unit 43 uses the pitch information acquired by the pitch detection unit 41 and the pitch information after processing by the filter processing unit 42 to perform pitch conversion processing on the input signal, and the pitch processing unit 42 Is a pitch conversion means having a function of generating a voice signal by converting into a pitch indicated by the pitch information after processing. At this time, it is preferable to perform processing that converts only the pitch without changing the timbre as much as possible. The pitch conversion process employed in this embodiment will be described in detail later. In addition, the pitch conversion unit 43 supplies the generated voice signal to the mixing unit 60.

ここで、図４に、フィルタ処理部４２でのフィルタ処理にＬＰＦを使用した場合の入力信号とボイス信号のピッチ変化をそれぞれ破線と実線で示す、図１３及び図１４と対応する図を示す。この図から分かるように、ピッチ情報をＬＰＦに通すことにより、入力信号とボイス信号とで、ピッチの変化の仕方を変えることができる。より具体的には、（ａ）の例ではボイス信号のピッチの立ち上がりを遅くし、（ｂ）の例ではビブラートの大きさを抑制することができる。   Here, FIG. 4 is a diagram corresponding to FIGS. 13 and 14, in which the change in pitch between the input signal and the voice signal when the LPF is used for the filter processing in the filter processing unit 42 is indicated by a broken line and a solid line, respectively. As can be seen from this figure, by passing the pitch information through the LPF, the way of changing the pitch can be changed between the input signal and the voice signal. More specifically, the rise of the pitch of the voice signal can be delayed in the example of (a), and the size of the vibrato can be suppressed in the example of (b).

図２の説明に戻ると、遅延処理部５０は、バッファメモリ等によって構成され、ミックス部６０に入力する入力信号を、ボイス信号生成部４０でのボイス信号生成処理に必要な時間だけ遅延する遅延手段である。この遅延の長さは、例えば２０ミリ秒（ｍｓ）程度とすればよい。   Returning to the description of FIG. 2, the delay processing unit 50 is configured by a buffer memory or the like, and delays the input signal input to the mixing unit 60 by a time necessary for the voice signal generation processing in the voice signal generation unit 40. Means. The length of this delay may be about 20 milliseconds (ms), for example.

ミックス部６０は、入力信号とボイス信号とを混合して出力する混合手段であり、ゲイン調整部６１，６４，パン調整部６２，６５，加算部６３，６６を備えている。そして、遅延処理部５０によって遅延された入力信号と、ボイス信号生成部４０によって生成されたボイス信号とに対してそれぞれゲイン調整部６１，６４でゲイン調整を行った上でパン調整部６２，６５によりＬ側信号とＲ側信号に振り分け、これらを加算部６３，６６で加算して、ＬとＲのステレオ信号として出力する。
なお、ゲイン調整やパン調整は必須ではなく、単に入力信号とボイス信号とを加算して出力するようにしてもよい。 The mixing unit 60 is a mixing unit that mixes and outputs an input signal and a voice signal, and includes gain adjusting units 61 and 64, pan adjusting units 62 and 65, and adding units 63 and 66. The gain adjustment units 61 and 64 perform gain adjustment on the input signal delayed by the delay processing unit 50 and the voice signal generated by the voice signal generation unit 40, respectively, and then the pan adjustment units 62 and 65. Are assigned to the L side signal and the R side signal, added by the adders 63 and 66, and output as an L and R stereo signal.
Note that gain adjustment and pan adjustment are not essential, and an input signal and a voice signal may be simply added and output.

電子楽器１０においては、以上のようなダブリングエフェクタ３０を設けることにより、入力信号にピッチ変換処理を施し、入力信号のピッチ情報をフィルタ処理して得たピッチの加工信号を生成し、入力信号と混合して出力できるようにし、変化に富んだエフェクトを、簡単な仕組みで実現することができるようにしている。   In the electronic musical instrument 10, by providing the doubling effector 30 as described above, a pitch conversion process is performed on the input signal, a pitch processing signal obtained by filtering the pitch information of the input signal is generated, and the input signal and It can be mixed and output, and a variety of effects can be realized with a simple mechanism.

信号処理部１９に、他のエフェクタやミキサの機能を設けてもよいことはもちろんであり、ダブリングエフェクタ３０の出力を、それらのエフェクタに入力してさらにエフェクトを付与したり、ミキサに入力してミキシング処理に供したりすることもできる。逆に、他のエフェクタやミキサによる処理後の信号をダブリングエフェクタ３０に入力するようにすることも考えられる。
また、信号処理部１９が複数のチャンネルで信号処理を行う場合に、エフェクタを各チャンネル毎に設けてそれぞれ独立に動作させられるようにしてよいことは、もちろんである。 Of course, the signal processing unit 19 may be provided with functions of other effectors and mixers, and the output of the doubling effector 30 is input to these effectors for further effects, or input to the mixer. It can also be used for mixing processing. Conversely, it is also conceivable to input a signal after processing by another effector or mixer to the doubling effector 30.
In addition, when the signal processing unit 19 performs signal processing on a plurality of channels, it is needless to say that an effector may be provided for each channel and operated independently.

次に、図５を用いて、ピッチ検出部４１におけるピッチ検出処理について説明する。
ピッチ検出部４１においては、ピッチの検出は、基本的には、入力信号波形１０１と、その入力信号波形１０１の＋側及び−側のエンベロープに所定値（又は所定の関数値）を乗算して得た＋側エンベロープ１０２及び−側エンベロープ１０３とが交差する（サンプル値の大小関係が入れ替わる）タイミングを検出することにより行っている。 Next, the pitch detection process in the pitch detection part 41 is demonstrated using FIG.
In the pitch detection unit 41, basically, the pitch is detected by multiplying the input signal waveform 101 and the + side and − side envelopes of the input signal waveform 101 by a predetermined value (or a predetermined function value). This is done by detecting the timing at which the obtained + side envelope 102 and − side envelope 103 intersect (the magnitude relationship between the sample values is switched).

より具体的には、検出フラグＩＲＱを用意し、入力信号波形１０１が＋側エンベロープ１０２と交差した時点Ｔ_１，Ｔ_３でこれを０から１に立ち上げ、入力信号波形１０１が−側エンベロープ１０３と交差した時点Ｔ_２，Ｔ_４で１から０に立ち下げるようにし、ＩＲＱフラグの立ち上がりから次の立ち上がりまでの時間を、サンプル数をカウントすることにより計測するようにしている。この計測した時間（サンプル数）を検出したピッチとする。 More specifically, a detection flag IRQ is prepared, and when the input signal waveform 101 intersects with the + side envelope 102, this is raised from 0 to 1 at the time points T ₁ and T ₃ , and the input signal waveform 101 becomes the − side envelope 103. At time points T ₂ and T ₄ when crossing, the time is decreased from 1 to 0, and the time from the rising edge of the IRQ flag to the next rising edge is measured by counting the number of samples. The measured time (number of samples) is taken as the detected pitch.

なお、Ｔ_１の直後にも入力信号波形１０１が＋側エンベロープ１０２と交差するが、この時点ではＩＲＱは既に１であるので、立ち上がりは起こらない。そして、Ｔ_２にＩＲＱフラグが立ち下がった後で入力信号波形１０１が＋側エンベロープ１０２と交差するＴ_３で、次の立ち上がりが起こる。同様なことが、−側エンベロープ１０３についても言える。
このようにエンベロープを利用するのは、高調波成分を多く含み、１周期内で何度もゼロクロスを繰り返すような信号や、波形の形が崩れていくつものピークを持つような信号等についてのピッチ検出間違いを防ぐためで、ゼロクロスのみの検出に比べるとはるかに正確なピッチが得られる。 Although intersects the input signal waveform 101 is the + side envelope 102 immediately after T _1, since at this point the IRQ is already 1, the rise does not occur. Then, after the IRQ flag falls at T ₂ , the next rise occurs at T ₃ where the input signal waveform 101 intersects the + side envelope 102. The same is true for the negative envelope 103.
The use of the envelope in this way is the pitch for signals that contain many harmonic components and repeat zero crosses many times within one period, or signals that have a number of peaks due to their waveform being deformed. In order to prevent detection errors, a much more accurate pitch can be obtained compared to detection of only zero cross.

またここでは、処理対象のオーディオ信号のサンプリング周波数は４４．１キロヘルツ（ｋＨｚ）とし、この場合サンプリング周期は約０．０２ｍｓである。そして、サンプリング周期より細かい精度でピッチを求めようとする場合には、補間を行って、交差のタイミングをより細かく求めるようにすることも考えられる。
また、図５に示した例では、＋側及び−側のエンベロープ１０２，１０３は、時間の経過に応じて減衰するようなものとし、前者はＩＲＱフラグの立ち上がり、後者は立ち下がりをトリガに減衰をリセットするようなものとしている。 Here, the sampling frequency of the audio signal to be processed is 44.1 kilohertz (kHz), and in this case, the sampling period is about 0.02 ms. When it is desired to obtain the pitch with a finer accuracy than the sampling period, it is conceivable to perform interpolation to obtain the intersection timing more finely.
In the example shown in FIG. 5, the + and − envelopes 102 and 103 are attenuated as time elapses, the former is attenuated by the rising edge of the IRQ flag, and the latter is triggered by the falling edge. Is like resetting.

そして、ピッチ検出部４１は、以上のような動作により検出した入力信号のピッチを、順にバッファに記録していき、所定タイミング毎、ここでは６ｍｓ毎に、バッファに記録したピッチのうち所定個数の平均値を、その時点の入力信号波形１０１のピッチを示すピッチ情報として出力するようにしている。なお、ここで用いるバッファは、容量が一杯になった場合に古いデータから消去するリングバッファがよい。また、上記の所定個数は例えば１６個とすればよく、バッファに記録した数がこれに満たない場合には、既に記録されている分のみの平均値とすればよい。   Then, the pitch detection unit 41 sequentially records the pitch of the input signal detected by the above operation in the buffer, and at a predetermined timing, here every 6 ms, a predetermined number of pitches recorded in the buffer. The average value is output as pitch information indicating the pitch of the input signal waveform 101 at that time. The buffer used here is preferably a ring buffer that erases old data when the capacity becomes full. Further, the predetermined number may be set to 16, for example, and if the number recorded in the buffer is less than this, the average value for the amount already recorded may be used.

また、上記の検出を行う場合に、ノイズを除去して精度を上げるため、また、ボイス信号の生成を行うべき部分と行うべきでない部分を区別するため、検出条件や検出結果について、以下のような評価を行うようにするとよい。   In addition, when performing the above detection, in order to remove noise and improve accuracy, and to distinguish a portion that should generate a voice signal from a portion that should not be generated, detection conditions and detection results are as follows. It is recommended to make a proper evaluation.

まず、ピッチ検出は、入力信号のレベルが所定値以上の場合にのみ行うようにするとよい。あまりにレベルが低い信号は、無音の信号に混入したノイズと考えられるためである。
また、入力信号波形１０１がゼロレベルと交差するゼロクロスの回数をカウントし、時間当たりのゼロクロス回数が所定値以上あった場合に、ピッチ検出を行わないようにするとよい。ここでは、この閾値をここでは６ｍｓ当たり３０回以上としている。このようになる部分は、入力信号は、人の声のうち子音に該当するものであり、このような部分ではボイス信号の加算を行わない方が好ましい出力音が得られることが、経験的にわかっているので、ピッチ検出をやめ、それに連動させてボイス信号の生成も停止させるためである。 First, the pitch detection may be performed only when the level of the input signal is equal to or higher than a predetermined value. This is because a signal whose level is too low is considered as noise mixed in a silent signal.
Also, the number of zero crossings where the input signal waveform 101 crosses the zero level is counted, and when the number of zero crosses per time is equal to or greater than a predetermined value, it is preferable not to perform pitch detection. Here, this threshold is set to 30 times or more per 6 ms here. In this part, the input signal corresponds to the consonant of the human voice, and it is empirically found that it is preferable to not add the voice signal in such a part. This is because the pitch detection is stopped and the generation of the voice signal is stopped in conjunction with the detection.

また、以上の基準を満たす入力信号に対してピッチの検出を開始した場合でも、連続して検出したピッチのばらつきが、所定範囲内、例えば１２．５％以内であった場合に初めて連続検出モードに移行し、これが満たされるまでは検出したピッチの値をピッチバッファに記録しないようにするとよい。誤差が大きい場合には、検出結果を信用できないためである。   Even when pitch detection is started for an input signal that satisfies the above criteria, the continuous detection mode is not used until the continuously detected pitch variation is within a predetermined range, for example, 12.5%. It is preferable not to record the detected pitch value in the pitch buffer until this condition is satisfied. This is because the detection result cannot be trusted when the error is large.

さらに、ＩＲＱフラグの立ち上がりから立ち下がりまでの期間の長さをＰＣＮＴ１、立ち下がりから立ち上がりまでの期間の長さをＰＣＴＮ０としてそれぞれ計測し、以下の（ａ）〜（ｃ）の値を求めてバッファに記録し、最新の検出値を１つ前にピッチバッファに記録した値と比較した場合の誤差が所定範囲内、例えば１２．５％以内であった場合にのみ、検出した値を新たにバッファに記録するようにしてもよい。（ａ）〜（ｃ）のうち任意の個数について同時に誤差が所定範囲内であった場合に記録を行うようにしてもよい。
（ａ）ＰＣＮＴ１＋ＰＣＴＮ０（ＩＲＱフラグの立ち上がりから次の立ち上がりまで）
（ｂ）ＰＣＮＴ０＋ＰＣＴＮ１（ＩＲＱフラグの立ち下がりから次の立ち下がりまで）
（ｃ）２周期分のＰＣＮＴ１＋ＰＣＮＴ０
（ａ）は図５に示したピッチの検出値そのものである。 Further, the length of the period from the rise to the fall of the IRQ flag is measured as PCNT1, the length of the period from the fall to the rise is measured as PCTN0, and the following values (a) to (c) are obtained and buffered: The detected value is newly buffered only when the error when the latest detected value is compared with the value previously recorded in the pitch buffer is within a predetermined range, for example, within 12.5%. May be recorded. Recording may be performed when the error is within a predetermined range for any number of (a) to (c).
(A) PCNT1 + PCTN0 (from the rise of the IRQ flag to the next rise)
(B) PCNT0 + PCTN1 (from the fall of the IRQ flag to the next fall)
(C) PCNT1 + PCNT0 for two cycles
(A) is the detected pitch value itself shown in FIG.

また、上記（ａ）〜（ｃ）に代えてまたはこれに加えて、（ｄ）として２周期分のＰＣＮＴ１＋ＰＣＮＴ０を検出して（ａ）の２倍の値と比較し、周期ミスの確認を行うようにしてもよい。
さらに、上記の（ａ）〜（ｄ）で誤差が所定範囲内でなかった場合に、検出ミスとしてその回数をカウントし、これが所定回数以上となった場合に検出を中止して初めからやり直すようにしてもよい。
例えば、ミスが３回以下の場合には単にバッファへの記録を行わずにピッチ検出を続行し、ミスが４回から７回の場合には検出した値をバッファに記録し、比較対象の値を更新してピッチ検出を続行し、ミスが８回以上の場合にはそれまでバッファに記録したデータを全て破棄して初めから検出をやり直す等である。 Also, instead of or in addition to the above (a) to (c), PCNT1 + PCNT0 for two cycles is detected as (d) and compared with twice the value of (a), and a cycle error is confirmed. You may do it.
Further, when the error is not within the predetermined range in the above (a) to (d), the number of times is counted as a detection error, and when this exceeds the predetermined number, the detection is stopped and the process is started again from the beginning. It may be.
For example, if the miss is 3 times or less, the pitch detection is continued without simply recording in the buffer. If the miss is 4 to 7 times, the detected value is recorded in the buffer, and the value to be compared is recorded. Is updated and pitch detection is continued. If there are more than eight mistakes, all the data recorded in the buffer is discarded and detection is performed again from the beginning.

次に、図６及び図７を用いて、ピッチ変換部４３におけるピッチ変換処理について説明する。
ピッチ変換部４３においては、ピッチ変換処理として、入力信号１１１を窓関数を用いて切り出し、これを要素として並べ、その並べる周期によって変換後の波形のピッチを決定する処理を行うようにしている。なおここでは、図６及び図７に示すように、入力信号１１１の切り出しは、ＯＵＴ０とＯＵＴ１の２系統でタイミングをずらして行い、これらを加算したものをピッチ変換後のボイス信号として出力するようにしている。そして、このような処理によれば、入力信号１１１のフォルマント情報を保持したままピッチ変換を行うことができる。
この手法は、Ｌｅｎｔ法と呼ばれ、以下の論文に記載された方法を応用したものである。
Keith Lent (1989) “An efficient method for pitch shifting digitally sampled sounds.” Computer Music Journal Vol. 13 No.4. pp.65-71 Next, the pitch conversion process in the pitch conversion unit 43 will be described with reference to FIGS. 6 and 7.
In the pitch conversion unit 43, as the pitch conversion process, the input signal 111 is cut out using a window function, arranged as an element, and a process of determining the converted waveform pitch according to the arrangement period is performed. Here, as shown in FIGS. 6 and 7, the input signal 111 is cut out by shifting the timing of the two systems OUT0 and OUT1, and the sum of these signals is output as a voice signal after pitch conversion. I have to. According to such processing, pitch conversion can be performed while maintaining the formant information of the input signal 111.
This method is called the Lent method and is an application of the method described in the following paper.
Keith Lent (1989) “An efficient method for pitch shifting digitally sampled sounds.” Computer Music Journal Vol. 13 No.4. Pp.65-71

図６に示すのが、ピッチダウン（周波数減少）の場合の処理例、図７に示すのが、ピッチアップ（周波数増加）の場合の処理例である。
また、これらの図において、Ｐ_Ｉは、ピッチ検出部４１が検出結果として出力する入力信号１１１のピッチの値、Ｐ_Ｖは、フィルタ処理部４２が出力するボイス信号のピッチの値である。また、ＳＢ及びＲＢは、それぞれ基準区間及び出力区間の長さを示すが、これらの符号は区間自体を表わす符号としても用いる。また、上記の各値は、信号の内容によって変化するものであるので、異なる時点の値には「′」や「″」をつけて区別している。 FIG. 6 shows a processing example in the case of pitch down (frequency decrease), and FIG. 7 shows a processing example in the case of pitch up (frequency increase).
Further, in these figures, P _I, the pitch value of the input signal 111 pitch detector 41 is output as the detection result, the P _V, a value of the pitch of the voice signal filtering unit 42 outputs. SB and RB indicate the lengths of the reference section and the output section, respectively. These codes are also used as codes representing the sections themselves. Further, since each of the above values changes depending on the content of the signal, “′” and “″” are added to the values at different time points to distinguish them.

そして、ピッチ変換処理においてはまず、ボイス信号の出力とは関係なく、入力信号１１１をバッファに書き込むと共に、その入力信号１１１についてピッチＰ_Ｉの２倍の期間を持つ基準区間ＳＢを順に設定していくようにしている。そして、出力のための窓関数による切り出しを行う際には、この基準区間を単位に行うようにしている。
基準区間の長さは、ピッチＰ_Ｉが変われば当然変わるが、上述のようにピッチ検出部４１はピッチ情報の出力を６ｍｓ毎に行うようにしているので、次の出力が行われるまでは、ピッチＰ_Ｉの値は変化しないことになる。
なお、上記のバッファは、遅延処理部５０のバッファと共通化してもよい。 Then, the pitch conversion processing, first, regardless of the output of the voice signal, writes the input signal 111 to the buffer, and set the reference section SB having twice the period of the pitch P _I in order for the input signal 111 I am going to go. Then, when performing extraction using a window function for output, this reference interval is used as a unit.
The length of the reference interval, of course vary but if Kaware the pitch P _I, because the pitch detector 41 as described above is to perform the output of the pitch information for each 6 ms, until the next output is performed, the value of the pitch P _I will not change.
Note that the above buffer may be shared with the buffer of the delay processing unit 50.

一方、出力信号の生成としては、まずＯＵＴ０系統の信号生成を開始するが、この場合、ピッチＰ_Ｖの２倍の期間を持つ出力区間ＲＢの設定を行う。そして、その出力区間ＲＢにおいては、その出力区間ＲＢの開始時点における最新の基準区間ＳＢ内の入力信号１１２を、その先頭から順にバッファから読み出して出力する。このとき、読み出した信号には窓関数１１３を乗算するが、ここでは、この窓関数として、長さが読み出しを行う基準区間ＳＢと等しいハニング窓を用いている。また、入力信号１１１のバッファへの書き込みと、出力のための読み出しは、並行して行われることになる。 On the other hand, the generation of the output signal, first it starts the signal generation of OUT0 system, in this case, to set the output interval RB having twice the period of the pitch P _V. Then, in the output section RB, the input signal 112 in the latest reference section SB at the start time of the output section RB is read from the buffer sequentially and output. At this time, the read signal is multiplied by the window function 113. Here, a Hanning window having a length equal to the reference interval SB for reading is used as the window function. Further, the writing of the input signal 111 to the buffer and the reading for output are performed in parallel.

また、ピッチダウンの場合、ＲＢ＞ＳＢであるので、該当する基準区間ＳＢの入力信号１１２を全て読み出した後も、出力区間ＲＢは続くことになるが、この部分については、「０」のデータを出力するようにしている。
そして、出力区間ＲＢが終了すると、その時点でのボイス信号のピッチＰ_Ｖ″に従って新たな出力区間ＲＢ″を設定し、その開始時点の最新の基準区間ＳＢ′の入力信号の読み出しを行い、以後この処理を繰り返す。 In the case of pitch down, since RB> SB, the output section RB continues even after all of the input signals 112 of the corresponding reference section SB are read out. Is output.
When the output section RB ends, a new output section RB ″ is set according to the pitch P _V ″ of the voice signal at that time, the input signal of the latest reference section SB ′ at the start time is read, and thereafter This process is repeated.

ＯＵＴ１系統の信号生成についても、開始時点をＰ_Ｖだけずらす点以外は、ＯＵＴ０系統の場合の処理と同じものとしている。ただし、読み出しを行う基準区間や、出力区間の長さについては、各出力区間の設定時の情報に従って定めるので、ＯＵＴ０系統の出力信号と全く同じ信号が生成されるとは限らない。
そして、上述のように、ＯＵＴ０系統とＯＵＴ１系統の出力を加算して、ボイス信号として出力する。このような処理により、入力信号１１１と同様なフォルマントを有するピッチＰ_ｖのボイス信号を出力することができる。 For even OUT1 system of signal generation, except for shifting the start time only P _V are the same as the processing in the case of OUT0 system. However, since the reference section for reading and the length of the output section are determined according to the information at the time of setting each output section, the same signal as the output signal of the OUT0 system is not always generated.
Then, as described above, the outputs of the OUT0 system and the OUT1 system are added and output as a voice signal. By such processing, a voice signal having a pitch _Pv having the same formant as the input signal 111 can be output.

一方、ピッチアップの場合には、図７に示す通りＲＢ＜ＳＢであるので、基準区間ＳＢの入力信号１１２を全て読み出す前に出力区間ＲＢが終了するが、この場合には、出力区間ＲＢの終了時に読み出しを中止するようにしている。図７に仮想線で示した波形は、その後の読み出されない部分である。そして、これに対応して、窓関数１１４として、幅がＲＢと等しいハニング窓を用いている。   On the other hand, in the case of pitch up, since RB <SB as shown in FIG. 7, the output section RB ends before all the input signals 112 in the reference section SB are read. In this case, in the output section RB Reading is stopped at the end. The waveform indicated by the phantom line in FIG. 7 is a portion that is not read out thereafter. Correspondingly, a Hanning window having a width equal to RB is used as the window function 114.

しかし、出力区間ＲＢの終了時に、次の出力区間ＲＢ″の設定を行い、その開始時点の最新の基準区間ＳＢの入力信号の読み出しを開始する点は、図６の場合と同様である。ただし、図７の例のように、出力区間ＲＢ″の設定時に入力信号１１１において基準区間ＳＢが終了していない場合、同じ基準区間ＳＢの入力信号１１２を、出力区間ＲＢ″でも再度読み出すことになる。
ＯＵＴ１系統の信号生成について開始時点をＰ_ｖだけずらす点も、図６の場合と同様である。 However, at the end of the output section RB, the next output section RB ″ is set and reading of the input signal of the latest reference section SB at the start time is the same as in the case of FIG. As shown in the example of FIG. 7, when the reference section SB is not completed in the input signal 111 when the output section RB ″ is set, the input signal 112 of the same reference section SB is read again in the output section RB ″. .
Similarly to the case of FIG. 6, the start time is shifted by _Pv for OUT1 system signal generation.

このような処理により、ピッチアップの場合にも、入力信号１１１と同様なフォルマントを有するピッチＰ_ｖのボイス信号を出力することができる。
なお、もしボイス信号のピッチを入力信号と等しくするのであれば、どちらの処理も適用可能である。 By such processing, a voice signal having a pitch _Pv having the same formant as that of the input signal 111 can be output even in the case of pitch up.
If the pitch of the voice signal is equal to that of the input signal, either process can be applied.

また、上述したピッチ変換処理において、入力信号１１１のバッファへの書き込みと読み出しの速度（時間当たりの処理サンプル数）は等しくするとよいが、読み出し速度を異ならせることにより、入力音声の声質を、男性から女性又はその逆に変換させるジェンダー効果を得ることも考えられる。
さらに、ピッチがサンプル数の整数倍にならない場合等、サンプルとサンプルの間のタイミングにおける信号値が必要になった場合には、適宜補間処理を行うようにするとよい。 In the pitch conversion process described above, the input signal 111 may be written to and read from the buffer at the same speed (number of processed samples per hour). It is also conceivable to obtain a gender effect that is converted from female to female or vice versa.
Furthermore, when a signal value at the timing between samples is necessary, such as when the pitch is not an integral multiple of the number of samples, it is preferable to perform interpolation processing as appropriate.

次に、図８乃至図１２に、ＣＰＵ１１が実行する、以上説明してきたピッチ検出及びピッチ変換に関する処理のフローチャートを示す。これらの処理は、ここではＣＰＵ１１が信号処理部１９から必要な情報を取得して行うものとする。そしてこの場合、ＣＰＵ１１は、ダブリングエフェクタ３０の機能を有効にする旨の設定がなされると、図８乃至図１２のフローチャートに示す処理を、それぞれ独立に開始する。ただし、これらの処理は、信号処理部１９側で行うようにしてもよい。   Next, FIGS. 8 to 12 show flowcharts of the processing relating to pitch detection and pitch conversion described above, which is executed by the CPU 11. Here, it is assumed that the CPU 11 acquires necessary information from the signal processing unit 19 and performs the processing. In this case, when the setting for enabling the function of the doubling effector 30 is made, the CPU 11 starts the processes shown in the flowcharts of FIGS. However, these processes may be performed on the signal processing unit 19 side.

まず、図８に、ピッチ検出処理のフローチャートを示す。
この処理においては、まず、ダブリング処理対象の入力信号を１サンプル分入力信号バッファ及び出力信号バッファへ記録する（Ｓ１１）。ここで、入力信号バッファは、ピッチ変換部４３におけるボイス信号の生成に用いるバッファであり、１００ｍｓ分程度のデータを記憶する容量を有するリングバッファとすればよい。また、出力信号バッファは、遅延処理部５０による遅延処理に用いるバッファであり、１秒分程度のデータを記憶する容量を有するリングバッファとすればよい。 First, FIG. 8 shows a flowchart of the pitch detection process.
In this process, first, an input signal to be subjected to a doubling process is recorded in the input signal buffer and the output signal buffer for one sample (S11). Here, the input signal buffer is a buffer used for generating a voice signal in the pitch converter 43, and may be a ring buffer having a capacity for storing data of about 100 ms. The output signal buffer is a buffer used for delay processing by the delay processing unit 50, and may be a ring buffer having a capacity for storing data for about one second.

その後、入力信号のゼロクロスをカウントする（Ｓ１２）と共に、サンプルカウンタをカウントアップする（Ｓ１３）。
そしてその後、ピッチ検出中であれば（Ｓ１４）、入力信号が周期の開始位置か否かの判定を行う（Ｓ１５）。ピッチ検出中か否かは、次の図９に示す処理で設定するピッチフラグの内容により判断することができる。また、ステップＳ１５の判定は、図５を用いて説明したように、入力信号とエンベロープとの交差の検出に応じてＩＲＱフラグを変化させ、その立ち上がりの有無を検出することにより行うことができる。 Thereafter, the zero cross of the input signal is counted (S12) and the sample counter is counted up (S13).
After that, if the pitch is being detected (S14), it is determined whether or not the input signal is the start position of the cycle (S15). Whether or not the pitch is being detected can be determined based on the contents of the pitch flag set in the process shown in FIG. Further, as described with reference to FIG. 5, the determination in step S15 can be performed by changing the IRQ flag according to the detection of the intersection between the input signal and the envelope and detecting the presence or absence of the rise.

そして、その判定の結果周期の開始位置であれば（Ｓ１６）、サンプルカウンタの現在値をピッチデータとしてピッチバッファに記録する（Ｓ１７）と共に、サンプルカウンタをリセットする（Ｓ１８）。その後、入力信号の次のサンプルタイミングまで待機し（Ｓ１９）、次のサンプルタイミングでステップＳ１１に戻って処理を繰り返す。
一方、ステップＳ１６で周期の開始位置でなければ、そのままステップＳ１９に進んで次のサンプルタイミングまで待機する。また、ステップＳ１４でピッチ検出中でなければ、サンプルカウンタをリセットする（Ｓ１８）と共に、次のサンプルタイミングまで待機する（Ｓ１９）。 If the result of the determination is the start position of the cycle (S16), the current value of the sample counter is recorded as pitch data in the pitch buffer (S17) and the sample counter is reset (S18). Then, it waits until the next sample timing of the input signal (S19), returns to step S11 at the next sample timing, and repeats the processing.
On the other hand, if it is not the start position of the cycle in step S16, the process proceeds to step S19 and waits until the next sample timing. If the pitch is not being detected in step S14, the sample counter is reset (S18) and waits until the next sample timing (S19).

なお、以上の図８に示した処理において、ステップＳ１７でピッチデータの記録を行う際、検出条件や検出結果について種々の検討を行うとよいことは、図５の説明で述べた通りであるが、説明を簡単にするため、ここではこのような検討に係る処理は示していない。また、ピッチの検出を行うか否かについては、次の図９に示す処理により、入力信号のゼロクロス数に基づいて判断するようにしている。   In the process shown in FIG. 8, as described in the description of FIG. 5, it is preferable to perform various studies on the detection condition and the detection result when recording the pitch data in step S17. In order to simplify the explanation, the processing related to such examination is not shown here. Whether or not to detect the pitch is determined based on the number of zero crosses of the input signal by the processing shown in FIG.

次に、図９に、ピッチ検出制御処理のフローチャートを示す。
この処理においては、まず、図８のステップＳ１２でカウントしているゼロクロスの数が所定値（ここでは上述のように３０回）以下である場合（Ｓ２１）、ピッチフラグを「１」に設定し、ピッチ検出実行を示す（Ｓ２２）。その後、ゼロクロス数をリセットし（Ｓ２５）、ステップＳ２１の処理から所定時間（ここでは上述のように６ｍｓ）経過するまで待機し（Ｓ２６）、その後ステップＳ２１に戻って処理を繰り返す。
また、ステップＳ２１でゼロクロス数が所定値以上である場合には、ピッチフラグを「０」に設定し、ピッチ検出停止を示す（Ｓ２３）と共に、ピッチバッファに記録しているピッチデータをクリアして（Ｓ２４）、ステップＳ２５以降の処理に進む。 Next, FIG. 9 shows a flowchart of the pitch detection control process.
In this process, first, when the number of zero crosses counted in step S12 in FIG. 8 is equal to or less than a predetermined value (here, 30 times as described above) (S21), the pitch flag is set to “1”. The pitch detection execution is shown (S22). Thereafter, the number of zero crosses is reset (S25), and the process waits until a predetermined time (here, 6 ms) elapses from the process of step S21 (S26), and then returns to step S21 to repeat the process.
If the number of zero crosses is greater than or equal to the predetermined value in step S21, the pitch flag is set to “0”, indicating that the pitch detection is stopped (S23), and the pitch data recorded in the pitch buffer is cleared. (S24), the process proceeds to step S25 and subsequent steps.

従って、図９のフローチャートの処理においては、ステップＳ２１の処理を所定時間毎に行い、その間のゼロクロス数が所定値以下の場合にピッチ検出実行を設定し、所定値より大きい場合にはピッチ検出停止を設定することになる。
以上の図８及び図９に示した処理により、ピッチ検出部４１におけるピッチの検出とその制御を行うことができる。ただし、最終的にピッチ検出部４１から検出結果として出力されるピッチの値は、次の図１０の処理により求めた値である。 Therefore, in the process of the flowchart of FIG. 9, the process of step S21 is performed every predetermined time, and the pitch detection execution is set when the number of zero crosses during that time is equal to or smaller than the predetermined value, and the pitch detection is stopped when larger than the predetermined value. Will be set.
With the processing shown in FIGS. 8 and 9, the pitch detection unit 41 can detect and control the pitch. However, the pitch value finally output as a detection result from the pitch detection unit 41 is a value obtained by the processing of the next FIG.

次に、図１０に、ピッチ設定処理のフローチャートを示す。
この処理においては、まず、ピッチバッファに記録されているピッチデータのうち所定個（例えば１６個）のデータの平均値を求めて入力信号のピッチＰ_Ｉの値とする（Ｓ３１）。ここでは、この値がピッチ検出部４１から検出結果として出力されるピッチの値となる。
また、ステップＳ３１で求めたピッチＰ_Ｉは、フィルタに入力し、そのフィルタで出力値を演算して（Ｓ３２）、演算した出力値をボイス信号のピッチＰ_Ｖとする（Ｓ３３）。これらのステップＳ３２及びＳ３３の処理が、フィルタ処理部４２の機能と対応する処理である。 Next, FIG. 10 shows a flowchart of the pitch setting process.
In this process, first, the value of the pitch P _I of a predetermined number (e.g. 16) input signal the average value of the data of the pitch data recorded in the pitch buffer (S31). Here, this value is a pitch value output as a detection result from the pitch detection unit 41.
The pitch _{P I} obtained in step S31 is input to the filter, and calculates the output value in the filter (S32), the calculated output values and pitch _{P V} of the voice signal (S33). The processes in steps S32 and S33 are processes corresponding to the function of the filter processing unit 42.

そしてその後、ステップＳ３１の処理から所定時間（ここでは上述のように６ｍｓ）経過するまで待機し（Ｓ３４）、その後ステップＳ３１に戻って処理を繰り返す。
なお、ここでは、図９に示した処理と、図１０に示した処理では繰り返し周期が同じであるので、これらの処理を同期させて行ってもよい。また、ステップＳ３１で所定個のデータが記録されていなかった場合には、記録されている分だけの平均値をピッチＰ_Ｉの値とすればよい。また、全くデータが記録されていない場合には、ピッチＰ_Ｉを出力しなくてよい。この場合、ボイス信号のピッチＰ_Ｖはクリアし、ステップＳ３２及びＳ３３の処理は行わなくてよい。
以上の図１０に示した処理により、ピッチ変換部４３におけるピッチ変換処理に使用する入力信号及びボイス信号のピッチ情報を生成及び設定することができる。そして、これらのピッチ情報は、上記の所定時間毎に更新されることになる。 After that, the process waits until a predetermined time (6 ms as described above) elapses from the process of step S31 (S34), and then returns to step S31 to repeat the process.
Here, since the repetition cycle is the same between the process shown in FIG. 9 and the process shown in FIG. 10, these processes may be performed in synchronization. Further, when a predetermined number of data has not been recorded in the step S31, the average value of the amount corresponding to recorded may be the value of the pitch P _I. Further, if not recorded at all data may not output a pitch P _I. In this case, the pitch P _{V of the} voice signal is cleared, and the processes in steps S32 and S33 need not be performed.
With the processing shown in FIG. 10, the pitch information of the input signal and voice signal used for the pitch conversion processing in the pitch conversion unit 43 can be generated and set. And these pitch information is updated for every said predetermined time.

次に、図１１に、基準区間設定処理のフローチャートを示す。
この処理においては、まず、基準位置に基準区間が設定されていないか又は基準位置が基準区間の最後尾に達したかのいずれかが満たされたか否か判断する（Ｓ４１）。
そして、満たされていない場合には、入力信号バッファに記録されている入力信号について基準位置を１サンプル分進めて（Ｓ４４）、次のサンプルタイミングまで待機し（Ｓ４５）、その後ステップＳ４１に戻って処理を繰り返す。 Next, FIG. 11 shows a flowchart of the reference section setting process.
In this process, first, it is determined whether or not either a reference section is set at the reference position or the reference position reaches the end of the reference section (S41).
If not satisfied, the reference position of the input signal recorded in the input signal buffer is advanced by one sample (S44), waits for the next sample timing (S45), and then returns to step S41. Repeat the process.

一方、ステップＳ４１でいずれかが満たされていた場合、その時点で図１０に示した処理により入力信号のピッチＰ_Ｉが設定されていれば（Ｓ４２）、入力信号バッファに記録されている入力信号について、現在の基準位置を開始位置とし、長さＳＢをピッチＰ_Ｉの２倍とする次の基準区間を設定して（Ｓ４３）、ステップＳ４４に進み、以下の処理を続ける。ステップＳ４２で設定されていなければ、そのままステップＳ４４に進み、以下の処理を続ける。
以上の図１１に示した処理により、ピッチ変換部４３における処理対象の入力信号に対し、図６及び図７を用いて説明したような基準区間を設定することができる。なお、「基準位置」は、単に基準区間の終了を検出するために利用するものであるので、処理の進行度合いを測れるようなパラメータであれば、どのようなものを用いてもよい。 On the other hand, if either has been met in step S41, the pitch P if _I that are configured (S42) of the input signal by the processing shown in FIG. 10 at that time is recorded in the input signal buffer input signal for, as a starting position of the current reference position, and sets the next reference period to the length SB and 2 times the pitch P _I (S43), the process proceeds to step S44, continues the following processing. If not set in step S42, the process proceeds to step S44 as it is and the following processing is continued.
With the processing shown in FIG. 11 described above, the reference section as described with reference to FIGS. 6 and 7 can be set for the input signal to be processed in the pitch conversion unit 43. The “reference position” is simply used to detect the end of the reference section, and any parameter can be used as long as it can measure the progress of the process.

次に、図１２に、ピッチ変換処理のフローチャートを示す。
この処理においては、まず、出力区間が設定されていないか又は、読出位置を現在の出力区間においてその出力区間が終了するだけ進めたかのいずれかが満たされたか否か判断する（Ｓ５１）。
そして、満たされていない場合には、読出位置が基準区間の最後尾を越えたか否か判断し（Ｓ５５）、越えていない場合には、入力信号バッファから読出位置の１サンプルのデータを読み出し、読出位置に応じた窓関数の値を乗じて出力する（Ｓ５６）。超えていた場合には、０を出力する（Ｓ５７）。そして、どちらの場合も、読出位置を１サンプル分進める（Ｓ５８）。なお、上記の窓関数については、図６及び図７を用いて説明した通りである。 Next, FIG. 12 shows a flowchart of the pitch conversion process.
In this process, first, it is determined whether or not an output section has been set or whether the reading position has been advanced by the end of the output section in the current output section (S51).
If not satisfied, it is determined whether or not the read position has exceeded the end of the reference section (S55). If not, one sample of data at the read position is read from the input signal buffer. The value of the window function corresponding to the reading position is multiplied and output (S56). If it exceeds, 0 is output (S57). In either case, the reading position is advanced by one sample (S58). Note that the window function is the same as described with reference to FIGS.

そしてその後、ピッチを検出中（ピッチフラグが「１」）であれば（Ｓ５９）、次のサンプルタイミングまで待機し（Ｓ６０）、その後ステップＳ５１に戻って処理を繰り返す。一方、ピッチを検出中でなければ、設定されている出力区間をクリアして（Ｓ６１）、その後ボイス信号のピッチＰ_Ｖが設定されるまで待機し（Ｓ６２）、ピッチＰ_Ｖが設定されると、ステップＳ５１に戻って処理を繰り返す。 Thereafter, if the pitch is being detected (pitch flag is “1”) (S59), the process waits until the next sample timing (S60), and then returns to step S51 to repeat the process. On the other hand, if being detected pitch, clear the output section is configured (S61), then waits until the pitch P _V of the voice signal is set (S62), the pitch P _V is set Returning to step S51, the process is repeated.

また、ステップＳ５１でＹＥＳであれば、図１０のステップＳ３３の処理でボイス信号のピッチＰ_Ｖが設定されているか否か判断し（Ｓ５２）、設定されていれば、次の出力区間の長さＲＢをピッチＰ_Ｖの２倍に設定する（Ｓ５３）と共に、読み出し位置を、処理時点の最新の基準区間の開始位置へ移動して（Ｓ５４）、ステップＳ５５以下の処理に進む。一方、ステップＳ５２で設定されていなければ、そのままステップＳ６１以下の処理に進む。 Also, if YES in step S51, it is determined whether or not the pitch P _V of the voice signal in the processing of step S33 in FIG. 10 is set (S52), if set, the next output period length RB and set to 2 times the pitch _{P V} with (S53), the read position, and moved to the start position of the latest reference section of the processing time (S54), the process proceeds to step S55 following process. On the other hand, if not set in step S52, the process proceeds to step S61 and subsequent steps.

以上の図１２に示した処理により、ピッチ変換部４３における処理対象の入力信号に基づき、図６及び図７を用いて説明したようなＯＵＴ０系統の出力信号を生成することができる。そして、上述の通り、この出力信号と、ＯＵＴ１系統の出力信号とを加算することによりボイス信号を生成することができる。このＯＵＴ１系統の出力信号の生成処理は、開始時期をピッチＰ_Ｖだけずらす点以外は、以上の図１２に示した処理と同様なものであるが、ピッチＰ_Ｖの設定がなくなったりピッチの検出が中止されたりした後で出力を再開する際にも開始時期をずらせるようにするため、ステップＳ６２の後に、ピッチＰ_Ｖ分の待機処理を追加するとよい。 By the processing shown in FIG. 12, the output signal of the OUT0 system as described with reference to FIGS. 6 and 7 can be generated based on the input signal to be processed in the pitch converter 43. Then, as described above, a voice signal can be generated by adding this output signal and the OUT1 system output signal. Generation processing of the output signal of the OUT1 line, the start timing except shifted by the pitch P _V a, but those same as the processing shown in FIG. 12 described above, the pitch P _V settings lost or pitch detection of There so that shifting the timing initiated when resume output after or aborted, after step S62, it is preferable to add a standby processing of the pitch P _V min.

以上でこの実施形態の説明を終了するが、装置の構成や具体的な処理内容等が上述の実施形態で説明したものに限られないことはもちろんである。
例えば、上述した実施形態においては、ピッチ変換処理にＬｅｎｔ法を採用したが、これ以外の方法でピッチ変換を行うようにしてもよい。また、処理対象をアナログの音響信号とし、ピッチ検出処理、フィルタ処理、ピッチ変換処理、ミックス処理等を、アナログ回路によって行うようにしてもよい。 This is the end of the description of this embodiment, but it goes without saying that the configuration of the apparatus and the specific processing contents are not limited to those described in the above embodiment.
For example, in the above-described embodiment, the Lent method is adopted for the pitch conversion process, but the pitch conversion may be performed by a method other than this. Further, an analog acoustic signal may be processed, and pitch detection processing, filter processing, pitch conversion processing, mix processing, and the like may be performed by an analog circuit.

また、この発明が、電子楽器以外の音響信号処理装置に適用できることはもちろんであり、例えば、カラオケ装置、ミキサ、音源装置、ＭＩＤＩシーケンサ、音響信号を処理するソフトウェアを実行可能なＰＣ等、波形を示す音響信号を取り扱う機能を有する装置であれば、任意の装置に適用することが可能である。さらに、この発明を、単体のエフェクタあるいは装置にエフェクタ機能を付与するためのプログラムとして実施することも可能である。   Of course, the present invention can be applied to an acoustic signal processing device other than an electronic musical instrument. For example, a karaoke device, a mixer, a sound source device, a MIDI sequencer, a PC that can execute software for processing an acoustic signal, a waveform, etc. Any device can be used as long as it has a function of handling the acoustic signal shown. Furthermore, the present invention can be implemented as a program for providing an effector function to a single effector or apparatus.

また、この発明のプログラムは、コンピュータにハードウェアを制御させて上述したような音響信号処理装置として機能させるためのプログラムであり、予めＲＯＭやＨＤＤ等に記憶させておくほか、ＣＤ−ＲＯＭあるいはフレキシブルディスク等の不揮発性記録媒体（メモリ）に記録して提供し、そのメモリからこのプログラムをＲＡＭに読み出させてＣＰＵに実行させたり、プログラムを記録した記録媒体を備える外部機器あるいはプログラムをＨＤＤ等の記憶手段に記憶した外部機器からダウンロードして実行させたりしても、同様の効果を得ることができる。   Further, the program of the present invention is a program for causing a computer to control hardware so as to function as the above-described acoustic signal processing apparatus. In addition to being stored in advance in a ROM, HDD, etc., a CD-ROM or flexible The program is recorded on a non-volatile recording medium (memory) such as a disk, and this program is read from the memory to the RAM and executed by the CPU, or an external device or program including the recording medium on which the program is recorded is stored in the HDD or the like. The same effect can be obtained even when downloaded from an external device stored in the storage means and executed.

以上の説明から明らかなように、この発明の音響信号処理装置又はプログラムによれば、変化に富んだエフェクトを、簡単な仕組みで実現することができる。
従って、斬新な音を生成可能な音響信号処理装置を提供することができる。 As is clear from the above description, according to the acoustic signal processing apparatus or program of the present invention, effects rich in change can be realized with a simple mechanism.
Therefore, it is possible to provide an acoustic signal processing device that can generate a novel sound.

この発明の音響信号処理装置の実施形態である電子楽器の構成を示すブロック図である。It is a block diagram which shows the structure of the electronic musical instrument which is embodiment of the acoustic signal processing apparatus of this invention. 図１に示した信号処理部に備えるダブリングエフェクタの機能構成を示す図である。It is a figure which shows the function structure of the doubling effector with which the signal processing part shown in FIG. 1 is equipped. 図２に示したフィルタ処理部の一例であるＬＰＦの機能構成を示す図である。It is a figure which shows the function structure of LPF which is an example of the filter process part shown in FIG. 図２に示したフィルタ処理部でのフィルタ処理にＬＰＦを使用した場合の入力信号とボイス信号のピッチ変化の例を示す図である。It is a figure which shows the example of the pitch change of an input signal at the time of using LPF for the filter process in the filter process part shown in FIG. 図２に示したピッチ検出部におけるピッチ検出処理について説明するための図である。It is a figure for demonstrating the pitch detection process in the pitch detection part shown in FIG.

図２に示したピッチ変換部におけるピッチ変換処理について説明するための図である。It is a figure for demonstrating the pitch conversion process in the pitch conversion part shown in FIG. その別の図である。It is another figure. 図１に示した電子楽器のＣＰＵが実行するピッチ検出処理のフローチャートである。It is a flowchart of the pitch detection process which CPU of the electronic musical instrument shown in FIG. 1 performs. 同じくピッチ検出制御処理のフローチャートである。It is a flowchart of a pitch detection control process similarly. 同じくピッチ設定処理のフローチャートである。It is a flowchart of a pitch setting process similarly. 同じく基準区間設定処理のフローチャートである。Similarly, it is a flowchart of a reference section setting process. 同じくピッチ変換処理のフローチャートである。It is a flowchart of a pitch conversion process similarly. 従来のエフェクタにおける入力信号とボイス信号のピッチ変化の例を示す図である。It is a figure which shows the example of the pitch change of the input signal and voice signal in the conventional effector. その別の例を示す図である。It is a figure which shows the other example.

符号の説明Explanation of symbols

１０…電子楽器、１１…ＣＰＵ，１２…ＲＯＭ、１３…ＲＡＭ、１４…検出回路、１５…表示回路、１６…オーディオ信号Ｉ／Ｆ、１７…通信Ｉ／Ｆ、１８…音源部、１９…信号処理部、２０…システムバス、２１…操作子、２２…表示器、２３…サウンドシステム、３０…ダブリングエフェクタ、４０…ボイス信号生成部、４１…ピッチ検出部、４２…フィルタ処理部、４３…ピッチ変換部、５０…遅延処理部、６０…ミックス部、６１，６４…ゲイン調整部、６２，６５…パン調整部、６３，６６…加算部
DESCRIPTION OF SYMBOLS 10 ... Electronic musical instrument, 11 ... CPU, 12 ... ROM, 13 ... RAM, 14 ... Detection circuit, 15 ... Display circuit, 16 ... Audio signal I / F, 17 ... Communication I / F, 18 ... Sound source part, 19 ... Signal Processing unit, 20 ... system bus, 21 ... operator, 22 ... indicator, 23 ... sound system, 30 ... doubling effector, 40 ... voice signal generation unit, 41 ... pitch detection unit, 42 ... filter processing unit, 43 ... pitch Conversion unit 50 ... Delay processing unit 60 ... Mix unit 61, 64 ... Gain adjustment unit 62, 65 ... Pan adjustment unit 63, 66 ... Addition unit

Claims (3)

入力信号のピッチ情報を検出して第１のピッチ情報を出力するピッチ検出手段と、
前記第１のピッチ情報に対してフィルタ処理を行い第２のピッチ情報を出力するフィルタ処理手段と、
前記第１のピッチ情報を用いて前記入力信号のうちピッチ変換の処理対象となる区間を設定し、該設定された区間の入力信号のピッチを、前記第２のピッチ情報が示すピッチに変換した加工信号を生成する加工信号生成手段と、
前記入力信号と前記加工信号とを混合して出力する混合手段とを設けたことを特徴とする音響信号処理装置。 Pitch detecting means for detecting pitch information of the input signal and outputting first pitch information;
And filtering means for outputting a row physician second pitch information filter processing on the first pitch information,
Using the first pitch information, a section to be processed for pitch conversion is set in the input signal, and the pitch of the input signal in the set section is converted into a pitch indicated by the second pitch information. Processing signal generating means for generating a processing signal;
An acoustic signal processing apparatus, comprising: mixing means for mixing and outputting the input signal and the processed signal. 請求項１記載の音響信号処理装置であって、
前記加工信号生成手段に、前記入力信号のピッチ情報又は前記フィルタ処理手段によるフィルタ処理後のピッチ情報が示すピッチの値を、時間をずらして前記加工信号の生成に反映させるようにしたことを特徴とする音響信号処理装置。 The acoustic signal processing device according to claim 1,
The processing signal generation means reflects the pitch value indicated by the pitch information of the input signal or the pitch information after the filter processing by the filter processing means to the generation of the processing signal by shifting the time. An acoustic signal processing device. コンピュータを、
入力信号のピッチ情報を検出して第１のピッチ情報を出力するピッチ検出手段と、
前記第１のピッチ情報に対してフィルタ処理を行い第２のピッチ情報を出力するフィルタ処理手段と、
前記第１のピッチ情報を用いて前記入力信号のうちピッチ変換の処理対象となる区間を設定し、該設定された区間の入力信号のピッチを、前記第２のピッチ情報が示すピッチに変換した加工信号を生成する加工信号生成手段と、
前記入力信号と前記加工信号とを混合して出力する混合手段として機能させるためのプログラム。 Computer
Pitch detecting means for detecting pitch information of the input signal and outputting first pitch information;
And filtering means for outputting a row physician second pitch information filter processing on the first pitch information,
Using the first pitch information, a section to be processed for pitch conversion is set in the input signal, and the pitch of the input signal in the set section is converted into a pitch indicated by the second pitch information. Processing signal generating means for generating a processing signal;
A program for functioning as mixing means for mixing and outputting the input signal and the processing signal.

Images