JP6915422B2 - Sound processing device and display method - Google Patents
Sound processing device and display method Download PDFInfo
- Publication number
- JP6915422B2 JP6915422B2 JP2017140323A JP2017140323A JP6915422B2 JP 6915422 B2 JP6915422 B2 JP 6915422B2 JP 2017140323 A JP2017140323 A JP 2017140323A JP 2017140323 A JP2017140323 A JP 2017140323A JP 6915422 B2 JP6915422 B2 JP 6915422B2
- Authority
- JP
- Japan
- Prior art keywords
- sound signal
- display
- localization
- sound
- frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
Description
この発明は、例えば複数のチャンネル（以下、「ｃｈ」と略記）を有するオーディオミキサなどに用いて好適な音処理装置及び表示方法に関する。 The present invention relates to a sound processing device and a display method suitable for use in, for example, an audio mixer having a plurality of channels (hereinafter, abbreviated as "ch").
オーディオミキサ（以下、単に「ミキサ」とも言う）は、基本的には、複数の入力ｃｈそれぞれにて、音源から入力された音信号に信号処理を施し、処理後の音信号をバスにて混合し、混合された混合音信号を出力ｃｈにて処理して、処理後の混合音信号を出力先に出力するように構成される。ユーザ（ミキサのオペレータ）は、各種パラメータの値を設定することによりミキサの動作を制御する。この明細書では、ミキサの動作を制御する各種パラメータの値を設定する操作を「ミキシング操作」という。 An audio mixer (hereinafter, also simply referred to as "mixer") basically performs signal processing on a sound signal input from a sound source on each of a plurality of input channels, and mixes the processed sound signal on a bus. Then, the mixed sound signal is processed by the output channel, and the processed mixed sound signal is output to the output destination. The user (mixer operator) controls the operation of the mixer by setting the values of various parameters. In this specification, the operation of setting the values of various parameters that control the operation of the mixer is referred to as a "mixing operation".
ユーザは、ミキシング操作により複数の音源（例えば複数の楽器）の音信号の音量レベル、周波数特性、定位などを音源毎（入力ｃｈ毎）に調節し、混合音信号に含まれる個々の音源の音信号のバランスを整える。このミキシング操作において重要な点の１つに、個々の音源（例えば個々の楽器）の音が「粒立ち良く」聞こえるようにすることがある。この明細書において、「音の粒立ち」とは、聴取者が感じる、混合音信号に含まれる個々の音の分離感である。また、「音の分離感」とは、聴取者が音信号を聴いたときに、その音信号に含まれる複数の音源を、どの程度、個別に（分離して）聴取できるかを感覚的に示す表現である。例えば、音の分離感が良いとは、音の「粒立ち」が良いこと、すなわち、混合音信号に含まれる個々の音源の音が、聴取者にとって個別に分離して、明りょうに聞き取ることができる、ということを示す。 The user adjusts the volume level, frequency characteristics, localization, etc. of the sound signals of multiple sound sources (for example, multiple instruments) for each sound source (for each input channel) by mixing operations, and the sound of each sound source included in the mixed sound signal. Balance the signal. One of the important points in this mixing operation is to make the sounds of individual sound sources (for example, individual musical instruments) audible "grainily". In this specification, "sound graininess" is a sense of separation of individual sounds included in a mixed sound signal, which is felt by the listener. In addition, "sound separation" means that when a listener listens to a sound signal, he / she can sensuously hear how many sound sources included in the sound signal can be individually (separated). It is an expression to show. For example, a good sense of sound separation means that the "graininess" of the sound is good, that is, the sounds of the individual sound sources included in the mixed sound signal are individually separated and clearly heard by the listener. Indicates that it can be done.
分離感を作るためのミキシング操作には、例えば、ハイパスフィルタやイコライザにより周波数特性を調節して音信号の周波数軸上の干渉を防ぐこと、ゲートやコンプレッサにより音量を時間的に制御して無駄な余韻や残響が他の音を邪魔することを防ぐこと、或いは、パンにより定位を調節して音信号を空間的に分離することが含まれる。かかる音の分離感を作るためのミキシング操作は、通常は、ユーザの聴覚を頼りに行われる。聴覚を頼りに音の分離感を作り出すことは、ユーザの耳の良さや高度な技能を必要とする。 For mixing operations to create a sense of separation, for example, the frequency characteristics are adjusted by a high-pass filter or equalizer to prevent interference on the frequency axis of the sound signal, and the volume is controlled in time by a gate or compressor, which is useless. This includes preventing the afterglow and reverberation from interfering with other sounds, or adjusting the localization with a pan to spatially separate the sound signal. The mixing operation for creating such a sense of separation of sounds is usually performed by relying on the user's hearing. Creating a sense of sound separation by relying on hearing requires good ears and advanced skills of the user.
一方で、従来、複数の音源の音を混合した混合音信号について、その混合音信号を複数の周波数帯域に分けて、周波数帯域毎の定位を視覚的に表示する技術がある。 On the other hand, conventionally, there is a technique of dividing a mixed sound signal in which sounds of a plurality of sound sources are mixed into a plurality of frequency bands and visually displaying the localization for each frequency band.
例えば、特許文献１には、例えば２ｃｈステレオ構成の音信号（「ステレオ信号」という）を複数の周波数帯域に分けて、周波数帯域毎の定位とレベル情報を算出し、定位と周波数との２軸からなる２次元平面に、算出された周波数帯域毎の定位を、レベル情報に対応する大きさあるいは色の図形により表示する特性表示装置が記載されている。
For example, in
また、特許文献２は、ステレオ音信号を複数の周波数帯域に分けて、各周波数帯域における定位角度毎の音量値を調査し、調査結果に基づいて、定位位置と周波数との２軸からなる２次元平面に、各周波数帯域における定位角度毎の音量値を表示し、更に、その２次元平面上で範囲を指定し、指定された範囲内に属する音信号の音量を調節する技術を開示している。
Further,
また、引用文献３には、ステレオ音信号を複数の周波数帯域に分け、各周波数帯域の定位情報に基づいて、定位‐周波数平面上における各周波数帯域の表示位置を算出し、且つ、各表示位置に対応する周波数帯域のレベルを所定の分布を用いて展開して得られる第１のレベル分布を全ての周波数帯域について合算した第２のレベル分布を算出し、その算出した第２のレベル分布を、定位軸と周波数軸とレベル軸とから構成される三次元座標をレベル軸方向から見たものとして表示することが記載されている。
Further, in
しかし、上記の特許文献１〜３は、何れも、ステレオ信号にミキシングされた混合音信号（ステレオミキシングされた音楽作品など）を処理対象とし、混合音信号を複数の周波数帯域に分けて、帯域毎の定位分布を表示するに過ぎない。従って、上記の特許文献１〜３は、何れも、混合音信号に含まれる個々の音源を表示により区別することはできなかった。例えば、特許文献３は、混合音信号に含まれる個々の音源を表示により区別し得る旨を記載するが、それは、ユーザが、前記分割された周波数帯域毎の定位分布の表示を部分的に１つのグループとみなし、そのグループを例えばボーカル、ドラムス、或いは、ベースといった楽器種類に対応付けて認識し得ることに過ぎない。従って、例えば音源毎に独立した表示物で表現したり、或いは、音源毎に異なる表示色で表現したりすることはできない。また、上記の特許文献１〜３の従来技術は、何れも、混合前の入力ｃｈ毎の音信号の音作り（ミキシング操作）の場面での使用を考慮していない。
However, in all of the above-mentioned
この発明は、上述の点に鑑みてなされたもので、例えばオーディオミキサ等の音処理装置において、バスで混合する前の、複数のチャンネルの音信号の分離感を視覚化できるようにした音処理装置を提供することを目的とする。 The present invention has been made in view of the above points. For example, in a sound processing device such as an audio mixer, sound processing that enables visualization of the feeling of separation of sound signals of a plurality of channels before mixing by a bus. The purpose is to provide the device.
この発明は、それぞれ、入力された音信号を信号処理する複数のチャンネルと、前記複数のチャンネルで信号処理された音信号を混合して、混合後の混合音信号を出力するバスと、前記チャンネル毎に、前記バスで混合される前の音信号の周波数帯域を示す周波数情報を取得する周波数情報取得手段と、前記チャンネル毎に、前記バスで混合される前の音信号の定位を示す定位情報を取得する定位情報取得手段と、前記取得した周波数情報及び定位情報に基づいて前記音信号の周波数及び定位の分布を示す表示物をディスプレイに表示する表示制御手段であって、前記複数のチャンネルのそれぞれに対応する複数の前記表示物を１つの表示画面内に表示する前記表示制御手段と、前記バスで混合された音信号を信号処理し、処理結果を出力するバスチャンネルを備え、前記周波数情報取得手段は、更に、前記バスチャンネルの音信号の周波数情報を取得し、前記定位情報取得手段は、更に、前記バスチャンネルの音信号の定位情報を取得し、前記表示制御手段は、前記バスチャンネルの音信号の周波数情報及び定位情報に基づく該バスチャンネルの音信号の周波数及び定位分布を示す表示物を、前記チャンネル毎の表示物に重ねて表示することを特徴とする音処理装置である。 The present invention is a bus that mixes a plurality of channels that process input sound signals and sound signals that have been signal-processed by the plurality of channels and outputs a mixed sound signal after mixing, and the channels. Frequency information acquisition means for acquiring frequency information indicating the frequency band of the sound signal before being mixed by the bus for each, and localization information indicating the localization of the sound signal before being mixed by the bus for each of the channels. The localization information acquisition means for acquiring the sound signal and the display control means for displaying a display indicating the frequency and localization distribution of the sound signal on the display based on the acquired frequency information and the localization information. It said display control means for displaying a plurality of the display object corresponding to the respective one of the display screen, a mixed sound signal in the bus signal processing, a bus channel to output the processing result, the frequency information The acquisition means further acquires the frequency information of the sound signal of the bus channel, the localization information acquisition means further acquires the localization information of the sound signal of the bus channel, and the display control means is the bus channel. is the sound processor you characterized in that the display object indicating the frequency and orientation distribution of the sound signals of the bus channels based on the frequency information and localization information of a sound signal, displayed over the display of each of the channels ..
この発明によれば、チャンネル毎に、バスで混合される前の音信号の周波数情報及び定位情報を取得し、その音信号の周波数及び定位の分布を示す表示物を表示画面に表示する。１つの表示画面に、複数のチャンネルそれぞれに対応する複数の表示物（チャンネル毎の音信号の周波数及び定位の分布）を表示することで、個々のチャンネルの音信号の周波数及び定位の分布を視覚化することができる。それらチャンネル毎の表示物の位置や相互関係は、前記バスの混合信号における個々の音信号の分離感を視覚的に表す。さらに、バスチャンネルの音信号の周波数情報及び定位情報に基づく該バスチャンネルの音信号の周波数及び定位分布を示す表示物が、前記チャンネル毎の表示物に重ねて表示される。 According to the present invention, the frequency information and localization information of the sound signal before being mixed by the bus is acquired for each channel, and a display object showing the frequency and localization distribution of the sound signal is displayed on the display screen. By displaying a plurality of display objects (distribution of sound signal frequency and localization for each channel) corresponding to each of a plurality of channels on one display screen, the distribution of frequency and localization of the sound signal of each channel can be visually observed. Can be changed. The positions and interrelationships of the displayed objects for each of these channels visually represent the sense of separation of the individual sound signals in the mixed signal of the bus. Further, a display object showing the frequency and localization distribution of the sound signal of the bus channel based on the frequency information and localization information of the sound signal of the bus channel is displayed superimposed on the display object for each channel.
また、この発明は、装置の発明として構成及び実施し得るのみならず、前記装置を構成する各構成要素を備える方法の発明として実施及び構成されてよい。 Further, the present invention may not only be configured and implemented as an invention of the device, but may also be implemented and configured as an invention of a method including each component constituting the device.
この発明によれば、例えばオーディオミキサ等の音処理装置において、バスで混合する前の、複数のチャンネルの音信号の分離感を視覚化でき、さらに、バスチャンネルの音信号の周波数情報及び定位情報に基づく該バスチャンネルの音信号の周波数及び定位分布を示す表示物を重ねて表示することができる、という優れた効果を奏する。 According to the present invention, in a sound processing device such as an audio mixer, it is possible to visualize the feeling of separation of sound signals of a plurality of channels before mixing by bass, and further, frequency information and localization information of sound signals of bass channels. It is possible to superimpose a display object showing the frequency and localization distribution of the sound signal of the bus channel based on the above, which is an excellent effect.
以下、添付図面を参照して、この発明の一実施形態について詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the accompanying drawings.
図１は、この発明に係る音処理装置の構成例を説明する概念的ブロック図である。図１の音処理装置１は、それぞれ、入力する音信号を信号処理する複数のチャンネル（以下、「ｃｈ」と略記）１２０と、前記複数のチャンネル２による処理後の音信号を混合するバス１３０と、ｃｈ１２０毎に、バス１３０で混合される前の音信号に含まれる周波数帯域を示す周波数情報を取得する周波数情報取得手段２と、ｃｈ１２０毎に、バス１３０で混合される前の音信号の定位を示す定位情報を取得する定位情報取得手段３と、取得した周波数情報及び定位情報に基づいて音信号の周波数及び定位の分布を示す表示物をディスプレイ（図２の符号１８）に表示する表示制御手段４であって、複数のｃｈのそれぞれに対応する複数の表示物を１つの表示画面内に表示する表示制御手段４を備える。第１取得部２、第２取得部３及び表示制御手段４の動作は、プロセッサ（後述のＣＰＵ１１）がメモリ（１２）に記憶されたプログラムを実行することにより実現される。
FIG. 1 is a conceptual block diagram illustrating a configuration example of a sound processing device according to the present invention. The
図１の音処理装置１は、例えば、オーディオミキサ等の音信号を扱う音響機器に適用され得る。以下の一実施形態は、音処理装置１をオーディオミキサ１０に適用した例について説明する。オーディオミキサ１０は、専らデジタル信号処理により音信号を処理するデジタルミキサ（以下単に「ミキサ」とも言う）とする。
The
図２は、ミキサ１０は、ＣＰＵ（Central Processing Unit）１１、メモリ１２、表示器インタフェース（以下、インタフェースを「Ｉ／Ｆ」と記す）１３、操作子Ｉ／Ｆ１４、信号処理装置１５、及び、波形Ｉ／Ｆ１６を備え、これらが通信バス１７によって接続されている。また、表示Ｉ／Ｆ１３にはディスプレイ１８が、また、操作子Ｉ／Ｆ１４には操作子１９がそれぞれ接続されている。
In FIG. 2, the
ＣＰＵ１１は、ミキサ１０の動作を統括制御する制御手段であり、メモリ１２に記憶された各種プログラムを実行することにより、表示Ｉ／Ｆ１３を介したディスプレイ１８の表示の制御、操作子Ｉ／Ｆ１４を介した検出された操作子１９の操作に応じた処理、信号処理装置１５における信号処理の制御等を行う。ＣＰＵ１１が行う、ディスプレイ１８の表示の制御は、後述図７の周波数‐定位分布を表示する処理を含む。
The
メモリ１２は、フラッシュメモリ及びＲＡＭ（Random Access Memory）を含み、ＣＰＵ１１が実行する制御プログラム等を不揮発的に記憶したり、信号処理装置１５における信号処理に反映させるパラメータの値を記憶したり、ＣＰＵ１１のワークメモリとして使用したりする。
The
表示Ｉ／Ｆ１３は、ディスプレイ１８を通信バス１７に接続して、ＣＰＵ１１からの指示に従ってその表示内容を制御するためのインタフェースである。ディスプレイ１８は、液晶ディスプレイ（ＬＣＤ）、有機ＥＬ、発光ダイオード等であり、ＣＰＵ１１からの指示に従って、各種画面やパラメータ値やレベル等を表示する。図１の表示部４は、表示器Ｉ／Ｆ１３及びディスプレイ１８を含む。
The display I /
操作子Ｉ／Ｆ１４は、操作子１９を通信バス１７に接続してＣＰＵ１１からの指示に従ってその操作内容を検出するためのインタフェースである。操作子１９は、ミキサの操作パネル上に配置された複数の操作子および関連するインタフェース回路等である。操作子１９には、チャンネルストリップ毎のフェーダ操作子、ロータリーエンコーダ及びキーを含む。
The operator I /
信号処理装置１５は、例えばＤＳＰ（Digital Signal Processor）や、ＣＰＵ１１およびメモリ１２に記憶されたソフトウェアにより仮想的に実現された信号処理装置で構成される。信号処理装置１５は、信号処理用のプログラムを実行することにより、波形Ｉ／Ｆ１６から供給される音信号に対し、信号処理のパラメータの値に従った信号処理を施す。この信号処理は、メモリ１２に記憶されたパラメータの値に基づいて制御される。
The
波形Ｉ／Ｆ１６は、ＡＤＣ（Analog to Digital Converter、アナログ-デジタル変換器）回路及びＤＡＣ（Digital to Analog Converter、デジタル-アナログ変換器）回路を含み、複数の入力ジャックを介して外部の入力機器（不図示）から入力するアナログ音信号をそれぞれデジタル音信号に変換して信号処理装置１５に供給する機能、及び、信号処理装置１５から複数チャンネルのデジタル音信号を受け取り、それぞれアナログ音信号に変換して、該音信号と対応付けられた出力ジャックから外部の出力機器（不図示）へ出力する機能を備える。
The waveform I / F16 includes an ADC (Analog to Digital Converter) circuit and a DAC (Digital to Analog Converter) circuit, and is an external input device (external input device) via a plurality of input jacks. A function of converting analog sound signals input from (not shown) into digital sound signals and supplying them to the
図３、図４、図５及び図６は、信号処理装置１５で実行される信号処理の構成を示す。図３は信号処理の全体構成を示す。図３に示す通り、この信号処理は、入力パッチ１１０、１番目からＮ番目までのＮ（Ｎは整数）の入力ｃｈ１２０ａ、１２０ｂ・・・１２０ｎと、Ｍ（Ｍは整数）のバス１３０ａ、１３０ｂ・・・１３０ｍと、Ｍのバス１３０ａ、１３０ｂ・・・１３０ｍのそれぞれに対応するＭの出力ｃｈ１４０ａ、１４０ｂ・・・１４０ｍと、１のキューバス１５０と、該キューバス１５０に対応するキューｃｈ１６０と、出力パッチ１７０からなる。図１のｃｈ１２０には、Ｎの入力ｃｈ１２０ａ、１２０ｂ・・・１２０ｎの他、Ｍの出力ｃｈ１４０ａ、１４０ｂ・・・１４０ｍ及びキューｃｈ１６０も含まれる。また、図１のバス１３０には、Ｍのバス１３０ａ、１３０ｂ・・・１３０ｍの他、及びキューバス１５０も含まれる。明細書において、例えば入力ｃｈ１２０ａ、１２０ｂ・・・１２０ｎのように複数備わる要素については、符号にアルファベットを添えて個々の要素を区別しているが、個々の要素を区別する必要の無い場合は、例えば「入力ｃｈ１２０」という具合に、符号に添えたアルファベットを省略する。
3, FIG. 4, FIG. 5 and FIG. 6 show the configuration of signal processing executed by the
入力パッチ１１０は、１番目からＮ番目までの入力ｃｈ１２０のそれぞれに、波形入出力部１６に設けた入力ジャック１１１のいずれかをパッチ（結線）し、パッチされた入力ジャック１１１から受け取った音信号を、該パッチした入力ｃｈ１２０に供給する。
The
図４は、１つの入力ｃｈ１２０の構成例を示す。入力ｃｈ１２０において、そのパッチされた入力ジャックから受け取った音信号に対して、アッテネータ（Ａｔｔ）１２１、ハイパスフィルタ（ＨＰＦ）１２２、イコライザ（ＥＱ）１２３、ダイナミクス１２４、フェーダ１２５、オン／オフスイッチ（オン／オフ）１２６及びパン（Ｐａｎ）１２７の各要素が、それぞれ対応するパラメータの値に従って、信号処理を順次施す。具体的には、ＡＴＴ１２１は音信号の入力レベルを調節する。ＨＰＦ１２２は設定値を超える周波数帯域を逓減する。ＥＱ１２３は音信号の周波数特性を変化させる。ダイナミクス１２４は、設定値を超えた音信号を圧縮する処理（コンプレッサ）や設定値より音量の大きい音信号のみを通す処理（ゲート）などを含む。フェーダ１２５は音信号の音量を調節する。オン／オフスイッチ１２６は、入力ｃｈ１２０からバス１３０への音信号の出力をオンまたはオフする。パン１２７は、２ｃｈステレオの左右ｃｈ間の音量差により音信号の定位を決定する。定位は、周知の通り、例えば２ｃｈステレオ等の多ｃｈ再生環境における音像（聴取位置における聴覚上の音源）の位置を表す。入力ｃｈ１２０は、要素１２１〜１２７により信号処理された音信号を、１番目からＭ番目までのバス１３０に送出する。
FIG. 4 shows a configuration example of one
また、各入力ｃｈ１２０のキュースイッチ１２８は、キューオンの場合、３箇所の取り出し位置Ｐ１〜Ｐ３のいずれかにつながる接点を選択し、これにより、選択した取り出し位置Ｐ１、Ｐ２又はＰ３から取り出した音信号が試聴用の音信号としてキューバス１５０に送出される。キューオフの場合、キュースイッチ１２８は、取り出し位置Ｐ１〜Ｐ３のいずれかとも接続されない接点を選択し、これにより、その入力ｃｈ１２０の音信号はキューバス１５０に送出されない。ユーザは、入力ｃｈ１２０毎にキューオン／オフを設定し、所望の１又は複数の入力ｃｈ１２０の音信号を、試聴用音信号としてキューバス１５０に供給できる。
Further, in the case of cue-on, the
１番目からＭ番目までの各バス１３０では、複数の入力ｃｈ１２０から供給された複数の音信号が混合される。混合後の混合音信号は、対応する出力ｃｈ１４０に供給される。１番目からＭ番目までの各出力ｃｈ１４０では、図５に示す通り、対応するバスから供給された混合音信号に対し、ＥＱ１４３、ダイナミクス１４４、フェーダ１４５およびオン／オフスイッチ１４６の各要素が、対応するパラメータの値に従って、処理を順次施す。各出力ｃｈ１４０は、要素１４３〜１４６により信号処理された音信号を、出力パッチ１７０に供給する。
In each of the first to Mth
キューバス１５０では、キューオンされている１以上の入力ｃｈ１２０から供給された試聴用の音信号が混合される。混合後の試聴用音信号は、キューｃｈ１６０に供給される。キューｃｈ１６０では、キューバス１５０から供給される試聴用音信号に対して、ＡＴＴ１６１、ＥＱ１６３、ダイナミクス１６４、フェーダ１６５及びオン／オフスイッチ１６６の各要素が、対応するパラメータの値に従って、処理を順次施す。キューｃｈ１６０は、要素１６１〜１６６により信号処理された試聴用音信号を出力パッチ１７０に供給する。
In the
出力パッチ１７０は、各出力ｃｈ１４０及びキューｃｈ１６０を、波形入出力部１６に設けた出力ジャック１７１にパッチし、各出力ｃｈ１４０及びキューｃｈ１６０の音信号を、パッチされた出力ジャック１７１に供給する。パッチ先の出力ジャック１７１には、メイン出力のための出力ジャックと、モニタ出力のための出力ジャックがある。メイン出力のための出力ジャックには、メインスピーカやウェッジスピーカ等が接続される。モニタ出力のための出力ジャックには、モニタ用スピーカやヘッドフォン等が接続される。一例として、何れの入力ｃｈ１２０もキューオフの場合、各出力ｃｈ１４０がメイン出力のための出力ジャック及びモニタ出力のための出力ジャックの両方にパッチされ、何れかの入力ｃｈ１２０がキューオンの場合、出力ｃｈ１４０がメイン出力のための出力ジャックにパッチされ、キューｃｈ１６０がモニタ出力のための出力ジャックにパッチされる。
The
上記構成からなるミキサ１０は、各入力ジャック１１１に接続された複数の音源（例えば楽器）の音信号を、入力ｃｈ１２０毎に信号処理した後、バス１３０で例えば２ｃｈステレオ構成の混合音信号に混合し、その混合音信号を出力ｃｈ１４０で特性制御及びレベル調節した後にメイン出力のための出力ジャックやモニタ出力のための出力ジャックから出力したり、或いは、キューオンされた入力ｃｈ１２０の音信号をキューバス１５０で試聴用音信号に混合して、混合した試聴音信号をキューｃｈ１６０で処理した後にモニタ出力のための出力ジャックから出力したりできる。
The
ミキサ１０のユーザは、操作パネル上の操作子１９を用いてミキシング操作（たとえば、音信号の経路の設定や、入力ｃｈ１２０の要素１２１〜１２７、出力ｃｈ１４０の要素１４３〜１４６或いはキューｃｈ１６０の要素１６１〜１６６の各種パラメータの値の調節）を行うことにより、ミキサ１０の動作を制御する。前述の通り、ミキシング操作において重要な作業の１つに、音信号の音量レベル、周波数特性或いは定位などを入力ｃｈ１２０毎に調節して、バス１３０又はキューバス１５０で混合された混合音信号（メイン出力又はモニタ出力から出力される混合音信号）に含まれる個々の音源の音信号のバランスを整え、「音の粒立ち」を作ることがある。前記の通り、「音の粒立ち」とは、聴取者の感じる個々の音の分離感であり、また、「音の分離感」とは、聴取者が音信号を聴いたときに、その音信号に含まれる複数の音源を、どの程度、個別に（分離して）聴取できるかを感覚的に示す表現である。この実施例に係るミキサ１０は、各入力ｃｈ１２０の音信号の周波数及び定位の分布（周波数‐定位分布）を示す表示物をディスプレイ１８に表示すること（図１の表示制御手段４の動作）により、混合音信号に含まれる各入力ｃｈ１２０の音信号の分離感を視覚化することで、ユーザのミキシング操作（特に音の分離感を作る操作）を視覚的に補助できるようにしたことに特徴がある。
The user of the
図７は、周波数‐定位分布を示す表示物を表示する表示処理全体の流れのフローチャートを示す。例えば、ユーザが、操作子１９を用いて周波数‐定位分布の表示指示を行うと、ＣＰＵ１１は、その表示指示に応じて、ディスプレイ１８に周波数‐定位分布表示画面（後述の図１０の符号２０）を立ち上げて、且つ、図８の処理を開始する。図７のフローチャートは、１つの（ｉ番目の）入力ｃｈ１２０に対する処理を示している。ＣＰＵ１１は、図７の処理を、１番目からＮ番目の各入力ｃｈ１２０に対して繰り返す。
FIG. 7 shows a flowchart of the entire flow of the display process for displaying the display object showing the frequency-localization distribution. For example, when the user gives an instruction to display the frequency-localization distribution using the
ステップＳ１において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０から周波数情報を取得する。周波数情報は、その入力ｃｈ１２０の音信号の周波数帯域を示す。前記ステップＳ１の周波数情報取得処理の一例を、図８のフローチャートに示す。ステップＳ１０において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０から音信号に対して高速フーリエ変換（ＦＦＴ、Fast Fourier Transform）による周波数分析処理を行うことにより、ｉ番目の入力ｃｈ１２０の周波数情報を取得する。周知の通り、ＦＦＴ処理により、処理対象の音信号を構成する周波数成分毎の強さ（振幅レベル）を調べることができる。ＣＰＵ１１は、音信号のＦＦＴ処理の結果を、その入力ｃｈ１２０の音信号の周波数帯域を示す周波数情報として利用する。ＦＦＴ処理対象の音信号は、例えばフェーダ１２５の直後（ポストフェーダ）から取得する音信号である。ＣＰＵ１１がメモリ１２に記憶されたプログラムに基づき前記ステップＳ１の処理を実行することが、図１の周波数情報取得手段２の動作に相当する。
In step S1, the
ステップＳ２において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０から定位情報を取得する。定位情報は、その入力ｃｈ１２０の音信号の定位を示す。前記ステップＳ２の定位情報取得処理の一例を図９のフローチャートに示す。ＣＰＵ１１は、ステップＳ１１において、ｉ番目の入力ｃｈ１２０の定位情報として、ｉ番目の入力ｃｈ１２０のパン１２７の値をメモリ１２から取得する。ＣＰＵ１１がメモリ１２に記憶されたプログラムに基づき前記ステップＳ２の処理を実行することが、図１の定位情報取得手段３の動作に相当する。
In step S2, the
そして、ステップＳ３において、ＣＰＵ１１は、前記ステップＳ１で取得した周波数情報と前記ステップＳ２で取得した定位情報に基づいて、ｉ番目の入力ｃｈ１２０の周波数‐定位分布を示す表示物を、ディスプレイ１８上の周波数‐定位分布表示画面（後述の図１０）に表示する。
Then, in step S3, the
ＣＰＵ１１は、図７のステップＳ１〜Ｓ３の処理を、１番目からＮ番目の各入力ｃｈ１２０に対して行うことにより、１番目からＮ番目の各入力ｃｈ１２０の周波数‐定位分布を示す表示物を、１つの表示画面（後述の図１０）上に表示する。ＣＰＵ１１がメモリ１２に記憶されたプログラムに基づき前記ステップＳ３の処理を実行し、ディスプレイ１３に表示物を表示することが、図１の表示制御手段４の動作に相当する。
By performing the processing of steps S1 to S3 of FIG. 7 for each of the first to
一例として、ＣＰＵ１１は、所定の表示更新周期毎に、１番目からＮ番目の各入力ｃｈ１２０に対する図７の処理を繰り返して、各入力ｃｈ１２０の表示物の表示を更新する。これにより、時々刻々入力される音信号に対応する表示物を略リアルタイムに描画することできる。一例として、表示更新に際して、直前の表示物を消去する処理の応答速度を遅くしてもよい。これにより、表示物を略リアルタイムに描画する実施形態において、表示物の残存時間を長くすることができるので、表示物の視認性が向上する。例えば、或る入力ｃｈ１２０の音信号が途絶えた後にも、その入力ｃｈ１２０の表示物が残存する。また、例えば、或る入力ｃｈ１２０の音信号の周波数特定や定位の変化後にも、その変化前の入力ｃｈ１２０の表示物が残存する。このように、表示物の消去を遅らせることは、ミキシング操作の補助にとって役に立つ。また、一例として、表示物の消去は、表示物を徐々に薄れさせる（フェードアウトする）ように行ってよい。
As an example, the
図１０は、周波数‐定位分布の表示物の表示例を示す。図１０において、周波数‐定位分布表示画面２０は、周波数を示す縦軸（周波数軸）と定位を示す横軸（定位軸）との２軸の座標平面からなり、１つの周波数‐定位分布表示画面２０内に、それぞれ入力ｃｈ１２０の周波数‐定位分布を示す複数の表示物２１ａ、２１ｂ、２１ｃ、２１ｄ、２１ｅ及び２１ｆが表示される。なお、定位の「左」、「右」の表現は、２ｃｈステレオにおける左ｃｈ及び右ｃｈに対応する。表示物２１ａ〜２１ｆは、それぞれ１つの入力ｃｈ１２０に対応している。図１０の例では、各表示物２１ａ〜２１ｆは楕円形状を有し、その位置と大きさ（面積）により、対応する入力ｃｈ１２０の音信号の周波数‐定位分布を表す。具体的には、各表示物２１ａ〜２１ｆの周波数軸上の位置及び周波数軸方向の長さ（高さ）が対応する入力ｃｈ１２０の音信号の周波数の分布を表し、各表示物２１ａ〜２１ｆの定位軸上の位置が対応する入力ｃｈ１２０の音信号の定位の分布を表す。また、各表示物２１ａ〜２１ｆの幅は音信号の定位の広がり感を表す。例えば、表示物２１ｂは、対応する入力ｃｈ１２０ｂの音信号の周波数帯域が２００Ｈｚから１ＫＨｚであり、定位が略中央であることを示す。また、表示物２１ｂの幅は、例えば表示物２１ａの幅より広くなっており、このことは、表示物２１ｂに対応する入力ｃｈ１２０ｂの音信号は、表示物２１ａに対応する入力ｃｈ１２０ａの音信号よりも定位の広がり感が広いことを表す。なお、この明細書では、表示物２１の定位軸方向（左右方向）の長さを「幅」といい、表示物２１の周波数軸方向（上下方向）の長さを「高さ」という。
FIG. 10 shows a display example of a display object having a frequency-localization distribution. In FIG. 10, the frequency-localization
図１１は、前記ステップＳ３の表示処理の一例であって、前記図１０の表示を行うための処理のフローチャートを示す。ステップＳ１２において、ＣＰＵ１１は、前記ステップＳ１で取得した周波数情報及び前記ステップＳ２で取得した定位情報に基づいて、ｉ番目の入力ｃｈ１２０の分布情報Ｇｉを取得する。分布情報Ｇｉは、周波数‐定位分布表示画面２０におけるｉ番目の入力ｃｈ１２０の表示物２１の位置、すなわち、ｉ番目の入力ｃｈ１２０の音信号の周波数の分布と定位の分布を表す。
FIG. 11 is an example of the display process of step S3, and shows a flowchart of the process for displaying the display of FIG. 10. In step S12, the
一例として、該ステップＳ１２において、ＣＰＵ１１は、所定値以下の振幅レベルしか持たない周波数成分については、その振幅レベルをゼロとみなして、分布情報Ｇｉから除外する。これにより、分布情報Ｇｉの示す周波数の分布は、当該ｉ番目の入力ｃｈ１２０の音信号に特徴的な周波数帯域のみを示すものとなり、従って、対応する表示物２１の高さは当該ｉ番目の入力ｃｈ１２０の音信号に特徴的な周波数帯域のみの分布を示す。
As an example, in step S12, the
ステップＳ１３において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０の音信号の音量に応じて、その入力ｃｈ１２０の表示物の幅を決定する。ＣＰＵ１１は、例えば前記ステップＳ１０で得た周波数情報に含まれる振幅レベルに基づき音量を取得できる。別の例として、ＣＰＵ１１は、入力ｃｈ１２０毎の音量レベル表示用の音量計測値（フェーダ１２５直後の音量計測値）を取得し、取得した音量計測値に基づき表示物の幅を決定してよい。また、一例として、ＣＰＵ１１は、該ステップＳ１３において、音量が大きいほど、表示物の幅を広くする。音量に応じて幅を調節する処理は、例えば、適宜のテーブル或いはフィルタ等を用いて行うことができる。
In step S13, the
ステップＳ１４において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０の音域の高低に応じて、その入力ｃｈ１２０の表示物の幅を調節する。一例として、ＣＰＵ１１は、該ステップＳ１４において、低域ほど表示物の幅を広げる。一例として、ＣＰＵ１１は、周波数情報に基づき、入力ｃｈ１２０の音域が、例えば低域、中域、高域の三つの音域の何れに該当するかを判定し、判定した音域に応じて、前記ステップＳ１３で決定した表示物の幅を調節する。音域に応じて表示物の幅を調節する処理は、例えば、適宜のテーブル或いはフィルタ等を用いて行うことができる。
In step S14, the
ステップＳ１５において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０の表示物の色を決定する。一例として、各入力ｃｈ１２０の色は、ＣＰＵ１１が他のチャンネルの表示物の色と重複しない色を自動的に決定する。別の例として、ＣＰＵ１１は、ユーザが入力ｃｈ１２０毎に指定した色（ｃｈ色）に基づいて、その入力ｃｈ１２０の表示物の色を決定してよい。デジタルミキサは、一般的に、ｃｈ毎のｃｈ情報として、ｃｈ名やｃｈ色をユーザが指定できる。ＣＰＵ１１は、ｃｈ情報に指定されたｃｈ色を、表示物の色の決定に利用できる。なお、このステップＳ１５は、ｃｈ毎に表示色を異ならせることに限らず、例えばｃｈ毎に表示柄を異ならせることなど、ｃｈ毎に表示態様を異ならせることであればよい。
In step S15, the
ステップＳ１６において、ＣＰＵ１１は、前記ステップＳ１２で取得した分布情報Ｇｉに基づく位置に、前記ステップＳ１３及びＳ１４で決定及び調節した幅を持つ表示物を、前記ステップＳ１５で決定した色で表示する。
In step S16, the
一例として、前記ステップＳ１６において、ＣＰＵ１１は、更に、ｉ番目の入力ｃｈ１２０の表示物に他の表示物と重なる部分があるか否かを調べ、重なる部分がある場合、その部分を、その表示物の他の部分とは異なる表示形態で強調表示する。強調表示は、例えば、その表示物の他の部分とは異なる色で表示することである。強調表示の色は、例えば赤や黒など他と比べて目立つ色であるとよい。一例として、重なる部分の強調表示は、何れの表示物においても共通の表示態様（重なり合いを示す共通の強調色）で行う。強調色は、たとえば、各表示物２１の何れの通常の表示色（重なり合っていない部分の色）とも異なる色とする。例えば、図１０では、表示物２１ａと２１ｂの重なる部分、及び、表示物２１ｂと２１ｃの重なる部分が、それぞれ、共通の強調色（図１０では黒色塗りつぶし）で強調表示される。別の例として、強調表示は、表示色を濃くすること、あるいは、点滅表示などであってよい。
As an example, in step S16, the
また、一例として、前記ステップＳ１６において、ＣＰＵ１１は、更に、ｉ番目の入力ｃｈ１２０のバス１３０への出力のオン・オフを調べて、該出力がオフされている場合、その入力ｃｈ１２０の表示物２１を、同出力がオンされている場合とは異なる表示態様で表示する。例えば、その入力ｃｈ１２０のオンオフスイッチ１２６がオフの場合や、その入力ｃｈ１２０のミュートオンオフスイッチ（不図示）がオフの場合、或いは、その入力ｃｈ１２０のフェーダ１２５の値が下限値（−∞ｄＢ）の場合等に、その入力ｃｈ１２０からバス１３０への出力がオフになる。また、その入力ｃｈ１２０以外の入力ｃｈ１２０のソロオンオフスイッチ（不図示）がオン（つまり、その入力１２０以外の入力ｃｈ１２０がソロ）の場合も、その入力ｃｈ１２０からバス１３０への出力がオフになる。例えば、図１０では、表示物２１ｅと表示物２１ｆとはグレーアウト表示されている。別の例として、ＣＰＵ１１は、前記ステップＳ１６において、ｉ番目の入力ｃｈ１２０のキューバス１５０への出力のオン・オフを調べて、該出力がオフされている場合、その入力ｃｈ１２０の表示物２１を、グレーアウト表示してよい。なお、出力オフの場合の表示態様は、グレーアウトに限らず、表示色を薄めること、網掛け表示すること、或いは、非表示にすることなどであってもよい。
Further, as an example, in step S16, the
前記図１１の処理により、１つの周波数‐定位分布表示画面２０内に、入力ｃｈ１２０の音信号の周波数‐定位分布を示す表示物２１ａ〜２１ｆを表示できる。各表示物２１ａ〜２１ｆがそれぞれ１つの入力ｃｈ１２０の音信号を表すので、例えば、入力ｃｈ１２０毎の音源（例えば個々の楽器の音）を別個の表示物２１ａ〜２１ｆで表現できる。各表示物２１ａ〜２１ｆの表示色を入力ｃｈ１２０毎に異ならせているので、ユーザは、入力ｃｈ１２０毎の周波数―定位分布を明確に識別できる。また、複数の入力ｃｈ１２０の間で周波数帯域及び定位が部分的に又は全体的に重なり合っていても、個々の入力ｃｈ１２０の音信号を明確に区別した表示を行うことができる。
これら表示物２１ａ〜２１ｆの位置や相互関係は、入力ｃｈ１２０の音信号を混合した後の混合音信号（つまりメイン出力又はモニタ出力から出力される混合音信号）における個々の音源（各入力ｃｈ１２０の音信号）の分離感を視覚的に表す。この表示により、ユーザのミキシング操作を視覚的に補助することができる。この視覚的補助により、誰にでも簡単に、適切なミキシング操作、特に音の分離感（“音の粒立ち”）を作る操作を行うことが可能となる。
By the process of FIG. 11, the display objects 21a to 21f showing the frequency-localization distribution of the sound signal of the
The positions and interrelationships of these
例えば、ユーザは、表示物２１ａ〜２１ｆを見ることで、どの入力ｃｈ１２０の音信号のどの帯域が他の入力ｃｈ１２０の音信号に干渉しているかを把握したり、その重なりを解消すべきか否かを判断したり、或いは、どのパラメータをどの程度調節するかを判断したりできる。複数の入力ｃｈ１２０での干渉が周波数‐定位平面上で視覚的に表現されているので、ユーザは、その表示内容に基づいて、適切なＥＱ１２３やパン１２７の調整を行うことができる。
For example, by looking at the
また、複数の表示物２１で重なり合っている部分、すなわち、複数の入力ｃｈ１２０の間で干渉している周波数帯域を、その表示物２１の他の部分とは異なる色で強調表示することで、ユーザのミキシング操作を効果的に補助できる。
Further, by highlighting the overlapping portion of the plurality of display objects 21, that is, the frequency band interfering between the plurality of
また、ｉ番目の入力ｃｈ１２０のバス１３０への出力がオフされている場合、その入力ｃｈ１２０の表示物２１を、同出力がオンされている場合とは異なる表示態様（例えばグレーアウト）で表示することにより、入力ｃｈ１２０毎のｃｈオン／オフ、キューオン・オフ、ミュート、ソロ等と連動した表示物の表示を行うことができる。
Further, when the output of the i-
また、時々刻々入力される音信号に対応する入力ｃｈ１２０毎の表示物２１ａ〜２１ｆを略リアルタイムに描画しているので、ユーザは、表示物２１ａ〜２１ｆの時間的変化から、例えば、或る入力ｃｈ１２０の音信号の無駄な余韻や残響が、他の入力ｃｈ１２０の音信号を邪魔していないかどうかを視認できる。そして、無駄な余韻や残響等の問題がある場合、ユーザは、表示内容に基づいて、問題となる入力ｃｈ１２０のダイナミクス１２４（ゲートやコンプレッサ）を適切に調節して、上記の無駄な余韻や残響を除去できる。
Further, since the display objects 21a to 21f for each
また、音量に応じて表示物２１の幅を調節すること、具体的には音量が大きいほど表示物２１の幅を広げること（前記ステップＳ１３）により、音量に応じた定位の広がり感の違いを視覚化できる。また、音域に応じた表示物２１の幅の調節すること、具体的には低域ほど表示物２１の幅を広げること（前記ステップＳ１４）により、音域に応じた指向性（定位の広がり感）の違いを視覚化することができる。 Further, by adjusting the width of the display object 21 according to the volume, specifically, by increasing the width of the display object 21 as the volume becomes louder (step S13), the difference in the sense of spread of localization according to the volume can be obtained. Can be visualized. Further, by adjusting the width of the display object 21 according to the range, specifically, by widening the width of the display object 21 toward the lower range (step S14), the directivity according to the range (sense of localization). You can visualize the difference between.
表示物２１の形状は、前記図１０のような楕円に限らない。図１２は、周波数‐定位分布を示す表示物の別の例を示す。図１２の例では、棒状の表示物３１ａ、３１ｂ、３１ｃ、３１ｄ、３１ｅ及び３１ｆが、音信号の周波数‐定位分布を示す。各表示物３１ａ〜３１ｆは、それぞれ、周波数軸上の位置（と当該表示物３１の高さ）により、対応する入力ｃｈ１２０の音信号の周波数分布を示す。図１３は、前記図１１表示処理の変形例であって、前記図１２のような棒状の表示物２１の表示を行うための処理を示すフローチャートを示す。なお、前記図１１と共通の事項の説明は省略する。この場合、ＣＰＵ１１は、表示物３１の幅の調節（前記ステップＳ１３及びＳ１４）を行わず、単に、ステップＳ２２で取得した分布情報Ｇｉの位置に、ステップＳ２３で決定した色の表示物３１を表示する（ステップＳ２４）だけでよい。各表示物３１ａ〜３１ｆは全て共通の所定幅で表示される。
The shape of the display object 21 is not limited to the ellipse as shown in FIG. FIG. 12 shows another example of a display showing a frequency-localization distribution. In the example of FIG. 12, the rod-shaped
図１４は、周波数‐定位分布を示す表示物の更に別の例であって、表示物４１ａ〜４１ｆの幅を、周波数成分毎の音量に応じて調節する例を示す。この場合、各表示物４１ａ〜４１ｆは、単純な楕円形ではなく、周波数成分に対応する部分毎に、音量に応じた幅を持つ。図１５は、前記図１１表示処理の変形例であって、前記図１４のように周波数成分毎の音量に応じて幅を調整した表示物４１ａ〜４１ｆの表示を行うための処理を示すフローチャートを示す。なお、前記図１１と共通の事項の説明は省略する。ステップＳ３３において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０の音信号を構成する周波数成分毎に幅を決定する。一例として、ＣＰＵ１１は、前記ステップＳ１０のＦＦＴ処理により得た周波数情報に基づいて、周波数成分毎の振幅レベルを定位軸方向（左右方向）に展開することで、周波数成分毎の定位の分布は、その振幅レベルに応じた広がり（定位軸方向の幅）を持つ値になる。この周波数成分毎の定位の分布が、周波数成分毎の振幅レベルに応じた表示物４１の幅を示す。定位の分布は、振幅レベルが大きいほど、左右方向に広く展開される。従って、振幅レベルが大きい周波数成分に対応する部分ほど、表示物４１の幅が広がる。周波数成分毎の振幅レベルを定位軸方向に展開する処理は、例えば階級関数を用いて行う。ステップＳ３４において、ＣＰＵ１１は、例えばフィルタ処理により、前記ステップＳ３３で取得した周波数成分毎の表示物４１の幅を音域に応じて調節する。音域に応じた調節は、例えば適宜のテーブル又はフィルタ処理により、周波数に応じて幅を拡張又は減縮するように（具体的には低域ほど表示物４１の幅を広げるように）行う。そして、ステップＳ３６において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０の表示物を表示する。この場合、各表示物４１ａ、４１ｂ、４１ｃ、４１ｄ、４１ｅ及び４１ｆは、図１４に示すように、対応する入力ｃｈ１２０の音信号に含まれる各周波数成分に対応する部分が、それぞれの振幅レベルに応じた幅を持つ。従って、各表示物４１ａ〜４１ｆは、それぞれ対応する音信号に含まれる周波数成分毎の強さに応じた形状で表示される。従って、表示物４１ａ〜４１ｆの形状により、対応する入力ｃｈ１２０の音信号に含まれる各周波数成分の強さに応じた定位の広がり感が視覚化される。
FIG. 14 shows still another example of the display object showing the frequency-localization distribution, in which the width of the display objects 41a to 41f is adjusted according to the volume of each frequency component. In this case, each of the displayed objects 41a to 41f is not a simple ellipse, but has a width corresponding to the volume for each portion corresponding to the frequency component. FIG. 15 is a modification of the display process of FIG. 11, and shows a flowchart showing a process for displaying the display objects 41a to 41f whose width is adjusted according to the volume of each frequency component as shown in FIG. show. The description of items common to FIG. 11 will be omitted. In step S33, the
別の実施形態において、前記ステップＳ１０のＦＦＴ処理は、ダイナミクス１２４の直後（フェーダ１２５の前）から取り出した音信号（プリフェーダ信号）に対して行うようにしてもよい。分離感を作るための音作りにおいては、各入力ｃｈ１２０のＥＱ１２３とダイナミクス１２４が主要な役割を担う。従って、ダイナミクス１２４直後の音信号に対してＦＦＴ処理を行い、該ダイナミクス１２４直後の周波数情報を取得するのが、分離感の視覚化という点で好適である。この場合、ＣＰＵ１１は、表示物の幅を調節するために、例えば前記ステップＳ３の表示処理でｉ番目の入力ｃｈ１２０のフェーダ１２５直後の音量を取得し、取得した音量を表示幅の調節（前記ステップＳ１３等の処理）に利用するとよい。フェーダ１２５直後の音量を取得する方法としては、例えば、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０のフェーダ１２５の値を取得し、該フェーダ１２５の値と、前記ＦＦＴ処理の結果により得たダイナミクス１２４直後の周波数情報とに基づいて、フェーダ１２５直後の音量を算出できる。或いは、ＣＰＵ１１は、フェーダ１２５直後の音信号の音量計測値を取得してもよい。
In another embodiment, the FFT process in step S10 may be performed on the sound signal (pre-fader signal) extracted immediately after the dynamics 124 (before the fader 125). The
別の実施形態において、前記ステップＳ２の定位情報取得処理は、更に、パン１２７以外の定位を決定するパラメータの値を取得することを含んでよい。図１６は、該別の実施形態に係る定位情報取得処理のフローチャートを示す。なお、前記図９と共通の事項の説明は省略する。図１６において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０からパン１２７のパラメータの値を取得すること（ステップＳ４１）に加えて、該ｉ番目の入力ｃｈ１２０から、パン１２７以外の定位を決定するパラメータの値を取得する（ステップＳ４２）。パン１２７以外の定位を決定するパラメータは、例えば、ステレオ２ｃｈ間の時間差（遅延量）により定位を決定する遅延パンのパラメータである。なお、遅延パンは、先行して音の聞こえる側に定位が偏って聴こえるという人間の聴覚の特性（Ｈａａｓ効果、ハース効果、先行音効果）を利用したものである。ステップＳ４３において、ＣＰＵ１１は、前記ステップＳ４１で取得したパン１２７の値と、前記ステップＳ４２で取得した遅延パンの値に基づいて、ｉ番目の入力ｃｈ１２０の定位情報を取得する。この場合、パン１２７以外の定位を決定するパラメータ（例えば遅延パン）も考慮した定位分布の表示を行うことができる。パン１２７以外の定位を決定するパラメータには、遅延パンのほか、バランスパラメータや、例えばステレオディレイやリバーブなどのエフェクタを制御用のパラメータに含まれるパンなどがある。
In another embodiment, the localization information acquisition process in step S2 may further include acquiring the values of parameters other than
また、変形例として、ＣＰＵ１１は、前記ステップＳ４１で取得したパン１２７の値、又は、前記ステップＳ４２で取得した遅延パン（パン１２７以外の定位を決定するパラメータ）の値のどちらか一方を、該定位情報として取得してよい。
Further, as a modification, the
別の実施形態において、前記ステップＳ１の周波数情報を取得する処理は、入力ｃｈ１２０の音信号に対応する楽器種類を判別し、該判別した楽器種類に応じた周波数情報の規定値を取得する処理であってよい。図１７は、楽器種類に応じた周波数情報の規定値を取得する処理のフローチャートを示す。ステップＳ５０において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０の音信号に対して楽器種類判定処理を行う。楽器種類は、例えば男性ボーカル、女性ボーカル、ピアノ、コーラス、ギター、ベース、ドラムス・・・等である。楽器種類判定処理は、例えば音信号に対する周波数分析処理により楽器種類を判定する処理である。なお、音信号に対する周波数分析処理等の信号処理によって楽器種類を判定する処理は、周知技術を用いて実現できる。処理対象の音信号を取り出す位置は、例えばフェーダ１２５の直後などであってよい。ステップＳ５１において、ＣＰＵ１１は、例えば適宜のテーブルに基づいて前記ステップＳ５０で判定した楽器種類に対応する周波数情報を取得する。取得する周波数情報は、例えば予め楽器種類に対応して設定された規定値である。この場合、各表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）は、それぞれ対応する入力ｃｈ１２０の実際の音信号の周波数分布ではなく、予め決められた楽器種類毎の周波数分布を示すものとなる。このような、楽器種類に応じた周波数分布を示す表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）であっても、ミキシング操作（特に音の分離感を作る操作）の視覚的な補助としては有効に利用できる。
In another embodiment, the process of acquiring the frequency information in step S1 is a process of determining the musical instrument type corresponding to the sound signal of the
図１８は、楽器種類に応じた周波数情報の規定値を取得する処理の別の一例のフローチャートを示す。ステップＳ６０において、ＣＰＵ１１は、ｉ番目の入力ｃｈ１２０のｃｈ名の情報を取得し、該ｃｈ名に基づいて楽器種類を判定する。前述の通りデジタルミキサにおいて、ユーザは、ｃｈ毎に、ｃｈ名やｃｈ色等を含むｃｈ情報を設定できる。ｃｈ名は、一般に、ボーカル１、ボーカル２、リードギター、サイドギター、ピアノ、ベース、ドラムス・・・等、その入力ｃｈ１２０の楽器種類の名称である。従って、ｃｈ情報に含まれるｃｈ名は楽器種類の判定に利用できる。ステップＳ６１において、前記ステップＳ５０で判定した楽器種類に対応する周波数情報の規定値を取得する。この場合、音信号に対する信号処理を行わずに周波数情報を取得できるので、ＣＰＵ１１への処理負担がより少ない。
FIG. 18 shows a flowchart of another example of the process of acquiring the specified value of the frequency information according to the musical instrument type. In step S60, the
別の実施形態においては、更に、メイン出力又はモニタ出力への出力用に２ｃｈステレオ音信号に混合された混合音信号の周波数‐定位分布の表示物が、入力ｃｈ１２０毎の表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）に重ねて表示されてもよい。その場合、ＣＰＵ１１は、先ず、前記ステップＳ１で、更に、メイン出力又はモニタ出力用の出力ｃｈ１４０若しくはキューｃｈ１６０の混合音信号の周波数情報を取得し、それから、前記ステップＳ２で、更に、該メイン出力又はモニタ出力用の出力ｃｈ１４０若しくはキューｃｈ１６０の混合音信号の定位情報を取得し、そして、前記ステップＳ３で、更に、該取得した周波数情報と定位情報に基づいて、該メイン出力又はモニタ出力用の出力ｃｈ１４０若しくはキューｃｈ１６０の混合音信号の周波数‐定位分布を示す表示物を、入力ｃｈ１２０毎の表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）に重ねて表示する。図１９は、前記図１０の周波数‐定位分布表示画面２０において、メイン出力又はモニタ出力用の出力ｃｈ１４０若しくはキューｃｈ１６０の混合音信号の周波数‐定位分布を示す表示物５０を重ねて表示する例を示す。一例として、混合音信号の表示物５０は、各入力ｃｈ１２０の表示物（図１０の符号２１ａ〜２１ｆ）の背後に表示される。これにより、ユーザは、例えば、各入力ｃｈ１２０の音信号が、混合後の混合音信号の中でどの位置に配置されるかなど、各入力ｃｈ１２０の音信号の位置（周波数軸及び定位軸上の位置）を混合後の混合音信号に対応付けて把握できる。これにより、ミキシング操作（特に音の分離感を作る操作）を効果的に補助できる。なお、混合音信号の定位情報は、例えば、メイン出力又はモニタ出力用の出力ｃｈ１４０若しくはキューｃｈ１６０の混合音信号に対する信号処理（例えば２ｃｈステレオの各ｃｈ毎の音量差を算出する処理）により取得してよい。
In another embodiment, the frequency-localization distribution display of the mixed sound signal mixed with the 2ch stereo sound signal for output to the main output or the monitor output is further displayed as
更に別の実施形態において、周波数‐定位分布表示画面２０は、周波数方向軸（上下軸）及び定位方向軸（左右軸）に加えて、奥行き軸を持つ３次元座標からなってよい。この場合、ＣＰＵ１１は、前記ステップＳ３において、さらに、例えばｉ番目の入力ｃｈ１２０の音量に基づいて、ｉ番目の入力ｃｈ１２０の表示物の奥行きを決定し、該決定した奥行きを持つ表示物を表示する。この場合、各入力ｃｈ１２０の音量を、表示物の奥行きにより表現できる。音量の大小は、周波数‐定位分布に関しては、定位の広がり感に加えて、奥行き感にも影響する。従って、表示物の奥行きで音量を表すことで、定位の広がり感、更には、定位の奥行き感を視覚化することができる。定位の奥行き感の視覚化という点に関する別の例として、ＣＰＵ１１は、前記ステップＳ３において、さらに、例えばｉ番目の入力ｃｈ１２０のリバーブ等の空間系エフェクタのパラメータ値に基づいて、ｉ番目の入力ｃｈ１２０の表示物の奥行きを決定し、表示物の奥行きにより、定位の奥行き感を視覚化してもよい。
In yet another embodiment, the frequency-localization
また、別の実施形態において、前記ステップＳ１３、Ｓ１４などにおいて音量及び／又は音域に応じた定位の広がり感を視覚化する方法は、音量及び／又は音域に応じて表示物の幅を調節することに限らず、例えば表示物の大きさ（面積）を変えること、表示物の表示色の濃淡を変えることなど、音量及び／又は音域に応じた定位の広がり感の違いを視覚化できさえすれば、どのような方法であってもよい。 Further, in another embodiment, in the steps S13, S14 and the like, the method of visualizing the sense of spread of localization according to the volume and / or the range is to adjust the width of the display object according to the volume and / or the range. Not limited to, for example, changing the size (area) of the displayed object, changing the shade of the display color of the displayed object, etc., as long as the difference in the sense of spread of localization according to the volume and / or range can be visualized. , Any method may be used.
なお、別の実施形態において、前記ステップＳ１３、Ｓ１４など表示物２１（３１、４１）の幅を決定（又は調節）する処理は、表示物２１（３１、４１）の幅を示す値を決定（又は調節）することに限らず、表示物２１（３１、４１）の幅に相当するパラメータ、すなわち分布情報Ｇｉに基づく定位の分布を音量や音域に応じて展開（拡張又は減縮）することであってよい。その場合、ＣＰＵ１１は、ステップＳ１６（Ｓ２４，Ｓ３６）の表示処理において、前記展開（拡張又は減縮）した定位の分布に応じた幅で表示物２１（３１、４１）を表示する。
In another embodiment, the process of determining (or adjusting) the width of the display object 21 (31, 41) such as steps S13 and S14 determines a value indicating the width of the display object 21 (31, 41) ( It is not limited to (or adjustment), but is to expand (expand or reduce) the parameter corresponding to the width of the display object 21 (31, 41), that is, the localization distribution based on the distribution information Gi according to the volume and range. You can. In that case, in the display process of step S16 (S24, S36), the
また、別の実施形態において、前記図７の処理対象は、１つの入力１２０に限らず、複数の入力ｃｈ１２０ａ〜１２０ｎのうち一部をグループにまとめた入力ｃｈグループであってもよい。この場合、例えば、前記図７の処理では、ＣＰＵ１１は、該入力ｃｈグループを構成する各入力１２０の周波数情報及び定位情報を取得し（前記ステップＳ１、Ｓ２）、該入力ｃｈグループを構成する各入力１２０の表示物を同じ色で表示する（前記ステップＳ３）。これにより、ユーザは、複数の表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）のうち、同じ色の複数の表示物２１（３１、４１）を、１つの入力ｃｈグループに属する各入力ｃｈ１２０に対応する表示物２１（３１、４１）として、識別できる。別の例として、前記図７の処理では、ＣＰＵ１１は、１つの入力ｃｈグループに属する各入力ｃｈ１２０の音信号を混合した結果（１つの入力ｃｈグループの混合音信号）に対して前記図７の処理を行い、１つの入力ｃｈグループに対応して１つの表示物２１（３１、４１）を表示するようにしてもよい。
Further, in another embodiment, the processing target of FIG. 7 is not limited to one
なお、別の実施形態として、ＣＰＵ１１は、ユーザからの表示指示に応じて、１回だけ１番目からＮ番目の各入力ｃｈ１２０に対する図７の処理を行うようにしてもよい。つまり、この場合、ＣＰＵ１１は、各入力ｃｈ１２０に入力される音信号の周波数‐定位分布を略リアルタイムで描画することは行わず、或るタイミング（例えばユーザの表示指示時）でのみ、周波数情報及び定位情報を取得し、該取得した周波数情報及び定位情報に基づく表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）の描画を行う。この場合、ＣＰＵ１１は、例えばパラメータの値操作毎に、１番目からＮ番目の各入力ｃｈ１２０に対する図７の処理を行い、各表示物２１ａ〜２１ｆ（３１ａ〜３１ｆ、４１ａ〜４１ｆ）の表示を更新してよい。一例として、ＥＱ１２３、ダイナミクス１２４あるいはパン１２７など、音信号の分離感に影響の大きい特定のパラメータ値操作があった場合にのみ、ＣＰＵ１１が表示更新を行うようにしてよい。
As another embodiment, the
以上、この発明の一実施形態を説明したが、この発明は上記実施形態に限定されるものではなく、特許請求の範囲、及び、明細書と図面に記載された技術的思想の範囲内において種々の変形が可能である。 Although one embodiment of the present invention has been described above, the present invention is not limited to the above-described embodiment, and varies within the scope of claims and the technical ideas described in the specification and drawings. Can be transformed.
例えば、音処理装置１は、ミキサ１０に限らず、レコーダ、アンプ、プロセッサ等に適用できる。また、音処理装置１は、図１に示す各部２〜６の動作を実行するように構成された専用ハードウェア装置（集積回路等）からなっていてもよい。また、音処理装置１は、図１に示す各部２〜６の動作を行なうためのプログラムを実行する機能を持つプロセッサ装置により構成されてよい。
For example, the
また、本発明は、パーソナルコンピュータ上で実行される、Ｃｕｂａｓｅ（登録商標）、ＰｒｏＴｏｏｌｓ（登録商標）等のＤＡＷ（デジタル・オーディオ・ワークステーション）ソフトウェアアプリケーションや、或いは、ビデオ編集ソフトウェアアプリケーションに適用され得る。 The present invention may also be applied to DAW (Digital Audio Workstation) software applications such as Cubase®, Pro Tools®, or video editing software applications that are run on a personal computer. ..
また、この発明は、図１の音処理装置１の動作を行うための表示方法の発明として、構成及び実施されてもよい。また、前記方法を構成する各ステップを、コンピュータに実行させるプログラムの発明として、構成及び実施されてもよい。
Further, the present invention may be configured and implemented as an invention of a display method for performing the operation of the
１ 音処理装置、２ チャンネル、３ バス、４ 第１取得部、５ 第２取得部、６ 表示部、１０ デジタルミキサ、１１ ＣＰＵ、１２ メモリ、１３ 表示Ｉ／Ｆ、１４ 操作子Ｉ／Ｆ、１５ 信号処理装置、１６ 波形Ｉ／Ｆ、１７ 通信バス、１８ ディスプレイ、１９ 操作子、１１０ 入力パッチ、１２０ 入力チャンネル、１３０ バス、１４０ 出力チャンネル、１５０ キューバス、１６０ キュー出力チャンネル、１７０ 出力パッチ 1 Sound processor, 2 channels, 3 buses, 4 1st acquisition unit, 5 2nd acquisition unit, 6 display unit, 10 digital mixer, 11 CPU, 12 memory, 13 display I / F, 14 operator I / F, 15 signal processor, 16 waveform I / F, 17 communication bus, 18 display, 19 controls, 110 input patch, 120 input channel, 130 bus, 140 output channel, 150 cubic bus, 160 queue output channel, 170 output patch
Claims (13)
前記複数のチャンネルで信号処理された音信号を混合して、混合後の混合音信号を出力するバスと、
前記チャンネル毎に、前記バスで混合される前の音信号の周波数帯域を示す周波数情報を取得する周波数情報取得手段と、
前記チャンネル毎に、前記バスで混合される前の音信号の定位を示す定位情報を取得する定位情報取得手段と、
前記取得した周波数情報及び定位情報に基づいて前記音信号の周波数及び定位の分布を示す表示物をディスプレイに表示する表示制御手段であって、前記複数のチャンネルのそれぞれに対応する複数の前記表示物を１つの表示画面内に表示する前記表示制御手段と、
前記バスで混合された音信号を信号処理し、処理結果を出力するバスチャンネル
を備え、
前記周波数情報取得手段は、更に、前記バスチャンネルの音信号の周波数情報を取得し、
前記定位情報取得手段は、更に、前記バスチャンネルの音信号の定位情報を取得し、
前記表示制御手段は、前記バスチャンネルの音信号の周波数情報及び定位情報に基づく該バスチャンネルの音信号の周波数及び定位分布を示す表示物を、前記チャンネル毎の表示物に重ねて表示することを特徴とする音処理装置。 Each has multiple channels that process the input sound signal, and
A bus that mixes sound signals that have been signal-processed on the plurality of channels and outputs the mixed sound signal after mixing,
For each of the channels, a frequency information acquisition means for acquiring frequency information indicating the frequency band of the sound signal before being mixed by the bus, and
Localization information acquisition means for acquiring localization information indicating the localization of sound signals before being mixed by the bus for each of the channels.
A display control means for displaying a display indicating the frequency and localization distribution of the sound signal on a display based on the acquired frequency information and localization information, and a plurality of the display objects corresponding to each of the plurality of channels. It said display control means for displaying on a single display screen,
A bus channel that processes the sound signal mixed by the bus and outputs the processing result is provided .
The frequency information acquisition means further acquires frequency information of the sound signal of the bus channel, and obtains the frequency information.
The localization information acquisition means further acquires localization information of the sound signal of the bus channel.
The display control means superimposes a display object showing the frequency and localization distribution of the sound signal of the bus channel based on the frequency information and the localization information of the sound signal of the bus channel on the display object for each channel. sound processor shall be the feature.
前記複数のチャンネルで信号処理された音信号をバスで混合して、該混合後の音信号を出力するステップと、
前記チャンネル毎に、前記バスで混合される前の音信号の周波数帯域を示す周波数情報を取得するステップと、
前記チャンネル毎に、前記バスで混合される前の音信号の定位を示す定位情報を取得するステップと、
前記取得した周波数情報及び定位情報に基づいて前記音信号の周波数及び定位の分布を示す表示物をディスプレイに表示するステップであって、前記複数のチャンネルのそれぞれに対応する複数の前記表示物を１つの表示画面内に表示する前記ステップと、
前記バスで混合された音信号をバスチャンネルに入力して信号処理するステップと、
前記バスチャンネルから出力される音信号の周波数情報を取得するステップと、
前記バスチャンネルから出力される音信号の定位情報を取得するステップと、
前記バスチャンネルから出力される音信号の周波数情報及び定位情報に基づく該バスチャンネルの音信号の周波数及び定位分布を示す表示物を、前記１つの表示画面内において前記チャンネル毎の表示物に重ねて表示するステップ
を備える表示方法。 Steps to process the input sound signal on each of multiple channels,
A step of mixing the sound signals processed by the plurality of channels on a bus and outputting the mixed sound signals.
For each of the channels, a step of acquiring frequency information indicating the frequency band of the sound signal before being mixed by the bus, and
For each of the channels, a step of acquiring localization information indicating the localization of the sound signal before being mixed by the bus, and
It is a step of displaying a display object showing the frequency and localization distribution of the sound signal on the display based on the acquired frequency information and localization information, and a plurality of the display objects corresponding to each of the plurality of channels are displayed as one. said step of displaying on One of the display screen,
The step of inputting the sound signal mixed by the bus to the bus channel and processing the signal,
The step of acquiring the frequency information of the sound signal output from the bus channel,
The step of acquiring the localization information of the sound signal output from the bus channel, and
A display object showing the frequency and localization distribution of the sound signal of the bus channel based on the frequency information and localization information of the sound signal output from the bus channel is superimposed on the display object for each channel in the one display screen. A display method that includes steps to display.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017140323A JP6915422B2 (en) | 2017-07-19 | 2017-07-19 | Sound processing device and display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017140323A JP6915422B2 (en) | 2017-07-19 | 2017-07-19 | Sound processing device and display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019022128A JP2019022128A (en) | 2019-02-07 |
| JP6915422B2 true JP6915422B2 (en) | 2021-08-04 |
Family
ID=65354375
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017140323A Active JP6915422B2 (en) | 2017-07-19 | 2017-07-19 | Sound processing device and display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6915422B2 (en) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4426159B2 (en) * | 2002-08-28 | 2010-03-03 | ヤマハ株式会社 | Mixing equipment |
| JP5434784B2 (en) * | 2010-05-06 | 2014-03-05 | ヤマハ株式会社 | Mixing equipment |
| KR101950529B1 (en) * | 2011-02-24 | 2019-02-20 | 렉시스넥시스, 어 디비젼 오브 리드 엘서비어 인크. | Methods for electronic document searching and graphically representing electronic document searches |
| JP2013172231A (en) * | 2012-02-20 | 2013-09-02 | Yamaha Corp | Audio mixing device |
-
2017
- 2017-07-19 JP JP2017140323A patent/JP6915422B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019022128A (en) | 2019-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9584940B2 (en) | Wireless exchange of data between devices in live events | |
| WO2017057530A1 (en) | Audio processing device and audio processing method | |
| US20150271618A1 (en) | Device and method for playing sound | |
| EP2485218B1 (en) | Graphical audio signal control | |
| WO2022248729A1 (en) | Stereophonic audio rearrangement based on decomposed tracks | |
| JP5200434B2 (en) | Sound setting support device | |
| US20120109645A1 (en) | Dsp-based device for auditory segregation of multiple sound inputs | |
| US9712268B2 (en) | Level control apparatus and storage medium | |
| US20130322654A1 (en) | Audio signal processing device and program | |
| JP6915422B2 (en) | Sound processing device and display method | |
| JP2009260787A (en) | Control unit | |
| US10158439B2 (en) | Level control apparatus and storage medium | |
| US9445210B1 (en) | Waveform display control of visual characteristics | |
| Valente et al. | Comparing perceived auditory width to the visual image of a performing ensemble in contrasting bi-modal environments | |
| US10270551B2 (en) | Mixing console with solo output | |
| JP2013172231A (en) | Audio mixing device | |
| EP4036915A1 (en) | Acoustic treatment method and acoustic treatment system | |
| JP2016174225A (en) | Display controller and mixing console | |
| JP2004088608A (en) | Mixing device | |
| US9900719B2 (en) | Level setting apparatus and storage medium | |
| JP7408955B2 (en) | Sound signal processing method, sound signal processing device and program | |
| US11188186B2 (en) | Part display apparatus, electronic music apparatus, and part display method | |
| JP2019140503A (en) | Information processing device, information processing method, and information processing program | |
| US20150261855A1 (en) | Audio system and audio signal processing device | |
| JP2017138522A (en) | Music piece performing device, music piece performance program, and music piece performance method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200526 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210413 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210615 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210628 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6915422 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |