JP2012181393A - Method and device for generating auditory masking data - Google Patents
Method and device for generating auditory masking data Download PDFInfo
- Publication number
- JP2012181393A JP2012181393A JP2011044761A JP2011044761A JP2012181393A JP 2012181393 A JP2012181393 A JP 2012181393A JP 2011044761 A JP2011044761 A JP 2011044761A JP 2011044761 A JP2011044761 A JP 2011044761A JP 2012181393 A JP2012181393 A JP 2012181393A
- Authority
- JP
- Japan
- Prior art keywords
- code
- data
- sound
- masker
- masking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
Abstract
Description
本発明は、聴覚マスキングの性質を利用して、会話音を秘匿化したり、騒音の不快感を和らげたりするマスカー音響信号を作成するため、与えられた音響信号に対して加工を加え、加工により聴覚マスキング度合いや信号劣化度合いを評価するマスカー音響信号の評価技術に関する。 The present invention makes use of the property of auditory masking to create a masker acoustic signal that conceals conversational sound or relieves the discomfort of noise. The present invention relates to a masker sound signal evaluation technique for evaluating the degree of auditory masking and the degree of signal degradation.
電車や自動車の音などで会話が聴きづらくなる等、ある音により他の音がかき消されてしまう聴覚マスキングという現象が存在する。この聴覚マスキングについては、E. Zwickerらが提唱した臨界帯域幅ごとにマスキー音（かき消される音）とマスカー音（かき消す音）の音圧比率が所定のレベル以上に達すると発生することが知られており、周波数が高くなるにつれ、臨界帯域幅も大きくなる性質がある（非特許文献１参照）。 There is a phenomenon called auditory masking in which a certain sound erases other sounds, such as making it difficult to hear a conversation by the sound of a train or car. This auditory masking is known to occur when the sound pressure ratio of the masque (sound to be blown out) and the masker (sound to be blown out) reaches a predetermined level or higher for each critical bandwidth proposed by E. Zwicker et al. As the frequency increases, the critical bandwidth increases (see Non-Patent Document 1).
この聴覚マスキングの性質を利用して、会話音を秘匿化したり、騒音の不快感を和らげたりする技術も提案されている（特許文献１参照）。特許文献１の公知の手法では、エアコンノイズ（ピンクノイズ）のようなマスキング効果が高い既存の音源をマスカー音響信号として用いる方法を提案しているが、かなり音量の高いエアコンノイズを室内に流すため、室内全体に不快感を与え、本来の会話を行っている当事者どうしで相手の声が聞きとりづらくなるといった問題が指摘されている。そのため、先手法では、エアコンノイズのレベルを低減させ、代わりに鑑賞用の音楽信号を重ねる手法も併せて提案している。しかし、ポップスなど比較的騒がしい音楽は別にして、一般的なクラシック系の音楽のような鑑賞用の音楽信号は白色雑音やピンク雑音成分が少なく、エアコンノイズに比べ音声帯域の周波数成分が弱いため、エアコンノイズと同等なマスキング効果は働かない。従って、室内に快適な音楽を流そうとすると、マスキング効果が弱くなるというジレンマに陥っていた。
A technique for concealing a conversational sound or relieving noise discomfort by using the property of auditory masking has been proposed (see Patent Document 1). In the known method of
これに対して、本願発明者は、与えられた音楽信号及びマスキング対象とする騒音信号や平均的な日本人男女の音声信号に対して周波数解析を行い、前記騒音信号や前記音声信号に多く含まれ、逆に前記音楽信号に余り含まれていない周波数成分を強調させるようなフィルタ関数を算出し、前記音楽信号に対して前記フィルタ関数を用いてフィルタ加工を加え、改変させた音楽信号をマスカー音響信号として使用することにより、前記音楽信号に対してエアコンノイズと同等な会話音や騒音に対する聴覚マスキング効果をもたせるようにする手法を提案している（特許文献２および特許文献３参照）。
On the other hand, the inventor of the present application performs frequency analysis on a given music signal, a noise signal to be masked, and an average Japanese male and female voice signal, and includes a large amount in the noise signal and the voice signal. Conversely, a filter function that emphasizes frequency components that are not so much included in the music signal is calculated, and the music signal is filtered using the filter function, and the modified music signal is masked. A method has been proposed in which the music signal has an audio masking effect for speech and noise equivalent to air-conditioner noise by using it as an acoustic signal (see
上記従来の技術では、与えられた音楽信号に対して会話音や騒音に対する聴覚マスキングが効果的に働くように音楽信号にフィルタ加工を加える手法を提案しているが、再生される音楽品質を優先するため、音楽によってはマスキング効果が十分増強できないケースが生じる。この際、フィルタ加工による音楽信号の品質劣化成分によって、ヒト聴覚系内で生理的に働いているマスキング効果については客観的に計測や評価する手段が存在しなかった。 In the above-mentioned conventional technology, a method for filtering the music signal so that auditory masking for speech sound and noise works effectively on the given music signal, but priority is given to the music quality to be played back. Therefore, depending on the music, there may be cases where the masking effect cannot be enhanced sufficiently. At this time, there has been no means for objectively measuring and evaluating the masking effect that works physiologically in the human auditory system due to the quality degradation component of the music signal due to filtering.
上記課題である会話音声・騒音信号（マスキー音響信号）が別途準備した音楽信号（マスカー音響信号）によって、聴覚マスキングがどの程度働くかを客観的に定量的に評価するための聴覚マスキングデータを作成するためには、非特許文献１に記載されている臨界周波数帯域を用いて、マスカー音響信号とマスキー音響信号との間で対応する臨界周波数帯域に含まれる信号成分を比較すれば良い。マスカー音響信号側の臨界周波数帯域に含まれる信号成分が、対応するマスキー音響信号側の同周波数帯域に含まれる信号成分に比べ、所定の割合（臨界周波数帯域ごとに異なるが平均して振幅で１０倍程度（＋２０ｄＢ））以上に大きければ、当該周波数帯域に含まれるマスキー音響信号側の周波数成分は完全にマスキングされ聴取されないことが知られている。ただし、マスカー音響信号とマスキー音響信号との間で対応する臨界周波数帯域に含まれる信号成分を比較して聴覚マスキングデータを作成することは容易ではない。
Auditory masking data for objectively and quantitatively assessing how much auditory masking works with the music signal (masker sound signal) prepared separately for the conversation voice / noise signal (Muskey sound signal), which is the above problem In order to do so, signal components included in the corresponding critical frequency band may be compared between the masker acoustic signal and the masky acoustic signal using the critical frequency band described in Non-Patent
本発明は、臨界周波数帯域の幅が非特許文献１に記載されている通り、音楽音階と同様に周波数が高くなるほど広がる特性をもつことに着目し、マスカー音響信号及びマスキー音響信号を平均律音階を基本として記述されるＭＩＤＩ等の形式に符号化することにより、マスカー音響信号とマスキー音響信号との間で対応する臨界周波数帯域に含まれる信号成分の比較処理を、マスカー音響信号とマスキー音響信号に対応する（ＭＩＤＩ等の）符号データどうしの比較演算で簡便に実現する手法を提案することを主眼にしている。
The present invention pays attention to the fact that, as described in
そこで、本発明は、会話音声・騒音信号（マスキー音響信号）が別途準備した音楽信号（マスカー音響信号）によって、聴覚マスキングがどの程度働くかを客観的に定量的に評価するための聴覚マスキングデータを作成することが可能な聴覚マスキングデータの作成方法および装置を提供することを課題とする。 Therefore, the present invention provides auditory masking data for objectively and quantitatively evaluating how much auditory masking works with a music signal (masker acoustic signal) prepared separately for a conversational voice / noise signal (Muskey acoustic signal). It is an object of the present invention to provide a method and apparatus for generating auditory masking data capable of generating
上記課題を解決するため、本発明第１の態様では、聴覚マスキングにおけるマスキー音響信号、マスカー原音音響信号、マスカー加工音響信号の各々を符号化して得られたマスキー符号Ａ、マスカー原音符号Ｂ、マスカー加工符号Ｃに対して、前記マスキー符号Ａと前記マスカー原音符号Ｂを用いて、低強度選択に基づく演算により、マスキング対象信号成分ＡＢを作成するとともに、前記マスキー符号Ａと前記マスカー加工符号Ｃを用いて、低強度選択に基づく演算により、マスキング対象信号成分ＡＣを作成し、前記マスキング対象信号成分ＡＢおよび前記マスキング対象信号成分ＡＣを用いて、差分演算に基づく演算により、聴覚マスキングデータとしてマスキング対象成分の増分ＡＢＣを作成するようにしていることを特徴とする。 In order to solve the above-mentioned problem, in the first aspect of the present invention, the masky code A, masker original sound code B, masker obtained by encoding each of the masky sound signal, masker original sound signal, and masker processed sound signal in auditory masking are provided. A masking target signal component AB is created by processing based on low-intensity selection using the masky code A and the masker original sound code B with respect to the processed code C, and the masky code A and the masker processed code C are The masking target signal component AC is created by calculation based on low-intensity selection, and the masking target as auditory masking data is calculated by calculation based on difference calculation using the masking target signal component AB and the masking target signal component AC. An incremental ABC of the components is created.
本発明第１の態様によれば、マスキー音響信号に対応するマスキー符号Ａ、マスカー原音音響信号に対応するマスカー原音符号Ｂ、マスカー加工音響信号に対応するマスカー加工符号Ｃに対して、マスキー符号Ａとマスカー原音符号Ｂを用いて、低強度選択に基づく演算によりマスキング対象信号成分ＡＢを作成するとともに、マスキー符号Ａとマスカー加工符号Ｃを用いて、低強度選択に基づく演算によりマスキング対象信号成分ＡＣを作成した後、マスキング対象信号成分ＡＢおよびマスキング対象信号成分ＡＣを用いて、差分演算に基づく演算によりマスキング対象成分の増分ＡＢＣを作成するようにしたので、マスカー原音音響信号に対するマスカー加工音響信号のマスキング対象成分の増分を効率的に作成できる。得られたマスキング対象成分の増分ＡＢＣを表示または音響出力することにより、マスキング対象成分の増分を視覚的、聴覚的に確認することが可能となる。 According to the first aspect of the present invention, the maskee code A corresponds to the masker code A corresponding to the masker acoustic signal, the masker original code B corresponding to the masker original acoustic signal, and the masker processed code C corresponding to the masker processed acoustic signal. And masker original sound code B are used to create a masking target signal component AB by calculation based on low intensity selection, and masking target signal component AC is calculated by calculation based on low intensity selection using masky code A and masker processing code C. Since the masking target signal component AB and the masking target signal component AC are used to generate the incremental ABC of the masking target component by the calculation based on the difference calculation, the masker processed acoustic signal relative to the masker original sound signal is generated. The increment of the masking target component can be created efficiently. By displaying or acoustically outputting the increment ABC of the obtained masking target component, it is possible to visually and audibly confirm the increment of the masking target component.
また、本発明第２の態様では、聴覚マスキングにおけるマスキー音響信号、マスカー原音音響信号、マスカー加工音響信号の各々を符号化して得られたマスキー符号Ａ、マスカー原音符号Ｂ、マスカー加工符号Ｃに対して、前記マスキー符号Ａを構成する全ての音の高さに一律に所定のオフセット値を加え、複数通りのオフセット値に対応して、複数通りの改変マスキー符号Ａ１、改変マスキー符号Ａ２，．．．，を作成し、前記マスキー符号Ａおよび前記複数通りの改変マスキー符号Ａ１，．．．の各々と前記マスカー原音符号Ｂまたはマスカー加工符号Ｃを用いて、低強度選択に基づく演算により、複数通りのマスキング対象信号成分ＡＢ，マスキング対象信号成分ＡＢ１，．．．またはマスキング対象信号成分ＡＣ，マスキング対象信号成分ＡＣ１，．．を作成し、前記複数通りのマスキング対象信号成分ＡＢ，マスキング対象信号成分ＡＢ１，．．．またはマスキング対象信号成分ＡＣ，マスキング対象信号成分ＡＣ１，．．どうしを各々の群内で２つずつ重複無く順次組み合わせ、加算演算に基づく演算により、合算マスキング対象信号成分ＡＢまたは合算マスキング対象信号成分ＡＣを作成し、前記マスキング対象信号成分ＡＢおよび前記マスキング対象信号成分ＡＣを用いて、差分演算に基づく演算により、聴覚マスキングデータとしてマスキング対象成分の増分ＡＢＣを作成するようにしていることを特徴とする。 Further, in the second aspect of the present invention, with respect to the masky code A, the masker original sound code B, and the masker processed code C obtained by encoding each of the masky sound signal, the masker original sound signal, and the masker processed sound signal in auditory masking. Then, a predetermined offset value is uniformly added to the pitches of all the sounds constituting the masky code A, and a plurality of modified masky codes A1, modified masky codes A2,. . . , And the masky code A and the plurality of modified masky codes A1,. . . , And the masker original sound code B or the masker processing code C, and a plurality of masking target signal components AB, masking target signal components AB1,. . . Or masking target signal component AC, masking target signal component AC1,. . , And the plurality of masking target signal components AB, masking target signal components AB1,. . . Or masking target signal component AC, masking target signal component AC1,. . By sequentially combining two elements in each group without duplication, a summed masking target signal component AB or a summed masking target signal component AC is created by an operation based on an addition operation, and the masking target signal component AB and the masking target signal are generated. An incremental ABC of the masking target component is generated as auditory masking data by calculation based on the difference calculation using the component AC.
本発明第２の態様によれば、マスキー音響信号に対応するマスキー符号Ａ、およびマスキー符号Ａを所定の音の高さだけシフトさせた改変符号データＡ１、Ａ２、・・・のそれぞれと、マスカー原音音響信号またはマスカー加工音響信号に対応するマスカー原音符号Ｂまたはマスカー加工符号Ｃに対して、マスキー符号Ａおよび複数通りの改変マスキー符号Ａ１，．．．の各々とマスカー原音符号Ｂまたはマスカー加工符号Ｃを用いて、低強度選択に基づく演算により、複数通りのマスキング対象信号成分ＡＢ，マスキング対象信号成分ＡＢ１，．．．またはマスキング対象信号成分ＡＣ，マスキング対象信号成分ＡＣ１，．．を作成し、複数通りのマスキング対象信号成分ＡＢ，マスキング対象信号成分ＡＢ１，．．．またはマスキング対象信号成分ＡＣ，マスキング対象信号成分ＡＣ１，．．どうしを各々の群内で２つずつ重複無く順次組み合わせ、加算演算により、合算マスキング対象信号成分ＡＢまたは合算マスキング対象信号成分ＡＣを作成し、マスキング対象信号成分ＡＢおよびマスキング対象信号成分ＡＣを用いて、差分演算により、マスキング対象信号成分の増分ＡＢＣを作成するようにしたので、マスカー原音音響信号に対するマスカー加工音響信号のマスキング対象信号成分の増分を、＋１または−１半音の範囲に拡張させて高精度、かつ効率的に作成できる。得られたマスキング対象信号成分の増分ＡＢＣを表示または音響出力することにより、マスキング対象信号成分の増分を視覚的、聴覚的に確認することが可能となる。 According to the second aspect of the present invention, the masker code A corresponding to the masky sound signal, the modified code data A1, A2,... Obtained by shifting the masky code A by a predetermined pitch, and the masker With respect to the masker original sound code B or the masker processed code C corresponding to the original sound acoustic signal or the masker processed acoustic signal, the maskee code A and a plurality of modified masky codes A1,. . . , And masker original sound code B or masker processed code C, and a plurality of masking target signal components AB, masking target signal components AB1,. . . Or masking target signal component AC, masking target signal component AC1,. . , And a plurality of masking target signal components AB, masking target signal components AB1,. . . Or masking target signal component AC, masking target signal component AC1,. . The two are sequentially combined without duplication in each group, and the sum masking target signal component AB or the sum masking target signal component AC is created by the addition operation, and the masking target signal component AB and the masking target signal component AC are used. Since the incremental ABC of the masking target signal component is created by the difference calculation, the masking target signal component increment of the masker processed acoustic signal with respect to the masker original sound signal is expanded to a range of +1 or −1 semitone. Accurate and efficient creation. By displaying or acoustically outputting the obtained increment ABC of the masking target signal component, it is possible to visually and audibly confirm the increment of the masking target signal component.
また、本発明第３の態様では、本発明第１または第２の態様において、前記差分演算により得られたマスキング対象信号成分の増分ＡＢＣを表示手段に画面表示し、および／または前記マスキング対象信号成分の増分ＡＢＣを音響再生手段により音響再生することを特徴とする。 Further, in the third aspect of the present invention, in the first or second aspect of the present invention, the increment ABC of the masking target signal component obtained by the difference calculation is displayed on a display means and / or the masking target signal is displayed. The incremental ABC of the component is acoustically reproduced by an acoustic reproduction means.
本発明第３の態様によれば、マスキング対象信号成分の増分ＡＢＣを表示手段に画面表示、および／またはマスキング対象信号成分の増分ＡＢＣを音響再生手段により音響再生するようにしたので、マスキング対象信号成分の増分ＡＢＣを視覚的かつ聴覚的に評価することが可能となる。 According to the third aspect of the present invention, since the increment ABC of the masking target signal component is displayed on the screen and / or the incremental ABC of the masking target signal component is acoustically reproduced by the acoustic reproducing means. The incremental ABC of the components can be evaluated visually and audibly.
また、本発明第４の態様では、本発明第１から第３のいずれかの態様において、前記マスキー符号Ａ、マスカー原音符号Ｂ、マスカー加工符号Ｃは時系列に配置されたイベントデータで構成され、各イベントデータには、発音開始または発音終了の識別、時刻、音の高さ、チャンネル番号、音の強さの属性情報を備えた符号データであり、前記差分演算に基づく演算は、前記２つの符号データの各イベントデータに対して互いに異なるチャンネル番号を付与しながら、時刻が早い順にソートして、２つのチャンネル番号を有する１つの時系列な符号データに統合することにより２チャンネル符号データを作成し、発音開始のイベントデータとそれに対応する同一の音の高さをもつ発音終了の２つのイベントデータの対で構成される区間を発音区間としたとき、前記２チャンネル符号データの中で、一方のチャンネルの発音区間が、同一の音の高さをもつ他方のチャンネルの発音区間と時間的に全てまたは一部が重複する場合に、両発音区間が重複する区間を、両発音区間の音の強さの差分値を新たな音の強さとする新たな発音区間を重複区間として生成し、前記重複する両発音区間のうち、重複しない区間については、前記重複区間を除く区間に元の音の強さを有する発音区間を生成して更新し、更新された発音区間の各々の発音開始のイベントデータと発音終了のイベントデータを時系列にソートし、所定の形式で符号化することを特徴とする。 Further, in the fourth aspect of the present invention, in any one of the first to third aspects of the present invention, the masky code A, the masker original sound code B, and the masker processed code C are configured by event data arranged in time series. Each event data is code data including sound generation start or sound end identification, time, sound pitch, channel number, and sound intensity attribute information. While assigning different channel numbers to each event data of one code data, the two channels code data is converted by sorting in ascending order of time and integrated into one time-series code data having two channel numbers. Produce a section composed of a pair of two event data of the end of pronunciation and the event data of the start of pronunciation and the corresponding end of pronunciation In the two-channel code data, when the sounding section of one channel overlaps all or part of the sounding section of the other channel having the same pitch in time, A new sounding section is generated as a new sound intensity with a difference value of the sound intensity of both sounding sections as a new sound intensity, and no overlapping of the overlapping sounding sections is made. As for the section, a sounding section having the original sound intensity is generated and updated in the section excluding the overlapping section, and the sounding start event data and the sounding end event data of each updated sounding section are time-series. And is encoded in a predetermined format.
また、本発明第５の態様では、本発明第第１から第４のいずれかの態様において、前記マスキー符号Ａ、マスカー原音符号Ｂ、マスカー加工符号Ｃは時系列に配置されたイベントデータで構成され、各イベントデータには、発音開始または発音終了の識別、時刻、音の高さ、チャンネル番号、音の強さの属性情報を備えた符号データであり、前記低強度選択に基づく演算は、前記２つの符号データの各イベントデータに対して互いに異なるチャンネル番号を付与しながら、時刻が早い順にソートして、２つのチャンネル番号を有する１つの時系列な符号データに統合することにより２チャンネル符号データを作成する符号データ統合段階と、発音開始のイベントデータとそれに対応する同一の音の高さをもつ発音終了の２つのイベントデータの対で構成される区間を発音区間としたとき、前記２チャンネル符号データの中で、一方のチャンネルの発音区間が、同一の音の高さをもつ他方のチャンネルの発音区間と時間的に全てまたは一部が重複する場合に、両発音区間が重複する区間を、両発音区間の音の強さのいずれか小さい方の値を新たな音の強さとする新たな発音区間を重複区間として生成し、前記重複する両発音区間のうち、重複しない区間については、発音区間の音の強さを全て０に設定して更新し、更新された発音区間の各々の発音開始のイベントデータと発音終了のイベントデータを時系列にソートし、所定の形式で符号化することを特徴とする。 Also, in the fifth aspect of the present invention, in any one of the first to fourth aspects of the present invention, the masky code A, the masker original sound code B, and the masker processed code C are configured by event data arranged in time series. Each event data is code data including sound generation start or sound end identification, time, sound pitch, channel number, sound intensity attribute information, and the calculation based on the low intensity selection is While assigning different channel numbers to the event data of the two code data, the two channel codes are sorted by sorting in ascending order of time and integrated into one time-series code data having two channel numbers. Code data integration stage for creating data, sounding start event data and corresponding sounding end event data with the same pitch When a section composed of a pair is defined as a sound generation section, the sound generation section of one channel in the two-channel code data is all or temporally different from the sound generation section of the other channel having the same pitch. If some parts overlap, a new sounding section with a new sound intensity with a smaller value of the sound intensity of both sounding sections is generated as an overlapping section. Of the two overlapping sounding intervals, the non-overlapping intervals are updated with the sound intensity of the sounding interval set to 0, and the sounding start event data and the sounding end of each of the updated sounding intervals are updated. The event data is sorted in time series and encoded in a predetermined format.
また、本発明第６の態様では、本発明第第１から第５のいずれかの態様において、前記マスキー符号Ａ、マスカー原音符号Ｂ、マスカー加工符号Ｃは時系列に配置されたイベントデータで構成され、各イベントデータには、発音開始または発音終了の識別、時刻、音の高さ、チャンネル番号、音の強さの属性情報を備えた符号データであり、前記加算演算に基づく演算は、前記２つの符号データの各イベントデータに対して互いに異なるチャンネル番号を付与しながら、時刻が早い順にソートして、２つのチャンネル番号を有する１つの時系列な符号データに統合することにより２チャンネル符号データを作成し、発音開始のイベントデータとそれに対応する同一の音の高さをもつ発音終了の２つのイベントデータの対で構成される区間を発音区間としたとき、前記２チャンネル符号データの中で、一方のチャンネルの発音区間が、同一の音の高さをもつ他方のチャンネルの発音区間と時間的に全てまたは一部が重複する場合に、両発音区間が重複する区間を、両発音区間の音の強さの和を新たな音の強さとする新たな発音区間を重複区間として生成し、前記重複する両発音区間のうち、重複しない区間については、一方のチャンネルの発音区間の音の強さを有する発音区間を生成して更新し、更新された発音区間の各々の発音開始のイベントデータと発音終了のイベントデータを時系列にソートし、所定の形式で符号化する演算符号データ符号化段階を有することを特徴とする。 Further, in a sixth aspect of the present invention, in any one of the first to fifth aspects of the present invention, the masky code A, the masker original sound code B, and the masker processed code C are configured by event data arranged in time series. Each event data is code data including sound generation start or sound end identification, time, sound pitch, channel number, and sound intensity attribute information. 2 channel code data by assigning different channel numbers to the event data of the two code data, sorting them in order from the earliest time, and integrating them into one time-series code data having two channel numbers To create a section consisting of a pair of event data for the start of pronunciation and two corresponding event data for the end of pronunciation with the same pitch. When the interval is set, in the two-channel code data, when the sounding interval of one channel overlaps all or part of the sounding interval of the other channel having the same pitch in time, A section where the two sounding sections overlap is generated as a new sounding section with the sum of the sound strengths of the two sounding sections as the new sound intensity, and the non-overlapping section among the overlapping sounding sections For a channel, a sounding interval having the sound intensity of the sounding interval of one channel is generated and updated, and the event data of the sounding start and sounding end of each updated sounding interval are sorted in time series And an operational code data encoding step for encoding in a predetermined format.
本発明第４から第６の態様によれば、マスカー原音音響信号とマスカー加工音響信号またはマスカー音響信号とマスキー音響信号に対応する２つの符号データを１つの２チャンネル符号データに統合し、２つのチャンネルで発音時間が重複する同一ノートナンバーの発音区間を重複区間と非重複区間に分割し、重複区間、非重複区間のベロシティを、差分演算、低強度選択、加算演算を行うことにより更新し、各発音区間を特定するノートオンのイベントデータとノートオフのイベントデータを時系列にソートし、２つのマスカー音響信号どうしの差分（マスカー原音音響信号の加工に基づく信号劣化成分やマスキング対象信号成分の増分）、マスカー原音音響信号またはマスカー加工音響信号によるマスキー音響信号に対する聴覚マスキングデータ、オフセットを加えた複数のマスキー音響信号どうしの和（音高方向にオフセットを加えた複数のマスキー音響信号どうしの和）またはマスキング対象信号成分どうしの和（音高方向にオフセットを加えた複数のマスキー音響信号に対するマスカー原音信号またはマスカー加工音響信号によるマスキング対象信号成分どうしの和）に対応する演算符号データとして符号化するようにしたので、発音開始または発音終了の識別、時刻、音の高さ、チャンネル番号、音の強さの属性情報を備えた符号データ間の演算を効率的に行うことが可能となる。 According to the fourth to sixth aspects of the present invention, the two code data corresponding to the masker original sound signal and the masker processed sound signal or the masker sound signal and the masky sound signal are integrated into one two-channel code data. Divide the pronunciation interval of the same note number with overlapping pronunciation time in the channel into the overlapping interval and non-overlapping interval, and update the velocity of the overlapping interval and non-overlapping interval by performing difference calculation, low intensity selection, addition operation, The note-on event data and note-off event data that specify each sounding section are sorted in time series, and the difference between the two masker sound signals (the signal degradation component based on the masker original sound signal processing and the masking target signal component) Incremental), auditory muskin for masker sound signal by masker original sound signal or masker processed sound signal Sum of two or more masky sound signals with data and offset (sum of multiple masky sound signals with offset in the pitch direction) or sum of masking signal components (multiple with offset in the pitch direction) Since it is encoded as operation code data corresponding to the masker original sound signal or the masker processed sound signal of the masker sound signal of the other masky sound signal), the start or end of pronunciation, time, and pitch In addition, it is possible to efficiently perform the calculation between the code data having the channel number and sound intensity attribute information.
また、本発明第７の態様では、本発明第４から第６のいずれかの態様において、前記重複発音区間の演算処理をする際、前記重複区間の音の強さが０の場合、前記音の強さを０以外の１〜１２７の範囲で小さな値に変更することを特徴とする。 Further, in the seventh aspect of the present invention, in the case of any one of the fourth to sixth aspects of the present invention, when the sound processing of the overlapping section is 0 when the calculation process of the overlapping pronunciation section is performed, the sound The strength of is changed to a small value within a range of 1 to 127 other than 0.
また、本発明第８の態様では、本発明第４から第６のいずれかの態様において、前記重複発音区間の演算処理をする際、前記重複区間の音の強さが０の場合、前記重複区間を符号化対象から削除することを特徴とする。 Further, in the eighth aspect of the present invention, in any one of the fourth to sixth aspects of the present invention, if the sound intensity of the overlapping section is 0 when the overlapping pronunciation section is calculated, the overlapping section The section is deleted from the encoding target.
本発明第７、第８の態様によれば、音の強さとして最終的に０が与えられることがなくなり、各発音区間の終了を特定するノートオフのイベントデータを示すベロシティ０と区別することが可能となる。
According to the seventh and eighth aspects of the present invention, 0 is no longer finally given as the sound intensity, and is distinguished from
また、本発明第９の態様では、本発明第４から第８のいずれかの態様において、 前記演算符号データ符号化段階にて符号化された演算符号データに対して、発音開始のイベントデータとそれに対応する同一の音の高さをもつ発音終了の２つのイベントデータの対で構成される発音区間を抽出し、前記抽出された全ての発音区間の時間間隔（発音終了のイベントデータの時刻と発音開始のイベントデータの時刻との差）の総和値Ｄｕｒａｔｉｏｎ、および前記抽出された全ての発音区間の音の強さと発音区間の時間間隔（発音終了のイベントデータの時刻と発音開始のイベントデータの時刻との差）との積の総和値Ｅｎｅｒｇｙを算出し、総和値Ｅｎｅｒｇｙを総和値Ｄｕｒａｔｉｏｎで除した値を前記演算符号データの評価値として出力するようにしていることを特徴とする。 According to a ninth aspect of the present invention, in any one of the fourth to eighth aspects of the present invention, with respect to the operation code data encoded in the operation code data encoding stage, A pronunciation interval composed of a pair of two event data of the end of pronunciation corresponding to the same pitch is extracted, and the time intervals of all the extracted pronunciation intervals (the time of the event data of the end of pronunciation) The sum of the durations of the extracted sound durations and the time intervals of the sounding intervals (the time of the sounding end event data and the sounding start event data) The sum total value Energy of the product with the time) is calculated, and a value obtained by dividing the sum value Energy by the total value Duration is output as an evaluation value of the operation code data. Characterized in that it is so.
本発明第９の態様によれば、発音区間の時間間隔の総和値と、抽出された全ての発音区間の音の強さと発音区間の時間間隔との積の総和値をエネルギー総和値として算出し、エネルギー総和値を時間間隔の総和値で除した値を演算符号データの評価値として出力するようにしたので、時間当たりのエネルギー（強さの時間平均値）を用いて前記音響信号を符号化して得られた２つの独立した符号データの関係を客観的に評価することが可能となる。具体的には、マスカー原音音響信号に対するマスカー加工音響信号の信号劣化成分や、マスカー原音音響信号に対するマスカー加工音響信号のマスキー音響信号に対するマスキング対象信号成分の増分を単一の数値パラメータで提示することにより、マスカー原音音響信号に対する加工度合いを効率的に決定することができる。 According to the ninth aspect of the present invention, the sum total value of the products of the sum of the time intervals of the sounding intervals and the sound intensity of all the extracted sounding intervals and the time intervals of the sounding intervals is calculated as the energy total value. Since the value obtained by dividing the total energy value by the total time interval value is output as the evaluation value of the operation code data, the acoustic signal is encoded using the energy per time (time average value of strength). It is possible to objectively evaluate the relationship between the two independent code data obtained in this way. Specifically, the signal deterioration component of the masker processed sound signal relative to the masker original sound signal and the increment of the masking target signal component relative to the masker sound signal of the masker processed sound signal relative to the masker original sound signal should be presented as a single numerical parameter. Thus, the degree of processing for the masker original sound signal can be determined efficiently.
また、本発明第１０の態様では、本発明第４から第９のいずれかの態様において、前記差分符号データの符号化は、前記重複発音区間の差分処理により得られた発音区間として、発音開始と発音終了の時刻が同一のものがある場合に、当該発音区間を構成するイベントデータを削除する処理をさらに行うことを特徴とする。 Further, in the tenth aspect of the present invention, in any one of the fourth to ninth aspects of the present invention, the encoding of the difference code data is started as a pronunciation section obtained by the difference process of the overlapping pronunciation sections. And when the sound generation end time is the same, a process for deleting event data constituting the sound generation section is further performed.
本発明第１０の態様によれば、重複発音区間の差分処理後に、発音開始と発音終了の時刻が同一のものがある場合に、値が０をもつ発音区間を構成するイベントデータを削除するようにしたので、画面表示や音響再生において機能的に意味をもたない冗長なイベントの発生を防ぐことが可能となる。 According to the tenth aspect of the present invention, if there is a time when the pronunciation start time and the pronunciation end time are the same after the difference between the overlapping sound generation sections, the event data constituting the sound generation section having a value of 0 is deleted. Therefore, it is possible to prevent the occurrence of redundant events that have no functional meaning in screen display and sound reproduction.
本発明によれば、会話音声・騒音信号（マスキー）が別途準備した音楽信号（マスカー）によって、聴覚マスキングがどの程度働くかを客観的に定量的に評価するための聴覚マスキングデータを作成することが可能となるという効果を有する。 According to the present invention, auditory masking data for objectively and quantitatively evaluating how much auditory masking works is created by a music signal (masker) prepared separately by a conversational voice / noise signal (masky). Has the effect of becoming possible.
＜基本となる符号データの演算処理＞
以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。まず、本発明で用いる符号データの演算処理について説明する。図１は、符号データの演算処理を実行する演算符号データ作成装置を示す機能ブロック図である。演算符号データ作成装置は、図１に示すように、データ入力部１１、演算処理部１２、表示部１３、音響出力部１４、データ出力部１５、符号データ作成部１６を有すると共に、図示しないハードディスク等の記憶装置、指示入力を行うキーボード、マウス等の入力機器等を有しており、入出力機器が接続された汎用のコンピュータに専用のプログラムを組み込むことにより実現される。
<Calculation processing of basic code data>
DESCRIPTION OF EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the drawings. First, code data calculation processing used in the present invention will be described. FIG. 1 is a functional block diagram showing an operation code data creation device that performs code data operation processing. As shown in FIG. 1, the arithmetic code data creation device includes a
図１において、データ入力部１１は、聴覚マスキング効果の評価の対象であるマスカー原音音響信号、マスカー加工音響信号またはマスキー音響信号などの複数のＷＡＶ形式等（ＷＡＶはＭｉｃｒｏｓｏｆｔ社の音響信号形式）の音響信号を入力するためのものである。マスカー加工音響信号は、上述のように、特許文献２または特許文献３の手法により、与えられた音楽信号及びマスキング対象とする騒音信号や平均的な日本人男女の音声信号に対して周波数解析を行い、マスキー音響信号に多く含まれ、逆にマスカー原音音響信号に余り含まれていない周波数成分を強調させるようなフィルタ関数を算出し、マスカー原音音響信号に対してフィルタ関数を用いてフィルタ加工を加え、改変させて得られるものである。続いて、符号データ作成部１６は、入力された音響信号を特許文献４など公知の手法によりＭＩＤＩ（Ｍｕｓｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）データ等の符号データに変換するためのものである。後続の演算処理部１２と同様に、ＣＰＵ、メモリを有し、記憶装置から専用のプログラムをメモリ上に読み込んで実行することにより本機能を実現する。演算処理部１２は、ＣＰＵ、メモリを有し、記憶装置から専用のプログラムをメモリ上に読み込んで実行し、符号データ作成部１６で作成された複数の符号データどうしで指定された所定の演算を行い、演算符号データを作成する、本発明の演算符号データ作成装置の主要な機能を実現するものである。表示部１３は、液晶ディスプレイ等の表示装置により実現され、演算処理部１２により作成された演算符号データを表示する。音響出力部１４は、ＭＩＤＩ音源、ＭＩＤＩシーケンサ、アンプおよびスピーカにより実現され、演算処理部１２により作成された演算符号データを音響信号に変換して音響出力する。データ出力部１５は、ＭＩＤＩデータ等の演算符号データをＳＭＦ（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）形式などのデータ形式で出力するためのものである。
In FIG. 1, the
＜処理概要＞
図２は、図１に示した演算符号データ作成装置による演算符号データの作成方法の概要を示すフローチャートである。演算符号データの作成方法は、図２に示した各ステップ（各段階）の詳細な手順を記録したプログラムを、図１に示した演算符号データ作成装置が実行することにより行われる。
<Process overview>
FIG. 2 is a flowchart showing an outline of a method of creating operation code data by the operation code data generation apparatus shown in FIG. The operation code data generation method is performed by the operation code data generation apparatus shown in FIG. 1 executing a program that records the detailed procedure of each step (each stage) shown in FIG.
本発明で用いる符号データ作成部１６で作成される符号データとしては、データ入力部１１で入力された音響信号を構成する各音素成分を、その音素成分の強度、高さ、時間情報で表現した形式のものであれば、どのようなものであっても良い。時間情報に関しては、開始時刻と終了時刻で特定する形式であっても、開始時刻と発音時間で特定する形式であっても、何らかの手法により開始時刻、終了時刻、発音時間が特定できるものであれば良い。本実施形態では、符号データとして、発音開始時にノートオン、発音終了時にノートオフのイベントデータを設定し、音の強さとしてベロシティ、音の高さとしてノートナンバーを設定したＭＩＤＩ規格を採用している。したがって、以下においても、ＭＩＤＩデータを例にとって説明していく。
As the code data created by the code
演算符号データの作成方法としては、まず、コンピュータ本体である演算処理部１２が、２つのＭＩＤＩデータをデータ入力部１１から読み込む。ここでは、２つのＭＩＤＩデータＭ１、Ｍ２を読み込むものとする。２つのＭＩＤＩデータＭ１、Ｍ２を読み込んだら、演算処理部１２は、読み込んだ２つのＭＩＤＩデータＭ１、Ｍ２を、１つの時系列な２チャンネルＭＩＤＩデータに統合する（Ｓ１）。
As a method of creating operation code data, first, the
統合に際して、演算処理部１２は、読み込んだ２つのＭＩＤＩデータＭ１、Ｍ２それぞれのＭＩＤＩイベント配列を、Ｅｖｅｎｔ１[]、Ｅｖｅｎｔ２[]とする。２つのＭＩＤＩイベント配列の総ノートイベント数は各々Ｎｅ１、Ｎｅ２とし、各イベント配列には属性として［ｔｉｍｅ，ｃｈａｎｎｅｌ，ｎｏｔｅ−ｎｕｍｂｅｒ，ｖｅｌｏｃｉｔｙ］の４つの値をもつものとする。例えば、Ｅｖｅｎｔ１[]のｔｉｍｅ属性をＥｖｅｎｔ１[]．ｔｉｍｅと表記する。ｔｉｍｅにはノートイベントの絶対値を与え、ＭＩＤＩ規格準拠のＳＭＦ形式（Ｓｔａｎｄａｒｄ ＭＩＤＩ Ｆｉｌｅ）で使用されるデルタタイムという相対時刻で指示される値を先頭時刻からの累積値に変換する。絶対時刻の単位は、デルタタイムと同様にユーザ指定の整数値である。ｃｈａｎｎｅｌはＭＩＤＩ規格上０〜１５の値をとり得るが、Ｅｖｅｎｔ１[]は０、Ｅｖｅｎｔ２[]は１とする。ｎｏｔｅ−ｎｕｍｂｅｒとｖｅｌｏｃｉｔｙは０〜１２７の値をとり、ノートオンの場合は、ｖｅｌｏｃｉｔｙとして１以上の値を与え、ノートオフの場合は、ｖｅｌｏｃｉｔｙとして０を与える。
At the time of integration, the
そして、統合先とする配列ＥｖｅｎｔＷ[]を用意する。さらに、Ｅｖｅｎｔ１[]、Ｅｖｅｎｔ２[]、ＥｖｅｎｔＷ[]へのポインタをｐ１、ｐ２、ｐｗとし、初期状態ではｐ１＝ｐ２＝ｐｗ＝０と設定する。ＥｖｅｎｔＷ[]の総ノートイベント数をＮｗとすると、Ｎｗ＝Ｎｅ１＋Ｎｅ２となる。 Then, an array EventW [] as an integration destination is prepared. Further, the pointers to Event1 [], Event2 [], and EventW [] are p1, p2, and pw, and p1 = p2 = pw = 0 is set in the initial state. When the total number of note events of EventW [] is Nw, Nw = Ne1 + Ne2.
＜ＭＩＤＩデータ統合＞
配列の準備ができたら、演算処理部１２はＭＩＤＩデータ統合処理を開始する。 Ｓ１におけるＭＩＤＩデータ統合処理の詳細を図３のフローチャートを用いて説明する。まず、演算処理部１２は、ポインタｐ２が総ノートイベント数Ｎｅ２より小さいかどうかを判断する（Ｓ１０１）。後述するように、ｐ２は配列Ｅｖｅｎｔ２[]内のノートイベントが処理される度に１加算されるため、ｐ２がＮｅ２より小さいことは未処理のノートイベントが配列Ｅｖｅｎｔ２[]内に残っていることを意味する。すなわち、Ｓ１０１では、配列Ｅｖｅｎｔ２[]内のノートイベントの処理を終えたかどうかを判断している。
<MIDI data integration>
When the array is ready, the
ポインタｐ２が総ノートイベント数Ｎｅ２より小さい場合は、Ｅｖｅｎｔ２[ｐ２]．ｔｉｍｅがＥｖｅｎｔ１[ｐ１]．ｔｉｍｅより小さいかどうかを判断する（Ｓ１０２）。これは、ポインタｐ２で特定されるＥｖｅｎｔ２[ｐ２]内のノートイベントの絶対時刻がポインタｐ１で特定されるＥｖｅｎｔ１[ｐ１]内のノートイベントの絶対時刻よりも早いかどうかを判断している。そして、Ｅｖｅｎｔ２[ｐ２]．ｔｉｍｅがＥｖｅｎｔ１[ｐ１]．ｔｉｍｅより小さい場合は、Ｅｖｅｎｔ２[ｐ２]についての処理を行い（Ｓ１０３）、Ｅｖｅｎｔ２[ｐ２]．ｔｉｍｅがＥｖｅｎｔ１[ｐ１]．ｔｉｍｅ以上の場合は、Ｅｖｅｎｔ１[ｐ１]についての処理を行う（Ｓ１０５）。なお、Ｓ１０１において、ポインタｐ２が総ノートイベント数Ｎｅ２以上である場合は、配列Ｅｖｅｎｔ２[]内のノートイベントの処理を全て終えたことを意味するので、この場合にも、Ｓ１０５に進んで、Ｅｖｅｎｔ１[ｐ１]についての処理を行う。 If the pointer p2 is smaller than the total number of note events Ne2, Event2 [p2]. time is Event1 [p1]. It is determined whether it is smaller than time (S102). This determines whether the absolute time of the note event in Event2 [p2] specified by the pointer p2 is earlier than the absolute time of the note event in Event1 [p1] specified by the pointer p1. And Event2 [p2]. time is Event1 [p1]. If it is smaller than time, the process for Event2 [p2] is performed (S103), and Event2 [p2]. time is Event1 [p1]. If it is not less than time, the process for Event1 [p1] is performed (S105). In S101, if the pointer p2 is equal to or greater than the total number of note events Ne2, this means that all the processing of note events in the array Event2 [] has been completed. In this case as well, the process proceeds to S105, where Event1 The process for [p1] is performed.
Ｓ１０３のＥｖｅｎｔ２[ｐ２]についての処理では、演算処理部１２は、以下の〔数式１〕に従った処理を実行する。
In the process for Event2 [p2] in S103, the
〔数式１〕
ＥｖｅｎｔＷ[ｐｗ]．ｔｉｍｅ←Ｅｖｅｎｔ２[ｐ２]．ｔｉｍｅ
ＥｖｅｎｔＷ[ｐｗ]．ｃｈａｎｎｅｌ←１
ＥｖｅｎｔＷ[ｐｗ]．ｎｏｔｅ−ｎｕｍｂｅｒ←Ｅｖｅｎｔ２[ｐ２]．ｎｏｔｅ−ｎｕｍｂｅｒ
ＥｖｅｎｔＷ[ｐｗ]．ｖｅｌｏｃｉｔｙ←Ｅｖｅｎｔ２[ｐ２]．ｖｅｌｏｃｉｔｙ
ｐｗ←ｐｗ＋１
ｐ２←ｐ２＋１
[Formula 1]
EventW [pw]. time ← Event2 [p2]. time
EventW [pw]. channel ← 1
EventW [pw]. note-number ← Event2 [p2]. note-number
EventW [pw]. velocity ← Event2 [p2]. velocity
pw ← pw + 1
p2
上記〔数式１〕の６つの式のうち、第１式、第３式、第４式では、Ｅｖｅｎｔ２[ｐ２]のノートイベントのｔｉｍｅ、ｎｏｔｅ−ｎｕｍｂｅｒ、ｖｅｌｏｃｉｔｙをＥｖｅｎｔＷ[ｐｗ]のノートイベントのｔｉｍｅ、ｎｏｔｅ−ｎｕｍｂｅｒ、ｖｅｌｏｃｉｔｙとして与えている。また、第２式では、ＥｖｅｎｔＷ[ｐｗ]のノートイベントのｃｈａｎｎｅｌを１に設定している。この４つの式により、ＭＩＤＩデータＭ２に存在していたノートイベントが、統合ＭＩＤＩデータのチャンネル１のノートイベントとして移行されたことになる。第５式、第６式は、ポインタの加算である。
Of the above six expressions of [Formula 1], in the first expression, the third expression, and the fourth expression, the time, note-number, and velocity of the event event of Event2 [p2] are set to the time of the note event of EventW [pw]. , Note-number, and velocity. In the second equation, the channel of the note event of EventW [pw] is set to 1. According to these four formulas, the note event existing in the MIDI data M2 is transferred as the
Ｓ１０５のＥｖｅｎｔ１[ｐ１]についての処理では、演算処理部１２は、以下の〔数式２〕に従った処理を実行する。
In the process for Event1 [p1] in S105, the
〔数式２〕
ＥｖｅｎｔＷ[ｐｗ]．ｔｉｍｅ←Ｅｖｅｎｔ１[ｐ１]．ｔｉｍｅ
ＥｖｅｎｔＷ[ｐｗ]．ｃｈａｎｎｅｌ←０
ＥｖｅｎｔＷ[ｐｗ]．ｎｏｔｅ−ｎｕｍｂｅｒ←Ｅｖｅｎｔ１[ｐ１]．ｎｏｔｅ−ｎｕｍｂｅｒ
ＥｖｅｎｔＷ[ｐｗ]．ｖｅｌｏｃｉｔｙ←Ｅｖｅｎｔ１[ｐ１]．ｖｅｌｏｃｉｔｙ
ｐｗ←ｐｗ＋１
ｐ１←ｐ１＋１
[Formula 2]
EventW [pw]. time ← Event1 [p1]. time
EventW [pw]. channel ← 0
EventW [pw]. note-number ← Event1 [p1]. note-number
EventW [pw]. velocity ← Event1 [p1]. velocity
pw ← pw + 1
p1
上記〔数式２〕は、上記〔数式１〕におけるＥｖｅｎｔ２[ｐ２]の代わりにＥｖｅｎｔ１[ｐ１]が用いられており、ｃｈａｎｎｅｌが０に設定されている。上記〔数式２〕では、第１式〜第４式により、ＭＩＤＩデータＭ１に存在していたノートイベントが、統合ＭＩＤＩデータのチャンネル０のノートイベントとして移行されたことになる。第５式、第６式は、ポインタの加算である。
In the above [Equation 2], Event1 [p1] is used instead of Event2 [p2] in [Equation 1], and channel is set to 0. In the above [Expression 2], the note event existing in the MIDI data M1 is transferred as the note event of
Ｓ１０５におけるＥｖｅｎｔ１[ｐ１]についての処理後は、ポインタｐ１が総ノートイベント数Ｎｅ１より小さいかどうかを判断する（Ｓ１０６）。判断の結果、ポインタｐ１が総ノートイベント数Ｎｅ１より小さい場合は、Ｓ１０１に戻る。逆に、ポインタｐ１が総ノートイベント数Ｎｅ１以上の場合は、配列Ｅｖｅｎｔ１[ｐ１]内のノートイベントの処理を全て終えたことを意味するので、Ｓ１０３に進んで、Ｅｖｅｎｔ２[ｐ２]についての処理を行う。 After the processing for Event1 [p1] in S105, it is determined whether or not the pointer p1 is smaller than the total number of note events Ne1 (S106). As a result of the determination, if the pointer p1 is smaller than the total number of note events Ne1, the process returns to S101. Conversely, if the pointer p1 is greater than or equal to the total number of note events Ne1, this means that all the note event processing in the array Event1 [p1] has been completed, and thus the process proceeds to S103 and processing for Event2 [p2] is performed. Do.
Ｓ１０３におけるＥｖｅｎｔ２[ｐ２]についての処理後は、ポインタｐ２が総ノートイベント数Ｎｅ２より小さいかどうかを判断する（Ｓ１０４）。判断の結果、ポインタｐ２が総ノートイベント数Ｎｅ２より小さい場合は、Ｓ１０３に戻って、Ｅｖｅｎｔ２[ｐ２]についての処理を行う。逆に、ポインタｐ２が総ノートイベント数Ｎｅ２以上の場合は、配列Ｅｖｅｎｔ２[ｐ２]内のノートイベントの処理を全て終えたことを意味するので、統合処理を終了する。 After the process for Event2 [p2] in S103, it is determined whether the pointer p2 is smaller than the total number of note events Ne2 (S104). As a result of the determination, if the pointer p2 is smaller than the total number of note events Ne2, the process returns to S103 and the process for Event2 [p2] is performed. On the other hand, if the pointer p2 is equal to or greater than the total number of note events Ne2, it means that all the note event processing in the array Event2 [p2] has been completed, so the integration processing is terminated.
＜重複ノートオン区間の演算処理＞
統合処理が終了したら、演算処理部１２は、重複ノートオン区間演算処理を実行する（図２のＳ２）。ノートオン区間（発音区間）とは、ノートオンのイベントデータとそれに対応する同一ノートナンバーをもつノートオフの２つのイベントデータの対で構成される区間である。また、重複ノートオン区間とは、他方のチャンネルのノートオン区間と時間的に全てまたは一部が重複するノートオン区間である。上記Ｓ１の統合処理の結果、ＥｖｅｎｔＷ[]は、２チャンネルのＭＩＤＩイベントで構成されることになり、これに対して、単一チャンネルのＭＩＤＩイベント配列ＥｖｅｎｔＳ[]に変換する処理を行う。ただし、ＥｖｅｎｔＷ[]は、同一時間に同一ノートナンバーのノートオン区間が重複してしまう可能性がある。重複ノートオン区間演算処理では、ノートオン区間が重複する部分について強度値（ベロシティ）の演算を行い、１つのチャンネルに統一することにより、単一チャンネルのＭＩＤＩイベント配列ＥｖｅｎｔＳ[]に変換する。
<Calculation processing of overlapping note-on section>
When the integration process ends, the
ここで、重複ノートオン区間演算処理の概要を図４〜図６を用いて説明する。本実施形態では、重複ノートオン区間演算処理として、差分処理、低強度選択処理、加算処理の３つを行っている。図４、図５、図６は、それぞれ差分処理、低強度選択処理、加算処理の様子を示している。まず、差分処理について、図４を用いて説明する。図４（ａ）は２つのＭＩＤＩデータ統合後の１つの２チャンネルＭＩＤＩデータを示し、図４（ｂ）は重複ノートオン区間差分処理後の１チャンネルＭＩＤＩデータを示している。説明の便宜上、図４においては、１つのノートナンバーについてだけ示している。また、各矩形は、左端がノートオンイベントの時刻、右端がノートオフイベントの時刻であり、左右方向の幅がノートオン区間を示している。また、各矩形の上下方向がベロシティを示している。図４（ａ）の例では、全てのノートオン区間が他方のチャンネルのノートオン区間と時間的に全てまたは一部が重複しているため、全てが重複ノートオン区間である。また、ノートオン区間０２のように、その一部が他方のチャンネルのノートオン区間１２と重複している場合は、重複している区間を重複区間、重複していない区間を非重複区間と呼ぶことにする。
Here, an outline of the overlap note-on interval calculation process will be described with reference to FIGS. In the present embodiment, three processes of the difference note, the low intensity selection process, and the addition process are performed as the overlapping note-on interval calculation process. 4, 5, and 6 illustrate a difference process, a low intensity selection process, and an addition process, respectively. First, the difference process will be described with reference to FIG. FIG. 4A shows one 2-channel MIDI data after the integration of two MIDI data, and FIG. 4B shows one-channel MIDI data after overlapping note-on section difference processing. For convenience of explanation, FIG. 4 shows only one note number. In each rectangle, the left end is the note-on event time, the right end is the note-off event time, and the horizontal width indicates the note-on interval. Also, the vertical direction of each rectangle indicates the velocity. In the example of FIG. 4A, all the note-on intervals overlap all or part of the note-on interval of the other channel in time, so that all are overlap note-on intervals. Further, when a part of the channel overlaps with the note-on
図４（ａ）の例では、チャンネル０(図中、ｃｈ：０で示す。)のノートオン区間０１とチャンネル１(図中、Ｃｈ：１で示す。)のノートオン区間１１が重複しているため、差分演算処理が行われ、図４（ｂ）に示すように、チャンネル０に新ノートオン区間が得られる。新ノートオン区間のベロシティは、ノートオン区間０１のベロシティとノートオン区間１１のベロシティの差分となる。ノートオン区間０１とノートオン区間１１は、ノートオンイベントの時刻、ノートオフイベントの時刻が同一であり、ノートオン区間が完全に重複しているため、差分演算処理後の新ノートオン区間のノートオンイベントの時刻、ノートオフイベントの時刻は、ノートオン区間０１、ノートオン区間１１と同一となる。
In the example of FIG. 4A, the note-on
ノートオン区間０２とノートオン区間１２のように一部が重複している場合、重複している一部についてだけ、差分演算処理が行われる。ノートオン区間０２とノートオン区間１２のベロシティは同じであるので、ノートオン区間０２とノートオン区間１２が重複している区間については、ノートオン区間が存在しなくなる。また、ノートオン区間０２には、チャンネル１のノートオン区間と重複していない部分があるので、重複していない部分については、チャンネル０に新ノートオン区間が得られる。新ノートオン区間のベロシティは、ノートオン区間０２のベロシティがそのまま与えられる。また、新ノートオン区間のノートオン時刻は、ノートオン区間１２のノートオフ時刻が与えられ、新ノートオン区間のノートオフ時刻は、ノートオン区間０２のノートオフ時刻がそのまま与えられる。
When a part overlaps like the note-on
次に、低強度選択処理について、図５を用いて説明する。図５（ａ）は２つのＭＩＤＩデータ統合後の１つの２チャンネルＭＩＤＩデータを示しており、図４（ａ）と全く同一である。図５（ｂ）は重複ノートオン区間低強度選択処理後の１チャンネルＭＩＤＩデータを示している。説明の便宜上、図５においても、１つのノートナンバーについてだけ示している。また、各矩形は、左端がノートオンイベントの時刻、右端がノートオフイベントの時刻であり、左右方向の幅がノートオン区間を示している。また、各矩形の上下方向がベロシティを示している。 Next, the low intensity selection process will be described with reference to FIG. FIG. 5A shows one 2-channel MIDI data after the integration of two MIDI data, and is exactly the same as FIG. 4A. FIG. 5B shows 1-channel MIDI data after the overlap note-on section low-intensity selection process. For convenience of explanation, FIG. 5 also shows only one note number. In each rectangle, the left end is the note-on event time, the right end is the note-off event time, and the horizontal width indicates the note-on interval. Also, the vertical direction of each rectangle indicates the velocity.
図５（ａ）の例では、チャンネル０(図中、ｃｈ：０で示す。)のノートオン区間０１とチャンネル１(図中、Ｃｈ：１で示す。)のノートオン区間１１が重複しているため、低強度選択処理が行われ、図５（ｂ）に示すように、チャンネル０に新ノートオン区間が得られる。新ノートオン区間のベロシティは、ノートオン区間０１のベロシティとノートオン区間１１のベロシティのうち低強度のものを選択する。図５（ａ）の例では、ノートオン区間０１のベロシティの方がノートオン区間１１のベロシティよりも小さい（低強度）ため、新ノートオン区間のベロシティとして、ノートオン区間０１のベロシティが選択される。ノートオン区間０１とノートオン区間１１は、ノートオンイベントの時刻、ノートオフイベントの時刻が同一であり、ノートオン区間が完全に重複しているため、差分演算処理後の新ノートオン区間のノートオンイベントの時刻、ノートオフイベントの時刻は、ノートオン区間０１、ノートオン区間１１と同一となる。
In the example of FIG. 5A, the note-on
ノートオン区間０２とノートオン区間１２のように一部が重複している場合、重複している部分、重複していない部分それぞれについて、低強度選択処理が行われる。ノートオン区間０２とノートオン区間１２のベロシティは同一であるので、ノートオン区間０２とノートオン区間１２が重複している区間については、どちらのベロシティを選択しても同じであるため、新ノートオン区間のベロシティとして、ノートオン区間０２、ノートオン区間１２と同一のベロシティが与えられる。図においては、便宜上新ノートオン区間を０２で示す。新ノートオン区間０２のノートオン時刻は、ノートオン区間０２のノートオン時刻がそのまま与えられ、新ノートオフ区間０２のノートオフ時刻は、ノートオン区間１２のノートオフ時刻が与えられる。また、ノートオン区間０２には、チャンネル１のノートオン区間と重複していない部分があるが、強度選択処理において重複していない部分については、他方のノートオン区間のベロシティが０であるとみなして、当該区間のベロシティを一律に０に変更する。即ち重複していない区間は削除する。
When a part overlaps like the note-on
次に、加算処理について、図６を用いて説明する。図６（ａ）は２つのＭＩＤＩデータ統合後の１つの２チャンネルＭＩＤＩデータを示しており、図４（ａ）図５（ａ）と全く同一である。図６（ｂ）は重複ノートオン区間加算処理後の１チャンネルＭＩＤＩデータを示している。説明の便宜上、図６においても、１つのノートナンバーについてだけ示している。また、各矩形は、左端がノートオンイベントの時刻、右端がノートオフイベントの時刻であり、左右方向の幅がノートオン区間を示している。また、各矩形の上下方向がベロシティを示している。 Next, the addition process will be described with reference to FIG. FIG. 6 (a) shows one 2-channel MIDI data after the integration of two MIDI data, and is exactly the same as FIG. 4 (a) and FIG. 5 (a). FIG. 6B shows the 1-channel MIDI data after the overlap note-on interval addition process. For convenience of explanation, FIG. 6 also shows only one note number. In each rectangle, the left end is the note-on event time, the right end is the note-off event time, and the horizontal width indicates the note-on interval. Also, the vertical direction of each rectangle indicates the velocity.
図６（ａ）の例では、チャンネル０(図中、ｃｈ：０で示す。)のノートオン区間０１とチャンネル１(図中、Ｃｈ：１で示す。)のノートオン区間１１が重複しているため、加算処理が行われ、図６（ｂ）に示すように、チャンネル０に新ノートオン区間が得られる。新ノートオン区間のベロシティは、ノートオン区間０１のベロシティとノートオン区間１１のベロシティを加算したものとなる。ただし、加算後のベロシティの値が上限値１２７を越える場合は、１２７に設定する。ノートオン区間０１とノートオン区間１１は、ノートオンイベントの時刻、ノートオフイベントの時刻が同一であり、ノートオン区間が完全に重複しているため、差分演算処理後の新ノートオン区間のノートオンイベントの時刻、ノートオフイベントの時刻は、ノートオン区間０１、ノートオン区間１１と同一となる。
In the example of FIG. 6A, the note-on
ノートオン区間０２とノートオン区間１２のように一部が重複している場合、重複している部分、重複していない部分それぞれについて、加算処理が行われる。重複している部分については、ノートオン区間０２とノートオン区間１２のベロシティを加算したものが、新ノートオン区間のベロシティとして与えられる。図においては、便宜上新ノートオン区間を０２＋１２で示す。同様に、加算後のベロシティの値が上限値１２７を越える場合は、１２７に設定する。また、ノートオン区間０２には、チャンネル１のノートオン区間と重複していない部分があるので、重複していない部分については、当該区間の他方のベロシティが０であるとみなして、新ノートオン区間０２のベロシティとして、ノートオン区間０２のベロシティがそのまま与えられる。新ノートオン区間０２＋１２のノートオン時刻は、ノートオン区間０２、１２のノートオン時刻が与えられ、新ノートオン区間０２＋１２のノートオフ時刻は、ノートオフ区間１２のノートオフ時刻が与えられる。新ノートオン区間０２のノートオン時刻は、ノートオン区間１２のノートオフ時刻が与えられ、新ノートオン区間０２のノートオフ時刻は、ノートオン区間０２のノートオフ時刻がそのまま与えられる。
When a part overlaps like the note-on
Ｓ２の重複ノートオン区間演算処理に際して、演算処理部１２は、ＥｖｅｎｔＷ[]、ＥｖｅｎｔＳ[]の各配列へのポインタをｐｗ、ｐｓとし、初期状態ではｐｗ＝ｐｓ＝０に設定する。また、ＥｖｅｎｔＳ[]のＣｈａｎｎｅｌ値は全て０に設定する。さらに、演算処理部１２は、０〜１２７のノートナンバーに対応してノートオン時にＭＩＤＩイベント配列へのポインタを格納するノートオンテーブルをＥｖｅｎｔＷ[]のチャンネル０とチャンネル１に対応してｔａｂｌｅＷ[０，]、ｔａｂｌｅＷ[１，]を定義し、ＥｖｅｎｔＳ[]に対応してｔａｂｌｅＳ[]を定義する。そして、ｔａｂｌｅＷ[０，]、ｔａｂｌｅＷ[１，]、ｔａｂｌｅＳ[]の全ての初期値を−１に設定する。また、生成されるＭＩＤＩイベント配列ＥｖｅｎｔＳ[]の総ノートイベント数をＮｓとする。
In the overlap note-on interval calculation process of S2, the
配列の準備ができたら、演算処理部１２は、重複ノートオン区間演算処理を開始する。この重複ノートオン区間演算処理の詳細を図７のフローチャートを用いて説明する。まず、図７のＳ２０１で演算処理部１２は、ポインタｐｗで特定されるＥｖｅｎｔＷ[]を用いて、以下の〔数式３〕に従った処理を実行し、処理対象のノートナンバーｎｎ、ベロシティｖｅｌ、処理チャンネルｃｈを設定する。
When the arrangement is ready, the
〔数式３〕
ｎｎ←ＥｖｅｎｔＷ[ｐｗ]．ｎｏｔｅ−ｎｕｍｂｅｒ
ｖｅｌ←ＥｖｅｎｔＷ[ｐｗ]．ｖｅｌｏｃｉｔｙ
ｃｈ←ＥｖｅｎｔＷ[ｐｗ]．ｃｈａｎｎｅｌ
[Formula 3]
nn ← EventW [pw]. note-number
vel ← EventW [pw]. velocity
ch ← EventW [pw]. channel
続いて、他チャンネルの状態確認としてチャンネル０のノートナンバーｎｎがノートオンになっているか否か、即ちｔａｂｌｅＷ[１−ｃｈ，ｎｎ]が０以上であるかどうかの確認を行う（Ｓ２０２）。すなわち、他方のチャンネル１−ｃｈに同一ノートナンバーのノートオンになっているイベントが存在するかどうかの判断を行う。ｔａｂｌｅＷ[１−ｃｈ，ｎｎ]が０以上である場合は、同一ノートナンバーｎｎのノートオンイベントが少なくとも他方のチャンネル側に存在していることになるので、強制的にノートオフイベントを発行してノートオン区間を中断させる処理を行う（Ｓ２０３）。
Subsequently, as a confirmation of the status of the other channel, it is confirmed whether or not the note number nn of
具体的には、ｔａｂｌｅＳ[ｎｎ]が０以上であるかどうかを判断し、ｔａｂｌｅＳ[ｎｎ]が０以上である場合は、演算処理部１２は、以下の〔数式４〕に従った処理を実行する。
Specifically, it is determined whether or not tableS [nn] is equal to or greater than 0. If tableS [nn] is equal to or greater than 0, the
〔数式４〕
ＥｖｅｎｔＳ[ｐｓ]．ｔｉｍｅ←ＥｖｅｎｔＷ[ｐｗ]．ｔｉｍｅ
ＥｖｅｎｔＳ[ｐｓ]．ｃｈａｎｎｅｌ←０
ＥｖｅｎｔＳ[ｐｓ]．ｎｏｔｅ−ｎｕｍｂｅｒ←ｎｎ
ＥｖｅｎｔＳ[ｐｓ]．ｖｅｌｏｃｉｔｙ←０
ｔａｂｌｅＳ[ｎｎ]←−１
ｐｓ←ｐｓ＋１
[Formula 4]
EventS [ps]. time ← EventW [pw]. time
EventS [ps]. channel ← 0
EventS [ps]. note-number ← nn
EventS [ps]. Velocity ← 0
tableS [nn] ← −1
ps ←
上記〔数式４〕の６つの式のうち、第１式、第３式では、ＥｖｅｎｔＷ[ｐｗ]のノートイベントのｔｉｍｅ、ｎｏｔｅ−ｎｕｍｂｅｒをＥｖｅｎｔＳ[ｐｓ]のノートイベントのｔｉｍｅ、ｎｏｔｅ−ｎｕｍｂｅｒとして与えている。第２式では、ＥｖｅｎｔＳ[ｐｓ]のノートイベントのｃｈａｎｎｅｌを０に設定している。ＥｖｅｎｔＳ[]内のノートイベントは１つのチャンネルに納められるため、全てチャンネル０に設定される。第４式では、ＥｖｅｎｔＳ[ｐｓ]のノートイベントのｖｅｌｏｃｉｔｙを０に設定している。これは、ノートオフイベントであることを示すものである。この４つの式により、ＥｖｅｎｔＳ[]内に強制的にノートオフが設定される。これにより、概念上は、他方のチャンネルの同一ナンバーのノートオン区間（非重複区間）が終了し、他方のチャンネルの同一ノートナンバーのノートオンまたはノートオフイベントと合わせて重複区間が開始されることになる。（この段階では、２つのチャンネルが当該ノートナンバーで時間的にどのように重複するかがわからない）。第５式は、ノートナンバーｎｎについてのノートオン区間が終了したことを示すための処理である。第６式は、ポインタの加算である。
Of the above six formulas of [Formula 4], in the first and third formulas, eventW [pw] note event time and note-number are given as EventS [ps] note event time and note-number. ing. In the second equation, the channel of the note event of EventS [ps] is set to 0. Since note events in EventS [] are stored in one channel, all are set to
〔数式４〕に従った処理を実行したら、演算処理部１２は、処理対象のチャンネルｃｈのノートイベントがノートオンかノートオフかを確認する。即ち、ｖｅｌが０より大きいかどうかを確認する（Ｓ２０４）。なお、Ｓ２０３において、ｔａｂｌｅＳ[ｎｎ]が０より小さい場合は他方のチャンネルの同一ナンバーのノートオン区間（非重複区間）は既に終了しているので、〔数式４〕に従った処理を実行せずにＳ２０４に進む。Ｓ２０４において、ｖｅｌが０より大きいと判断された場合には、２つのチャンネルが当該ノートイベントを起点に時間的に重複する区間が開始されると判断され、演算処理部１２は、以下の〔数式５ａ〕〔数式５ｂ〕〔数式５ｃ〕のいずれかに従った重複区間のベロシティ演算処理を実行する（Ｓ２０５）。具体的には、差分処理の場合は〔数式５ａ〕、低強度選択処理の場合は〔数式５ｂ〕、加算処理の場合は〔数式５ｃ〕に従った処理を実行する。
When the processing according to [Formula 4] is executed, the
〔数式５ａ〕
ｖｅｌ←｜ｖｅｌ−ＥｖｅｎｔＷ［ｔａｂｌｅＷ［１−ｃｈ，ｎｎ］］．ｖｅｌｏｃｉｔｙ｜
ｔａｂｌｅＷ［ｃｈ，ｎｎ］←ｐｗ
[Formula 5a]
vel ← | vel-EventW [tableW [1-ch, nn]]. velocity |
tableW [ch, nn] ← pw
上記〔数式５ａ〕の２つの式のうち、第１式では、他方のチャンネルの同一ノートナンバーのノートイベントとのベロシティの差分を演算し、その差分をｖｅｌとしている。この第１式により重複区間の差分演算処理が行われたことになる。なお、この結果である差分ｖｅｌが０の場合は、ノートオフを示す０と区別するため、ｖｅｌ←−１とする処理を行う。第２式は、処理したノートナンバーが処理チャンネルのノートオン区間に入り、ＥｖｅｎｔＷ[]において何番目のノートイベントでオンになったかを特定する処理である。 Of the two equations in [Formula 5a], in the first equation, the velocity difference from the note event of the same note number of the other channel is calculated, and the difference is vel. The difference calculation process of the overlapping section is performed by the first expression. When the difference vel, which is the result, is 0, a process of vel ← −1 is performed in order to distinguish it from 0 indicating note-off. The second equation is a process for specifying the note event in which the processed note number enters the note-on section of the processing channel and is turned on in EventW [].
〔数式５ｂ〕
ｖｅｌ＞ＥｖｅｎｔＷ［ｔａｂｌｅＷ［１−ｃｈ，ｎｎ］］．ｖｅｌｏｃｉｔｙの場合
ｖｅｌ←ＥｖｅｎｔＷ［ｔａｂｌｅＷ［１−ｃｈ，ｎｎ］］．ｖｅｌｏｃｉｔｙ
常にｔａｂｌｅＷ［ｃｈ，ｎｎ］←ｐｗ
[Formula 5b]
vel> EventW [tableW [1-ch, nn]]. In the case of velocities: vel ← EventW [tableW [1-ch, nn]]. velocity
Always tableW [ch, nn] ← pw
上記〔数式５ｂ〕の２つの式のうち、第１式では、他方のチャンネルの同一ノートナンバーのノートイベントとベロシティを比較し、他方のチャンネルのベロシティが小さい場合に限り、ｖｅｌに他方のチャンネルのベロシティを与えている。この第１式により他方のチャンネルと処理チャンネルのうち、低強度の方の値がベロシティとして選択されることになる。第２式は、上記〔数式５ａ〕の第２式と同一であり、他方のチャンネルと処理チャンネルのベロシティの大小に係らず、常に実行される。 Of the two formulas in [Formula 5b], in the first formula, the note event of the same note number of the other channel is compared with the velocity, and only when the velocity of the other channel is small, vel is the other channel. Gives velocity. According to the first equation, the value of the lower intensity of the other channel and the processing channel is selected as the velocity. The second equation is the same as the second equation in [Expression 5a], and is always executed regardless of the velocity of the other channel and the processing channel.
〔数式５ｃ〕
ｖｅｌ←ｖｅｌ＋ＥｖｅｎｔＷ［ｔａｂｌｅＷ［１−ｃｈ，ｎｎ］］．ｖｅｌｏｃｉｔｙ
ｔａｂｌｅＷ［ｃｈ，ｎｎ］←ｐｗ
[Formula 5c]
vel ← vel + EventW [tableW [1-ch, nn]]. velocity
tableW [ch, nn] ← pw
上記〔数式５ｃ〕の２つの式のうち、第１式では、他方のチャンネルの同一ノートナンバーのノートイベントとのベロシティを加算し、その結果をｖｅｌとしている。この第１式により重複区間の加算演算処理が行われたことになる。なお、この結果である和ｖｅｌが１２７より大きい場合は、ｖｅｌ←１２７とする処理を行う。第２式は、〔数式５ａ〕〔数式５ｂ〕の第２式と同一であり、処理したノートナンバーが処理チャンネルのノートオン区間に入り、ＥｖｅｎｔＷ[]において何番目のノートイベントでオンになったかを特定する処理である。 Of the two formulas in [Formula 5c], in the first formula, the velocity with the note event of the same note number of the other channel is added, and the result is vel. The addition calculation process of the overlapping section is performed by the first expression. Note that if the resulting sum vel is greater than 127, the process of vel ← 127 is performed. The second equation is the same as the second equation in [Equation 5a] and [Equation 5b], and the processed note number enters the note-on section of the processing channel, and at which note event it is turned on in EventW []. Is the process of identifying
Ｓ２０４において、ｖｅｌ＝０であると判断された場合には、２つのチャンネルで時間的に重複していた区間の一方のチャンネルｃｈのノートイベントが終了すると判断され、演算処理部１２は、以下の〔数式６ａ〕〔数式６ｂ〕のいずれかに従った重複区間の終了処理を実行する（Ｓ２０６）。具体的には、低強度選択処理の場合は〔数式６ａ〕、差分処理、加算処理の場合は〔数式６ｂ〕に従った処理を実行する。 In S204, when it is determined that vel = 0, it is determined that the note event of one channel ch in the section that overlapped in time in the two channels is ended, and the arithmetic processing unit 12 [Equation 6a] [Equation 6b] In accordance with one of [Equation 6b], an overlapping section end process is executed (S206). Specifically, the process according to [Formula 6a] is executed in the case of the low intensity selection process, the process according to [Formula 6b] is executed in the case of the difference process and the addition process.
〔数式６ａ〕
ｖｅｌ←−１
[Formula 6a]
vel ← -1
処理チャンネルのノートイベントはノートオフになり、ここで重複区間が終了し、非重複区間が開始されるが、低強度選択処理の場合は非重複区間のベロシティは一律０に設定される。ただし、ノートオフを示すベロシティ０とベロシティ０をもつノートオン区間とを区別するため、ｖｅｌに−１を与える。
The note event of the processing channel becomes note-off, where the overlapping section ends and the non-overlapping section starts, but in the low-intensity selection process, the velocity of the non-overlapping section is uniformly set to zero. However, in order to distinguish between a
〔数式６ｂ〕
ｖｅｌ←ＥｖｅｎｔＷ［ｔａｂｌｅＷ［１−ｃｈ，ｎｎ］］．ｖｅｌｏｃｉｔｙ
ｔａｂｌｅＷ［ｃｈ，ｎｎ］←−１
[Formula 6b]
vel <-EventW [tableW [1-ch, nn]]. velocity
tableW [ch, nn] ← −1
処理チャンネルのノートイベントはノートオフになり、ここで重複区間が終了し、他方のチャンネルのみの非重複区間が開始される。上記〔数式６ｂ〕の第１式では、開始される非重複区間のベロシティとして、既にノートオンになっている他方のチャンネルのノートイベントのベロシティをｖｅｌに与える。第２式は、処理チャンネルにおけるノートナンバーｎｎについてノートオン区間が終了したことを示すための処理である。 The note event of the processing channel becomes note-off, where the overlapping section ends and the non-overlapping section of only the other channel starts. In the first equation of [Formula 6b], the velocity of the note event of the other channel that has already been turned on is given to vel as the velocity of the non-overlapping interval to be started. The second equation is a process for indicating that the note-on section has ended for the note number nn in the processing channel.
一方、Ｓ２０２において、他方のチャンネルがノートオフ、即ちｔａｂｌｅＷ[１−ｃｈ，ｎｎ]が０より小さい場合は、同一ノートナンバーで他方のチャンネル側はノートオフ状態ではなく処理チャンネル側がノートオンになってもノートオフになっても重複することはないため、非重複区間の開始処理に進む（Ｓ２０７）。Ｓ２０７では、Ｓ２０４と同様な確認を行い、ｖｅｌ＞０（ノートオン状態）の場合、演算処理部１２は、ｔａｂｌｅＷ[ｃｈ，ｎｎ]←ｐｗとし、ｖｅｌ＝０（ノートオフ状態）の場合、ｔａｂｌｅＷ[ｃｈ，ｎｎ]←−１とする処理を実行する。低強度選択処理の場合は、さらに、ｖｅｌ＞０であれば、ｖｅｌ←−１とする処理を実行する。
On the other hand, if the other channel is note-off in S202, that is, if tableW [1-ch, nn] is less than 0, the other channel side is not in the note-off state with the same note number, and the processing channel side is note-on. Since no overlap occurs even when the note is turned off, the process proceeds to a start process of a non-overlapping section (S207). In S207, the same confirmation as in S204 is performed. When vel> 0 (note-on state), the
処理チャンネルに対して、Ｓ２０５、Ｓ２０６、Ｓ２０７のいずれの処理が終了した場合には、出力ノートイベントの書き込みの処理を実行する（Ｓ２１４）。Ｓ２１４では、まず、ｔａｂｌｅＳ[ｎｎ]＝−１かつｖｅｌ＞０、またはｔａｂｌｅＳ[ｎｎ] ＞０かつｖｅｌ＝０の場合、以下の〔数式７〕に従った処理を実行し、出力用の配列ＥｖｅｎｔＳ[]にノートオンイベントまたはノートオフイベントを生成する。ここで、条件となるｔａｂｌｅＳ[ｎｎ]＝−１かつｖｅｌ＞０は、そのノートナンバーｎｎがノートオフ状態であって、現在処理中のノートイベントが、ノートオンイベントであることを示している。また、もう一方の条件であるｔａｂｌｅＳ[ｎｎ] ＞０かつｖｅｌ＝０は、既にそのノートナンバーｎｎがノートオン状態であって、現在処理中のノートイベントが、ノートオフイベントであることを示している。 When any process of S205, S206, and S207 is completed for the processing channel, an output note event writing process is executed (S214). In S214, first, if tableS [nn] = − 1 and vel> 0, or tableS [nn]> 0 and vel = 0, the processing according to the following [Equation 7] is executed, and the output array EventS Generate note-on event or note-off event in []. Here, the condition tableS [nn] = − 1 and vel> 0 indicates that the note number nn is in the note-off state, and the note event currently being processed is a note-on event. The other condition, tableS [nn]> 0 and vel = 0, indicates that the note number nn is already in a note-on state and the note event currently being processed is a note-off event. Yes.
〔数式９〕
ＥｖｅｎｔＳ[ｐｓ]．ｔｉｍｅ←ＥｖｅｎｔＷ[ｐｗ]．ｔｉｍｅ
ＥｖｅｎｔＳ[ｐｓ]．ｃｈａｎｎｅｌ←０
ＥｖｅｎｔＳ[ｐｓ]．ｎｏｔｅ−ｎｕｍｂｅｒ←ｎｎ
ＥｖｅｎｔＳ[ｐｓ]．ｖｅｌｏｃｉｔｙ←ｖｅｌ
ｖｅｌ＞０の場合ｔａｂｌｅＳ[ｎｎ]←ｐｓ、ｖｅｌ＝０の場合ｔａｂｌｅＳ[ｎｎ]←−１
ｐｓ←ｐｓ＋１
[Formula 9]
EventS [ps]. time ← EventW [pw]. time
EventS [ps]. channel ← 0
EventS [ps]. note-number ← nn
EventS [ps]. velocity ← vel
If vel> 0, tableS [nn] ← ps, if vel = 0, tableS [nn] ← −1.
ps ←
上記〔数式９〕の６つの式のうち、第１式、第２式、第３式、第６式は、上記〔数式４〕と同一である。〔数式４〕との違いは、ｖｅｌの値によりノートオフまたはノートオンの双方の場合があるため、第４式において、ＥｖｅｎｔＳ[ｐｓ]のノートイベントのベロシティに現在処理中のベロシティまたは〔数式５〕〜〔数式８〕で補正したベロシティを代入している点である。これは、ノートオンまたはノートオフのいずれの可能性もあり、かつベロシティ値が補正される場合があるためである。第５式では、ｖｅｌの値に応じてｔａｂｌｅＳ[ｎｎ]に設定する値が異なっている。ｖｅｌ＝０の場合は、〔数式４〕と同様、−１を設定するが、ｖｅｌ＞０の場合は、ｐｓの値を設定する。 Of the six formulas in [Formula 9], the first formula, the second formula, the third formula, and the sixth formula are the same as [Formula 4]. The difference from [Formula 4] is that there is a case of both note-off or note-on depending on the value of vel. Therefore, in the fourth formula, the velocity of the note event of EventS [ps] ] To [Velocity] corrected by [Equation 8]. This is because there is a possibility of note-on or note-off, and the velocity value may be corrected. In the fifth equation, the value set in tableS [nn] differs depending on the value of vel. When vel = 0, -1 is set as in [Formula 4], but when vel> 0, the value of ps is set.
Ｓ２１４におけるノートオン処理が終わったら、入力側のＥｖｅｎｔＷ[]の格納されている全てのノートイベントの処理が終わったかどうかを判断する（Ｓ２１５）。具体的には、ｐｗ←ｐｗ＋１とした後、ｐｗ＜Ｎｗの場合、全てのノートイベントの処理が終わっていないため、Ｓ２０１に戻って次のノートイベントについての処理を実行する。ｐｗ≧Ｎｗの場合、全てのノートイベントの処理が終わったことになるため、Ｎｓ←ｐｓとして、重複ノートオン区間処理を終了する。 When the note-on process in S214 is completed, it is determined whether or not all the note events stored in the event W [] on the input side have been processed (S215). Specifically, after setting pw ← pw + 1, if pw <Nw, the processing for all the note events is not completed, so the process returns to S201 to execute the processing for the next note event. In the case of pw ≧ Nw, since all the note events have been processed, the overlap note-on section processing is ended as Ns ← ps.
＜０デュレーションイベント削除処理＞
重複ノートオン区間処理が終了したら、演算処理部１２は、０デュレーションイベント削除処理を行う（図２のＳ３）。重複ノートオン区間についての処理が終了すると、図７で作成された単一チャンネルのＭＩＤＩイベント配列ＥｖｅｎｔＳ[]には、同一ノートナンバーで時間的にノートオン区間が重複するようなノートイベントが存在しなくなる。しかし、ＥｖｅｎｔＳ[]には、ノートオンとノートオフが同一時刻となる０デュレーションのノートイベントが含まれている可能性がある。そこで、次に、０デュレーションのノートイベントを削除する処理を行う。
<0 duration event deletion process>
When the overlapping note-on section processing ends, the
この０デュレーションイベント削除処理の詳細を図８、９のフローチャートを用いて説明する。０デュレーションイベント削除処理に際して、演算処理部１２は、削除処理後の出力する演算ＭＩＤＩイベント配列をＥｖｅｎｔＤ[]として用意し、総ノートイベント数をＮｄ[]とし、ＥｖｅｎｔＳ[]、ＥｖｅｎｔＤ[]の各配列へのポインタをｐｓ、ｐｄとし、初期状態ではｐｓ＝ｐｄ＝０に設定する。また、ＥｖｅｎｔＤ[]のＣｈａｎｎｅｌ値は全て０に設定する。さらに、演算処理部１２は、０〜１２７のノートナンバーに対応してノートオン時にＭＩＤＩイベント配列へのポインタを格納するノートオンテーブルｔａｂｌｅＳ[]を定義する。そして、ｔａｂｌｅＳ[]の全ての初期値を−１に設定する。さらに、定量評価に使用するノートイベントの総エネルギーをＥｎｅｒｇｙ、総デュレーションをＤｕｒａｔｉｏｎとし、初期値はＥｎｅｒｇｙ＝Ｄｕｒａｔｉｏｎ＝０とする（Ｓ３０１）。
Details of the 0 duration event deletion processing will be described with reference to the flowcharts of FIGS. In the 0 duration event deletion process, the
配列の準備ができたら、演算処理部１２は、ポインタｐｓで特定されるイベント配列ＥｖｅｎｔＳ[ｐｓ]を参照して、以下の〔数式１０〕に従った処理を実行し、処理対象のノートナンバーｎｎ、ベロシティｖｅｌを設定する（Ｓ３０２）。
When the array is ready, the
〔数式１０〕
ｎｎ←ＥｖｅｎｔＳ[ｐｓ]．ｎｏｔｅ−ｎｕｍｂｅｒ
ｖｅｌ←ＥｖｅｎｔＳ[ｐｓ]．ｖｅｌｏｃｉｔｙ
[Formula 10]
nn ← EventS [ps]. note-number
vel <-EventS [ps]. velocity
そして、当該イベントがノートオフ、即ちｖｅｌ＝０であるか否かを確認する（Ｓ３０３）。ノートオン、即ちｖｅｌ＝０でないと確認された場合には、以下の〔数式１１〕に従った処理を実行する（Ｓ３０５）。 Then, it is confirmed whether or not the event is note-off, that is, vel = 0 (S303). If it is confirmed that note-on, that is, vel = 0 is not satisfied, processing according to the following [Equation 11] is executed (S305).
〔数式１１〕
ｔａｂｌｅＳ［ｎｎ］←ｐｓ
[Formula 11]
tableS [nn] ← ps
一方、Ｓ３０３において、ノートオフ、即ちｖｅｌ＝０であると確認された場合には、まず、ＥｖｅｎｔＳ[ｔａｂｌｅＳ［ｎｎ］]．ｔｉｍｅとＥｖｅｎｔＳ[ｐｓ]．ｔｉｍｅが一致するか、ＥｖｅｎｔＳ[ｔａｂｌｅＳ［ｎｎ］]．ｖｅｌｏｃｉｔｙが０より小さいかを確認し（Ｓ３０４）、少なくともいずれか一つの条件を満たす場合に限り、以下の〔数式１２〕に従った処理を実行する（Ｓ３０６）。 On the other hand, when it is confirmed in S303 that note-off, that is, vel = 0, first, EventS [tableS [nn]]. time and EventS [ps]. time matches, EventS [tableS [nn]]. Whether or not the velocity is smaller than 0 is confirmed (S304), and only when at least one of the conditions is satisfied, the process according to the following [Equation 12] is executed (S306).
〔数式１２〕
ＥｖｅｎｔＳ[ｔａｂｌｅＳ［ｎｎ] ]．ｎｏｔｅ−ｎｕｍｂｅｒ←−１
ＥｖｅｎｔＳ[ｐｓ]．ｎｏｔｅ−ｎｕｍｂｅｒ←−１
ｔａｂｌｅＳ［ｎｎ］←−１
[Formula 12]
EventS [tableS [nn]]. note-number ← -1
EventS [ps]. note-number ← -1
tableS [nn] ← −1
ＥｖｅｎｔＳ[ｔａｂｌｅＳ［ｎｎ］]．ｔｉｍｅとＥｖｅｎｔＳ[ｐｓ]．ｔｉｍｅが一致する場合は、デュレーションが０であることを意味するので、そのノートイベントを削除できるようにマーキングする。また、ＥｖｅｎｔＳ[ｔａｂｌｅＳ［ｎｎ］]．ｖｅｌｏｃｉｔｙが０より小さい場合は、負値ベロシティイベント（ベロシティが０になるノートオン区間）であることを意味するので、そのノートイベントを削除できるようにするか、ベロシティ０をもつノートイベントを作成できるようにマーキングする。本実施形態では、上記〔数式１２〕の第１式、第２式に示すように、そのノートイベントにノートナンバーとしては無効な負の値（−１）を設定している。Ｓ３０４において、ＥｖｅｎｔＳ[ｔａｂｌｅＳ［ｎｎ］]．ｔｉｍｅとＥｖｅｎｔＳ[ｐｓ]．ｔｉｍｅが一致せず、ＥｖｅｎｔＳ[ｔａｂｌｅＳ［ｎｎ］]．ｖｅｌｏｃｉｔｙが０以上である有効なノートイベントと判断された場合には、上記〔数式１２〕に従った処理は実行しない。代わりに、総エネルギー値と総デュレーション値の更新処理を実行する（Ｓ３０７）。具体的には、以下の〔数式１３〕に従った処理を実行する。
EventS [tableS [nn]]. time and EventS [ps]. If the time matches, it means that the duration is 0, so that the note event is marked so that it can be deleted. Also, EventS [tableS [nn]]. When velocity is smaller than 0, it means a negative velocity event (note-on interval where velocity becomes 0), so that the note event can be deleted or a note
〔数式１３〕
Ｅｎｅｒｇｙ←Ｅｎｅｒｇｙ＋ＥｖｅｎｔＳ[ｔａｂｌｅＳ［ｎｎ]]．ｖｅｌｏｃｉｔｙ・（ＥｖｅｎｔＳ[ｐｓ]．ｔｉｍｅ−ＥｖｅｎｔＳ[ｔａｂｌｅＳ［ｎｎ］]．ｔｉｍｅ）
Ｄｕｒａｔｉｏｎ←Ｄｕｒａｔｉｏｎ＋ＥｖｅｎｔＳ[ｐｓ]．ｔｉｍｅ−ＥｖｅｎｔＳ[ｔａｂｌｅＳ［ｎｎ］]．ｔｉｍｅ
[Formula 13]
Energy ← Energy + EventS [tableS [nn]]. velocity (EventS [ps] .time-EventS [tableS [nn]]. time)
Duration ← Duration + EventS [ps]. time-EventS [tableS [nn]]. time
上記〔数式１３〕の第１式では、ノートオン区間のベロシティにデュレーションを乗じてエネルギー値を算出し、それまでに算出されている総エネルギー値に加算することにより、総エネルギー値Ｅｎｅｒｇｙを更新している。上記〔数式１３〕の第２式では、ノートオン区間のデュレーションを、それまで算出された総デュレーションに加算することにより、総デュレーション値Ｄｕｒａｔｉｏｎを更新している。Ｓ３０５〜Ｓ３０７のいずれかの処理が終了したら、ｐｓの値をインクリメントする（Ｓ３０８）。そして、ｐｓ＜Ｎｓであるかどうかを判断する（Ｓ３０９）。ｐｓ＜Ｎｓである場合は、Ｓ３０２に戻る。一方、ｐｓ≧Ｎｓである場合は、全てのノートイベントについて処理したことを意味するので、総エネルギー値と総デュレーション値を出力し、出力イベント配列の生成に進む。結局、Ｓ３０２〜Ｓ３０９のループにおいては、デュレーションが０のノートイベント、ベロシティが負値であるノートイベントを削除し、総エネルギー値と総デュレーション値を算出する処理を実行していることになる。 In the first equation of [Equation 13], the energy value is calculated by multiplying the velocity of the note-on interval by the duration, and adding it to the total energy value calculated so far, thereby updating the total energy value Energy. ing. In the second equation of [Equation 13], the duration of the note-on interval is added to the total duration calculated so far, thereby updating the total duration value Duration. When any one of S305 to S307 is completed, the value of ps is incremented (S308). Then, it is determined whether or not ps <Ns (S309). If ps <Ns, the process returns to S302. On the other hand, when ps ≧ Ns, it means that all the note events have been processed, so the total energy value and the total duration value are output, and the process proceeds to generation of an output event array. After all, in the loop of S302 to S309, the note event whose duration is 0 and the note event whose velocity is negative are deleted, and the process of calculating the total energy value and the total duration value is executed.
全てのノートイベントに対する処理を実行し、デュレーション０のノートイベント・ベロシティが負値のノートイベントの削除、総エネルギー値と総デュレーション値の算出が行われたら、出力イベント配列の生成を行う。まず、ｐｓ＝ｐｄ＝０に設定する（Ｓ３１０）。続いて、ポインタｐｓで特定されるイベント配列ＥｖｅｎｔＳ[ｐｓ]を読み込み（Ｓ３１１）、読み込まれたノートイベントが有効であるか、即ちＥｖｅｎｔＳ[ｐｓ]．ｎｏｔｅ−ｎｕｍｂｅｒ≧０であるかどうかを確認する（Ｓ３１２）。そして、ＥｖｅｎｔＳ[ｐｓ]．ｎｏｔｅ−ｎｕｍｂｅｒ≧０である場合は、無効化されていないノートイベントであることを意味するので、以下の〔数式１４〕に従った処理を実行し、出力イベント配列ＥｖｅｎｔＤ[ｐｄ]に値を出力する（Ｓ３１３）。
When all note events are processed, note events whose
〔数式１４〕
ＥｖｅｎｔＤ[ｐｄ]．ｔｉｍｅ←ＥｖｅｎｔＳ[ｐｓ]．ｔｉｍｅ
ＥｖｅｎｔＤ[ｐｄ]．ｃｈａｎｎｅｌ←０
ＥｖｅｎｔＤ[ｐｄ]．ｎｏｔｅ−ｎｕｍｂｅｒ←ＥｖｅｎｔＳ[ｐｓ]．ｎｏｔｅ−ｎｕｍｂｅｒ
ＥｖｅｎｔＤ[ｐｄ]．ｖｅｌｏｃｉｔｙ←ＥｖｅｎｔＳ[ｐｓ]．ｖｅｌｏｃｉｔｙ
ｐｄ←ｐｄ＋１
[Formula 14]
EventD [pd]. time <-EventS [ps]. time
EventD [pd]. channel ← 0
EventD [pd]. note-number ← EventS [ps]. note-number
EventD [pd]. velocity ← EventS [ps]. velocity
pd ←
Ｓ３１２において無効化されているノートイベントであると確認された場合を含め、入力イベント配列のポインタをインクリメントし（Ｓ３１４）、ｐｓ＜Ｎｓであるかどうかを確認する（Ｓ３１５）。ｐｓ＜Ｎｓである場合は、Ｓ３１１に戻る。一方、ｐｓ≧Ｎｓである場合は、全てのノートイベントについて処理したことを意味するので、Ｎｄ←ｐｄとする。さらに、総エネルギー値Ｅｎｅｒｇｙを総デュレーション値Ｄｕｒａｔｉｏｎで除算することにより、単位時間あたりのベロシティＥｎｅｒｇｙ／Ｄｕｒａｔｉｏｎを出力して、処理を終了する。 Including the case where it is confirmed that the note event is invalidated in S312, the pointer of the input event array is incremented (S314), and it is confirmed whether ps <Ns (S315). If ps <Ns, the process returns to S311. On the other hand, when ps ≧ Ns, it means that all the note events have been processed, so Nd ← pd. Further, by dividing the total energy value Energy by the total duration value Duration, the velocity Energy / Duration per unit time is output, and the process is terminated.
上記で生成されるＭＩＤＩイベント配列ＥｖｅｎｔＤ[]を求める演算ＭＩＤＩデータとして採用し、それをＭＩＤＩ符号として出力する。 The calculated MIDI event array EventD [] generated as described above is adopted as the operation MIDI data, and is output as a MIDI code.
演算ＭＩＤＩデータは、様々な形式で出力することができる。表示用のデータに変換して、表示部１３に画面出力することも可能であるし、音響信号に変換して音響出力部１４に音響出力することも可能であるし、そのまま記憶媒体等のデータ出力部１５にＳＭＦ形式等によりデータ出力することも可能である。表示部１３に画面出力するに際しては、特許文献５から特許文献７などに記載の公知の手法を用いることができ、ノートオンおよびノートオフをノートオン区間に変換して左右幅を決定し、ベロシティに対応する上下方向の幅を決定して矩形を生成し、対応するノートナンバーの位置に配置することにより、表示用データを生成し、表示部１３に出力する。表示部１３と音響出力部１４に同時に出力した場合には、２種の音響信号を視覚的かつ聴覚的に評価することができる。
Arithmetic MIDI data can be output in various formats. It can be converted into display data and output on the screen to the
＜聴覚マスキングデータの作成（マスカー音響信号の評価）（１）＞
上記演算符号データの作成（符号データの演算処理）方法を用いて、聴覚マスキングデータを作成することができる。以下、本発明に係る聴覚マスキングデータの作成方法および装置を、２つの実施形態に基づいて説明する。図１０は、本発明に係る聴覚マスキングデータ作成装置の一実施形態を示す機能ブロック図である。本実施形態における聴覚マスキングデータ作成装置は、図１０に示すように、データ入力部２１、演算処理部２２、表示部２３、音響出力部２４、データ出力部２５、符号データ作成部２６を有すると共に、図示しないハードディスク等の記憶装置、指示入力を行うキーボード、マウス等の入力機器等を有しており、入出力機器が接続された汎用のコンピュータに専用のプログラムを組み込むことにより実現される。
<Creation of auditory masking data (evaluation of masker sound signal) (1)>
Auditory masking data can be created using the above-described computation code data creation (code data computation process) method. Hereinafter, a method and apparatus for generating auditory masking data according to the present invention will be described based on two embodiments. FIG. 10 is a functional block diagram showing an embodiment of an auditory masking data creation apparatus according to the present invention. As shown in FIG. 10, the auditory masking data creation device according to the present embodiment includes a
図１０において、データ入力部２１は、聴覚マスキング効果の評価の対象であるマスカー原音音響信号、マスカー加工音響信号またはマスキー音響信号などの複数のＷＡＶ形式等（ＷＡＶはＭｉｃｒｏｓｏｆｔ社の音響信号形式）の音響信号を入力するためのものである。続いて、符号データ作成部２６は、入力された音響信号を特許文献４など公知の手法によりＭＩＤＩデータ等の符号データに変換するためのものである。後続の演算処理部２２と同様に、ＣＰＵ、メモリを有し、記憶装置から専用のプログラムをメモリ上に読み込んで実行することにより本機能を実現する。演算処理部２２は、ＣＰＵ、メモリを有し、記憶装置から専用のプログラムをメモリ上に読み込んで実行し、本発明の聴覚マスキングデータ作成装置の主要な機能を実現するものであり、演算処理部１２の機能も備え、必要に応じて上述した符号データの演算処理も実行する。表示部２３は、液晶ディスプレイ等の表示装置により実現され、演算処理部２２により作成された聴覚マスキングデータを表示する。聴覚マスキングデータとしては、様々なものを用いることができるが、本実施形態では、マスキング対象成分の増分を聴覚マスキングデータとして用いている。音響出力部２４は、ＭＩＤＩ音源、ＭＩＤＩシーケンサ、アンプおよびスピーカにより実現され、演算処理部２２により作成された演算符号データを音響出力する。データ出力部２５は、ＭＩＤＩデータ等の符号データをＳＭＦ形式などのデータ形式で出力するためのものである。
In FIG. 10, the
図１１は、第１の実施形態に係る聴覚マスキングデータ作成方法の処理概要を示すフローチャートである。また、図１３〜図２０は、処理過程におけるＭＩＤＩ符号データを表示部２３に出力した状態を示す図である。図１３〜図２０においては、横軸が時間軸、縦軸が音の高さ（ノートナンバー）となっている。また、図１３〜図２０においては、各矩形がノートオン区間を示し、各矩形の横幅がノートオン区間の長さ（Ｄｕｒａｔｉｏｎに対応）、上下の幅がベロシティを示している。したがって、各矩形の面積がＥｎｅｒｇｙに対応している。
事前準備として、必要な符号データを作成する処理を行う。まず、会話音・騒音等のかき消される側の音であるマスキー音響信号、ＢＧＭ等のかき消す側の音であるマスカー音響信号を用意し各々図１０に示すデータ入力部２１に入力され、それぞれ特許文献４など公知の手法により図１０に示す符号データ作成部２６においてＭＩＤＩ符号化し、マスキーＭＩＤＩ符号Ａ、マスカー原音ＭＩＤＩ符号Ｂを得る（Ｓ１５、Ｓ１６）。マスキーＭＩＤＩ符号Ａ、マスカー原音ＭＩＤＩ符号Ｂをそれぞれ表示出力した状態を図１７、図１４に示す。また、図１４と同一の楽曲について、ＭＩＤＩ打ち込みデータを表示出力した状態を図１３に示す。さらに、マスカー音響信号に対しては、特許文献２または特許文献３に記載のマスキング効果強調処理を実行し（Ｓ１７）、マスカー加工音響信号を得た後、同様に特許文献４など公知の手法によりＭＩＤＩ符号化し（Ｓ１８）、マスカー加工ＭＩＤＩ符号Ｃを得る。マスカー加工ＭＩＤＩ符号Ｃを表示出力した状態を図１５に示す。
FIG. 11 is a flowchart showing a processing outline of the auditory masking data creation method according to the first embodiment. 13 to 20 are diagrams showing a state in which MIDI code data in the process is output to the
As advance preparation, processing for creating necessary code data is performed. First, a masky sound signal that is a sound to be erased such as conversation sound / noise and a masker sound signal that is a sound to be erased such as BGM are prepared and input to the
本実施形態に係る聴覚マスキングデータ作成方法は、図１１に示した各ステップ（各段階）の詳細な手順を記録したプログラムを、図１０に示した聴覚マスキングデータ作成装置が実行することにより行われる。事前準備により用意されたマスキーＭＩＤＩ符号Ａ、マスカー原音ＭＩＤＩ符号Ｂ、マスカー加工ＭＩＤＩ符号Ｃが符号データ出力部２６から出力されると、演算処理部２２は、マスキーＭＩＤＩ符号Ａ、マスカー原音ＭＩＤＩ符号Ｂに対して、低強度選択モードによるＭＩＤＩデータの低強度選択演算を実行する（Ｓ１１）。具体的には、マスキーＭＩＤＩ符号Ａ、マスカー原音ＭＩＤＩ符号データＢを入力符号データとして、図１〜図３、図５、図７〜図９を用いて説明した演算符号データの作成方法を実行する。この際、重複ノートオン区間についてのベロシティの設定は、低強度選択により行う。すなわち、〔数式５ｂ〕〔数式６ａ〕等に従った処理を実行し、ベロシティを設定することになる。Ｓ１１における演算符号データ作成処理の結果、マスキング対象信号成分ＡＢが得られる。上記図１〜図３、図５、図７〜図９を用いた説明から明らかなように、得られるマスキング対象信号成分ＡＢも１チャンネル形式のＭＩＤＩ符号データとなる。
The auditory masking data creation method according to the present embodiment is performed by the auditory masking data creation apparatus shown in FIG. 10 executing a program that records the detailed procedure of each step (each stage) shown in FIG. . When the masky MIDI code A, masker original sound MIDI code B, and masker-processed MIDI code C prepared in advance are output from the code
さらに、演算処理部２２は、符号データ出力部２６から出力されたマスキーＭＩＤＩ符号Ａ、マスカー加工ＭＩＤＩ符号Ｃに対して、低強度選択モードによる演算符号データ作成処理を実行する（Ｓ１２）。すなわち、図１〜図３、図５、図７〜図９を用いて説明した演算符号データの作成方法を実行し、重複ノートオン区間についての低強度選択によりベロシティの設定を行う。Ｓ１１における処理とＳ１２における処理は、入力データが異なるだけであり、処理自体は全く同一である。Ｓ１２における演算符号データ作成処理の結果、マスキング対象信号成分ＡＣが得られる。マスキング対象信号成分ＡＣも、マスキング対象信号成分ＡＢと同様、１チャンネル形式のＭＩＤＩ符号データとなる。
Further, the
マスキング対象信号成分ＡＢ、マスキング対象信号成分ＡＣが得られたら、演算処理部２２は、マスキング対象信号成分ＡＢ、マスキング対象信号成分ＡＣに対して、差分演算モードによる演算符号データ作成処理を実行する（Ｓ１３およびＳ１４）。具体的には、マスキング対象信号成分ＡＢとマスキング対象信号成分ＡＣを第１の入力符号データとして、マスカー原音ＭＩＤＩ符号Ｂとマスカー加工ＭＩＤＩ符号Ｃを第２の入力符号データとして、各々、図１〜図４、図７〜図９を用いて説明した演算符号データの作成方法を実行する。この際、重複ノートオン区間についてのベロシティの設定は、差分演算により行う。すなわち、〔数式５ａ〕〔数式６ｂ〕等に従った処理を実行し、ベロシティを設定することになる。Ｓ１３における演算符号データ作成処理の結果、差分ＭＩＤＩ符号ＡＢＣが得られ、Ｓ１４における演算符号データ作成処理の結果、差分ＭＩＤＩ符号ＢＣが得られる。上記図１〜図４、図７〜図９を用いた説明から明らかなように、得られる差分ＭＩＤＩ符号ＡＢＣおよび差分ＭＩＤＩ符号ＢＣも１チャンネル形式のＭＩＤＩ符号データとなる。
When the masking target signal component AB and the masking target signal component AC are obtained, the
差分ＭＩＤＩ符号ＡＢＣは、Ｓ１７のマスキング効果強調処理により強調されるマスキング効果の度合いを示す音響マスキングデータの差分量を与え、差分ＭＩＤＩ符号ＢＣは、Ｓ１７のマスキング効果強調処理に伴い品質劣化する信号成分を与え、各々、演算ＭＩＤＩデータであるため、上述のように、様々な形式で出力しマスキング効果や品質劣化の度合いを評価することができる。表示用のデータに変換して、表示部２３に画面出力することも可能であるし、音響信号に変換して音響出力部２４に音響出力することも可能であるし、そのまま記憶媒体等のデータ出力部２５にＳＭＦ形式等によりデータ出力することも可能である。表示部２３に画面出力するに際しては、特許文献５から特許文献７などに記載の公知の手法を用いることができ、ノートオンおよびノートオフをノートオン区間に変換して左右幅を決定し、ベロシティに対応する上下方向の幅を決定して矩形を生成し、対応するノートナンバーの位置に配置することにより、表示用データを生成し、表示部２３に出力する。マスキーＭＩＤＩ符号Ａ、マスカー原音ＭＩＤＩ符号Ｂ、マスカー加工ＭＩＤＩ符号Ｃを基に作成した差分ＭＩＤＩ符号ＡＢＣおよび差分ＭＩＤＩ符号ＢＣを出力することにより、聴覚マスキング効果とそれに伴う品質劣化成分を客観的に判断することが可能となり、Ｓ１７のマスキング効果強調処理における強調度合いの調整を効率良く行うことが可能になる。表示部２３と音響出力部２４に同時に出力した場合には、視覚的かつ聴覚的に評価することができる。表示部２３においては、図２０に示すような差分ＭＩＤＩ符号ＡＢＣと図１６に示すような差分ＭＩＤＩ符号ＢＣが出力されることになる。
The difference MIDI code ABC gives the difference amount of the acoustic masking data indicating the degree of the masking effect enhanced by the masking effect enhancement process of S17, and the difference MIDI code BC is a signal component whose quality deteriorates with the masking effect enhancement process of S17. Since each is a calculation MIDI data, it can be output in various formats as described above, and the degree of masking effect and quality degradation can be evaluated. It can be converted into display data and output to the
＜聴覚マスキングデータの作成（マスカー音響信号の評価）（２）＞
次に、第２の実施形態について説明する。第１の実施形態では、Ｓ１１、Ｓ１２において、単一のマスキーＭＩＤＩ符号Ａを用いて演算を行い、マスキング対象信号成分ＡＢ、ＡＣを作成したが、第２の実施形態では、マスキーＭＩＤＩ符号Ａを＋１または−１半音の範囲に拡張させて演算を行い、合算マスキング対象信号成分ＡＢ、ＡＣを作成する。図１２は、マスキーＭＩＤＩ符号Ａを＋１または−１半音の範囲に拡張させて合算マスキング対象信号成分ＡＢ、ＡＣを作成する処理の概要を示すフローチャートである。第１の実施形態と同様、事前準備として、必要な符号データを作成する処理を行う。図１２では図１１記載のマスキーＭＩＤＩ符号Ａ、マスカー原音ＭＩＤＩ符号Ｂ、マスカー加工ＭＩＤＩ符号Ｃが既に準備されているものとする。
<Preparation of auditory masking data (evaluation of masker sound signal) (2)>
Next, a second embodiment will be described. In the first embodiment, in S11 and S12, calculation is performed using a single masky MIDI code A to create the masking target signal components AB and AC. However, in the second embodiment, the masky MIDI code A is Calculation is performed with the range expanded to +1 or -1 semitone, and the sum masking target signal components AB and AC are created. FIG. 12 is a flowchart showing an outline of processing for creating the masking target signal components AB and AC by expanding the masky MIDI code A to the range of +1 or −1 semitone. As in the first embodiment, a process for creating necessary code data is performed as advance preparation. In FIG. 12, it is assumed that the Musky MIDI code A, the masker original MIDI code B, and the masker processed MIDI code C shown in FIG. 11 have already been prepared.
本実施形態に係る聴覚マスキングデータの作成方法は、図１２に示した各ステップ（各段階）の詳細な手順を記録したプログラムを、図１０に示した聴覚マスキングデータ作成装置が実行することにより行われる。事前準備により用意されたマスキーＭＩＤＩ符号Ａ、マスカー原音ＭＩＤＩ符号Ｂ、マスカー加工ＭＩＤＩ符号Ｃが符号データ作成部２６から出力されると、演算処理部２２は、マスキーＭＩＤＩ符号Ａに対して、１半音（１ステップのＭＩＤＩノートナンバーに相当）だけ高い方向にシフトする処理を行う（Ｓ２１）。具体的には、マスキーＭＩＤＩ符号Ａ内の全イベントデータＥｖｅｎｔ[]について、その属性であるｎｏｔｅ−ｎｕｍｂｅｒに“１”だけ加算する処理を実行する。Ｓ２１におけるシフト処理の結果、改変マスキーＭＩＤＩ符号Ａ１が得られる。改変マスキーＭＩＤＩ符号Ａ１は、マスキーＭＩＤＩ符号Ａに比べて全体に半音だけ高くなったデータとなる。
The auditory masking data creation method according to the present embodiment is performed by the auditory masking data creation apparatus shown in FIG. 10 executing a program that records the detailed procedure of each step (each stage) shown in FIG. Is called. When the masky MIDI code A, masker original sound MIDI code B, and masker-processed MIDI code C prepared in advance are output from the code
続いて、演算処理部２２は、マスキーＭＩＤＩ符号Ａに対して、１半音だけ低い方向にシフトする処理を行う（Ｓ２１）。具体的には、マスキーＭＩＤＩ符号Ａ内の全イベントデータＥｖｅｎｔ[]について、その属性であるｎｏｔｅ−ｎｕｍｂｅｒに“１”だけ減算する処理を実行する。Ｓ２２におけるシフト処理の結果、改変マスキーＭＩＤＩ符号Ａ２が得られる。改変マスキーＭＩＤＩ符号Ａ２は、マスキーＭＩＤＩ符号Ａに比べて全体に半音だけ低くなったデータとなる。
Subsequently, the
次に、演算処理部２２は、マスキーＭＩＤＩ符号Ａ、改変マスキーＭＩＤＩ符号Ａ１、改変マスキーＭＩＤＩ符号Ａ２、マスカー原音ＭＩＤＩ符号Ｂ、マスカー加工ＭＩＤＩ符号Ｃに対して、低強度選択モードによる演算符号データ作成処理を実行する（Ｓ２３〜Ｓ２５）。具体的には、マスキーＭＩＤＩ符号Ａとマスカー原音ＭＩＤＩ符号Ｂまたはマスカー加工ＭＩＤＩ符号Ｃ、を入力符号データとして、図１〜図３、図５、図７〜図９を用いて説明した演算符号データの作成方法を実行し、マスキング対象信号成分ＡＢまたはマスキング対象信号成分ＡＣを作成する（Ｓ２３）。同様に、改変マスキーＭＩＤＩ符号Ａ１とマスカー原音ＭＩＤＩ符号Ｂまたはマスカー加工ＭＩＤＩ符号Ｃを入力符号データとして、マスキング対象信号成分ＡＢ１またはマスキング対象信号成分ＡＣ１を作成し（Ｓ２４）、改変マスキーＭＩＤＩ符号Ａ２とマスカー原音ＭＩＤＩ符号Ｂまたはマスカー加工ＭＩＤＩ符号Ｃを入力符号データとして、マスキング対象信号成分ＡＢ２またはマスキング対象信号成分ＡＣ２を作成する（Ｓ２５）。この際、重複ノートオン区間についてのベロシティの設定は、低強度選択により行う。すなわち、Ｓ１１、Ｓ１２と同様、〔数式５ｂ〕〔数式６ａ〕等に従った処理を実行し、ベロシティを設定することになる。Ｓ２３〜Ｓ２５における演算符号データ作成処理の結果、マスキング対象信号成分ＡＢ、マスキング対象信号成分ＡＢ１、マスキング対象信号成分ＡＢ２、またはマスキング対象信号成分ＡＣ、マスキング対象信号成分ＡＣ１、マスキング対象信号成分ＡＣ２が得られる。上記図１〜図３、図５、図７〜図９を用いた説明から明らかなように、これら６種のマスキング対象信号成分はいずれも１チャンネル形式のＭＩＤＩ符号データとなる。
Next, the
マスキング対象信号成分ＡＢ、ＡＢ１、ＡＢ２またはマスキング対象信号成分ＡＣ、ＡＣ１、ＡＣ２が得られたら、演算処理部２２は、マスキング対象信号成分ＡＢとマスキング対象信号成分ＡＢ１またはマスキング対象信号成分ＡＣとマスキング対象信号成分ＡＣ１に対して、加算演算モードによる演算符号データ作成処理を実行する（Ｓ２６）。具体的には、マスキング対象信号成分ＡＢとマスキング対象信号成分ＡＢ１またはマスキング対象信号成分ＡＣとマスキング対象信号成分ＡＣ１を入力符号データとして、図１〜図３、図６〜図９を用いて説明した演算符号データの作成方法を実行する。この際、重複ノートオン区間についてのベロシティの設定は、加算演算により行う。すなわち、〔数式５ｃ〕〔数式６ｂ〕等に従った処理を実行し、ベロシティを設定することになる。Ｓ２６における演算符号データ作成処理の結果、合算マスキング対象成分ＡＢまたは合算マスキング対象成分ＡＣが得られる。上記図１〜図３、図６〜図９を用いた説明から明らかなように、得られる合算マスキング対象成分ＡＢまたは合算マスキング対象成分ＡＣも１チャンネル形式のＭＩＤＩ符号データとなる。
When the masking target signal components AB, AB1, AB2 or the masking target signal components AC, AC1, AC2 are obtained, the
次に、演算処理部２２は、合算マスキング対象成分ＡＢとマスキング対象信号成分ＡＢ２または合算マスキング対象成分ＡＣとマスキング対象信号成分ＡＣ２に対して、加算演算モードによる演算符号データ作成処理を実行する（Ｓ２７）。すなわち、図１〜図３、図６〜図９を用いて説明した演算符号データの作成方法を実行し、重複ノートオン区間についての加算演算によりベロシティの設定を行う。Ｓ２６における処理とＳ２７における処理は、入力データが異なるだけであり、処理自体は全く同一である。Ｓ２７における演算符号データ作成処理の結果、新たな合算マスキング対象成分ＡＢまたは合算マスキング対象成分ＡＣが得られる。新たに得られた合算マスキング対象成分ＡＢまたは合算マスキング対象成分ＡＣも、１チャンネル形式のＭＩＤＩ符号データとなる。本実施形態では、上下に１半音ずつシフトすることにより２つの改変マスキーＭＩＤＩ符号を生成したが、さらにシフトした改変マスキーＭＩＤＩ符号を生成し、それらを基に合算マスキング対象成分ＡＣを作成するようにしても良い。
Next, the
合算マスキング対象成分ＡＢまたは合算マスキング対象成分ＡＣは、図１１のマスキング対象成分ＡＢまたはマスキング対象成分ＡＣに対応し、図１１に示される手法に比べ、各マスキング対象成分の算出を＋１または−１半音の範囲に拡張させて高精度に算出するようにしたものである。従って、図１１のマスキング対象成分ＡＢまたはマスキング対象成分ＡＣを図１２の合算マスキング対象成分ＡＢまたは合算マスキング対象成分ＡＣに置換すれば、図１１のＳ１３およびＳ１４に基づいて差分ＭＩＤＩ符号ＡＢＣおよび差分ＭＩＤＩ符号ＢＣを高精度に算出することができ、高精度に視覚的かつ聴覚的に評価することができる。合算マスキング対象成分ＡＢ、合算マスキング対象成分ＡＣをそれぞれ表示出力した状態を図１８、図１９に示す。 The total masking target component AB or the total masking target component AC corresponds to the masking target component AB or the masking target component AC in FIG. 11, and the calculation of each masking target component is +1 or −1 semitone compared to the method shown in FIG. In this way, the calculation is performed with high accuracy by extending the range. Therefore, if the masking target component AB or the masking target component AC in FIG. 11 is replaced with the total masking target component AB or the total masking target component AC in FIG. 12, the differential MIDI code ABC and the differential MIDI are based on S13 and S14 in FIG. The code BC can be calculated with high accuracy, and can be visually and audibly evaluated with high accuracy. FIGS. 18 and 19 show a state where the sum masking target component AB and the sum masking target component AC are displayed and output, respectively.
本発明は、聴覚マスキングを用いて会話音の秘匿化を行ったり、騒音の快音化を行ったりする際に、マスカー音に対して何らかの信号処理や改変を加え、それにより、マスキー音に対する秘匿化や快音化の効果を評価する産業に利用することができる。秘匿化としては、医療機関（調剤薬局などの受付カウンター）、金融機関・保険会社の相談カウンター、法律事務所などの面談室、携帯電話店のカウンター、会食に使われる飲食店などにおいて交わされる会話音声が待合室や他の面談室や座席に居る人々に聴取されないようにするものがある。快音化としては、トイレの***音などがトイレ内外に漏れることを低減したり、オフィス室内に設置される各種騒音源（コンピュータサーバー、プリンター・複写機、断裁機、空調機、送風機）より事務室に漏れる騒音の不快感を和らげ、騒音レベルを心理的に低減化する手法に関するものがある。 The present invention adds some signal processing or modification to the masker sound when concealing the conversation sound using auditory masking or making the noise pleasant, thereby concealing the masky sound. It can be used in industries that evaluate the effects of noise reduction. Concealment includes conversations at medical institutions (reception counters for dispensing pharmacies, etc.), consultation counters for financial institutions and insurance companies, interview rooms for law firms, counters for mobile phone stores, restaurants used for dinner, etc. There are things that prevent the voice from being heard by people in waiting rooms, other interview rooms and seats. To make the sound more comfortable, it is possible to reduce the excretion sound of the toilet from entering and exiting the toilet, or from various noise sources (computer server, printer / copier, cutting machine, air conditioner, blower) installed in the office room. There is a technique relating to a method for reducing the noise level and psychologically reducing noise discomfort.
１１、２１ データ入力部
１２、２２ 演算処理部
１３、２３ 表示部
１４、２４ 音響出力部
１５、２５ データ出力部
１６、２６ 符号データ作成部
11, 21
Claims (24)
前記マスキー符号Ａと前記マスカー原音符号Ｂを用いて、低強度選択に基づく演算により、マスキング対象信号成分ＡＢを作成するとともに、前記マスキー符号Ａと前記マスカー加工符号Ｃを用いて、低強度選択に基づく演算により、マスキング対象信号成分ＡＣを作成する低強度選択演算段階と、
前記マスキング対象信号成分ＡＢおよび前記マスキング対象信号成分ＡＣを用いて、差分演算に基づく演算により、聴覚マスキングデータとしてマスキング対象成分の増分ＡＢＣを作成するようにしている差分演算段階と、
を有することを特徴とする聴覚マスキングデータの作成方法。 With respect to the masky code A, the masker original sound code B, and the masker processed code C obtained by encoding each of the masky acoustic signal, masker original sound acoustic signal, and masker processed acoustic signal in auditory masking,
Using the masky code A and the masker original sound code B, the signal component AB to be masked is created by calculation based on the low strength selection, and the masking code A and the masker processed code C are used to select the low strength. A low-intensity selection calculation stage for creating a masking target signal component AC by calculation based on
A difference calculation step in which an incremental ABC of the masking target component is generated as auditory masking data by calculation based on the difference calculation using the masking target signal component AB and the masking target signal component AC;
A method of creating auditory masking data, comprising:
前記マスキー符号Ａを構成する全ての音の高さに一律に所定のオフセット値を加え、複数通りのオフセット値に対応して、複数通りの改変マスキー符号Ａ１、改変マスキー符号Ａ２，．．．，を作成する符号データ改変段階と、
前記マスキー符号Ａおよび前記複数通りの改変マスキー符号Ａ１，．．．の各々と前記マスカー原音符号Ｂまたはマスカー加工符号Ｃを用いて、低強度選択に基づく演算により、複数通りのマスキング対象信号成分ＡＢ，マスキング対象信号成分ＡＢ１，．．．またはマスキング対象信号成分ＡＣ，マスキング対象信号成分ＡＣ１，．．を作成している低強度選択演算段階と、
前記複数通りのマスキング対象信号成分ＡＢ，マスキング対象信号成分ＡＢ１，．．．またはマスキング対象信号成分ＡＣ，マスキング対象信号成分ＡＣ１，．．どうしを各々の群内で２つずつ重複無く順次組み合わせ、加算演算に基づく演算により、合算マスキング対象信号成分ＡＢまたは合算マスキング対象信号成分ＡＣを作成するようにしている加算演算段階と、
前記マスキング対象信号成分ＡＢおよび前記マスキング対象信号成分ＡＣを用いて、差分演算に基づく演算により、聴覚マスキングデータとしてマスキング対象成分の増分ＡＢＣを作成するようにしている差分演算段階と、
を有することを特徴とする聴覚マスキングデータの作成方法。 With respect to the masky code A, the masker original sound code B, and the masker processed code C obtained by encoding each of the masky acoustic signal, masker original sound acoustic signal, and masker processed acoustic signal in auditory masking,
A predetermined offset value is uniformly added to the pitches of all the sounds constituting the masky code A, and a plurality of modified masky codes A1, modified masky codes A2,. . . Code data modification stage for creating
The masky code A and the plurality of modified masky codes A1,. . . , And the masker original sound code B or the masker processing code C, and a plurality of masking target signal components AB, masking target signal components AB1,. . . Or masking target signal component AC, masking target signal component AC1,. . Low strength selection calculation stage creating
The plurality of masking target signal components AB, masking target signal components AB1,. . . Or masking target signal component AC, masking target signal component AC1,. . An addition operation stage in which two are combined sequentially in each group without duplication, and an addition masking target signal component AB or an addition masking target signal component AC is created by an operation based on the addition operation;
A difference calculation step in which an incremental ABC of the masking target component is generated as auditory masking data by calculation based on the difference calculation using the masking target signal component AB and the masking target signal component AC;
A method of creating auditory masking data, comprising:
前記差分演算段階により得られたマスキング対象成分の増分ＡＢＣを表示手段に画面表示する段階、および／または前記マスキング対象成分の増分ＡＢＣを音響再生手段により音響再生する段階をさらに有することを特徴とする聴覚マスキングデータの作成方法。 In claim 1 or claim 2,
The method further comprises the step of displaying the increment ABC of the masking target component obtained by the difference calculation step on a display means and / or the step of reproducing the sound of the increment ABC of the masking target component by the sound reproducing means. How to create auditory masking data.
前記マスキー符号Ａ、マスカー原音符号Ｂ、マスカー加工符号Ｃは時系列に配置されたイベントデータで構成され、各イベントデータには、発音開始または発音終了の識別、時刻、音の高さ、チャンネル番号、音の強さの属性情報を備えた符号データであり、
前記差分演算に基づく演算は、
前記２つの符号データの各イベントデータに対して互いに異なるチャンネル番号を付与しながら、時刻が早い順にソートして、２つのチャンネル番号を有する１つの時系列な符号データに統合し、２チャンネル符号データを作成する符号データ統合段階と、
発音開始のイベントデータとそれに対応する同一の音の高さをもつ発音終了の２つのイベントデータの対で構成される区間を発音区間としたとき、前記２チャンネル符号データの中で、一方のチャンネルの発音区間が、同一の音の高さをもつ他方のチャンネルの発音区間と時間的に全てまたは一部が重複する場合に、両発音区間が重複する区間を、両発音区間の音の強さの差分値を新たな音の強さとする新たな発音区間を重複区間として生成し、前記重複する両発音区間のうち、重複しない区間については、前記重複区間を除く区間に元の音の強さを有する発音区間を生成する発音区間更新段階と、
前記発音区間更新段階にて更新された発音区間の各々の発音開始のイベントデータと発音終了のイベントデータを時系列にソートし、所定の形式で符号化する演算符号データ符号化段階と、
を有することを特徴とする聴覚マスキングデータの作成方法。 In any one of Claims 1-3,
The masky code A, the masker original sound code B, and the masker processed code C are composed of event data arranged in time series, and each event data includes the start / end of pronunciation, time, pitch, and channel number. , Code data with sound intensity attribute information,
The operation based on the difference operation is
While assigning different channel numbers to each event data of the two code data, they are sorted in the order from the earliest time and integrated into one time-series code data having two channel numbers. Code data integration stage to create,
When a section composed of a pair of event data for starting pronunciation and two corresponding event data for end of pronunciation having the same pitch is set as a pronunciation section, one channel of the two-channel code data If all or part of the sound production interval overlaps with the sound production interval of the other channel with the same pitch, the sound intensity of both sound production intervals A new sounding section having a new sound intensity as a difference value is generated as an overlapping section, and among the overlapping sounding sections, the non-overlapping section is the original sound intensity in the section excluding the overlapping section. A pronunciation interval update stage for generating a pronunciation interval having
An operation code data encoding step of sorting the event data of the sounding start and the event data of the sounding end of each sounding interval updated in the sounding interval update step in time series, and encoding in a predetermined format,
A method of creating auditory masking data, comprising:
前記マスキー符号Ａ、マスカー原音符号Ｂ、マスカー加工符号Ｃは時系列に配置されたイベントデータで構成され、各イベントデータには、発音開始または発音終了の識別、時刻、音の高さ、チャンネル番号、音の強さの属性情報を備えた符号データであり、
前記低強度選択に基づく演算は、
前記２つの符号データの各イベントデータに対して互いに異なるチャンネル番号を付与しながら、時刻が早い順にソートして、２つのチャンネル番号を有する１つの時系列な符号データに統合し、２チャンネル符号データを作成する符号データ統合段階と、
発音開始のイベントデータとそれに対応する同一の音の高さをもつ発音終了の２つのイベントデータの対で構成される区間を発音区間としたとき、前記２チャンネル符号データの中で、一方のチャンネルの発音区間が、同一の音の高さをもつ他方のチャンネルの発音区間と時間的に全てまたは一部が重複する場合に、両発音区間が重複する区間を、両発音区間の音の強さのいずれか小さい方の値を新たな音の強さとする新たな発音区間を重複区間として生成し、前記重複する両発音区間のうち、重複しない区間については、発音区間の音の強さを全て０に設定する発音区間更新段階と、
前記発音区間更新段階にて更新された発音区間の各々の発音開始のイベントデータと発音終了のイベントデータを時系列にソートし、所定の形式で符号化する演算符号データ符号化段階と、
を有することを特徴とする聴覚マスキングデータの作成方法。 In any one of Claims 1-4,
The masky code A, the masker original sound code B, and the masker processed code C are composed of event data arranged in time series, and each event data includes the start / end of pronunciation, time, pitch, and channel number. , Code data with sound intensity attribute information,
The operation based on the low intensity selection is:
While assigning different channel numbers to each event data of the two code data, they are sorted in the order from the earliest time and integrated into one time-series code data having two channel numbers. Code data integration stage to create,
When a section composed of a pair of event data for starting pronunciation and two corresponding event data for end of pronunciation having the same pitch is set as a pronunciation section, one channel of the two-channel code data If all or part of the sound production interval overlaps with the sound production interval of the other channel with the same pitch, the sound intensity of both sound production intervals A new sounding interval is generated as a new sound intensity with the smaller one of the two values as an overlapping interval, and among the overlapping sounding intervals, for all non-overlapping intervals, the sound intensity of the sounding interval is all The pronunciation interval update stage set to 0;
An operation code data encoding step of sorting the event data of the sounding start and the event data of the sounding end of each sounding interval updated in the sounding interval update step in time series, and encoding in a predetermined format,
A method of creating auditory masking data, comprising:
前記マスキー符号Ａ、マスカー原音符号Ｂ、マスカー加工符号Ｃは時系列に配置されたイベントデータで構成され、各イベントデータには、発音開始または発音終了の識別、時刻、音の高さ、チャンネル番号、音の強さの属性情報を備えた符号データであり、
前記加算演算に基づく演算は、
前記２つの符号データの各イベントデータに対して互いに異なるチャンネル番号を付与しながら、時刻が早い順にソートして、２つのチャンネル番号を有する１つの時系列な符号データに統合し、２チャンネル符号データを作成する符号データ統合段階と、
発音開始のイベントデータとそれに対応する同一の音の高さをもつ発音終了の２つのイベントデータの対で構成される区間を発音区間としたとき、前記２チャンネル符号データの中で、一方のチャンネルの発音区間が、同一の音の高さをもつ他方のチャンネルの発音区間と時間的に全てまたは一部が重複する場合に、両発音区間が重複する区間を、両発音区間の音の強さの和を新たな音の強さとする新たな発音区間を重複区間として生成し、前記重複する両発音区間のうち、重複しない区間については、一方のチャンネルの発音区間の音の強さを有する発音区間を生成する発音区間更新段階と、
前記発音区間更新段階にて更新された発音区間の各々の発音開始のイベントデータと発音終了のイベントデータを時系列にソートし、所定の形式で符号化する演算符号データ符号化段階と、
を有することを特徴とする聴覚マスキングデータの作成方法。 In any one of Claims 1-5,
The masky code A, the masker original sound code B, and the masker processed code C are composed of event data arranged in time series, and each event data includes the start / end of pronunciation, time, pitch, and channel number. , Code data with sound intensity attribute information,
The operation based on the addition operation is
While assigning different channel numbers to each event data of the two code data, they are sorted in the order from the earliest time and integrated into one time-series code data having two channel numbers. Code data integration stage to create,
When a section composed of a pair of event data for starting pronunciation and two corresponding event data for end of pronunciation having the same pitch is set as a pronunciation section, one channel of the two-channel code data If all or part of the sound production interval overlaps with the sound production interval of the other channel with the same pitch, the sound intensity of both sound production intervals A new sounding interval with the sum of the new sound intensity is generated as an overlapping interval, and among the overlapping sounding intervals, for the non-overlapping interval, the sounding having the sound intensity of the sounding interval of one channel A pronunciation interval update stage for generating intervals;
An operation code data encoding step of sorting the event data of the sounding start and the event data of the sounding end of each sounding interval updated in the sounding interval update step in time series, and encoding in a predetermined format,
A method of creating auditory masking data, comprising:
前記発音区間更新段階は、前記重複区間の音の強さが０の場合、前記音の強さを０以外の１〜１２７の範囲で小さな値に変更することを特徴とする聴覚マスキングデータの作成方法。 In any one of Claims 4-6,
The sounding section update step is to create auditory masking data, wherein, when the sound intensity of the overlapping section is 0, the sound intensity is changed to a small value within a range of 1 to 127 other than 0. Method.
前記発音区間更新段階は、前記重複区間の音の強さが０の場合、前記重複区間を符号化対象から削除することを特徴とする聴覚マスキングデータの作成方法。 In any one of Claims 4-6,
The method of creating auditory masking data, wherein, in the sounding section updating step, when the sound intensity of the overlapping section is 0, the overlapping section is deleted from the encoding target.
前記演算符号データ符号化段階にて符号化された演算符号データに対して、発音開始のイベントデータとそれに対応する同一の音の高さをもつ発音終了の２つのイベントデータの対で構成される発音区間を抽出し、前記抽出された全ての発音区間の時間間隔（発音終了のイベントデータの時刻と発音開始のイベントデータの時刻との差）の総和値Ｄｕｒａｔｉｏｎ、および前記抽出された全ての発音区間の音の強さと発音区間の時間間隔（発音終了のイベントデータの時刻と発音開始のイベントデータの時刻との差）との積の総和値Ｅｎｅｒｇｙを算出し、総和値Ｅｎｅｒｇｙを総和値Ｄｕｒａｔｉｏｎで除した値を前記演算符号データの評価値として出力するようにしていることを特徴とする聴覚マスキングデータの作成方法。 In any one of Claims 4-8,
For the operation code data encoded in the operation code data encoding step, the operation code data is composed of a pair of event data at the start of sound generation and two corresponding event data at the end of sound generation having the same pitch. A pronunciation interval is extracted, and the total value Duration of the time intervals of all the extracted pronunciation intervals (the difference between the time of event data at the end of pronunciation and the time of event data at the start of pronunciation), and all the extracted pronunciations The sum total value Energy of the product of the sound intensity of the section and the time interval of the sound generation section (difference between the time of the event data at the end of sound generation and the time of the event data at the start of sound generation) is calculated, and the sum value Energy is calculated as the sum value Duration. A method for creating auditory masking data, wherein the divided value is output as an evaluation value of the operation code data.
前記演算符号データ符号化段階は、前記重複発音区間差分処理段階により得られた発音区間として、発音開始と発音終了の時刻が同一のものがある場合に、当該発音区間を構成するイベントデータを削除する処理をさらに行うことを特徴とする聴覚マスキングデータの作成方法。 In any one of Claims 4-9,
The operation code data encoding stage deletes event data constituting the sounding section when there is a sounding section obtained by the overlapping sounding section difference processing step having the same sounding start time and sounding end time. A method for creating auditory masking data, further comprising:
前記符号データは、ＭＩＤＩデータであり、前記発音開始の識別はノートオン、前記発音終了の識別はノートオフ、前記時刻はデルタタイム、前記音の高さはノートナンバー、前記音の強さはベロシティ、前記発音区間はノートオン区間で表現されることを特徴とする聴覚マスキングデータの作成方法。 In any one of Claims 4-10,
The code data is MIDI data, the start of sound identification is note-on, the end of sound generation is note-off, the time is delta time, the pitch is a note number, and the sound intensity is velocity. The method of creating auditory masking data, wherein the sounding interval is expressed as a note-on interval.
前記マスキー符号Ａと前記マスカー原音符号Ｂを用いて、低強度選択に基づく演算により、マスキング対象信号成分ＡＢを作成するとともに、前記マスキー符号Ａと前記マスカー加工符号Ｃを用いて、低強度選択に基づく演算により、マスキング対象信号成分ＡＣを作成する低強度選択演算手段と、
前記マスキング対象信号成分ＡＢおよび前記マスキング対象信号成分ＡＣを用いて、差分演算に基づく演算により、聴覚マスキングデータとしてマスキング対象成分の増分ＡＢＣを作成するようにしている差分演算手段と、
を有することを特徴とする聴覚マスキングデータの作成装置。 Means for inputting a masky code A, a masker original sound code B, and a masker processed code C obtained by encoding each of a masky acoustic signal, a masker original sound signal, and a masker processed sound signal in auditory masking;
Using the masky code A and the masker original sound code B, the signal component AB to be masked is created by calculation based on the low strength selection, and the masking code A and the masker processed code C are used to select the low strength. Low-intensity selection calculation means for creating a masking target signal component AC by calculation based on
A difference calculation means for creating an incremental ABC of the masking target component as auditory masking data by a calculation based on the difference calculation using the masking target signal component AB and the masking target signal component AC;
A device for creating auditory masking data, comprising:
前記マスキー符号Ａを構成する全ての音の高さに一律に所定のオフセット値を加え、複数通りのオフセット値に対応して、複数通りの改変マスキー符号Ａ１、改変マスキー符号Ａ２，．．．，を作成する符号データ改変手段と、
前記マスキー符号Ａおよび前記複数通りの改変マスキー符号Ａ１，．．．の各々と前記マスカー原音符号Ｂまたはマスカー加工符号Ｃを用いて、低強度選択に基づく演算により、複数通りのマスキング対象信号成分ＡＢ，マスキング対象信号成分ＡＢ１，．．．またはマスキング対象信号成分ＡＣ，マスキング対象信号成分ＡＣ１，．．を作成している低強度選択演算手段と、
前記複数通りのマスキング対象信号成分ＡＢ，マスキング対象信号成分ＡＢ１，．．．またはマスキング対象信号成分ＡＣ，マスキング対象信号成分ＡＣ１，．．どうしを各々の群内で２つずつ重複無く順次組み合わせ、加算演算に基づく演算により、合算マスキング対象信号成分ＡＢまたは合算マスキング対象信号成分ＡＣを作成するようにしている加算演算手段と、
前記マスキング対象信号成分ＡＢおよび前記マスキング対象信号成分ＡＣを用いて、差分演算に基づく演算により、聴覚マスキングデータとしてマスキング対象成分の増分ＡＢＣを作成するようにしている差分演算手段と、
を有することを特徴とする聴覚マスキングデータの作成装置。 Means for inputting a masky code A, a masker original sound code B, and a masker processed code C obtained by encoding each of a masky acoustic signal, a masker original sound signal, and a masker processed sound signal in auditory masking;
A predetermined offset value is uniformly added to the pitches of all the sounds constituting the masky code A, and a plurality of modified masky codes A1, modified masky codes A2,. . . Code data modification means for creating
The masky code A and the plurality of modified masky codes A1,. . . , And the masker original sound code B or the masker processing code C, and a plurality of masking target signal components AB, masking target signal components AB1,. . . Or masking target signal component AC, masking target signal component AC1,. . Low strength selection calculation means creating
The plurality of masking target signal components AB, masking target signal components AB1,. . . Or masking target signal component AC, masking target signal component AC1,. . An addition operation means configured to sequentially combine two elements in each group without duplication and create the sum masking target signal component AB or the sum masking target signal component AC by an operation based on the addition operation;
A difference calculation means for creating an incremental ABC of the masking target component as auditory masking data by a calculation based on the difference calculation using the masking target signal component AB and the masking target signal component AC;
A device for creating auditory masking data, comprising:
前記差分演算手段により得られたマスキング対象成分の増分ＡＢＣを画面表示する表示手段、および／または前記マスキング対象成分の増分ＡＢＣを音響再生する音響再生手段をさらに有することを特徴とする聴覚マスキングデータの作成装置。 In claim 12 or claim 13,
The auditory masking data further comprises display means for displaying on the screen the increment ABC of the masking target component obtained by the difference calculation means, and / or sound reproduction means for acoustically reproducing the increment ABC of the masking target component. Creation device.
前記マスキー符号Ａ、マスカー原音符号Ｂ、マスカー加工符号Ｃは時系列に配置されたイベントデータで構成され、各イベントデータには、発音開始または発音終了の識別、時刻、音の高さ、チャンネル番号、音の強さの属性情報を備えた符号データであり、
前記差分演算に基づく演算は、
前記２つの符号データの各イベントデータに対して互いに異なるチャンネル番号を付与しながら、時刻が早い順にソートして、２つのチャンネル番号を有する１つの時系列な符号データに統合し、２チャンネル符号データを作成する符号データ統合手段と、
発音開始のイベントデータとそれに対応する同一の音の高さをもつ発音終了の２つのイベントデータの対で構成される区間を発音区間としたとき、前記２チャンネル符号データの中で、一方のチャンネルの発音区間が、同一の音の高さをもつ他方のチャンネルの発音区間と時間的に全てまたは一部が重複する場合に、両発音区間が重複する区間を、両発音区間の音の強さの差分値を新たな音の強さとする新たな発音区間を重複区間として生成し、前記重複する両発音区間のうち、重複しない区間については、前記重複区間を除く区間に元の音の強さを有する発音区間を生成する発音区間更新手段と、
前記発音区間更新手段にて更新された発音区間の各々の発音開始のイベントデータと発音終了のイベントデータを時系列にソートし、所定の形式で符号化する演算符号データ符号化手段と、
により実行されることを特徴とする聴覚マスキングデータの作成装置。 In any one of Claims 12-14,
The masky code A, the masker original sound code B, and the masker processed code C are composed of event data arranged in time series, and each event data includes the start / end of pronunciation, time, pitch, and channel number. , Code data with sound intensity attribute information,
The operation based on the difference operation is
While assigning different channel numbers to each event data of the two code data, they are sorted in the order from the earliest time and integrated into one time-series code data having two channel numbers. Code data integration means for creating
When a section composed of a pair of event data for starting pronunciation and two corresponding event data for end of pronunciation having the same pitch is set as a pronunciation section, one channel of the two-channel code data If all or part of the sound production interval overlaps with the sound production interval of the other channel with the same pitch, the sound intensity of both sound production intervals A new sounding section having a new sound intensity as a difference value is generated as an overlapping section, and among the overlapping sounding sections, the non-overlapping section is the original sound intensity in the section excluding the overlapping section. A pronunciation interval updating means for generating a pronunciation interval having
Operation code data encoding means for sorting event data of pronunciation start and event data of pronunciation end of each of the sound generation sections updated by the sound generation section update means in time series, and encoding in a predetermined format;
A device for creating auditory masking data, characterized in that it is executed by:
前記マスキー符号Ａ、マスカー原音符号Ｂ、マスカー加工符号Ｃは時系列に配置されたイベントデータで構成され、各イベントデータには、発音開始または発音終了の識別、時刻、音の高さ、チャンネル番号、音の強さの属性情報を備えた符号データであり、
前記低強度選択に基づく演算は、
前記２つの符号データの各イベントデータに対して互いに異なるチャンネル番号を付与しながら、時刻が早い順にソートして、２つのチャンネル番号を有する１つの時系列な符号データに統合し、２チャンネル符号データを作成する符号データ統合手段と、
発音開始のイベントデータとそれに対応する同一の音の高さをもつ発音終了の２つのイベントデータの対で構成される区間を発音区間としたとき、前記２チャンネル符号データの中で、一方のチャンネルの発音区間が、同一の音の高さをもつ他方のチャンネルの発音区間と時間的に全てまたは一部が重複する場合に、両発音区間が重複する区間を、両発音区間の音の強さのいずれか小さい方の値を新たな音の強さとする新たな発音区間を重複区間として生成し、前記重複する両発音区間のうち、重複しない区間については、発音区間の音の強さを全て０に設定する発音区間更新手段と、
前記発音区間更新手段にて更新された発音区間の各々の発音開始のイベントデータと発音終了のイベントデータを時系列にソートし、所定の形式で符号化する演算符号データ符号化手段と、
により実行されることを特徴とする聴覚マスキングデータの作成装置。 In any one of Claims 12-15,
The masky code A, the masker original sound code B, and the masker processed code C are composed of event data arranged in time series, and each event data includes the start / end of pronunciation, time, pitch, and channel number. , Code data with sound intensity attribute information,
The operation based on the low intensity selection is:
While assigning different channel numbers to each event data of the two code data, they are sorted in the order from the earliest time and integrated into one time-series code data having two channel numbers. Code data integration means for creating
When a section composed of a pair of event data for starting pronunciation and two corresponding event data for end of pronunciation having the same pitch is set as a pronunciation section, one channel of the two-channel code data If all or part of the sound production interval overlaps with the sound production interval of the other channel with the same pitch, the sound intensity of both sound production intervals A new sounding interval is generated as a new sound intensity with the smaller one of the two values as an overlapping interval, and among the overlapping sounding intervals, for all non-overlapping intervals, the sound intensity of the sounding interval is all Pronunciation interval update means to be set to 0;
Operation code data encoding means for sorting event data of pronunciation start and event data of pronunciation end of each of the sound generation sections updated by the sound generation section update means in time series, and encoding in a predetermined format;
A device for creating auditory masking data, characterized in that it is executed by:
前記マスキー符号Ａ、マスカー原音符号Ｂ、マスカー加工符号Ｃは時系列に配置されたイベントデータで構成され、各イベントデータには、発音開始または発音終了の識別、時刻、音の高さ、チャンネル番号、音の強さの属性情報を備えた符号データであり、
前記加算演算に基づく演算は、
前記２つの符号データの各イベントデータに対して互いに異なるチャンネル番号を付与しながら、時刻が早い順にソートして、２つのチャンネル番号を有する１つの時系列な符号データに統合し、２チャンネル符号データを作成する符号データ統合手段と、
発音開始のイベントデータとそれに対応する同一の音の高さをもつ発音終了の２つのイベントデータの対で構成される区間を発音区間としたとき、前記２チャンネル符号データの中で、一方のチャンネルの発音区間が、同一の音の高さをもつ他方のチャンネルの発音区間と時間的に全てまたは一部が重複する場合に、両発音区間が重複する区間を、両発音区間の音の強さの和を新たな音の強さとする新たな発音区間を重複区間として生成し、前記重複する両発音区間のうち、重複しない区間については、一方のチャンネルの発音区間の音の強さを有する発音区間を生成する発音区間更新手段と、
前記発音区間更新手段にて更新された発音区間の各々の発音開始のイベントデータと発音終了のイベントデータを時系列にソートし、所定の形式で符号化する演算符号データ符号化手段と、
により実行されることを特徴とする聴覚マスキングデータの作成装置。 In any one of Claims 12-16,
The masky code A, the masker original sound code B, and the masker processed code C are composed of event data arranged in time series, and each event data includes the start / end of pronunciation, time, pitch, and channel number. , Code data with sound intensity attribute information,
The operation based on the addition operation is
While assigning different channel numbers to each event data of the two code data, they are sorted in the order from the earliest time and integrated into one time-series code data having two channel numbers. Code data integration means for creating
When a section composed of a pair of event data for starting pronunciation and two corresponding event data for end of pronunciation having the same pitch is set as a pronunciation section, one channel of the two-channel code data If all or part of the sound production interval overlaps with the sound production interval of the other channel with the same pitch, the sound intensity of both sound production intervals A new sounding interval with the sum of the new sound intensity is generated as an overlapping interval, and among the overlapping sounding intervals, for the non-overlapping interval, the sounding having the sound intensity of the sounding interval of one channel Pronunciation interval update means for generating intervals;
Operation code data encoding means for sorting event data of pronunciation start and event data of pronunciation end of each of the sound generation sections updated by the sound generation section update means in time series, and encoding in a predetermined format;
A device for creating auditory masking data, characterized in that it is executed by:
前記発音区間更新手段は、前記重複区間の音の強さが０の場合、前記音の強さを０以外の１〜１２７の範囲で小さな値に変更することを特徴とする聴覚マスキングデータの作成装置。 In any one of Claims 15-17,
The sounding section updating means changes the sound intensity to a small value within a range of 1 to 127 other than 0 when the sound intensity of the overlapping section is 0. Creation of auditory masking data apparatus.
前記発音区間更新手段は、前記重複区間の音の強さが０の場合、前記重複区間を符号化対象から削除することを特徴とする聴覚マスキングデータの作成装置。 In any one of Claims 15-17,
When the sound intensity of the overlapping section is 0, the sounding section updating means deletes the overlapping section from the encoding target, and the auditory masking data creating apparatus is characterized in that:
前記演算符号データ符号化段階にて符号化された演算符号データに対して、発音開始のイベントデータとそれに対応する同一の音の高さをもつ発音終了の２つのイベントデータの対で構成される発音区間を抽出し、前記抽出された全ての発音区間の時間間隔（発音終了のイベントデータの時刻と発音開始のイベントデータの時刻との差）の総和値Ｄｕｒａｔｉｏｎ、および前記抽出された全ての発音区間の音の強さと発音区間の時間間隔（発音終了のイベントデータの時刻と発音開始のイベントデータの時刻との差）との積の総和値Ｅｎｅｒｇｙを算出し、総和値Ｅｎｅｒｇｙを総和値Ｄｕｒａｔｉｏｎで除した値を前記演算符号データの評価値として出力するようにしていることを特徴とする聴覚マスキングデータの作成装置。 In any one of claims 15 to 19,
For the operation code data encoded in the operation code data encoding step, the operation code data is composed of a pair of event data at the start of sound generation and two corresponding event data at the end of sound generation having the same pitch. A pronunciation interval is extracted, and the total value Duration of the time intervals of all the extracted pronunciation intervals (the difference between the time of event data at the end of pronunciation and the time of event data at the start of pronunciation), and all the extracted pronunciations The sum total value Energy of the product of the sound intensity of the section and the time interval of the sound generation section (difference between the time of the event data at the end of sound generation and the time of the event data at the start of sound generation) is calculated, and the sum value Energy is calculated as the sum value Duration. An apparatus for creating auditory masking data, wherein the divided value is output as an evaluation value of the operation code data.
前記演算符号データ符号化手段は、前記重複発音区間差分処理手段により得られた発音区間として、発音開始と発音終了の時刻が同一のものがある場合に、当該発音区間を構成するイベントデータを削除する処理をさらに行うことを特徴とするマスキングデータの作成装置。 In any one of claims 15 to 20,
The operation code data encoding means deletes event data constituting the sounding section when there is a sounding section obtained by the overlapping sounding section difference processing means having the same sounding start time and sounding end time. An apparatus for creating masking data, further performing a process for performing the above-described process.
前記符号データは、ＭＩＤＩデータであり、前記発音開始の識別はノートオン、前記発音終了の識別はノートオフ、前記時刻はデルタタイム、前記音の高さはノートナンバー、前記音の強さはベロシティ、前記発音区間はノートオン区間で表現されることを特徴とする聴覚マスキングデータの作成装置。 In any one of Claims 15 to 21,
The code data is MIDI data, the start of sound identification is note-on, the end of sound generation is note-off, the time is delta time, the pitch is a note number, and the sound intensity is velocity. An apparatus for generating auditory masking data, wherein the pronunciation interval is expressed as a note-on interval.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011044761A JP5857418B2 (en) | 2011-03-02 | 2011-03-02 | Method and apparatus for creating auditory masking data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011044761A JP5857418B2 (en) | 2011-03-02 | 2011-03-02 | Method and apparatus for creating auditory masking data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012181393A true JP2012181393A (en) | 2012-09-20 |
| JP5857418B2 JP5857418B2 (en) | 2016-02-10 |
Family
ID=47012633
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011044761A Expired - Fee Related JP5857418B2 (en) | 2011-03-02 | 2011-03-02 | Method and apparatus for creating auditory masking data |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5857418B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014066804A (en) * | 2012-09-25 | 2014-04-17 | Yamaha Corp | Method, device, and program for sound masking |
| JP2019052493A (en) * | 2017-09-15 | 2019-04-04 | 株式会社Ｌｉｘｉｌ | Toilet sound blocker |
| US10754271B2 (en) | 2017-01-04 | 2020-08-25 | Powdertech Co., Ltd. | Magnetic core material for electrophotographic developer, carrier for electrophotographic developer, and developer |
| US10996576B2 (en) | 2017-01-04 | 2021-05-04 | Powdertech Co., Ltd. | Magnetic core material for electrophotographic developer, carrier for electrophotographic developer, and developer |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07143590A (en) * | 1993-11-16 | 1995-06-02 | Matsushita Electric Ind Co Ltd | Sound reproducing device |
| JPH10500263A (en) * | 1994-03-31 | 1998-01-06 | セリディアン コーポレイション | Apparatus and method for including and decoding a code in an audio signal |
| JP2007187748A (en) * | 2006-01-11 | 2007-07-26 | Matsushita Electric Ind Co Ltd | Sound selective processing device |
| JP2008209703A (en) * | 2007-02-27 | 2008-09-11 | Yamaha Corp | Karaoke machine |
| JP2009180757A (en) * | 2008-01-29 | 2009-08-13 | Yamaha Corp | Electronic musical device and performance data editing display program |
| WO2010016589A1 (en) * | 2008-08-08 | 2010-02-11 | ヤマハ株式会社 | Modulation device and demodulation device |
| JP2011033949A (en) * | 2009-08-04 | 2011-02-17 | Yamaha Corp | Conversation leak preventing device |
-
2011
- 2011-03-02 JP JP2011044761A patent/JP5857418B2/en not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07143590A (en) * | 1993-11-16 | 1995-06-02 | Matsushita Electric Ind Co Ltd | Sound reproducing device |
| JPH10500263A (en) * | 1994-03-31 | 1998-01-06 | セリディアン コーポレイション | Apparatus and method for including and decoding a code in an audio signal |
| JP2007187748A (en) * | 2006-01-11 | 2007-07-26 | Matsushita Electric Ind Co Ltd | Sound selective processing device |
| JP2008209703A (en) * | 2007-02-27 | 2008-09-11 | Yamaha Corp | Karaoke machine |
| JP2009180757A (en) * | 2008-01-29 | 2009-08-13 | Yamaha Corp | Electronic musical device and performance data editing display program |
| WO2010016589A1 (en) * | 2008-08-08 | 2010-02-11 | ヤマハ株式会社 | Modulation device and demodulation device |
| JP2011033949A (en) * | 2009-08-04 | 2011-02-17 | Yamaha Corp | Conversation leak preventing device |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014066804A (en) * | 2012-09-25 | 2014-04-17 | Yamaha Corp | Method, device, and program for sound masking |
| US10754271B2 (en) | 2017-01-04 | 2020-08-25 | Powdertech Co., Ltd. | Magnetic core material for electrophotographic developer, carrier for electrophotographic developer, and developer |
| US10996576B2 (en) | 2017-01-04 | 2021-05-04 | Powdertech Co., Ltd. | Magnetic core material for electrophotographic developer, carrier for electrophotographic developer, and developer |
| JP2019052493A (en) * | 2017-09-15 | 2019-04-04 | 株式会社Ｌｉｘｉｌ | Toilet sound blocker |
| JP7145596B2 (en) | 2017-09-15 | 2022-10-03 | 株式会社Lixil | onomatopoeia |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5857418B2 (en) | 2016-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kahrs et al. | Applications of digital signal processing to audio and acoustics | |
| Benson | Music: a mathematical offering | |
| Kawahara | Half rhymes in Japanese rap lyrics and knowledge of similarity | |
| JP5857418B2 (en) | Method and apparatus for creating auditory masking data | |
| KR101534346B1 (en) | Music piece reproducing apparatus, music piece reproducing method and recording medium | |
| JP2010054991A (en) | Recording device | |
| CN112289300B (en) | Audio processing method and device, electronic equipment and computer readable storage medium | |
| US10463281B2 (en) | Hearing test method and system, readable record medium and computer program product | |
| JP2014130251A (en) | Conversation protection system and conversation protection method | |
| Shimokura et al. | Listening level of music through headphones in train car noise environments | |
| JP4298612B2 (en) | Music data processing method, music data processing apparatus, music data processing system, and computer program | |
| Ferguson et al. | Using psychoacoustical models for information sonification | |
| JP2017138506A (en) | Environmental sound generation device and environmental sound generation system using the same, environmental sound generation program, sound environment forming method and recording medium | |
| EP3876226B1 (en) | Method and device for automated harmonization of digital audio signals | |
| JP6232710B2 (en) | Sound recording device | |
| JP4486051B2 (en) | Karaoke BGM performance system | |
| JP5644268B2 (en) | Confidential data generating device, concealed data generating method, concealing device, concealing method and program | |
| JP4775236B2 (en) | Speech synthesizer | |
| Williams | Towards a timbre morpher | |
| Gonzalez | Euphonium Timbre: A Spectral Analysis of Different Mouthpiece Materials | |
| Feng et al. | New considerations for vowel nasalization based on separate mouth-nose recording | |
| Mayas | Creating with timbre | |
| JP5849508B2 (en) | BGM masking effect evaluation method and BGM masking effect evaluation apparatus | |
| CN116907624A (en) | Method for measuring and extracting key parameters of sound field of concert hall | |
| JP2023020577A (en) | masking device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20130823 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140110 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150303 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150428 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151117 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5857418 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |