JP2003218806A - 標本化信号生成装置及び標本化信号再生装置並びにその方法 - Google Patents

Abstract

(57)【要約】 【課題】 標本化信号のデータ量を増すことなしに、そ
の標本化周波数以上の精度で原信号を忠実に復元できる
ようにする。 【解決手段】 原信号を所定の第１の分解能で標本化し
た標本化信号を提供する手段と、原信号を第１の分解能
よりも細かい第２の分解能で標本化した教師信号を提供
する手段と、標本化信号と演算する重み係数を教師信号
に基づく学習により生成するニューラルネットワークと
を具え、生成した重み係数を標本化信号に付属させて出
力する。再生装置は、標本化信号を再生する手段と、再
生された標本化信号とそれに付属する重み係数とを演算
するニューラルネットワークとを具え、第２の分解能に
対応する精度で原信号を復元する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ニューラルネッ
トを利用してオーディオ若しくは画像等の標本化信号を
生成する装置及び前記装置にて生成した標本化信号を再
生するための装置に関し、更には、その方法に関する。

【０００２】

【従来の技術】周知の通り、標本化信号ｆｓから原信号
ｆを復元するに際して、標本化信号ｆｓの標本化周期を
Ｔｓとし、時間をｔとすると、標本化定理は下記の式
（１）にて表される。

【数１】 上記式において、ｓｉｎ［π／Ｔｓ＊（ｔ−ｎＴｓ）］
／［π／Ｔｓ＊（ｔ−ｎＴｓ）は、ｓｉｎｃ関数特性を
示しており、標本化周期Ｔｓでサンプリングした各ｎ番
目（−∞＜ｎ＜∞）の標本値ｆ（ｎＴｓ）を、前記ｓｉ
ｎｃ関数を係数として−∞から∞の間で畳み込みすれ
ば、原信号ｆのある時点ｔにおける信号ｆ（ｔ）を復元
することができることを示している。ところで、周知の
ように標本化定理によって標本化信号から原信号の復元
を行うと、復元された信号においては標本化周期Ｔｓの
１／２（ナイキスト周波数）より上の波形成分はカット
されてしまう。例えば、音楽用コンパクトディスク（Ｃ
Ｄ）の場合、通常は標本化周波数約４４ｋＨｚにて標本
化しているため、復元信号（つまり再生音）において略
々２０ｋＨｚ以上の高調波成分はカットされている。し
かしながら、例えば実際の楽器音等のオーディオ波形の
周波数スペクトラムは２０ｋＨｚ以上の高い成分を含ん
でおり、その高調波成分の含み具合の異なり様によって
種々の音色の違いが生じる以上、オーディオ再生音にお
いても高調波成分を含む高品質な音を再現できる方が望
ましく、未だにアナログ盤が根強い人気を保っているの
も、高調波成分を含む高品質な再生音のためといえよ
う。勿論、標本化周波数（標本化周期Ｔｓ）を高く設定
することで高周波成分を含む高品質な再生音を得ること
も可能だが、そのように細かい周期でサンプリングする
と標本化信号に必要なデータ量が膨大に増加してしま
い、莫大な記憶容量が必要となるため、例えば通常のＣ
Ｄ１枚に記録できる収録時間等の実質的な記憶内容量が
減少する等、種々の不都合が生じていた。従って、通常
のＣＤにあっては、現状のデータ量を維持したまま高周
波成分を含ませて音質の向上を図ることはできなかっ
た。

【０００３】一方、元の標本化周波数を上げることなく
オーバーサンプリングして再生することにより、ナイキ
スト周波数を上げ、再生音中により高域の成分を含ませ
ることができるようにすることが知られている。すなわ
ち、前記式（１）を変形すると下記の式（２）が得ら
れ、これに基づきオーバーサンプリング再生を行う。

【数２】 式（２）において、ｆｓは原信号ｆを標本化周期Ｔｓで
サンプリングした標本化信号の標本値であり、τはＴｓ
よりも細かい所定の周期（オーバーサンプリング周期）
であり、Ｔｓはτの整数倍である。ｆｓ（ｔ−ｎτ）
は、時刻ｔ−ｎτにおける標本化信号ｆｓの標本値を示
し、時刻ｔ−ｎτがＴｓの整数倍のとき実質的な標本値
を持ち、それ以外のとき０である。式（２）は、標本化
周期Ｔｓで標本化した信号ｆｓに対して、Ｔｓよりも細
かな周期τの分解能で畳み込み演算することを示してい
る。すなわち、標本化周期Ｔｓの標本化信号ｆｓに基づ
き、Ｔｓよりも細かな周期τの分解能で、原信号ｆの復
元を行うことができることを示している。この畳み込み
演算は、周期τのタイミングで動作するディジタルフィ
ルタで、標本化周期Ｔｓの標本化信号ｆｓを処理するこ
とにより実現される。この場合、重み係数すなわちフィ
ルタ係数としては、式（２）に示すような｛ｓｉｎ［π
＊ｎτ／Ｔｓ］｝／［π＊ｎτ／Ｔｓ］というｓｉｎｃ
関数が、有限個のｎに関して固定値として与えられる。
しかし、このような従来のオーバーサンプリングによる
再生にあっては、ナイキスト周波数を見かけ上高くする
ことで再生音中により高域の成分を含ませることができ
るにしても、予め固定されたｓｉｎｃ関数の重み付け特
性でしか畳み込み演算が行われないため、原信号ｆの波
形を精度よく忠実に再現するには限界があった。音楽用
ＣＤ等の物理的記憶媒体において標本化信号から原信号
を復元する場合に限らず、例えば、近年通信ネットワー
クを介して盛んに行われている音楽データや画像データ
の伝送及び再生・復元においても同様の問題がある。

【０００４】

【発明が解決しようとする課題】この発明は上述の点に
鑑みてなされたもので、標本化信号のデータ量を増すこ
となしに、その標本化周波数以上の精度で原信号を忠実
に復元できるようにした標本化信号生成装置及び標本化
信号再生装置並びにその方法を提供しようとするもので
ある。

【０００５】

【課題を解決するための手段】本発明の請求項１に係る
標本化信号生成装置は、原信号を所定の第１の分解能で
標本化した標本化信号を提供する手段と、前記原信号を
前記第１の分解能よりも細かい第２の分解能で標本化し
た教師信号を提供する手段と、前記標本化信号と前記教
師信号を入力し、前記標本化信号と演算する重み係数を
前記教師信号に基づく学習により生成するニューラルネ
ットワークとを具え、前記生成した重み係数を前記標本
化信号に付属させて出力することを特徴とする。教師信
号は第１の分解能よりも細かい第２の分解能で標本化し
たものなので、標本化信号よりも原信号の特性に近い高
品質なデータである。よって、教師信号に基づく学習に
より生成された重み係数は、教師信号の原信号再現精度
と同等の品質の波形を再現しうるものである。しかも重
み係数のデータ量は標本値それ自体よりもはるかに少な
い。また、標本化信号は教師信号よりも分解能が粗いの
で、教師信号に比べてはるかにデータ量が少ない。よっ
て、標本化信号とそれに付属する重み係数との組み合わ
せからなるデータセットは、教師信号の原信号再現精度
と同等の品質の波形を再現しうるものでありながら、そ
のデータ量が少なくて済む。

【０００６】また、本発明の請求項２に係る標本化信号
再生装置は、請求項１の標本化信号生成装置で出力した
前記標本化信号及びそれに付属する前記重み係数に基づ
き前記原信号を復元する装置であって、前記標本化信号
を前記第１の分解能に対応する第１の周期で再生する手
段と、前記第２の分解能に対応する第２の周期に従っ
て、再生された前記標本化信号とそれに付属する前記重
み係数とを演算するニューラルネットワークとを具え、
前記第２の分解能に対応する精度で前記原信号を復元し
た出力信号が前記ニューラルネットから出力されること
を特徴とする。ここで使用する重み係数は、教師信号に
基づく学習により生成されたものであるから、教師信号
の原信号再現精度と同等の品質の波形を再現しうるもの
であり、教師信号の原信号再現性能に見合った可変の重
み付け特性で演算が行われることになり、原信号の波形
を精度よく忠実に再現することができる。

【０００７】また本発明は、装置の発明として構成し実
施することができるのみならず、方法の発明として構成
し実施することもできる。

【０００８】また本発明に係る記憶媒体は、原信号を所
定の第１の分解能で標本化した標本化信号と、前記原信
号を前記第１の分解能よりも細かい第２の分解能で標本
化した教師信号を用いた学習により求められた前記標本
化信号と演算すべき重み係数とを組み合わせて前記原信
号の標本化データとして記憶したことを特徴とする。更
に、本発明に係るデータ伝送方式は、信号を所定の第１
の分解能で標本化した標本化信号と、前記原信号を前記
第１の分解能よりも細かい第２の分解能で標本化した教
師信号を用いた学習により求められた前記標本化信号と
演算すべき重み係数とを組み合わせて前記原信号の標本
化データとして伝送することを特徴とする。

【０００９】前記原信号を複数の区間に分割し、各区間
に対応して前記重み係数のセットをそれぞれ有するよう
にすれば好ましく、原信号の再現精度をより一層向上さ
せることができる。

【００１０】

【発明の実施形態】以下、添付図面を参照して本発明の
一実施例として、楽曲のオーディオ波形を標本化した標
本化信号からの原信号復元について説明する。まず、デ
ータ供給側における必要なデータ生成処理の概略につい
て、図１の本発明の一実施例の基本的ブロック図を参照
して説明すると、図１において、１０は教師付きニュー
ラルネットワーク、２０は標本化信号供給源、２１は教
師信号供給源、である。ニューラルネットワーク１０
は、概ね、遅延ライン１１と、畳み込み演算部１２と、
教師付き学習部１３とから構成される。詳しくは後述す
るが、このニューラルネットワーク１０は、畳み込み演
算部１２にてニューラルネットワーク１０に対して入力
された標本化信号ｆｓを所定の重み係数Ｗｎで演算し、
その演算結果である出力信号ｙが教師信号ｆｚと同じ信
号になるように、教師付き学習部１３にて該重み係数Ｗ
ｎを該教師信号Ｆｚに基づく学習により適切に変更（学
習）して、この学習により生成した重み係数Ｗｎを前記
標本化信号ｆｓに付属させて出力するものである。この
出力した前記重み係数Ｗｎのデータと前記標本化信号ｆ
ｓのデータを例えばＣＤ等の記憶媒体に記憶して、デー
タ受け手に対して提供することができる。

【００１１】標本化信号供給源２０は、標本化周期Ｔｓ
（第１の分解能）でサンプリングした標本化信号ｆｓを
ニューラルネットワーク１０に対して供給するものであ
り、標本化信号ｆｓの波形図の一例を示すと図１中の
（Ａ）のようである。（Ａ）において原信号ｆを点線で
示している。標本化信号ｆｓ（ｔ）は、この原信号ｆを
分解能Ｔｓで標本化した信号の、ある時点ｔにおけるデ
ータである。標本化信号供給源２０から実践的に供給さ
れるデータとしては、例えば、復元したい楽曲のマスタ
ー音源を所定の標本化周期Ｔｓ（例えば通常のＣＤ規格
の標本化周波数（約４４ｋＨｚ）等）でサンプリングし
たデータ等の任意のものを用いてよく、また、ＣＤ等に
収録された既存のデータを使用することも可能である。
教師信号供給源２１は、原信号ｆをより精密な標本化周
期τ（第２の分解能）でサンプリングした教師信号ｆｚ
をニューラルネットワーク１０に対して供給するもので
ある。教師信号ｆｚの波形図の一例を示すと図１中の
（Ｂ）のようである。（Ｂ）においても原信号ｆを点線
で示している。教師信号ｆｚ（ｔ）は、この原信号ｆを
分解能τで標本化した信号の、ある時点ｔにおけるデー
タである。教師信号ｆｚの標本化周期τは、標本化信号
ｆｓの標本化周期Ｔｓの１／ａ倍（つまりａτ＝Ｔｓ、
但しａは整数）になっており、標本化信号ｆｓの１標本
化周期Ｔｓ中に、教師信号ｆｚの１標本化周期τがａ個
入ることとなる。つまり、教師信号ｆｚは前記標本化信
号ｆｓよりも精密な分解能のサンプリングデータであ
る。よって、教師信号供給源２１から供給されるデータ
としては、復元したい楽曲オーディオ波形（原信号）を
標本化周期τでサンプリングした高品質なデータを用い
ることになる。というのも、この教師信号ｆｚを範とし
て適切な重み係数Ｗｎを生成し、この生成した重み係数
Ｗｎと標本化信号ｆｓを演算することで、所望の高品質
の出力信号を得ることが可能となるからである。なお、
図１中の波形図（Ａ）及び（Ｂ）においては、一例とし
て、標本化信号ｆｓの１標本化周期Ｔｓ中に教師信号ｆ
ｚの標本化周期τが４個入っている。

【００１２】遅延ライン１１は複数の遅延段から構成さ
れており、図１において該複数の遅延段を遅延ライン１
１内の点線で示す。標本化信号供給源２０から供給され
る標本化信号ｆｓ（ｔ）は、この遅延ライン１１に対し
て入力される。遅延ライン１１はシフトコマンドＣＫに
よって動作制御される。このシフトコマンドＣＫは標本
化周期τに相当する分解能のシフトコマンドとして機能
するものであるが、実際の周期τでリアルタイムで発生
されるものではなく、ニューラルネットワーク１０にお
ける学習処理プログラムの進行に応じて非リアルタイム
に発生されるものである。遅延ライン１１に対して入力
された標本化信号ｆｓ（ｔ）は、一回のシフトコマンド
ＣＫ毎に順次１段づつシフトされる。

【００１３】標本化信号供給源２０は、シフトコマンド
ＣＫがａ回発生する毎に、１サンプルの標本化信号ｆｓ
（ｔ）を順次出力し、遅延ライン１１に入力する。図
中、符号ａＣＫはシフトコマンドＣＫがａ回発生する毎
に生じる出力コマンドを示す。この出力コマンドａＣＫ
に応じて、シフトコマンドＣＫのａ回の発生機会のう
ち、１回で１サンプルの標本化信号ｆｓ（ｔ）が遅延ラ
イン１１に入力され、残りのａ−１回では０が遅延ライ
ン１１に入力される。この遅延ライン１１に対する標本
化信号ｆｓ（ｔ）の入力動作の一例について図２を参照
して説明する。ここでは仮に、シフトコマンドＣＫに対
応する分解能τを標本化信号ｆｓ（ｔ）の標本化周期Ｔ
ｓに対して１／４（つまりＴｓ＝４τ）とする。また、
遅延ライン１１に入力される最新の入力データは図にお
いて左側の遅延段１１ａに入力されるものとする。

【００１４】シフトコマンドＣＫに対応する分解能τは
Ｔｓ／４であるから、標本化信号ｆｓ（ｔ）の標本化周
期Ｔｓの１間隔につき、シフトコマンドＣＫは４回発生
することになる。そのため、シフトコマンドＣＫの４回
の発生機会のうち、１回で１サンプルの標本化信号ｆｓ
（ｔ）が遅延ライン１１に入力され、残りの３回では０
が遅延ライン１１に入力される。例えば、ｆｓ（ｔ）に
おけるｔが周期Ｔｓ毎に０，１，２，…と変化するとす
ると、実質的な値を持つ標本値は図２においてｆｓ
（0），ｆｓ（1），ｆｓ（2），…で示され、これらは
シフトコマンドＣＫが４回発生する毎に１回の割で遅延
ライン１１に入力される。図２において、ｆｓ（ｔ）に
おけるｔとして、1/4、2/4、3/4、のように分数で示さ
れたものは、標本化周期Ｔｓに同期していないものを示
し、これらの値ｆｓ（1/4）、ｆｓ（2/4）、ｆｓ（3/
4）としては前述の通り「０」が入力される。具体例と
して、実質的な標本値を有する標本化信号ｆｓ（0）が
最初の遅延段１１ａに入力されたとき、次に１シフトコ
マンドＣＫが発生すると、この標本化信号ｆｓ（0）は
次の遅延段１１ｂにシフトされ、遅延段１１ａには信号
ｆｓ（1/4）の入力データとして値０が入力される。次
のシフトコマンドＣＫが発生すると、これに応じて標本
化信号ｆｓ（0）は次の遅延段１１ｃにシフトし、ま
た、遅延段１１ａの値０は次の遅延段１１ｂにシフト
し、遅延段１１ａには信号ｆｓ（2/4）の入力データと
して値０が入力される。このように、１シフトコマンド
に応じて、各遅延段のデータが図において右側の次段に
順次シフトして、遅延段１１ａに新たなデータが入力さ
れる。次の３回目のシフトでは遅延段１１ａには信号ｆ
ｓ（3/4）の入力データとして値０が入力され、４回目
のシフトで、遅延段１１ａに対して実質的な標本値を有
する標本化信号ｆｓ（1）が入力される。この時、各遅
延段１１ａ〜１１ｅに対して、図２に示すように、１１
ａにｆｓ（1）、１１ｂに０、１１ｃに０、１１ｄに
０、１１ｅにｆｓ（0）、という具合にデータが入力さ
れていることになる。

【００１５】畳み込み演算部１２には、遅延ライン１１
の複数の遅延段に対応する複数の係数値を１セットとす
る重み係数Ｗｎが入力されている。畳み込み演算部１２
では、前記複数の各遅延段に入力されているデータとそ
れに対応する各係数値とを乗算して、畳み込み演算す
る。この畳み込み演算については公知のため説明を省略
する。上記の通り、遅延ライン１１に対して分解能τで
データが入力されるので、畳み込み演算部１２から、演
算した結果として出力される出力信号ｙ（ｔ）も分解能
τの信号である。ここで、既述の式（１）に示したｓｉ
ｎｃ関数を１セットの重み係数Ｗｎの初期値Ｗｎ’とし
て設定すると、重み係数Ｗｎは下記の式（３）のように
表現される。

【数３】 このように重み係数Ｗｎをｓｉｎｃ関数で初期設定した
とき、当該ニューラルネットワーク１０は既述の式
（２）と等価なシステムである。この場合、図１に例示
した各係数値Ｗ-2，Ｗ-1，Ｗ0，Ｗ1，Ｗ2は、それぞれ
下記の式（４）、式（５）、式（６）、式（７）、式
（８）のように記述される。

【数４】 式（３）にて表現されるｓｉｎｃ関数を図示すると図３
のようである。１セットの重み係数Ｗｎにおける各係数
…Ｗ-2，Ｗ-1，Ｗ0，Ｗ1，Ｗ2，…は、図３に示すよう
なｓｉｎｃ関数においてＷ0を中心にしてτの分解能で
左右にプロットされる有限個の係数群からなる。ここ
で、Ｗ0＝１の重み係数が付与される標本値（これをｆ
ｓ（ｉ）とする）のタイミングが現在サンプルタイミン
グであり、教師信号ｆｚ（ｔ）としては該現在サンプル
タイミングに対応する教師信号標本値（これをｆｚ
（ｉ）とする） が使用される。現在サンプルタイミン
グとはシフトコマンドＣＫ毎に進行する分解能τに対応
する精度のサンプルタイミングのことである。尚、有限
個の係数群からなる重み係数Ｗｎの数は設計上任意に設
定してよく、例えば１０００個程度でも十分によい再生
精度が得られる。

【００１６】教師信号供給源２１は、分解能τに対応す
る精度からなる教師信号ｆｚ（ｔ）の標本値を、シフト
コマンドＣＫの発生毎に（すなわち現在サンプルタイミ
ングの進行に伴って）順次出力し、これを教師付き学習
部１３に入力する。なお、例えば、標本化信号ｆｓ
（ｔ）のｉ番目の時刻ｔの標本値ｆｓ（ｉ）が遅延ライ
ン１１で重み係数Ｗ0に対応する位置までシフトされて
きたときに、同じｉ番目の時刻ｔの教師信号標本値ｆｚ
（ｉ）を出力するように、標本化信号供給源２０と教師
信号供給源２１とが同期動作する。教師信号ｆｚ（ｔ）
は、ニューラルネットワーク１０の畳み込み演算部１２
から出力される出力信号ｙ（ｔ）が該教師信号ｆｚ
（ｔ）と同じ信号になるような適切な重み係数Ｗｎを設
定するための模範信号である。教師付き学習部１３は、
教師信号ｆｚ（ｔ）を模範信号とする学習により、畳み
込み演算部１２から出力される出力信号ｙ（ｔ）が教師
信号ｆｚ（ｔ）と同じ値になるように、重み係数Ｗｎの
値を適切に変更する。なお、教師付き学習部１３におけ
る具体的な学習アルゴリズムとしては公知又は未公開の
適宜の手法を用いてよい。

【００１７】ニューラルネットワーク１０に対して、原
信号ｆの復元したい或る範囲に対応する標本化信号ｆｓ
と教師信号ｆｚとを順次最後まで入力して行き、入力し
た範囲について一通り学習することを、以下「１波形回
学習する」と呼ぶ。例えば、或る楽曲全体を１波形回学
習で学習させる場合は、その曲頭から曲終了までの標本
化信号をニューラルネットワーク１０に対して順次入力
して行き、教師信号もそれに対応すして曲頭から曲終了
まで順次切り換えて入力して行く。畳み込み演算部１２
からの出力信号ｙ（ｔ）と教師信号ｆｚ（ｔ）とが各々
分解能τで教師付き学習部１３に入力されることからも
明らかな通り、１波形回学習するに際して、或る１時点
ｔに関する学習はτ相当の分解能でなされるもので、こ
の１τ相当の学習処理を１ステップ学習と名付ける。

【００１８】例えば、ｉ番目の１ステップ学習がなされ
る場合について考えると、このとき、標本化信号ｆｓ
（ｔ）のｉ番目の時刻ｔの標本値ｆｓ（ｉ）が遅延ライ
ン１１で重み係数Ｗ0に対応する位置までシフトされて
おり、同じｉ番目の時刻ｔの教師信号標本値ｆｚ（ｉ）
が教師付き学習部１３に入力される。遅延ライン１１に
入力されている標本化信号に関して、畳み込み演算部１
２にて重み係数Ｗｎ₁で畳み込み演算を行い、その演算
結果として出力信号ｙ（ｉ）が教師付き学習部１３に対
して入力され、教師付き学習部１３では、入力された教
師信号ｆｚ（ｉ）の値に基づき、入力された畳み込み演
算部１２からの出力信号ｙ（ｉ）が該教師信号ｆｚ
（ｉ）の値と同じになるような適切な１セット全部の重
み係数Ｗｎ₂に変更する。このように、１つの教師信号
ｆｚの値に対応して（及びこれに対応する標本化信号の
入力設定に対応して）、１ステップ学習の学習結果とし
て重み係数Ｗｎの１セットの値が算出される。次の１ス
テップ学習では前記重み係数Ｗｎ ₂が更新されることに
なる。このように１シフトコマンドＣＫ毎に上記の１ス
テップ学習を順次行い、各１ステップ学習毎に１セット
の重み係数Ｗｎの値が逐次更新されて行く。このように
して順次重み係数Ｗｎを更新して行き、復元したい所定
範囲における一番最後のステップ学習がなされた時の１
セットの重み係数Ｗｎのデータが、当該１波形回学習に
おける学習結果として１セットの重み係数Ｗｎとして出
力（図１に示すＷｎ学習結果出力）されることになる。
この１波形回学習の結果として出力される重み係数Ｗｎ
は、原信号ｆの特性に近い高品質なデータである教師信
号ｆｚに基づく学習により生成されたものなので、教師
信号の原信号再現精度と同等の品質の波形を再現しうる
ものである。学習処理による重み係数Ｗｎの変化の１例
を示すと図４のようである。学習の結果、学習処理後の
重み係数Ｗｎが初期値Ｗｎ’（ｓｉｎｃ関数）と比較し
て変化していることが見て取れる。

【００１９】実際に或る１楽曲について学習処理を行う
際は、処理対象となるオーディオ波形（原信号ｆ）を複
数の区間に分割し、分割した複数の区間夫々について１
波形回学習を行い、その各区間に対応して前記重み係数
のセットをそれぞれ有するようにすれば好ましく、これ
により原信号ｆの再現精度をより一層向上させることが
できる。例えば、曲時間３分の楽曲を１波形回学習を１
分間とする３波形回の区間に区切って学習することを考
えると、この場合、曲の頭（０分）〜１分までを第１の
区間として第１の１波形回学習を行い、１分〜２分まで
を第２の区間として第２の１波形回学習を行い、２分〜
３分までを第３の区間として第３の１波形回学習を行
う。この結果、当該楽曲の再生時に使用する重み係数Ｗ
ｎとしては各区間毎に夫々１セットづつ、第１の区間用
として第１の重み係数Ｗｎ（１）、第２の区間用として
第２の重み係数Ｗｎ（２）、第３の区間用として第３の
重み係数Ｗｎ（３）の計３セットの重み係数Ｗｎが得ら
れることになる。尚、１区間あたりの時間長は均一であ
る必要はなく、例えば第１の区間を４０秒、第２の区間
を１分３０秒、第３の区間を５０秒とする等、適宜に設
定することができる。

【００２０】なお、上述した１波形回学習は同じ波形
（区間）について複数回なされるようにしてもよい。す
なわち、ある波形を１波形回学習して出力された重み係
数Ｗｎを初期値として、前記波形に関して再度１波形回
学習して、２波形回学習するようにしてもよく、同様に
して、３波形回学習、４波形回学習…というように１波
形回学習を重ねて行ってもよい。このように１波形回学
習を同じ波形について複数回行うことで、重み係数Ｗｎ
の原信号復元能力を向上させることができる。

【００２１】上述の学習処理により生成した重み係数の
データは標本化信号ｆｓに付属して出力される。この出
力の形態としては例えばＣＤのような物理的記憶媒体に
記録する形態がある。そのような出力形態をとる場合、
本発明に従って生成された標本化信号と重み係数との組
み合わせからなるデータを記録したＣＤ等の物理的記憶
媒体が、一般ユーザ等のデータ受け手に供給される。こ
のようにして出力される、本発明に従って生成された標
本化信号と重み係数との組み合わせからなるデータの構
成例について図５により説明する。図５は、本発明に従
って生成された標本化信号ｆｓと重み係数Ｗｎとの組み
合わせからなる標本化データの構成例を示すもので、楽
曲データからなる原信号を複数区間（上記の例では３区
間）に分割して各区間毎に重み係数を学習・生成し、こ
れを標本化信号に組み合わせてＣＤのような記録媒体に
記録した例を示す。このデータフォーマットは、当該楽
曲データの再生に必要な制御情報等を記録するヘッダ部
と、再生する楽曲（原信号ｆ）を標本化周期Ｔｓで標本
化した標本化信号ｆｓを時系列的に記録したオーディオ
データ記録部とを含む。ヘッダ部には、標本化信号ｆｓ
の標本化周期Ｔｓを指示するデータ及びそれより細かな
標本化周期τを指示するデータと、各区間（第１〜第３
の区間）にそれぞれ対応する重み系数Ｗｎ（１）〜
（３）及び各区間の継続時間を示す時間間隔データＴ
（１）〜（３）とが記録されている。時間間隔データＴ
（１）が第１の区間に対応し、時間間隔データＴ（２）
が第２の区間に対応し、時間間隔データＴ（３）が第３
の区間に対応する。この時間間隔データＴ（１）〜
（３）により指示される時間に応じて、それぞれ該当す
る重み系数Ｗｎ（１）〜（３）を使用し、また、その切
り換え時期を制御することとなる。なお、図５に示すよ
うな全部の重み系数Ｗｎ（１）〜（３）と時間間隔デー
タＴ（１）〜（３）とをヘッダに一括して纏めて記録す
るのに限らず、第１の区間に当たる重み系数Ｗｎ（１）
と時間間隔データＴ（１）のみヘッダ部に記憶して、重
み系数Ｗｎ（２）、Ｗｎ（３）と時間間隔データＴ
（２）、Ｔ（３）については、それぞれの先行区間にお
けるオーディオデータ中（例えばＣＤフォーマットのサ
ブコード領域等）に適宜分散して織り込み、該先行区間
の再生中に後続区間の重み系数Ｗｎと時間間隔データＴ
を読み出して行くようにしてもよい。

【００２２】例えば、標本化信号ｆｓの標本化周波数を
従来のＣＤ規格と同様に４４．１ｋＨｚとすると、標本
化信号ｆｓのデータ量は、たった１秒間に必要なデータ
量（サンプル数）だけでも４４１００個に及ぶが、１波
形回学習分の１セットの重み係数Ｗｎのデータ量は１セ
ットに付き例えば１０００個程度でよい。このことから
１波形回学習分の重み係数Ｗｎとして必要なデータ量が
極めて微量なものであることが判る。従って、重み係数
Ｗｎのデータを標本化信号ｆｓに付属させても、復元に
要するデータ量の総量は殆ど増加しない。このように、
標本化信号ｆｓとそれに付属する重み係数Ｗｎとの組み
合わせからなるデータセットは、教師信号ｆｚの原信号
再現精度と同等の品質の波形を再現しうるものでありな
がら、そのデータ量が少なくて済む。

【００２３】なお、本発明に従って生成された標本化信
号と重み係数との組み合わせからなるデータの出力形
態、すなわちデータ供給の方式は、上記のように物理的
記憶媒体による限りではなく、例えば、インターネット
等の通信回線を経由してデータを伝送するようにしても
よい。その場合、データ受け手では、インターネット等
の通信回線を経由して受信したデータを自己のメモリ内
に保存すればよい。

【００２４】次に、ＣＤ等に収録された或いは通信回線
を経由して伝送された前記標本化データの再生処理につ
いて図６を参照して説明する。図６に示すように、再生
処理側（データ受け手側）は、ニューラルネットワーク
３０と、標本化信号再生装置４０とを有する。ニューラ
ルネットワーク３０は、図１のニューラルネットワーク
１０内の遅延ライン１１及び畳み込み演算部１２と同様
の遅延ライン３１及び畳み込み演算部３２を有するが、
学習手段は不要である。

【００２５】図６において、標本化信号再生装置４０に
は、上述したような標本化周期Ｔｓの標本化信号ｆｓと
重み係数Ｗｎとの組み合わせからなる標本化データが、
ＣＤ等の記録媒体で或いは通信回線を経由して供給され
る。標本化信号再生装置４０は、まず供給された標本化
データのヘッダ部のデータを読み取り、該ヘッダ部にあ
る各標本化周期Ｔｓ、τを指示するデータに基づき、各
標本化周期Ｔｓ及びτに対応するクロックを生成する。
また、該ヘッダ部にある最初の区間の重み係数Ｗｎを読
み取ってニューラルネットワーク３０の畳み込み演算部
３２に入力し、該畳み込み演算部３２における重み係数
Ｗｎを設定する。このように初期設定を行った上で、オ
ーディオデータ部にある標本化信号ｆｓの再生読み出し
を開始する。

【００２６】前述の通り、標本化信号再生装置４０で再
生される標本化信号ｆｓは、比較的粗い標本化周期Ｔｓ
で標本化されたデータである。再生装置４０からの標本
化信号ｆｓ（ｔ）の再生読み出しは、標本化周期Ｔｓに
対応するタイミングで１サンプルづつ順次なされる。再
生装置４０から読み出された標本化信号ｆｓ（ｔ）は、
ニューラルネットワーク３０の遅延ライン３１に入力さ
れる。遅延ライン３１には、再生装置４０から細かい周
期τのクロックがシフトクロックとしてリアルタイムに
供給される。遅延ライン３１では、再生装置４０から入
力される標本化信号ｆｓ（ｔ）を周期τのタイミングで
取り込み、周期τ毎に順次シフト（遅延）する。図１の
遅延ライン１１と同様に、遅延ライン３１では、標本化
周期Ｔｓに同期する周期τのタイミングで標本化信号ｆ
ｓ（ｔ）の実質的な標本値を取り込み、それ以外の周期
τのタイミングでは０を取り込む。図中、符号Ｔｓ・τ
は、標本化周期Ｔｓに同期する周期τのタイミングを示
す。図６中の（Ａ）は、再生装置４０から読み出される
標本化信号ｆｓ（ｔ）の一例を示し、標本化周期Ｔｓに
同期する周期τのタイミングで実質的な標本値が再生出
力され、それ以外の周期τのタイミングでは０値が出力
される。例えば、標本化信号ｆｓの標本化周波数（周期
Ｔｓ）を１とし、これに対してクロックτの周波数（周
期τ）が４として、ある１つの標本値をＳとする。クロ
ックτの１クロックに応じて、遅延ライン３１のある１
つの遅延段がＳを取り込んだとすると、この遅延段は、
その後のτの３クロックでは、入力データとして０を取
り込む、という具合になる。

【００２７】畳み込み演算部３２は、再生装置４０から
供給された前記重み係数Ｗｎで遅延ライン３１に順次入
力されるデータを、クロックτに対応する周期τに従っ
て、畳み込み演算し、その演算結果ｙ（ｉ）を周期τ毎
に出力する。畳み込み演算部３２から演算結果として出
力される信号ｙ（ｉ）は、図６中の（Ｂ）に示すよう
な、周期τの細密な信号となる。こうして、この周期τ
に対応する精度で出力信号ｙ（ｉ）がニューラルネット
ワーク３０から出力されることとなる。ここで、畳み込
み演算部３２に供給された重み係数Ｗｎは、上述の通り
教師信号ｆｚの原信号再現精度と同等の品質の波形を再
現しうるものであり、このような重み係数Ｗｎによる重
み付け特性で演算を行うことで、原信号ｆの波形を前記
教師信号に匹敵する高精度で忠実に再現した出力信号ｙ
（ｉ）が得られる。

【００２８】図７に、本発明により復元した信号と従来
の方法により復元した信号とを比較したスペクトル分布
例を示す。図において横軸に周波数をとり、縦軸を振幅
とし、また波形信号成分はスペクトルエンベロープで表
しており、１／Ｔｓは標本化周期Ｔｓに対応する標本化
周波数である。従来の方式では、図において点線で示す
標本化周波数１／Ｔｓの半分の周波数（ナイキスト周波
数）１／２Ｔｓを上限としてそれ以上の波形成分はカッ
トされてしまい再現されなかったが、本発明によれば、
標本化信号ｆｓの標本化周波数１／Ｔｓを上げることな
くデータ量を殆ど増すことなしに、そのような従来再現
されていなかった高周波成分を含む原信号ｆの波形を精
度よく忠実に再現できる。例えば、本発明によれば、通
常のＣＤ規格による標本化周波数約４４ｋＨｚで標本化
した標本化信号でも、再生時に使用する重み係数を教師
信号に基づく学習により生成することで、従来カットさ
れていた約２０ｋＨｚ以上の高周波成分を含む高品質な
再生信号の出力が可能となり、更に原信号ｆの波形を精
度よく忠実に再現した高品質な音楽再生ができる。

【００２９】上述した実施例においては、ニューラルネ
ットワーク１０，３０として１段のみから構成される単
層型ニューラルネットワークを用いた例を示したが、こ
れに限らず、ニューラルネットワークを多段にして非線
形処理を行える多層型ニューラルネットワークを用いれ
ば、更なる原信号復元能力の向上が可能となる。なお、
入力する標本化信号のサンプリング間隔は、等間隔にな
されて良いが、本発明においては、サンプリング間隔を
不等間隔にしてもよい。また、本実施例の別の一実施形
態としては、本発明をＭＰＧやＭＰ３等の適宜のデータ
圧縮方式と組み合わせて実施してもよい。すなわち、重
み係数Ｗｎと標本化信号ｆｓとを組み合わせて標本化デ
ータとして伝送する際、或いは記憶媒体に記録する際、
前記標本化信号ｆｓをＭＰＧやＭＰ３或いはＤＰＣＭや
ＡＤＰＣＭ等の適宜のデータ圧縮方式で圧縮し、この圧
縮された標本化信号データを重み係数Ｗｎと共に標本化
データとして伝送する、或いは記憶媒体に記録する。そ
して、この標本化データの再生時に、圧縮された標本化
信号データの圧縮を解除してから、重み係数Ｗｎと演算
すればよい。本実施例の更に別の例としては、１波形回
学習の時間間隔を極短くとることで学習に要する時間を
短くし、送信側でリアルタイムにピックアップしたオー
ディオ信号に基づき本実施例に従って標本化信号ｆｓと
重み係数Ｗｎをリアルタイムに生成し、これを通信回線
等を介して伝送し、受信側で本実施例に従って再生する
ことで、学習から再生までをリアルタイムに近い形で行
うことも可能となる。

【００３０】上述の実施例においては、主にＣＤ等のオ
ーディオ波形データの復元について説明したが、本発明
はそれに限らず、例えば画像データ等にも応用可能であ
る。画像データの場合、画素数の粗い画像データから画
素数の細かい高精度な画像データを復元できる。また、
画像拡大時の補間処理に本発明を適用すれば、拡大した
画像が元の画像よりも細かな精度で生成される。また、
動画データのコマ数補間処理に本発明を適用すれば、元
の動画データのコマ数（フレーム数）よりも多くのコマ
数を補間生成することができ、元の動画よりも滑らかな
動きの動画を再生することができる。

【００３１】

【発明の効果】以上の通り本発明によれば、標本化信号
のデータ量を増すことなしに、その標本化周波数以上の
精度で原信号を忠実に復元できるようにした標本化信号
生成装置及び標本化信号再生装置並びにその方法を提供
することができるという優れた効果を奏する。

【図面の簡単な説明】

【図１】 本発明に係る一実施例を示すデータ供給側の
基本的なブロック図。

【図２】 同実施例において、遅延ラインに対して入力
される標本化信号の入力動作を示す概念図。

【図３】 同実施例において、重み係数の初期値として
設定したｓｉｎｃ関数の特性と各係数値を示す図。

【図４】 図３に示すｓｉｎｃ関数（初期値）からの学
習後の重み係数値の変化を示す図。

【図５】 同実施例に係る学習処理の別の例として、原
信号を複数区間に分割した場合のデータ構成例を示す
図。

【図６】 同実施例に係るデータ受け手側の基本的なブ
ロック図。

【図７】 本発明により復元した信号と従来の方法によ
り復元した信号とを比較したスペクトル分布図。

【符号の説明】

１０，３０ ニューラルネット １１，３１ 遅延ライン １２，３２ 畳み込み演算部 １３ 教師付き学習部 ２０ 標本化信号供給源 ２１ 教師信号供給源 ４０ 標本化信号再生装置

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5D044 AB05 AB07 GK08 GK11 GK14 5D045 DA20 5J022 BA01 CA10 CE04 5K041 CC01 CC02 CC07 DD00 EE01 EE17 EE21 FF11 HH11

Claims (7)

【特許請求の範囲】
1. 【請求項１】 原信号を所定の第１の分解能で標本化し
   た標本化信号を提供する手段と、 前記原信号を前記第１の分解能よりも細かい第２の分解
   能で標本化した教師信号を提供する手段と、 前記標本化信号と前記教師信号を入力し、前記標本化信
   号と演算する重み係数を前記教師信号に基づく学習によ
   り生成するニューラルネットワークとを具え、前記生成
   した重み係数を前記標本化信号に付属させて出力するこ
   とを特徴とする標本化信号生成装置。
2. 【請求項２】 請求項１の標本化信号生成装置で出力し
   た前記標本化信号及びそれに付属する前記重み係数に基
   づき前記原信号を復元する装置であって、 前記標本化信号を前記第１の分解能に対応する第１の周
   期で再生する手段と、 前記第２の分解能に対応する第２の周期に従って、再生
   された前記標本化信号とそれに付属する前記重み係数と
   を演算するニューラルネットワークとを具え、前記第２
   の分解能に対応する精度で前記原信号を復元した出力信
   号が前記ニューラルネットから出力されることを特徴と
   する標本化信号再生装置。
3. 【請求項３】 原信号を所定の第１の分解能で標本化し
   た標本化信号と前記原信号を前記第１の分解能よりも細
   かい第２の分解能で標本化した教師信号とをニューラル
   ネットワークに入力するステップと、 前記ニューラルネットワークにおいて、前記標本化信号
   と演算する重み係数を前記教師信号に基づく学習により
   生成するステップと、 前記生成した重み係数を前記標本化信号に付属させて出
   力するステップとを備えることを特徴とする標本化信号
   生成方法。
4. 【請求項４】 請求項３の標本化信号生成方法で出力し
   た前記標本化信号及びそれに付属する前記重み係数に基
   づき前記原信号を復元する方法であって、 前記標本化信号を前記第１の分解能に対応する第１の周
   期で再生するステップと、 ニューラルネットワークにおいて、前記第２の分解能に
   対応する第２の周期に従って、再生された前記標本化信
   号とそれに付属する前記重み係数とを演算し、前記第２
   の分解能に対応する精度で前記原信号を復元した信号を
   出力するステップとを備えることを特徴とする標本化信
   号再生方法。
5. 【請求項５】 原信号を所定の第１の分解能で標本化し
   た標本化信号と、 前記原信号を前記第１の分解能よりも細かい第２の分解
   能で標本化した教師信号を用いた学習により求められた
   前記標本化信号と演算すべき重み係数とを組み合わせて
   前記原信号の標本化データとして記憶した記憶媒体。
6. 【請求項６】 原信号を所定の第１の分解能で標本化し
   た標本化信号と、 前記原信号を前記第１の分解能よりも細かい第２の分解
   能で標本化した教師信号を用いた学習により求められた
   前記標本化信号と演算すべき重み係数とを組み合わせて
   前記原信号の標本化データとして伝送することを特徴と
   するデータ伝送方式。
7. 【請求項７】 前記原信号を複数の区間に分割し、各区
   間に対応して前記重み係数のセットをそれぞれ有するこ
   とを特徴とする請求項１乃至６のいずれかに記載の装置
   又は方法又は記憶媒体又はデータ伝送方式。