CN1238837C - 声音编码方法和编码装置 - Google Patents

声音编码方法和编码装置 Download PDF

Info

Publication number
CN1238837C
CN1238837C CNB021269173A CN02126917A CN1238837C CN 1238837 C CN1238837 C CN 1238837C CN B021269173 A CNB021269173 A CN B021269173A CN 02126917 A CN02126917 A CN 02126917A CN 1238837 C CN1238837 C CN 1238837C
Authority
CN
China
Prior art keywords
mentioned
data
coding
coded
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB021269173A
Other languages
English (en)
Other versions
CN1419231A (zh
Inventor
辰巳英典
堀内浩一
松本孝夫
米田亚旗
河原荣治
荒濑吉隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1419231A publication Critical patent/CN1419231A/zh
Application granted granted Critical
Publication of CN1238837C publication Critical patent/CN1238837C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H04B1/665—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using psychoacoustic properties of the ear, e.g. masking effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种编码方法，在由软件所进行的图象、声音、图象声音编码处理中，根据硬件环境和软件环境，来决定编码条件，而灵活利用设备资源，得到良好的编码结果。在对从摄象机1801取入的图象声音进行编码时，把进行了数字化的声音数据暂时存储在声音缓冲部1803中，根据其存储量1804来决定是对数字化的图象数据进行编码处理还是不进行处理而丢弃该图象数据。

Description

声音编码方法和编码装置
本申请是申请号为No.97125283.1，申请日为1997年10月15日，发明名称为“图象·声音编码方法、编码装置及编码程序记录媒体”的分案申请。
技术领域
本发明涉及图象·声音编码方法、编码装置及编码程序记录媒体，特别是涉及一种用通用计算机资源伴随输入图象、声音或图象声音而由软件控制来进行编码的编码方法、编码装置以及编码程序记录媒体。
背景技术
关于把原来的模拟数据的图象或声音数字化而得到数字图象数据或数字声音数据的技术，由于数字数据的记录、编辑、复制以及传送等的处理容易，所以正在成为显著普及和发展的领域。数字化的优点之一是能够容易地进行数据压缩，特别是为了记录或传送，进行压缩编码就是重要的技术。关于这种压缩编码技术，也确立了国际标准，其中MPEG标准正在作为能够处理图象或声音的一般的数字化标准而普及。
近年来，随着与计算机一起的VLSI等的半导体器件的高速化和低价位，称之为对应多媒体个人计算机的个人计算机由其低价位而占据市场，原来通过追加解码硬件来进行的压缩编码的数字数据的图象和声音的重放也能够在家庭·个人用计算机上用软件简单地来进行。同时，用因特网也能够进行图象或声音的分配，遵循MPEG等标准的图象和声音的编码数据的应用范围正在不断扩大。
另一方面，一般来说，对于制作这些图象和声音的编码数据的编码处理，使用家庭·个人用计算机进行软件处理是困难的，要追加专用硬件。一旦作为文件进行记录之后，虽然也可以用软件处理来进行编码，但是由于要花费输入图象或声音的时间的数倍时间来进行变换，所以很难说对用户是一种有魅力的软件。
因为一般的个人计算机能够简单地取入包含运动图象的图象或声音，再作成编码数据，所以最好是用捕获卡或声卡来取入运动图象或声音，同时能够进行用软件的实时编码处理，随着硬件方面的发展和普及，这是有望开发的领域。
对于图象、声音以及图象声音编码的领域的现状，下面来说明进行“A图象编码”、“B声音编码”、“C图象声音编码”的现有技术。
A.现有技术的图象编码装置
把包含静止图象和运动图象的图象进行实时数字化后，取入计算机中，再实施伴随该取入的编码处理，这整个处理过程是用个人计算机的扩展卡来实现的，所述扩展卡用运动图象压缩的国际标准的MPEG方式对图象进行实时编码。
图58是在具有这样的专用硬件的计算机中所实现的图象编码装置的构成的方框图。如图所示，现有技术的图象编码装置由编码器5001和编码参数决定器5002构成，输入图象作为输入图象数据，输出图象编码数据。编码器5001内包含有DCT处理器5003、量化器5004、可变长编码器5005、比特流生成器5006、逆量化器5007、逆DCT处理器5008和预测图象生成器5009。
图中，编码器5001把进行图象数字化处理的一串静止图象构成的图象数据作为输入图象数据输入，然后根据所设定的编码参数进行编码处理，再输出编码数据。把构成输入图象数据的各个静止图象数据称之为帧图象，编码参数是由后述的编码参数决定器5002送来的数据，指示编码类型和分辨率。
编码参数决定器5002用于表示帧内编码处理或帧间编码处理的编码类型和分辨率，然后把它们作为编码参数输出到编码器5001。
在编码器5001内部，对输入图象数据首先由DCT处理器5003进行DCT(离散余弦变换)处理，输出DCT变换数据；接下来，量化器5004对DCT变换数据进行量化处理，输出量化数据；然后，可变长编码器5005对量化数据进行可变长编码处理，从而作成被压缩编码了的可变长编码数据。可变长编码数据被输入到比特流生成器5006，由比特流生成器5006把相应图象编码装置的编码结果即编码数据作为比特流输出。
逆量化器5007对由量化器5004输出的量化数据进行量化处理的逆处理(逆量化处理)，输出逆量化处理数据；然后，逆DCT处理器5008对逆量化数据进行DCT处理的逆处理(逆DCT处理)，输出逆DCT变换数据，逆DCT变换数据被输入到预测图象生成器5009，然后作为预测图象数据输出。在根据编码参数进行使用预测图象的编码处理的情况下，把该预测图象数据和输入图象数据的差分数据输入到DCT处理器5003，从而能在编码器5001内进行帧间编码。
下面说明这样构成的现有技术图象编码装置进行的图象编码处理时的动作。
首先，在编码处理之前，编码参数决定器5002确定关于编码类型和分辨率的编码参数，并把它输出到编码器5001。
一般，在压缩编码中有帧内编码和帧间编码，帧内编码是为消除冗长性而对1帧静止图象根据其空间的相关关系(帧内的相关关系)进行压缩的编码，帧间编码是为消除冗长性而对于时间上相接近的连续帧的静止图象根据其空间的相关关系(帧间的相关关系)进行的编码。
在按照现有技术的图象编码装置中，虽然基本上是进行帧内编码，但也进行帧间编码来得到高压缩率的数据。但是，为了进行帧间编码，就要用编码逆处理的解码处理或动作检出·动作补偿处理来生成预测图象，并取得该预测图象和编码对象图象的差分数据，所以，就会招致花费于装置的必须进行这些处理的处理负担的增大。对于进行帧间编码的情况的预测图象的生成，是进行根据以前处理过的数据进行预测的顺向预测、以后处理的数据进行预测的逆向预测以及进行顺向或逆向预测的双向预测的任意一种预测编码。把帧内编码标记为“I”、把顺向预测编码标记为“P”、把双向预测编码(包含逆向)标记为“B”。
关于分辨率，一般是用“320×240”或“160×120”等每一图象的纵横像素数来表示，分辨率高即一幅图象上具有多像素的处理能够得到重放图象质量良好的数据，但是，因为要增加处理对象，所以会招致处理负担的增大。
另外，因为遵循MPEG标准，所以必须在一定的传送速率下进行数据的输入输出或传送；在编码处理中，为了满足这种传送速率还必须进行处理并输出编码数据。在把图象作为处理对象的情况下，一般是用每1秒钟的帧数表示的帧速率来表示传送速率。
因此，考虑相应图象编码装置的处理能力，一面满足这个帧速率，一面随图象取入进行实时处理，而且为了以高压缩率获得重放图象质量良好(分辨率高的)的编码数据，最好设定编码参数。
在现有技术的图象编码装置中，考虑这些要求来预先设定编码参数，编码参数决定器5002能够保持所设定的这个参数，并在编码时输出到编码器5001。关于编码参数中的编码类型，在“图象编码装置(JP-A-8-98185公报)”中披露了根据场景变化等的输入图象的信息来决定编码参数的方法。
把输入到编码器5001的编码参数中的表示分辨率的参数输入到DCT处理器5003，用来进行处理。表示编码类型的参数就被用来把对DCT处理器5003的输入切换为作为输入图象数据还是作为与预测图象的差分的控制。
DCT处理器5003根据从编码参数确定器5002输入的分辨率对所输入的帧图象或差分数据进行DCT处理，并输出DCT变换数据。一般，DCT处理把构成图象的数据分割成8像素×8像素块，再对所分割的每一块进行2维离散余弦变换。然后，量化器104用某个定值对DCT变换数据进行量化处理，并输出量化数据。一般量化处理是按照用量化级的值(上述的定值)的除法运算来进行。可变长编码器105对量化数据进行可变长编码，并输出可变长编码数据。在编码处理中的编码位分配时，可变长编码对频度高的数据分配比特数少的代码，从而使整体数据量减小。比特流生成器106用可变长编码器105输出的可变长编码数据进行相应编码装置的装置输出，生成并输出编码结果即比特流。
在执行帧间编码的情况下，按照下面的动作来进行。逆量化器5007把量化器5004输出的量化数据逆量化，并输出逆量化数据。然后，逆DCT处理器5008对逆量化数据执行2维离散余弦变换的逆处理即2维逆离散余弦变换，并输出逆DCT变换数据，这种逆变换是对DCT处理器5003分割的每个8像素×8像素块进行的。预测图象生成器5009根据逆DCT变换数据生成预测图象，然后把它输出去。数入图象数据与预测图象数据的差分被输入到DCT处理器5003。
B.现有技术的声音编码装置
关于声音编码方法，按照遵循MPEG音频方式的频分编码方式的编码方法被用于对人的声音或音乐、自然环境的声音、各种各样的效果声音等一般宽频带的声音进行编码。
用高性能的个人计算机，能够对作成标准装备的装置使用一般的声卡所取入的声音进行与取入同时的实时编码处理。
作为现有技术的声音编码装置的第一实施例，对按照上述的频分编码方式输入的声音进行编码予以说明。
另一方面，作为遵循MPEG音频方式的声音编码方法，有应用心理听觉分析的方法。
原来，在遵循MPEG音频方式的编码器中，用听觉心理模型考虑人的听觉能力的界限或掩没效果，来决定把编码位分配给各频带的优先顺序。虽然这是为了进行人的静态和动态听觉特性的复合的高效编码，但是这并不影响MPEG音频标准的数据格式，例如既使不进行这种编码，也能够作成MPEG音频编码数据。而且，如后面所述，心理分析处理的处理负荷很大，如现有技术的第一实施例所表示的那样，省略这种处理就能够大幅度地减轻对CPU的处理负荷。但是，如果不应用心理听觉分析，重放音质就差。
作为现有技术的声音编码的第二个例子，下面来说明应用这种心理听觉分析的声音编码。
B-1.现有技术的声音编码装置的第一例
图59是按照现有技术的声音编码装置的第一例的声音编码装置的构成方框图。如图所示，按照第一例的声音编码装置由声音输入部2551、输入声音取样部2553、频带分割部2555、编码位分配部2556、量化部2557、编码部2558以及编码数据记录部2559构成。
图中，声音输入部2551输入进行编码的声音，一般，声音由话筒输入或由线输入来输入声音。输入声音取样部2553由声卡的输入功能和控制程序来实现，并对声音输入部2551所输入的声音进行取样处理。频带分割部2555对经取样处理的数据进行频带分配；编码位分配部2556对由频带分割部2555所分配的各个频带分配编码位。量化部2557根据编码位分配部2556分配的编码位数进行量化处理；编码部2558把量化部2557输出的量化值作为编码声音数据输出。2555～2558的任一个都由计算机的CPU、主存储器以及程序来实现。编码数据记录部2559由磁存储装置等的存储装置和该存储装置的控制程序来实现，并记录所输出的编码数据。
图60是现有技术的声音编码方法的流程图，图61所说明的是取样处理，图62～图63所说明的是频带分割。以下，参照图59～图63，并根据图60的流程图来说明按照现有技术的第一例的声音编码装置的动作。
在图60的步骤1中，输入声音取样部2553用预先设定的取样频率对输入声音信号进行取样，作成取样数据。如图61所示，输入声音显示为表示声压与时间的关系的曲线图。按每一个等分成所谓取样周期的时间ts对该输入声音进行取样，如图所示，该取样周期与上述的取样频率构成倒数关系。
图60的步骤2以后，是以在CPU控制下由软件进行的运算处理为中心的处理。在步骤2中，频带分割部2555把取样数据频分到M个频带中。图62是一个示意图，表示把声音数据作为全频带输入信号分割到12个频带的情况，表示作成从频带0信号BPF0到频带11信号BPF11的12个频带信号。图63所表示的是这样进行12频分的频带信号。在该图中，所频分的信号不同于图61，表示的不是声压与时间的关系，而是与频率的关系。
在MPEG音频的情况下，规定有1～3层，按照1→2→3的顺序重放的音质良好，但是必要的硬件性能高，会增大硬件规模。这里，进行适应于层1的声音编码的情况下，按照1次频分处理作为对象的输入声音的取样数p为p＝32。而且，作为输入声音取样，以作为对象的32个取样为中心用其前后512个取样对32个频带进行分割并输出每个频带的声音数据。
从频带分割部2555把在步骤2进行频分所得到的M个频带信号数据送到量化部2557。
另一方面，在步骤3，编码位分配部2556对全部M个频带信号分配编码位；在步骤4，量化部2557根据编码位分配部2556分割的编码位数对从频带分割部2555送来的频带信号数据在每个频带内进行量化，并作成量化值。然后，在步骤5，编码部2558对该量化值进行编码后输出，再由编码数据记录部2559记录所输出的编码数据。
继续声音输入时，重复执行步骤1～5，就继续输入声音，并进行实时编码处理，然后输出编码数据，并继续进行记录。一旦声音输入终止，就迅速结束处理。
存储装置内所存储的编码数据被作为MPEG能重放的数据保存下来，或者也可以用网络等传送并利用编码数据，来替代记录存储。
以上表示了现有技术的第一例，这是一种伴随声音的取入实时地得到编码数据的声音编码装置。
B-2.现有技术的声音编码装置的第二例
图64是现有技术的第二例的声音编码装置的构成方框图。如图所示，按照第二例的声音编码装置由声音输入部2651、输入声音取样部2653、频带分割部2655、量化部2657、编码部2658、编码数据记录部2659、FFT部2660、心理听觉分析部2661以及编码位分配部2662构成。该装置是在第一例的装置中追加有FFT部2660和心理听觉分析部2661而构成。
图中，FFT(高速傅立叶变换)部2660对信号执行傅立叶变换处理，使之能够进行心理听觉分析。心理听觉分析部2661对FFT部2660中所处理的信号进行与最小闻域的比较、掩没效果分析等。编码位分配部2662根据心理听觉分析部2661的分析结果相对增大对人耳能听到的信号的编码位的分配，并进行编码位分配。声音输入部2651、输入声音取样部2653、频带分割部2655、量化部2657、编码部2658以及编码数据记录部2659与第一例的2551～2555以及2557～2559一样，所以省略了说明。
图65是MPEG音频编码的流程图，图66表示的是最小闻域。以下参照图64～图66来说明第二例的声音编码装置的动作。
图65中的步骤1至步骤2按照与第一例一样方法进行，并得到分配到M个频带的信号，作为一般的例子，得到M＝32个频带信号。与第一例一样，把频带信号从频带分割部2555送到量化部2557。
另一方面，在步骤3，FFT部2660把经取样的输入声音数据进行高速傅立叶变换(FFT)处理再分割为L个频带后，送到心理听觉分析部2661，心理听觉分析部2661对这L个信号进行分析。例如：在按照MPEG音频的层1的情况下，使用512个取样数据，而在FFT部2660中进行高速傅立叶变换处理分割为L＝256个频带。而在层2的情况下，由于用1024个取样来进行512个频带的输出，所以处理负担增大。
心理听觉分析部2661对各频带信号进行与图66所示的那样的人耳不能听到的界限大小即最小闻域的比较。图66虽然表示了对32个频带的分割，如该例所示，在把分割数增大到256个的情况下，最小闻域的曲线图也是相同的，对与图66所示的相同的范围进行横轴(频带)的细分。
按照心理听觉分析部2661的分析，对于不足最小闻域的频带，在后级的处理中不进行编码位分配，所以，被分配到比其他频带更多的位。
就人的听觉而言，认为存在所谓掩没现象，即：当频率或时间上有接近的大的声音即声压大的信号时，比较小的声音即声压小的信号就听不到了。所以，心理听觉分析部2661对各频带的信号分析与接近的信号的关系，并检测出掩没现象由于而被掩没(听不到)的信号，既使对这样检测出来的信号，在后级的处理中也不进行位分配，所以，被分配到比其他频带更多的位。
在图65的流程图的步骤5中，编码位分配部2656根据心理听觉分析部2661的分析结果进行编码位的分配，这里，根据L个频带的分析结果进行对M个频带的分配。因此，对于人耳听不到的或难以听到的信号不进行位分配，所以，对能良好听到的信号分配更多的编码位。
关于步骤6以后的处理，与第一例一样，重复进行步骤1～7，就能进行伴随声音输入的声音编码。
这样，由于对人的听觉能够容易听到的声音分配更多的编码位就能够用取入心理听觉的MPEG音频的声音编码得到重放音质良好的编码声音数据。
C.现有技术的图象声音编码装置
图67是按照现有技术的图象声音编码装置的概略构成图。如图所示，现有技术的图象声音编码装置由摄象机2701、声音捕获部2702、声音编码部2703、图象捕获部2704以及图象编码部2705构成。如图所示，相应的图象声音编码装置把编码声音信息和编码图象信息作为装置输出而输出去，根据需要，一面传送这些信息，一面记录这些信息。
在该图中，摄象机2701取入图象声音信息，并分成为模拟声音信息和模拟图象信息输出；声音捕获部2702输入由摄象机2701输出的模拟声音信息，并作为由离散的数字数据构成的数字原声音信息输出；图象编码部2705对原声音信息进行压缩编码处理，并输出编码声音信息。图象捕获部2704输入由摄象机2701输出的模拟图象信息，并输出由离散的数字数据构成的且由单位时间的多个静止图象信息构成的数字原图象信息；图象编码部2705输入由图象捕获部2704输出的原图象信息，进行压缩编码处理后输出编码图象信息。
以下来说明这样构成的现有技术的图象声音编码装置中的进行与图象声音的取入同时的编码时的动作。
首先，摄象机2701取入图象声音信息，并分成为模拟声音信息和模拟图象信息后输出。
模拟声音信息被输入到声音捕获部2702，声音捕获部2702用模/数变换处理作成数字原声音信息，并把它输出到声音编码部2703。另一方面，模拟图象信息被输入到图象捕获部2704，图象捕获部2704用模/数变换处理作成由多个静止图象信息构成的数字原图象信息，并把它输出到图象编码部2705。
声音编码部2703对原声音信息进行编码处理，并输出编码声音信息；另一方面，图象编码部2703对原图象信息进行编码处理，并输出编码图象信息。
由摄象机2701继续取入图象声音时，声音捕获部2702、声音编码部2703、图象捕获部2704和图象编码部2705继续进行数字化和编码，当图象声音取入终止后，数字化和编码也结束。
如现有技术的A～C的例子中所示的那样，现有技术的图象编码装置、声音编码装置以及图象声音编码装置伴随图象、声音或图象声音进行编码处理，并输出编码图象数据、编码声音数据或编码图象数据和编码声音数据，而且供记录或传送使用。
A.现有技术的图象编码装置的问题
但是，在把现有技术A表示的能够实时处理的图象编码装置作为在个人计算机(PC)等的通用计算机***中执行进行编码处理的软件的设备的情况下，因为相应软件能够在处于各种各样的环境(周围机器、网络环境等)下的多功能的硬件中执行，所以，就存在以下问题。
例如：作为在PC上动作的应用软件来实现上述的实时图象编码装置，对所输入的图象进行伴随取入的实时处理，以320×240的分辨率按照MPEG1的标准进行编码的情况下，对于作为编码类型帧内编码为“I”、帧间编码为“P”和“B”，设定选用“IBBPBB”的顺序重复的码型。这时，在基本硬件性能比较高的情况下，例如在具有工作频率166MHz的控制装置(CPU)的情况下，如果是进行这样的软件处理，根据上述的设定，在具有“IBBPBB”码型的编码类型下处理6帧图象，需要6/30秒钟。如果是这种情况，结果，就能够以30帧/秒的速率对图象进行实时编码。另一方面，在基本硬件性能比较低的情况下，例如在具有工作频率100MHz的控制装置(处理器、CPU)的情况下，如果是进行这样的软件处理，就不能用6/30秒的时间进行上述的编码处理，所得到的编码数据的帧速率就小。在编码结果中，如果帧速率低于30帧/秒，由于这种编码结果的重放所得到的图象不灵活，所以在这种情况下就不能实现良好的编码。
同样，例如把这样的软件处理作为多项任务操作***上的一项任务来执行时，作为其他的任务，在执行字处理器等的别的应用软件的情况下或存在***中断的情况下，既使在比较高的硬件环境中也能出现问题。
如果以“320×240”的分辨率，既使执行同样的编码能够不出问题，如果以“640×400”的分辨率来执行同样的编码，处理速度也不足，也会引起帧速率下降的问题。
以上是硬件性能不足的情况下的问题，相反，也能出现使高性能硬件死机的情况。
例如：用具有工作频率166MHz的控制装置(CPU)的硬件，对所输入的图象进行伴随取入的实时处理，以320×240的分辨率按照MPEG1的标准进行编码的情况下，作为编码类型，仅用帧内编码“I”来进行处理，如果是用这种条件的处理，由于在“I”类型下能够用1/30秒处理1帧图象，所以，其结果就能够以1/30秒的时间对图象进行编码。对此，在基本硬件性能更高的情况下，例如具有工作频率200MHz的控制装置(CPU)的情况下，如果是进行这种软件处理，由于能够以短于1/30秒的时间进行上述的“I”类型的1帧图象，就不会发生硬件性能死机的情况。使用高性能的控制装置，就意味着成本高，作为图象编码装置，其性能价格比就不好。
这种情况下，例如：如果不仅用“I”类型进行处理，也用“P”类或“B”类的编码类型来进行处理的话，因为在同等图象质量下得到压缩率高的编码数据，所以，如上所述，仅在“I”类型下生成压缩率低的编码数据就不能灵活运用终端装置资源。
同样，在多任务操作***上执行时，能够超过预想地利用计算机资源(CPU时间的分配)的情况下，或用比“320×240”更低的分辨率“160×120”的分辨率进行编码的情况下，也能出现问题。
B.现有技术的声音编码的问题
用B-1的第一例那样进行的现有技术的声音编码方法，在装备有声卡的多媒体个人计算机等中，用软件处理可以进行伴随声音取入的实时声音编码。
但是，这种方法的前提是把具有充分好的性能的装置用于伴随声音取入的实时编码，要由根据目的设计的LSI构成，同时要选择性能足够好的控制装置(处理器)。另外，在使用性能不够好的处理器的处理时，中途把数据作为文件进行记录并对所记录的数据进行处理等，只有花费实际时间的几倍的时间来进行处理。
也就是说，在用CPU以软件方式执行MPEG音频中所用的频带分割编码处理，并进行伴随声音取入的实时处理的情况下，作为相应的执行软件的硬件环境、有代表性的环境，由CPU性能来决定可能还是不可能，例如：对应于CPU的编码级不能进行实时编码。
另外，按照当初的设定，上述那样构成的声音编码装置被设计得以一定的速率输入声音，并以一定的速率进行实时编码，但是，如果是通用个人计算机等，由于多任务处理的其他任务的影响、其他中断的发生等，使CPU的处理能力被分割，在这种状态下，根据当初的设定就不能进行声音编码处理，难于适应于这种情况。
在按照B-2的第二例所示的那样进行心理听觉分析的频带分割编码处理中，如上所述，是进行由对应人的听觉的位分配来得到重放音质良好的编码数据。
但是，对多频带的分割、对这些分割的信号的变换处理以及比较处理的处理负担大，一般，进行这样的心理听觉分析的处理负担要增大大约2倍。因此，用标准的个人计算机的水平，当取入心理听觉分析时，很难进行伴随声音取入的实时处理，只能依赖追加专用的处理器或插卡等高性能的硬件，或放弃实时处理，而作为文件进行记录之后再花时间进行编码处理。
C.现有技术的图象声音编码的问题
如上所述，在进行声音和图象的编码时，上述的现有技术图象声音编码装置分别直接把原声音信息(数字声音信息)和原图象信息(数字图象信息)输入到对应的编码部，并分别进行编码处理。因此，对于声音编码部和图象编码部来说，必须具有能够按照例如MPEG标准确实地处理所输入的原声音信息和原图象信息的能力。例如：如果以48KHz的取样频率，输入1个取样1字节的声音信息，声音编码部就必须具有能够在1秒钟内对48K字节的声音信息确实地进行编码的能力。如果输入横320像素、纵240像素、1个像素2字节、30fps的图象信息，图象编码部就必须具有能够在1秒钟内对4.6M字节的图象信息确实地进行编码的能力。
因此，原来，声音编码部和图象编码部用分别独立地动作并能够保证编码处理的专用硬件来实现图象声音的编码。对此，不用专用计算机，而作为在使用通用CPU的多任务操作***上动作的软件程序来实现声音和图象的编码部就极为困难。
因此，在多任务操作***上是各编码部作为任务分别动作，同样，在其他软件(进行通信处理的常驻程序等)也作为任务作成功能的情况下，相应的其他任务就只能在某个期间占据CPU的动作时间。因为在该期间编码处理停止，所以编码软件常常不能保证充分处理声音或图象，因此，就不一定总能够不发生声音或图象中断等的重放故障而得到良好编码结果。
在把图象声音作为处理对象的情况下，除其他任务以外，还存在其他问题，如：在多任务操作***上，因为经常把图象编码和声音编码作为别的任务来处理，作为上述的其他任务，相互之间就会发生影响。例如：不能期待图象都是一样的，由所输入的图象信息构成的静止图象时时刻刻都在变化。由于对于一连串的图象的某一部分进行编码是非常困难的，所以对那一部分的处理就有可能在编码处理时花掉时间。这种情况下，既使其他任务完全不动作，图象编码部也要占用大量的CPU时间，由于声音编码部的处理迟滞，有可能陷入只能得到声音中断的编码结果的状态。
再一个问题的起因是，由通用计算机上的软件执行构成图象声音编码装置的情况下，与A或B的情况一样，相应软件有可能在各种各样的硬件能力的计算机***上执行。因此，首先出现的问题是，平均来看的话，处于有能力可以进行声音或图象编码的情况下，在某个期间内分配给编码的计算机能力少所引起的问题，特别是在执行相应软件的硬件中，原来就没有足够的计算机能力的情况下，原样使用相应软件设计时的当初的设定值就有可能发生不能进行图象和声音的编码处理的情况。在这种情况下，如果不配合动作的计算机***迅速降低图象编码消费的计算机能力，就得不到良好的编码结果，否则重放时会发生声音中断。
当然，由于声音编码处理的影响也有发生与图象编码的编码结果不一致的可能，但是，一般来说，在比较相当于同时间的图象和声音时，图象的数据量大，而且在重放时声音数据的丢失的影响要比图象数据的丢失的影响大，因此，可以说声音编码中的问题的比重更大，一般可以说对于防止声音中断的要求更迫切。
如上所述，按照A～C，通过在个人计算机等的通用计算机上执行编码软件对图象、声音或图象声音进行伴随取入的实时编码处理的情况下，可以说存在以下问题。
(1)执行相应软件的硬件的性能的影响大。如果硬件性能低，就得不到良好的编码结果；如果硬件性能高，存在不能灵活运用装置资源的可能性。
(2)在多任务操作***上执行相应软件的情况下，其他任务的影响大。实质上，其他任务占有装置资源的大小会产生与第(1)点中的硬件性能高低同样的影响。
(3)在把图象声音作为处理对象的情况下，图象编码和声音编码作为其他任务会相互影响。
发明内容
鉴于以上的情况，本发明的目的是提供一种能够灵活运用装置资源并能够得到良好编码结果的图象编码方法，在图象取入的同时实时地进行图象编码处理的编码方法中，对应于实施相应的编码方法的计算机基本能力来适当地设定包含分辨率和编码类型的编码参数。
本发明的目的是提供一种能够灵活运用装置资源并能够得到良好编码结果的图象编码方法，在图象取入的同时实时地进行图象编码处理的编码方法中，对应于实施相应的编码方法的计算机该时刻的能力来适当地设定包含分辨率和编码类型的编码参数。
本发明的目的是提供一种能够灵活运用装置资源并能够得到良好编码结果的声音编码方法，在声音取入的同时实时地进行声音编码处理的编码方法中，对应于实施相应的编码方法的计算机基本能力进行编码处理的控制。
本发明的目的是提供一种能够灵活运用装置资源并能够得到良好编码结果的声音编码方法，在声音取入的同时实时地进行声音编码处理的编码方法中，对应于实施相应的编码方法的计算机该时刻的能力进行编码处理的控制。
本发明的目的是提供一种能够灵活运用装置资源并能够得到良好编码结果的声音编码方法，在声音取入的同时实时地进行声音编码处理的编码方法中，对应于实施相应的编码方法的计算机基本能力执行心理听觉分析的替代处理。
本发明的目的是提供一种能够灵活运用装置资源并能够得到没有声音中断的良好编码结果的图象声音编码方法，在图象声音取入的同时实时地进行图象编码和声音编码处理的编码方法中，对应于实施相应的编码方法的计算机基本能力进行图象编码处理的控制。
本发明的目的是提供一种能够灵活运用装置资源并能够得到没有声音中断的良好编码结果的图象声音编码方法，在图象声音取入的同时实时地进行图象编码和声音编码处理的编码方法中，对应于实施相应的编码方法的计算机该时刻的能力进行图象编码处理的控制。
本发明的目的是提供执行上述那样的图象编码方法、声音编码方法和图象声音编码方法的图象编码装置、声音编码装置和图象声音编码装置。
本发明的目的是提供一种记录了能够在个人计算机等通用计算机上执行并能够实现上述那样的图象编码方法、声音编码方法和图象声音编码方法的图象编码程序、声音编码程序和图象声音编码程序的记录媒体。
为了实现上述的目的，方案1提供一种声音编码方法，该方法按频带分割编码方式对声音进行编码，其特征在于，执行如下步骤：
存储编码处理中所用的设定频率fs和变换常数n的存储步骤；
输入作为编码对象的声音的声音输入步骤；
用根据上述存储的设定频率fs决定的取样频率作成取样声音数据的输入声音取样步骤；
设用上述设定频率fs作为取样频率的情况下所得到的取样声音数据的个数为m个，根据上述变换常数n抽取m/n个取样声音数据，输出把各个上述m/n个取样声音数据按每n个取样声音数据连接起来而成的m个变换声音数据的声音数据变换步骤；
把上述变换声音数据进行频带分割而得到M个频带信号的频带分割步骤；
设从上述存储的设定频率fs和变换常数n所得到的频率fs/2n为限制频率，并仅把编码位分配给上述频带信号中的在限制频率以下的频带信号的编码位分配步骤；
根据上述分配的编码位进行量化的量化步骤；
把上述量化了的数据作为编码数据输出的编码步骤；以及
记录上述所输出的编码数据的编码数据记录步骤。
在方案2中，根据方案1的声音编码方法，其特征在于，在上述输入声音取样步骤中，把上述存储的设定频率fs作为取样频率对上述输入的声音进行取样处理来作成m个取样声音数据；
在上述声音数据变换步骤中，从上述m个取样声音数据中，每隔(n-1)个数据抽取一个取样声音数据，在2个邻接的上述所抽取出的取样声音数据之间***(n-1)个声音数据，并变换为m个变换声音数据。
在方案3中，根据方案2的声音编码方法，其特征在于，在上述声音变换步骤中，把各个上述抽取出的取样声音数据按每n个取样声音数据连接起来作成变换声音数据。
在方案4中，根据方案1的声音编码方法，其特征在于，在上述输入声音取样步骤中，把由上述存储的设定频率fs和变换常数n得到的频率fs/n作为取样频率，对上述输入的声音进行取样处理来作成m/n个取样声音数据；
在上述声音数据变换步骤中，根据上述取样声音数据，在2个邻接的取样声音数据之间***(n-1)个声音数据，并变换为m个变换声音数据。
在方案5中，根据方案4的声音编码方法，其特征在于，在上述声音变换步骤中，把各个上述m/n个取样声音数据按每n个取样声音数据连接起来作成的变换声音数据。
在方案6中，根据方案1至5任一项的声音编码方法，其特征在于，执行声音缓冲存储步骤和输入缓冲器监视步骤；
所述声音缓冲存储步骤把上述取样声音数据暂时保持在输入缓冲器内；
所述输入缓冲器监视步骤检查上述输入缓冲器的数据量，再把它与预先设定的值相比较，根据上述比较的结果变更上述寄存器内存储的上述变换常数n的值；
在上述输入声音取样步骤中，将上述取样声音数据写入上述输入缓冲器；
在上述声音数据变换步骤中，从上述输入缓冲器读出取样声音数据，并对它进行上述变换。
在方案7中，根据方案1至5任一项的声音编码方法，其特征在于，执行编码数据监视步骤，所述编码数据监视步骤检查上述编码步骤中输出的每单位时间的编码数据量，再把它与预先设定的值相比较，根据上述比较的结果变更上述寄存器内存储的上述变换常数n的值。
在方案8中，提供一种声音编码方法，该方法用频带分割编码方式对声音进行编码，其特征在于，执行如下步骤：
存储上述编码所用的控制常数的控制常数存储步骤；
对输入声音进行取样处理并输出取样数据的取样步骤；
对在上述取样步骤所得到的取样数据进行频带分割并输出频带信号数据的频带分割步骤；
对在上述频带分割步骤得到的频带信号数据进行编码位分配的编码位分配步骤；
按照上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化步骤；
根据在上述量化步骤所得到的量化值输出编码数据的编码步骤；
将上述所存储的控制常数与预先设定的值进行比较，判断编码处理的力，基于该判断结果控制编码整体的数据处理量的编码处理控制步骤。
在方案9中，根据方案8的声音编码方法，其特征在于，在上述控制常数存储步骤中，把单位期间判定常数k作为上述控制常数存储在单位期间判定常数寄存器内；
上述编码处理控制步骤是判定控制步骤，设上述频带分割步骤中的一次频带分割处理中作为对象的取样数据数为p，设相当于p个取样数据的时间为单位期间，上述编码处理控制步骤对于上述所输出的取样数据的每p个数据根据上述所存储的单位期间判定常数判定相应的单位期间是编码对象期间还是编码对象外期间；
仅当上述单位期间被判定为上述编码对象期间时，进行控制以向上述频带分割步骤输出该单位期间的取样数据；
当上述单位期间被判定为上述编码对象外期间时，进行控制以在上述编码步骤中输出预先存储的固定的编码数据作为编码数据。
在方案10中，根据方案9的声音编码方法，其特征在于，在上述判定控制步骤中，当第i个单位期间取作ti，由上述所存储的单位期间判定常数k和任意整数n构成的i＝n×k+1成立时，把上述单位期间ti判定为是上述编码对象期间。
在方案11中，根据方案8的声音编码方法，其特征在于，在上述控制常数存储步骤中，把运算处理判定常数q作为上述控制常数存储在运算处理判定常数寄存器内；
上述编码处理控制步骤是包含在上述频带分割步骤内、根据上述存储的运算处理判定常数q进行控制以使上述频带分割步骤中的运算处理在中途停止的运算处理中止步骤。
在方案12中，根据方案11的声音编码方法，其特征在于，在上述运算处理中止步骤中，进行控制以使上述频带分割步骤中的基本低通滤波器的运算处理在该滤波器的两端步骤在中途停止。
在方案13中，根据方案8的声音编码方法，其特征在于，在上述控制常数存储步骤中，把频带选择常数r作为上述控制常数存储在频带选择常数寄存器内；
上述编码处理控制步骤是进行控制以仅对根据上述频带分割步骤输出的频带信号数据中的上述存储的频带选择常数r所选择出的数据执行上述编码位分配步骤和上述量化步骤的频带减少步骤。
在方案14中，根据方案13的声音编码方法，其特征在于，在上述频带减少步骤中，从在上述频带分割步骤所得到的M个频带信号数据输出中每隔r个选择频带信号数据，其中r是上述存储的频带选择常数。
在方案15中，根据方案8至14的任意一项的声音编码方法，其特征在于，执行处理状况监视步骤，先取得声音编码中的数据处理状况，再根据该取得的状况变更上述存储的上述控制常数的值。
在方案16中，根据方案15的声音编码方法，其特征在于，上述处理状况监视步骤执行声音缓冲存储步骤和输入监视步骤；
所述声音缓冲存储步骤把取样数据暂时存储在输入缓冲器内；
所述输入监视步骤把上述输入缓冲器内保持的数据量与预先设定值进行比较，再根据上述比较结果进行上述控制常数变更。
在方案17中，根据方案15的声音编码方法，其特征在于，上述处理状况监视步骤是编码监视步骤，把上述编码步骤中的每单位时间输出的上述编码数据量与预先设定值进行比较，再根据上述比较结果进行上述控制常数的值的变更。
在方案18中，提供一种声音编码方法，该方法用频带编码方式对声音被数字化后的原声音信息进行编码，其特征在于，执行如下步骤：
对输入声音进行取样处理并输出取样数据的取样步骤；
对上述取样步骤所得到的取样数据进行频带分割并输出频带信号数据的频带分割步骤；
对上述频带分割步骤得到的频带信号数据进行编码位分配的编码位分配步骤；
基于用心理听觉分析替代控制方式预先设定的对各频带的加权控制上述编码位分配步骤中的分配的位分配控制步骤；
根据上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化步骤；
根据上述量化步骤所得到的量化值输出编码数据的编码步骤。
在方案19中，根据方案18的声音编码方法，其特征在于，上述编码位分配控制步骤是顺序位分配步骤，它进行控制以用上述心理听觉分析替代方式预先设定的对各频带的加权从大到小的顺序对在上述频带分割步骤所得到的频带信号数据进行编码位分配。
在方案20中，根据方案18的声音编码方法，其特征在于，上述编码位分配控制步骤是频带输出适应位分配步骤，它进行控制以对在上述频带分割步骤所得到的频带信号数据，基于用上述心理听觉分析替代方式预定的对各频带的加权和各频带信号数据具有的输出电平进行编码位分配。
在方案21中，根据方案18的声音编码方法，其特征在于，上述编码位分配控制步骤是改良型频带输出适应位分配步骤，它进行控制以对在上述频带分割步骤所得到的频带信号数据，基于用心理听觉分析替代方式预定的对各频带的加权、对各频带的每个频带的位分配数的加权和各频带信号具有的输出电平进行编码位分配。
在方案22中，根据方案18的声音编码方法，其特征在于，上述编码位分配控制步骤是最小闻域比较步骤，它进行控制以对在上述频带分割步骤所得到的频带信号数据，按每一个频带信号数据与最小闻域值进行比较，对由上述的比较判定为未达到最小闻域的频带信号数据不进行位分配；增加对其他频带的位分配。
在方案23中，提供一种声音编码装置，按频带分割编码方式对声音进行编码，其特征在于：包括，
存储编码处理中所用的设定频率fs和变换常数n的寄存器；
输入作为编码对象的声音的声音输入装置；
用根据上述存储的设定频率fs决定的取样频率作成取样声音数据的输入声音取样装置；
设用上述设定频率fs作为取样频率的情况下所得到的取样声音数据的个数为m个，基于上述变换常数n抽取m/n个取样声音数据，输出使各个该m/n个取样声音数据按每n个取样声音数据连接起来而成的n个变换声音数据的声音数据变换装置；
把上述变换声音数据进行频带分割而得到M个频带信号的频带分割装置；
把从上述存储的设定频率fs和变换常数n所得到的频率fs/2n作为限制频率，并仅把编码位分配给上述频带信号中的在限制频率以下的频带信号的编码位分配装置；
根据上述分配的编码位进行量化的量化装置；
把上述量化了的数据作为编码数据输出的编码装置；以及
记录上述所输出的编码数据的编码数据记录装置。
在方案24中，提供一种声音编码装置，用频带分割编码方式对声音进行编码，其特征在于：包括，
存储用于上述编码的控制常数的寄存器；
对输入声音进行取样处理并输出取样数据的取样装置；
对上述取样装置所得到的取样数据进行频带分割并输出频带信号数据的频带分割装置；
对上述频带分割装置所得到的频带信号数据进行编码位的分配的编码位分配装置；
根据上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化装置；
根据上述量化装置所得到的量化值输出编码数据的编码装置；
将上述寄存器中所存储的控制常数与预先设定的值进行比较，判断编码处理能力，基于该判断结果控制编码整体的数据处理量的编码处理控制装置。
在方案25中，提供一种声音编码装置，用频带分割编码方式对声音进行编码，其特征在于：
对输入声音进行取样处理并输出取样数据的取样装置；
对上述取样装置所得到的取样数据进行频带分割并输出频带信号数据的频带分割装置；
对上述频带分割装置所得到的频带信号数据进行编码位的分配的编码位分配装置；
基于根据心理听觉分析替代控制方式预先设定的对各频带的加权控制上述编码位分配装置中的分配的编码位分配控制装置；
根据上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化装置；
根据上述量化装置所得到的量化值输出编码数据的编码装置。
附图说明
本发明的这些和其他的目的、优点及特征将通过结合附图对本发明的实施例的描述而得到进一步说明。在这些附图中：
图1表示本发明的实施例1的图象编码装置的构成的方框图；
图2表示该实施例的图象编码装置的编码装置中的处理程序流程图；
图3是表示该实施例的图象编码装置的编码参数决定装置中的处理程序的流程图；
图4是表示本发明的实施例2的图象编码装置的构成的方框图；
图5是表示该实施例的图象编码装置的编码参数决定装置中的处理程序的流程图；
图6是表示本发明的实施例3的图象编码装置的构成的方框图；
图7是表示该实施例的图象编码装置的编码参数决定装置中的状态迁移的状态迁移图；
图8是表示本发明的实施例4的图象编码装置的构成的方框图；
图9是表示该实施例的图象编码装置的编码参数决定装置中的状态迁移的状态迁移图；
图10是表示本发明的实施例5的声音编码装置的构成的方框图；
图11是表示该实施例的装置的硬件构成的图；
图12是表示该实施例的装置的声音编码的处理程序的流程图；
图13是用于说明该实施例的装置的取样处理和声音数据变换处理的图；
图14是表示本发明的实施例6的声音编码装置的构成的方框图；
图15是表示该实施例的装置的声音编码的处理程序的流程图；
图16是表示本发明的实施例7的声音编码装置的构成的方框图；
图17是表示该实施例的装置的声音编码的处理程序的流程图；
图18是表示本发明的实施例8的声音编码装置的构成的方框图；
图19是表示该实施例的装置的声音编码的处理程序的流程图；
图20是表示本发明的实施例9的声音编码装置的构成的方框图；
图21是表示该实施例的装置的声音编码的处理程序的流程图；
图22是用于说明该实施例的声音编码的概念图；
图23是表示本发明的实施例10的声音编码装置的构成的方框图；
图24是表示该实施例的装置的声音编码的处理程序的流程图；
图25是表示该实施例的频带分割中的基本低通滤波器的运算式中的系数Ci的图；
图26是表示本发明的实施例11的声音编码装置的构成的方框图；
图27是表示该实施例的装置的声音编码的处理程序的流程图；
图28是用于说明该实施例的声音编码中的频带抽取的概念图；
图29是表示本发明的实施例12的声音编码装置的构成的方框图；
图30是表示该实施例的装置的声音编码的处理程序的流程图；
图31是表示本发明的实施例13的声音编码装置的构成的方框图；
图32是表示该实施例的装置的声音编码的处理程序的流程图；
图33是表示本发明的实施例14的声音编码装置的构成的方框图；
图34是表示该实施例的装置的声音编码的处理程序的流程图；
图35是表示该实施例的装置中的依次位分配的处理程序的流程图；
图36是表示该实施例中的依次位分配中的向各个频带的位分配的处理程序的流程图；
图37是表示本发明的实施例15的声音编码装置的构成的方框图；
图38是表示该实施例的装置的声音编码的处理程序的流程图；
图39是表示本发明的实施例16的声音编码装置的构成的方框图；
图40是表示该实施例的装置的声音编码的处理程序的流程图；
图41是表示该实施例的装置中的改进型频带输出适应位分配的处理程序的流程图；
图42是表示本发明的实施例17的声音编码装置的构成的方框图；
图43是表示该实施例的装置的声音编码的处理程序的流程图；
图44是表示本发明的实施例18的图象声音编码装置的简要构成的图；
图45是图解地表示该实施例的图象声音编码装置的动作的图；
图46是用于说明该实施例的图象声音编码装置的持续更长时间的动作的图；
图47是表示本发明的实施例19的图象声音编码装置的简要构成的图；
图48是表示本发明的实施例20的图象声音编码装置的简要构成的图；
图49是表示本发明的实施例21的图象声音编码装置的简要构成的图；
图50是表示本发明的实施例22的图象声音编码装置的简要构成的图；
图51是用于说明实施例18至实施例22的图象声音编码中的现象的图；
图52是表示本发明的实施例23的图象声音编码装置的简要构成的图；
图53是用于说明实施例23中的图象声音编码的图；
图54是表示本发明的实施例24的图象声音编码装置的简要构成的图；
图55是表示本发明的实施例25的图象声音编码装置的简要构成的图；
图56是表示该实施例的图象编码装置的编码装置中的处理程序的流程图；
图57是表示该实施例的图象编码装置的编码参数决定装置中的处理程序的流程图；
图58是表示现有技术中的进行由专用硬件所构成的实时处理的图象编码装置的构成的方框图；
图59是表示现有技术的第一例中的声音编码装置的构成的方框图；
图60是表示该例中的声音编码的处理程序的流程图；
图61是用于说明声音编码中的取样处理的图；
图62是用于说明声音编码中的频带分割的概念图；
图63是表示被频带分割后的频带信号的图；
图64是表示现有技术的第二例中的MPEG1Audio声音编码装置的构成的方框图；
图65是表示该例中的声音编码的处理程序的流程图；
图66是表示在现有技术中的心理听觉分析中所应用的，人类的听觉中的最小闻阈的图；
图67是表示现有技术中的图象声音编码装置的简要构成的图。
具体实施方式
(实施例1)
按照本发明的实施例1的图象编码方法，决定多个编码参数之中的某一个参数，并根据设定的帧速率和上述所决定的参数来决定其他参数。
图1是按照本发明的实施例1的图象编码装置的构成方框图。如该图所示，按照本实施例1的图象编码装置由编码器101和编码参数决定装置102构成，编码器101内包含有DCT处理器103、量化器104、可变长编码器105、比特流生成器106、逆量化器107、逆DCT处理器108和预测图象生成器109，而编码参数决定装置102内包含有分辨率参照表110。
编码器101输入由图象被数字化了的一连串静止图象构成的数据作为输入图象数据，并按照所设定的编码参数进行编码处理，然后输出编码数据。把构成输入图象数据的各个静止图象数据称之为帧图象。编码参数由后述的编码参数决定装置102送来，它包含有表示编码类型的参数和表示分辨率的参数。表示编码类型的参数表示帧内编码处理或顺向预测编码处理，编码器101按照相应的参数进行帧内编码或顺向预测编码。表示分辨率的参数被输入到后述的DCT处理器，并按照相应的分辨率进行编码处理。在编码器101内部，首先由DCT处理器103对输入图象数据进行DCT(离散余弦变换)处理，并输出DCT变换数据；然后由量化器104对DCT变换数据进行量化处理，并输出量化数据；再由可变长编码器105对量化数据进行可变长编码处理，从而作成经压缩编码的可变长编码数据。可变长编码数据被输入到比特流生成器106，并由比特流生成器106输出编码数据即装置输出，以此作为能够进行传送或记录的比特流。
逆量化器107对量化器104输出的量化数据进行逆量化处理即量化处理的逆处理，并输出逆量化数据；然后由逆DCT处理器108对逆量化数据进行逆DCT处理即DCT处理的逆处理，并输出逆DCT变换数据；逆DCT变换数据被输入到预测图象生成器109，并作为预测图象数据输出。在按照编码参数进行用预测图象的帧间编码处理的情况下，由于是把该预测图象数据和输入图象数据的差分数据输入到DCT处理器103，所以在编码器101内进行正向预测编码。
在按照本实施例1的图象编码装置中，编码参数决定装置102用内含的分辨率参照表110由所指定的帧速率和编码码型来决定分辨率，并把包含相应的所决定的分辨率的参数的上述编码参数输出到编码器101。
按照本实施例1的图象编码装置是在个人计算机(PC)中由处理控制装置(CPU)的控制执行图象编码程序来实现的。在执行编码处理时，以下5个条件成立。
(1)编码处理所需要的时间正比于与帧内编码、正向预测编码处理同时进行处理的帧图象的分辨率的时间。
(2)执行顺向预测编码情况的处理时间要花执行帧内编码情况的6倍的时间。
(3)执行帧内编码的情况下所得到的编码数据量为输入图象数据量的1/10，执行顺向预测编码情况下所得到的编码数据的数据量为输入图象数据量的1/16。
(4)在实现本装置的PC的CPU以100MHz的频率动作的情况下，用帧内编码进行编码处理时能够以1/24秒的时间处理320×240的分辨率的帧图象。
(5)本装置的处理能力正比于安装在本装置内的CPU的工作频率，即：本装置中的编码处理的处理时间正比于工作频率的倒数。
这里，安装在本装置内的CPU的工作频率是100MHz，编码开始时所指定的帧速率是24帧/秒，假定作为编码类型的编码码型有两种，即：全都作为“I”的码型-码型1“II”和每2帧重复“I”“P”的码型2“IP”。其中，用“I”表示帧内编码，用“P”表示顺向预测编码。
下面，按照以上的设定来说明如上述构成的本实施例1的图象编码装置的动作。首先，把作为编码对象的图象数字化，再作为一连串的帧图象输入到相应编码装置的编码器101。图2是表示编码器101的动作的流程图。以下，根据图2来说明编码器101的动作。假定编码参数决定装置102指示编码器101对编码开始时的最初的帧图象进行必须的帧内编码。
在步骤A01，就编码参数决定装置102输入的编码参数进行判断，在指示帧内编码的情况下，执行步骤A02以后的处理；在指示顺向预测编码的情况下，执行步骤A07以后的处理。
在执行步骤A02以后的处理的情况下，就像下面那样进行。在步骤A02，DCT处理器103根据编码参数决定装置102指示的分辨率把所输入的帧图象分割为8像素×8像素的数据块，对每个分割块进行2维离散变换，并输出DCT变换数据；然后，在步骤A03，量化器104用某个定值对DCT变换数据进行量化处理，并输出量化数据；在步骤A04，可变长编码器105对量化数据进行可变长编码，并输出可变长编码数据；在步骤A05中，比特流生成器106用可变长编码器105输出的可变长编码数据、由编码参数决定装置102输出的分辨率以及编码类型生成编码结果即比特流，并输出为相应编码装置的装置输出。
在步骤A06，判断编码是否结束，如果被判断为编码结束，就结束处理。另一方面，如果编码未结束，就返回上述步骤A01，并执行步骤A01的判断以后的处理。
对此，根据步骤A01的判断，在执行步骤A07以后的处理的情况下，就像下面那样进行。首先，在步骤A07，逆量化器107对量化器104对刚刚在前的帧图象输出的全部量化数据进行逆量化，并输出逆量化数据；然后，在步骤A08，逆DCT处理器108对逆量化数据的每个由DCT处理器103分割的8像素×8像素的数据块进行2维逆离散余弦变换即2维离散余弦变换的逆处理，并输出逆DCT变换数据。在步骤A09中，预测图象生成器109根据逆DCT变换数据生成并输出预测图象。
在步骤A10，DCT处理器103根据分别指示的分辨率把所输入的帧图象和预测图象生成器109输出的预测图象分割成8像素×8像素的数据块，对每个分割成的数据块，从所输入的帧图象的数据中减去预测图象数据，从而得到差分数据。并且对该差分数据，每个分割的数据块进行2维离散余弦变换，并输出DCT变换数据。与步骤A03到步骤A06一样，执行输出DCT变换数据后的步骤A11～A14。
这样，就在编码器101中，根据步骤A01的判定对每个输入的帧图象进行步骤A02～步骤A06的处理或进行步骤A07～步骤A14的处理。步骤A02～步骤A06是帧内编码处理，步骤A07～步骤A14是根据用对刚刚在前的帧图象的编码结果的预测图象的顺向编码处理，这种切换是根据输入的编码参数在步骤A01的判定时进行的。
表1是表示编码参数决定装置102内含的分辨率参照表110的表。图3是表示编码参数决定装置102的动作的流程图。以下，参照表1，根据图3的流程来说明决定编码参数，并把编码参数输出到编码器101的编码参数决定装置102的动作。
【表1】
  输入   输出
  帧速率   编码码型   分辨率
  24   II   320×240
  24   IP   160×120
表1所示的分辨率参照表110在编码之前预先作成的，考虑到后述的条件，表的作成可以根据经验或用实验编码和模拟等结果来进行。表1的“输入”栏表示所设定的帧速率和指示参数，“输出”栏表示对应输入所决定的参数。如该表所示，帧速率被固定地取为“24(帧/秒)”，另一方面，对编码码型可以指示“II”的码型1和“IP”的码型2。其中的码型1“II”意味着对全部帧图象进行帧内编码(I)；码型2“IP”意味着每2帧重复进行帧内编码(I)和顺向预测编码(P)。
考虑如下条件来进行参照表的作成。第一，顺向预测编码处理附加了由逆量化器107、逆DCT处理器108和预测图象生成器109进行的处理部分的处理量比帧内编码处理的处理量还多；第二，在对输入图象进行高分辨率的编码的情况下，比低分辨率编码情况下的处理量多。
考虑到这些条件，为了能够实现指定的帧速率，并以尽可能高的分辨率进行编码处理，而作成分辨率参照表110。
首先，在步骤B01中，编码参数决定装置102参照分辨率参照表110由所指定的帧速率24帧/秒和编码码型(II或IP)来决定进行编码的帧图象的分辨率。
然后，在步骤B02，编码参数决定装置102对编码器101指示在步骤B01决定的分辨率，同时，指示应该用于帧图象即处理对象的编码类型(I或P)。
此后，在步骤B03，判定编码是否结束了，如果判定维结束，就终止处理；另一方面，如果没有结束，返回到步骤B02，重复对编码器101的比那么参数输出。
虽然按照编码器101和编码参数决定装置102的以上的动作来进行编码，但表2是表示本实施例1中进行了编码的结果的表。
【表2】
  输入   输出   编码结果
  帧速率   编码码型   分辨率   帧速率
  24   II   320×240   24
  24   IP   160×120   27.4
表2表示对于所指定的2个编码条件而作为本实施例1的编码装置中决定发分辨率(所决定的参数)和用这些参数的编码处理结果得到的帧速率(编码结果)。对表2中所示的数值，是基于在编码码型“II”下，在分辨率被取为320×240的情况下能够以24帧/秒进行处理来计算出其他情况下的帧速率。在编码码型IP下，在分辨率被取为160×120的情况下的帧速率因为在P处理时需要I处理的6倍的时间，并且在分辨率为其1/4的情况下能够以1/4的时间进行处理，所以，能够算出对2幅帧图象进行编码时需要(1/24+6/24)÷4＝0.073秒，由此就能够计算出帧速率为27.428帧/秒。
为了进行比较，表3中表示了用现有技术的图象编码装置进行编码的情况下的动作结果。
【表3】
  编码条件   编码结果
  编码码型   分辨率   帧速率
  II   640×480   6
  II   320×240   24
  II   160×120   96
  IP   640×480   1.7
  IP   320×240   6.9
  IP   160×120   27.4
在表3中，也进行与表2的情况一样的计算，基于在编码码型“II”下，在分辨率被取为320×240的情况下能够以24帧/秒进行处理来计算出其他情况下的帧速率。
在现有技术的图象编码装置中，不考虑作为编码结果所得到的帧速率，来决定编码类型(参数)或分辨率。因此，把作为编码结果所得到的帧速率设定得接近于所希望的值是困难的，所以就存在不得不选定成为不必要的数值的设定的情况等。与此相比，在本实施例1的图象编码装置中，对应于考虑编码结果即帧速率而指定的编码类型(码型)来决定分辨率，所以，如表2与表3的对比所示，该装置能够实现接近所指定的帧速率的帧速率的同时，能实现更高分辨率的编码。
按照本实施例1的图象编码装置，由于设置有内含编码器101和分辨率参照表110的编码参数决定装置102，编码参数决定装置102根据所指定的帧速率和编码类型来决定分辨率，并把编码参数输出到编码器101，编码器101再根据该编码参数进行编码处理，所以，就能够实现所要求的条件，同时能够进行更高分辨率的编码。
在本实施例1的图象编码装置中，虽然根据所指定的编码码型来决定分辨率，但是，也能使用同样的参照表根据所指定的分辨率来决定编码码型(类型)，这就能够以所要求的帧速率和编码码型进行得到压缩率更高的编码处理结果的处理。
(实施例2)
按照本发明的实施例2的图象编码方法是对应于相应的编码装置的处理能力，根据所设定的帧速率来决定编码参数，并依据控制装置(CPU)的工作频率来判断处理能力。
图4是按照本发明的实施例2的图象编码装置的构成方框图。如该图所示，按照本实施例2的图象编码装置由编码器201、编码参数决定装置202和处理能力判断器211构成，编码器201内包含有DCT处理器203、量化器204、可变长编码器205、比特流生成器206、逆量化器207、逆DCT处理器208和预测图象生成器209，而编码参数决定装置202内包含有编码码型参照表210。
编码器201与实施例1的图象编码装置的编码器101一样，根据由编码参数决定装置102输入的编码参数对所输入的帧图象以所指示的分辨率并以所指示的称之为帧内编码(I)或顺向预测编码(P)的编码类型进行编码。
编码参数决定装置202根据处理能力判断器211的判断结果决定编码参数，并输出到编码器201；处理能力判断器211判断相应编码装置的编码处理能力，并把判断结果输出到编码参数决定装置202。在本实施例2中，输出表示相应的编码装置的处理能力的“CPU工作频率”作为判断结果，编码参数决定装置202决定由所指定的帧速率和分辨率以及作为判断结果的工作频率构成的编码参数，并根据相应的编码参数把编码类型指示给编码器201。为了决定编码参数，编码参数决定装置202使用内含的编码码型参照表210。
与实施例1一样，本实施例2的图象编码装置也是通过执行PC中的编码程序来实现的，并假定实施例1所示的条件成立。安装在本实施例2的CPU的工作频率是100MHz或166MHz的任一种，编码开始时所指定的帧速率是24帧/秒，指定320×240或160×120为输入图象中的帧图象的分辨率。
下面来说明上述构成的本实施例2的图象图象编码装置按照以上的设定所进行的动作。每一帧输入输入图象数据，并由编码器201对它进行编码处理。编码器201的动作与实施例1的编码器101一样。
另一方面，处理能力判断器211为判断本装置的处理能力而检出安装于实现本装置的PC内的CPU的工作频率，并把它作为判断结果通知编码参数决定装置202。在编码参数决定装置202中，输入表示工作频率是100MHz或166MHz的某一种的判断结果，并由编码参数决定装置202用该判断结果来决定编码参数。
表4是编码参数决定装置202包含的编码参数参照表210。图5是编码参数决定装置202的动作流程图。以下参照表4按照图5来说明编码参数决定装置202的动作。
【表4】
  输入   输出
  帧速率   工作频率   分辨率   编码码型
  24   166   320×240   IIIIIP
  24   166   160×120   IPPPPP
  24   100   320×240   IIIIII
  24   100   160×120   IPIPIP
与实施例1中的编码参数决定装置102的内含编码码型参照表110一样，表4中的编码码型参照表210也是考虑后述的条件在编码之前预先作成的。
表4的“输入”栏和“输出”栏的关系与表1一样，根据所设定的帧速率和分辨率以及作为判断结果的3个工作频率来决定编码参数。这里，关于编码参数，“IIIIII”意味着对全部帧图象进行帧内编码(I)；“IPIPIP”意味着每2帧重复进行帧内编码(I)和顺向预测编码(P)；“IIIIIP”意味着每6帧重复5次进行帧内编码(I)再进行1次顺向预测编码(P)；“IPPPPP”意味着每6帧重复5次进行顺向预测编码(P)再进行1次帧内编码(I)。
与实施例1中的分辨率参照表的设定情况一样，也是考虑如下条件来进行参照表的作成。其条件是：第一，顺向预测编码处理与帧内编码处理比较，处理量多，能够进行高压缩率编码；第二，编码时以高分辨率对图象进行编码的情况下，与低分辨率进行编码的情况比较，处理量多；第三，CPU的工作频率越高，其处理能力就高，就能够用短时间进行编码处理。
考虑到这些条件来作成编码参数参照表110就能够实现所指定的帧速率，同时能够用尽可能高的压缩率来进行编码处理。
当从处理能力判断器211输入判断结果时，编码参数决定装置202就按照图5的流程动作。首先，在步骤C01，编码参数决定装置202参照编码码型参照表210从所指定的帧速率(24帧/秒)、分辨率(320×240或160×120)以及由处理能力判断器211输入的CPU的工作频率(100MHz或166MHz)来决定进行编码时的编码参数。
接着执行步骤C02，编码参数决定装置202对编码器201输出编码参数；编码参数决定装置202指示编码类型使之能够实现在步骤C01决定的编码参数，同时，指示所指定的分辨率；此后，在步骤C03判定编码是否结束了，如果判定为编码结束，就终止处理，如果没有结束，就返回到步骤C02，重复对编码器201输出编码参数。
根据编码器201、编码参数决定装置202和处理能力判断器211的以上动作来进行编码，表5是表示本实施例2中的图象编码装置中进行编码的结果的表。
【表5】
            编码条件   处理能力判断   决定参数                   编码结果
  帧速率   分辨率   工作频率   编码码型   帧速率   编码数据量
  24   320×240   166   IIIIIP   21.7   0.068
  24   160×120   166   IPPPPP   30.8   0.031
  24   320×240   100   IIIIII   24.0   0.100
  24   160×120   100   IPIPIIP   27.4   0.058
表5中，关于由所指定的编码条件和对处理能力的判断结果决定的编码参数即决定参数，与表4是一样的。表中表示了作为对各个情况下进行编码处理的结果(编码结果)所得到的帧速率和编码数据量。这里，编码数据量表示把输入图象中的1幅帧图象的数据量取为1时的相当于编码数据中的1幅帧图象的编码数据的数据量。即：编码数据量越少，压缩率越高。
与实施例1的情况的表2一样，在表5中也按如下方法算出编码结果的帧速率。即：基于CPU的工作频率100MHz、编码码型“IIIIII”、分辨率320×240的情况下能以24帧/秒进行处理，来算出其他情况下的帧速率。例如：在CPU的工作频率166MHz、编码码型“IIIIIP”、分辨率320×240的情况下的帧速率可以根据在P在处理时要6倍的I处理的时间和CPU的工作频率166MHz的情况下能够以100MHz的100/166的时间进行编码处理可以计算出6幅帧图象进行编码时所要的时间(5/24+6/24)×(100/166)＝0.276秒。同样，对于作为编码结果表示的1幅帧图象中的编码数据量也分别根据用I编码情况的1/10和用P编码情况的1/60来计算。例如：在用码型“IIIIIP”编码的情况下，由于6幅帧图象的编码数据量为(5/10+1/60)＝0.517，所以，对1幅帧图象的编码数据量就成为0.086。
为了进行比较，表6表示了用现有技术的图象编码装置进行编码的情况下的编码结果。
【表6】
                    编码条件   处理能力判断                  编码结果
  分辨率   编码码型   工作频率   帧速率   编码数据量
  320×240   IIIIII   166   39.8   0.100
  320×240   IIIIIP   166   21.7   0.086
  320×240   IPIPIP   166   11.4   0.058
  320×240   IPPPPP   166   7.1   0.031
  160×120   IIIIII   166   159.4   0.100
  160×120   IIIIIP   166   86.9   0.086
  160×120   IPIPIP   166   45.5   0.058
  160×120   IPPPPP   166   30.9   0.031
  320×240   IIIIII   100   24.0   0.100
  320×240   IIIIIP   100   13.1   0.086
  320×240   IPIPIP   100   6.9   0.058
  320×240   IPPPPP   100   4.6   0.031
  160×120   IIIIII   100   96   0.100
  160×120   IIIIIP   100   52.4   0.086
  160×120   IPIPIP   100   27.4   0.058
  160×120   IPPPPP   100   18.6   0.031
在表6中也是根据用CPU的工作频率100MHz、编码码型“IIIIII”、分辨率为320×240的情况下能够以24帧/秒进行处理来计算其他情况下的编码结果即帧速率。关于编码数据量，对于1幅帧图象也是根据用I编码的情况下的1/10和用P编码的情况下的1/60来计算。
在现有技术的图象编码装置中，不考虑作为编码结果所得到的帧速率或构成相应的装置的硬件能力的变动，来决定编码码型(类型)或分辨率。因此，作为按照这种设定的处理编码结果所得到的帧速率有时的存在成为不必要的数值的情况。与此相比，在本实施例2的图象编码装置中，考虑相应的编码装置的处理能力和作为编码结果的帧速率，根据所指定的分辨率来决定编码类型(码型)，所以如表5和表6的对比所示的那样，能够实现接近于所指定的帧速率，并且能够进行更高压缩率的编码。
特别是在用计算机等执行图象编码程序来实现图象编码装置的情况下，对应于相应的编码装置的硬件能力的变动而得到的优点是有用的。
这样，按照本实施例2的图象编码装置，设置有编码器201、内含编码码型参照表210的编码参数决定装置202和处理能力判断器211，编码参数决定装置202根据所指定的帧速率和分辨率以及由处理能力判断器211输出的结果来决定编码参数，并把编码参数输出到编码器201，再由编码器201按照该编码参数进行编码处理，所以，能够实现所要求的条件，同时能够进行得到高压缩率的编码。
在本实施例2的图象编码装置中，虽然根据所指定的分辨率来决定编码码型，但是也能够用同样的参照表根据所指定的编码码型(类型)来决定分辨率，这就能够在所要求的帧速率和编码码型之下，以更高的分辨率进行编码处理。
在本实施例2中，有关处理能力的判断是根据CPU的工作频率来进行的，但是，也可以根据CPU或DSP等的处理器的品牌、类型、制造厂家之类的表示装置能力的诸要素来判断，各种各样的应用都是可能的。
(实施例3)
本发明的实施例3的图象编码方法是所基于按照相应的编码装置的处理能力设定的帧速率来决定编码参数的，而且根据所要处理的时间来判断处理能力。
图6是按照本发明的实施例3的图象编码装置的构成方框图。如该图所示，按照本实施例3的图象编码装置由编码器301、编码参数决定装置302和处理能力判断器311构成，编码器301内包含有DCT处理器303、量化器304、可变长编码器305、比特流生成器306、逆量化器307、逆DCT处理器308和预测图象生成器309，而编码参数决定装置302内包含有编码码型参照表310。
编码器301与实施例1的图象编码装置的编码器101一样，根据由编码参数决定装置302输入的编码参数对所输入的帧图象以所指示的分辨率并以所指示的称之为帧内编码(I)或顺向预测编码(P)的编码类型进行编码。
编码参数决定装置302根据处理能力判断器311的判断结果，用内含的编码码型决定器310决定编码参数，并输出到编码器301；处理能力判断器311判断相应编码装置的编码处理能力，并把判断结果输出到编码参数决定装置302。在本实施例3中，输出表示相应的编码装置中的编码处理平均帧速率作为判断结果，编码参数决定装置302由所指定的帧速率和分辨率以及作为判断结果的平均帧速率决定编码码型，并根据相应的编码码型把编码类型指示给编码器301。为了决定编码码型，编码参数决定装置302使用编码码型决定器310。
与实施例1一样，本实施例3的图象编码装置也是通过执行PC中的编码程序来实现的，并假定实施例1所示的条件(1)～(5)成立。设定安装在本装置中的CPU的工作频率是100MHz，编码开始时所指定的帧速率是8帧/秒，指定330×240为输入图象中的帧图象的分辨率。
下面来说明上述构成的本实施例3的图象编码装置按照以上的设定所进行的动作。每一帧输入输入图象数据，并由编码器301对它进行编码处理。编码器301的动作与实施例1的编码器101一样。
另一方面，处理能力判断器311为判断本装置的处理能力而测定编码器301进行处理所要的时间，所进行的处理是对每4幅帧图象之前包含这4幅帧图象的全部帧图象进行的处理，然后由相应测定的处理所要的时间和帧图象的处理数来计算出到该时刻之前的编码处理的平均帧速率，并通知编码参数决定装置302。处理能力判断器把所要求的帧速率即8帧/秒作为平均帧速率的初始值进行通知。
编码参数决定装置302用上述通知的平均帧速率来决定编码参数。
以下来说明包含在编码参数决定装置302内的编码码型决定器310的动作。编码码型决定器310取所限定的几个状态，并根据条件设定由这些条件所得到的状态之间的迁移的有限状态界限进行动作。图7的(a)表示的是编码码型决定器310中的作为有限状态界限的状态迁移图，(b)表示的是状态迁移条件。编码码型决定器310取S0～S3的全部4个状态，在各状态中输出由表7所示的编码码型。
【表7】
  状态   编码码型
  S0   IIII
  S2   IIIP
  S2   IPIP
  S3   IPPP
关于表7所示的编码码型，“IIII”意味着对处理对象的4幅帧图象的全部帧图象进行帧内编码(I)处理；“IIIP”意味着对该4幅帧图象中的最初3幅帧图象进行帧内编码(I)处理，而对最后1幅帧图象进行顺向预测编码(P)处理；“IPIP”意味着对第1和第3幅帧图象进行帧内编码(I)处理，而对第2和第4幅帧图象进行顺向预测编码(P)处理；“IPPP”意味着对该4幅帧图象中的最初1幅帧图象进行帧内编码(I)处理，而对其余3幅帧图象进行顺向预测编码(P)处理。
关于编码码型决定器310的状态迁移，是执行每4幅帧图象对状态迁移的判定，该判定使用相应判定的刚刚在前由处理能力判断器311通知的平均帧速率的值和所指定的帧速率的值，按照图9(a)所示的条件来进行。在本实施例3中，设定取作上述有限状态界限的状态的初始值是S1。由上述可知，在本实施例3的图象编码装置中，编码开始时，首先由处理能力判断器311输出初始值“8帧/秒”，因为编码码型决定器310是状态S1，所以，如图7所示，作为编码码型输出“IIIP”。因此，编码参数决定装置302把能够实现该码型的编码参数输出到编码器301，并控制对3幅帧图象进行帧内编码，而对下1幅帧图象进行顺向预测编码。此后，在由处理能力判断器311得到的平均帧速率达到低于所指定的帧速率时，如图7(a)所示，进行S1→S0的迁移，从而使表7所示的编码码型变更为“IIII”，并且只进行帧内编码。
另一方面，在由处理能力判断器311得到的平均帧速率高于所指定的帧速率时，进行图7(a)所示的S1→S2的迁移，使编码码型变更为“IPIP”，增大顺向预测编码的比率。
通过这样的控制，当在处理能力判断器311的输出平均帧速率比所指定的帧速率小的时候，考虑到相应的编码装置的处理负担重，所以取图7(a)所示的S3→S0方向的迁移，提高编码处理中的处理负担轻的帧内编码的比率；另一方面，当在处理能力判断器311的输出平均帧速率比所指定的帧速率大的时候，考虑到相应的编码装置的处理能力还有余量，所以取图7(a)所示的S0→S3方向的迁移，提高编码处理中的处理负担重的顺向预测编码的比率，力图得到更高压缩率的编码结果。
这样，根据表示处理能力的编码处理的状态来改变编码参数，同时进行编码。表8所表示的是如上所述对28幅连续的帧图象实施编码的情况下的编码结果。
【表8】
  帧图象No   0→3   4→7   8→11   12→15   16→19   20→23   24→27
  指定帧速率                                                   8
  编码码型   IIIP   IIIP   IPIPI   IPPP   IPPP   IPIP   IIIP
  所要时间   0.375   0.375   0.583   0.792   0.792   0.583   0.375
  311的输出   8   10.7   10.7   9   7.5   6.9   6.9
  结果(帧速率)                                                  7.23
  结果(数据量)                                                  0.06
在该表中，所指定的帧速率被固定地设定为“8”。编码码型、所要时间和处理能力判断器311的输出表示的值是从第0帧到第3帧、第4帧到第7帧…等的每4幅帧图象的处理的值。编码码型表示对每4幅帧图象进行编码处理时所用的编码码型，所要时间表示编码器301对4幅帧图象的编码处理所要的时间(秒)，处理能力判断器311的输出表示用所要时间得到的平均帧速率。所以，作为28幅帧图象的编码结果，表示了编码处理中的平均帧速率和编码数据量。
在表8中，在CPU的工作频率为100MHz、编码码型为“IIII”、分辨率为320×240的情况下，从可以按24帧/秒的帧速率进行处理来计算出处理4幅帧图象所要的时间和作为编码结果的帧速率。例如：处理从第0帧到第3帧这4幅帧图象所必要的时间为1/24×3+6/24×1＝0.375；作为编码结果，为了生成15幅I帧和13幅P帧，1幅帧图象的编码所必要的时间为(1/24×15+6/24×13)÷28＝0.138，从而可以计算出平均帧速率为7.255帧/秒。根据I编码的情况下为1/10、P编码的情况下为1/60来计算出编码结果中的1幅帧图象的编码数据量。由于作为编码结果，为生成15幅I帧和13幅P帧，28幅帧图象的编码数据量为(15/10+13/60)，所以，对1幅帧图象的编码数据量为0.061。
表9是用来说明本实施例3的图象编码装置中的编码码型决定器310和编码参数决定装置302的功能的表。在该表中，表示有包含编码码型决定器310和编码参数决定装置302的输出的本实施例3的图象编码装置的状态，所述输出是对上述表8中的处理对象的28幅帧图象之中的从第0幅到第11幅的12幅帧图象的每一帧的输出。
【表9】
  帧图象No   0   1   2   3   4   5   6   7   8   9   10   11
  310的状态                 S1                 S1                          S2
  310的输出                 IIIP                 IIIP                          IPIIP
  302的输出   I   I   I   P   I   I   I   P   I   P   I   P
  所要时间                0.375                0.375                         0.583
  311的输出                8.0                10.7                          10.7
在该表中，所要时间和处理能力判断器311的输出于表8一样。编码码型决定器310根据该处理能力判断器311的输出进行状态迁移，并根据状态输出编码码型。如该表所示，编码参数决定装置302根据所输出的编码码型对1幅帧图象输出编码类型。
如该表所示，编码码型决定器310的状态首先像上述的那样取为S1，所以，如表7所示，输出编码码型“IIIP”。编码参数决定装置302根据该输出对最初的4幅帧图象输出“I”“I”“I”“P”。
由于对于从第8幅到第11幅的4幅帧图象，编码码型决定器310的状态按S1→S2进行迁移，从而输出编码码型“IPIP”，所以编码参数决定装置302的输出成为“I”“P”“I”“P”。
以下，如表8所示，对4幅帧图象进行处理时，进行处理能力的判断和对应于此的编码码型的选择，并在对应于该码型的编码类型中进行编码处理。
为了进行比较，表10中表示了用现有技术的图象编码装置对28幅帧图象按预先决定的编码码型进行编码的情况下的编码结果。
【表10】
(a)对于编码码型IIII的编码结果
  帧图象No   1→28
  编码码型   IIII
  结果(帧速率)   24
  结果(数据量)   0.1
(b)对于编码码型IIIP的编码结果
  帧图象No   1→28
  编码码型   IIIP
  结果(帧速率)   10.7
  结果(数据量)   0.08
(c)对于编码码型IPIP的编码结果
  帧图象No   1→28
  编码码型   IPIP
  结果(帧速率)   6.9
  结果(数据量)   0.06
(d)对于编码码型IPPP的编码结果
  帧图象No   1→28
  编码码型   IPPP
  结果(帧速率)   5.1
  结果(数据量)   0.04
作为编码码型，用表7所示的4个码型，作为编码结果，表示编码处理的帧速率和对1幅帧图象编码数据量。在该表10中，由于在CPU的工作频率为100MHz、编码码型IIII下、分辨率为320×240的情况下能够按24帧/秒进行处理，所以也由此来计算其他情况下的帧速率。关于编码数据量，对于1幅帧图象用I编码的情况下根据1/10来计算，而用P编码的情况下根据1/60来计算。
在现有技术的图象编码装置中，不考虑作为编码结果所得到的帧速率和构成相应的编码装置的硬件能力的变动，来决定编码类型(参数)或分辨率。因此，把作为编码结果所得到的帧速率设定得接近于所希望的值是困难的，所以就存在不得不选定成为不必要的数值的设定的情况等。与此相比，在本实施例3的图象编码装置中，根据考虑了相应的编码装置的处理能力和编码结果即帧速率的变动而指定的分辨率来决定编码码型(类型)，所以，如表9与表10的对比所示，该装置能够实现接近所指定的帧速率的帧速率的同时，能实现更高分辨率的编码。
按照本实施例3的图象编码装置，由于设置有内含编码器301、内含编码码型决定器310的编码参数决定装置302和处理能力判断器311，编码参数决定装置302根据所指定的帧速率和分辨率以及处理能力判断器311输出的判断结果来决定编码类型，并把编码参数输出到编码器301，编码器301再根据该编码参数进行编码处理，所以，就能够实现所要求的条件，同时能够进行得到更高压缩率的编码。
在本实施例3的图象编码装置中，虽然根据所指定的分辨率来决定编码码型，但是，也能进行同样的处理，根据所指定的编码码型(类型)来决定分辨率，这就能够在所要求的帧速率和编码码型下以更高的分辨率进行编码处理。
在实施例1和2的图象编码装置中，基本上是在编码开始时来决定编码参数，此后根据该决定的编码参数来进行编码处理，但是在本实施例3中，是一面进行编码处理一面算出平均帧速率，对应于作为装置的处理能力所得到的编码状态，对编码参数进行动态变更。因此，在本实施例3中，与实施例1和2进行比较，在多少会有些处理负担的多个运算处理并行进行的通用计算机中，在进行伴随图象取入的编码时，既使在相应计算机装置的状况发生变化的情况下，也能够根据该状况的变化设定合适的条件。
可是，在状况不太变化以及估计在编码处理过程中相应编码装置的处理能力不大变动的情况下，在本实施例3的图象编码装置中，与实施例1和2一样，在编码开始时设定参数，然后再按该条件实施编码，也能减轻这种控制的处理负担。
(实施例4)
本发明的实施例4的图象编码方法是基于按照相应的编码装置的处理能力设定的帧速率来决定编码参数的，而且根据暂时存储的数据量来判断处理能力。
图8是按照本发明的实施例4的图象编码装置的构成方框图。如该图所示，按照本实施例4的图象编码装置由编码器401、编码参数决定装置402、处理能力判断器411、缓冲存储装置412和输入帧速率控制装置413构成，编码器401内包含有DCT处理器403、量化器404、可变长编码器405、比特流生成器406、逆量化器407、逆DCT处理器408和预测图象生成器409，而编码参数决定装置402内包含有编码码型参照表410。
编码器401与实施例1的图象编码装置的编码器101一样，根据由编码参数决定装置402输入的编码参数对所输入的帧图象以所指示的分辨率并以所指示的称之为帧内编码(I)或顺向预测编码(P)的编码类型进行编码。在实施例1～3中，编码器101～301都输入输入图象数据，而在本实施例4中，编码器401在由后述的缓冲存储装置412读出数据之后再进行编码处理。
编码参数决定装置402根据处理能力判断器411的判断结果来决定编码参数，并输出到编码器401；处理能力判断器411判断相应编码装置的处理能力，并把判断结果输出到编码参数决定装置402。在本实施例4中，处理能力判断器411把暂时存储的缓冲存储量作为判断结果输出到后述的缓冲存储装置412。编码参数决定装置402由所指定的帧速率、分辨率和判断结果即缓冲存储量来决定编码码型，并根据相应的编码码型把编码类型指示给编码器401。为了决定编码码型，编码参数决定装置402使用编码码型决定器410。
输入帧速率控制装置413把相应的图象编码装置的输入即输入图象数据作为一连串的帧图象按照所指定的帧速率输出到后述的缓冲存储装置412。缓冲存储装置412暂时存储输入图象数据，并把输入图象数据作为一连串的帧图象按顺序保存下去，同时，把由上述编码器401所读入的帧图象按顺序废弃。而且，在本实施例4中，处理能力判断器411检测出编码开始时保存在缓冲存储装置412内的帧图象的幅数与现在保存着的帧图象的幅数的差，并作为判断结果把它输出到编码参数决定装置402。
在本实施例4的图象编码装置中，与实施例1一样，本实施例4的图象编码装置也是通过执行PC中的编码程序来实现的，并假定实施例1所示的条件(1)～(5)成立。设定安装在本装置中的CPU的工作频率是100MHz，编码开始时所指定的帧速率是8帧/秒，指定330×240为输入图象中的帧图象的分辨率。
下面来说明上述构成的本实施例3的图象编码装置按照以上的设定所进行的动作。当把本实施例的图象编码装置的处理对象即图象作为输入图象数据输入时，该输入图象数据首先被输入到输入帧速率控制装置413；输入帧速率控制装置413按所指定的帧速率把输入图象数据作为一连串的帧图象按顺序输入到缓冲存储装置412。在本实施例4中，输入帧速率控制装置413把上述的8帧/秒作为该指定的帧速率进行处理。
缓冲存储装置412把由输入帧速率控制装置413输入的帧图象按顺序保存起来，并按顺序废弃由编码器401读入的帧图象。即：按FIFO(先入先出)方式暂存数据。在编码开始时，编码器401比输入帧速率控制装置413迟一定时间开始动作，即；在编码开始时，缓冲存储装置412保存某一定幅数的帧图象。这是为了防止由于缓冲存储下溢即暂存数据的枯竭不能圆滑地进行处理。在这阶段，处理能力判断器411检测出在初始状态时的缓冲存储装置412内存储的帧图象的幅数，并保存起来用于比较处理。
编码器401先由缓冲存储装置412读出暂存的4幅帧图象，再进行编码处理，编码处理时的编码器401的动作与实施例1中的编码器101的动作一样。
另一方面，在编码器401对4幅帧图象进行编码时，处理能力判断器411检测出保存在缓冲存储装置412内地帧图象的幅数，并取得与在先检出边保存的初始状态下的缓冲存储装置412帧图象的幅数之差，然后把该差值通知编码参数决定装置402。这时，在保存着的帧图象的幅数比初始状态下的帧图象的幅数多的情况下，通知差数为正值，反之通知为负值。
编码参数决定装置402把上述的差数输入到编码码型决定器410；与实施例3中的编码码型决定器310一样，编码码型决定器410作为有限状态机器进行动作。图9(a)是作为有限状态机器动的作的状态迁移图，图9(b)表示的是状态迁移条件。编码码型决定装置取从S0到S3的全部4个状态，在各个状态下输出表11所示的编码码型。
【表11】
  状态   编码码型
  S0   IIII
  S1   IIIP
  S2   IPIP
  S3   IPPP
表1所表示的“IIII”“IIIP”“IPIP”和“IPPP”的各码型与实施例3中所表示的各码型一样。编码码型决定器410中的状态迁移是在编码器401对4副帧图象进行处理时来判定的，该判定是根据由处理能力判断器411通知相应判定的刚刚在前的差值，并按照图9(b)所示的条件来进行的。在本实施例4中，作为有限状态的机器的状态初始值为S1。
在编码器401对4副帧图象进行处理时，为了能够取得编码码型决定器410输出的编码码型，并实现相应取得的编码码型，编码参数决定装置402对每1副帧图象把编码类型指示给编码器401，并把所指定的分辨率原样指示给编码器401。
从上述可知，本实施例4的图象编码装置中，在编码开始时，编码码型决定器410首先处于初始状态S1，所以如表12所示，把“IIIP”作为编码码型输出。因此，为了能够实现该码型，编码参数决定装置402把编码参数输出到编码器401，并控制它对3副帧图象进行帧内编码，再对下面的1副进行顺向预测编码。
此后，当从处理能力判断器411得到的差值为负值时，如图9(a)所示，进行S1→S0的迁移，从而把表12所示的编码码型变更为“IIII”，就只进行帧内编码。
另一方面，当从处理能力判断器411得到的差值为正值时，如图9(a)所示，进行S1→S2的迁移，从而把编码码型变更为“IPIP”，增大顺向预测编码的比率。
由于进行这样的控制，在处理能力判断器411的输出差值为正值时，即：存储在缓冲存储装置412内的帧图象的幅数比初始存储幅数多的时候，由于考虑了相应编码装置的处理负担重，所以采取图9(a)所示的S3S0方向的迁移，从而能够提高编码装置中的处理负担小的帧内编码的比率。另一方面，在处理能力判断器411的输出差值为负值时，即：存储在缓冲存储装置412内的帧图象的幅数比初始存储幅数少的时候，由于考虑了相应编码装置的处理能力还有余量，所以采取图9(a)所示的S0S3方向的迁移，从而能够提高编码装置中的处理负担大的顺向预测编码的比率，并能够得到更高压缩率的编码结果。
这样，对应于作为存储幅数所示的编码处理状态一面改变编码参数一面进行编码，如上所述，表12多表示的是对28幅连续的帧图象实施编码的情况下的编码结果。
【表12】
  帧图象No   0→3   4→7   8→11   12→15   16→19   20→23   24→27
  指定帧速率                                                   8
  编码码型   IIIP   IIIP   IPIP   IPPP   IPPP   IPIP   IIIP
  所要时间   0.375   0.375   0.583   0.792   0.792   0.583   0.375
  输入幅数   3.0   3.0   4.7   6.3   6.3   4.7   3.0
  输出幅数   4.0   4.0   4.0   4.0   4.0   4.0   4.0
  411的输出   0.0   -1.0   -2.0   -1.3   +1.0   +3.3   +4.0
  结果(帧速率)                                                 7.23
  结果(数据量)                                                 0.06
在该表中，所指定的帧速率被固定地设定为“8”。编码码型、所要时间、输入幅数、输出幅数和处理能力判断器411的输出表示的值是从第0帧到第3帧、第4帧到第7帧…等的每4幅帧图象的处理的值。编码码型表示对每4幅帧图象进行编码处理时所用的编码码型，所要时间表示编码器401对4幅帧图象的编码处理所要的时间(秒)，输入幅数表示对缓冲存储装置412输入的帧图象的幅数，输出幅数表示从缓冲存储装置412输出的帧图象的幅数。所以，作为28幅帧图象的编码结果，表示了编码处理中的平均帧速率和编码数据量。
在表12中，在CPU的工作频率为100MHz、编码码型为“IIII”、分辨率为320×240的情况下，基于可以按24帧/秒的帧速率进行处理来计算出处理4幅帧图象所要的时间和作为编码结果的帧速率。
例如：处理从第0帧到第3帧这4幅帧图象所必要的时间为1/24×3+6/24×1＝0.375；作为编码结果，为了生成15幅I帧和13幅P帧，1幅帧图象的编码所必要的时间为(1/24×15+6/24×13)÷28＝0.138，从而可以计算出平均帧速率为7.225帧/秒。根据I编码的情况下为1/10、P编码的情况下为1/60来计算出编码结果中的1幅帧图象的编码数据量。由于作为编码结果，为生成15幅I帧和13幅P帧，28幅帧图象的编码数据量为(15/10+13/60)＝1.717，所以，对1幅帧图象的编码数据量为0.061。
表13是用来说明本实施例4的图象编码装置中的编码码型决定器410和编码参数决定装置402的功能的表。在该表中，表示有包含编码码型决定器410和编码参数决定装置402的输出的本实施例4的图象编码装置的状态，所述输出是对上述表12中的处理对象的28幅帧图象之中的从第0帧到第11帧的12幅帧图象的每一帧的输出。
【表13】
  帧图象No   0   1   2   3   4   5   6   7   8   9   10   11
  410的状态                 S1                 S1                    S2
  410的输出                IIIP                IIIP                   IPIIP
  402的输出   I   I   I   P   I   I   I   P   I   P   I   P
  所要时间                0.375                0.375                   0.583
  输入幅数                 3.0                 3.0                    4.7
  输出幅数                 4.0                 4.0                    4.0
  411的输出                 0.0                -1.0                    -2.0
在该表中，所要时间、输入幅数、输出幅数和处理能力判断器411的输出与表12一样。编码码型决定器410根据该处理能力判断器411的输出进行状态迁移，并输出编码码型。编码参数决定装置402根据所输出的编码码型对1幅帧图象输出编码类型。
如该表所示，编码码型决定器410的状态首先像上述的那样取为S1，所以，如表11所示，输出编码码型“IIIP”。编码参数决定装置402根据该输出对最初的4幅帧图象输出“I”“I”“I”“P”。
由于对于从第8帧到第11帧这4幅帧图象，编码码型决定器410的状态按S1→S2进行迁移，从而输出编码码型“IPIP”，所以编码参数决定装置402的输出成为“I”“P”“I”“P”。
以下，如表12所示，对4幅帧图象进行处理时，进行处理能力的判断和对应于此的编码码型的选择，并在对应于该码型的编码类型中进行编码处理。
在现有技术的图象编码装置中，如在实施例3中用表10所示的那样，不考虑作为编码结果所得到的帧速率和构成相应的编码装置的硬件能力的变动，来决定编码类型(码型)或分辨率。因此，把作为编码结果所得到的帧速率设定得接近于所希望的值是困难的，所以就存在不得不选定成为不必要的数值的设定的情况等。与此相比，在本实施例4的图象编码装置中，与实施例3一样，根据考虑了相应的编码装置的处理能力和编码结果即帧速率的变动而指定的分辨率来决定编码类型(码型)，所以，如表13与表10的对比所示，该装置能够实现接近所指定的帧速率的帧速率，同时能实现按更高压缩率的编码。而且，在实施例3中，要测定进行处理所要的时间，而在本实施例4中，既使在不可能像实施例3那样测定处理时间或难以测定的情况下，也能够把暂存的数据量作为指标来判定壮志的处理能力。
这样，按照本实施例4的图象编码装置，由于设置有编码器401、内含编码码型决定器410的编码参数决定装置402、处理能力判断器411、缓冲存储装置412以及输入帧速率控制413；输入帧速率控制413按所指定的速率把输入图象数据输入到缓冲存储装置412；缓冲存储装置412暂时存储该输入的图象数据；处理能力判断器411根据缓冲存储装置412内所存储的数据量输出表示相应编码装置的处理能力的判断结果；编码参数决定装置402根据所指定的帧速率和分辨率以及处理能力判断器411输出的判断结果来决定编码码型，并把编码参数输出到编码器401，编码器401根据该编码参数进行编码处理，所以，就能够实现所要求的条件，同时能够进行得到更高压缩率的编码。
在本实施例4的图象编码装置中，虽然根据所指定的分辨率来决定编码码型，但是，也能进行同样的处理，根据所指定的编码码型(类型)来决定分辨率，这就能够在所要求的帧速率和编码码型下以更高的分辨率进行编码处理。
在本实施例4装置中，与实施例3一样，是一面进行编码处理一面检测出暂存的数据量，并根据，并对应于作为装置的处理能力所得到的编码状况，对编码参数进行动态变更。因此，在本实施例4的图象编码装置中，与实施例1和2进行比较，在多少会有些处理负担的多个运算处理并行进行的通用计算机中，在进行伴随图象取入的编码时，既使在相应计算机装置的状况发生变化的情况下，也能够根据该状况的变化设定合适的编码条件。
可是，与实施例3一样，在状况不太变化以及估计在编码处理过程中相应编码装置的处理能力不大变动的情况下，在本实施例4的图象编码装置中，与实施例1和2一样，在编码开始时设定参数，然后再按该条件实施编码，也能减轻这种控制的处理负担。
在实施例1～4中，作为编码类型所进行的是帧内编码和顺向预测编码，但并不限定于这些编码类型，例如：作为各不相同的编码类型也可以采用逆向预测编码、双向预测编码等，另外，既使在帧间预测编码中能改变动作矢量的探索范围的情况下，也能够使用不同的编码类型。
关于实施例1～4所示的图象编码方法，使用记录了能够执行该方法的图象编码程序的记录媒体，在个人计算机或工作站等中，通过执行相应程序也能够实现。
(实施例5)
按照本发明的实施例5的声音编码装置，对经取样的声音数据进行变换处理，从而能够减轻相应声音编码装置中的处理负担。
图10是按照本发明的实施例5的声音编码装置的构成方框图，图11是本实施例5的声音编码装置的硬件构成图。如图10所示，相应的声音编码装置由声音输入部501、寄存器502、输入声音取样部503、声音数据变换部504、频带分割部505、编码位分配部506、量化部507、编码部508和编码数据记录部509构成。
声音输入部501输入进行编码的对象是声音，如图11所示，声音可以从话筒输入，也可以是线路输入。寄存器502由图11的主存储器或外部存储装置来实现，存储编码处理用的常数。输入声音取样部503由图11的声卡(输入)和控制程序来实现，对由声音输入部501输入的声音进行取样处理。
声音数据变换部504对输入声音取样部503取样处理了的数据进行用存储在寄存器502内的常数值的变换处理。频带分割部505把由声音数据变换部504变换了的数据进行频带分割。编码位分配部506对由频带分割部505分割了的频带分配编码位。量化部507根据编码位分配部506分配的编码位数进行量化。编码部508把量化部507输出的量化值作为编码声音数据输出。504～508都由图11的CPU、主存储器和程序来实现。
编码数据记录部509由图11的外部存储装置和控制程序来实现，并把由编码部508输出的编码数据作为相应的声音编码装置的声音编码处理结果存储起来。
在本实施例5中，采用MPEGAudio中规定的32kHz、44.1kHz、48kHz三个取样频率中的48kHz作为设定频率。变换常数n取为按照CPU性能预先决定的值“2”，并存储在寄存器502内。关于变换常数的设定，可以采用三种方法，即：固定地想定装置中所用的CPU，根据其编码处理性能来设定的方法、从预先模拟等对每种CPU求出的值中由用户的CPU选择来选定的方法以及根据在编码处理之前进行对CPU的编码处理性能的推算的结果进行设定的方法。
图12是按照本实施例5的编码装置的声音编码的动作流程图，图13是按照本实施例5的编码装置的取样及其后的声音数据变换的说明图。以下根据图12的流程图，并参照图10和图13来说明按照本实施例5的声音编码装置的编码时的动作。
在图12的流程图的步骤1中，在输入声音取样部503内对声音输入部501所输入的声音信号进行以设定频率fs为取样频率的取样。与现有技术例的情况一样，像图13(a)所示的那样，把与取样频率fs呈倒数关系的时间设为ts，像图13(a)所示的那样进行取样，并输出m个取样声音数据。
在步骤中，声音数据变换部504得到存储在寄存器502内的变换常数n，并从输入声音取样部503输出的m个取样声音数据跳过(n-1)个，共计提取出m/n个取样声音数据。如图13(b)所示，由于这时的(n-1)是1，所以，每隔一个数据提取出标注有○符号的取样声音数据。并且，声音数据变换部504把所提取出的数据分别作成每n个数据连续起来的合计m个变换声音数据。输出图13(c)的变换声音数据后，该变换声音数据就成了频率fs的m个声音数据。
这里，仅单纯地间隔(n-1)个数据进行取样，与提供到后面的频带分割编码的情况进行比较而考察步骤2中的声音数据变换。这种情况下，如图13(d)的数据C所示，被作成为取样频率fs/n的m/n个声音数据而输出的编码声音数据只作成为相当于取样频率fs/n的编码数据，而不能作为取样频率重放。按照这里的设想，根据MPEGAudio的规定，按48kHz进行取样后，设n＝2，当假定对仅跳过1个数据进行取样的m/2个声音数据接着频带分割编码时，只输出相当于取样频率fs/2＝24kHz的编码数据，不能按上述MPEGAudio规定的3个取样频率32kHz、44.1kHz和48kHz的任一个频率进行重放。
因此，在本实施例5的编码处理中，用步骤2的变换处理不仅单纯地作成跳过(n-1)个数据的m/n个声音数据(图13(d)的数据C)，而且还作成每n个相同数据连续的变换声音数据。虽然实质的取样频率相当于fs/n，但是，图13(c)所示的数据B的这个变换数据成为按照于图13(b)的数据A一样的取样频率进行处理的m个声音数据。
接在上述的变换步骤即步骤2之后，在步骤3中，对该变换声音数据由频带分割部505进行向M个频带的分割。在MPEGAudio的频带分割中，进行向32个频带的分割，该步骤的进行与第一个现有技术例的情况相同。
在步骤4，编码位分配部506与寄存器502取得设定频率fs和变换常数n，并根据它们用一般公知的取样定理来计算出构成可重放界限的限制频率fs/2n。并且，在被分割为M个的频带中，把编码位分配到可重放的比限制频率小的频率的频带内，不把编码位分配到可重放的比限制频率大的频率的频带内，由此来决定编码位分配数。从编码位分配部506把编码位分配数传送到量化部507。
在步骤5中，量化部507编码位分配数根据对每个频带的声音数据进行量化，并输出量化值；在步骤6，编码部508由该量化值输出编码声音数据；所输出的编码声音数据被记录到编码数据记录部509内。如图12的流程图所示，以上的过程接在进行编码的对象的声音的输入之后重复进行，声音的输入终止后，迅速结束编码。
关于本实施例5的声音编码装置的效果，在MPEGAudio中的频带分割方法中来考察在步骤3的频带分割中使用由步骤2所得到的变换声音数据而产生的处理量的减轻。
这里，在设想的MPEGAudio的频带分割中为进行向32个频带的分割，进行以下的运算。
【公式1】
Zi＝Ci×Xi(i＝0～511)                        (1)
Yi = Σ j = 0 7 Z 64 j + i ( i = 0 ~ 63 ) - - - ( 2 )
Si = Σ k = 0 63 YK cos ( ( 2 i + 1 ) ( k - 6 ) π / 64 ) , ( i = 0 ~ 31 ) - - - ( 3 )
其中，Xi：输入声音数据Yi：频带分配后的声音数据
系数Ci由按照MPEG音频标准的对比取样号和系数的系数表得到。
这里，公式(1)和(2)对通常的m个声音数据进行运算，而在对步骤2中变换过的把所提取的取样声音数据每n个连续起来的变换声音数据进行运算的情况下，因为这n个取样声音数据是一样的，所以，关于连续处理这些数据的部分来说，可以对m/n个声音数据进行运算，对于公式(1)来说，运算量可以减少到1/n，既使对于公式(2)，也能够把运算量减少到1/n。
这里，对n＝4的情况进行说明，在这种情况下，用公式(1)，因为4个X0是连续的，所以X0～X3的声音数据就为X0＝X1＝X2＝X3，对于Ci来说，也可以用C0＝C1＝C2＝C3构成的一个值来进行运算。Z0，Z1，Z2，Z3这4个结果值经一次运算就求出来了，用公式(1)仅在1/4的运算量中就能求出全部Zi。
在公式(1)的运算中，用C0＝C1＝C2＝…＝Cn的一个值为代表，采用使用C0～Cn的任一个值的方法或使用C0～Cn的平均值的方法。
接着，在用Zi该的公式(2)中，对从0到64个跳过值仅进行8次加法运算，在n是2的乘方数的情况下，每n个Yi成为相同的值，所以运算量减少到1/n，但是，在n不是2次乘方数的情况下，例如n＝3的情况下，求Y0的加法运算的Z64与求Y1的加法运算的Z65不相等，结果，公式(2)的运算量就不减少。
可是，既使在这个n不是2的乘方数的情况下，也能够由设定来削减运算量。例如；在n＝3的情况下，X0＝X1＝X2、X3＝X4＝X5、…、X27＝X28＝X29、X30＝X31，在对32个频带的分割时，进行步骤2中的声音数据变换，以使在i＝0～31之间连接起来多个应该相同的值。总之，时最后的2个值相同，把此外的连续的3组相同值变换为并列形式的声音数据列，如果用这种变换来进行步骤3的频带分割时的公式(1)和公式(2)的运算，就能够把运算量削减近1/3。
对于公式(3)，在声音变换之后，运算量也不变化。
在进行步骤4中的编码位分配时，仅对限制频率fs/2n以下的频带分配编码位，是对按原来的取样频率fs取样的声音数据按照步骤2的声音数据变换时跳过(n-1)个数据进行取样，但是与按取样频率fs/n取样等同，由公知的取样原理可知fs/2n以上的频带是重放不出来的，所以仅把可重放的fs/2n以下的频带作为编码对象。因为不分配编码位给限制频率以上的频带，就不要对该频带的量化，所以，步骤5中的量化处理的负担就减轻到1/2。
这样，按照本实施例5的声音编码装置，设置有寄存器502和声音数据变换部504，对输入声音取样部503按设定频率进行取样过的m个取样声音数据，由声音数据变换部504根据存储在寄存器502内的变换常数n跳过n-1个数据总计提取出m/n个取样数据，并把所提取的取样声音数据分别作成为每n个数据连续起来的m个变换声音数据，接下来由频带分割部505进行的处理时，能够大量地削减运算量。但是，与单纯地提取来减少声音数据的情况不同，能够按原来的设定频率得到能重放的编码数据。另外，按照取样原理，编码位分配部506对频带分割了的频带不把编码位分配给不能重放的频带，由于这样就不要由量化部507对该频带进行量化，所以，就能把量化处理的负担减轻到1/2。因此，既使在由于CPU性能的不足而使用现有技术的方法难以进行伴随声音输入的实时编码处理或不可能进行进行伴随声音输入的实时编码处理的情况下，由于常数的设定来减轻负担，所以也能够实时地进行声音编码处理。
在本实施例5中，作成变换声音数据时，作成为取样声音数据并列形式的数据，但是，在取样声音数据之间***n-1个两侧声音数据的平均声音数据之类的适当的声音数据，也能够得到同样的效果。
(实施例6)
本实施例6的声音编码装置与实施例5一样，也是通过对取样过的声音数据进行变换处理来得以减轻相应的声音编码装置的处理负担，但是与实施例5所不同的是在不用声音数据变换处理的取样处理中进行数据量的削减。
图14是按照本发明的实施例6的声音编码装置的构成方框图。如该图所示，相应的声音编码装置由声音输入部601、寄存器602、输入声音取样部603、声音数据变换部604、频带分割部605、编码位分配部606、量化部607、编码部608和编码数据记录部609构成。本实施例6的编码装置的硬件构成与图11所示的实施例5的硬件构成是一样的。
输入声音取样部603与实施例5的输入声音取样部603不同，不是把设定频率原样作为取样频率，而是从寄存器602得到变换常数，再按照用设定频率和该变换常数确定的取样频率来进行取样处理。声音数据部604与实施例1的声音数据部104也不同，不进行取样声音数据的提取，而仅进行声音数据的***，并作成变换声音数据。声音输入部601、频带分割部605、编码位分配部606、量化部607、编码部608以及编码数据记录部609与实施例5的501、505～509是一样的。图15是本实施例6的编码装置进行的声音编码的动作流程图。在本实施例6中，也是用图13来说明取样和声音变换处理。以下，根据图15的流程图，参照图14来说明本实施例6的声音编码装置的编码时的动作。与实施例5的情况一样，设定频率fs取为MPEGAudio规定的48kHz，变换常数n为“2”。
在图15的步骤中，输入声音取样部603从寄存器602得到设定频率fs和变换常数n并从这些参数来决定执行取样频率fs/n，再在输入声音取样部603中按照执行取样频率对声音输入部601输入的声音信号进行取样。输出该取样的结果，即像图13(d)的数据C那样的m/n个取样声音数据。
在步骤2，声音数据变换部604从寄存器602得到变换常数n，并根据输入声音取样部603输出的m/n个取样声音数据作成由每n个取样声音数据连接成的m个变换声音数据。输出像图13(c)的数据B那样的变换声音数据，该变换声音数据成为频率为fs的m个声音数据。
如实施例5中的说明，图13(d)的数据C的声音数据不能用取样频率进行重放，但是由于进行变换后作成图13(c)的数据B的声音数据，所以就能够得到可以用取样频率进行重放的编码数据。
因为在步骤2中所得到的变换声音数据成为与实施例5的情况下的步骤2得到的声音变换数据同等的数据，所以，此后的步骤3～6也同样执行与实施例5相同的步骤3～6。而且，步骤1～6接在声音输入之后重复进行，在声音输入终止后，编码迅速结束。
既使在本实施例6的声音编码装置中，在频带分割阶段和量化阶段也能够实现与实施例5的装置中说明的同样的运算量的削减。
这样，按照本实施例6的声音编码装置，由于设置有寄存器602、输入声音取样部603和声音数据变换部604，所以，输入声音取样部603用设定频率fs和寄存器602内存储的变换常数n历来决定执行取样频率fs/n，并进行取样处理；声音数据变换部604对所得到的m/n个取样声音数据通过进行声音数据的***来得到由m个声音数据构成的变换声音数据，从而与实施例5一样，能够得以减轻装置的处理负担。另外，在本实施例6的装置中，由于用取样频率fs/n来进行取样，所以在取样输入时暂存声音数据的缓冲存储器的容量可以是实施例5的装置的情况下的1/n，而且，既使在使用取样频率的上限未达到fs的声卡的情况下，也具有能够动作的有利之处，同时，既使使用更少的硬件资源，灵活运用装置资源也能够进行伴随声音输入的实时编码处理。
在本实施例6中，与实施例5一样，在作成变换声音数据时作成取样声音数据并列形式的数据，但是***n＝1个适当的声音数据也能够得到同样的效果。
(实施例7)
按照本实施例7的声音编码装置由于对应于输入的数据量来变更变换常数，从而得以能够进行适应于状况的编码。
图16是按照本发明的实施例7的声音编码装置的构成方框图。如该图所示，相应的声音编码装置由声音输入部701、寄存器702、输入声音取样部703、声音数据变换部704、频带分割部705、编码位分配部706、量化部707、编码部708、数据记录部709、输入缓冲存储器7010和输入缓冲存储器监视部7011构成。该构成是在实施例5的声音编码装置中追加了输入缓冲存储器7010和输入缓冲存储器监视部7011。本实施例7的编码装置的硬件构成与图11所示的实施例5的编码装置的硬件构成是一样的。
输入缓冲存储器7010主要是用主存储器等的存储器来实现，用来暂存数据。输入缓冲存储器监视部7011用CPU、主存储器和程序来实现，检查输入缓冲存储器7010内为暂存而保持的数据量，并把该数据量与预先设定的值进行比较，再根据比较结果来变更寄存器702的变换常数。寄存器702除了用输入缓冲存储器监视部7011来变更存储的变换常数的值之外，与实施例5的寄存器502是一样的。输入声音取样部703除了把取样声音数据输出到输入缓冲存储器7010之外，与实施例5的输入声音取样部503是一样的。声音数据变换部704除了从输入缓冲存储器7010取得取样声音数据作为处理对象之外，与实施例5的声音数据变换部504是一样的。声音输入部501、频带分割部505、编码位分配部506、量化部507、编码部508以及编码数据记录部509与实施例5中的501、和505～509是一样的。
图17是本实施例7的编码装置进行的声音编码的动作流程图。以下，根据图17的流程图，参照图16来说明本实施例7的声音编码装置的编码时的动作。
与实施例5的情况一样，设定频率fs取为MPEGAudio规定的48kHz。变换常数n以根据CPU的性能预先决定的值“1”作为初始值，被存储在寄存器702内。
在图17的步骤1中，与实施例5一样，在输入声音取样部703中对由声音输入部701输入的声音信号进行取样；在步骤2中，把取样声音数据写入输入缓冲存储器7010内，并暂存起来。在步骤3，声音数据变换部704读出由输入缓冲存储器7010暂存的取样声音数据。在后述的步骤4之后进行的步骤5中的声音数据的变换以后，直到步骤9的编码数据输出之前，所执行的步骤与实施例5中的图12的流程的步骤2～6一样，所以，省略对步骤5～9中的动作的说明。
在执行步骤3之后，在步骤4，输入缓冲存储器监视部7011检查保持在输入缓冲存储器7010内的数据量，并把该数据量与预先设定的值进行比较，根据比较结果，来变更存储在寄存器702内地变换常数n。监视输入缓冲存储器7010并控制变换常数n的值，可以采用各种各样的方法，这里，是按照以下的方法来进行。
在由于CPU的负担的增大而未能用当初的设定来进行随声音的输入的编码处理的情况下，对于输入缓冲存储器7010来说，由于相对于相同定速来进行写入，为进行编码处理的读出定速降低，所以数据量增大。
在输入缓冲存储器7010的数据量超过预先设定的缓冲满程度BF的情况下，输入缓冲存储器监视部7011把用现状的设定的实时编码处理判断为不可能，并把寄存器702内所存储的变换常数n的值增加1，变更为n＝2。在此后的流程图的步骤5～9中，在步骤5，对数据间剔一个跳跃间隔，从而变换为把2个相同数据连接起来的形式，再在步骤6把它进行频带分割，从而能够把步骤6的频带分割的一部分处理减轻到1/2。另外，在步骤7进行对各频带的编码位分配时，仅对频率fs/4以下的频带分配编码位，所以，能使步骤8的量化处理减轻到1/4。这样，输入缓冲存储器监视部7011通过变更变换常数n的值来图谋减轻对CPU的负担。
重复图17的流程，在步骤4中，输入缓冲存储器7010的数据量在仍旧超过缓冲满程度BF的情况下，输入缓冲存储器监视部7011变更寄存器702内的变换常数n，再增加1，变更为n＝3。这样，在步骤5，对数据间剔两个跳跃间隔，从而变换为把3个相同数据连接起来的形式，从而能够把步骤6的频带分割的一部分处理减轻到1/3。另外，在步骤7进行对各频带的编码位分配时，仅对频率fs/6以下的频带分配编码位，所以，能使步骤8的量化处理减轻到1/6。此后，当输入缓冲存储器7010的数据量在步骤4达到低于缓冲满程度BF之前，输入缓冲存储器监视部7011寄存器702的n值。
反之，当在步骤4中，在输入缓冲存储器7010保持的数据量低于预先设定的缓冲空程度BE的情况下，输入缓冲存储器监视部7011判断为不见们处理能力有余量。编码常数小的一方，尽可能不间剔声音数据，而且不切除高频成分，从而能够得到高品质的编码数据，输入缓冲存储器监视部7011变换常数n的值减少1，此后，与上述一样，直到输入缓冲存储器7010的数据量达到超过缓冲空程度BE之前，重复图17的流程，在步骤4寄存器702存储的变换常数n的值减少1。
在上述的发明中，为了控制变换常数n的值，使用缓冲满程度BF和缓冲空程度BE这两个值，但是也可以只使用缓冲满程度BF，这时，在输入缓冲存储器的数据量达到预先设定的缓冲满程度BF之前，增加变换常数n的值，当声音输入与编码处理均衡时，即数据量达到BF时，进行控制，以使变换常数n值的增加停止。
这样，按照本实施例7的声音编码装置，其构成是在实施例5的声音编码装置中追加输入缓冲存储器7010和输入缓冲存储器监视部7011，在把取样数据暂存在该输入缓冲存储器7010内之后读出，并进行后续的处理；而且，输入缓冲存储器监视部7011检查输入缓冲存储器7010保持的数据量，并把它作为该时刻的CPU的编码处理能力的指标，根据状况来动态地控制存储在寄存器702内的变换常数n的值，从而能够进行在该时刻能够由CPU进行编码处理的最高品质的声音编码。
(实施例8)
本发明的实施例8的声音编码装置是根据输出的数据量变更变换常数，来图谋能够进行适应状况的编码。
图18是按照本发明的实施例8的声音编码装置的构成方框图。如该图所示，相应的声音编码装置由声音输入部801、寄存器802、输入声音取样部803、声音数据变换部804、频带分割部805、编码位分配部806、量化部807、编码部808、编码数据记录部809以及编码数据监视部8012构成。该构成是在实施例5的声音编码装置中追加了编码数据监视部8012而构成的，本实施例8的编码装置的硬件构成与图11所示的实施例5的硬件构成是一样的。
编码数据监视部8012由CPU、主存储器和程序来实现，检查由编码部808输出的每单位时间的编码数据量，并把该编码数据量与预先设定的值进行比较，根据比较结果来变更寄存器802的变换常数n的值。除了由编码数据监视部8012来变更存储的变换常数n的值之外，寄存器802与实施例5的寄存器502是一样的。声音输入部801、输入声音取样部803、声音数据变换部804、频带分割部805、编码位分配部806、量化部807、编码部808、编码数据记录部809与实施例5的501以及503～509是一样的。
图19是本实施例8的编码装置进行的声音编码的动作流程图。以下，根据图19的流程图，参照图18来说明本实施例8的声音编码装置的编码时的动作。
与实施例5的情况一样，设定频率fs取为MPEGAudio规定的48kHz。变换常数n以根据CPU的性能预先决定的值“1”作为初始值，被存储在寄存器802内。从图19的步骤1直到步骤6的执行情况与实施例5中的步骤1～6一样。在步骤7，编码数据监视部8012检查由编码部808输出的每党委时间的编码数据量，并把该编码数据量与预先设定的值进行比较，根据比较结果来变更寄存器802的变换常数n的值。监视编码数据量来控制变换常数n的值可以采用各种方法，这里，根据以下的方法来进行。
在由于CPU的负担的增大而用当初的设定不符合编码处理的情况下，由于编码处理的定速降低，所以输出的编码数据量减少。
在步骤7中，在编码数据量未达到预先设定的编码最低水平CL的情况下，与实施例7所示的输入缓冲存储器监视部7011一样，编码数据监视部8012通过增加寄存器802的变换常数n的值来得以减轻CPU的负担。重复图19的处理，在步骤7中，在单位时间内的编码处理量不下降到编码最高水平CH的情况下，与实施例7一样，减少寄存器802的变换常数n的值，以进行高品质的编码。与实施例7中的输入缓冲存储器监视部7011进行的控制一样，在把编码数据量被判定未合适之前，本实施例8中的编码数据监视部8012也连续变更变换常数n的值。另外，不这样使用编码最低水平CL和编码最高水平CH两个值，仅用编码最低水平CL能够进行控制这一点也与实施例7是一样的。
这样，按照本实施例8的声音编码装置的构成是在实施例5的声音编码装置中追加编码数据监视部8012，通过编码数据监视部8012检查单位时间内输出的编码数据量来把它作为该时刻的CPU的编码处理能力的指标，根据状况来动态地控制存储在寄存器802内的变换常数n的值，从而能够进行在该时刻能够由CPU进行编码处理的最高品质的声音编码。
在实施例7和8中，仿照实施例5，输入声音取样部用取样频率fs的取样来作成m个取样声音数据，然后，声音数据变换部进行(n-1)跳跃的间剔，但是在实施例6的装置的情况下，输入声音取样部把取样频率取为fs/n，来进行取样，从而得到m/n个取样声音数据，并由声音数据变换部把它进行变换，得到m个变换声音数据，这种方式也能够用软件的设定变更容易地进行。这种情况下，如实施例6的说明，同样也能够得到减低缓冲存储器的容量、能够使用严格限制取样频率的声卡的效果。
在实施例5～8的编码中，实际上由于进行音频数据的间剔和高频成分的祛除会随之而劣化音质。但是，既使在这种情况下，既使用低性能的CPU也能够以不要追加硬件等的软件方式来实时地作成MPEGAudio等的频带分割编码数据，从而能够把它用作作为国际标准广泛应用的MPEG数据。而且，由于通过调整变换常数n的值能够控制间剔状况和祛除的高频成分的分配来符合CPU的编码处理性能，所以，不仅高性能的CPU既使是性能不十分好的CPU也能按符合其编码能力的音质进行编码，从而能够用宽阔性能水平的CPU来实现编码处理。但是，就硬件而言，CPU的性能越高，声卡的功能或装置内的数据传输速度越高，就能够实现高品质的编码处理。
实施例5～8的声音编码能够把声音编码控制程序记录在记录媒体上，在个人计算机、工作站之外的其他装置上来执行。
在实施例5～8的声音编码装置中，把编码数据保存在存储装置内，但是也可以经网络等传递给其他机器，在其他机器中进行记录或利用。
在实施例5～8中，说明了用CPU处理的装置，但是不用CPU而用DSP的软件处理也是一样的。
(实施例9)
按照本发明的实施例9的声音编码装置是根据对划分到单位期间内的取样数据设定的常数来控制是否在单位期间进行数据处理，从而图谋减轻处理负担。
图20是本发明的实施例9的声音编码装置的构成方框图。图21是本实施例9的声音编码的流程图，图22是为说明本实施例9的声音编码的概念图。本实施例9的编码装置的硬件构成与实施例5的硬件构成也是一样的，下面用图11予以说明。
如图20所示，本实施例9的声音编码装置由声音输入部901、单位期间判定常数寄存器902、输入声音取样部903、判定控制部(单位期间判定)904、频带分割部905、编码位分配部906、量化部907、编码部908、编码数据记录部909以及固定编码数寄存器910构成。
声音输入部901输入进行编码的声音，如图11所示，声音是由话筒输入的，也可以由线路输入。单位期间判定常数寄存器902用图11的主存储器或外部存储装置来实现，并存储单位期间判定常数。输入声音取样部903由图11的声卡(输入)和控制程序来实现，并对声音输入部901输入的声音进行取样处理。判定控制部904对由输入声音取样部903取样处理过的数据用寄存器902内存储的常数值判断是否是编码对象期间。频带分割部905仅在由判定控制部904判定为是编码期间的情况下才对取样数据进行频带分割。编码位分配部906对由频带分割部905分割的频带分配编码位。量化部907根据由编码位分配部906分配的编码位数进行量化处理。编码部908把量化部907输出的量化值输出为编码声音数据。在本实施例9中，在判定控制部904内被判定为不是编码对象期间的情况下，编码部908把存储在后述的固定编码寄存器910内的相当于频带输出为零的编码数据dN输出为编码声音数据。904～908中的任一个都是由图11的CPU、主存储器和程序来实现。编码数据记录部909由图11的外部存储装置和控制程序来实现，用来记录输出的编码数据。固定编码寄存器910由图11的主存储器或外部存储装置来实现，用来相当于频带输出为零的编码数据dN存储。以下根据图21的流程图，参照图20和22来说明这样构成的本实施例9的声音编码装置进行编码时的动作。
在图21的步骤1，在输入声音取样部903中，以所设定的频率fs为取样频率对声音输入部901输入的声音信号进行取样。由此把频率fs的取样数据输出到判定控制部904。
在步骤2，判定控制部904对上述取样数据进行是否是编码对象期间的判定。实施该判定时，首先，用1次频带分割把相当于作为对象的输入声音取样数p的期间取为单位期间ti，再在每一个单位期间内进行是否是编码对象期间的判定。判定时所用的单位期间判定常数k是作为大于1的整数而由***预先设定并存储在寄存器902内的常数。在对单位期间ti每个任意整数n来说，i＝n×k+1成立时，判定为是编码对象期间；否则就不是编码对象期间。
在步骤2判定为单位期间ti是编码对象期间的情况下，执行步骤3～6来进行与现有技术例一样的处理。即：首先，在步骤3，频带分割部905对单位期间ti的声音数据分割为M个频带。该步骤的进行与用图59和图60说明的第1现有技术例的情况是一样的。在步骤4，由编码位分配部906对各频带分配编码位数，并把该分配传送给量化部907。在步骤5中，量化部907对每个频带的单位期间ti的声音数据进行量化，并输出量化值。在步骤6，编码部908根据量化部907的输出即量化值构成并输出编码声音数据，编码声音数据在编码数据记录部909中被记录下来。
另一方面，在步骤2的判定中，如果单位期间ti被判定位不是编码对象期间，就不进行步骤3～6的频带分割、编码位分配以及量化处理，紧接着步骤2就进行步骤7。在步骤7，编码部908从固定编码寄存器910取得固定编码数据dN，并把它作为编码数据进行输出。这里，固定编码数据dN是频带分割时的各频带的输出位零而预先设定在固定编码寄存器910内的数据。所输出的编码声音数据在编码记录部909中被记录下来。
如图21的流程图所示，以上的过程是连续重复进行编码的对象的声音的输入，在声音输入终止之后，迅速结束编码。
假定在按输入声音取样数p＝32设定判定常数k＝3的情况下，进一步用图22的概念图来进行说明。如图所示，输入声音数据，在最初的单位期间t1中，因为i＝1＝0×3+1成立(n＝0)，所以是编码对象期间，该单位期间的取样数据被分割为32个频带信号，然后进行量化和编码，边输出编码数据d1。接着在单位期间t2和t3，因为不是满足i＝n×k+1的整数，而被判定为不是编码对象期间，所以，不进行上述一连串的处理，输出固定的编码数据dN。关于固定的编码数据dN，如上所述，是32个频带信号取为零而预先设定的数据。此后，在单位期间t4，因为i＝4＝1×3+1成立(n＝1)，所以被判定为是编码期间，与t1的数据一样，对该单位期间的取样数据进行频带分割、量化以及编码，然后输出编码数据d4。以下的处理是同样的。
如上所述，在本实施例9的声音编码装置中，根据输入声音得到在编码数据d1和d4之间***(k-1)个输出为零的数据dN的编码数据。如第1现有技术例中所说明的那样，在MPEGAudio的层1的声音编码的情况下，把作为对象的32个取样为中心前后512个取样用作输入声音取样，向32个频带进行分割，并输出每个频带的声音数据。因此，既使把相当于这32个取样大小的期间的频带输出作为零输出，并编码后再译码重放出来，声音在该部分也不会被中断，而与其前后的频带输出的编码数据一起被译码重放出来。因此，重放声音的包络(声音的时间变化)是连续的，所以，人的听觉也不会感到有多大的音质劣化。
这样，在本实施例9的声音编码装置中，设置有存储单位期间的取样数据的寄存器902、判定控制部904和固定编码寄存器910，判定控制部904对单位期间的取样数据判断其是否是编码期间的数据，固定编码寄存器910存储对编码期间以外的数据进行处理而得到的编码数据进行数据替换时用的固定编码数据，仅对取样数据中的属于编码期间的1/k个取样数据进行频带分割以后的处理，对其余不属于编码期间的取样数据不进行这些处理，把该频带分割输出作为零而输出固定的编码数据dN，所以，对于频带分割、量化和编码数据生成的各处理来说，通过设定k值，就能够把处理负担减轻到各个阶段的处理量的1/k。
因此，既使在由于CPU的性能不足用原来的方法难以或不可能进行伴随声音的输入的实时编码处理的情况下，由于通过判定常数k的设定而减轻了负担，就能够实时地进行声音编码处理。
关于判定常数k的值的决定，能够用以下三种方法来进行，即：固定地设定装置中用的CPU，并根据其编码处理性能来进行设定的方法；通过用户对CPU的选择，从预先通过模拟等对每个CPU的所求出的值中进行选定的方法；以及编码之前进行推算CPU编码处理性能的运算，并根据运算结果进行设定的方法。
如前所述，既使处在频带输出为零的期间进行重放时声音也不中断，但是由于该期间越长声音的劣化就越大，所以，就单位期间的判定常数的设定而言，为了把频带输出零的期间取为32取样，最好保留为k＝2。可是，既使容忍这种声音的劣化而有必要进行编码处理的话，通过增大k值就能够进行按照装置的能力的实时编码。
(实施例10)
按照本发明的实施例10的声音编码装置由于省略频带分割时的一部分运算处理而能够得以减轻处理负担。
图23是本发明的实施例10的声音编码装置的构成方框图。
如图20所示，本实施例10的声音编码装置由声音输入部1001、输入声音取样部1003、频带分割部1005、编码位分配部1006、量化部1007、编码部1008、编码数据记录部1009以及寄存器1011构成。本实施例10的编码装置与实施例9一样，是图11所示的硬件构成。
在该图中，寄存器1011由主存储器或外部存储装置来实现，用来存储用于对频带分割处理中的运算进行控制的运算下列判定常数。本实施例10的频带分割部1005从寄存器1011得到运算处理判定常数的值，内含有中止频带分割时的运算处理的运算处理中止部。声音输入部1001、输入声音取样部1003、编码位分配部1006、量化部1007、编码部1008以及编码数据记录部1009与实施例9的901、903和906～909是一样的，在此省略其说明。
图24是本实施例10的编码装置的声音编码的流程图，图25表示的是频带分割时用于基本低通滤波处理运算的系数。以下根据图24，参照图23和图25来说明本实施例10的声音编码装置的动作。
图24流程的步骤1的执行与实施例9一样，由声音输入部1001输入的声音信号在输入声音取样部1003中被取样，从而得到取样数据。
接下来，在步骤2，由频带分割部1005进行对取样数据的频带分割处理。如实施例9中的说明，在MPEGAudio的频带分割时，用作为对象的32个取样为中心前后512个取样，向32个频带进行分割，得到每个频带的声音数据，并因此而进行基本低通滤波处理。在这种基本低通滤波处理中，进行以下所示的公式(1)、(2)、(3)的运算。
◎【式1】
Zi＝Ci×Xi(i＝0～511)                           (1)
Yi = Σ j = 0 7 Z 64 j + i ( i = 0 ~ 63 ) - - - ( 2 )
Si = Σ k = 0 63 YK cos ( ( 2 i + 1 ) ( k - 6 ) π / 64 ) , ( i = 0 ~ 31 ) - - - ( 3 )
当在其中注意式(1)时，对于512个(i＝0～511)输入声音数据Xi，进行从表所求出的数Ci的乘法处理。虽然可以从把MPEG音频标准的对比取样编号和系数的系数表来得到系数Ci，但是当把其进行曲线图化时，则成为图25那样，可以看出：两端接近于0。而且，由于式(1)是乘法运算处理，如果系数Ci接近0，则其积Zi也接近0。在式(2)中由于是把由式(1)求出的Zi进行加法运算，对于系数Ci接近0的项，作用较小，对于相应的项，求出Zi而进行加法运算的必要性较低。
由此，对于式(1)，系数Ci接近于0，即对于i接近0或511的情况，不进行求出Zi的运算，则Zi＝0，而且，在式(2)中，相当于Zi＝0的项不进行加法运算，如果进行频带分割的运算，就会对频带分割的精度产生一些损害，其目的是谋求运算量的减轻。
在此情况下，如从图25所看到的那样，Ci最好把32个作为单位而变化，由分断的间隔32个单位决定上述运算。这样，执行运算的运算对象区间就能表示为从i＝32q到i＝32(8-q)+255的区间。其中，运算处理判定常数q为满足0≤q≤7的整数，根据装置性能而预先进行设定并存储在寄存器1011中。如上述那样，通过限制运算对象区间，就能节省q×1/8＝q/8的运算处理，因此，增大运算处理判定常数q，就能减轻用于进行运算的处理负担。
在图24的流程的步骤2中，按上述那样省略一部分的运算而进行频带分割，之后，该频带信号成为处理的对象，对于步骤3以后，与第一个现有技术例子的步骤3一样，因而省略其说明。
这样，在实施例10的声音编码装置中，包括存储运算处理判定常数q的寄存器1011，频带分割部1005根据运算处理判定常数q，而对于一部分的取样省略频带分割处理中的基本低通滤波器的运算处理，由此，通过控制运算处理判定常数q的值，就能把频带分割部的运算处理减轻约q/8。
这样，即使在因为CPU的性能不足，而用现有的方法又难于或不可能进行伴随着声音输入的实时编码处理的情况下，通过运算处理判定常数q的设定而减轻负担，由此就能进行实时处理。
对于运算处理判定常数q的值的决定，可以与实施例9中的单位时间判定常数的决定一样来进行。
(实施例11)
本发明的实施例11的声音编码装置，通过对于频带分割后的信号的一部分省略后段的处理，来谋求处理负担的减轻。
图26是表示本发明的实施例11的声音编码装置的构成的方框图。如图26所示的那样，本实施例11的声音编码装置由声音输入部1101、输入声音取样部1103、频带分割部1105、编码位分配部1106、量化部1107、编码部1108、编码数据记录部1109、寄存器1112和频带间剔部1118构成。本实施例11的装置与实施例9相同，具有图11所示的硬件结构。
在该图中，频带选择常数寄存器1112由主存储器或外部存储装置实现，存储频带选择常数。频带间剔部1118由CPU、主存储器和程序实现，频带分割部1105根据存储在寄存器1112中的频带选择常数而从分割后的频带信号中进行选择抽出。声音输入部1101、输入声音取样部1103、频带分割部1105、编码位分配部1106、量化部1107、编码部1108和编码数据记录部1109与实施例9的901、903、和905～909相同，而省略其说明。
图27是本实施例11的声音编码的流程图，图28是用于说明本实施例11的声音编码的概念图。下面根据图27的流程图并参照图26和图28来说明本实施例的声音编码时的动作。
与实施例9一样来执行图27的流程的步骤1～2，从声音输入部1101输入的声音信号在输入声音取样部1103中被进行取样，对于所得到的取样数据，频带分割部1105进行向M个频带的分割，而得到M个频带信号数据。
在接着的步骤3中，频带间剔部1118从寄存器1112得到所存储的频带选择常数r，对于频带分割部1105输出的M个频带信号数据，每隔r个就选择取得频带信号数据，而抽出总共M/(r+1)个频带信号数据。r为0以上的整数，根据装置性能等而预先设定，并存储在寄存器1112中。其中，在r＝2的情况下，如图28所示的那样，每两个就抽出带有○标记的频带信号数据。频带间剔部1118把抽出的M/(r+1)个频带信号数据被输出给量化部1107。
在步骤4中，编码位分配部1106根据从寄存器1112取得的频带选择常数r而仅对在步骤3中所抽出的频带来决定编码位分配数。对应于所决定的M/(r+1)个频带的编码位分配数从编码位分配部1106传输给量化部1107。在步骤5以后，对于M/(r+1)个数据与第一个现有技术例子一样进行处理。
这样，在本实施例11的声音编码装置中，包括存储频带选择常数r的寄存器1112和频带间剔部1118，频带间剔部1118根据频带选择常数r而从由频带分割处理所得到的M个频带信号数据抽出M/(r+1)个频带信号数据，后段处理是对于该抽出的数据来进行，因此，通过控制频带选择常数r的值，就能把编码位分配和量化的处理减轻到约1/r。但是，在r为1以上的情况下，才具有与此相对应的效果，而在r＝0的情况下，处理负担不变。
这样，即使在因为CPU的性能不足用现有的方法难于或不可能进行伴随着声音输入的实时编码处理的情况下，通过频带选择常数r的设定而减轻负担，由此就能进行实时处理。
对于频带选择常数r的值的决定，可以与实施例9中的单位时间判定常数的决定一样来进行。
(实施例12)
本发明的实施例12的声音编码装置监视输入数据量，据此来变更控制用的常数。
图29是表示本发明的实施例12的声音编码装置的构成的方框图。如图29所示的那样，本实施例12的声音编码装置由声音输入部1201、寄存器1202、输入声音取样部1203、判定控制部(单位时间判定)1204、频带分割部1205、编码位分配部1206、量化部1207、编码部1208、编码数据记录部1209、固定的编码寄存器1210、输入缓冲器1213、固定的编码寄存器1210和输入缓冲器监视部1214构成。即，成为在实施例9中追加了输入缓冲器1213和输入缓冲器监视部1214的结构。本实施例12的装置与实施例9相同，为图11所示的硬件结构。
在该图中，输入缓冲器1213由主存储器等存储器实现，暂时存储数据。输入缓冲器监视部1214由CPU、主存储器和程序实现，分析用于暂时存储在输入缓冲器1213中的所保持的数据量，把该数据量与预先设定的值进行比较，根据其结果，来变更寄存器1202的常数k的值。寄存器1202除了由输入缓冲器监视部1214来变更存储的常数值之外，其他与实施例9的寄存器902相同。。输入声音取样部1203除了把取样声音数据输出给输入缓冲器1213这点之外，与实施例9的输入声音取样部903相同。判定控制部(单位时间判定)1204，除了从输入缓冲器1213取得取样声音数据而作为处理对象这点之外，与实施例9的判定控制部904相同。声音输入部1201、频带分割部1205、编码位分配部1206、量化部1207、编码部1208、编码数据记录部1209和固定的编码寄存器1210与实施例9中的901和905～910相同。
图30是本实施例12的声音编码的流程图。下面根据图30的流程图并参照图29来说明本实施例12的声音编码时的动作。其中，根据CPU的性能而预先设定的值“2”作为初始值而存储在寄存器2中，作为单位期间判定常数k。
在图30的流程中的步骤1中，从声音输入部1201所输入的声音信号在输入声音取样部1203中与实施例9进行同样的取样，在步骤2中，取样数据被写入输入缓冲器1213而进行暂时存储。在步骤3中，判定控制部(单位时间判定)1204从输入缓冲器1213中读出被暂时存储的取样数据。
下面对接着进行的步骤4进行描述。步骤5的判定，判定控制部1204对于在步骤3中读出的数据，与实施例9的情况一样进行，在此以后，在步骤9的编码数据输出之前，步骤10与实施例9中的图14的流程的步骤3～6和步骤7相同地执行，因此，省略对步骤5～9和步骤10的说明。通过这些步骤的执行，其中根据为2的单位期间判定常数k的数值的设定，单位时间t1、t3…作为编码对象而进行频带分割、编码位分配、量化的处理，在t2、t4…中不进行上述处理，而执行减轻处理负担的编码。
在本实施例12中，在执行了步骤3之后的步骤4中，输入缓冲器监视部1214分析输入缓冲器1213的数据量，把该数据量与预定值进行比较，根据比较结果来变更存储在寄存器1202中常数k。可以根据相应的数据量而在常数k值的控制中采用各种方法，在此是按以下这样进行的。
在由于CPU的负担增大等而在当初的设定中不能进行伴随着声音输入的编码处理的情况下，对于输入缓冲器1213，写入以相同的步调速度进行，对此，由于随着编码处理滞后，为此而进行的读出的步调速度下降，则所存储的数据量增大。
这样，输入缓冲器监视部1214在输入缓冲器1213的数据量超过作为预定值的缓冲满程度BF的情况下，判断为在目前的设定下不可能进行实时编码处理，而把存储在寄存器1202中的常数k的值递增1而变更为k＝3。在此以后的流程图的步骤5～9中，与时间t2和t3相关，不进行频带分割、编码位分配、量化处理，作为频带输出0，而输出预先设定的编码数据dN。作为最初的设定的k＝2时，通过在两次中进行一次的分配，而节省了频带分割、编码位分配、量化处理，由此，就能把这些处理的负荷减轻约1/2，但是，随着增加到k＝3，通过在三次中进行两次的分配，而节省了频带分割、编码位分配、量化处理，由此，就能把这些处理的负荷减轻约1/3，这样就能减轻处理的负担。这样一来，通过输入缓冲器监视部1214变更常数k的值，而谋求对CPU的负荷的减轻，而能够持续地进行伴随着音质的降低的实时处理。
通过反复进行图30的流程，在步骤4中，当输入缓冲器1213的数据量超过缓冲满程度BF时，输入缓冲器监视部1214变更寄存器1202的常数k，而递增1而成为k＝4。由此，在步骤5～9中，对于时间t2至t4，不进行频带分割、编码位分配、量化处理，作为频带输出0，而输出预先设定的编码数据dN，由此，就能把频带分割、编码位分配、量化处理的负荷减轻约1/4。以后，在步骤4中的输入缓冲器的数据量变到缓冲满程度BF以下之前，输入缓冲器监视部1214使寄存器1202的k值增加。
相反，在CPU的负担减少，即使进行伴随着声音输入的编码处理也能在CPU的处理能力上存在裕量的情况下，由于来自输入缓冲器1213的读出量变多，则所存储的数据量减少，对此，就能持续到达仅短时间存储少量的数据的状态。
这样，在步骤4中，当输入缓冲器1213的数据量下降到作为预定值的缓冲空程度BE时，输入缓冲器监视部1214判断为在编码处理能力上存在裕量。在应成为的常数k的值较小时，频带输出0的时间缩短，而得到高品质的编码数据，因此，输入缓冲器监视部1214把常数k的值递减1，此后与上述相同，在输入缓冲器1213的数据量变为缓冲空程度BE以上之前，通过重复进行图30的流程，在步骤4中时寄存器1202的常数k减少1。
在上述方法中，为了控制常数k的值，而使用缓冲满程度BF和缓冲空程度BE这两个值，但是，也可以仅使用缓冲满程度BF，在此情况下，例如在输入缓冲器的数据量到达预先设定的缓冲满程度BF之前，使常数k的值增加，当均衡声音输入和编码处理时，即当数据量到达BF时，就能实现这样一些控制：阻止常数k的增加。
这样，在本实施例12的声音编码装置中，通过在实施例9的声音编码装置上进一步包括输入缓冲器1213和输入缓冲器监视部1214，而在把取样数据暂时存储在该输入缓冲器1213中之后再读出，作为进行在此之后的处理，输入缓冲器监视部1214通过分析输入缓冲器1213的数据量，而动态地控制存储在寄存器中的单位期间判定常数k的值，由此，而附加了进行对应于CPU的基本性能的实时编码处理的步骤，根据CPU处理性能的变化，就能谋求在该时刻进行能够实现编码处理的最高品质的声音编码。
因此，即使在使用通用个人计算机等作为声音编码装置，来在多任务下执行声音编码处理的情况下，对于由其他的任务的执行而产生的CPU的处理能力的变化，也能实时执行编码处理。
其中，虽然是使声音编码装置的构成为在实施例9的装置上追加输入缓冲器1213和输入缓冲器监视部1214的结构，但是，也可以为在实施例10的装置上追加输入缓冲器1213和输入缓冲器监视部1214的结构，通过控制运算处理判定常数q的值，来增减基本低通滤波器处理的运算量，就能谋求处理负担减轻和编码数据的音质提高。
同样，也可以是在实施例11的装置上追加输入缓冲器1213和输入缓冲器监视部1214的结构，通过控制频带选择常数r的值，来增减所选择抽出的频带信号数据，而能够谋求处理负担减轻和编码数据的音质提高。
(实施例13)
本发明的实施例13的声音编码装置监视输出的编码数据量，据此来变更控制用的常数。
图31是表示本发明的实施例13的声音编码装置的构成的方框图。如图29所示的那样，该声音编码装置由声音输入部1301、寄存器1302、输入声音取样部1303、判定控制部1304、频带分割部1305、编码位分配部1306、量化部1307、编码部1308、编码数据记录部1309、固定的编码寄存器1310和编码数据监视部1315构成。该构成是在实施例9的声音编码装置上追加了编码数据监视部1315而形成的。本实施例13的装置与实施例9相同具有图11所示的的硬件结构。
编码数据监视部1315由CPU、主存储器和程序实现，分析从编码部1308输出的每个单位时间的编码数据量，把该数据量与预先设定的值进行比较，根据其结果来变更寄存器1302的常数k的值。寄存器1302除了由编码数据监视部1315来变更存储的常数值之外与实施例9的寄存器902相同。声音输入部1301、输入声音取样部1303、判定控制部1304、频带分割部1305、编码位分配部1306、量化部1307、编码部1308、编码数据记录部1309、固定的编码寄存器1310与实施例5中的901和903～910相同，即，对应于实施例12的装置监视输入数据的量的处理，在本实施例13的装置中，是监视编码数据量，来控制存储在寄存器中的常数值。
图32是本实施例13的声音编码的流程图。下面根据图32的流程图并参照图31来说明本实施例13的声音编码时的动作。其中，根据CPU的性能而预先设定的值“2”作为初始值而存储在寄存器2中，作为单位期间判定常数k。
图32的流程的步骤1至步骤7是与实施例9相同地执行，因此而省略其说明。通过这些步骤的执行，其中，根据成为2的单位期间判定常数k的数值的设定，单位时间t1、t3…作为编码对象而进行频带分割、编码位分配、量化的处理，在t2、t4…中不进行上述处理，执行减轻处理负担的编码。
在本实施例13中，在返回步骤1而进行重复之前，执行步骤8，编码数据监视部1315分析从编码部1308输出的每个单位时间的编码数据量，把该数据量与预先设定的值进行比较，根据其结果来变更寄存器1302的常数k。虽然可以在监视编码数据量以控制常数k的值中采用各种方法，而在此是按以下方法进行的。
在由于CPU的负担增大等而在当初的设定中编码处理不够用的情况下，由于编码处理的步调速度落后，则输出的编码数据量减少。这样，在步骤8中，在编码数据量未达到作为预定值的编码最低程度CL的情况下，编码数据监视部1315，与实施例12所示的输入缓冲器监视部1214相同，通过使存储在寄存器2中的单位期间判定常数k的值增加，来谋求减轻CPU的负担。
同样，在CPU发的负担减少而存在裕量的情况下，由于编码数据量增加而到达某个限度，在步骤8中，在每个单位时间的编码处理量未下降到编码最高程度CH的情况下，使寄存器1302的单位期间判定常数k的值减小以进行高品质的编码。
在图32的流程的重复中，与实施例12相同，反复进行上述那样的单位期间判定常数的增减，进行控制以使常数k成为适当的值。也可以不使用编码最低程度CL和编码最高程度CH这两个值，而仅使用编码最低程度CL来进行控制，在这点上，与实施例12相同。
这样，在本实施例13的声音编码装置中，通过在实施例9的装置中进一步设置编码数据监视部1315，编码数据监视部1315分析每个单位时间所输出的编码数据量，由此，把其作为此刻的CPU的编码处理能力的指标，根据状态来动态地控制存储在寄存器1302中的常数k的值，由此，就能谋求CPU在此刻进行能够实现编码处理的最高品质的编码。这样，与实施例12相同，就能够适应于多任务等引起的此刻的CPU的处理能力的变化。
在本实施例13中，与实施例12相同，可以是在实施例10的装置或实施例11的装置上追加编码数据监视部1315而构成，通过控制运算处理判定常数或频带选择常数的值，而得到相同的效果。
(实施例14)
本发明的实施例14的声音编码装置通过编码位的分配，实现心理听觉分析替代控制，不会大大增加处理负担，而谋求编码数据的重放音质的提高。
图33是表示本发明的实施例14的声音编码装置的构成的方框图。如该图所示的那样，本实施例14的声音编码装置由声音输入部1401、输入声音取样部1403、频带分割部1405、编码位分配部1406、量化部1407、编码部1408、编码数据记录部1409和位分配控制部(依次位分配)1416构成。本实施例14的装置与实施例9相同，具有图11所示的硬件结构。
在该图中，位分配控制部1416由CPU、主存储器和程序实现，对于通过频带分割部1405的分割而得到的M个频带信号数据，按照预定的算法来算出编码位分配部1406分配的位数。声音输入部1401、输入声音取样部1403、频带分割部1405、编码位分配部1406、量化部1407、编码部1408和编码数据记录部1409与实施例9的901、903和905～909相同，而省略其说明。
图34～36是表示本实施例14的声音编码的动作的流程图。下面通过图34～36的流程图并参照图33来说明本实施例14的声音编码时的动作。
图34的流程的步骤1～2与第二个现有技术例子中的图65的步骤1～2相同地执行，而得到被分割为M个频带的频带信号数据。按照MPEG音频的标准，与第二个现有技术例子相同，为M＝32个。
此后，在图65所示的的第二个现有技术例子中，对于被分割为L＝156的频带信号数据，进行高速傅立叶变换和心理听觉分析，而决定编码位分配数，而在本实施例14中，在图34的流程的步骤3中，位分配控制部16作为心理听觉分析替代控制方式，根据由依次位分配方式所算出的结果，编码位分配部1406进行对应于M＝32个的频带信号数据的编码位的分配。
首先，如果是MPEG音频的层1的话，则从被规定为256kbps的比特率求出应进行分配的总位数，而如果是MPEG音频的层2的话，则从被规定为192kbps的比特率求出应进行分配的总位数。通过下述的依次位分配方式来对这样求出的总位数进行分配。
图35是表示依次位分配方式的程序的流程图。位分配控制部16在步骤101和步骤103中对频带0～10分配位，然后在步骤105和步骤107中对频带11～22分配位。即，在频带0～10和频带11～22中各进行两次分配位。然后在步骤109中再对频带0～10进行一次分配位，在步骤111中再对频带11～22进行一次分配位。此后，在步骤113中对频带23～31进行一次分配位。如果处于以上各个步骤执行之后的判定步骤判断为：步骤102、104、106、108、110、112、114中的任一个分配了总位数而结束的话，上述分配从步骤101开始重复进行，在上述任一个的判定步骤中，在总位数被分配了时，流程结束。
图36是表示向各频带的位分配的程序的流程图，在图35的流程的步骤101、103、109中，执行图36(a)，在图35的步骤105、107、111中执行图36(b)，接着，在图35的步骤113中执行图36(c)。
在图36(a)的流程中，首先，在步骤201中，变量a为0，在步骤202中，给频带0分配1位。在步骤203中未完成分配总位数的情况下，在步骤204中成为a＝0+1＝1，通过步骤205的判定而返回步骤202，给频带1分配1位。通过反复进行上述过程，当在步骤205中判定为a＝11时，即当给频带0～10分别分配了1位时，或者当在步骤203中判断为完成分配总位数时，图36(a)的流程结束。图36(b)和(c)的流程是同样的。
当图36(b)～(c)的流程完成时，返回到图35的流程的原始的步骤，在总位数分配完成时，通过其后的判定步骤来使图35的流程结束。接着，图34的流程的步骤3结束，该图的步骤4～5与第二个现有技术例子相同地执行。
本实施例14的装置中的依次位分配方式是按上述那样给频带0～10和频带11～22分配位的方式。在第二个现有技术例子中，如图66所示的那样，对于这些频带，最小闻阈较低，即是易于通过人类的听觉而听到的频带，在通过频带分配而分割成32个频带的频带中，对于人耳易于听到的频带，进行更大的加权，考虑按照对应于各个频带的加权的大小顺序来分配位的方法。由此，不管是具有较大的声压的频带还是声压几乎没有的频带，这样，基本上不管输入信号如何，都能按上述那样依次分配位。
这样，在本实施例14的声音编码装置中，通过设置位分配控制部1416，由于通过所定的算法来依次给频带分配位，则不会大大增大处理负担，就能执行有效利用人类听觉特性的编码位分配，而得到重放音质良好的编码数据。即，本实施例14的声音编码装置通过在第一个现有技术例子的装置上追加位分配控制部1416，而对32个频带执行按照图35～36所示的的单纯的算法的简单的编码位分配方法，由此，而能够谋求重放音质的提高，如果与对256个频带进行傅立叶变换和心理听觉分析的第二个现有技术例子进行比较的话，处理负担远远减小，即使在由图21的硬件结构所示的通用个人计算机和工作站等进行的声音编码中，也能够进行实时处理，同时提高音质。
对于依次位分配方式的算法，图35～36所示的仅是一个例子，并不仅限于此，可以变更频带的顺序编号和分配位数，来执行同样的单纯依次分配，而能够得到同样的效果。
(实施例15)
本发明的实施例15的声音编码装置通过编码位的分配，实现心理听觉分析替代控制，通过考虑每个频带的输出电平，而谋求编码数据的重放音质的进一步提高。
图37是表示本发明的实施例15的声音编码装置的构成的方框图。如该图所示的那样，本实施例15的声音编码装置由声音输入部1501、输入声音取样部1503、频带分割部1505、编码位分配部1506、量化部1507、编码部1508、编码数据记录部1509和位分配控制部(频带输出适应位分配)1517构成。其具有与实施例14的装置相同的构成。本实施例15的装置与实施例9相同，具有图11所示的硬件结构。
在该图中，位分配控制部1517由CPU、主存储器和程序实现，对于通过频带分割部1505的分割而得到的M个频带信号数据，按照预定的算法来算出编码位分配部6分配的位数。除了这样的位分配控制部1517的功能之外，本实施例15具有与实施例14相同的构成。因此，声音输入部1501、输入声音取样部1503、频带分割部1505、编码位分配部1506、量化部1507、编码部1508和编码数据记录部1509与实施例9的901、903和905～909相同，而省略其说明。
图38是本实施例15的声音编码的流程图。下面通过图38的流程图并参照图37来说明本实施例15的声音编码时的动作。
图38的流程的步骤1～2与第二个现有技术例子中的图65的步骤1～2相同地执行，而得到被分割为M个频带的频带信号数据。按照MPEG音频的标准，与第二个现有技术例子相同，为M＝32个。
此后，在实施例14中，在图35所示的流程的步骤3中，位分配控制部1416按照依次位分配方式进行计算，而在本实施例15中，位分配控制部1517通过频带输出适应位分配方式来决定位分配。如上述那样，在实施例14中，对于在频带分割中被分割成32个频带的频带，进行不考虑容纳该频带的具有的声压的位分配，但是，在本实施例15中，根据是否是人耳容易听到的频带和具有各个频带的声压这两个因素来生成对应于各个频带的位分割信息。
首先，如果是层1的话，则从256kbps的比特率求出应进行分配的总位数，这与实施例14相同。
位分配控制部1517根据“向人耳容易听到的频带的加权(1)”和“各个频带输出电平比(2)”来求出“频带输出适应加权(3)”，由此而分配上述求出的总位数。
(1)向人耳容易听到的频带的加权
首先，作为“向人耳容易听到的频带的加权”，根据图65所示的最小闻阈来按下面这样进行决定：
频带0～10   频带11～15    频带16～18    频带19～22频带23以后
   5    ∶      3    ∶        2  ∶       1  ∶不分配
(2)各个频带输出电平比
接着，表示各个频带的具有声压作为比率，而求出每个频带的输出电平比。在此为以下这样：
频带9，10  频带11  其他的频带
     3   ∶  2   ∶ 1
(3)频带输出适应加权
接着，从作为应考虑的两个因素的上述项目(1)和(2)来计算项目(1)*项目(2)。由此而得到下列结果。(sb：频带)
sb0～8  sb9，10  sb11  sb12～15  sb16～18  sb19～22  sb23～31
 5    ∶ 15    ∶ 6  ∶  3     ∶     2    :    1    ∶     0
根据该结果，位分配控制部1517分配总位数而决定位分配数，以使各个频带的位分配接近上述加权(3)，编码位分配部6进行编码位分配。然后，图38的流程的步骤4和5与第二个现有技术例子相同地执行。
这样，在本实施例15的声音编码装置中，通过设置位分配控制部1517而根据是否是人耳容易听到的频带和各个频带具有的声压这两个因素来给各个频带分配位，因此，不会大大增大处理负担，就能执行有效利用人类的听觉特性的编码位分配，而得到重放音质良好的编码数据。
即，本实施例15的声音编码装置通过在第一个现有技术例子的装置上追加位分配控制部1517的结构，而对32个频带执行使用比较单纯的运算处理的简单的编码位分配方法，由此，而能够谋求重放音质的提高，如果与对256个频带进行傅立叶变换和心理听觉分析的第二个现有技术例子进行比较，处理负担远为减小，即使在由图2的硬件结构所示的通用个人计算机和工作站等进行的声音编码中，也能够进行实时处理同时提高音质。本实施例15的声音编码装置与实施例14的装置比较，把输入声音的特性作为要素来进行处理，虽然处理负担变大，但是，由此却能够得到重放音质良好的编码数据。
对于频带输出适应位分配方式，本实施例15中所示的计算方法为一个例子，并不仅限于此，也可以变更对应于频带的加权和两个要素的加权，来执行同样单纯的运算处理所产生的分配，而得到同样的效果。
(实施例16)
本发明的实施例16的声音编码装置通过编码位的分配，实现心理听觉分析替代控制，通过考虑每个频带的输出电平和每个频带的位分配数，而谋求编码数据的重放音质的进一步提高。
图39是表示本发明的实施例16的声音编码装置的构成的方框图。如该图所示的那样，本实施例16的声音编码装置由声音输入部1601、输入声音取样部1603、频带分割部1605、编码位分配部1606、量化部1607、编码部1608、编码数据记录部1609和位分配控制部(改良型频带输出适应位分配)1616构成。其具有与实施例14的装置相同的构成。本实施例16的装置与实施例9相同，具有图11所示的硬件结构。
在该图中，位分配控制部1617由CPU、主存储器和程序实现，对于通过频带分割部1605的分割而得到的M个频带信号数据，按照预定的算法来算出编码位分配部1606分配的位数。除了这样的位分配控制部1617的功能之外，本实施例16具有与实施例14和15的装置相同的构成。因此，声音输入部1601、输入声音取样部1603、频带分割部1605、编码位分配部1606、量化部1607、编码部1608和编码数据记录部1609与实施例9的901、903和905～909相同，而省略其说明。
图40～图41是本实施例16的声音编码的流程图。下面通过图40～图41的流程图并参照图39来说明本实施例16的声音编码时的动作。
图40的流程的步骤1～2与第二个现有技术例子中的图65的步骤1～2相同地执行，而得到被分割为M个频带的频带信号数据。按照MPEG音频的标准，与第二个现有技术例子相同，为M＝32个。
此后，在实施例15中，在图38所示的流程的步骤3中，位分配控制部1517按照频带输出适应位分配方式来进行计算，而在本实施例16中，位分配控制部1617通过改良型频带输出适应位分配方式来决定位分配。对于在频带分割中被分割成32个频带的频带，在实施例14中，不考虑容纳分配给该频带的位数，使人耳容易听到的频带优先来进行分配，并且，在实施例15中，根据是否是人耳容易听到的频带和具有各个频带的声压这两个因素来进行对应于各个频带的位分配。而在本实施例16中，在实施例15的两个要素的基础上，再进一步考虑给各个频带的位分配数是否足够的要素，根据三个要素来生成对应于各频带的位分配信息。
下面对在本实施例16中使用的位分配的方法进行说明。首先，如果是层1的话，则从256kbps的比特率求出应进行分配的总位数，这与实施例14和15相同。
位分配控制部1617根据“各频带输出电平(1)”、“向人耳容易听到的频带的加权(2)”和“每个频带的位分配数所对应的加权(3)”来分配上述求出的总位数。
(1)各频带输出电平
首先，从各频带具有的声压而求出比例因子。比例因子取0至62之间的值，当值小时代表声压大。在此，为下列这样：
频带3，4  频带5，6  其他频带
    3   ∶    9   ∶   37
(2)向人耳容易听到的频带的加权
接着，作为“向人耳容易听到的频带的加权”，根据图66所示的最小闻阈来按下面这样进行决定。并且，如上述那样，为了表示各频带输出电平作为比例因子，在实施例14中所示的加权值，其意思反转。频带0～10  频带11～15  频带16～18  频带19～22  频带23以后1      ∶      2    ∶         3   ∶       5    ∶   20
(3)每个频带的位分配数所对应的加权
接着，作为“每个频带的位分配数所对应的加权”，根据图66所示的最小闻阈，按照下表来决定，该表是考虑到在同一频带中不进行超出必要的位分配而制成的。
【表14】
                                                    不同频带的位分配加权表
                                                              位分配数
  1   2   3   4   5   6   7   8    9   10    11    12    13   14    15       16
sb0 1       2         3        4         5         5       6       7       8       10        12        20        99      99        99        991       2         3        4         5         5       6       7       8       10        12        20        99      99        99        991       2         3        4         5         5       6       7       8       10        12        20        99      99        99        993       3         3        3         3         4       4       6       6        8        8         8         12      20        99        993       3         3        3         3         4       4       6       6        8        8         8         12      20        99        993       3         3        3         3         4       4       6       6        8        8         8         12      20        99        993       3         3        3         3         4       4       6       6        8        8         8         12      20        99        993       3         3        3         3         4       4       6       6        8        8         8         12      20        99        993       3         3        3         3         4       4       6       6        8        8         8         12      20        99        993       3         3        3         3         4       4       6       6        8        8         8         12      20        99        993       3         3        3         3         4       4       6       6        8        8         8         12      20        99        993       3         4        4         5         12      99      99      99       99       99        99        99      99        99        993       3         4        4         5         12      99      99      99       99       99        99        99      99        99        993       3         4        4         5         12      99      99      99       99       99        99        99      99        99        993       3         4        4         5         12      99      99      99       99       99        99        99      99        99        993       3         4        4         5         12      99      99      99       99       99        99        99      99        99        993       3         4        4         5         12      99      99      99       99       99        99        99      99        99        993       3         4        4         5         12      99      99      99       99       99        99        99      99        99        993       3         4        4         5         12      99      99      99       99       99        99        99      99        99        993       3         4        4         5         12      99      99      99       99       99        99        99      99        99        993       3         4        4         5         12      99      99      99       99       99        99        99      99        99        993       3         4        4         5         12      99      99      99       99       99        99        99      99        99        993       3         4        4         5         12      99      99      99       99       99        99        99      99        99        993       3         4        99        99        99      99      99      99       99       99        99        99      99        99        993       3         4        99        99        99      99      99      99       99       99        99        99      99        99        993       3         4        99        99        99      99      99      99       99       99        99        99      99        99        993       3         4        99        99        99      99      99      99       99       99        99        99      99        99        993       3         4        99        99        99      99      99      99       99       99        99        99      99        99        993       3         4        99        99        99      99      99      99       99       99        99        99      99        99        993       3         4        99        99        99      99      99      99       99       99        99        99      99        99        9999      99        99       99        99        99      99      99      99       99       99        99        99      99        99        9999      99        99       99        99        99      99      99      99       99       99        99        99      99        99        99
1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14
  15
  16
  17
  18
  19
  20
  21
  22
  23
  24
  25
  26
  27
  28
  29
  30
  31
以具有上述(1)至(3)的要素的情况为前提，下面在作为应考虑的三个要素的上述项目(1)、(2)和(3)中，最初计算项目(1)+项目(2)。由此而得到接着的位分配信息系数。(sb：频带)
sb0～2  sb3，4  sb5，6  sb7～10  sb11～15  sb16～18  sb19～22  sb23以后
 1    ∶   4   ∶  10   ∶   37   ∶   39    ∶     40  ∶       42 ∶57
位分配控制部1617从该结果中检测出具有最小值的频带，编码位分配部6给该频带进行1位的编码位分配。在存在多个具有最小值的频带的情况下，以低频带为优先而进行。然后，位分配控制部1617对进行了位分配的频带进行对应于来自项目(3)的位数的加权(+项目(3))，而得到下列结果：
sb0  sb1，2  sb3，4  sb5，6  sb7～10  sb11～15  sb16～18  sb19～22  sb23以后
2 ∶  1    ∶  4 ∶   10∶     37   ∶   39      ∶   40     ∶     42  ∶ 57
由位分配控制部1617进行的上述动作反复进行，直到可分配的总位数成为没有为止，完成编码位分配，但是，以下这样进行位分配，对于位分配控制部1617所进行的图40的流程的步骤3中的动作，使用图41来进行说明。
图41是表示改良型频带输出适应位分配方式的程序的流程图。在步骤101中，位分配控制部1617按上述那样来计算各频带的比例因子。这是相当于上述(1)的处理。在接着的步骤102中，通过根据最小闻阈的加权处理，算出给各频带的位分配信息系数。这是相对于上述(2)的处理。
然后，在步骤103中，检测出具有最小的位分配信息系数的频带，在步骤104中，给该频带分配一个编码位。即，成为上述的项目(1)+(2)。
在接着的步骤105中，进行相对于上述项目(3)的加权，对于在步骤104中分配位数的频带，对应于现在分配给该频带的位数，对从(表14)所得到的加权系数进行加法运算。步骤103～105的动作反复进行，直到在步骤106中判断为总位数的分配结束为止。接着，图40的流程的步骤3结束，该图的步骤4和5与第二个现有技术例子相同地执行。
这样，在本实施例16的声音编码装置中，通过设置位分配控制部1617而根据是否是人耳容易听到的频带、各个频带具有的声压和避免给该频带超出必要的位分配这三个因素来给各个频带分配位，因此，不会大大增大处理负担，就能执行有效利用人类的听觉特性的编码位分配，而得到重放音质良好的编码数据。
即，本实施例16的声音编码装置通过在第一个现有技术例子的装置上追加位分配控制部1617的结构，而对32个频带执行使用比较单纯的运算处理的简单的编码位分配方法，由此，而能够谋求重放音质的提高，如果与对256个频带进行傅立叶变换和心理听觉分析的第二个现有技术例子进行比较，处理负担远为减小，即使在由图2的硬件结构所示的通用个人计算机和工作站等进行的声音编码中，也能够同时进行实时处理和音质提高两者。本实施例16的声音编码装置与实施例15的装置比较，考虑到进行各频带的位分配状况的监视的加权来进行处理，虽然处理负担变大，但是，由此却能够得到重放音质良好的编码数据。
对于改良型频带输出适应位分配方式，本实施例16中所示的计算方法为一个例子，并不仅限于此，也可以变更对应于频带的加权和对应于各频带的位分配数的加权，进而可以使用不用比例因子值的各频带输出电平，来执行同样单纯的运算处理所产生的分配，而得到同样的效果。
(实施例17)
本发明的实施例17的声音编码装置，通过考虑最小闻阈的编码位分配方法，来实现心理听觉分析替代控制，而谋求编码数据的重放音质的提高。
图42是表示本发明的实施例17的声音编码装置的构成的方框图。如该图所示的那样，本实施例17的声音编码装置由声音输入部1701、输入声音取样部1703、频带分割部1705、编码位分配部1706、量化部1707、编码部1708、编码数据记录部1709、位分配控制部(动态的位分配)1717和最小闻阈比较部1718所构成。其于实施例14的装置具有相同的构成。本实施例17的装置与实施例9相同，具有图11所示的硬件结构。
在该图中，最小闻阈比较部1718由CPU、主存储器和程序实现，对于通过频带分割部1705的分割而得到的M个频带信号数据，进行于最小闻阈的比较，检测出不足最小闻阈的频带。编码位分配部1706对于最小闻阈比较部1718检测出的频带，不分配编码位。除了这样的位分配控制部1517的功能之外，本实施例17具有与实施例14相同的构成。这样，声音输入部1701、输入声音取样部1703、频带分割部1705、编码位分配部1706、量化部1707、编码部1708和编码数据记录部1709与实施例9的901、903和905～909相同，而省略其说明。
图43是本实施例17的声音编码的流程图。下面通过图43的流程图并参照图42来说明本实施例17的声音编码时的动作。
在本实施例17的装置中，在声音编码之前，最小闻阈比较部1718使用存储器等作为内部存储装置，把对应于M个频带(在此为32个频带)的最小闻阈作为表来进行存储。对于该表，为图66所示的曲线图和把这样的曲线图变为数表并读出而存储起来。
图43的流程的步骤1～2与第二个现有技术例子中的图65的步骤1～2相同地执行，而得到被分割为M个频带的频带信号数据。按照MPEG音频的标准，与第二个现有技术例子相同，为M＝32个。
此后，在图65所示的的第二个现有技术例子中，对于被分割为L＝156的频带信号数据，进行包括有高速傅立叶变换和最小闻阈的比较的心理听觉分析，决定编码位分配数，而在本实施例17中，在图43的流程的步骤3中，最小闻阈比较部1718对于M＝32个频带进行与最小闻阈的比较，根据该比较的结果，编码位分配部1706进行对应于M＝32个的频带信号数据的编码位的分配。
接着，在步骤3的比较中，对于由频带分割部1705分割而得到的M＝32个频带的频带信号数据，最小闻阈比较部1718按上述那样进行与预先存储的相对应的频带的最小闻阈的比较，抽出未满最小闻阈的频带，把该结果输出给编码位分配部1706。
接着，在步骤4中，编码位分配部1706使用上述输出的比较结果，不给未满最小闻阈的频带进行位分配，这样进行位分配，以便于给最小闻阈以上的其他频带分配较多的位。该图的步骤4和5与第二个现有技术例子相同地执行。
这样，在本实施例17的声音编码装置中，设置最小闻阈比较部1718，通过对频带分割部1705分割而得到的M个频带进行与预先存储的最小闻阈的比较，来检测出未满最小闻阈的频带，编码位分配部1706不给上述检测出的频带分配编码位，因此，不会大大增大处理负担，就能执行有效利用人类听觉特性的编码位分配，而得到重放音质良好的编码数据。
即，本实施例17的声音编码装置通过在第一个现有技术例子的装置上追加最小闻阈比较部1718，在进行分割之前，进行所得到的M＝32个频带信号与最小闻阈的比较，在MPEG1Audio中，通过与第二个现有技术例子中的最小闻阈适用的比较，就不需要向256个频带的FFT，而且，能够把频带信号的运算和比较削减到32/256＝1/8，而能够谋求大幅度减轻处理负荷。这样，即使在由图2的硬件结构所示的通用个人计算机和工作站等进行的声音编码中，也能够进行实时处理同时提高音质。
对于在声音编码之前的最小闻阈表的存储，可以读入图66的曲线图或数表，但是，除此之外，也可以按照标准书(ISO/IEC11172-3)的表D.1，来求出各频带的最小闻阈，并把其进行存储。在该表中，由于把INDEX与最小闻阈进行对照，则如果M＝32的话，使用32个频带的各个中心频率附近的INDEX的值，就能从表中求出最小闻阈。
作为本发明的实施例，表示出了实施例9～17，而在实施例9～13的编码中，由于实质上进行了音频数据的频带信号数据电平中的抽取和滤波特性的降低，则随之音质也变差了。但是，即使在此情况下，即使使用性能低的CPU，也能通过不需要硬件追加的软件，而实时制成MPEGAudio等的频带分割编码数据，而能够利用其作为广泛使用的活动图象编码的国际标准的MPEG数据。通过调整变量常数的值，就能与CPU的编码处理性能相配合，来控制抽取情况和滤波特性，由此，不仅对高性能的CPU，即使用性能不足的CPU，也能以具有编码处理能力的音质来进行编码，而能够用各种性能等级的CPU来实现编码处理。
在实施例14～17的编码中，不能得到在进行第二个现有技术例子中的心理听觉分析时的音质提高的效果。但是，与完全不进行心理听觉分析的第一个现有技术例子的声音编码相比，却能提高音质，即使在通用个人计算机和工作站等机器中，也能通过不需要硬件追加的软件来执行声音取入的实时编码，并且能够谋求重放音质的提高。
但是，在实施例9～17的任一个中，对于硬件方面，CPU越是高性能的，以及声卡的性能和装置内的数据传输速度越高，就能得到越高品质的编码。
实施例9～17的声音编码作为声音编码控制程序而记录在记录媒体上，就能在个人计算机、工作站及其他装置中执行。
在实施例9～17中，虽然是把编码数据保存在记录装置中，但是，也可以通过网络等传输给其他机器，而在其他机器中进行记录或利用。
在实施例9～17中，虽然说明的是由CPU控制所进行的软件处理来实现的，但是，也可以通过控制DSP的软件处理来代替CPU，同样是可以的。
(实施例18)
本发明的实施例18的图象声音编码装置，在通用计算机中通过软件处理来进行图象声音的编码处理的情况下，在该计算机中，即使在存在负担增大的情况下，也能够防止声音的失真，把声音数据的存储量作为指标，来实现图象信息的编码处理停止。
图44是表示本发明的实施例18的图象声音编码装置的简要构成的图。如图所示的那样，本实施例18的图象声音编码装置由摄象机1801、声音捕获部1802、声音缓冲部1803、声音编码部1805、图象捕获部1806、图象编码部1807和编码负荷评价部1808所构成。从该图象声音编码装置按图示那样输出编码声音信息和编码图象信息，而作为装置输出，根据需要来传输和记录它们。
在该图中，摄象机1801取得图象声音信息，并分解成模拟声音信息和模拟图象信息而输出。声音捕获部1802输入从摄象机1801所输出的模拟声音信息，而作为由离散的数字数据组成的原声信息而输出。声音缓冲部1803暂时地存储从声音捕获部1802所输出的原声信息，存储在声音缓冲部1803中的原声信息的总量是原声缓冲量1804，在本实施例18的图象声音编码装置中，是用于进行控制的信息。声音编码部1805取出存储在声音缓冲部1803中的原声信息，进行压缩编码处理，输出编码声音信息。声音缓冲部1803与暂时存储的原声信息的取出相配合，从该暂时存储的原声信息中取出稍前(过去)所存储的原声信息，由声音缓冲部1803予以消除。因此，希望声音缓冲部1803采用FIFO(First In First Out)构造，具体地说，是由级联缓冲器等算法来实现。
图象捕获部1806输入由摄象机1801所输出的模拟图象信息，输出由离散的数字数据组成的，由每单位时间的静止图象的多幅构成的数字的原图象信息。在此，原图象信息作为具有预先设定的分辨率的信息。如果图象捕获部1806和上述声音捕获部1802多媒体型的个人计算机，则作为一般配置的视频捕获卡来实现。图象编码部1807输入由图象捕获部1806所输出的原图象信息，进行压缩编码而输出编码图象信息。编码负荷评价部1808评价该图象声音编码装置的编码处理中的负荷，对应于该评价，控制从图象捕获部1806所输出的原图象信息的图象编码部1807中的处理。编码负荷评价部1808所进行的控制使用编码负荷基准信息1810，通过运算而取得编码负荷评价信息1809，选择是把原图象信息输入图象编码部1807还是把原图象信息丢弃。接着，当原图象信息被丢弃时，图象编码部1807的编码处理被中断，该编码装置的计算机资源(CPU时间)被腾出给声音编码部1805。
由编码负荷评价部1808所进行的编码负荷评价信息1809的取得这样进行：使用原声缓冲量1804的值来计算评价信息，把该评价信息与编码负荷基准信息1810相乘。在本实施例18中，在评价信息的计算中，如果原声缓冲量1804为声音缓冲部1803中的可存储量的二分之一以上，使评价信息为0％，如果为二分之一以下，使评价信息为100％。
编码负荷基准信息1810是表示图象编码处理的处理量的基准的信息，可以设定为例如“表示在声音缓冲器为空的情况下以怎样的程度进行图象处理的量”，但是，在本实施例18中，一般是为“1”的值，在评价信息与编码负荷基准信息1810相乘中，上述评价信息为原来的编码负荷评价信息1809。因此，编码负荷评价信息1809是0％或100％，在100％的情况下，编码负荷评价部1808把此时所输入的原图象信息100％地输入到图象编码部1807，在0％的情况下，应丢弃原图象信息。接着，进行这样的控制：中断图象编码部1807的处理，把计算机资源(CPU时间)腾出给声音编码部1805。
这样构成的本实施例18的图象声音编码装置的动作大致为以下这样：即，在该图象声音编码装置中，当由摄象机1801所输出的模拟声音信息被输入时，声音捕获部1802输出由离散的数字数据组成的原声信息。从该声音捕获部1802所输出的数字原声信息暂时地存储在声音缓冲部1803中。接着，声音编码部1805从存储在声音缓冲部1803中的原声中取出稍前(过去)所存储的原声，由声音缓冲部1803消除取出的原声，把原声进行压缩编码，而作为编码声音信息输出。声音编码部1805更新作为表示存储在声音缓冲部1803中的原声的总量的值的原声缓冲量1804，原声缓冲量1804被保持而作为用于该图象声音编码装置所进行的编码处理的信息。
当由摄象机1801所输出的模拟图象信息被输入时，图象捕获部1806输出由离散的数字数据组成的，由具有预先定义的分辨率的每单位时间的多幅静止图象所构成的数字原图象信息。当由该图象捕获部1806所输出的原图象信息被输入时，图象编码部1807进行压缩编码而作为编码信息输出。接着，编码负荷评价部1808计算编码负荷评价信息1809，根据该计算的编码负荷评价信息1809的值，来决定：是把原图象信息输入图象编码部1807，还是丢弃原图象信息并中断图象编码部1807的处理，而把计算机资源(CPU时间)腾出给声音编码部1805。在图象编码部1807输入原图象信息时，对该原图象信息进行压缩编码处理，输出编码图象信息。
图45是图解地表示在本实施例18的图象声音编码装置中通过取得某个图象声音而进行编码时的动作的图。其中，该装置为在个人计算机等通用的计算机中所实现的动作，该通用计算机通过并行地执行多个作业(任务)的多任务操作***而工作，该图象声音编码处理是在操作***上处理图象编码和声音编码的各个任务。包括了图象编码和声音编码的各个任务通过操作***完成作为计算机资源的CPU时间的分配，就能在该分配后的期间内通过CPU的控制来执行各自的处理。其中，当各个任务结束一连串处理而释放出了所分配的计算机资源(CPU时间)时，控制操作***给其他的任务进行分配。
在该图中，为时间从上到下地行进的方案，图中的矩形表示多任务操作***中的各个处理(任务)耗费的计算机资源(CPU时间)。连接矩形之间的虚线箭头表示处理切换。虚线箭头为斜线，而该斜线的角度表示用于处理切换所涉及的时间即多任务操作***的任务切换的辅助操作。在以后的说明中，该辅助操作因与各任务中的处理的比较相对较少而在说明中予以忽略。
在该图中，由“图象编码处理”所示的栏表示用于图象信息的编码的处理耗费的时间，对于上述构成，表示执行编码负荷评价部1808的处理和图象编码部1807的处理的程序的作业时间。由“声音编码处理”所示的栏表示用于声音信息的编码的处理耗费的时间，对于上述构成，表示执行声音编码部1805的处理的程序的作业时间。“其他的处理”表示除“图象编码处理”和“声音编码处理”之外的所有处理的作业时间。“原声缓冲量”是以对应于最大缓冲量(声音缓冲部1803中的可存储量)的比例来表示该时间中的原声缓冲量1804。
在该图象声音编码装置的构成中，摄象机1801是与实现该装置的通用计算机相连接，具有比较独立的功能的周边机器，接受上述那样的CPU时间的分配，通过CPU的控制与所执行的程序大致并行地动作。实现声音捕获部1802和图象捕获部1806的图象捕获卡同样是具有比较独立的功能的装置，声音捕获部1802和图象捕获部1806与上述各个处理大致并行地动作。
即，当执行图象或声音的编码处理和其他的处理时，大致并行地进行，进行图象声音的取入、由数字化所产生的原图象信息和原声信息的制成，以及进行原声信息的向声音缓冲部1803的存储。
下面参照图44和图45来说明该例子中的本实施例18的图象声音编码装置的动作。首先，摄象机1801取入图象声音信息，分解成模拟声音信息和模拟图象信息而输出。模拟图象信息被输入图象捕获部1806，图象捕获部1806通过模拟/数字变换处理来按上述那样把其作为由多个静止图象信息组成的数字原图象信息而输出。以该过程(处理)为主的摄象机1801的动作和由作为图象捕获部1806的捕获卡所执行的处理成为主体，因此，大致并行地处理图45所示的那样的耗费CPU时间的操作***中的各个处理。
编码负荷评价部1808输入一次输出的原图象信息，确认此时刻的原声缓冲量1804。在此，声音尚未被输入声音缓冲部1803，原声缓冲量1804为0％。这样，降低作为预定基准值的50％，在上述那样的本实施例中，对于编码负荷基准信息1810，使其值为“1”，在相乘运算中即使不考虑也没有多大的影响，因此，编码负荷评价信息1809为评价信息的原始的100％。因此，编码负荷评价部1808把输入的原图象信息的100％输出给图象编码部1807。在图象编码部1807中，对原图象信息进行图象编码处理，在结束的时刻释放CPU时间。由编码负荷评价部1808和图象编码部1807所进行的上述处理相当于图45的图象编码处理的A部分。
另一方面，声音捕获部1802输入从摄象机1801所输出的模拟声音信息，通过模拟/数字变换处理，作为数字原声信息输出。原声信息被输入声音缓冲装置而进行暂时存储，声音缓冲部1803根据存储量来更新该图象声音编码装置保持的原声缓冲量1804。以该过程为主的摄象机1801的动作和由作为声音捕获部1802的捕获卡所执行的处理为主体，因此，大致并行地处理图45所示的操作***中的各个处理。在此，与图象编码处理A并行地执行该过程，原声缓冲量到达30％。
声音编码部1805从声音缓冲部1803按照以前(过去)存储的情况读出一定量(原声读出量)的原声信息，由声音缓冲部1803消除该读出的原声信息，来更新原声缓冲量1804。而且，声音编码部1805把原声信息进行编码，在本实施例18中，由于上述原声读出量为最大缓冲量的30％，则按上述那样，声音以30％的程度被存储在声音缓冲部1803中，然后，读出其全部来进行编码，在编码结束的时刻释放CPU时间。由声音编码部1805所进行的该处理相当于图45的作为声音编码处理的B部分。
其中，如图45所示的那样，由于“其他的应用”偶然起动，而要求CPU时间，则“其他的应用”耗费CPU时间。“其他的应用”是处理负担比较大的处理，在短时间内占有CPU时间，然后释放。与其他的作业处理相关的该过程(处理)相当于图45的作为其他处理的C部分。摄象机1801、声音捕获部1802和图象捕获部1806所进行的处理与C部分并行地执行。这样，进行原声信息的暂时存储，则原声缓冲量如图45那样达到60％。
接着，CPU时间的分配再次轮到编码负荷评价部1808，而由于此时刻的原声缓冲量1804为60％而成为基准值的50％以上，则把编码负荷基准信息1810的“1”与其相乘，编码负荷评价信息1809变为0％。因此，编码负荷评价部1808丢弃该时刻的原图象信息，不进行由图象编码部1807所进行的编码处理，CPU时间被迅速释放。编码负荷评价部1808的该处理相当于图45的D部分。
接着，由于声音编码部1805轮到了CPU时间的分配，则从声音缓冲部1803读出30％的原声信息，从声音缓冲部1803消除这部分原声信息，来更新原声缓冲量1804。原声缓冲量从60％变为30％。接着，声音编码部1805来对原声信息进行编码，在编码结束的时刻释放CPU时间。声音编码部1805所进行的该处理相当于图45的E部分。
CPU时间的分配变为给编码负荷评价部1808，在此时刻，原声缓冲量1804为30％，降到基准值的50％，因此，与图45的处理A部分时相同，编码负荷评价信息1809变为100％，在图象编码部1807中，进行原图象信息的编码。与以前的图象编码处理的情况进行比较，原图象信息是复杂的，因此，与处理A部分相比，在编码处理中要花费时间，而需要耗费较多的CPU时间，然后，图象编码处理释放CPU时间。由编码负荷评价部1808和图象编码部1807所进行的上述处理相当于图45的作为图象编码处理的F部分。原声信息的存储与该处理F并行地完成，原声缓冲量达到90％。
由于CPU时间的分配轮到声音编码部1805，则声音编码部1805从声音缓冲部1803读出30％的原声信息，从声音缓冲部1803消除该部分的原声信息，更新原声缓冲量1804。原声缓冲量1804从90％变为60％。接着，声音编码部1805对原声信息进行编码，在结束编码的时刻释放CPU时间。由声音编码部1805所进行的该处理相当于图45的G部分。
CPU时间的分配变为给编码负荷评价部1808，在该时刻原声缓冲量1804到达90％，成为基准值的50％以上，因此，与上述处理D的情况相同，编码负荷评价信息1809变为0％，编码负荷评价部1808丢弃该时刻的原图象信息，图象编码部1807中的图象编码处理不进行，CPU时间迅速地被释放。编码负荷评价部1808的该处理相当于图45的H部分。
由于CPU时间被分配给了声音编码部1805，声音编码部1805从声音缓冲部1803读出30％的原声信息，从声音缓冲部1803中消除该部分的原声信息，更新原声缓冲量1804。接着，声音编码部1805对原声信息进行编码，在编码结束的时刻释放CPU时间。由声音编码部1805所进行的该处理相当于图45的I部分。
在图44中，在连续地从摄象机1801取入图象声音期间，通过按上述那样执行图象编码和声音编码的处理，来执行该取入时的图象声音编码。接着，在图象声音的取入结束之后，编码结束。
图46是用于说明在本实施例18的图象声音编码装置中的更长时间地进行这样的编码的动作的图。在该图中，在A区间中，声音和图象的编码处理均衡良好地进行，声音缓冲量保持在基准值以下的值上，但是，在其后，如图所示的那样，“其他的处理”独占CPU时间，因此，原声信息与其并行地被过剩存储。因此，在接着的B区间中，应处理所存储的原声信息，声音编码被优先地进行处理。在原声信息变少而到达基准值以下之后，如从该图C区间是看到的那样，执行平常的处理。
这样，根据本实施例18的图象声音编码装置，设置声音缓冲部1803和编码负荷评价部1808，该编码负荷评价部1808输入作为针对图象的编码对象的原图象信息，该编码负荷评价部1808在图象编码部1807中的编码处理之前，确认在此时刻存储在声音缓冲部1803中的未处理声音信息的量的原声缓冲量1804，如果足够小，则进行图象编码，如果存储了一定量以上的未处理声音信息，则丢弃该时刻的图象信息，不进行图象编码，把CPU时间让给声音编码部，由此，就能回避由于其他应用和图象编码部本身消耗而导致的计算机资源的不足所产生的影响，阻止成为问题的难于辨认的图象的丢帧，就能回避陷入由于图象编码而导致的声音失真的这样的事态中。
根据本实施例18的图象声音编码装置，对于图象编码部1807的功能，当编码负荷评价部1808输出图象信息时，可以对其进行编码。如果具有对所输入的图象进行编码这样的单一功能，就可以适应于本实施例18的编码装置的图象编码部1807。即，就能不进行内部变更地利用图象压缩子程序等现有的图象编码部。压缩子程序制成模块，而具有能够在以后进行附加的结构，在通用计算机中的图象信息操作环境中，能够原样地使用该子程序，来用于图象声音的编码中，因此，具有能够有效地进行软件开发这样特别的效果。
在本实施例18中，执行多任务的各个程序的切换是通过程序自身释放计算机资源(CPU时间)来进行的，但是，本发明并不仅限于这样的形态。例如，可以是这样的形态：多任务操作***给各个程序提供一定的CPU时间，在各个程序可以其CPU时间之后，无条件地切换到其他程序。在此情况下，在图象编码处理使用CPU时间之前，监视声音编码处理的行进，如果需要，就自发地释放CPU时间，由此，就能谋求更有效地进行计算机资源(CPU时间)的分配，而得到良好的编码结果。
在本实施例18中，通过废弃应进行编码的图象信息(静止图象信息)，来释放图象编码处理的CPU时间。即，当静止图象信息被输入为“0秒地点的静止图象、1秒地点的静止图象、2秒地点的静止图象”时，如果需要，去掉1秒地点的静止图象，而对“0秒地点的静止图象、2秒地点的静止图象”进行编码。但是，最终输出的编码信息并不一定成为帧数少的。即，在静止图象信息中，放入表示是在哪个地点(时间)上的静止图象信息的时间标记，图象编码部通过确认该时间标记来辨认是否存在丢帧，在存在丢帧的情况下，如果输出相当于该帧的图象(表示为与前一个静止图象相同的图象和与上次相同的图象的符号等)，则最终所输出的编码图象信息在表面上为没有丢帧的完整的信息。根据该方法，能够输出必须保证符合MPEG(Motion Picture Experts Group)标准等的具有规定值(1秒30幅等)的图象信息的帧数的图象信息，就能容易地处理。
(实施例19)
本发明的实施例19的图象声音编码装置，与实施例18相同，即使在通用计算机中的软件处理中存在负担增大的情况下，也能够防止声音的失真，把声音数据的存储量作为指标，来进行用于编码的预测处理的控制。
图47是表示本发明的实施例19的图象声音编码装置的简要构成的图。如图所示的那样，本实施例19的图象声音编码装置由摄象机1901、声音捕获部1902、声音缓冲部1903、声音编码部1905、图象捕获部1806、图象编码部1923和编码负荷评价部1921所构成，图象编码部1923包括帧间预测处理部1924和帧编码部1925。作为装置输出而输出编码声音信息和编码图象信息，这与实施例18相同。
在该图中，编码负荷评价部1921根据原声缓冲量1904和编码负荷基准信息1910而通过计算来取得编码负荷评价信息1922。包含在图象编码部1923内的帧间预测处理部1924为了削减图象的时间冗长性并进行压缩编码，而求出静止图象信息间的运动矢量，为了随着运动补偿而进行预测编码，则输出该运动矢量。包含在图象编码部1923中的帧编码部1925使用帧间预测处理部1924输出的运动矢量而进行编码，并作为编码图象信息而输出。
摄象机1901、声音捕获部1902、声音缓冲部1903、声音编码部1905和图象捕获部1906与实施例18的1801～1803、1805和1806相同，而省略其说明。
当编码负荷评价部1921所进行的编码负荷评价信息1922的计算时，使用从原声缓冲量1904计算的表示声音缓冲部1903具有的缓冲的空的比例的评价信息和编码负荷基准信息1910，把两者相乘来求出。编码负荷基准信息1910与实施例18中的情况相同，在本实施例19中，也固定为“1”。这样，在本实施例19中，就不需要考虑引入编码负荷基准信息1910，而使作为评价信息所得到的声音缓冲部1903具有的缓冲的空的比例按其原状为编码负荷评价信息1922，在缓冲为空的情况下，取100％的值，在缓冲为满的情况下，取0％的值。
通常，在进行压缩编码时，对于一帧(相当于一幅图象)的静止图象，具有根据其空间的相关关系来进行压缩的帧内编码，对于在时间上接近的例如连续的帧的静止图象，具有根据其时间的相关关系来进行压缩的帧间编码，而帧内编码为基本的，而当把两者进行组合时，就能得到高压缩率的编码数据。为了进行帧间编码，检测出每帧的运动来作为运动矢量，随着使用该运动矢量的运动补偿而生成预测图象，把该预测图象与作为编码对象的图象的差分数据进行压缩。
帧间预测处理部1924求出静止图象信息间的运动矢量，其用于为了削减图象的时间冗长性而进行压缩编码的预测图象生成处理中。在本实施例19中，帧间预测处理部1924按所指定的比例来进行预测处理。即，当编码负荷评价信息1922为100％时，按作为初始值的最大量来进行帧间预测处理，输出所得到最佳运动矢量。另一方面，当编码负荷评价信息1922为50％时，按作为初始值的50％的量来进行帧间预测处理，输出在此时刻求出的最佳运动矢量。在上述任一种情况下，帧编码部1925使用所输出的运动矢量来进行编码处理。求出运动矢量的处理是当增加处理量始按增加量来求出最佳的运动矢量，因此，由此而减小了预测图象与编码对象图象之差，就能进行有效的压缩。另一方面，当减少处理量时，就不能得到最佳的矢量，则压缩率下降。而这样的不增大处理量而维持压缩率的方案，就可能牺牲图象质量。
下面简要说明这样构成的本实施例19的图象声音编码装置的动作。即，在该图象声音编码装置中，编码负荷评价部1921的声音缓冲部1903存储原声信息，按照根据该存储量而更新原声缓冲量1904时的原声缓冲量1904和编码负荷基准信息1910，来输出编码负荷评价信息1922。图象编码部1923把从图象捕获部1906所输出的原图象信息进行编码并输出。此时，帧间预测处理部1924为了削减图象的时间冗长性并进行声音编码而求出静止图象信息间的运动矢量，使用运动信息来进行编码。随之，帧编码部1925使用帧间预测处理部1924输出的运动矢量来进行编码，而作为编码图象信息被输出。原声信息的读出和编码与实施例18相同地进行。
下面说明对应于某个图象声音的由本实施例19的图象声音编码装置所进行的编码处理的一个例子中的动作。其中，与实施例18相同，图象声音编码处理为这样的控制：在通用计算机中按照操作***的控制，而成为图象编码(编码负荷评价部1921和图象编码部1923的处理)和声音编码(声音编码部1905的处理)的各个任务，当获得CPU时间的分配的各任务执行一连串处理而释放了计算机资源(CPU时间)时，操作***给其他的任务进行CPU时间的分配。
首先，与实施例18相同，摄象机1901取得图象声音信息，并分解成模拟声音信息和模拟图象信息而输出。接着，声音捕获部1902输入从摄象机1901所输出的模拟声音信息，而作为原声信息而输出。声音缓冲部1903存储原声信息，根据存储量来更新原声缓冲量1904。另一方面，图象捕获部1906输入由摄象机1901所输出的模拟图象信息，作为数字的原图象信息而输出。
编码负荷评价部1921确认该时刻的原声缓冲量1904。在此，由于所输入的原声信息以约30％被存储在缓冲器中，则编码负荷评价信息1922为70％。
帧间预测处理部1924取得编码负荷评价信息1922。接着，由于编码负荷评价信息1922为70％，则按初始值的70％来进行帧间预测处理，在此之中获得最佳的运动矢量，把它输出给帧编码部1925。帧编码部1925使用运动矢量来对图象信息进行编码，并作为编码图象信息输出，而释放分配给图象编码的CPU时间。
声音编码部1905从声音缓冲部1903按照以前(过去)存储的情况读出一定量(原声读出量)的原声信息，由声音缓冲部1903消除该读出的原声信息，来更新原声缓冲量1904。而且，声音编码部1905把原声信息进行编码，在本实施例19中，由于上述原声读出量为最大缓冲量的30％，则按上述那样，声音以30％的程度被存储在声音缓冲部1903中，然后，读出其全部来进行编码，在编码结束的时刻释放CPU时间。
分配了CPU时间的编码负荷评价部1921确认该时刻的原声缓冲量1904。在上述的声音编码处理之后，由于存储在原声缓冲量1904中的声音为0％，则编码负荷评价部1921使编码负荷评价信息1922为100％。接着，帧间预测处理部1924因编码负荷评价信息1922为100％而按作为初始值的最大量来进行帧间预测处理，取得最佳的运动矢量，帧编码部1925使用该运动矢量对图象信息进行编码，输出编码图象信息，当编码结束时，释放CPU时间。
在图47中，在连续地从摄象机1901取入图象声音期间，通过按上述那样执行图象编码和声音编码的处理，来执行该取入时的图象声音编码。接着，在图象声音的取入结束之后，编码结束。
这样，根据本实施例19的图象声音编码装置，设置声音缓冲部1903、编码负荷评价部1921、图象编码部1923，该图象编码部1923包括帧间预测处理部1924和帧编码部1925，编码负荷评价部1921在图象编码部1923进行编码之前确认该时刻存储在缓冲器中的未处理声音信息的量即原声缓冲量1904，根据该量来指示编码负荷评价部1921中的处理量，由此，来控制在图象编码中所耗费的CPU时间，因此，就能回避由于其他应用和图象编码部本身消耗而导致的计算机资源的不足所产生的影响，阻止成为问题的难于辨认的暂时压缩率降低和图象质量的降低，就能回避陷入由子图象编码而导致的声音失真的这样的事态中。
对于本实施例19的图象声音编码装置中的帧编码部1925的功能，当编码负荷评价部1921输出编码负荷评价信息1922时，与其相对应地进行处理，由此，就需要进行编码负荷评价信息1922的输入和与该编码负荷评价信息1922相对应的处理，就不能按实施例18那样来进行被制成模块的子程序的原封不动的应用。但是，在降低图象编码的负荷时，由于不是象实施例18那样丢弃图象信息，来降低处理量，因而就不会发生图象的丢帧，与实施例18相比较，具有能够得到流畅的运动的编码图象信息的效果。
在本实施例19中，通过控制在图象编码中耗费的CPU时间，来利用调节帧间预测处理即求出最佳运动矢量的计算的量的方案，但是，本发明并不仅限于此。例如可以采用这样的方法：省略彩色信息的编码处理的一部分等，来简化其他的图象编码的处理。
在本实施例19中，是把从原声缓冲量求出的缓冲器的空的比例作为原来的编码附加评价信息，但是，也可以使用其他的评价方法。例如，利用使用这样的评价方法：在原声缓冲量超过某个规定值之前，时编码附加评价信息为100％，而在超出规定值以后，递减为50％、30％。
(实施例20)
本发明的实施例20的图象声音编码装置，与实施例18相同，即使在通用计算机中的软件处理中存在负担增大的情况下，也能够防止声音的失真，把声音数据的存储量作为指标，来进行用于编码的图象分辨率的变更。
图48是表示本发明的实施例20的图象声音编码装置的简要构成的图。如图所示的那样，本实施例20的图象声音编码装置由摄象机2001、声音捕获部2002、声音缓冲部2003、声音编码部2005、图象捕获部2031、图象编码部2035和编码负荷评价部2032所构成，图象编码部2035包括图象编码部本体2036和分辨率校正信息附加部2037。作为装置输出而输出编码声音信息和编码图象信息，这与实施例18相同。
在该图中，图象捕获部2031与实施例18和实施例19相同是从模拟图象信息来制成由多幅静止图象构成的数字的原图象信息，但是，在本实施例中，却是输入下述的图象分辨率信息2034，制成上述静止图象信息，而作为具有对应于该输入的图象分辨率信息分辨率的分辨率的。图象捕获部2031与实施例18相同是由视频捕获卡来实现的，而在此，该卡为能够指定分辨率的卡。编码负荷评价部2032计算编码负荷评价信息2033，按照该计算的编码负荷评价信息2033的值，而输出图象分辨率信息2034。图象编码部2035包括下述的图象编码部本体2036和分辨率校正信息附加部2037，把从图象捕获部2031所输出的原图象信息进行编码，输出编码图象信息。图象编码部本体2036包含在图象编码部2035中，进行实际的图象的编码处理。分辨率校正信息附加部2037包含在图象编码部2035中，在图象编码部本体2036输出的内部编码图象信息上附加分辨率的信息，而制成作为该图象声音编码装置的装置输出的编码图象信息。
摄象机2001、声音捕获部2002、声音缓冲部2003和声音编码部2005与实施例18的1801～1803和1805相同，而省略其说明。
在上述的编码负荷评价部2032所进行的编码负荷评价信息2033的计算中，根据原声缓冲量2004的值来计算成为基本的评价信息，把编码负荷基准信息2010的值与其相乘而求出。在本实施例20中，当进行评价信息的计算时，如果原声缓冲量2004超过声音缓冲部2003的原声可存储量的二分之一，则使评价信息为0％，如果为二分之一以下，为100％。编码负荷基准信息2010与实施例18中的情况相同，在本实施例20中也是固定为“1”。这样，评价信息按其原状为编码负荷评价信息2033，编码负荷评价信息2033取0％或100％这样的值。编码负荷评价部2032使用编码负荷评价信息2033来制成图象分辨率信息2034，把其输出给图象编码部2035。此时，在编码负荷评价信息2033为100％的情况下，输出图象分辨率信息2034，而作为表示“宽320像素，高240像素”的；如果为0％，输出图象分辨率信息2034，而作为表示“宽160像素，高120像素”的。
在本实施例20中，设定“宽320像素，高240像素”作为图象分辨率信息2034的初始值，而在原声缓冲量2004超过缓冲量的最大的50％的情况下，则在上述那样的由编码负荷评价部2032进行的运算中，变化为“宽160像素，高120像素”。
下面简要说明这样构成的本实施例20的图象声音编码装置。即，在该图象声音编码装置中，图象捕获部2031输入图象分辨率信息2034，通过变换所输入的模拟图象信息，来制成由具有该分辨率的静止图象信息所构成的数字原图象信息，并输出。编码负荷评价部2032计算编码负荷评价信息2033，按照该计算的编码负荷评价信息2033的值来输出图象分辨率信息2034。接着，图象编码部2035把由图象捕获部2031所输出的原图象信息进行编码并输出。此时，图象编码部本体2036进行实际的图象的编码处理。随之，分辨率校正信息附加部2037把分辨率的信息附加到图象编码部本体2036输出的编码图象信息上。对于声音的处理与实施例18相同。
下面说明本实施例20的图象声音编码装置所进行的编码处理的一个例子的动作。其中，与实施例18相同，图象声音编码处理为这样的控制：在通用计算机中按照操作***的控制，而成为图象编码(编码负荷评价部2032和图象编码部2035的处理)和声音编码(声音编码部2005的处理)的各个任务，当获得CPU时间的分配的各任务执行一连串处理而释放了计算机资源(CPU时间)时，操作***给其他的任务进行CPU时间的分配。
首先，与实施例18相同，摄象机2001取得图象声音信息，并分解成模拟声音信息和模拟图象信息而输出。接着，声音捕获部2002输入从摄象机2001所输出的模拟声音信息，而作为原声信息而输出。声音缓冲部2003存储原声信息，根据存储量来更新原声缓冲量2004。
编码负荷评价部2032确认该时刻的原声缓冲量2004。由于所输入的原声信息以约30％被存储在缓冲器中，降低了作为预先决定的基准值的50％，则评价信息为100％。接着，按上述那样，由于作为值“1”的编码负荷基准信息2010进行相乘运算处理却不会对结果产生影响，因此编码负荷评价信息为100％。因此，图象分辨率信息2034为“宽320像素，高240像素”，编码负荷评价部2032把该图象分辨率信息2034输出给图象捕获部2031和图象编码部2035。
另一方面，图象捕获部2031输入由摄象机2001所输出的模拟图象信息，并作为数字原图象信息输出。此时，在图象捕获部2031从图象编码部2035输入图象分辨率信息2034之前，使用作为图象分辨率信息2034的初始值的“宽320像素，高240像素”，图象捕获部2031制成由“宽320像素，高240像素”的静止图象信息组成的数字原图象信息并输出。
原图象信息被输入图象编码部2035，首先，通过图象编码部本体2036来完成编码处理，而制成内部编码图象信息。接着，分辨率校正信息附加部2037把表示“宽320像素，高240像素”的信息附加到在图象编码部本体2036中所制成的编码图象信息上，而制成成为该图象声音编码装置的装置输出的编码图象信息并输出。
其中，与实施例18中所说明的情况相同，在通用计算机的操作***上执行除图象编码和声音编码之外的任务，给其他的任务进行CPU时间的分配，控制被移到“其他的处理”，而消费CPU时间。与实施例18所示的相同，图象声音的由摄象机2001所进行的取入与由摄象机2001和图象捕获部2031所进行的处理同该“其他的处理”大致并行地进行，声音被存储在声音缓冲部2003中达到90％的程度。
此后，当执行声音编码处理时，声音编码部2005首先按照以前(过去)存储的情况从声音缓冲部2003读出一定量的原声信息，从声音缓冲部2003削去这样的原声信息，更新原声缓冲量2004。接着，声音编码部2005对原声信息进行编码。在本实施例20中，作为读出并削去的一定量为30％，声音编码部2005读出按上述那样存储到90％的原声信息中的30％来进行编码，在编码结束的时刻释放CPU时间。
当处理再次移给图象编码时，编码负荷评价部2032确认该时刻的原声缓冲量2004。在上述30％程度的读出之后，才存储了60％的原声信息。因此，由于成为了大于基准值的50％的值，评价信息为0％，即使在编码负荷基准信息2010的“1”的相乘运算之后，值也不变，编码负荷评价信息2033为0％。因此，图象分辨率信息2034为“宽160像素，高120像素”。图象分辨率信息2034与以前相同被输出给图象捕获部2031和图象编码部2035。
图象捕获部2031输入模拟图象信息，并作为数字原图象信息输出。此时，由于图象分辨率信息2034为“宽160像素，高120像素”，则图象捕获部2031输出由“宽160像素，高120像素”的静止图象信息组成的数字原图象信息。
原图象信息被输入图象编码部2035，首先，在图象编码部本体2036中进行编码处理，而作为内部编码图象信息被输出。在以前的处理中，当与分辨率为“宽320像素，高240像素”的情况相比较时，在这次的处理中，图象的分辨率为“宽160像素，高120像素”，因此，用像素数来表示的信息量变为四分之一。这样，该编码处理用以前的处理的四分之一的时间就结束了。分辨率校正信息附加部2037把表示“宽160像素，高120像素”的信息附加到从图象编码部本体2036所输出的内部编码图象信息上，作为该图象声音编码装置的装置输出的编码图象信息而输出。
在图48中，在连续地从摄象机2001取入图象声音期间，通过按上述那样执行图象编码和声音编码的处理，来执行该取入时的图象声音编码。接着，在图象声音的取入结束之后，编码结束。
这样，根据本实施例20的图象声音编码装置，通过设置声音缓冲部2003、图象捕获部2031、编码负荷评价部2032、包括了图象编码部本体2036和分辨率校正信息附加部2037的图象编码部2035，则编码负荷评价部2032确认存储在声音缓冲部2003内的未处理声音信息的量，根据该量，通过输出图象分辨率信息2034来控制所输入的图象信息的分辨率，由此来控制图象信息的信息量。这样，就能控制在图象的编码处理中所耗费的CPU时间，能回避由于其他应用和图象编码部本身消耗而导致的计算机资源的不足所产生的影响，阻止成为问题的难于辨认的暂时的分辨率的降低，就能回避陷入由于图象编码而导致的声音失真的这样的事态中。
在本实施例20中，通过使图象分辨率信息变化，以原声缓冲量超过某个一定值的情况作为条件，但是，也可以采用其他的评价方法。例如，能够在原声缓冲量上乘以某个系数，来设定对应于缓冲量的分辨率，同样能够得到防止声音失真的效果。
(实施例21)
本发明的实施例21的图象声音编码装置，与实施例18相同，即使在通用计算机中的软件处理中存在负担增大的情况下，也能够防止声音的失真，把声音数据的处理量作为指标，来实现图象信息的编码处理停止。
图49是表示本发明的实施例21的图象声音编码装置的简要构成的图。如图所示的那样，本实施例21的图象声音编码装置由摄象机2101、声音捕获部2102、声音缓冲部2103、声音编码部2142、图象捕获部2106、图象编码部2107、编码负荷评价部2144和***计时器2141所构成。作为装置输出而输出编码声音信息和编码图象信息，这与实施例18相同。
在该图中，声音编码部2142与实施例1相同，在存储在声音缓冲部2103中的原声中，取出稍前(过去)所存储的原声，从声音缓冲部2103削去取出的原声，对原声进行压缩编码并作为编码声音信息而输出。在此基础上附加了下列内容：本实施例21中的声音编码部2142保持作为在此之前取出的原声的总和的已处理的声音信息量2143，进行更新。在下述的方法中，编码负荷评价部2144通过计算来取得用于图象编码控制的编码负荷评价信息2145，对应于该取得的编码负荷评价信息，来指示是否执行原图象信息的编码。***计时器2141测定编码的经过时间。
摄象机2101、声音捕获部2102、声音缓冲部2103、图象捕获部2106和图象编码部2107与实施例18的1801～1803、1806和1807相同，而省略其说明。
在编码负荷评价部1821所进行的编码负荷评价信息1922的计算中，首先，使用由***计时器2141所求出的编码的经过时间和作为已知的原声信息的单位时间的输入量，来计算原声输入量。接着，作为通过计算取得的原声输入量和声音编码部2142保持的已处理的声音信息量2143之差，求出预测声音缓冲量。接着，使用该求出的预测声音缓冲量作为评价信息，与实施例18相同，通过与编码负荷基准信息2110的相乘处理，来求出编码负荷评价信息2145。即使在本实施例21中，编码负荷基准信息2110固定地取“1”的值，预测声音缓冲量成为编码负荷基准信息2110。接着，编码负荷评价部2144使用编码负荷评价信息2145的值，如果其未超过一定量，则把原图象信息输出给图象编码部2107来执行编码，另一方面，在超过一定量的情况下，通过丢弃原图象信息，不进行编码。这样，在本实施例21中，编码负荷评价部进行预测缓冲量与一定量的比较，作为上述一定量可以为声音缓冲部2103的最大缓冲量的50％。原声信息的单位时间的输入量为在10秒内声音缓冲部2103的缓冲量成为最大的量。
下面简要说明这样构成的本实施例21的图象声音编码装置的动作。即，在该图象声音编码装置中，声音编码部2142，在存储在声音缓冲部2103中的原声中，取出稍前(过去)所存储的原声，从声音缓冲部2103削去取出的原声，更新作为在此之前取出的原声的总和的已处理的声音信息量2143，把原声进行压缩编码并作为编码声音信息而输出。接着，编码负荷评价部2144，通过由***计时器2141所求出的编码的经过时间和作为已知的原声信息的单位时间的输入量来计算原声输入量，求出作为该计算的原声输入量与已处理的声音信息量2143之差的预测声音缓冲量，使用该求出的预测声音缓冲量来求出编码负荷评价信息2145。接着，根据该编码负荷评价信息的值来控制图象编码。对于声音的处理与实施例18相同。
下面说明本实施例21的图象声音编码装置对某图象声音信息所进行的编码处理的一个例子的动作。其中，与实施例18相同，图象声音编码处理为这样的控制：在通用计算机中按照操作***的控制，而成为图象编码(编码负荷评价部2144和图象编码部2107的处理)和声音编码(声音编码部2142的处理)的各个任务，当获得CPU时间的分配的各任务执行一连串处理而释放了计算机资源(CPU时间)时，操作***给其他的任务进行CPU时间的分配。
首先，与实施例18相同，摄象机2101取得图象声音信息，并分解成模拟声音信息和模拟图象信息而输出。接着，声音捕获部2102输入从摄象机2101所输出的模拟声音信息，作为原声信息而输出。声音缓冲部2103存储原声信息，根据存储量来更新原声缓冲量2104。另一方面，图象捕获部2106输入从摄象机2101所输出的模拟图象信息，作为数字原图象信息输出。
编码负荷评价部2144一旦输入了由图象捕获部2106所输出的原图象信息，则在此时刻，确认预测声音缓冲量。此时，参照***计时器2141而得到的经过时间为1秒，由于已处理的声音信息量2143仍为“0”，则预测声音缓冲量为10％，降到作为预定基准值的50％，由于编码负荷基准信息2110具有在相乘处理中可以不考虑的值“1”，则编码负荷评价信息2145为100％。因此，编码负荷评价部2144把原图象信息输入图象编码部2107，图象编码部2107对该原图象信息进行图象编码处理，在编码处理结束的时刻释放CPU时间。
其中，与实施例18中所说明的情况相同，在通用计算机的操作***上执行除图象编码和声音编码之外的任务，给其他的任务进行CPU时间的分配，控制被移到“其他的处理”，而消费CPU时间。与实施例18所示的相同，图象声音的由摄象机2101所进行的取入与由摄象机2101和图象捕获部2106所进行的处理同该“其他的处理”大致并行地进行，声音被存储在声音缓冲部2103中达到90％的程度。
此后，当执行声音编码处理时，声音编码部2142首先按照以前(过去)存储的情况从声音缓冲部2103读出一定量的原声信息，从声音缓冲部2103削去这样的原声信息，更新原声缓冲量2104。接着，声音编码部2142对原声信息进行编码。在本实施例21中，作为读出并削去的一定量为30％，声音编码部2105读出按上述那样存储到90％的原声信息中的30％来进行编码，在编码结束的时刻，把30％的量加到自己保持的已处理的声音信息量2143上来进行更新，释放CPU时间。
当处理再次移给图象编码时，编码负荷评价部2144首先参照***计时器2141来确认此时刻的经过时间。为了移到“其他的处理”，经过时间为9秒。接着，当参照声音编码部2142保持的已处理的声音信息量2143时，为30％。由此，预测声音缓冲量为60％，由于超过了作为基准值的50％，则评价信息为0％，乘以编码负荷基准信息2110的“1”而得到的编码负荷评价信息为0％。因此，编码负荷评价部2144丢弃此时刻的原图象信息，迅速释放CPU时间，而谋求执行声音编码。
在图49中，在连续地从摄象机2101取入图象声音期间，通过按上述那样执行图象编码和声音编码的处理，来执行该取入时的图象声音编码。接着，在图象声音的取入结束之后，编码结束。
这样，根据本实施例21的图象声音编码装置，通过设置***计时器2141、保持已处理的声音信息量2143的声音编码部2142、编码负荷评价部2144，则编码负荷评价部2144从参照***计时器2141而得到的经过时间和参照声音编码部2142而得到的已处理的声音信息量2143来计算预测缓冲量，把该预测缓冲量用于代替原声缓冲量2104，而控制图象编码，因此，与使用原声缓冲量来进行控制的实施例18相同，能够防止由于其他应用和图象编码部本身消耗而导致的计算机资源的不足所产生的声音失真。
在本实施例21中，与实施例18不同，即使不知道原声缓冲量2104，也能通过参照声音编码部2142处理了的信息量，来预测现在所存储的原声缓冲量2104，因此，即使在使用缓冲部为未知框的已有应用时，也能够容易地处理。
在本实施例21中，在以根据状况来进行图象编码处理的停止的实施例18为标准的构成中，根据已处理的声音信息量来进行把预测缓冲量作为指标的图象编码的控制，但是，对于控制帧间预测编码的处理量的实施例19和变更分辨率的实施例20，也可以应用以预测缓冲量作为指标的实施例21的方法，即使在不能得知原声缓冲量2104的情况下，同样具有能进行控制的效果。
(实施例22)
本发明的实施例22的图象声音编码装置，与实施例18相同，即使在通用计算机中的软件处理中存在负担增大的情况下，也能够防止声音的失真，把声音的编码量作为指标，来实现图象信息的编码处理停止。
图50是表示本发明的实施例22的图象声音编码装置的简要构成的图。如图所示的那样，本实施例22的图象声音编码装置由摄象机2201、声音捕获部2202、声音缓冲部2203、声音编码部2205、图象捕获部2206、图象编码部2207、编码负荷评价部2253和***计时器2251所构成。作为装置输出而输出编码声音信息和编码图象信息，这与实施例18相同。
在该图中，编码负荷评价部2253与实施例21相同，求出预测声音缓冲量，据此而取得编码负荷评价信息，而求出该预测声音缓冲量的方法与实施例21的编码装置不同。在本实施例22中，编码负荷评价部2253检测出从编码负荷评价部2253所输出的编码声音量2252，使用由该编码声音量2252所得到的已处理的声音信息量2254来代替实施例21中的已处理的声音信息量2143。编码声音信息按上述那样为该图象声音编码装置的装置输出，以被进行传输/记录等，因而能够容易地检测出该量。在本实施例22的编码负荷评价部2253中，在从***计时器2251得到经过时间、从该经过时间和单位时间的原声输入量来取得原声输入量、以及使用成为固定的“1”值的编码负荷基准信息2210这几方面与实施例21相同。
本实施例22的图象声音编码装置，除了上述的编码负荷评价部2253的功能不同和声音编码部2205不保持已处理的声音量之外，具有与实施例21的图象声音编码装置相同的构成。这样，摄象机2201、声音捕获部2202、声音缓冲部2203、图象捕获部2206和图象编码部2207与实施例18的1801～1803、1806和1807相同，***计时器2251与实施例21相同，而省略其说明。
在本实施例22中，与实施例21相同，使与预测声音缓冲量进行比较的一定量为最大缓冲量的50％，使原声音的单位时间的输入量为10秒内声音缓冲部2203的缓冲到达最大的量。使声音编码部2205的压缩率为十分之一。
下面简要说明这样构成的本实施例22的图象声音编码装置的动作。即，该图象声音编码装置的编码负荷评价部2253使用由***计时器2251所求出的编码的经过时间和已知的原声信息的单位时间的输入量，来计算原声输入量，接着，从作为声音编码部2205输出的编码声音信息的总量的编码声音量2252来求出已处理的声音信息量2254，接着，求出作为原声输入量与已处理的声音信息量2254之差的编码负荷评价信息2209。然后，编码负荷评价部2253，在预测声音缓冲量少于一定量时，把原图象信息输入图象编码部2207，当在一定量以上时，丢弃原图象信息而中断图象编码部2207的处理，把计算机资源(CPU时间)让给声音编码部2205。
下面说明本实施例22的图象声音编码装置对某图象声音信息所进行的编码处理的一个例子的动作。其中，与实施例18相同，图象声音编码处理为这样的控制：在通用计算机中按照操作***的控制，而成为图象编码(编码负荷评价部2253和图象编码部2207的处理)和声音编码(声音编码部2205的处理)的各个任务，当获得CPU时间的分配的各任务执行一连串处理而释放了计算机资源(CPU时间)时，操作***给其他的任务进行CPU时间的分配。
首先，与实施例18相同，摄象机2201取得图象声音信息，并分解成模拟声音信息和模拟图象信息而输出。接着，声音捕获部2202输入从摄象机2201所输出的模拟声音信息，作为原声信息而输出。声音缓冲部2203存储原声信息，根据存储量来更新原声缓冲量2204。另一方面，图象捕获部2206输入从摄象机2201所输出的模拟图象信息，作为数字原图象信息而输出。
编码负荷评价部2244一旦输入了由图象捕获部2206所输出的原图象信息，则在此刻确认预测声音缓冲量。此时，参照***计时器2251而得到的经过时间为1秒，由于编码声音量2252才为“0”，则预测声音缓冲量为10％，降到作为预定基准值的50％，由于编码负荷基准信息2210具有在相乘处理中可以不考虑的值“1”，则编码负荷评价信息2245为100％。因此，编码负荷评价部2253把原图象信息输入图象编码部2207，图象编码部2207对该原图象信息进行图象编码处理，在编码处理结束的时刻释放CPU时间。
其中，与实施例18中所说明的情况相同，在通用计算机的操作***上执行除图象编码和声音编码之外的任务，给其他的任务进行CPU时间的分配，控制被移到“其他的处理”，而消费CPU时间。与实施例18所示的相同，图象声音的由摄象机2201所进行的取入与由摄象机2201和图象捕获部2206所进行的处理同该“其他的处理”大致并行地进行，声音被存储在声音缓冲部2203中达到90％的程度。
此后，当执行声音编码处理时，声音编码部2205首先按照以前(过去)存储的情况从声音缓冲部2203读出一定量的原声信息，从声音缓冲部2203削去这样的原声信息，更新原声缓冲量2204。接着，声音编码部2205对原声信息进行编码。在本实施例22中，作为读出并削去的一定量为30％，声音编码部2205读出按上述那样存储到90％的原声信息中的30％来进行编码，在编码结束的时刻释放CPU时间。
当处理再次移给图象编码时，编码负荷评价部2244首先参照***计时器2241来确认此时刻的经过时间。为了移到“其他的处理”，经过时间为9秒。接着，由于从声音编码部2205所输出的编码声音量为声音缓冲部2203的缓冲量的3％，压缩率为十分之一，则已处理的声音信息量2254被求出成为30％。由此，预测声音缓冲量为60％，由于超过了作为基准值的50％，则评价信息为0％，乘以编码负荷基准信息2210的“1”而得到的编码负荷评价信息为0％。因此，编码负荷评价部2244丢弃此时刻的原图象信息，迅速释放CPU时间，而谋求执行声音编码。
在图50中，在连续地从摄象机2201取入图象声音期间，通过按上述那样执行图象编码和声音编码的处理，来执行该取入时的图象声音编码。接着，在图象声音的取入结束之后，编码结束。
这样，根据本实施例22的图象声音编码装置，通过设置***计时器2251、从编码声音量2252取得已处理的声音信息量2254的***计时器2251，则编码负荷评价部2253从参照***计时器2251而得到的经过时间和参照编码声音量2252而得到的已处理的已处理的声音信息量2254来计算预测缓冲量，把该预测缓冲量用于代替原声缓冲量2204，而控制图象编码，因此，与使用原声缓冲量来进行控制的实施例18相同，能够防止由于其他应用和图象编码部本身消耗而导致的计算机资源的不足所产生的声音失真。
在本实施例22中，与实施例18和实施例21不同，即使不知道原声缓冲量2204和编码负荷评价部2253中的处理量，也能通过参照声音编码部2253处理而输出的信息量，来预测现在所存储的原声缓冲量2204，因此，即使在缓冲部的基础上同时使用声音编码部为未知框的已有应用时，也能够容易地处理。
在本实施例22中，是在根据状况来进行图象编码处理的停止的实施例18中，根据编码声音量来进行把预测缓冲量作为指标的图象编码的控制，但是，对于控制帧间预测编码的处理量的实施例19和变更分辨率的实施例20，也可以应用以预测缓冲量作为指标的本方法，同样具有能进行控制的效果。
以上所述的实施例18至实施例22都是以能够平衡地进行编码为前提的，因由于瞬间或短期的负荷增大所产生的影响而导致计算机资源暂时变少时，防止声音失真。而基本上能够在由在计算机能力不足的计算机***上工作的软件来实现这些实施例的图象声音编码装置的情况下使用，但是，不言而喻，在相应的情况下，也可以适用于以各种条件为对象情况下的编码。
图51是表示当在计算机能力不足的计算机***上实现实施例18至实施例22的图象声音编码装置时的声音缓冲量的推移的图。如该图所示的那样，由于图象编码的负荷全部都过大，则在进行图象编码期间，未处理的声音信息增大了。其结果，在图象编码结束的阶段中，成为使声音编码优先的控制，而急剧地使声音编码的处理优先来执行，在此期间就停止了图象的编码处理。当在未处理的声音信息变少的时刻，在此恢复进行图象的编码处理时，未处理的声音信息增大。当反复这样进行时，被编码的图象信息急剧地从高质量变为地质量的，然后返回高质量，反复这样进行，其结果，则难于在重放使用的情况下进行鉴赏。
为了解决进行实施例18～22的图象编码时的上述问题，下述的本发明的实施例23和实施例24的图象声音编码装置基本上可以在能力不足的计算机上实现，同样能够防止声音失真，同时还能抑制上述那样的图象画质的大幅度变动。
(实施例23)
本发明的实施例23的图象声音编码装置是通过编码负荷基准信息的设定来实现在不是高性能的通用计算机等中用软件处理来进行图象声音编码处理。
图52是表示本发明的实施例23的图象声音编码装置的简要结构的图。如图所示，本实施例23的图象声音编码装置由摄象机2301、声音捕获部2302、声音缓冲部2303、声音编码部2305、图象捕获部2306、图象编码部2307、编码负荷评价部2308、***计时器2361和编码负荷基准设定部2362所构成。作为装置输出而输出编码声音信息和编码图象信息，这与实施例18相同。
在该图中，***计时器2361计量经过时间。编码负荷基准设定部2362调查每单位时间的原声缓冲量2304的变动，根据变动的程度来设定编码负荷基准信息2363。编码负荷评价部2308使用由编码负荷基准设定部2382所设定的编码负荷基准信息而不是具有固定值的编码负荷基准信息，来通过计算取得编码负荷评价信息2309。本实施例23的图象声音编码装置是在实施例18的图象声音编码装置上追加***计时器2361和编码负荷基准设定部2362而构成的，摄象机2301、声音捕获部2302、声音缓冲部2303、声音编码部2305、图象捕获部2306和图象编码部2307与实施例18的1801～1807相同，而省略其说明。
编码负荷基准设定部2362，在原声缓冲量2304超过预定值的情况下或变为低于预定值的情况下，执行为“1计数”的计数动作，当每单位时间中超过3计数时，设定编码负荷基准信息2363。
编码负荷基准信息2363是表示在声音缓冲为空的情况下以那种程度进行图象处理的信息，例如，如果是代表100％的“1”的值，则在声音缓冲为空情况下，100％地进行图象处理；如果是代表50％的“0.5”的值，则在声音缓冲为空情况下，50％地进行图象处理。
在本实施例23中，编码负荷基准信息2363是其初始值为“1”的，通过原声缓冲量2304的变动，当在由编码负荷基准设定部2362所进行的计数动作中超过3计数时，通过完成再设定而使其值为“0.5”。
由于编码负荷评价部2308使用该值来求出编码负荷评价信息2309，则编码负荷评价信息2309的值，在编码负荷基准信息2363为“1”时，与实施例18相同，取0％或100％的值，而在编码负荷基准设定部2362为“0.5”时，为0％或50％的值。当为50％的值时，编码负荷评价部2308不是把在此时刻所输入的原图象信息100％地输入图象编码部2307，而是把其50％地输入图象编码部2307。这样，在此情况下，不是进行所谓全帧(30fps)的处理，而是进行15fps的处理。
下面简要说明这样构成的本实施例23的图象声音编码装置的动作。即，在该图象声音编码装置中，编码负荷基准设定部2362根据***计时器2361的时钟输出来调查每单位时间的原声缓冲量2304的变动，根据变动的程度来设定编码负荷基准信息2363。编码负荷评价部2308使用所设定的编码负荷基准信息2363来计算编码负荷评价信息2309，按照该所计算的编码负荷评价信息2309的值，来决定是把原图象信息输入图象编码部2307，还是丢弃原图象信息而中断图象编码部2307的处理，把计算机资源(CPU时间)让给声音编码部2305。这样，当在图象编码部2307中进行原图象信息的编码处理时，并不一定处理全部的原图象信息，而可以进行在对应于状况的比例下的处理。
下面来说明本实施例23的图象声音编码装置针对某个图象声音所进行的编码处理的一个例子的动作。其中，与实施例18相同，图象声音编码处理为这样的控制：在通用计算机中按照操作***的控制，而成为图象编码(编码负荷评价部2308和图象编码部2307的处理)和声音编码(声音编码部2305的处理)的各个任务，当获得CPU时间的分配的各任务执行一连串处理而释放了计算机资源(CPU时间)时，操作***给其他的任务进行CPU时间的分配。实现该图象声音编码装置的通用计算机的基本能力可以低于实现实施例18的编码装置时的。
首先，与实施例18相同，摄象机2301取得图象声音信息，并分解成模拟声音信息和模拟图象信息而输出。接着，声音捕获部2302输入从摄象机2301所输出的模拟声音信息，作为原声信息而输出。声音缓冲部2303存储原声信息，根据存储量来更新原声缓冲量2304。另一方面，图象捕获部2306输入从摄象机2301所输出的模拟图象信息，作为数字原图象信息而输出。
编码负荷评价部2308一旦输入了由图象捕获部2306所输出的原图象信息，则确认此时刻的原声缓冲量2304和编码负荷基准信息2363。在此时刻，由于原声缓冲量2304为10％，降到作为预定基准值的50％，则评价值为100％，而且，由于编码负荷基准信息2363具有初始值“1”，则编码负荷基准信息2363为100％。因此，编码负荷评价部2308把原图象信息的全部帧输入图象编码部2307，图象编码部2307对该原图象信息进行图象编码处理，在编码处理结束的时刻释放CPU时间。
与实施例18中所说明的情况相同，按照CPU的控制，大致与各任务的处理并行地进行，能够进行摄象机2301和实现声音捕获部2302与图象捕获部2306的捕获卡的动作，在图象编码处理中，CPU时间的耗费变大，因此在声音缓冲部2303中原声信息存储到90％。
声音编码部2305按照以前(过去)存储的情况从声音缓冲部2303读出一定量(原声音读出量)的原声信息，从声音缓冲部2303削去该读出的原声信息，更新原声缓冲量2304。接着，声音编码部2305对原声信息进行编码。在本实施例23中，由于上述原声音读出量为最大缓冲量的30％，则按上述那样，原声信息被90％地存储在声音缓冲部2303中，然后，读出其中的30％，把原声缓冲量2304更新为60％，进行原声信息的编码处理，在编码结束的时刻释放CPU时间。监视原声缓冲量2304的编码负荷基准设定部2362识别为：由于原声缓冲量2304为60％，则超过作为既定值的50％。
当处理再次移给图象编码时，编码负荷评价部2308确认该时刻的原声缓冲量2304和编码负荷基准信息2363。在此时刻，原声缓冲量2304为60％，由于为预定的基准值的50％以上，则评价值为0％，即使把图象捕获部2306的“1”与其相乘，编码负荷评价信息2309仍为0％。因此，编码负荷评价部2308丢弃该时刻的原图象信息的全部帧，迅速地释放CPU时间。这样，在该图象编码过程中，原声缓冲量2304不变。
声音编码部2305按照以前(过去)存储的情况从声音缓冲部2303读出一定量(原声音读出量)的原声信息，从声音缓冲部2303削去该读出的原声信息，更新原声缓冲量2304。接着，声音编码部2305对原声信息进行编码。原声音读出量为30％，原声信息被60％地存储在声音缓冲部2303中，然后，读出其中的30％，把原声缓冲量2304更新为30％，进行原声信息的编码处理，在编码结束的时刻释放CPU时间。
监视原声缓冲量2304的编码负荷基准设定部2362识别为：由于在此时刻原声缓冲量2304为30％，则降下作为既定值的50％，与超过上次既定值的情况相配合，原声缓冲量2304的变动为1计数。即进行1计数的计数动作。
通过反复进行该过程，当因原声缓冲量2304的变动所产生的编码负荷基准设定部2362的计数动作到达3计数时，编码负荷基准信息2363把编码负荷基准信息2363从初始值“1”设定为指示15fps的“0.5”。
当处理再次移给图象编码时，编码负荷评价部2308确认该时刻的原声缓冲量2304和编码负荷基准信息2363。在此，由于原声缓冲量2304为30％，则评价值为100％。但是，由于编码负荷基准信息2363为“0.5”，进行相乘运算而使编码负荷基准信息2363为50％。因此，从原图象信息的帧中抽出一半而丢弃，把剩余的帧输入图象编码部2307，进行图象编码处理，在结束的时刻，释放CPU时间。
声音编码部2305按照以前(过去)存储的情况从声音缓冲部2303读出一定量(在本实施例23中为30％)的原声信息，从声音缓冲部2303削去该部分的原声信息，更新原声缓冲量2304。接着，声音编码部2305对原声信息进行编码。在此过程中，在刚才的图象编码的过程中所需要的时间与编码负荷基准信息的再设定前进行比较而为约二分之一，因此，声音被60％地存储在声音缓冲部2303中，然后，读出其中的30％，作为30％，在编码结束的时刻释放CPU时间。
当处理再次移给图象编码时，编码负荷评价部2308确认该时刻的原声缓冲量2304和编码负荷基准信息2363。在此时刻，原声缓冲量2304为30％，降下既定值，而编码负荷基准信息2363为15fps，因此，从原图象信息的帧中抽出一半而丢弃，把剩余的帧输入图象编码部2307，进行图象编码处理，在结束的时刻，释放CPU时间。
在图52中，在连续地从摄象机2301取入图象声音期间，通过按上述那样执行图象编码和声音编码的处理，来执行该取入时的图象声音编码。接着，在图象声音的取入结束之后，编码结束。
图53是表示长时间进行本实施例23的图象声音编码装置的编码时的动作的图。如该图所示的那样，在A区间内，声音缓冲量具有从图54中所看到的那样的较大的变动，在用性能低的计算机来执行实施例18～22时，反复进行图象的编码和使声音优先进行的编码。但是，如上述那样，在此期间完成编码负荷基准信息2363的再设定，由于在B区间中图象编码的负荷的基准为二分之一，在编码进行的程度具有更好的平衡。
这样，根据本实施例23的图象声音编码装置，通过在实施例18的图象声音编码装置上追加***计时器2361和编码负荷基准设定部2362而构成，编码负荷基准设定部2362根据原声缓冲量2304的变动而进行编码负荷基准信息2363的再设定，图象捕获部2306使用编码负荷基准信息2363来取得编码负荷评价信息2309，由此，根据状况来变更原图象信息的编码处理的比例。这样，在能够防止声音因负荷的变动而停止的基础上，还能在计算机能力不足的计算机***中通过工作的软件来对图象声音进行编码的过程中，自动地在该***中设定最佳的图象负荷，由此，就能避免陷入交替进行高品质的图象和低品质的图象的事态中。
在本实施例23中，是在根据状况来进行图象编码处理的停止的实施例18中，根据原声音信息存储量来进行编码负荷基准信息的变更所产生的控制，但是，对于控制帧间预测编码的处理量的实施例19和变更分辨率的实施例20，也可以应用变更编码负荷基准信息的本方法，同样具有与本实施例23的情况相同的效果。
例如，在用于实施例19时，能够使编码负荷基准信息为：当计算运动矢量时，在原声缓冲量为“0”时，设定应进行哪个位数的编码，在原声缓冲量的变动较大的情况下，即使在原声缓冲量为“0”的情况下，也能以设定值的50％来计算运动矢量。这样，通过对应的应用，即使在实施例19中，也能避免陷入交替进行高品质的图象和低品质的图象的事态中。
本实施例23以初始值的编码负荷基准信息来进行实际的编码，通过原声缓冲量的变动的情况，来设定最佳编码负荷基准信息，但是，如果进行设定而求出的编码负荷基准信息保存在硬盘等存储装置中，则在进行下一次编码时，从开始就能以最佳的编码负荷基准信息来进行编码。即，图53所示的A区间这样的不能进行最佳编码的期间仅出现在第一次，而从下一次开始，就能执行在B区间中所示的那样的平衡良好的编码。
(实施例24)
本发明的实施例24的图象声音编码装置是通过编码负荷基准信息的设定适应于在不是高性能的通用计算机等中用软件处理来进行图象声音编码处理的情况，能够向使用者提示该设定的结果。
图54是表示本发明的实施例24的图象声音编码装置的简要结构的图。如图所示，本实施例24的图象声音编码装置由摄象机2401、声音捕获部2402、声音缓冲部2403、声音编码部2405、图象捕获部2406、图象编码部2407、编码负荷评价部2408、***计时器2461、编码负荷基准设定部2462、编码负荷提示部2411和负荷设定用标准图象声音输出部2412所构成。作为装置输出而输出编码声音信息和编码图象信息，这与实施例18相同。而且，编码负荷提示部2411从监视器进行输出。
在该图中，编码负荷提示部2411向图象声音编码装置的使用者提示编码负荷基准设定部2463的设定结果。负荷设定用标准图象声音输出部2412与计算机***的计算机能力配合来设定图象负荷，由此，而输出标准的图象信息和声音信息。本实施例24的图象声音编码装置是在实施例23的图象声音编码装置上追加了编码负荷提示部2411和负荷设定用标准图象声音输出部2412，摄象机2401、声音捕获部2402、声音缓冲部2403、声音编码部2405、图象捕获部2406和图象编码部2407与实施例18的1801～1807相同，并且，***计时器2461和编码负荷基准设定部2462与实施例23相同，因而省略其说明。
下面简要说明这样构成的本实施例24的图象声音编码装置的动作。即，在该图象声音编码装置中，编码负荷基准设定部2462根据***计时器2461的时钟输出来调查每单位时间的原声缓冲量2404的变动，根据变动的程度来设定编码负荷基准信息2463。编码负荷评价部2408使用所设定的编码负荷基准信息2463来计算编码负荷评价信息2409，按照该所计算的编码负荷评价信息2409的值，来决定是把原图象信息输入图象编码部2407，还是丢弃原图象信息而中断图象编码部2407的处理，把计算机资源(CPU时间)让给声音编码部2405。这样，当在图象编码部2407中进行原图象信息的编码处理时，并不一定处理全部的原图象信息，而可以进行在对应于状况的比例下的处理。
在此基础上增加了以下部分：负荷设定用标准图象声音输出部2412根据标准图象声音信息2413，来结合计算机***的计算机能力而设定图象负荷，由此，输出标准的图象信息和声音信息。编码负荷提示部2411向图象声音编码装置的使用者提示编码负荷基准设定信息2463的设定结果。
下面来说明本实施例24的图象声音编码装置针对某个图象声音所进行的编码处理的一个例子的动作。其中，与实施例18相同，图象声音编码处理为这样的控制：在通用计算机中按照操作***的控制，而成为图象编码(编码负荷评价部2408和图象编码部2407的处理)和声音编码(声音编码部2405的处理)的各个任务，当获得CPU时间的分配的各任务执行一连串处理而释放了计算机资源(CPU时间)时，操作***给其他的任务进行CPU时间的分配。实现该图象声音编码装置的通用计算机的基本能力可以低于实现实施例18的编码装置时的通用计算机的基本能力。
首先，负荷设定用标准图象声音输出部2412，在实际的图象信息的编码之前，输出标准图象声音信息2413。与在实施例中取的图象声音信息相同，本实施例24的编码装置对标准图象声音信息2413进行编码，编码负荷基准设定部2462设定编码负荷基准设定信息2463。编码负荷提示部2411通过监视器向使用者提示编码负荷基准设定信息2463的内容，使之了解。
负荷设定用标准图象声音输出部2412把输出的图象信息和声音信息切换为来自摄象机2401的图象信息和声音信息，进行实施例23所示的那样的通常的编码。
在本实施例24中，通过设定编码负荷基准信息，而使用预备的标准的图象声音信息，但是，本发明并不仅限于此。例如，使用者可以与编码的图象相结合而把任意的图象声音信息用于评价。
对于，本实施例24中所使用的标准图象声音信息，如果该图象声音编码装置中的声音编码不管声音信息的内容(有声、无声等)而进行固定的编码处理，就能使用无声的数据作为构成标准图象声音信息的声音。
这样，根据本实施例24的图象声音编码装置，通过在实施例23的图象声音编码装置上，追加负荷设定用标准图象声音输出部2412和编码负荷提示部2411，在实际的编码处理之前，首先对标准的图象声音信息进行编码，由此，进行编码负荷基准信息的设定，并向使用者提示该设定内容，由此，使用者可以在领会了图象品质低下的情况下进行编码处理。即，本实施例24所示的那样的由软件所进行的编码装置能够在各种计算机***上工作。因此，可以在计算机能力高或低的各种环境下工作。
这样，本发明的一个目的是：不管计算机能力的大小，都能通过牺牲图象的品质来防止声音编码的失真，而在本实施例24中，能够向使用者提示图象的品质成为了那一位数的牺牲。由此，使用者能够知道由于计算机***的计算机能力的不足所产生的问题，而采取解决图象品质降低的措施，能够采取提高运行频率或增设主存储器这样的措施。因此，根据本实施例24，在实施例23所示的的效果的基础上，进一步增加了向使用者通知该计算机***中的状况的特别的效果。
本发明并不仅限于上述各实施例，例如，在上述各实施例中，是这样的结构：使声音编码部2405读出存储在声音缓冲部2403中的原声信息，把该读出的原声信息从声音缓冲部2403中消除，然后，对原声信息进行编码处理，而作为编码声音信息输出，但是，也可以是这样的结构：使声音编码部2405读出存储在声音缓冲部2403中的原声信息，对该读出的原声信息进行编码处理，而作为编码声音信息输出，然后，从声音缓冲部2403中消除原声信息。
而且，可以另外设置消除部，在检测到了声音编码部2405读出了存储在声音缓冲部2403中的原声信息之后，来从声音缓冲部2403中消除该读出的原声信息。
另外，可以在本发明的权利要求的范围内进行各种设计变更和修正。
实施例18～24所示的图象声音编码方法，使用记录了能够执行该方法的图象声音编码程序的记录媒体，而在个人计算机和工作站等上，通过执行该程序来实现的。
(实施例25)
本发明的实施例25的图象编码方法，与实施例1相同，根据设定来决定编码参数，提供输入图象数据具有的分辨率，根据该分辨率和所设定的参数来决定其他的参数。
实施例1～4都是要指定帧速率，而在本实施例25中，不指定帧速率，以应成为的高的帧速率来执行编码处理，来得到重放画质高的编码数据。在本实施例25中，提供输入图象数据具有的分辨率，根据该所提供的分辨率来进行编码处理。
图55是表示本发明的实施例25的图象编码装置的构成的方框图。如图所示，本实施例25的图象编码装置由编码装置3001和编码参数决定装置3002构成，编码装置3001包括DCT处理装置3003、量化装置3004、可变长度编码装置3005、比特流生成装置3006、逆量化装置3007、逆DCT处理装置3008和预测图象生成装置3009，编码参数决定装置3002包括运动矢量(MV)检测范围参照表3010。
编码装置3001输入把图象进行了数字化的由一系列静止图象组成的图象数据而作为输入图象数据，根据所设定的编码参数来进行编码处理，输出编码数据。把构成输入图象数据的各个静止图象数据称为帧图象。编码参数由下述的编码参数决定装置3002所提供，包括表示编码类型的参数和表示运动矢量的检测范围的参数。表示编码类型的参数代表帧内编码处理或顺方向预测编码处理，编码装置3001根据该参数进行帧内编码处理或顺方向预测编码处理。在由表示运动矢量检测范围的参数所指示的范围内检测出用于顺方向预测编码的运动矢量。
编码装置3001内部的DCT处理装置3003、量化装置3004、可变长度编码装置3005、比特流生成装置3006、逆量化装置3007和逆DCT处理装置3008与实施例1中的103～108相同，而省略其说明。
预测图象生成装置3009输入逆DCT处理装置3008输出的逆DCT变换数据，在该逆DCT变换数据和输入图象数据之间进行运动矢量的检测处理，然后，生成预测图象而作为预测图象数据输出。按上述那样，在由表示运动矢量的检测范围的参数所指示的范围内进行运动矢量的检测。在进行使用预测图象的帧间编码处理的情况下，通过把该预测图象数据和输入图象数据的差分数据输入DCT处理装置3003，而在编码装置3001中进行顺方向预测编码。
在本实施例25的图象编码装置中，编码参数决定装置3002使用内部包括的MV检测范围参照表3010而根据具有输入图象数据的分辨率和所指定的编码参数中决定MV检测范围，包括表示该决定的MV检测范围的参数，把上述编码参数输出给编码装置3001。
本实施例25的图象编码装置，与实施例1相同，是这样实现的：在个人计算机(PC)中通过处理控制装置(CPU)的控制来执行图象编码程序，在编码处理的执行中，是在实施例1所示的5个条件的基础上，再添加了以下2个条件。
(6)进行在顺方向编码处理的情况下，如果运动矢量的检测范围为“小的”，则处理时间为进行帧内编码处理时的6倍。
(7)进行在顺方向编码处理的情况下，如果运动矢量的检测范围为“大的”，则处理时间为检测范围是“小的”时的4倍。
其中，装在本装置中的CPU的工作频率为100MHz，在编码开始时所指定的帧速率为24帧/秒，作为编码类型的组合的编码方式使用在每2帧中重复“I”“P”的方式2“IP”。其中，用“I”来代表帧内编码，用“P”来代表顺方向预测编码。
下面说明在上述那样的设定下上述结构的本实施例25的图象编码装置的动作。首先，作为编码对象的图象被进行数字化，而作为一系列的帧图象被输入该编码装置的编码装置3001中。图56是表示编码装置3001的动作的流程图。下面根据图56来说明编码装置3001的动作。编码参数决定装置3002对于编码开始时的最初的帧图象，必然向编码装置3001指示帧内编码。
在步骤D01中，判断是否为从编码参数决定装置3002所输入的编码参数，在帧内编码被指示的情况下，执行步骤D02以后的处理，在顺方向预测编码被指示的情况下，执行步骤D07以后的处理。
在执行步骤D02以后的处理时，与实施例1中的步骤A02～步骤A05相同地执行步骤D02～步骤D05。在步骤D06中，判断编码是否结束，判断为编码结束，则处理结束。另一方面，如果编码未结束，则返回上述步骤D01，执行步骤D01以后的判断。
对此，通过步骤D01的判断，在执行步骤D07以后时为以下这样：首先，在步骤D07中，逆量化装置3007把以前已经输出给帧图象的量化数据进行逆量化，输出逆量化数据。接着，在步骤D08中，逆DCT处理装置3008对逆量化数据在每个DCT处理装置3003分割出的8像素×8像素的方块中，执行作为二维离散余弦变换的逆处理的二维反离散余弦变换，输出逆DCT变换数据。在步骤D09中，预测图象生成装置3009根据逆DCT变换数据生成预测图象(未补偿)，对该生成的预测图象和输入图象数据在由编码参数所指示的范围内进行运动矢量检测，使用该运动矢量来生成运动补偿的预测图象并输出。
在步骤D10中，DCT处理装置3003根据分别所指示的分辨率而把所输入的帧图象和预测图象生成装置3009输出的预测图象分割成8像素×8像素，在每个分割的方块中，通过从所输入的帧图象的数据中扣除预测图象的数据而得到差分数据。接着，对该差分数据在每个分割的方块中进行二维离散余弦变换，输出DCT变换数据。与上述步骤D03至D06相同地执行DCT变换数据被输出后的步骤D11～D14。
这样，在编码装置3001中，在每个所输入的帧图象中，通过步骤D01的判定，来进行步骤D02～D06或步骤D07～D14的处理。步骤D02～D06是帧内编码，步骤D07～D14是根据使用针对之前的帧图象的编码结果的预测图象来进行顺方向编码处理的步骤，在步骤D01的判定中，按照所输入的编码参数来实现该切换。
(表15)是表示编码参数决定装置3002内含的MV检测范围参照表3010的表。图57是表示编码参数决定装置3002的动作流程图。下面参照表15按照图57的流程来说明决定编码参数并输出给编码装置3001的编码参数决定装置3002的动作。
【表15】
                                       输入   输出
  分辨率   编码码型   MV检出范围
  160×120   IP   小
  80×64   IP   大
(表15)所示的MV检测范围参照表3010是在编码之前预先制作的。表的制作是在考虑了下述的条件的基础上，根据例如经验的知识，或者使用实验编码和模拟等结果来进行的。(表15)的“输入”栏表示具有输入图象数据的分辨率和所指示的参数，“输出”栏表示根据输入所决定的参数。如该表所示的那样，在本实施例25中，根据输入图象数据的分辨率和编码参数来决定MV检测范围。编码参数被固定为“IP”，参数“IP”代表每2帧中重复进行帧内编码(I)和顺方向预测编码(P)。作为输入图象的分辨率，被指示为“160×120”或“80×60”。
参照表的制作是考虑的以下条件而进行的。第一，当运动矢量检测范围变大时，处理量变多；第二，在输入图象具有的分辨率高的情况下，与低分辨率时相比，处理量变多。
考虑到这些条件，对于所指定的输入图象的分辨率，在尽可能大的范围内进行检测，制作MV检测范围参照表3010，以得到高压缩率的编码数据。
首先，在图57的流程的步骤E01中，编码参数决定装置3002参照MV检测范围参照表3010而从所指定的输入图象的分辨率和编码参数(IP)来决定预测编码中的运动矢量的检测范围。
接着，在步骤E02中，编码参数决定装置3002，在向编码装置3001指示由步骤E01所决定的MV检测范围的同时，指示应当用于作为处理对象的帧图象的编码类型(I或P)，以能够实现所指定的编码参数。
然后，在步骤E03中，判定编码是否结束，如果判定为编码结束，则处理结束。另一方面，如果没有结束，则返回步骤E02，由此，重复进行对应于编码装置3001的编码参数输出。
通过编码装置3001和编码参数决定装置3002的上述这样的动作，来执行编码，(表16)是表示本实施例25的图象编码装置中进行编码的结果的表。
【表16】
                             输入   输出   编码结果
  分辨率   编码码型   MV检出范围   帧速率
  160×120   IP   小   27.4
  80×64   IP   大   27.4
(表16)对应于所指示的条件来表示本实施例25的编码装置中所决定的MV检测范围(所决定的参数)和作为使用这些参数的编码处理的结果而得到的帧速率(编码结果)。对于(表16)所示的编码结果的数值，在编码参数“IP”中，在分辨率为160×120的情况下，能够以27.4帧/秒进行处理，由此，来算出其他情况下的帧速率。在编码参数用IP表示的分辨率为80×60并且运动矢量的检测范围为“大”的情况下，由于检测范围大时的处理时间需要检测范围小时的4倍的处理时间，并且分辨率为1/4的情况下能够以约1/4的时间来进行处理，因此能够算出：帧速率为约27.4帧/秒。
为了进行比较，在(表17)中表示出了使用现有技术的图象编码装置来进行编码时的动作结果。
【表17】
                             输入   输出   编码结果
  分辨率   编码码型   MV检出范围   帧速率
  160×120   IP   大   6.9
  160×120   IP   小   27.4
  80×64   IP   大   27.4
  80×64   IP   小   109.7
在(表17)中，进行与(表16)时相同的计算，在编码参数“IP”中，在分辨率为160×120并且检测范围为“小”的情况下，能够以27.4帧/秒进行处理，由此，来算出其他情况下的帧速率。
在现有技术中的图象编码装置中，不考虑作为编码结果而得到的帧速率，来决定运动矢量检测范围。这样，多半难于把作为编码处理的结果而得到的帧速率设定为足够高。与其相比，在本实施例25的图象编码装置中，考虑了作为编码结果的帧速率，根据所指定的编码类型(码型)和所输入的图象具有的分辨率来决定运动矢量的检测范围，由此，象表16和表17的对比所表示的那样，能够进行设定运动矢量的检测范围的编码，以便于实现尽可能高的帧速率，同时，得到更高压缩率的编码数据。
这样，根据本实施例25的图象编码装置，通过设置编码装置3001和包括了运动矢量检测范围参照表3010的编码参数决定装置3002，编码参数决定装置3002根据所指定的编码类型和所输入的图象具有的分辨率来决定运动矢量的检测范围，把编码参数输出给编码装置3001，编码装置3001根据该编码参数来进行编码处理，因此，就能够进行实现所要求的条件并且得到更高压缩率的编码数据的编码。
在本实施例25的图象编码装置中，是根据所指定的编码参数和输入图象具有的分辨率来决定运动矢量的检测范围，但是，也可以通过使用同样的参照表，来根据输入图象具有的分辨率，来决定滤除的有无，而能够在所设定的条件下进行得到更高画质的编码结果的处理。
对于实施例25所示的的图象编码方法，与实施例1相同，使用记录了能够执行该方法的图象声音编码程序的记录媒体，在个人计算机和工作站等中，通过执行该程序来实现。
对于实施例1～25的任一个，作为记录相应编码程序的媒体，可以使用软盘、CD-ROM、磁光盘、相变型光盘等，这样的能够记录相应的编码程序并能够由个人计算机等通用计算机读出执行的媒体。而且，也可以采用这样的使用形式：通过网络来读出由网络进行连接的存储在其他的计算机管理的存储装置中的相应程序，在相应的进行读出的计算机中执行上述程序。
【发明的效果】
根据本发明方案1的图象编码方法，执行图象编码步骤和编码参数决定步骤；所述图象编码步骤对于把图象数字化了的由多个静止图象信息构成的原图象信息，按照后述的编码参数对上述的一个或多个静止图象信息进行编码；所述编码参数决定步骤根据原图象信息所具有的分辨度、重放由编码所得到的编码数据时要求的帧速率、表示执行上述图象编码步骤的编码装置的处理能力的处理性能或影响上述编码步骤中的编码处理的处理量的一个、或多个编码参数中的任一个以上参数，来决定一个以上的编码参数。因此，通过在所提供的帧速率中，设定能够得到高分辨率或高压缩率的编码结果的编码参数，由此，就能灵活利用设备资源而得到良好的编码结果。
根据本发明方案2的图象编码方法，在本发明方案1的方法中，还执行处理能力判断步骤，所述处理能力判断步骤判断执行相应图象编码方法的上述图象编码步骤的编码装置的处理能力，并输出判断结果。因此，就能得到适合于处理能力的良好的编码结果。
根据本发明方案3的图象编码方法，在本发明方案1或2的方法中，上述编码参数包含对上述原图象信息进行的编码处理时的分辨度、表示帧内编码或预测编码的编码类型或检出用于上述预测编码的动态电平时的检出范围中的一个以上参数。因此，能够根据设定来决定这些参数，灵活利用设备资源，而得到良好的编码结果。
根据本发明方案4的图象编码方法，在本发明方案3的方法中，在上述处理能力判断步骤中，根据相应图象编码方法具有的控制装置的种类进行上述判断。因此，通过判断该编码装置的硬件能力，而根据其能力来设定编码参数，由此，就能灵活利用设备资源而得到良好的编码结果。
根据本发明方案5的图象编码方法，在本发明方案3的方法中，在上述处理能力判断步骤中，根据上述编码步骤中的编码处理所需时间进行上述判断。因此，通过表示上述所需要的时间，判断该编码装置的硬件能力，而根据其能力来设定编码参数，由此，就能灵活利用设备资源而得到良好的编码结果。
根据本发明方案6的图象编码方法，在本发明方案3的方法中，在上述处理能力判断步骤中，执行图象缓冲存储步骤和帧速率控制步骤；所述图象缓冲存储步骤暂时存储所输入的上述原图象信息，在该存储时，顺序保存构成上述原图象信息的一连串的静止图象信息的同时，在上述编码步骤中读出，再按顺序废弃进行过上述编码处理的静止图象信息；所述帧速率控制步骤控制在根据所送来的上述帧速率所决定的一定的帧速率下进行上述图象缓冲存储步骤中的一连串的静止图象信息的保存；根据上述图象缓冲存储步骤中暂时存储的上述原图象信息的存储量进行上述判断。因此，通过表示上述存储量，判断该编码装置的硬件能力，而根据其能力来设定编码参数，由此，就能灵活利用设备资源而得到良好的编码结果。
根据本发明方案7的声音编码方法，执行如下步骤：存储编码处理中所用的数值即设定频率fs和变换常数n的存储步骤；输入编码对象即声音的声音输入步骤；用根据上述存储的设定频率fs决定的取样频率作成取样声音数据的输入声音取样步骤；把在用上述设定频率fs作为取样频率的情况下所得到的取样声音数据的个数取为m个，把根据上述变换常数n决定的数取为m′，并输出包含m′个的取样声音数据的由m个声音数据构成的变换声音数据的声音数据变换步骤；把上述变换声音数据进行频带分割而得到M个频带信号的频带分割步骤；把从上述存储的设定频率fs和变换常数n所得到的频率fs/2n作为限制频率，并仅把编码位分配给上述频带信号中的低于限制频率的频带信号的编码位分配步骤；根据上述分配的编码位进行量化的量化步骤；把上述量化了的数据作为编码数据输出的编码步骤；以及记录所输出的上述编码数据的编码数据记录步骤。因此，通过变换常数n的设定，就能减轻处理负担，进行声音取入时的实时编码处理，来得到适合于该编码装置的性能的编码结果。
根据本发明方案8的声音编码方法，在本发明方案7的方法中，在上述输入声音取样步骤中，由把上述存储的设定频率fs作为取样频率对上述输入的声音进行取样处理来作成m个取样声音数据；在上述声音数据变换步骤中，从上述m个取样声音数据中，每隔(n-1)个数据提取一个取样声音数据，在2个邻接的上述所提取出的取样声音数据之间***(n-1)个声音数据，并变换为m个变换声音数据。因此，通过得到能够减轻处理负担的变换声音数据，就能进行声音取入时的实时编码处理，来得到适合于该编码装置的性能的编码结果。
根据本发明方案9的声音编码方法，在本发明方案8的方法中，在上述声音变换步骤中，把上述提取出的取样声音数据分别作成每n个数据连接起来的变换声音数据。由此，就能容易地得到上述的能够减轻处理负担的变换声音数据。
根据本发明方案10的声音编码方法，在本发明方案7的方法中，在上述输入声音取样步骤中，由把上述存储的设定频率fs和变换常数n得到的频率fs/n作为取样频率对上述输入的声音进行取样处理来作成m/n个取样声音数据；在上述声音数据变换步骤中，根据上述取样声音数据，在2个邻接的上述所提取出的取样声音数据之间***(n-1)个声音数据，并变换为m个变换声音数据。因此，通过变换常数的设定来控制声音输入时的取样频率，由此，进行声音取入时的实时编码处理，而得到适合于该编码装置的性能的音质的编码结果，在此基础上，还能够通过取样数据量减少，来谋求用于数据暂时存储的缓冲器使用量的减少。
根据本发明方案11的声音编码方法，在本发明方案10的方法中，在上述声音变换步骤中，把上述m/n个提取出的取样声音数据分别作成每n个数据连接起来的变换声音数据。由此，就能容易地得到上述的能够减轻处理负担的变换声音数据。
根据本发明方案12的声音编码方法，在本发明方案7至11任一个方法中，执行声音缓冲存储步骤和输入缓冲器监视步骤；所述声音缓冲存储步骤把上述取样声音数据暂时保持在输入缓冲器内；所述输入缓冲器监视步骤检查上述输入缓冲器的数据量，再把它与预先设定的值相比较，根据上述比较的结果变更上述寄存器内存储的上述变换常数n的值；在上述声音数据变换步骤中，由上述输入缓冲器读出取样声音数据，并对它进行上述变换。因此，通过把暂时存储的数据量作为指标，判断该时刻的该编码装置的处理能力，根据其结果来变更变换常数n的数值，由此，就能适应于该装置处理能力的变动，来进行声音取入时的实时编码处理。
根据本发明方案13的声音编码方法，在本发明方案7至11任一个方法中，执行输入缓冲器监视步骤，所述输入缓冲器监视步骤检查上述编码步骤中输出的每单位时间的编码数据量，再把它与预先设定的值相比较，根据上述比较的结果变更上述寄存器内存储的上述变换常数n的值。因此，通过把编码数据量作为指标，判断该时刻的该编码装置的处理能力，根据其结果来变更变换常数n的数值，由此，就能适应于该装置处理能力的变动，来进行声音取入时的实时编码处理。
根据本发明方案14的声音编码方法，执行如下步骤：存储上述编码所用的控制常数的控制常数存储步骤；对输入声音进行取样处理并输出取样数据的取样步骤；对上述取样步骤所得到的取样数据进行频带分割并输出频带信号数据的频带分割步骤；对上述频带分割步骤得到的频带信号数据进行编码位分配的编码位分配步骤；根据上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化步骤；根据上述量化步骤所得到的量化值输出编码数据的编码步骤；根据上述存储的控制常数控制上述频带分割步骤、上述编码位分配步骤、上述量化步骤和上述编码步骤中的数据处理的编码处理控制步骤。因此，通过控制常数的设定，就能减轻处理负担，进行声音取入时的实时编码处理，而得到适合于该编码装置的性能的音质的编码结果。
根据本发明方案15的声音编码方法，在本发明方案14的方法中，在上述控制常数存储步骤中，把单位时间判定常数k作为上述控制常数存储在单位时间判定常数寄存器内；上述编码处理控制步骤把上述频带分割步骤的中的一次频带分割内作为对象的取样数据数作为p，把相当于p个取样数据的时间作为单位期间，根据上述存储的单位期间判定常数判定相当于上述输出的取样数据的每p个数据的单位期间是编码对象期间还是编码对象外期间；仅当上述单位期间被判定为上述编码对象期间时，才上述频带分割步骤中控制输出该单位期间的取样数据；当上述单位期间被判定为上述编码外期间时，在上述编码步骤中输出预先存储的固定的编码数据作为编码数据。因此，对于在每对象期间分隔开的取样数据，仅对编码处理对象期间的内容进行编码处理，其他的内容不进行编码处理，而使用固定的编码数据，由此，就能减轻处理负担，进行声音取入时的实时编码处理，而得到适合于该编码装置的性能的音质的编码结果。
根据本发明方案16的声音编码方法，在本发明方案15的方法中，在上述判定控制步骤中，当第i单位期间取作ti，由上述存储的单位期间判定常数k和任意整数n构成的算式成立时，把上述单位期间ti判定为是上述编码对象期间。因此，就能够根据单位期间判定常数k的设定来确定上述编码对象期间，来谋求处理负担的减轻。
根据本发明方案17的声音编码方法，在本发明方案14的方法中，在上述控制常数存储步骤中，把运算处理判定常数q作为上述控制常数存储在运算处理判定常数寄存器内；上述编码处理控制步骤是根据上述频带分割步骤内所包含的上述存储的运算处理判定常数q控制上述频带分割步骤中的运算处理中断的运算处理中止步骤。因此，通过根据运算处理判定常数q的设定而省略频带分割步骤中的运算处理的一部分，就能谋求处理负担的减轻。
根据本发明方案18的声音编码方法，在本发明方案17的方法中，在上述运算处理中止步骤中，控制上述频带分割步骤中的基本低通滤波器的运算处理随该滤波器的两端步骤的区分而中断。由此，就能省略上述运算处理，而谋求处理负担的减轻。
根据本发明方案19的声音编码方法，在本发明方案14的方法中，在上述控制常数存储步骤中，把频带选择常数r作为上述控制常数存储在频带选择常数寄存器内；上述编码处理控制步骤是根据上述频带分割步骤输出的频带信号数据中的上述存储的频带选择常数r仅对所选择出的数据控制执行上述编码位分配步骤和上述量化步骤的频带间剔步骤。因此，通过根据频带选择常数r的设定，对于频带信号数据的一部分，省略后段的处理，就能谋求处理负担的减轻。
根据本发明方案20的声音编码方法，在本发明方案19的方法中，在上述频带间剔步骤中，从上述频带分割步骤所得到的M个频带信号数据输出中选择每r个上述存储的频带选择常数的频带信号数据。由此，就能执行上述的频带信号数据的选择，而谋求处理负担的减轻。
根据本发明方案21的声音编码方法，在本发明方案14至20中的任一个方法中，执行处理状况监视步骤，先取得声音编码中的数据处理状况，再根据该取得的状况变更上述存储的上述控制常数。因此，通过把数据处理的状况作为指标，判断该时刻的该编码装置的处理能力，根据其结果来变更控制常数的数值，由此，就能适应于该装置处理能力的变动，来进行声音取入时的实时编码处理。
根据本发明方案22的声音编码方法，在本发明方案21的方法中，上述在处理状况监视步骤执行声音缓冲存储步骤和输入监视步骤；所述声音缓冲存储步骤把取样数据暂时存储在输入缓冲器内；所述输入监视步骤把上述输入缓冲器内保持的数据量与预先设定值进行比较，再根据上述比较结果进行上述控制常数变更。由此，通过把暂时存储量作为指标，判断该时刻的该编码装置的处理能力，根据其结果来变更变换常数n的数值，由此，就能适应于该装置处理能力的变动，来进行声音取入时的实时编码处理。
根据本发明方案23的声音编码方法，在本发明方案21的方法中，上述处理状况监视步骤是编码监视步骤，把上述编码步骤中的每单位时间输出的上述编码数据量与预先设定值进行比较，再根据上述比较结果进行上述控制常数变更。由此，通过把编码数据量作为指标，判断该时刻的该编码装置的处理能力，根据其结果来变更变换常数n的数值，由此，就能适应于该装置处理能力的变动，来进行声音取入时的实时编码处理。
根据本发明方案24的声音编码方法，执行如下步骤：对输入声音进行取样处理并输出取样数据的取样步骤；对上述取样步骤所得到的取样数据进行频带分割并输出频带信号数据的频带分割步骤；对上述频带分割步骤得到的频带信号数据进行编码位分配的编码位分配步骤；用心理听觉分析替代控制方式控制上述编码位分配步骤中的分配的编码位分配控制步骤；根据上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化步骤；根据上述量化步骤所得到的量化值输出编码数据的编码步骤。由此，进行简化心理听觉分析的位分配控制，就能在不会大大增大处理负担的情况下进行得到适应于人类的听觉特性的高品质编码结果的编码处理。
根据本发明方案25的声音编码方法，在本发明方案24的方法中，上述编码位分配控制步骤是顺序位分配步骤，根据用心理听觉分析替代方式预定的位分配顺序对上述频带分割步骤所得到的频带信号数据控制进行编码位分配。由此，在每个频带中，用单纯的算法来分配位，进行简化的心理听觉分析，而得到存在若干处理负担增大时的重放音质良好的编码数据。
根据本发明方案26的声音编码方法，在本发明方案24的方法中，上述编码位分配控制步骤是频带输出适应位分配步骤，对上述频带分割步骤所得到的频带信号数据，控制进行基于用心理听觉分析替代方式预定的对各频带的加权和各频带信号数据具有的电平的编码位分配。由此，根据每个频带的分配和数据本身的性质来分配位，进行简化的心理听觉分析，而得到存在若干处理负担增大时的重放音质良好的编码数据。
根据本发明方案27的声音编码方法，在本发明方案24的方法中，上述编码位分配控制步骤是改良型频带输出适应位分配步骤，对上述频带分割步骤所得到的频带信号数据，控制进行基于用心理听觉分析替代方式预定的对各频带的加权、对各频带的每个频带的位分配数的加权和各频带信号具有的电平的编码位分配。由此，根据每个频带的分配和数据本身的性质，而一边考虑全部分配的位配置一边分配位，进行简化的心理听觉分析，而得到存在若干处理负担增大时的重放音质良好的编码数据。
根据本发明方案28的声音编码方法，在本发明方案24的方法中，上述编码位分配控制步骤是最小闻域比较步骤，对上述频带分割步骤所得到的频带信号数据，进行每一个频带信号数据与最小闻域值的比较，上述的比较判定未达到最小闻域的频带信号数据中不进行位分配；控制增加其他频带的位分配。由此，考虑最小闻阈来分配位，进行简化的心理听觉分析，而得到存在若干处理负担增大时的重放音质良好的编码数据。
根据本发明方案29的图象声音编码方法，在对图象和声音进行编码时，用通用计算机执行上述两种编码处理中所包含的处理过程的一部分或全部，执行如下步骤：在输入由表示每单位时间的静止图象的多个静止图象信息构成的原图象信息和表示声音的原声音信息构成的图象声音信息时，暂时存储上述原声音信息的声音缓冲存储步骤；读出在上述声音缓冲存储步骤中存储的原声音信息，再对该读出的上述原声音信息进行编码处理并输出编码声音信息的声音编码步骤；用表示图象编码的负荷程度的编码负荷标准信息来判断相应图象声音编码处理的处理能力，再根据其判断结果控制对后述的图象编码中的原图象信息的编码的编码负荷评价步骤；以及根据上述编码负荷评价步骤中的控制，对构成所输入的上述原图象信息的静止图象信息进行编码处理并输出编码编码图象信息的图象编码步骤。因此，就能适应于进行该图象声音编码的编码装置的处理能力，而控制图象编码，进行图象声音取入时的实时编码处理，而得到重放时没有声音失真的良好的编码结果。
根据本发明方案30的图象声音编码方法，在本发明方案29的方法中，上述编码负荷评价步骤是在输入构成上述原图象信息的静止图象信息时根据上述声音缓冲存储步骤中存储的原声音信息的总量和上述编码负荷标准信息求出编码负荷评价信息，再把上述编码负荷评价信息与预先设定的负荷限度进行比较，在上述编码负荷评价信息未达到上述负荷限度的情况下，输出上述静止图象信息，在上述编码负荷评价信息已达到上述负荷限度的情况下，废弃上述静止图象信息。因此，通过把暂时存储的声音数据的量作为指标，决定是否执行对于图象数据的编码，就能进行图象声音取入时的实时编码处理，而得到重放时没有声音失真的良好的编码结果。
根据本发明方案31的图象声音编码方法，在本发明方案29的方法中，在输入模拟图象信息并输出后述的图象分辨度信息时，执行图象捕获步骤，该步骤把上述模拟图象信息变换为由具有按照上述分辨度信息的分辨度的多个静正图象信息构成的原图象信息，该原图象信息由多个离散的数字像素信息组成，再在上述图象编码步骤进行处理并输出；上述编码负荷评价步骤根据上述声音缓冲存储步骤中存储的原声音信息的总量和上述编码负荷标准信息求出编码负荷评价信息，再根据编码负荷评价信息求出表示上述用于图象编码的图象的分辨度的分辨度信息，然后输出上述图象分辨度；上述图象编码步骤是在输出上述图象分辨度信息时根据上述图象分辨度信息对上述静止图象信息进行编码处理，并输出编码图象信息。因此，通过把暂时存储的声音数据的量作为指标，决定对图象数据进行编码中的分辨率，就能进行图象声音取入时的实时编码处理，而得到重放时没有声音失真的良好的编码结果，还不会随之发生图象的中断。
根据本发明方案32的图象声音编码方法，在本发明方案29的方法中，在上述编码负荷评价步骤中，用上述图象编码步骤处理并输出编码负荷评价信息；在上述图象编码步骤中，对于上述静止图象信息，进行仅对用上述输出的编码负荷评价信息计算的处理量的编码处理，并作为编码图象信息输出。因此，通过把暂时存储的声音数据的量作为指标，决定对图象数据进行编码中的执行比例，就能进行图象声音取入时的实时编码处理，而得到重放时没有声音失真的良好的编码结果，还能够不会随之发生图象的中断。
根据本发明方案33的图象声音编码方法，在本发明方案29至32中的任一个方法中，在上述声音编码步骤中，读出在上述声音缓冲步骤中所存储的原声音信息，计算该读出的上述原声音信息的总量并作为处理结束声音信息量输出；在上述编码负荷评价步骤中，根据经过时间和上述原声音信息的时间的输入量来求出原声音输入量，并求出该原声音输入量和上述处理结束声音信息量的差即预测声音缓冲存储量，再用上述预测声音缓冲存储量求出上述编码负荷评价信息。因此，通过把预测缓冲量作为指标来取代暂时存储的声音数据的量，控制对图象数据的处理，就能进行图象声音取入时的实时编码处理，而得到重放时没有声音失真的良好的编码结果，还能够在不能或难于取得暂时存储的声音数据量的情况下进行上述处理。
根据本发明方案34的图象声音编码方法，在本发明方案29至32中的任一个方法中，在上述编码负荷评价步骤中，在上述在输入了上述静止图象时，根据经过时间和上述原声音信息的时间的输入量来求出原声音输入量，并根据上述声音编码步骤中输出的编码信息的总量求出处理结束声音信息量，进一步在求出上述求出的原声音输入量与上述求出的处理结束声音信息量的差即预测声音缓冲存储量之后，用上述预测声音缓冲存储量求出上述编码负荷评价信息。因此，通过把预测缓冲量作为指标来取代暂时存储的声音数据的量，控制对图象数据的处理，就能进行图象声音取入时的实时编码处理，而得到重放时没有声音失真的良好的编码结果，还能够在不能或难于进行暂时存储的声音数据量的取得和来自编码步骤的处理量的取得的情况下进行上述处理。
根据本发明方案35的图象声音编码方法，在本发明方案29至34中的任一个方法中，监视在上述编码负荷评价步骤中的上述判断结果的变动，根据上述的变动来设定上述编码负荷基准信息。因此，通过控制对图象的编码处理，就能进行图象声音取入时的实时编码处理，而得到重放时没有声音失真的良好的编码结果，在此基础上，通过监视用于控制中的信息的变动，根据该变动来设定控制的基准，还能抑制重放图象画质的急剧变动。
根据本发明方案36的声音编码装置，设置有图象编码装置和编码参数决定装置；所述图象编码装置对于把图象数字化了的由多个静止图象信息构成的原图象信息，按照后述的编码参数对上述的一个或多个静止图象信息进行编码；所述编码参数决定装置把一个以上的分辨度作为一个编码参数，把包含帧内编码、顺向预测编码、逆向预测编码和双向预测编码的各种类型的编码类型中的一种以上的编码类型作为其他编码参数，并根据所送来的帧速率决定用来决定上述编码装置的处理量的编码参数。因此，通过在所提供的帧速率中设定能够得到高分辨率或高压缩率的编码结果的编码参数，由此，就能灵活利用设备资源而得到良好的编码结果。
根据本发明方案37的声音编码装置，设置有：存储编码处理中所用的数值即设定频率fs和变换常数n的寄存器；输入编码对象即声音的声音输入装置；用根据上述存储的设定频率fs决定的取样频率作成取样声音数据的输入声音取样装置；把在用上述设定频率fs作为取样频率的情况下所得到的取样声音数据的个数取为m个，把根据上述变换常数n决定的数取为m′，并输出包含m′个取样声音数据的由m个声音数据构成的变换声音数据的声音数据变换装置；把上述变换声音数据进行频带分割而得到M个频带信号的频带分割装置；把从上述存储的设定频率fs和变换常数n所得到的频率fs/2n作为限制频率，并仅把编码位分配给上述频带信号中的低于限制频率的频带信号的编码位分配装置；根据上述分配的编码位进行量化的量化装置；把上述量化了的数据作为编码数据输出的编码装置；以及记录所输出的上述编码数据的编码数据记录装置。因此，通过变换常数n的设定，就能减轻处理负担，进行声音取入时的实时编码处理，来得到适合于该编码装置的性能的编码结果。
根据本发明方案38的声音编码装置，执行如下装置：存储上述编码所用的控制常数的控制常数存储装置；对输入声音进行取样处理并输出取样数据的取样装置；对上述取样装置所得到的取样数据进行频带分割并输出频带信号数据的频带分割装置；对上述频带分割装置得到的频带信号数据进行编码位分配的编码位分配装置；根据上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化装置；根据上述量化装置所得到的量化值输出编码数据的编码装置；根据上述存储的控制常数控制上述频带分割装置、上述编码位分配装置、上述量化装置和上述编码装置中的数据处理的编码处理控制装置。因此，通过控制常数的设定，就能减轻处理负担，进行声音取入时的实时编码处理，而得到适合于该编码装置的性能的音质的编码结果。
根据本发明方案39的声音编码装置，设置有：对输入声音进行取样处理并输出取样数据的取样装置；对上述取样装置所得到的取样数据进行频带分割并输出频带信号数据的频带分割装置；对上述频带分割装置得到的频带信号数据进行编码位分配的编码位分配装置；用心理听觉分析替代控制方式控制上述编码位分配装置中的分配的编码位分配控制装置；根据上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化装置；根据上述量化装置所得到的量化值输出编码数据的编码装置；以及根据上述存储的控制常数控制上述频带分割装置、编码位分配装置、上述量化装置和上述编码装置中的数据处理的编码处理控制装置。因此，进行简化心理听觉分析的位分配控制，就能在不会大大增大处理负担的情况下进行得到适应于人类的听觉特性的高品质编码结果的编码处理。
根据本发明方案40的图象声音编码装置，在对图象和声音进行编码时，用通用计算机执行上述两种编码处理中所包含的处理过程的一部分或全部，设置有：在输入由表示每单位时间的静止图象的多个静止图象信息构成的原图象信息和表示声音的原声音信息构成的图象声音信息时，暂时存储上述原声音信息的声音缓冲存储装置；读出在上述声音缓冲存储装置中存储的原声音信息，再对该读出的上述原声音信息进行编码处理并输出编码声音信息的声音编码装置；用表示图象编码的负荷程度的编码负荷标准信息来判断相应图象声音编码处理的处理能力，再根据其判断结果控制对后述的图象编码中的原图象信息的编码的编码负荷评价装置；以及根据上述编码负荷评价装置中的控制，在输入了构成上述原图象信息的静止图象信息时，对上述静止图象信息进行编码处理并输出编码编码图象信息的图象编码装置。因此，就能适应于进行该图象声音编码的编码装置的处理能力，而控制图象编码，进行图象声音取入时的实时编码处理，而得到重放时没有声音失真的良好的编码结果。
根据本发明方案41的图象编码程序记录媒体，记录了执行图象编码步骤和编码参数决定步骤的编码程序；所述图象编码步骤对于把图象数字化了的由多个静止图象信息构成的原图象信息，按照后述的编码参数对上述的一个或多个静止图象信息进行编码；所述编码参数决定步骤把一个以上的分辨度作为一个编码参数，把包含帧内编码、顺向预测编码、逆向预测编码和双向预测编码的各种类型的编码类型中的一种以上的编码类型作为其他编码参数，并根据所送来的帧速率决定用来决定上述编码步骤的处理量的编码参数。因此，通过在个人计算机等通用计算机中执行该编码程序，而在所提供的帧速率中，设定能够得到高分辨率或高压缩率的编码结果的编码参数，由此，就能灵活利用设备资源而得到良好的编码结果。
根据本发明方案42的图象编码程序记录媒体，记录了执行如下步骤的编码程序：存储编码处理中所用的数值即设定频率fs和变换常数n的存储步骤；输入编码对象即声音的声音输入步骤；用根据上述存储的设定频率fs决定的取样频率作成取样声音数据的输入声音取样步骤；把在用上述设定频率fs作为取样频率的情况下所得到的取样声音数据的个数取为m个，把根据上述变换常数n决定的数取为m′，m≥m′，并输出包含m′个的取样声音数据的由m个声音数据构成的变换声音数据的声音数据变换步骤；把上述变换声音数据进行频带分割而得到M个频带信号的频带分割步骤；把从上述存储的设定频率fs和变换常数n所得到的频率fs/2n作为限制频率，并仅把编码位分配给上述频带信号中的低于限制频率的频带信号的编码位分配步骤；根据上述分配的编码位进行量化的量化步骤；把上述量化了的数据作为编码数据输出的编码步骤；以及记录所输出的上述编码数据的编码数据记录步骤。因此，通过在个人计算机等通用计算机中执行该编码程序，通过变换常数n的设定，就能减轻处理负担，进行声音取入时的实时编码处理，来得到适合于该编码装置的性能的编码结果。
根据本发明方案43的图象编码程序记录媒体，记录了执行如下步骤的编码程序：存储上述编码所用的控制常数的控制常数存储步骤；对输入声音进行取样处理并输出取样数据的取样步骤；对上述取样步骤所得到的取样数据进行频带分割并输出频带信号数据的频带分割步骤；对上述频带分割步骤得到的频带信号数据进行编码位分配的编码位分配步骤；根据上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化步骤；根据上述量化步骤所得到的量化值输出编码数据的编码步骤；根据上述存储的控制常数控制上述频带分割步骤、上述编码位分配步骤、上述量化步骤和上述编码步骤中的数据处理的编码处理控制步骤。因此，通过在个人计算机等通用计算机中执行该编码程序，通过控制常数的设定，就能减轻处理负担，进行声音取入时的实时编码处理，而得到适合于该编码装置的性能的音质的编码结果。
根据本发明方案44的图象编码程序记录媒体，记录了执行如下步骤的编码程序：对输入声音进行取样处理并输出取样数据的取样步骤；对上述取样步骤所得到的取样数据进行频带分割并输出频带信号数据的频带分割步骤；对上述频带分割步骤得到的频带信号数据进行编码位分配的编码位分配步骤；用心理听觉分析替代控制方式控制上述编码位分配步骤中的分配的编码位分配控制步骤；根据上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化步骤；根据上述量化步骤所得到的量化值输出编码数据的编码步骤。因此，通过在个人计算机等通用计算机中执行该编码程序，进行简化心理听觉分析的位分配控制，就能在不会大大增大处理负担的情况下进行得到适应于人类的听觉特性的高品质编码结果的编码处理。
根据本发明方案45的图象编码程序记录媒体，记录了在对图象和声音进行编码时，用通用计算机执行上述两种编码处理中所包含的处理过程的一部分或全部的图象声音编码程序，记录了执行如下步骤的编码程序：在输入由表示每单位时间的静止图象的多个静止图象信息构成的原图象信息和表示声音的原声音信息构成的图象声音信息时，暂时存储上述原声音信息的声音缓冲存储步骤；读出在上述声音缓冲存储步骤中存储的原声音信息，再对该读出的上述原声音信息进行编码处理并输出编码声音信息的声音编码步骤；用表示图象编码的负荷程度的编码负荷标准信息来判断相应图象声音编码处理的处理能力，再根据其判断结果控制对后述的图象编码中的原图象信息的编码的编码负荷评价步骤；以及根据上述编码负荷评价步骤中的控制，对构成所输入的上述原图象信息的静止图象信息进行编码处理并输出编码编码图象信息的图象编码步骤。因此，通过在个人计算机等通用计算机中执行该编码程序，就能适应于进行该图象声音编码的编码装置的处理能力，而控制图象编码，进行图象声音取入时的实时编码处理，而得到重放时没有声音失真的良好的编码结果。
虽然本发明的优选实施例已经进行了表示和说明，但是，应当知道，本领域的技术人员可以在不背离本发明的精神的条件下进行变化和变型，本发明的范围由权利要求书限定。

Claims (25)

1.一种声音编码方法，该方法按频带分割编码方式对声音进行编码，其特征在于，执行如下步骤：
存储编码处理中所用的设定频率fs和变换常数n的存储步骤；
输入作为编码对象的声音的声音输入步骤；
用根据上述存储的设定频率fs决定的取样频率作成取样声音数据的输入声音取样步骤；
设用上述设定频率fs作为取样频率的情况下所得到的取样声音数据的个数为m个，根据上述变换常数n抽取m/n个取样声音数据，输出把各个上述m/n个取样声音数据按每n个取样声音数据连接起来而成的m个变换声音数据的声音数据变换步骤；
把上述变换声音数据进行频带分割而得到M个频带信号的频带分割步骤；
设从上述存储的设定频率fs和变换常数n所得到的频率fs/2n为限制频率，并仅把编码位分配给上述频带信号中的在限制频率以下的频带信号的编码位分配步骤；
根据上述分配的编码位进行量化的量化步骤；
把上述量化了的数据作为编码数据输出的编码步骤；以及
记录上述所输出的编码数据的编码数据记录步骤。
2.根据权利要求1的声音编码方法，其特征在于，在上述输入声音取样步骤中，把上述存储的设定频率fs作为取样频率对上述输入的声音进行取样处理来作成m个取样声音数据；
在上述声音数据变换步骤中，从上述m个取样声音数据中，每隔(n-1)个数据抽取一个取样声音数据，在2个邻接的上述所抽取出的取样声音数据之间***(n-1)个声音数据，并变换为m个变换声音数据。
3.根据权利要求2的声音编码方法，其特征在于，在上述声音变换步骤中，把各个上述抽取出的取样声音数据按每n个取样声音数据连接起来作成变换声音数据。
4.根据权利要求1的声音编码方法，其特征在于，在上述输入声音取样步骤中，把由上述存储的设定频率fs和变换常数n得到的频率fs/n作为取样频率，对上述输入的声音进行取样处理来作成m/n个取样声音数据；
在上述声音数据变换步骤中，根据上述取样声音数据，在2个邻接的取样声音数据之间***(n-1)个声音数据，并变换为m个变换声音数据。
5.根据权利要求4的声音编码方法，其特征在于，在上述声音变换步骤中，把各个上述m/n个取样声音数据按每n个取样声音数据连接起来作成的变换声音数据。
6.根据权利要求1至5任一项的声音编码方法，其特征在于，执行声音缓冲存储步骤和输入缓冲器监视步骤；
所述声音缓冲存储步骤把上述取样声音数据暂时保持在输入缓冲器内；
所述输入缓冲器监视步骤检查上述输入缓冲器的数据量，再把它与预先设定的值相比较，根据上述比较的结果变更上述寄存器内存储的上述变换常数n的值；
在上述输入声音取样步骤中，将上述取样声音数据写入上述输入缓冲器；
在上述声音数据变换步骤中，从上述输入缓冲器读出取样声音数据，并对它进行上述变换。
7.根据权利要求1至5任一项的声音编码方法，其特征在于，执行编码数据监视步骤，所述编码数据监视步骤检查上述编码步骤中输出的每单位时间的编码数据量，再把它与预先设定的值相比较，根据上述比较的结果变更上述寄存器内存储的上述变换常数n的值。
8.一种声音编码方法，该方法用频带分割编码方式对声音进行编码，其特征在于，执行如下步骤：
存储上述编码所用的控制常数的控制常数存储步骤；
对输入声音进行取样处理并输出取样数据的取样步骤；
对在上述取样步骤所得到的取样数据进行频带分割并输出频带信号数据的频带分割步骤；
对在上述频带分割步骤得到的频带信号数据进行编码位分配的编码位分配步骤；
按照上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化步骤；
根据在上述量化步骤所得到的量化值输出编码数据的编码步骤；
将上述所存储的控制常数与预先设定的值进行比较，判断编码处理能力，基于该判断结果控制编码整体的数据处理量的编码处理控制步骤。
9.根据权利要求8的声音编码方法，其特征在于，在上述控制常数存储步骤中，把单位期间判定常数k作为上述控制常数存储在单位期间判定常数寄存器内；
上述编码处理控制步骤是判定控制步骤，设上述频带分割步骤中的一次频带分割处理中作为对象的取样数据数为p，设相当于p个取样数据的时间为单位期间，上述编码处理控制步骤对于上述所输出的取样数据的每p个数据根据上述所存储的单位期间判定常数判定相应的单位期间是编码对象期间还是编码对象外期间；
仅当上述单位期间被判定为上述编码对象期间时，进行控制以向上述频带分割步骤输出该单位期间的取样数据；
当上述单位期间被判定为上述编码对象外期间时，进行控制以在上述编码步骤中输出预先存储的固定的编码数据作为编码数据。
10.根据权利要求9的声音编码方法，其特征在于，在上述判定控制步骤中，当第i个单位期间取作ti，由上述所存储的单位期间判定常数k和任意整数n构成的i＝n×k+1成立时，把上述单位期间ti判定为是上述编码对象期间。
11.根据权利要求8的声音编码方法，其特征在于，在上述控制常数存储步骤中，把运算处理判定常数q作为上述控制常数存储在运算处理判定常数寄存器内；
上述编码处理控制步骤是包含在上述频带分割步骤内、根据上述存储的运算处理判定常数q进行控制以使上述频带分割步骤中的运算处理在中途停止的运算处理中止步骤。
12.根据权利要求11的声音编码方法，其特征在于，在上述运算处理中止步骤中，进行控制以使上述频带分割步骤中的基本低通滤波器的运算处理在该滤波器的两端步骤在中途停止。
13.根据权利要求8的声音编码方法，其特征在于，在上述控制常数存储步骤中，把频带选择常数r作为上述控制常数存储在频带选择常数寄存器内；
上述编码处理控制步骤是进行控制以仅对根据上述频带分割步骤输出的频带信号数据中的上述存储的频带选择常数r所选择出的数据执行上述编码位分配步骤和上述量化步骤的频带减少步骤。
14.根据权利要求13的声音编码方法，其特征在于，在上述频带减少步骤中，从在上述频带分割步骤所得到的M个频带信号数据输出中每隔r个选择频带信号数据，其中r是上述存储的频带选择常数。
15.根据权利要求8至14的任意一项的声音编码方法，其特征在于，执行处理状况监视步骤，先取得声音编码中的数据处理状况，再根据该取得的状况变更上述存储的上述控制常数的值。
16.根据权利要求15的声音编码方法，其特征在于，上述处理状况监视步骤执行声音缓冲存储步骤和输入监视步骤；
所述声音缓冲存储步骤把取样数据暂时存储在输入缓冲器内；
所述输入监视步骤把上述输入缓冲器内保持的数据量与预先设定值进行比较，再根据上述比较结果进行上述控制常数变更。
17.根据权利要求15的声音编码方法，其特征在于，上述处理状况监视步骤是编码监视步骤，把上述编码步骤中的每单位时间输出的上述编码数据量与预先设定值进行比较，再根据上述比较结果进行上述控制常数的值的变更。
18.一种声音编码方法，该方法用频带编码方式对声音被数字化后的原声音信息进行编码，其特征在于，执行如下步骤：
对输入声音进行取样处理并输出取样数据的取样步骤；
对上述取样步骤所得到的取样数据进行频带分割并输出频带信号数据的频带分割步骤；
对上述频带分割步骤得到的频带信号数据进行编码位分配的编码位分配步骤；
基于用心理听觉分析替代控制方式预先设定的对各频带的加权控制上述编码位分配步骤中的分配的位分配控制步骤；
根据上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化步骤；
根据上述量化步骤所得到的量化值输出编码数据的编码步骤。
19.根据权利要求18的声音编码方法，其特征在于，上述编码位分配控制步骤是顺序位分配步骤，它进行控制以用上述心理听觉分析替代方式预先设定的对各频带的加权从大到小的顺序对在上述频带分割步骤所得到的频带信号数据进行编码位分配。
20.根据权利要求18的声音编码方法，其特征在于，上述编码位分配控制步骤是频带输出适应位分配步骤，它进行控制以对在上述频带分割步骤所得到的频带信号数据，基于用上述心理听觉分析替代方式预定的对各频带的加权和各频带信号数据具有的输出电平进行编码位分配。
21.根据权利要求18的声音编码方法，其特征在于，上述编码位分配控制步骤是改良型频带输出适应位分配步骤，它进行控制以对在上述频带分割步骤所得到的频带信号数据，基于用心理听觉分析替代方式预定的对各频带的加权、对各频带的每个频带的位分配数的加权和各频带信号具有的输出电平进行编码位分配。
22.根据权利要求18的声音编码方法，其特征在于，上述编码位分配控制步骤是最小闻域比较步骤，它进行控制以对在上述频带分割步骤所得到的频带信号数据，按每一个频带信号数据与最小闻域值进行比较，对由上述的比较判定为未达到最小闻域的频带信号数据不进行位分配；增加对其他频带的位分配。
23.一种声音编码装置，按频带分割编码方式对声音进行编码，其特征在于：包括，
存储编码处理中所用的设定频率fs和变换常数n的寄存器；
输入作为编码对象的声音的声音输入装置；
用根据上述存储的设定频率fs决定的取样频率作成取样声音数据的输入声音取样装置；
设用上述设定频率fs作为取样频率的情况下所得到的取样声音数据的个数为m个，基于上述变换常数n抽取m/n个取样声音数据，输出使各个该m/n个取样声音数据按每n个取样声音数据连接起来而成的n个变换声音数据的声音数据变换装置；
把上述变换声音数据进行频带分割而得到M个频带信号的频带分割装置；
把从上述存储的设定频率fs和变换常数n所得到的频率fs/2n作为限制频率，并仅把编码位分配给上述频带信号中的在限制频率以下的频带信号的编码位分配装置；
根据上述分配的编码位进行量化的量化装置；
把上述量化了的数据作为编码数据输出的编码装置；以及
记录上述所输出的编码数据的编码数据记录装置。
24.一种声音编码装置，用频带分割编码方式对声音进行编码，其特征在于：包括，
存储用于上述编码的控制常数的寄存器；
对输入声音进行取样处理并输出取样数据的取样装置；
对上述取样装置所得到的取样数据进行频带分割并输出频带信号数据的频带分割装置；
对上述频带分割装置所得到的频带信号数据进行编码位的分配的编码位分配装置；
根据上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化装置；
根据上述量化装置所得到的量化值输出编码数据的编码装置；
将上述寄存器中所存储的控制常数与预先设定的值进行比较，判断编码处理能力，基于该判断结果控制编码整体的数据处理量的编码处理控制装置。
25.一种声音编码装置，用频带分割编码方式对声音进行编码，其特征在于：
对输入声音进行取样处理并输出取样数据的取样装置；
对上述取样装置所得到的取样数据进行频带分割并输出频带信号数据的频带分割装置；
对上述频带分割装置所得到的频带信号数据进行编码位的分配的编码位分配装置；
基于根据心理听觉分析替代控制方式预先设定的对各频带的加权控制上述编码位分配装置中的分配的编码位分配控制装置；
根据上述编码位的分配进行上述频带信号数据的量化并输出量化值的量化装置；
根据上述量化装置所得到的量化值输出编码数据的编码装置。
CNB021269173A 1996-10-15 1997-10-15 声音编码方法和编码装置 Expired - Fee Related CN1238837C (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP27274696 1996-10-15
JP272746/1996 1996-10-15
JP28435396 1996-10-25
JP284353/1996 1996-10-25
JP314563/1996 1996-11-26
JP31456396 1996-11-26
JP042051/1997 1997-02-26
JP4205197 1997-02-26

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CNB971252831A Division CN1150456C (zh) 1996-10-15 1997-10-15 图象编码方法和编码设备

Publications (2)

Publication Number Publication Date
CN1419231A CN1419231A (zh) 2003-05-21
CN1238837C true CN1238837C (zh) 2006-01-25

Family

ID=27461142

Family Applications (3)

Application Number Title Priority Date Filing Date
CNB021269173A Expired - Fee Related CN1238837C (zh) 1996-10-15 1997-10-15 声音编码方法和编码装置
CNB971252831A Expired - Fee Related CN1150456C (zh) 1996-10-15 1997-10-15 图象编码方法和编码设备
CN02126918A Pending CN1412670A (zh) 1996-10-15 2002-07-24 图像编码方法和编码装置

Family Applications After (2)

Application Number Title Priority Date Filing Date
CNB971252831A Expired - Fee Related CN1150456C (zh) 1996-10-15 1997-10-15 图象编码方法和编码设备
CN02126918A Pending CN1412670A (zh) 1996-10-15 2002-07-24 图像编码方法和编码装置

Country Status (5)

Country Link
US (2) US6353703B1 (zh)
EP (1) EP0837608B1 (zh)
KR (1) KR100257613B1 (zh)
CN (3) CN1238837C (zh)
DE (1) DE69734961T2 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100630943B1 (ko) * 1998-06-12 2006-10-04 코닌클리케 필립스 일렉트로닉스 엔.브이. 재생 버퍼를 경유한 압축 오디오 전송
DE69924922T2 (de) 1998-06-15 2006-12-21 Matsushita Electric Industrial Co., Ltd., Kadoma Audiokodierungsmethode und Audiokodierungsvorrichtung
US7822320B2 (en) * 1998-06-23 2010-10-26 Lg Electronics Inc. Method and apparatus for creating still picture management data and recording still pictures on a recording medium
KR100302497B1 (ko) * 1998-06-23 2001-11-22 구자홍 재기록가능기록매체의정지영상관리데이터의생성/기록방법
JP3594514B2 (ja) * 1999-07-12 2004-12-02 株式会社ソニー・コンピュータエンタテインメント エンコーダ、デコーダ、音声データ処理装置、音声データ処理システム、音声データ圧縮方法、音声データ伸張方法、音声データ処理方法及び記録媒体
US6658381B1 (en) * 1999-10-15 2003-12-02 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for robust frame type detection in systems employing variable bit rates
JP4421156B2 (ja) * 1999-10-29 2010-02-24 富士通株式会社 画像再生装置および画像記録再生装置
FR2804821B1 (fr) * 2000-02-09 2003-09-19 Canon Kk Pilote de compression de donnees
JP2002196792A (ja) * 2000-12-25 2002-07-12 Matsushita Electric Ind Co Ltd 音声符号化方式、音声符号化方法およびそれを用いる音声符号化装置、記録媒体、ならびに音楽配信システム
KR20030059902A (ko) * 2002-01-03 2003-07-12 엘지전자 주식회사 가스오븐레인지의 구이실 가열 시스템
US20040199565A1 (en) * 2003-02-21 2004-10-07 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US7613727B2 (en) * 2002-02-25 2009-11-03 Sont Corporation Method and apparatus for supporting advanced coding formats in media files
US20030163477A1 (en) * 2002-02-25 2003-08-28 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
US7149412B2 (en) * 2002-03-01 2006-12-12 Thomson Licensing Trick mode audio playback
US7809241B2 (en) * 2002-03-01 2010-10-05 Thomson Licensing Audio frequency scaling during video trick modes utilizing digital signal processing
US7130528B2 (en) * 2002-03-01 2006-10-31 Thomson Licensing Audio data deletion and silencing during trick mode replay
US6625387B1 (en) * 2002-03-01 2003-09-23 Thomson Licensing S.A. Gated silence removal during video trick modes
US7831990B2 (en) * 2002-04-29 2010-11-09 Sony Corporation Generic adaptation layer for JVT video
US20040006575A1 (en) * 2002-04-29 2004-01-08 Visharam Mohammed Zubair Method and apparatus for supporting advanced coding formats in media files
JP4208533B2 (ja) * 2002-09-19 2009-01-14 キヤノン株式会社 画像処理装置及び画像処理方法
US20040202249A1 (en) * 2003-04-08 2004-10-14 Newsoft Technology Corporation Real-time MPEG video encoding method of maintaining synchronization between video and audio
KR100561464B1 (ko) * 2003-07-29 2006-03-16 삼성전자주식회사 가변장 부호화 장치 및 방법
WO2006033227A1 (ja) * 2004-09-22 2006-03-30 Matsushita Electric Industrial Co., Ltd. 画像符号化装置
JP2006126482A (ja) * 2004-10-28 2006-05-18 Seiko Epson Corp 音声データ処理装置
US8185815B1 (en) * 2007-06-29 2012-05-22 Ambrosia Software, Inc. Live preview
US20090015657A1 (en) * 2007-07-09 2009-01-15 Jason Wong Method and system for adapting video according to associated audio
JP4948311B2 (ja) * 2007-08-01 2012-06-06 キヤノン株式会社 ライセンス管理システム、ライセンス管理方法、及びコンピュータプログラム
WO2009023169A1 (en) * 2007-08-10 2009-02-19 Nano Terra Inc. Structured smudge-resistant coatings and methods of making and using the same
CN101855911B (zh) * 2007-09-28 2013-06-19 杜比实验室特许公司 处理视频信息
US7911509B2 (en) * 2008-03-12 2011-03-22 Sony Ericsson Mobile Communications Ab Adaptive video encode scaling
CN101615135B (zh) * 2009-07-23 2015-08-12 中兴通讯股份有限公司 一种平滑数据处理的方法和装置
WO2011074924A2 (ko) * 2009-12-18 2011-06-23 한국전자통신연구원 비디오 부호화/복호화 방법 및 장치
US9215466B2 (en) 2011-01-31 2015-12-15 Apple Inc. Joint frame rate and resolution adaptation
CN102223539A (zh) * 2011-06-24 2011-10-19 武汉长江通信产业集团股份有限公司 图像编码丢帧花屏的处理方法
TWI499302B (zh) * 2011-06-27 2015-09-01 Aten Int Co Ltd 訊號傳輸裝置及其傳送器與接收器
US9883311B2 (en) 2013-06-28 2018-01-30 Dolby Laboratories Licensing Corporation Rendering of audio objects using discontinuous rendering-matrix updates
US9564136B2 (en) * 2014-03-06 2017-02-07 Dts, Inc. Post-encoding bitrate reduction of multiple object audio
US10156842B2 (en) 2015-12-31 2018-12-18 General Electric Company Device enrollment in a cloud service using an authenticated application
CN106060550B (zh) * 2016-06-21 2019-03-01 网易（杭州）网络有限公司 视频编码参数的处理、视频数据的编码方法及装置
CN107948660A (zh) * 2017-11-16 2018-04-20 北京小米移动软件有限公司 视频编码适配的方法及装置
US10785398B1 (en) * 2020-06-09 2020-09-22 Dieter B. Bukolt Mobile video recorder apparatus

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2189106B (en) 1986-04-14 1990-02-14 Philips Electronic Associated Image display
GB9022761D0 (en) * 1990-10-19 1990-12-05 Eidos Plc Improvements in or relating to video editing systems
US5414469A (en) 1991-10-31 1995-05-09 International Business Machines Corporation Motion video compression system with multiresolution features
US5325126A (en) 1992-04-01 1994-06-28 Intel Corporation Method and apparatus for real time compression and decompression of a digital motion video signal
US5408580A (en) 1992-09-21 1995-04-18 Aware, Inc. Audio compression system employing multi-rate signal analysis
JP2785220B2 (ja) * 1992-09-22 1998-08-13 ソニー株式会社 データ符号化装置および方法、並びにデータ復号化装置および方法
CA2107727C (en) 1992-10-07 1999-06-01 Hiroaki Ueda Synchronous compression and reconstruction system
US5481543A (en) * 1993-03-16 1996-01-02 Sony Corporation Rational input buffer arrangements for auxiliary information in video and audio signal processing systems
JP3374989B2 (ja) 1993-03-26 2003-02-10 ソニー株式会社 画像信号符号化方法および画像信号符号化装置、ならびに画像信号復号化方法および画像信号復号化装置
US5511054A (en) * 1993-03-31 1996-04-23 Sony Corporation Apparatus and method for multiplexing encoded data signals and recording medium having multiplexed signals recorded thereon
CA2160560A1 (en) 1993-04-16 1994-10-27 Daniel F. Cutter Video peripheral for a computer
US5572654A (en) * 1994-04-29 1996-11-05 Intel Corporation Method and apparatus for graceful degradation of image playback frames rates
JP2587591B2 (ja) 1994-07-21 1997-03-05 シャープ株式会社 音声・楽音の帯域分割符号化復号化装置
US5598352A (en) 1994-09-30 1997-01-28 Cirrus Logic, Inc. Method and apparatus for audio and video synchronizing in MPEG playback systems
GB9421206D0 (en) 1994-10-20 1994-12-07 Thomson Consumer Electronics Digital VCR MPEG- trick play processing

Also Published As

Publication number Publication date
DE69734961D1 (de) 2006-02-02
US6678468B2 (en) 2004-01-13
US6353703B1 (en) 2002-03-05
KR100257613B1 (ko) 2000-06-01
EP0837608A3 (en) 1999-04-21
CN1412670A (zh) 2003-04-23
EP0837608B1 (en) 2005-12-28
EP0837608A2 (en) 1998-04-22
DE69734961T2 (de) 2006-08-24
CN1150456C (zh) 2004-05-19
CN1419231A (zh) 2003-05-21
KR19980032861A (ko) 1998-07-25
US20020071662A1 (en) 2002-06-13
CN1199893A (zh) 1998-11-25

Similar Documents

Publication Publication Date Title
CN1238837C (zh) 声音编码方法和编码装置
CN1301014C (zh) 可变长度编码方法以及可变长度解码方法
CN1156171C (zh) 提高处理效率的图象声音处理装置
CN100338958C (zh) 运动图像编码设备
CN1207919C (zh) 图像预测编码/解码装置和方法以及记录媒体
CN1320809C (zh) 图像处理装置与方法
CN1268137C (zh) 使用可逆子波变换和嵌入代码流进行压缩的方法和装置
CN1213935A (zh) 分层图像编码解码、数字广播信号记录及图像音频的解码
CN1857001A (zh) 混合视频压缩方法
CN1208288A (zh) 用于视听设备的信号处理及声象定位装置和方法
CN1596545A (zh) 运动图像编码方法及运动图像解码方法
CN1271862C (zh) 动画图象编码方法和动画图象译码方法
CN1922890A (zh) 分段可逆视频编码方法、分段可逆视频译码方法、分段可逆视频编码装置、分段可逆视频译码装置和它们的程序及程序记录媒体
CN1578158A (zh) 数据处理装置和方法以及记录介质
CN1436004A (zh) 正交变换、逆正交变换方法及装置、编码、解码方法及装置
CN1182518A (zh) 编码装置、译码装置和编码、译码方法以及图象处理装置
CN1294703C (zh) 压缩装置及方法、解压缩装置及方法、间拔/内插装置及方法
CN1295310A (zh) 正交变换图像的分辨率变换装置和方法
CN1662037A (zh) 信号处理设备和方法，命令序列数据结构
CN1946185A (zh) 可变长度编码方法以及可变长度解码方法
CN1893656A (zh) 图像预测编码/解码装置和方法以及记录媒体
CN1170437C (zh) 图像信号混洗装置和方法
CN1913635A (zh) 运动图像解码方法
CN101064853A (zh) 动画图象编码方法和动画图象编码装置
CN1801920A (zh) 信息处理装置和方法,记录介质,以及程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20060125

Termination date: 20101015