JPH0638186A - Picture encoder - Google Patents

Abstract

PURPOSE:To send a still picture in high picture quality and to reduce a load required therefor. CONSTITUTION:When a document camera is selected (S1), a picture is processed (coded) in the picture quality priority mode independently of the setting by the user (S6). When the document camera is not selected (S1), the picture is processed in the standard mode (S4) decording to the setting by the user when the standard mode is set (S2), or the picture is processed in the motion priority mode (S5) when the motion priority mode is set (S3), or the picture is processed in the picture quality priority mode (S6) when the picture quality priority mode is set (S6).

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、画像符号化装置に関
し、より具体的には、テレビ電話やテレビ会議の画像通
信のための画像符号化装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image coding apparatus, and more particularly to an image coding apparatus for image communication in videophones and video conferences.

【０００２】[0002]

【従来の技術】テレビ会議システムでは、会議参加者の
撮影画像（動画像）を送信するのならず、グラフや図形
などの会議資料（静止画）を送信する場合もあり、送信
モード又は符号化モードとして、画質（空間解像度）及
び動きに対する追従性（時間解像度）を共に考慮する標
準モードの他に、画質を優先する画質優先モードと、動
き追従性を優先する動き優先モードを備え、これらを使
用者（会議参加者等）が利用者の嗜好性や画像の特性に
応じて選択できるようにした端末装置も提案されてい
る。2. Description of the Related Art In a video conference system, there is a case where a conference material (still image) such as a graph or a figure is transmitted instead of transmitting a captured image (moving image) of a conference participant. In addition to the standard mode that considers both image quality (spatial resolution) and motion tracking (temporal resolution), there are an image quality priority mode that prioritizes image quality and a motion priority mode that prioritizes motion tracking. There has also been proposed a terminal device that allows a user (such as a conference participant) to make a selection according to the user's preference or image characteristics.

【０００３】なお、画質と動き追従性のどちらを優先す
るかにより、画面内及び画面間符号化、量子化特性及び
フレーム・レートなどが決定される。It is to be noted that intra-frame and inter-frame coding, quantization characteristics, frame rate, etc. are determined depending on which of image quality and motion followability is prioritized.

【０００４】例えば、量子化特性については、量子化ス
テップ・サイズを細かく設定すれば画質は向上するが、
有意データが増加し、伝送ビット数が増加する。逆に、
量子化ステップ・サイズを大きく設定すれば発生データ
量は減少するが、画質が劣化する。また、ＣＣＩＴＴ勧
告Ｈ．２６１によれば、１フレームを符号化する際に発
生するビット数には上限があり、画像の高精細化のため
の量子化特性の改善にも限界がある。動きに対する画質
の劣化も考慮すると、フレーム・レートを制御（例え
ば、駒落としなど）する必要がある。For example, regarding the quantization characteristic, if the quantization step size is set finely, the image quality is improved,
Significant data increases and the number of transmission bits increases. vice versa,
If the quantization step size is set large, the amount of generated data will decrease, but the image quality will deteriorate. In addition, CCITT Recommendation H.264. According to H.261, there is an upper limit to the number of bits generated when encoding one frame, and there is also a limit to the improvement of the quantization characteristic for high definition of an image. Considering the deterioration of image quality due to motion, it is necessary to control the frame rate (for example, dropping frames).

【０００５】画質の高精細化は伝送ビット数の増加を意
味し、フレーム・レートの減少につながる。画質（空間
解像度）と動き追従性（時間解像度）は相反するもので
あり、高画質を追求すると、必然的に動き追従性は悪化
する。Higher image quality means an increase in the number of transmission bits, which leads to a decrease in frame rate. Image quality (spatial resolution) and motion followability (temporal resolution) are contradictory, and pursuing high image quality inevitably deteriorates motion followability.

【０００６】動画像を送信するのか、静止画を送信する
のかに応じて、使用者がその都度、符号化モードを選択
するのは面倒なので、符号化前に入力画像の特性（静止
画、動画、シーン・チェンジ場面かなど）を調べ、適応
的に符号化モードを選択する画像符号化装置が提案され
ている。It is troublesome for the user to select an encoding mode each time depending on whether a moving image or a still image is transmitted. Therefore, before encoding, the characteristics of the input image (still image, moving image, , A scene change scene, etc.) and adaptively selects a coding mode.

【０００７】[0007]

【発明が解決しようとする課題】しかし、符号化モード
を適応的に選択する従来例では、例えば会議資料を撮影
するカメラが振れている場合、当該カメラからの入力画
像を、動きを優先した符号化モードで符号化してしまう
という欠点がある。即ち、動画像と誤解してしまう。However, in the conventional example in which the coding mode is adaptively selected, for example, when the camera for photographing the conference material is shaken, the input image from the camera is coded with motion priority. There is a drawback that encoding is performed in the encoded mode. That is, it is mistaken for a moving image.

【０００８】本発明は、このような不都合を解消した画
像符号化装置を提示することを目的とする。It is an object of the present invention to provide an image coding apparatus that eliminates such inconvenience.

【０００９】[0009]

【課題を解決するための手段】本発明に係る画像符号化
装置は、画質及び動きに関し異なる優先レベルの複数の
符号化モードを外部設定自在な画像符号化装置であっ
て、入力画像が静止画であることを検出する手段と、当
該検出手段の検出出力に応じて、外部設定に関わらず画
質優先の所定符号化モードで入力画像を符号化する符号
化手段とを設けたことを特徴とする。An image coding apparatus according to the present invention is an image coding apparatus capable of externally setting a plurality of coding modes having different priority levels with respect to image quality and motion, and an input image is a still image. And a coding means for coding an input image in a predetermined coding mode with priority on image quality regardless of external setting, according to the detection output of the detection means. .

【００１０】[0010]

【作用】上記手段により、利用者の特別な操作無しに、
上記符号化手段が、静止画である入力画像を画質優先の
所定符号化モードで符号化する。これにより、利用者の
操作負担が軽減される。By the above means, without any special operation by the user,
The encoding means encodes an input image, which is a still image, in a predetermined encoding mode with image quality priority. This reduces the operational burden on the user.

【００１１】[0011]

【実施例】以下、図面を参照して本発明の実施例を説明
する。Embodiments of the present invention will be described below with reference to the drawings.

【００１２】図１は、本発明の一実施例の概略構成ブロ
ック図であり、図２は、本実施例を組み込んだ画像通信
装置の概略構成ブロック図を示す。FIG. 1 is a schematic configuration block diagram of an embodiment of the present invention, and FIG. 2 is a schematic configuration block diagram of an image communication apparatus incorporating this embodiment.

【００１３】先ず、図２を説明する。１０は会議参加者
を撮影するカメラ、１２は図面などの会議資料を撮影す
る書画カメラ、１４はカメラ１０，１２の出力を選択
し、所定の内部形式に変換する画像入力インターフェー
ス、１６は画像表示するモニタ、１８はモニタ１６に画
像信号を供給する画像出力インターフェースである。First, FIG. 2 will be described. Reference numeral 10 is a camera for photographing conference participants, 12 is a document camera for photographing conference materials such as drawings, 14 is an image input interface for selecting outputs of the cameras 10 and 12, and converting the output into a predetermined internal format. 16 is an image display. An image output interface 18 supplies an image signal to the monitor 16.

【００１４】モニタ１６としては、単独の画像表示装置
でも複数の画像表示装置でもよく、更には、単独の画像
表示装置でもウインドウ・システムにより複数の画像を
別々のウインドウに表示できるものであってもよい。The monitor 16 may be a single image display device or a plurality of image display devices, and further, a single image display device or a device capable of displaying a plurality of images in separate windows by a window system. Good.

【００１５】２０はカメラ１０，１２による入力画像及
び受信画像を選択及び合成して画像出力インターフェー
ス１８に供給する選択合成回路、２２は、送信すべき画
像信号を符号化する画像符号化回路２２ａと、受信した
符号化画像信号を復号化する画像復号化回路２２ｂから
なる画像符号化復号化回路である。Reference numeral 20 is a selection / combination circuit for selecting and combining the input images and received images from the cameras 10 and 12 and supplying them to the image output interface 18. Reference numeral 22 is an image encoding circuit 22a for encoding an image signal to be transmitted. The image coding / decoding circuit includes an image decoding circuit 22b for decoding the received coded image signal.

【００１６】２４はマイク及びスピーカからなるハンド
セット、２６はマイク、２８はスピーカ、３０はハンド
セット２４、マイク２６及びスピーカ２８に対する音声
入出力インターフェースである。音声入出力インターフ
ェース３０は、ハンドセット２４、マイク２６及びスピ
ーカ２８の音声入出力を切り換えるだけでなく、エコー
・キャンセル処理、並びに、ダイヤルトーン、呼出音、
ビジー・トーン及び着信音などのトーンの生成処理を行
なう。３２は、送信すべき音声信号を符号化する音声符
号化回路３２ａと、受信した符号化音声信号を復号化す
る音声復号化回路３２ｂからなる音声符号化復号化回路
である。Reference numeral 24 is a handset consisting of a microphone and a speaker, 26 is a microphone, 28 is a speaker, and 30 is an audio input / output interface for the handset 24, the microphone 26 and the speaker 28. The voice input / output interface 30 not only switches the voice input / output of the handset 24, the microphone 26, and the speaker 28, but also performs echo / cancel processing, dial tone, ringing tone,
Tones such as busy tones and ring tones are generated. Reference numeral 32 is a voice encoding / decoding circuit including a voice encoding circuit 32a for encoding the voice signal to be transmitted and a voice decoding circuit 32b for decoding the received encoded voice signal.

【００１７】３４は通信回線（例えば、ＩＳＤＮ回線）
の回線インターフェース、３６は、画像符号化回路２２
ａ及び音声符号化回路３２ａからの送信すべき符号化情
報を多重化して回線インターフェース３４に供給すると
共に、回線インターフェース３４から供給される受信情
報から符号化画像情報と符号化音声情報を分離し、それ
ぞれ画像復号化回路２２ｂ及び音声復号化回路３２ｂに
供給する分離多重化回路である。Reference numeral 34 is a communication line (for example, ISDN line).
Line interface 36 of the image coding circuit 22
a and the coded information to be transmitted from the voice coding circuit 32a are multiplexed and supplied to the line interface 34, and the coded image information and the coded voice information are separated from the received information supplied from the line interface 34, They are demultiplexing circuits which are supplied to the image decoding circuit 22b and the audio decoding circuit 32b, respectively.

【００１８】３８は全体、特に画像入力インターフェー
ス１４、画像出力インターフェース１８、選択合成回路
２０、画像符号化復号化回路２２、音声入出力インター
フェース３０、音声符号化復号化回路３２及び分離多重
化回路３６を制御するシステム制御回路、３９はシステ
ム制御回路３８に使用者が所定の指示を入力するための
操作装置（例えば、テン・キーやキーボード等）であ
る。Reference numeral 38 denotes the whole, in particular, the image input interface 14, the image output interface 18, the selective synthesizing circuit 20, the image encoding / decoding circuit 22, the audio input / output interface 30, the audio encoding / decoding circuit 32, and the demultiplexing circuit 36. Reference numeral 39 is a system control circuit for controlling the system, and 39 is an operating device (for example, a ten-key or a keyboard) for the user to input a predetermined instruction to the system control circuit 38.

【００１９】図２に示す実施例における画像信号及び音
声信号の流れを簡単に説明する。カメラ１０及び書画カ
メラ１２による入力画像は画像入力インターフェース１
４により選択され、その一方が選択合成回路２０に入力
する。選択合成回路２０は通常、カメラ１０，１２によ
る入力画像をそのまま画像符号化復号回路２２の符号化
回路２２ａに出力する。画像符号化回路２２ａは、詳細
は後述するが、システム制御回路３８からの制御信号及
び内部決定に従う符号化モードで入力画像信号を符号化
し、分離多重化回路３６に出力する。The flow of image signals and audio signals in the embodiment shown in FIG. 2 will be briefly described. The image input by the camera 10 and the document camera 12 is the image input interface 1
4 is selected, and one of them is input to the selection / combination circuit 20. The selective synthesizing circuit 20 normally outputs the input images from the cameras 10 and 12 as they are to the encoding circuit 22a of the image encoding / decoding circuit 22. The image encoding circuit 22a encodes the input image signal in the encoding mode according to the control signal from the system control circuit 38 and the internal determination, and outputs it to the demultiplexing and multiplexing circuit 36, which will be described in detail later.

【００２０】他方、ハンドセット２４のマイク又はマイ
ク２６による入力音声信号は音声入出力インターフェー
ス３０を介して音声符号化復号化回路３２の音声符号化
回路３２ａに入力し、符号化されて分離多重化回路３６
に印加される。On the other hand, the input voice signal from the microphone or the microphone 26 of the handset 24 is input to the voice encoding circuit 32a of the voice encoding / decoding circuit 32 via the voice input / output interface 30 and is encoded and demultiplexed. 36
Applied to.

【００２１】分離多重化回路３６は、符号化回路２２
ａ，３２ａからの符号化信号を多重化し、回線インター
フェース３４に出力する。回線インターフェース３４は
分離多重化回路３６からの信号を、接続する通信回線に
出力する。The demultiplexing circuit 36 is a coding circuit 22.
The coded signals from a and 32a are multiplexed and output to the line interface 34. The line interface 34 outputs the signal from the demultiplexing circuit 36 to the connected communication line.

【００２２】通信回線から受信した信号は回線インター
フェース３４から分離多重化回路３６に供給される。分
離多重化回路３６は、受信信号から符号化画像信号と符
号化音声信号を分離し、それぞれ画像復号化回路２２ｂ
及び音声復号化回路３２ｂに印加する。画像復号化回路
２２ｂは、分離多重化回路３６からの符号化画像信号を
復号し、選択合成回路２０に印加する。The signal received from the communication line is supplied from the line interface 34 to the demultiplexing / multiplexing circuit 36. The demultiplexing circuit 36 separates the coded image signal and the coded audio signal from the received signal, and the image decoding circuit 22b respectively.
And to the audio decoding circuit 32b. The image decoding circuit 22 b decodes the coded image signal from the demultiplexing circuit 36 and applies it to the selective synthesizing circuit 20.

【００２３】選択合成回路２０はシステム制御回路３８
からの制御信号に従い、画像入力インターフェース１４
からの入力画像と、画像復号化回路２２ｂからの受信画
像を選択合成し、画像出力インターフェース１８に出力
する。選択合成回路２０は、合成処理として例えば、ピ
クチャー・イン・ピクチャーやウインドウ表示システム
における対応ウインドウへのはめ込みなどを行なう。画
像モニタ１６は画像出力インターフェース１８からの画
像信号を画像表示する。これにより、入力画像及び／又
は受信画像がモニタ１６の画面に表示される。The selective combining circuit 20 is a system control circuit 38.
Image input interface 14 according to the control signal from
The input image from and the received image from the image decoding circuit 22b are selectively combined and output to the image output interface 18. The selective combining circuit 20 performs, for example, picture-in-picture or fitting into a corresponding window in the window display system as a combining process. The image monitor 16 displays the image signal from the image output interface 18 as an image. As a result, the input image and / or the received image is displayed on the screen of the monitor 16.

【００２４】音声符号化回路３２ｂにより復号された受
信音声信号は音声入出力インターフェース３０を介して
ハンドセット２４のスピーカ及び／又はスピーカ２８に
印加される。これにより、通信相手からの音声を聞くこ
とができる。The received voice signal decoded by the voice encoding circuit 32b is applied to the speaker and / or the speaker 28 of the handset 24 via the voice input / output interface 30. As a result, the voice from the communication partner can be heard.

【００２５】なお、画像及び音声以外のコマンドなどで
通信相手に送信するものは、システム制御回路３８から
分離多重化回路３６に直接供給され、受信したコマンド
は分離多重化回路３６からシステム制御回路３８に直接
供給される。Note that commands other than images and voices to be transmitted to the communication partner are directly supplied from the system control circuit 38 to the demultiplexing circuit 36, and the received commands are sent from the demultiplexing circuit 36 to the system control circuit 38. Directly supplied to.

【００２６】次に、図１を詳細に説明する。図１は、図
２の画像符号化回路２２ａに相当する。なお、本実施例
では、画面毎に前フレーム（予測値）との差分を符号化
するＩＮＴＥＲモードと、差分をとらずにその画面内で
符号化するＩＮＴＲＡモードを選択できる。例えば、動
きや時間方向で動きの少ない画像や静止画ではＩＮＴＥ
Ｒモードを使用し、動きの大きな画像や、動きが少ない
画像でもシーン・チェンジの際にはＩＮＴＲＡモードを
使用する。また、発生する符号化データ量に応じて量子
化ステップ・サイズも変更し、必要により駒落とし（フ
レーム・スキップ）を行なう。Next, FIG. 1 will be described in detail. FIG. 1 corresponds to the image encoding circuit 22a of FIG. In this embodiment, it is possible to select the INTER mode in which the difference from the previous frame (predicted value) is encoded for each screen and the INTRA mode in which the difference is encoded within the screen without taking the difference. For example, INTE for images and still images that do not move much in the motion or time direction.
Use the R mode, and use the INTRA mode when changing scenes even for images with large movements or images with little movements. Further, the quantization step size is also changed according to the amount of encoded data generated, and if necessary, frame skipping (frame skip) is performed.

【００２７】図１において、４０は選択合成回路２０か
らの画素データが入力する入力端子、４２は、入力端子
４０からの画素値と当該画素値の予測誤差との間のエネ
ルギー比較結果及び外部制御信号に従い、ＩＮＴＲＡモ
ード又はＩＮＴＥＲモードを選択する符号化モード選択
回路である。符号化モード選択回路４２は、ＩＮＴＲＡ
モードでは入力端子４０からの画素値をそのまま出力
し、ＩＮＴＥＲモードでは、その符号化ブロックである
マクロブロック単位で予測値（前フレーム）との差分
（予測誤差）を出力する。In FIG. 1, 40 is an input terminal for inputting pixel data from the selective synthesizing circuit 20, 42 is an energy comparison result between a pixel value from the input terminal 40 and a prediction error of the pixel value, and external control. It is an encoding mode selection circuit for selecting the INTRA mode or the INTER mode according to the signal. The encoding mode selection circuit 42 uses INTRA
In the mode, the pixel value from the input terminal 40 is output as it is, and in the INTER mode, the difference (prediction error) from the prediction value (previous frame) is output for each macroblock that is the coding block.

【００２８】４４は、符号化モード選択回路４２の出力
を離散コサイン変換し、ＤＣＴ係数データを出力するＤ
ＣＴ回路、４６は、ＤＣＴ回路４４から出力されるＤＣ
Ｔ係数データを、指定された量子化ステップ・サイズで
量子化する量子化回路、４８は、量子化回路４６の出力
を可変長符号化する可変長符号化回路、５０は可変長符
号化回路４８の出力をバッファリングする送信バッフ
ァ、５２は送信バッファ５０の出力を分離多重化回路３
６に接続する出力端子である。Reference numeral 44 denotes a D which outputs the DCT coefficient data by performing a discrete cosine transform on the output of the coding mode selection circuit 42.
The CT circuit, 46 is the DC output from the DCT circuit 44.
A quantizing circuit for quantizing the T coefficient data with a specified quantizing step size, 48 is a variable length coding circuit for variable length coding the output of the quantizing circuit 46, and 50 is a variable length coding circuit 48. Of the output of the transmission buffer 50, and 52 is the output of the transmission buffer 50.
6 is an output terminal to be connected.

【００２９】５４は、量子化回路４６の出力を逆量子化
する逆量子化回路、５６は逆量子化回路５４の出力を逆
離散コサイン変換する逆ＤＣＴ回路である。５８は、Ｉ
ＮＴＥＲモードで逆ＤＣＴ回路５６の出力に予測値を加
算して出力し、ＩＮＴＲＡモードでは逆ＤＣＴ回路５６
の出力をそのまま出力する加算器である。６０は、動き
補償フレーム間予測のためのフレーム・メモリであり、
加算器５８の出力（局部復号値）を記憶する。Reference numeral 54 is an inverse quantization circuit for inversely quantizing the output of the quantization circuit 46, and reference numeral 56 is an inverse DCT circuit for inverse discrete cosine transform of the output of the inverse quantization circuit 54. 58 is I
In the NTER mode, the predicted value is added to the output of the inverse DCT circuit 56 and output, and in the INTRA mode, the inverse DCT circuit 56 is output.
It is an adder that outputs the output of as it is. 60 is a frame memory for motion-compensated inter-frame prediction,
The output (locally decoded value) of the adder 58 is stored.

【００３０】６２は、入力端子４０から入力する画像信
号とフレーム・メモリ６０に記憶される前フレームの画
像信号とをマクロブロック単位で比較して動きベクトル
を検出する動きベクトル検出回路、６４は、動きベクト
ル検出回路６２により検出された動きベクトルに従い、
フレーム・メモリ６０からの前フレームのデータをマク
ロブロック単位で画面内で移動させて動きを相殺する動
き補償回路、６６は動き補償回路６４の出力をマクロブ
ロック単位でフィルタリングするローパス・フィルタで
ある。フィルタ６６の出力がフレーム間予測の予測値に
なり、加算器５８及び減算器６８に印加される。減算器
６８は、入力端子４０からの画素データとフィルタ６６
の出力（予測値）との予測誤差を算出して、符号化モー
ド選択回路４２に供給する。Reference numeral 62 is a motion vector detection circuit for detecting a motion vector by comparing the image signal input from the input terminal 40 and the image signal of the previous frame stored in the frame memory 60 in macroblock units. According to the motion vector detected by the motion vector detection circuit 62,
A motion compensation circuit that moves the data of the previous frame from the frame memory 60 in a macro block unit within the screen to cancel the motion, and 66 is a low-pass filter that filters the output of the motion compensation circuit 64 in the macro block unit. The output of the filter 66 becomes a predicted value of inter-frame prediction, and is applied to the adder 58 and the subtractor 68. The subtractor 68 receives the pixel data from the input terminal 40 and the filter 66.
A prediction error with respect to the output (predicted value) is calculated and supplied to the coding mode selection circuit 42.

【００３１】７０は、システム制御回路３８が画像送信
する画像として書画カメラ１２による入力画像を選択し
たことを検出する書画カメラ選択検出回路、７２は、シ
ステム制御回路３８からの符号化に関する制御信号、書
画カメラ選択検出回路７０の検出出力、及び送信バッフ
ァ５０からのバッファ蓄積量信号に従い、符号化モード
選択回路４２、量子化回路４６、可変長符号化回路４
８、及び送信バッファ５０を主に制御する画像符号化制
御回路である。システム制御回路３８からの符号化に関
する制御信号には、画質（空間解像度）優先、動き追従
性（時間解像度）優先、又はこれらの中間かを指定する
信号などがある。Reference numeral 70 denotes a document camera selection detection circuit for detecting that the system control circuit 38 has selected an input image by the document camera 12 as an image to be transmitted, and 72 denotes a control signal for encoding from the system control circuit 38. According to the detection output of the document camera selection detection circuit 70 and the buffer accumulation amount signal from the transmission buffer 50, the coding mode selection circuit 42, the quantization circuit 46, and the variable length coding circuit 4
8 and the transmission buffer 50 are mainly image coding control circuits. The control signal for encoding from the system control circuit 38 includes a signal for designating image quality (spatial resolution) priority, motion followability (temporal resolution) priority, or an intermediate of these.

【００３２】図１の動作を説明する。入力端子４０には
選択合成回路２０（図１）から、例えばＣＣＩＴＴ勧告
Ｈ．２６１に従う共通フォーマット（ＣＩＦ又はＱＣＩ
Ｆ）で画像データが入力する。入力端子４０に入力する
画像データは符号化モード選択回路４２、減算器６８及
び動きベクトル検出回路６２に印加される。The operation of FIG. 1 will be described. For example, CCITT Recommendation H.264 is applied to the input terminal 40 from the selective combining circuit 20 (FIG. 1). 261 common format (CIF or QCI
Image data is input in F). The image data input to the input terminal 40 is applied to the coding mode selection circuit 42, the subtracter 68, and the motion vector detection circuit 62.

【００３３】減算器６８は、入力端子４０からの画素デ
ータと、フィルタ６６から出力される予測値との差分
（予測誤差）を算出し、符号化モード選択回路４２に印
加する。符号化モード選択回路４２は、入力端子４０か
らの画素値と、減算器６８からの予測誤差とをエネルギ
ー比較し、その比較結果及び画像符号化制御回路７２か
らの制御信号に従い符号化モードを選択する。そして、
ＩＮＴＲＡモードでは入力端子４０からの入力画素値を
そのままＤＣＴ回路４４に出力し、ＩＮＴＥＲモードで
は、入力端子４０からの画素値と減算器６８からの予測
誤差をＤＣＴ回路４４に出力する。The subtractor 68 calculates the difference (prediction error) between the pixel data from the input terminal 40 and the prediction value output from the filter 66, and applies it to the coding mode selection circuit 42. The coding mode selection circuit 42 performs energy comparison between the pixel value from the input terminal 40 and the prediction error from the subtracter 68, and selects the coding mode according to the comparison result and the control signal from the image coding control circuit 72. To do. And
In the INTRA mode, the input pixel value from the input terminal 40 is directly output to the DCT circuit 44, and in the INTER mode, the pixel value from the input terminal 40 and the prediction error from the subtractor 68 are output to the DCT circuit 44.

【００３４】ＤＣＴ回路４４は、符号化モード選択回路
４２からのデータをブロック単位で離散コサイン（ＤＣ
Ｔ）変換し、ＤＣＴ係数データを量子化回路４６に出力
する。量子化回路４６は、画像符号化制御回路７２から
の量子化特性制御信号により指定される量子化ステップ
・サイズで、ＤＣＴ回路４４からのＤＣＴ係数データを
量子化する。可変長符号化回路４８は、画像符号化制御
回路７２からの符号化制御信号に従い有意ブロックを判
定し、量子化ＤＣＴ係数をＣＣＩＴＴ勧告Ｈ．２６１に
従って可変長符号化する。The DCT circuit 44 blocks the data from the coding mode selection circuit 42 in units of blocks by the discrete cosine (DC
T) transform and output the DCT coefficient data to the quantization circuit 46. The quantization circuit 46 quantizes the DCT coefficient data from the DCT circuit 44 with the quantization step size specified by the quantization characteristic control signal from the image coding control circuit 72. The variable-length coding circuit 48 determines a significant block according to the coding control signal from the image coding control circuit 72, and sets the quantized DCT coefficient to CCITT Recommendation H.264. In accordance with H.261, variable length coding is performed.

【００３５】送信バッファ５０は、可変長符号化回路４
８による可変長符号化データをバッファリングして出力
端子５２を介して分離多重化回路３６に出力すると共
に、バッファ蓄積量を画像符号化制御回路７２に伝達す
る。送信バッファ５０と出力端子５２との間に誤り訂正
符号化回路を接続してもよい。The transmission buffer 50 includes the variable length coding circuit 4
The variable length coded data of 8 is buffered and output to the demultiplexing / multiplexing circuit 36 through the output terminal 52, and the buffer storage amount is transmitted to the image coding control circuit 72. An error correction coding circuit may be connected between the transmission buffer 50 and the output terminal 52.

【００３６】逆量子化回路５４は、量子化回路４６で選
択されたのと同じ量子化ステップ・サイズで、量子化回
路４６の出力を逆量子化し、ＤＣＴ係数の代表値を出力
する。逆ＤＣＴ回路５６は、逆量子化回路５６の出力を
逆離散コサイン変換する。加算器５８は、ＩＮＴＥＲモ
ードでは、逆ＤＣＴ回路５６の出力に予測値（フィルタ
６６の出力）を加算し、ＩＮＴＲＡモードでは逆ＤＣＴ
回路５６の出力をそのまま出力する。加算器５８の出力
は、フレーム・メモリ６０に格納される。The inverse quantization circuit 54 inversely quantizes the output of the quantization circuit 46 with the same quantization step size as that selected by the quantization circuit 46, and outputs the representative value of the DCT coefficient. The inverse DCT circuit 56 performs an inverse discrete cosine transform on the output of the inverse quantization circuit 56. The adder 58 adds the predicted value (output of the filter 66) to the output of the inverse DCT circuit 56 in the INTER mode, and inverse DCT in the INTRA mode.
The output of the circuit 56 is output as it is. The output of adder 58 is stored in frame memory 60.

【００３７】フレーム・メモリ６０は少なくとも２フレ
ーム分の記憶容量を具備し、加算器５８の出力画素値
（即ち、局部復号値）を記憶する。動きベクトル検出回
路６２は、入力端子４０からの現フレームの画素データ
とフレーム・メモリ６０に記憶される前フレームの画素
データとを比較し、画像の動きを検出する。具体的に
は、現フレームの処理中のマクロブロック付近を動きベ
クトル・サーチ・ウインドウとして前フレームの画素デ
ータをフレーム・メモリ６０から読み出し、ブロック・
マッチング演算して動きベクトルを検出する。The frame memory 60 has a storage capacity of at least two frames and stores the output pixel value of the adder 58 (that is, the locally decoded value). The motion vector detection circuit 62 compares the pixel data of the current frame from the input terminal 40 with the pixel data of the previous frame stored in the frame memory 60 to detect the motion of the image. Specifically, the pixel data of the previous frame is read from the frame memory 60 using the motion vector search window near the macroblock being processed for the current frame,
A matching operation is performed to detect a motion vector.

【００３８】動き補償回路６４は、動きベクトル検出回
路６２で検出された動きベクトルに従い、その動きを相
殺するようにフレーム・メモリ６０からの前フレームの
画素データを画面方向に移動する。フィルタ６６は、動
き補償回路６４により動き補償された前フレームの画素
データに対し、ブロック境界における不連続性を緩和す
るフィルタ処理を施し、処理データを減算器６８及び加
算器５８に予測値として供給する。According to the motion vector detected by the motion vector detection circuit 62, the motion compensation circuit 64 moves the pixel data of the previous frame from the frame memory 60 in the screen direction so as to cancel the motion. The filter 66 performs filter processing on the pixel data of the previous frame that has been motion-compensated by the motion compensation circuit 64 to reduce discontinuity at the block boundary, and supplies the processed data to the subtractor 68 and the adder 58 as a predicted value. To do.

【００３９】書画カメラ選択検出回路７０は、システム
制御回路３８によるカメラ１０又は書画カメラ１２の選
択を常時監視しており、書画カメラ１２の選択を検出す
ると、検出信号を画像符号化制御回路７２に出力する。The document camera selection detection circuit 70 constantly monitors the selection of the camera 10 or the document camera 12 by the system control circuit 38. When the selection of the document camera 12 is detected, the detection signal is sent to the image coding control circuit 72. Output.

【００４０】画像符号化制御回路７２は、システム制御
回路３８からの利用者設定の画質制御信号、送信バッフ
ァ５０のデータ蓄積量、及び書画カメラ選択検出回路７
０の検出出力に応じて、画像符号化の全般を制御する。
具体的には、送信バッファ５０がオーバーフローしない
ように、送信バッファ５０のデータ蓄積量を基に、入力
画像の変化、シーン・チェンジ及び通信者の画質設定に
応じて適応的に、量子化回路４６の量子化ステップ・サ
イズ、符号化モード選択回路４２におけるモード選択、
可変長符号化回路４８における有意ブロック判定、及び
駒落とし（フレーム・スキップ）を制御する。The image encoding control circuit 72 is a user-set image quality control signal from the system control circuit 38, the amount of data stored in the transmission buffer 50, and the document camera selection detection circuit 7.
The overall image coding is controlled according to the detected output of 0.
Specifically, the quantizing circuit 46 is adaptively adapted to the change in the input image, the scene change, and the image quality setting of the communicator based on the amount of data accumulated in the transmission buffer 50 so that the transmission buffer 50 does not overflow. Quantization step size, mode selection in the coding mode selection circuit 42,
The significant block determination and frame skipping (frame skip) in the variable length coding circuit 48 are controlled.

【００４１】なお、動きや変化の少ない画像は、現フレ
ームと前フレームが非常に似ているので、前フレームと
の差分を符号化するＩＮＴＥＲモードを用いることで、
その時間冗長度を削減できる。他方、動きが大きい画像
やシーン・チェンジの際にはフレーム間相関が小さいの
で、同一フレーム内で符号化するＩＮＴＲＡモードを用
いる。Since the current frame and the previous frame are very similar to each other in an image with little movement or change, by using the INTER mode for encoding the difference from the previous frame,
The time redundancy can be reduced. On the other hand, since the inter-frame correlation is small at the time of an image with a large motion or a scene change, the INTRA mode in which coding is performed within the same frame is used.

【００４２】量子化特性に関しては、先に説明したよう
に、量子化ステップ・サイズを小さくする程、画質は向
上するが、有意データが増加するので、伝送ビット数の
増加につながる。他方、量子化ステップ・サイズを多く
すると、伝送データ量は減少するが、画質が劣化する。
そこで、送信バッファ５０のデータ蓄積量を常時監視
し、適宜に効率的に量子化ステップ・サイズを設定す
る。また、発生する符号化ビット数に応じて駒落とし
（フレーム・スキップ）処理を行ない、フレーム・レー
トを調節する。Regarding the quantization characteristic, as described above, the smaller the quantization step size, the higher the image quality, but the more significant data, the more the number of transmission bits. On the other hand, if the quantization step size is increased, the amount of transmitted data decreases but the image quality deteriorates.
Therefore, the amount of data stored in the transmission buffer 50 is constantly monitored, and the quantization step size is set appropriately and efficiently. Also, the frame rate is adjusted by performing frame skip processing according to the number of encoded bits generated.

【００４３】入力画像の特性は、符号化モード選択回路
４２における入力値と予測誤差値とのエネルギー比較の
他に、書画カメラ１２の入力画像の選択やシーン・チェ
ンジによっても判断できる。シーン・チェンジは、例え
ば、ＩＮＴＲＡモードの選択比率などにより検出でき
る。The characteristics of the input image can be judged not only by comparing the energy of the input value in the coding mode selection circuit 42 and the prediction error value, but also by the selection of the input image of the document camera 12 or the scene change. The scene change can be detected by, for example, the selection ratio of the INTRA mode.

【００４４】図３に示すフローチャートを参照して、書
画カメラ選択検出回路７０の検出出力に対する画像符号
化制御回路７２の動作を説明する。先ず、書画カメラ選
択検出回路７０の出力を調べる（Ｓ１）。そして、書画
カメラ１２が選択されている場合には、利用者の設定に
関わらず、画質優先モードでの画像処理、即ち画像符号
化を行なう（Ｓ６）。The operation of the image coding control circuit 72 for the detection output of the document camera selection detection circuit 70 will be described with reference to the flowchart shown in FIG. First, the output of the document camera selection detection circuit 70 is checked (S1). Then, when the document camera 12 is selected, image processing in the image quality priority mode, that is, image encoding is performed regardless of the user's setting (S6).

【００４５】書画カメラ１２が選択されていない場合に
は（Ｓ１）、システム制御回路３８からの利用者設定の
画質制御信号が標準モード、動き優先モード又は画質優
先モードの何れであるかを調べ（Ｓ２，３）、標準モー
ドのときには（Ｓ２）、標準モードで画像処理し（Ｓ
４）、動き優先モードのときには（Ｓ３）、動き優先モ
ードで画像処理し（Ｓ５）、画質優先モードのときには
（Ｓ３）、画質優先モードで画像処理する（Ｓ６）。When the document camera 12 is not selected (S1), it is checked whether the image quality control signal set by the user from the system control circuit 38 is the standard mode, the motion priority mode or the image quality priority mode ( S2, 3), in the standard mode (S2), image processing is performed in the standard mode (S2).
4) In the motion priority mode (S3), image processing is performed in the motion priority mode (S5), and in image quality priority mode (S3), image processing is performed in image quality priority mode (S6).

【００４６】このように、本実施例では、書画カメラ選
択検出回路７０の検出結果に従い、利用者の設定に関わ
らず画質優先の符号化を行なう。なお、書画カメラの入
力画像の伝送用に、画質優先の専用の符号化モードを設
けてもよいことはいうまでもない。As described above, in this embodiment, the image quality priority coding is performed according to the detection result of the document camera selection detection circuit 70 regardless of the user's setting. Needless to say, a dedicated encoding mode for giving priority to image quality may be provided for transmitting the input image of the document camera.

【００４７】[0047]

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、利用者の特別な操作無しに、図形
やグラフなどの静止画を画質優先で符号化するので、利
用者の操作負担が軽減される。As can be easily understood from the above description, according to the present invention, still images such as graphics and graphs are coded with priority on image quality without any special operation by the user. The operation load is reduced.

【図面の簡単な説明】[Brief description of drawings]

【図１】 本発明の一実施例の概略構成ブロック図であ
る。FIG. 1 is a schematic block diagram of an embodiment of the present invention.

【図２】 本実施例を組み込んだ画像通信装置の概略構
成ブロック図である。FIG. 2 is a schematic block diagram of an image communication device incorporating the present embodiment.

【図３】 本実施例の動作フローチャートである。FIG. 3 is an operation flowchart of the present embodiment.

【符号の説明】[Explanation of symbols]

１０：カメラ １２：書画カメラ １４：画像入力イン
ターフェース １６：モニタ １８：画像出力インター
フェース ２０：選択合成回路 ２２：画像符号化復号
化回路 ２２ａ：画像符号化回路 ２２ｂ：画像復号化
回路 ２４：ハンドセット ２６：マイク ２８：スピ
ーカ ３０：音声入出力インターフェース ３２：音声符号化復号化回路 ３２ａ：音声符号化回路
３２ｂ：音声復号化回路 ３４：回線インターフェー
ス ３６：分離多重化回路 ３８：システム制御回路
３９：操作装置 ４０：入力端子 ４２：符号化モード
選択回路 ４４：ＤＣＴ回路 ４６：量子化回路 ４
８：可変長符号化回路 ５０：送信バッファ ５２：出
力端子 ５４：逆量子化回路 ５６：逆ＤＣＴ回路 ５
８：加算器 ６０：動き補償用フレーム・メモリ ６２：動きベクト
ル検出回路 ６４：動き補償回路 ６６：ローパス・フ
ィルタ ６８：減算器 ７０：書画カメラ選択検出回路
７２：画像符号化制御回路10: Camera 12: Document camera 14: Image input interface 16: Monitor 18: Image output interface 20: Selective combining circuit 22: Image encoding / decoding circuit 22a: Image encoding circuit 22b: Image decoding circuit 24: Handset 26: Microphone 28: Speaker 30: Voice input / output interface 32: Voice coding / decoding circuit 32a: Voice coding circuit 32b: Voice decoding circuit 34: Line interface 36: Demultiplexing / multiplexing circuit 38: System control circuit
39: Operating device 40: Input terminal 42: Coding mode selection circuit 44: DCT circuit 46: Quantization circuit 4
8: Variable length coding circuit 50: Transmission buffer 52: Output terminal 54: Inverse quantization circuit 56: Inverse DCT circuit 5
8: Adder 60: Frame memory for motion compensation 62: Motion vector detection circuit 64: Motion compensation circuit 66: Low-pass filter 68: Subtractor 70: Document camera selection detection circuit 72: Image coding control circuit

Claims (1)

【特許請求の範囲】[Claims] 【請求項１】 画質及び動きに関し異なる優先レベルの
複数の符号化モードを外部設定自在な画像符号化装置で
あって、入力画像が静止画であることを検出する手段
と、当該検出手段の検出出力に応じて、外部設定に関わ
らず画質優先の所定符号化モードで入力画像を符号化す
る符号化手段とを設けたことを特徴とする画像符号化装
置。1. An image encoding apparatus capable of externally setting a plurality of encoding modes having different priority levels with respect to image quality and motion, said means for detecting that the input image is a still image, and the detection means. An image encoding apparatus, comprising: an encoding unit that encodes an input image in a predetermined encoding mode in which image quality is prioritized regardless of external settings.