JPH0638186A

JPH0638186A - 画像符号化装置

Info

Publication number: JPH0638186A
Application number: JP4193990A
Authority: JP
Inventors: Hiroki Horikoshi; 宏樹堀越
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1992-07-21
Filing date: 1992-07-21
Publication date: 1994-02-10

Abstract

(57)【要約】【目的】静止画を高画質で送信し、そのための手間を
軽減する。【構成】書画カメラの選択時には（Ｓ１）、利用者の
設定に関わらず画質優先モードでの画像処理（画像符号
化）を行なう（Ｓ６）。書画カメラが選択されていない
場合には（Ｓ１）、利用者の設定に応じて、標準モード
の設定時には（Ｓ２）、標準モードで画像処理し（Ｓ
４）、動き優先モードの設定時には（Ｓ３）、動き優先
モードで画像処理し（Ｓ５）、画質優先モードの設定時
には（Ｓ３）、画質優先モードで画像処理する（Ｓ
６）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像符号化装置に関
し、より具体的には、テレビ電話やテレビ会議の画像通
信のための画像符号化装置に関する。

【０００２】

【従来の技術】テレビ会議システムでは、会議参加者の
撮影画像（動画像）を送信するのならず、グラフや図形
などの会議資料（静止画）を送信する場合もあり、送信
モード又は符号化モードとして、画質（空間解像度）及
び動きに対する追従性（時間解像度）を共に考慮する標
準モードの他に、画質を優先する画質優先モードと、動
き追従性を優先する動き優先モードを備え、これらを使
用者（会議参加者等）が利用者の嗜好性や画像の特性に
応じて選択できるようにした端末装置も提案されてい
る。

【０００３】なお、画質と動き追従性のどちらを優先す
るかにより、画面内及び画面間符号化、量子化特性及び
フレーム・レートなどが決定される。

【０００４】例えば、量子化特性については、量子化ス
テップ・サイズを細かく設定すれば画質は向上するが、
有意データが増加し、伝送ビット数が増加する。逆に、
量子化ステップ・サイズを大きく設定すれば発生データ
量は減少するが、画質が劣化する。また、ＣＣＩＴＴ勧
告Ｈ．２６１によれば、１フレームを符号化する際に発
生するビット数には上限があり、画像の高精細化のため
の量子化特性の改善にも限界がある。動きに対する画質
の劣化も考慮すると、フレーム・レートを制御（例え
ば、駒落としなど）する必要がある。

【０００５】画質の高精細化は伝送ビット数の増加を意
味し、フレーム・レートの減少につながる。画質（空間
解像度）と動き追従性（時間解像度）は相反するもので
あり、高画質を追求すると、必然的に動き追従性は悪化
する。

【０００６】動画像を送信するのか、静止画を送信する
のかに応じて、使用者がその都度、符号化モードを選択
するのは面倒なので、符号化前に入力画像の特性（静止
画、動画、シーン・チェンジ場面かなど）を調べ、適応
的に符号化モードを選択する画像符号化装置が提案され
ている。

【０００７】

【発明が解決しようとする課題】しかし、符号化モード
を適応的に選択する従来例では、例えば会議資料を撮影
するカメラが振れている場合、当該カメラからの入力画
像を、動きを優先した符号化モードで符号化してしまう
という欠点がある。即ち、動画像と誤解してしまう。

【０００８】本発明は、このような不都合を解消した画
像符号化装置を提示することを目的とする。

【０００９】

【課題を解決するための手段】本発明に係る画像符号化
装置は、画質及び動きに関し異なる優先レベルの複数の
符号化モードを外部設定自在な画像符号化装置であっ
て、入力画像が静止画であることを検出する手段と、当
該検出手段の検出出力に応じて、外部設定に関わらず画
質優先の所定符号化モードで入力画像を符号化する符号
化手段とを設けたことを特徴とする。

【００１０】

【作用】上記手段により、利用者の特別な操作無しに、
上記符号化手段が、静止画である入力画像を画質優先の
所定符号化モードで符号化する。これにより、利用者の
操作負担が軽減される。

【００１１】

【実施例】以下、図面を参照して本発明の実施例を説明
する。

【００１２】図１は、本発明の一実施例の概略構成ブロ
ック図であり、図２は、本実施例を組み込んだ画像通信
装置の概略構成ブロック図を示す。

【００１３】先ず、図２を説明する。１０は会議参加者
を撮影するカメラ、１２は図面などの会議資料を撮影す
る書画カメラ、１４はカメラ１０，１２の出力を選択
し、所定の内部形式に変換する画像入力インターフェー
ス、１６は画像表示するモニタ、１８はモニタ１６に画
像信号を供給する画像出力インターフェースである。

【００１４】モニタ１６としては、単独の画像表示装置
でも複数の画像表示装置でもよく、更には、単独の画像
表示装置でもウインドウ・システムにより複数の画像を
別々のウインドウに表示できるものであってもよい。

【００１５】２０はカメラ１０，１２による入力画像及
び受信画像を選択及び合成して画像出力インターフェー
ス１８に供給する選択合成回路、２２は、送信すべき画
像信号を符号化する画像符号化回路２２ａと、受信した
符号化画像信号を復号化する画像復号化回路２２ｂから
なる画像符号化復号化回路である。

【００１６】２４はマイク及びスピーカからなるハンド
セット、２６はマイク、２８はスピーカ、３０はハンド
セット２４、マイク２６及びスピーカ２８に対する音声
入出力インターフェースである。音声入出力インターフ
ェース３０は、ハンドセット２４、マイク２６及びスピ
ーカ２８の音声入出力を切り換えるだけでなく、エコー
・キャンセル処理、並びに、ダイヤルトーン、呼出音、
ビジー・トーン及び着信音などのトーンの生成処理を行
なう。３２は、送信すべき音声信号を符号化する音声符
号化回路３２ａと、受信した符号化音声信号を復号化す
る音声復号化回路３２ｂからなる音声符号化復号化回路
である。

【００１７】３４は通信回線（例えば、ＩＳＤＮ回線）
の回線インターフェース、３６は、画像符号化回路２２
ａ及び音声符号化回路３２ａからの送信すべき符号化情
報を多重化して回線インターフェース３４に供給すると
共に、回線インターフェース３４から供給される受信情
報から符号化画像情報と符号化音声情報を分離し、それ
ぞれ画像復号化回路２２ｂ及び音声復号化回路３２ｂに
供給する分離多重化回路である。

【００１８】３８は全体、特に画像入力インターフェー
ス１４、画像出力インターフェース１８、選択合成回路
２０、画像符号化復号化回路２２、音声入出力インター
フェース３０、音声符号化復号化回路３２及び分離多重
化回路３６を制御するシステム制御回路、３９はシステ
ム制御回路３８に使用者が所定の指示を入力するための
操作装置（例えば、テン・キーやキーボード等）であ
る。

【００１９】図２に示す実施例における画像信号及び音
声信号の流れを簡単に説明する。カメラ１０及び書画カ
メラ１２による入力画像は画像入力インターフェース１
４により選択され、その一方が選択合成回路２０に入力
する。選択合成回路２０は通常、カメラ１０，１２によ
る入力画像をそのまま画像符号化復号回路２２の符号化
回路２２ａに出力する。画像符号化回路２２ａは、詳細
は後述するが、システム制御回路３８からの制御信号及
び内部決定に従う符号化モードで入力画像信号を符号化
し、分離多重化回路３６に出力する。

【００２０】他方、ハンドセット２４のマイク又はマイ
ク２６による入力音声信号は音声入出力インターフェー
ス３０を介して音声符号化復号化回路３２の音声符号化
回路３２ａに入力し、符号化されて分離多重化回路３６
に印加される。

【００２１】分離多重化回路３６は、符号化回路２２
ａ，３２ａからの符号化信号を多重化し、回線インター
フェース３４に出力する。回線インターフェース３４は
分離多重化回路３６からの信号を、接続する通信回線に
出力する。

【００２２】通信回線から受信した信号は回線インター
フェース３４から分離多重化回路３６に供給される。分
離多重化回路３６は、受信信号から符号化画像信号と符
号化音声信号を分離し、それぞれ画像復号化回路２２ｂ
及び音声復号化回路３２ｂに印加する。画像復号化回路
２２ｂは、分離多重化回路３６からの符号化画像信号を
復号し、選択合成回路２０に印加する。

【００２３】選択合成回路２０はシステム制御回路３８
からの制御信号に従い、画像入力インターフェース１４
からの入力画像と、画像復号化回路２２ｂからの受信画
像を選択合成し、画像出力インターフェース１８に出力
する。選択合成回路２０は、合成処理として例えば、ピ
クチャー・イン・ピクチャーやウインドウ表示システム
における対応ウインドウへのはめ込みなどを行なう。画
像モニタ１６は画像出力インターフェース１８からの画
像信号を画像表示する。これにより、入力画像及び／又
は受信画像がモニタ１６の画面に表示される。

【００２４】音声符号化回路３２ｂにより復号された受
信音声信号は音声入出力インターフェース３０を介して
ハンドセット２４のスピーカ及び／又はスピーカ２８に
印加される。これにより、通信相手からの音声を聞くこ
とができる。

【００２５】なお、画像及び音声以外のコマンドなどで
通信相手に送信するものは、システム制御回路３８から
分離多重化回路３６に直接供給され、受信したコマンド
は分離多重化回路３６からシステム制御回路３８に直接
供給される。

【００２６】次に、図１を詳細に説明する。図１は、図
２の画像符号化回路２２ａに相当する。なお、本実施例
では、画面毎に前フレーム（予測値）との差分を符号化
するＩＮＴＥＲモードと、差分をとらずにその画面内で
符号化するＩＮＴＲＡモードを選択できる。例えば、動
きや時間方向で動きの少ない画像や静止画ではＩＮＴＥ
Ｒモードを使用し、動きの大きな画像や、動きが少ない
画像でもシーン・チェンジの際にはＩＮＴＲＡモードを
使用する。また、発生する符号化データ量に応じて量子
化ステップ・サイズも変更し、必要により駒落とし（フ
レーム・スキップ）を行なう。

【００２７】図１において、４０は選択合成回路２０か
らの画素データが入力する入力端子、４２は、入力端子
４０からの画素値と当該画素値の予測誤差との間のエネ
ルギー比較結果及び外部制御信号に従い、ＩＮＴＲＡモ
ード又はＩＮＴＥＲモードを選択する符号化モード選択
回路である。符号化モード選択回路４２は、ＩＮＴＲＡ
モードでは入力端子４０からの画素値をそのまま出力
し、ＩＮＴＥＲモードでは、その符号化ブロックである
マクロブロック単位で予測値（前フレーム）との差分
（予測誤差）を出力する。

【００２８】４４は、符号化モード選択回路４２の出力
を離散コサイン変換し、ＤＣＴ係数データを出力するＤ
ＣＴ回路、４６は、ＤＣＴ回路４４から出力されるＤＣ
Ｔ係数データを、指定された量子化ステップ・サイズで
量子化する量子化回路、４８は、量子化回路４６の出力
を可変長符号化する可変長符号化回路、５０は可変長符
号化回路４８の出力をバッファリングする送信バッフ
ァ、５２は送信バッファ５０の出力を分離多重化回路３
６に接続する出力端子である。

【００２９】５４は、量子化回路４６の出力を逆量子化
する逆量子化回路、５６は逆量子化回路５４の出力を逆
離散コサイン変換する逆ＤＣＴ回路である。５８は、Ｉ
ＮＴＥＲモードで逆ＤＣＴ回路５６の出力に予測値を加
算して出力し、ＩＮＴＲＡモードでは逆ＤＣＴ回路５６
の出力をそのまま出力する加算器である。６０は、動き
補償フレーム間予測のためのフレーム・メモリであり、
加算器５８の出力（局部復号値）を記憶する。

【００３０】６２は、入力端子４０から入力する画像信
号とフレーム・メモリ６０に記憶される前フレームの画
像信号とをマクロブロック単位で比較して動きベクトル
を検出する動きベクトル検出回路、６４は、動きベクト
ル検出回路６２により検出された動きベクトルに従い、
フレーム・メモリ６０からの前フレームのデータをマク
ロブロック単位で画面内で移動させて動きを相殺する動
き補償回路、６６は動き補償回路６４の出力をマクロブ
ロック単位でフィルタリングするローパス・フィルタで
ある。フィルタ６６の出力がフレーム間予測の予測値に
なり、加算器５８及び減算器６８に印加される。減算器
６８は、入力端子４０からの画素データとフィルタ６６
の出力（予測値）との予測誤差を算出して、符号化モー
ド選択回路４２に供給する。

【００３１】７０は、システム制御回路３８が画像送信
する画像として書画カメラ１２による入力画像を選択し
たことを検出する書画カメラ選択検出回路、７２は、シ
ステム制御回路３８からの符号化に関する制御信号、書
画カメラ選択検出回路７０の検出出力、及び送信バッフ
ァ５０からのバッファ蓄積量信号に従い、符号化モード
選択回路４２、量子化回路４６、可変長符号化回路４
８、及び送信バッファ５０を主に制御する画像符号化制
御回路である。システム制御回路３８からの符号化に関
する制御信号には、画質（空間解像度）優先、動き追従
性（時間解像度）優先、又はこれらの中間かを指定する
信号などがある。

【００３２】図１の動作を説明する。入力端子４０には
選択合成回路２０（図１）から、例えばＣＣＩＴＴ勧告
Ｈ．２６１に従う共通フォーマット（ＣＩＦ又はＱＣＩ
Ｆ）で画像データが入力する。入力端子４０に入力する
画像データは符号化モード選択回路４２、減算器６８及
び動きベクトル検出回路６２に印加される。

【００３３】減算器６８は、入力端子４０からの画素デ
ータと、フィルタ６６から出力される予測値との差分
（予測誤差）を算出し、符号化モード選択回路４２に印
加する。符号化モード選択回路４２は、入力端子４０か
らの画素値と、減算器６８からの予測誤差とをエネルギ
ー比較し、その比較結果及び画像符号化制御回路７２か
らの制御信号に従い符号化モードを選択する。そして、
ＩＮＴＲＡモードでは入力端子４０からの入力画素値を
そのままＤＣＴ回路４４に出力し、ＩＮＴＥＲモードで
は、入力端子４０からの画素値と減算器６８からの予測
誤差をＤＣＴ回路４４に出力する。

【００３４】ＤＣＴ回路４４は、符号化モード選択回路
４２からのデータをブロック単位で離散コサイン（ＤＣ
Ｔ）変換し、ＤＣＴ係数データを量子化回路４６に出力
する。量子化回路４６は、画像符号化制御回路７２から
の量子化特性制御信号により指定される量子化ステップ
・サイズで、ＤＣＴ回路４４からのＤＣＴ係数データを
量子化する。可変長符号化回路４８は、画像符号化制御
回路７２からの符号化制御信号に従い有意ブロックを判
定し、量子化ＤＣＴ係数をＣＣＩＴＴ勧告Ｈ．２６１に
従って可変長符号化する。

【００３５】送信バッファ５０は、可変長符号化回路４
８による可変長符号化データをバッファリングして出力
端子５２を介して分離多重化回路３６に出力すると共
に、バッファ蓄積量を画像符号化制御回路７２に伝達す
る。送信バッファ５０と出力端子５２との間に誤り訂正
符号化回路を接続してもよい。

【００３６】逆量子化回路５４は、量子化回路４６で選
択されたのと同じ量子化ステップ・サイズで、量子化回
路４６の出力を逆量子化し、ＤＣＴ係数の代表値を出力
する。逆ＤＣＴ回路５６は、逆量子化回路５６の出力を
逆離散コサイン変換する。加算器５８は、ＩＮＴＥＲモ
ードでは、逆ＤＣＴ回路５６の出力に予測値（フィルタ
６６の出力）を加算し、ＩＮＴＲＡモードでは逆ＤＣＴ
回路５６の出力をそのまま出力する。加算器５８の出力
は、フレーム・メモリ６０に格納される。

【００３７】フレーム・メモリ６０は少なくとも２フレ
ーム分の記憶容量を具備し、加算器５８の出力画素値
（即ち、局部復号値）を記憶する。動きベクトル検出回
路６２は、入力端子４０からの現フレームの画素データ
とフレーム・メモリ６０に記憶される前フレームの画素
データとを比較し、画像の動きを検出する。具体的に
は、現フレームの処理中のマクロブロック付近を動きベ
クトル・サーチ・ウインドウとして前フレームの画素デ
ータをフレーム・メモリ６０から読み出し、ブロック・
マッチング演算して動きベクトルを検出する。

【００３８】動き補償回路６４は、動きベクトル検出回
路６２で検出された動きベクトルに従い、その動きを相
殺するようにフレーム・メモリ６０からの前フレームの
画素データを画面方向に移動する。フィルタ６６は、動
き補償回路６４により動き補償された前フレームの画素
データに対し、ブロック境界における不連続性を緩和す
るフィルタ処理を施し、処理データを減算器６８及び加
算器５８に予測値として供給する。

【００３９】書画カメラ選択検出回路７０は、システム
制御回路３８によるカメラ１０又は書画カメラ１２の選
択を常時監視しており、書画カメラ１２の選択を検出す
ると、検出信号を画像符号化制御回路７２に出力する。

【００４０】画像符号化制御回路７２は、システム制御
回路３８からの利用者設定の画質制御信号、送信バッフ
ァ５０のデータ蓄積量、及び書画カメラ選択検出回路７
０の検出出力に応じて、画像符号化の全般を制御する。
具体的には、送信バッファ５０がオーバーフローしない
ように、送信バッファ５０のデータ蓄積量を基に、入力
画像の変化、シーン・チェンジ及び通信者の画質設定に
応じて適応的に、量子化回路４６の量子化ステップ・サ
イズ、符号化モード選択回路４２におけるモード選択、
可変長符号化回路４８における有意ブロック判定、及び
駒落とし（フレーム・スキップ）を制御する。

【００４１】なお、動きや変化の少ない画像は、現フレ
ームと前フレームが非常に似ているので、前フレームと
の差分を符号化するＩＮＴＥＲモードを用いることで、
その時間冗長度を削減できる。他方、動きが大きい画像
やシーン・チェンジの際にはフレーム間相関が小さいの
で、同一フレーム内で符号化するＩＮＴＲＡモードを用
いる。

【００４２】量子化特性に関しては、先に説明したよう
に、量子化ステップ・サイズを小さくする程、画質は向
上するが、有意データが増加するので、伝送ビット数の
増加につながる。他方、量子化ステップ・サイズを多く
すると、伝送データ量は減少するが、画質が劣化する。
そこで、送信バッファ５０のデータ蓄積量を常時監視
し、適宜に効率的に量子化ステップ・サイズを設定す
る。また、発生する符号化ビット数に応じて駒落とし
（フレーム・スキップ）処理を行ない、フレーム・レー
トを調節する。

【００４３】入力画像の特性は、符号化モード選択回路
４２における入力値と予測誤差値とのエネルギー比較の
他に、書画カメラ１２の入力画像の選択やシーン・チェ
ンジによっても判断できる。シーン・チェンジは、例え
ば、ＩＮＴＲＡモードの選択比率などにより検出でき
る。

【００４４】図３に示すフローチャートを参照して、書
画カメラ選択検出回路７０の検出出力に対する画像符号
化制御回路７２の動作を説明する。先ず、書画カメラ選
択検出回路７０の出力を調べる（Ｓ１）。そして、書画
カメラ１２が選択されている場合には、利用者の設定に
関わらず、画質優先モードでの画像処理、即ち画像符号
化を行なう（Ｓ６）。

【００４５】書画カメラ１２が選択されていない場合に
は（Ｓ１）、システム制御回路３８からの利用者設定の
画質制御信号が標準モード、動き優先モード又は画質優
先モードの何れであるかを調べ（Ｓ２，３）、標準モー
ドのときには（Ｓ２）、標準モードで画像処理し（Ｓ
４）、動き優先モードのときには（Ｓ３）、動き優先モ
ードで画像処理し（Ｓ５）、画質優先モードのときには
（Ｓ３）、画質優先モードで画像処理する（Ｓ６）。

【００４６】このように、本実施例では、書画カメラ選
択検出回路７０の検出結果に従い、利用者の設定に関わ
らず画質優先の符号化を行なう。なお、書画カメラの入
力画像の伝送用に、画質優先の専用の符号化モードを設
けてもよいことはいうまでもない。

【００４７】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、利用者の特別な操作無しに、図形
やグラフなどの静止画を画質優先で符号化するので、利
用者の操作負担が軽減される。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成ブロック図であ
る。

【図２】本実施例を組み込んだ画像通信装置の概略構
成ブロック図である。

【図３】本実施例の動作フローチャートである。

【符号の説明】

１０：カメラ１２：書画カメラ１４：画像入力イン
ターフェース１６：モニタ１８：画像出力インター
フェース２０：選択合成回路２２：画像符号化復号
化回路２２ａ：画像符号化回路２２ｂ：画像復号化
回路２４：ハンドセット２６：マイク２８：スピ
ーカ３０：音声入出力インターフェース３２：音声符号化復号化回路３２ａ：音声符号化回路
３２ｂ：音声復号化回路３４：回線インターフェー
ス３６：分離多重化回路３８：システム制御回路
３９：操作装置４０：入力端子４２：符号化モード
選択回路４４：ＤＣＴ回路４６：量子化回路４
８：可変長符号化回路５０：送信バッファ５２：出
力端子５４：逆量子化回路５６：逆ＤＣＴ回路５
８：加算器６０：動き補償用フレーム・メモリ６２：動きベクト
ル検出回路６４：動き補償回路６６：ローパス・フ
ィルタ６８：減算器７０：書画カメラ選択検出回路
７２：画像符号化制御回路

Claims

【特許請求の範囲】

【請求項１】画質及び動きに関し異なる優先レベルの
複数の符号化モードを外部設定自在な画像符号化装置で
あって、入力画像が静止画であることを検出する手段
と、当該検出手段の検出出力に応じて、外部設定に関わ
らず画質優先の所定符号化モードで入力画像を符号化す
る符号化手段とを設けたことを特徴とする画像符号化装
置。