JPH11317951A - データ符号化装置、データ符号化方法及びデータ伝送方法 - Google Patents

データ符号化装置、データ符号化方法及びデータ伝送方法

Info

Publication number
JPH11317951A
JPH11317951A JP12153298A JP12153298A JPH11317951A JP H11317951 A JPH11317951 A JP H11317951A JP 12153298 A JP12153298 A JP 12153298A JP 12153298 A JP12153298 A JP 12153298A JP H11317951 A JPH11317951 A JP H11317951A
Authority
JP
Japan
Prior art keywords
data
image data
encoding
pixels
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP12153298A
Other languages
English (en)
Other versions
JP3560217B2 (ja
Inventor
Takashi Kojima
尚 小嶋
Hideki Koyanagi
秀樹 小柳
Shigeto Funato
成人 船戸
Yoshihiro Murakami
芳弘 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP12153298A priority Critical patent/JP3560217B2/ja
Priority to US09/292,650 priority patent/US6628713B1/en
Publication of JPH11317951A publication Critical patent/JPH11317951A/ja
Application granted granted Critical
Publication of JP3560217B2 publication Critical patent/JP3560217B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】本発明は、画像の変化に係わらず常に高画質な
符号化データを生成するようにする。 【解決手段】本発明は、入力された画像データにおける
隣接する２つのフレーム間差分を算出すると共に当該フ
レーム間の動きベクトルを算出し、当該フレーム間差分
及び動きベクトルに基づいて画像データを符号化すると
共に動きベクトルを符号化する場合、画像データにおけ
る隣接する２つのフレーム間差分に基づいて当該画像デ
ータのシーンチエンジを検出し、画像データの特徴量を
算出し、当該特徴量が所定の閾値を越えていた場合に検
出されたシーンチエンジに基づく所定のタイミングで画
像データの画素数を所定の変換比率で削減し、画素数の
削減された画像データに応じて減少した分の画像データ
の動きを表す動きベクトルの符号量を、画像データの符
号量に割り当てたことによつて得られる符号発生量にな
るように画像データ及び動きベクトルを符号化する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はデータ符号化装置、
データ符号化方法及びデータ伝送方法に関し、例えば画
像データを圧縮符号化するデータ符号化装置、データ符
号化方法及びデータ伝送方法に適用して好適なものであ
る。
【０００２】
【従来の技術】従来、画像データを光磁気デイスクや磁
気テープ等の記録媒体にデイジタルデータとして記録す
る場合や所定の伝送媒体を介して画像データを伝送する
場合に、画像データの情報量を減らして記録及び伝送す
る方法として種々の圧縮符号化方法が提案されており、
その代表的なものにＭＰＥＧ２(Moving Picture Expert
s Group Phase 2)と呼ばれる方式がある。かかるＭＰＥ
Ｇ２方式を用いて画像データを圧縮符号化し、地上波又
は衛星波を介して放送するデイジタル放送システムが今
日では開始されている。
【０００３】このＭＰＥＧ２方式の圧縮符号化方法で
は、１５フレームからなる画像データをＧＯＰ(Group O
f Picture)と呼ばれる１つの処理単位としてエンコード
するようになされている。例えば図１３（Ａ）及び
（Ｂ）に示すように、１つのＧＯＰ（フレームＦＯ〜Ｆ
１４）にはＩピクチヤ(Intra-Picture :フレーム内符号
化画像）と、Ｐピクチヤ(Predictive-Picture : フレー
ム間順方向予測符号化画像）と、Ｂピクチヤ(Bidirecti
onally Predictive-Picture : 双方向予測符号化画像）
とがある。
【０００４】Ｉピクチヤは、ＧＯＰの独立性を保つため
のものであり、その画面全体が符号化されるものである
（イントラ符号化）。Ｐピクチヤは、時間的に過去に存
在するＩピクチヤ又はＰピクチヤを予測するために用い
ることにより順方向に予測符号化されるものである（順
方向予測符号化）。Ｂピクチヤは、時間的に過去及び未
来に存在するＩピクチヤ又はＰピクチヤを用いて双方向
から予測符号化されるものである（双方向予測符号
化）。
【０００５】ところで図１４に示すように、伝送すべき
一連のピクチヤにシーンチエンジがあると、シーンＡと
シーンＢとは絵柄が大きく異なるためにシーンチエンジ
前の参照画像を基にシーンチエンジ後のフレーム画像を
予測したとしても、その予測したフレーム画像と参照画
像との差分データには極めて大きな誤差が含まれること
になつて画質が劣化してしまう。さらに、その画質の劣
化したフレーム画像を参照画像として用いて他のフレー
ム画像を圧縮符号化すると、画質がさらに劣化してしま
う。
【０００６】このようなことを防止するために、図１５
に示すようにシーンチエンジの時点でシーンＡのＧＯＰ
２を終了させ、シーンチエンジ後のシーンＢからはＩピ
クチヤを挿入して新たなＧＯＰ３を開始させることによ
り、ＧＯＰ２のフレーム画像を参照画像として用いず
に、シーンチエンジ後のＧＯＰ３におけるＩピクチヤを
参照画像として予測符号化処理することができ、かくし
て画質劣化の伝搬を防止するようになされている。
【０００７】ここで、シーンチエンジ検出を行うデータ
符号化装置の構成を図１６に示す。図１６において、デ
ータ符号化装置１００は画像データＤ１００をシーンチ
エンジ検出回路１０１及び遅延回路１０３にそれぞれ入
力する。
【０００８】シーンチエンジ検出回路１０１は、例えば
連続した２つのフレーム間における輝度の絶対値差分和
を算出し、例えば図１７に示すようにＧＯＰ２における
フレームＦ５のＰピクチヤ及びフレームＦ６のＢピクチ
ヤ間における輝度の絶対値差分和が所定の閾値を越えて
いた場合に、シーンＡからシーンＢへとシーンチエンジ
したものと判断し、このときシーンチエンジ情報データ
Ｄ１０１をピクチヤタイプ決定回路１０２に送出する。
【０００９】ピクチヤタイプ決定回路１０２は、シーン
チエンジ前のフレーム画像を参照フレームとしてシーン
チエンジ後のフレーム画像を予測して符号化することに
より生じる画質劣化の伝搬を防止するため、シーンチエ
ンジ後のフレーム画像を符号化する際にはピクチヤタイ
プ（例えば図１７のＧＯＰ３におけるＩピクチヤを参照
フレームとなるように）を指定し、その指定データＤ１
０２をデータ符号化装置５０に送出する。
【００１０】一方、遅延回路１０３に入力された画像デ
ータＤ１００は、シーンチエンジ検出回路１０１及びピ
クチヤタイプ決定回路１０２が処理を行つている間の時
間分だけ遅延され、データ符号化装置５０に指定情報デ
ータＤ１０２が供給されるタイミングと同期して画像デ
ータＤ１００が供給される。
【００１１】ここでデータ符号化装置５０は、図１８に
示すように画像データＤ１００をプリフイルタ５１に入
力する。プリフイルタ５１は、量子化レート制御部５５
から供給される周波数特性制御信号Ｓ５５に応じて画像
データＤ１００を帯域制限することにより当該画像デー
タＤ１００の高域成分を削減し、帯域制限画像データＤ
５１として画素数変換部５２に送出する。
【００１２】画素数変換部５２は、帯域制限画像データ
Ｄ５１に対して画素数変換処理を施す。すなわち画素数
変換部５２は、画像データＤ１００の水平方向の画素数
を水平画素数Ｍとし垂直方向の画素数を垂直画素数Ｎと
すると、当該画像データＤ１００を帯域制限してなる帯
域制限画像データＤ５１の水平画素数Ｍ及び垂直画素数
Ｎを、ｍ＜Ｍ及びｎ＜Ｎの関係を満たす水平画素数ｍ及
び垂直画素数ｎに削減し、これを画素数変換画像データ
Ｄ５２として符号化部５３に送出する。
【００１３】ここで水平画素数ｍ及び垂直画素数ｎは、
画像データＤ１００の画像内容に応じて高画質を要求さ
れる画像内容においては大きな値に、高画質を要求され
ない画像内容においては小さな値に設定される。
【００１４】符号化部５３は、画素数変換画像データＤ
５２に対して動き補償処理、ＤＣＴ(Discrete Cosine T
ransform :離散コサイン変換）処理、量子化処理及びＶ
ＬＣ(Variable Length Coding : 可変長符号化）処理を
施すことにより圧縮符号化し、可変長符号化データＤ５
３として送信バツフア５４に送出する。このとき符号化
部５３は、量子化レート制御部５５から供給される量子
化制御信号Ｓ５６に基づいて量子化処理における量子化
ステツプサイズを調整する。
【００１５】また符号化部制御部５７は、ピクチヤタイ
プ決定回路１０２から供給される指定データＤ１０２に
基づくピクチヤタイプや符号化タイミング及び動き補償
処理における動きベクトル探索範囲を符号化部制御情報
Ｄ５７として符号化部５３に供給するようになされてお
り、これにより当該符号化部５３は当該符号化部制御情
報Ｄ５７に基づいてピクチヤタイプや符号化タイミング
及び動き補償処理における動きベクトル探索範囲を設定
するようになされている。
【００１６】ここで可変長符号化データＤ５３からなる
各フレーム毎の符号発生量は、画像データＤ１００の画
像内容に応じて変動する。このため符号化部５３は、送
信バツフア５４における可変長符号化データＤ５３の占
有量に基づいて量子化処理の量子化ステツプサイズ及び
プリフイルタ５１における帯域制限を制御し、可変長符
号化データＤ５３を送信バツフア５４に複数フレーム分
蓄積した後、一定期間例えばＧＯＰ当たりの符号発生量
を一定に制御した固定長符号化データＤ５０として出力
する。
【００１７】すなわち量子化レート制御部５５は、送信
バツフア５４における可変長符号化データＤ５３のバツ
フア蓄積状態を常に監視しており、かかる蓄積状態を占
有率情報Ｓ５４として得ることにより、当該占有率情報
Ｓ５４を基に量子化制御信号Ｓ５６及び周波数特性制御
信号Ｓ５５を生成し、これを符号化部５３及びプリフイ
ルタ５１に供給する。かくして符号化部５３は、一定期
間当たりの符号発生量を一定に制御した固定長符号化デ
ータＤ５０を生成するようになされている。
【００１８】
【発明が解決しようとする課題】ところでかかる構成の
データ符号化装置１００においては、図１９に示すよう
にシーンチエンジしたタイミングでＧＯＰ２を終了さ
せ、新たにＩピクチヤを挿入してＧＯＰ３を開始する。
またデータ符号化装置１００は、データ符号化装置５０
の画素数変換部５２において画像の動き量が大きくて前
のフレーム画像との差分値が所定の閾値よりも大きくな
ると、そのタイミング（画素数切り換え点）で画素数を
削減する。
【００１９】このようにデータ符号化装置１００におい
ては、シーンチエンジするタイミングと画素数を削減す
るタイミングとが異なつており、連続した同一シーン
（シーンＡ）の中で動き量の大きなフレーム画像の画素
数が削減されて画枠が小さくなると、視聴者は同一シー
ンの中であるだけに画質の変化に敏感に気付いてしまつ
て違和感を覚えるといつた問題があつた。
【００２０】本発明は以上の点を考慮してなされたもの
で、画像の変化に係わらず常に高画質な符号化データを
生成し得るデータ符号化装置、データ符号化方法及びデ
ータ伝送方法を提案しようとするものである。
【００２１】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、入力された画像データにおける隣
接する２つのフレーム間差分を算出すると共に当該フレ
ーム間の動きベクトルを算出し、当該フレーム間差分及
び動きベクトルに基づいて画像データを符号化すると共
に動きベクトルを符号化する場合、画像データにおける
隣接する２つのフレーム間差分に基づいて当該画像デー
タのシーンチエンジを検出し、画像データの特徴量を算
出し、当該特徴量が所定の閾値を越えていた場合に検出
されたシーンチエンジに基づく所定のタイミングで画像
データの画素数を所定の変換比率で削減し、画素数の削
減された画像データに応じて減少した分の画像データの
動きを表す動きベクトルの符号量を、画像データの符号
量に割り当てたことによつて得られる符号発生量になる
ように画像データ及び動きベクトルを符号化するように
する。
【００２２】検出されたシーンチエンジに基づく所定の
タイミングで画素数を削減することにより、画素数を削
減するタイミングとシーンチエンジのタイミングとを関
連付けることができ、これにより画質の劣化を防止した
高画質な符号化データを生成することができる。
【００２３】入力された画像データにおける隣接する２
つのフレーム間差分を算出すると共に当該フレーム間の
動きベクトルを算出し、当該フレーム間差分及び動きベ
クトルに基づいて画像データを符号化すると共に動きベ
クトルを符号化する場合、画像データにおける隣接する
２つのフレーム間差分に基づいて当該画像データのシー
ンチエンジを検出し、画像データの画素数を変換するこ
となく画像データ及び動きベクトルを符号化処理するこ
とにより第１の符号化データを生成すると共に、画像デ
ータの特徴量に基づいて画像データの画素数を所定の変
換比率で削減して画素数変換された変換データに応じて
減少した分の画像データの動きを表す動きベクトルの符
号量を、上記画像データの符号量に割り当てたことによ
つて得られる符号発生量になるように画像データ及び動
きベクトルを符号化することにより第２の符号化データ
を生成し、第１の符号化データ及び第２の符号化データ
の画質を判別し、当該判別結果に基づいて第２の符号化
データを選択した場合に、シーンチエンジに基づく所定
のタイミングで当該第２の符号化データを出力するよう
にする。
【００２４】第２の符号化データの画質が第１の符号化
データよりも良好なために当該第２の符号化データが選
択された場合、シーンチエンジに基づく所定のタイミン
グで出力するようにしたことにより、第２の符号化デー
タを出力するタイミングとシーンチエンジのタイミング
とを関連付けることができ、これにより画枠の変化によ
る違和感や画質の劣化を防止した高画質な符号化データ
を生成することができる。
【００２５】
【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。
【００２６】（１）第１の実施の形態 図１において１は全体として本発明の第１の実施の形態
におけるデータ符号化装置を示し、画像データＤ９を第
１の遅延回路１０及びシーンチエンジ検出回路１１にそ
れぞれ送出する。第１の遅延回路１０は、シーンチエン
ジ検出回路１１によるシーンチエンジ検出を行つている
間の時間分だけ画像データＤ９を遅延させ、これを画像
データＤ１０として第２の遅延回路３及び画素数変換手
段としての画素数変換部２にそれぞれ送出する。
【００２７】第２の遅延回路３は、画像データＤ１０を
所定時間分遅延させた後にスイツチ回路４を介して再び
画素数変換部２に送出すると共にエンコーダ５に送出す
る。画素数変換部２は、画像データＤ１０の画素数を所
定の変換比率で削減し、これを画素数変換された画像デ
ータＤ１０´としてエンコーダ５に送出する。
【００２８】ここで符号化手段としてのエンコーダ５
は、図２に示すように入力される画像データＤ１０（又
は画像データＤ１０´）を参照画像、前（過去）方向画
像又は後（未来）方向画像の種類別にフレーム単位でフ
レームメモリ１０に格納する。因みに、この場合フレー
ムを構成する画枠の大きさとしては、Ｍ(1920)画素×Ｎ
(1080)画素のサイズが用いられている。
【００２９】なお画像データＤ１０（又は画像データＤ
１０´）は、予め前処理部（図示せず）において、各フ
レーム画像について設定されたシーケンスに応じてＩピ
クチヤ、Ｐピクチヤ又はＢピクチヤの３つの画像タイプ
のうち、どの画像タイプとして処理するかを指定した
後、当該画像タイプに応じてフレーム画像を符号化する
順番に並び換え、さらに当該フレーム画像を１６画素×
１６画素の輝度信号及び当該輝度信号に対応する色差信
号（ＣB 、ＣR ）によつて構成されるマクロブロツクに
分割することにより生成されたデータである。
【００３０】フレームメモリ１０は、格納された画像デ
ータＤ１０を画像タイプに応じて読み出し、これをマク
ロブロツクデータＤ１１として予測符号化部１１及び動
きベクトル検出部１２にそれぞれ送出する。
【００３１】動きベクトル検出部１２は、マクロブロツ
クデータＤ１１の各マクロブロツクの動きベクトルを、
当該マクロブロツクデータＤ１１とフレームメモリ１３
に記憶されている後（未来）方向及び又は前（過去）方
向の参照画像データＤ１８とに基づいて算出し、これを
動きベクトルデータＤ１２として動き補償部１４及びＶ
ＬＣ(Variable Length Coding : 可変長符号化）部１７
にそれぞれ送出する。
【００３２】予測符号化部１１は、マクロブロツクデー
タＤ１１の各マクロブロツクの画像タイプに基づいてイ
ントラモード、順方向予測モード、逆方向予測モード又
は双方向予測モードのいずれかの予測モードの動き補償
を行う。ここでイントラモードとは、符号化対称となる
フレーム画像をそのまま伝送データとして伝送する方法
であり、順方向予測モードとは、符号化対称となるフレ
ーム画像と前（過去）方向予測画像との予測残差を伝送
データとして伝送する方法である。
【００３３】また逆方向予測モードとは、符号化対称と
なるフレーム画像と後（未来）方向予測画像との予測残
差を伝送データとして伝送する方法であり、双方向予測
モードとは、符号化対称となるフレーム画像と前（過
去）方向予測画像及び後（未来）方向予測画像の２つの
予測画像の平均値との予測残差を伝送データとして伝送
する方法である。
【００３４】まずマクロブロツクデータＤ１１がＩピク
チヤである場合について説明する。この場合マクロブロ
ツクデータＤ１１は、イントラモードで処理される。す
なわち予測符号化部１１は、マクロブロツクデータＤ１
１のマクロブロツクをそのまま演算データＤ１３として
スイツチ３０を介してＤＣＴ(Discrete Cosine Transfo
rm :離散コサイン変換 )部１５に送出する。
【００３５】ＤＣＴ部１５は、演算データＤ１３に対し
てＤＣＴ変換処理を施してＤＣＴ係数化し、これをＤＣ
Ｔ係数データＤ１４として量子化部１６に送出する。量
子化部１６は、ＤＣＴ係数データＤ１４に対して量子化
処理を施し、これを量子化ＤＣＴ係数データＤ１５とし
てＶＬＣ部１７及び逆量子化部１９にそれぞれ送出す
る。
【００３６】このとき量子化部１６は、量子化スケール
設定部２２より供給される量子化制御信号Ｓ１１に応じ
て量子化処理における量子化ステツプサイズを調整する
ことにより、量子化ＤＣＴ係数データＤ１５の符号発生
量を制御するようになされている。
【００３７】逆量子化部１９は、量子化ＤＣＴ係数デー
タＤ１５に対して逆量子化処理を施し、これをＤＣＴ係
数データＤ１６として逆ＤＣＴ部２０に送出する。逆Ｄ
ＣＴ部２０は、ＤＣＴ係数データＤ１６に対して逆ＤＣ
Ｔ処理を施し、これを演算データＤ１７として演算器２
１に送出し、当該演算データＤ１７をそのまま参照画像
データＤ１８としてフレームメモリ１３に記憶する。
【００３８】次にマクロブロツクデータＤ１１がＰピク
チヤである場合について説明する。この場合予測符号化
部１１は、マクロブロツクデータＤ１１についてイント
ラモード又は順方向予測モードのいずれかの予測モード
による動き補償処理を行う。
【００３９】予測モードがイントラモードの場合、上述
のＩピクチヤの場合と同様に予測符号化部１１は、マク
ロブロツクデータＤ１１のマクロブロツクをそのまま演
算データＤ１３としてＤＣＴ部１５に送出する。演算デ
ータＤ１３は、上述のＩピクチヤの場合と同様にＤＣＴ
部１５〜演算器２１までの処理が施され、参照画像デー
タＤ１８としてフレームメモリ１３に記憶される。
【００４０】予測モードが順方向予測モードの場合、予
測符号化部１１はマクロブロツクデータＤ１１について
動き補償部１４より供給される順方向予測画像データＤ
１４Ｆを用いて演算器３１により減算処理する。ここで
順方向予測画像データＤ１４Ｆは、フレームメモリ１３
に記憶されている参照画像データＤ１８を動きベクトル
データＤ１２に応じて動き補償することにより算出され
る。
【００４１】すなわち動き補償部１４は、順方向予測モ
ードにおいてフレームメモリ１３の読出アドレスを動き
ベクトルデータＤ１２に応じたアドレス位置にずらして
参照画像データＤ１８を読み出し、これを順方向予測画
像データＤ１４Ｆとして演算器３１及び演算器２１にそ
れぞれ供給する。演算器３１は、マクロブロツクデータ
Ｄ１１から順方向予測画像データＤ１４Ｆを減算して予
測残差としての差分データを得、これを演算データＤ１
３としてスイツチ３０を介してＤＣＴ部１５に送出す
る。
【００４２】演算データＤ１３は、ＤＣＴ部１５におい
てＤＣＴ変換処理が施され、さらに量子化部１６におい
て量子化処理が施され、これを量子化ＤＣＴ変換データ
Ｄ１５としてＶＬＣ部１７及び逆量子化部１９にそれぞ
れ送出される。このときも量子化部１６は、量子化スケ
ール設定部２２より供給される量子化制御信号Ｓ１１に
応じて量子化処理における量子化ステツプサイズを調整
することにより、量子化ＤＣＴ変換データＤ１５の符号
発生量を制御する。
【００４３】逆量子化部１９に送出された量子化ＤＣＴ
変換データＤ１５は、逆量子化処理が施され、これをＤ
ＣＴ変換データＤ１６として逆ＤＣＴ部２０に送出され
る。ＤＣＴ変換データＤ１６は、逆ＤＣＴ部２０におい
て逆ＤＣＴ処理が施され、演算データＤ１７として演算
器２１に送出される。ここで、演算器２１には動き補償
部１４より順方向予測画像データＤ１４Ｆが供給されて
おり、当該演算器２１は演算データＤ１７に当該順方向
予測画像データＤ１４Ｆを加算することにより参照画像
データＤ１８（Ｐピクチヤ）を局部再生し、これをフレ
ームメモリ１３に記憶する。
【００４４】次にマクロブロツクデータＤ１１がＢピク
チヤである場合について説明する。この場合予測符号化
部１１は、マクロブロツクデータＤ１１についてイント
ラモード、順方向予測モード、逆方向予測モードまたは
双方向予測モードのいずれかの予測モードによる動き補
償処理を行う。
【００４５】予測モードがイントラモード又は順方向予
測モードの場合、マクロブロツクデータＤ１１は上述の
Ｐピクチヤの場合と同様の処理を受けるが、Ｂピクチヤ
は参照画像として用いられないためにフレームメモリ１
３には記憶されない。
【００４６】予測モードが逆方向予測モードの場合、予
測符号化部１１はマクロブロツクデータＤ１１について
動き補償処理部１４から供給される逆方向予測画像デー
タＤ１４Ｂを用いて減算処理する。ここで逆方向予測画
像データＤ１４Ｂは、フレームメモリ１３に記憶されて
いる参照画像データＤ１８を動きベクトルデータＤ１２
に応じて動き補償することにより算出される。
【００４７】すなわち動き補償部１４は、逆方向予測モ
ードにおいてフレームメモリ１３の読出アドレスを動き
ベクトルデータＤ１２に応じたアドレス位置にずらして
参照画像データＤ１８を読み出し、これを逆方向予測画
像データＤ１４Ｂとして演算器３２及び演算器２１に供
給する。演算器３２は、マクロブロツクデータＤ１１か
ら逆方向予測画像データＤ１４Ｂを減算して予測残差と
しての差分データを得、これを演算データＤ１３として
スイツチ３０を介してＤＣＴ部１５に送出する。
【００４８】演算データＤ１３は、ＤＣＴ部１５におい
てＤＣＴ変換処理が施され、さらに量子化部１６におい
て量子化処理が施され、これを量子化ＤＣＴ変換データ
Ｄ１５としてＶＬＣ部１７及び逆量子化部１９に送出さ
れる。このときも量子化部１６は、量子化スケール設定
部２２より供給される量子化制御信号Ｓ１１に応じて量
子化処理における量子化ステツプサイズを調整すること
により、量子化ＤＣＴ変換データＤ１５の符号発生量を
制御する。
【００４９】逆量子化部１９に送出された量子化ＤＣＴ
変換データＤ１５は、逆量子化処理が施され、これをＤ
ＣＴ変換データＤ１６として逆ＤＣＴ部２０に送出され
る。ＤＣＴ変換データＤ１６は、逆ＤＣＴ部２０におい
て逆ＤＣＴ処理が施され、演算データＤ１７として演算
器２１に送出される。
【００５０】ここで、演算器２１には動き補償部１４よ
り逆方向予測画像データＤ１４Ｂが供給されており、当
該演算器２１は演算データＤ１７に当該逆方向予測画像
データＤ１４Ｂを加算することにより参照画像データＤ
１８（Ｂピクチヤ）を局部再生するが、Ｂピクチヤは他
の予測参照画像として用いられないのでこの場合の参照
画像データＤ１８がフレームメモリ１３に記憶されるこ
とはない。
【００５１】予測モードが双方向モードの場合、予測符
号化部１１はマクロブロツクデータＤ１１から動き補償
部１４より供給される順方向予測画像データＤ１４Ｆ及
び逆方向予測画像データＤ１４Ｂの平均値を減算して予
測残差としての差分データを得、これを演算データＤ１
３としてＤＣＴ部１５に送出する。
【００５２】演算データＤ１３は、ＤＣＴ部１５におい
てＤＣＴ変換処理が施され、さらに量子化部１６におい
て量子化処理が施され、これを量子化ＤＣＴ変換データ
Ｄ１５としてＶＬＣ部１７及び逆量子化部１９に送出さ
れる。このときも量子化部１６は、量子化スケール設定
部２２より供給される量子化制御信号Ｓ１１に応じて量
子化処理における量子化ステツプサイズを調整すること
により、量子化ＤＣＴ変換データＤ１５の符号発生量を
制御する。
【００５３】逆量子化部１９に送出された量子化ＤＣＴ
変換データＤ１５は、逆量子化処理が施され、これをＤ
ＣＴ変換データＤ１６として逆ＤＣＴ部２０に送出され
る。ＤＣＴ変換データＤ１６は、逆ＤＣＴ部２０におい
て逆ＤＣＴ処理が施され、演算データＤ１７として演算
器２１に送出される。
【００５４】ここで、演算器２１には動き補償部１４よ
り順方向予測画像データＤ１４Ｆ及び逆方向予測画像デ
ータＤ１４Ｂが供給されており、当該演算器２１は演算
データＤ１７に当該順方向予測画像データＤ１４Ｆ及び
逆方向予測画像データＤ１４Ｂの平均値を加算すること
により参照画像データＤ１８（Ｂピクチヤ）を生成する
が、Ｂピクチヤは他の予測参照画像として用いられない
のでこの場合も参照画像データＤ１８がフレームメモリ
１３に記憶されることはない。
【００５５】かくしてエンコーダ５に入力された画像デ
ータＤ１０（又は画像データＤ１０´）は、動き補償処
理、ＤＣＴ処理及び量子化処理が施され、量子化ＤＣＴ
係数データＤ１５としてＶＬＣ部１７に供給される。Ｖ
ＬＣ部１７は、量子化ＤＣＴ係数データＤ１５及び動き
ベクトルデータＤ１２に対して可変長符号化処理を施
し、これを可変長符号化データＤ２０として送信バツフ
ア１８に送出する。送信バツフア１８は、可変長符号化
データＤ２０を所定時間分蓄積した後に一定期間単位
（ＧＯＰ毎）の固定長符号化データＤ２１として出力す
るようになされている。
【００５６】これに対して画素数変換部２に送出された
画像データＤ１０は、動き検出回路６に入力される。動
き検出回路６は、画像データＤ１０のフレーム画像を１
６画素×１６画素の輝度信号及び当該輝度信号に対応す
る色差信号（ＣB 、ＣR ）によつて構成されるマクロブ
ロツクに分割する。
【００５７】そして動き検出回路６は、分割された複数
のマクロブロツクの中から１つの参照ブロツクを選び出
し、これが１つ前のフレーム画像に設定されたサーチエ
リア内に存在する多数の候補ブロツクの中のどれと最も
似ているかを輝度の差分値を算出することにより調べ
（以下、この手法をブロツクマツチング法と呼ぶ）、最
も類似度の高い候補ブロツクとの位置のずれを動きベク
トルとして検出する。
【００５８】さらに動き検出回路６は、上述の動きベク
トルの検出処理を各マクロブロツク毎に全て実行し、各
マクロブロツク毎に検出した動きベクトルを全て加算す
ることにより動きベクトルの絶対値和をフレーム毎に算
出し、これをフレーム画像の特徴量を表す動きベクトル
データＤ２２として画素数決定回路７に送出する。
【００５９】画素数決定回路７は、動きベクトルデータ
Ｄ２２すなわち動きベクトルの絶対値和が所定の閾値を
越えていた場合には、そのフレーム画像の動き量が大き
いと判断することができる。この場合エンコーダ５によ
つてフレーム画像をこのままの画素数で符号化処理した
のでは情報量が多くなり過ぎてしまうために、量子化ス
テツプサイズを大きな値に設定し直して量子化しなけれ
ばならないが、これに伴つて画質も劣化してしまう。
【００６０】従つて画素数決定回路７は、このような場
合にフレーム画像の画素数を変更する必要があると判断
し、このとき予め設定された画素数に変換するための変
換信号Ｓ１２を画素数変換回路８に送出すると共に、ス
イツチ回路４の出力先をエンコーダ５側から画素数変換
回路８側に切り換えるための切換信号Ｓ１３をスイツチ
回路４に送出する。
【００６１】すなわち画素数決定回路７は、例えば図３
に示すようにフレームＦ０〜Ｆ１４毎に順次算出した動
きベクトルデータＤ２２を所定の閾値と比較し、その結
果フレームＦ９以降の動きベクトルの絶対値和が所定の
閾値を越えていたことを検出したときに、フレームＦ０
〜フレームＦ８とフレームＦ９〜フレームＦ１４との間
で画像に大きな動きがあつたものと判断する。
【００６２】このとき画素数決定回路７は、Ｍ(1920)画
素×Ｎ(1080)画素の画素数でなる画枠のフレーム画像を
予め設定されたｍ(1440)画素×ｎ(720) 画素の画素数で
なる画枠のフレーム画像に変更するための変換信号Ｓ１
２を画素数変換回路８に送出する。
【００６３】ところで第２の遅延回路３においては、動
き検出回路６及び画素数決定回路７において画素数の変
更を決定するまでの時間分だけ遅延させたタイミングで
画像データＤ１０をフレーム毎に出力するようになされ
ており、これにより画像データＤ１０がスイツチ回路４
を介して画素数変換回路８に入力されるタイミングと同
期して、画素数決定回路７から画素数変換回路８に変換
信号Ｓ１２を入力するようになされている。
【００６４】画素数変換回路８は、変換信号Ｓ１２に基
づいて画像データＤ１０を予め設定されているｍ(1440)
画素×ｎ(720) 画素の画素数に変換し、これを画素数変
換された画像データＤ１０´としてエンコーダ５に送出
するようになされている。
【００６５】この場合図４に示すように、Ｍ(1920)画素
×Ｎ(1080)画素の画素数でなるフレーム画像がｍ(1440)
画素×ｎ(720) 画素の画素数でなるフレーム画像に変換
されることにより、全体のマクロブロツク数がＫ個から
ｋ個に減少するようになされており、これに伴つて画像
自体も小さくなる。従つて画素数変換されたフレーム画
像の画像データＤ１０´は、マクロブロツク数がＫ個か
らｋ個に減少すると共に動きベクトルの大きさ自体も動
きベクトルＭＶから動きベクトルｍｖへと小さくなる。
【００６６】また図５に示すように、画素数変換される
前のフレーム画像（画像データＤ１０）と画素数変換さ
れた後のフレーム画像（画像データＤ１０´）とでは、
変換前と変換後で全体のマクロブロツク数が減少するこ
とにより、１つのマクロブロツクが表示する画像部分の
大きさが変化する。すなわち、画素数変換された後のマ
クロブロツクが表示する画像部分は粗くなる。
【００６７】このとき画素数変換された後のマクロブロ
ツクが表示する画像部分は粗くなつているが、元々の画
像データＤ１０そのもののデータの冗長度が高いために
画素数をある程度減少させても画質が低下することはな
い。
【００６８】また画素数変換回路８は、画素数をｍ(144
0)画素×ｎ(720) 画素に変換した時点でこれまでのＭ(1
920)画素×Ｎ(1080)画素の画素数でなるフレーム画像の
ビツトストリームが終了することを意味するシーケンス
エンドコードと、次に新たにビツトストリームを開始さ
せるシーケンスヘツダ情報をシーケンス制御信号Ｓ１４
としてエンコーダ５の前処理部（図示せず）に送出する
ようになされている。
【００６９】ところでエンコーダ５においては、画像デ
ータＤ１０（又は画像データＤ１０´）を符号化して固
定長符号化データＤ２１を生成する際、図６に示すよう
に予めＧＯＰデータを構成するビツトストリームの前段
にシーケンスヘツダ情報を書き込むと共に、ＧＯＰデー
タを構成するビツトストリームの後段にシーケンスヘツ
ダ情報と同一のビツト数で全て「０」でなるシーケンス
エンドコードを書き込むようになされている。
【００７０】これによりエンコーダ５では、前処理部の
制御によつて図７に示すように画素数変換された画像デ
ータＤ１０´を符号化する際には、画素数変換される前
のＧＯＰにおける例えばＦ８のフレーム画像（Ｐピクチ
ヤ）を参照画像として用いることなくＦ９以降の例えば
Ｆ１１のＩピクチヤを参照画像として符号化処理するよ
うになされている。これによりエンコーダ５は、画素数
変換前のフレーム画像を参照画像として画素数変換後の
フレーム画像を符号化処理するような誤動作を防止する
ことができる。
【００７１】実際上、画素数変換回路８が画素数を削減
する場合には画素数変換前のＭ(1920)画素をｍ(1440)画
素に変換するためその変換比率は３：２になつている。
従つて画素数変換回路８は、Ｍ(1920)画素を２倍にアツ
プレートしてその後１／２にデシメート（間引く）する
ことによりオーバサンプリングするようになされてい
る。
【００７２】例えば図８に示すようにフレーム画像の画
素（ピクセル）Ｎと画素Ｎ＋１と画素Ｎ＋２を基に２倍
にアツプレートすることにより画素数を２倍（６個）に
増やし、その後種類の異なる画素（画素Ｎと画素Ｎ＋
１、画素Ｎ＋１と画素Ｎ＋２）を含む数画素単位で平均
値を算出することにより新たな画素（Ｎ）´と新たな画
素（Ｎ＋１）´を生成するようになされている。これに
より３：２の変換比率で画素数を削減することができ
る。因みに、Ｎ(1080)画素をｎ( 720)画素に変換する場
合も同様である。
【００７３】このようにして画素数変換された画像デー
タＤ１０´は、画素数の減少に伴つてマクロブロツク数
も減少することにより、エンコーダ５において符号化す
る際の動きベクトルの符号発生量も減少している。従つ
てエンコーダ５から出力される固定長符号化データＤ２
１（図６）は、画素数変換前と画素数変換後の符号発生
量が共に一定であるため、エンコーダ５においてはマク
ロブロツク数の減少に伴う動きベクトルの符号量の減少
分をＤＣＴ係数データＤ１４の符号量に割り当てること
ができる。
【００７４】この結果として量子化スケール設定部２２
は、画素数変換前に行われていた量子化ステツプＡより
も細かい量子化ステツプａで画素数変換後のＤＣＴ係数
データＤ１４を量子化し得ることにより、ＤＣＴ係数デ
ータＤ１４の係数値を増大させてＤＣＴ空間における解
像度の低下を防止した固定長符号化データＤ２１を生成
し得るようになされている。
【００７５】ところでシーンチエンジ検出回路１１は、
画像データＤ９に基づいて隣合う２つのフレーム画像間
の輝度の絶対値差分和を算出し、当該輝度の絶対値差分
和が所定の閾値を越えていた場合にシーンチエンジがあ
つたものと判断し（図１７）、このときシーンチエンジ
検出データＤ１１を画素数変換部２の画素数決定回路７
及びピクチヤ決定回路１２にそれぞれ送出する。
【００７６】画素数決定回路７は、動き検出回路６から
供給される動きベクトルデータＤ２２が所定の閾値を越
えていた場合に画素数を変更する必要性があると判断す
るが、シーンチエンジ検出データＤ１１を供給されたと
きに限つて切換信号Ｓ１３をスイツチ回路４に送出する
と共に、変換信号Ｓ１２を画素数変換回路８に送出する
ようになされている。
【００７７】すなわち画素数変換部２においては、シー
ンチエンジ検出回路１１からシーンチエンジ検出データ
Ｄ１１を供給されたときにのみ、当該シーンチエンジ検
出データＤ１１に基づいて画像データＤ１０´を画素数
変換してエンコーダ５に送出するようになされている。
従つて画素数決定回路７においては、シーンチエンジ検
出データＤ１１が供給されるまでは切換信号Ｓ１３をス
イツチ回路４に送出することはないので、この場合には
画素数変換することなく画像データＤ１０をそのままエ
ンコーダ５に送出する。
【００７８】ピクチヤ決定回路１２は、図９に示すよう
にシーンチエンジ検出データＤ１１に基づいてシーンチ
エンジ後のＧＯＰ３におけるフレーム画像を符号化処理
する際、前のＧＯＰ２のフレーム画像を参照フレームと
して用いないようにピクチヤタイプを指定する指定デー
タＤ１２をエンコーダ５の前処理部（図示せず）に供給
するようになされている。
【００７９】これによりエンコーダ５は、シーンチエン
ジ後のフレーム画像を予測符号化する際にシーンチエン
ジ前のフレーム画像を参照画像として用いることなく、
例えばシーンチエンジ後のＧＯＰ３におけるＩピクチヤ
を参照画像として予測符号化することができ、かくして
画質劣化の伝搬を防止し得るようになされている。
【００８０】以上の構成において、データ符号化装置１
はシーンチエンジ検出回路１１によつてシーンチエンジ
を検出したときにシーンチエンジ検出データＤ１１を画
素数変換部２に供給する。このとき画素数変換部２で
は、動きベクトルデータＤ２２に基づいて画素数を削減
する必要性が生じていた場合でも、シーンチエンジ検出
データＤ１１の供給を受けるまでは画素数変換すること
なく待ち、当該シーンチエンジ検出データＤ１１の供給
を受けたときのタイミングで画素数を所定の変換比率で
削減し、これを画像データＤ１０´としてエンコーダ５
に出力する。
【００８１】エンコーダ５は、シーンチエンジしたとき
のタイミングで画素数の削減された画像データＤ１０´
を基に符号化処理し、固定長符号化データＤ２１として
出力する。これによりデータ符号化装置１は、シーンＡ
がＧＯＰ２で終了してシーンＢがＧＯＰ３によつて開始
するシーンチエンジのタイミングと同期して画像データ
Ｄ１０の画素数を削減して画枠を変更することができる
（図９）。
【００８２】このようにデータ符号化装置１は、シーン
チエンジのタイミングと画像データＤ１０の画素数を変
換するタイミングとを同期させたことにより、同一シー
ンの中で画枠が変更されることなく、シーンチエンジし
たときに画枠が変更されることになり、視聴者にとつて
は画質の変化に気付き難く違和感を感じることがなくな
つて大変見やすくなる。
【００８３】また、この場合の画像データＤ１０´は、
画素数が削減された分だけマクロブロツクデータＤ１１
のマクロブロツク数が減少し、この結果動きベクトルの
符号発生量が減少する。すなわち画素数の削減量に応じ
てマクロブロツク数が減少して個々のマクロブロツクが
表示する画像部分が大きくなる（密度が粗くなる）こと
により、動きベクトルを表すのに必要な画素数が減少す
ることになる。
【００８４】従つて画素数を減少した場合、元の画素数
削減前のフレーム画像の動きベクトルが大きければ大き
い程、画素数削減後のフレーム画像の動きベクトルの符
号発生量が減少する割合も大きくなる。これによりデー
タ符号化装置１は、画像が大きく動いたような例えばシ
ーンチエンジした場合に動きベクトルの符号発生量が減
少する分をＤＣＴ係数データＤ１４の符号発生量に割り
当てることにより、量子化ステツプサイズを小さくして
符号化処理することができる。
【００８５】かくしてデータ符号化装置１は、シーンチ
エンジしたような場合には画像が大きく変化するために
シーンチエンジ後のフレーム画像の画素数を削減し、マ
クロブロツク数の減少に応じて減少した動きベクトルの
符号発生量の分だけＤＣＴ係数データＤ１４の符号発生
量に割り当て、量子化ステツプサイズを小さくして符号
化処理することにより、ＤＣＴ係数データＤ１４の係数
値を増大させてＤＣＴ空間における解像度の低下を防止
することができる。
【００８６】このようにデータ符号化装置１は、シーン
チエンジしたタイミングで画像データＤ１０の画素数を
削減し、これに伴つて量子化ステツプサイズを小さくし
て符号化処理することにより、画質の劣化を防止して高
画質な固定長符号化データＤ２１を生成することができ
る。
【００８７】以上の構成によれば、データ符号化装置１
はシーンチエンジするタイミングと画像データＤ１０の
画素数を削減するタイミングとを同期させ、画素数変換
された画像データＤ１０´を符号化処理することによ
り、同一シーンの中では画枠の変更を行わずにシーンチ
エンジするときのタイミングで画枠を変更することがで
き、かくして視聴者に対して画枠の変更に伴う見た目の
不自然さや違和感を取り除いた高画質な固定長符号化デ
ータＤ２１を生成することができる。
【００８８】（２）第２の実施の形態 図１との対応部分に同一符号を付して示す図１０におい
て、７０は本発明の第２の実施の形態におけるデータ符
号化装置を示し、画像データＤ９を第１の遅延回路１０
及びシーンチエンジ検出回路１１にそれぞれ送出する。
【００８９】第１の遅延回路１０は、シーンチエンジ検
出回路１１によるシーンチエンジ検出を行つている間の
時間分だけ画像データＤ９を遅延させ、これを画像デー
タＤ１０として画素数変換部２及び第１の符号化手段と
しての第１のエンコーダ７１にそれぞれ送出する。
【００９０】画素数変換部２は、画像データＤ１０の画
素数を予め定められた変換比率で削減し、これを画素数
変換された画像データＤ１０´として第２のエンコーダ
７６に送出する。
【００９１】ここで画素数変換部２は、図１との対応部
分に同一符号を付した図１１に示すように画像データＤ
１０を動き検出回路６及び第２の遅延回路３にそれぞれ
入力する。動き検出回路６は、画像データＤ１０のフレ
ーム画像を１６画素×１６画素の輝度信号及び当該輝度
信号に対応する色差信号（ＣB 、ＣR ）によつて構成さ
れるマクロブロツクに分割する。
【００９２】そして動き検出回路６は、分割された複数
のマクロブロツクの中から１つの参照ブロツクを選び出
し、これが１つ前のフレーム画像に設定されたサーチエ
リア内に存在する多数の候補ブロツクの中のどれと最も
似ているかを輝度の差分値を算出することにより調べ
（以下、この手法をブロツクマツチング法と呼ぶ）、最
も類似度の高い候補ブロツクとの位置のずれを動きベク
トルとして検出する。
【００９３】さらに動き検出回路６は、上述の動きベク
トル検出処理を各マクロブロツク毎に全て実行し、各マ
クロブロツク毎に検出した動きベクトルを全て加算する
ことにより動きベクトルの絶対値和をフレーム毎に算出
し、これをフレーム画像の特徴量を表す動きベクトルデ
ータＤ２２として画素数決定回路７に送出する。
【００９４】画素数決定回路７は、動きベクトルデータ
Ｄ２２すなわち動きベクトルの絶対値和が所定の閾値を
越えていた場合には、そのフレーム画像の動き量が大き
いと判断することができる。この場合、第２の符号化手
段としての第２のエンコーダ７６によつてフレーム画像
をこのままの画素数で符号化処理したのでは情報量が多
くなり過ぎてしまうために、量子化ステツプサイズを大
きな値に設定し直して量子化しなければならないが、こ
れに伴つて画質も劣化してしまう。
【００９５】従つて画素数決定回路７は、このような場
合にフレーム画像の画素数を削減する必要があると判断
し、このとき予め設定された画素数に変換するための変
換信号Ｓ１２を画素数変換回路８に送出する。
【００９６】画素数変換回路８は、Ｍ(1920)画素×Ｎ(1
080)画素の画素数でなる画枠のフレーム画像を予め設定
されたｍ(1440)画素×ｎ(720) 画素の画素数でなる画枠
のフレーム画像に変更するための変換信号Ｓ１２を画素
数変換回路８に送出する。
【００９７】ところで第２の遅延回路３においては、動
き検出回路６及び画素数決定回路７において画素数の変
更を決定するまでの時間分だけ遅延させたタイミングで
画像データＤ１０をフレーム毎に出力するようになされ
ており、これにより画像データＤ１０が画素数変換回路
８に入力されるタイミングと同期して、画素数決定回路
７から画素数変換回路８に変換信号Ｓ１２を入力するよ
うになされている。
【００９８】画素数変換回路８は、変換信号Ｓ１２に基
づいて画像データＤ１０を予め設定されているｍ(1440)
画素×ｎ(720) 画素の画素数に変換し、これを画素数変
換された画像データＤ１０´として第２のエンコーダ７
６に送出するようになされている。
【００９９】また画素数変換回路８は、画素数をｍ(144
0)画素×ｎ(720) 画素に変換した時点で、これまでのＭ
(1920)画素×Ｎ(1080)画素の画素数でなるフレーム画像
のビツトストリームが終了することを意味するシーケン
スエンドコードと、次に新たにビツトストリームを開始
させるシーケンスヘツダ情報をシーケンス制御信号Ｓ１
４として第２のエンコーダ７６の前処理部（図示せず）
に送出するようになされている。
【０１００】これにより第２のエンコーダ７６では、シ
ーケンス制御信号Ｓ１４に基づく前処理部の制御によつ
て新たに画素数変換されたＧＯＰにおける画像データＤ
１０´を符号化する際に、画素数変換される前のＧＯＰ
におけるフレーム画像を参照画像として用いることなく
画素数変換された後のＧＯＰにおけるフレーム画像を参
照画像として符号化処理するようになされている。従つ
て第２のエンコーダ７６は、画素数変換前のフレーム画
像を参照画像として用いて画素数変換後のフレーム画像
を符号化処理するような誤動作を防止することができ
る。
【０１０１】実際上、画素数変換回路８が画素数を削減
する場合には画素数変換前のＭ(1920)画素をｍ(1440)画
素に変換するためその変換比率は３：２になつている。
従つて画素数変換回路８は、Ｍ(1920)画素を２倍にアツ
プレートしてその後１／２にデシメートすることにより
オーバサンプリングするようになされている。
【０１０２】このようにして画素数変換された画像デー
タＤ１０´は、画素数の減少に伴つてマクロブロツク数
も減少することにより、第２のエンコーダ７６において
符号化する際の動きベクトルの符号発生量も減少してい
る。従つて第２のエンコーダ７６から出力される固定長
符号化データＤ２１´の符号発生量は一定であるため、
マクロブロツク数の減少に伴う動きベクトルの符号量の
減少分をＤＣＴ係数データの符号量に割り当てることが
できる。
【０１０３】この結果として第２のエンコーダ７６は、
画素数変換前に行われていた量子化ステツプよりも細か
い量子化ステツプで画素数変換後のＤＣＴ係数データを
量子化し得ることにより、ＤＣＴ係数データの係数値を
増大させてＤＣＴ空間における解像度の低下を防止した
固定長符号化データＤ２１´を生成して出力し得るよう
になされている。
【０１０４】ここで第１のエンコーダ７１及び第２のエ
ンコーダ７６の構成は、上述の第１の実施の形態におけ
るエンコーダ５の回路構成と同一であるためにここでは
省略する。
【０１０５】第１のエンコーダ７１及び第２のエンコー
ダ７６からそれぞれ出力される固定長符号化データＤ２
１及び固定長符号化データＤ２１´は、第１の同期遅延
回路７２及び第２の同期遅延回路７７にそれぞれ送出さ
れる。第１の同期遅延回路７２及び第２の同期遅延回路
７７は、固定長符号化データＤ２１及び固定長符号化デ
ータＤ２１´にそれぞれ含まれているシーケンスヘツダ
情報を読み取り、これを基に同期信号Ｓ７２及びＳ７７
を生成して互いに交換し合うようになされている。
【０１０６】この場合第１の同期遅延回路７２は、同期
信号Ｓ７２及びＳ７７の時間的なタイミングを合わせる
ために、画素数変換部２における画素数変換処理を実行
している間の時間分だけ固定長符号化データＤ２１を遅
延させることにより、当該固定長符号化データＤ２１及
び固定長符号化データＤ２１´を同期させた状態でビツ
トストリーム切換器７３にそれぞれ送出する。
【０１０７】ところで第１のエンコーダ７１及び第２の
エンコーダ７６からそれぞれ出力される固定長符号化デ
ータＤ２１及び固定長符号化データＤ２１´は、データ
切換部８０の特徴量抽出回路７８にも供給されている。
特徴量抽出回路７８は、固定長符号化データＤ２１及び
固定長符号化データＤ２１´にそれぞれ基づいてフレー
ム毎に信号対雑音比率（Ｓ／Ｎ比）を算出し、その平均
値をＧＯＰ単位でそれぞれ求め、これを画質状態データ
Ｄ７８及びＤ７８´として画素数判断回路７９に送出す
る。
【０１０８】画素数判断回路７９は、画質状態データＤ
７８及びＤ７８´をそれぞれ比較して、Ｓ／Ｎ比の良好
な方の固定長符号化データＤ２１又は固定長符号化デー
タＤ２１´を判断し、その判断結果を切換信号Ｓ７９と
してビツトストリーム切換器７３に送出する。
【０１０９】ビツトストリーム切換器７３は、切換信号
Ｓ７９に基づいて固定長符号化データＤ２１又は固定長
符号化データＤ２１´のうち出力するべきビツトストリ
ームを選択し、当該選択された方のビツトストリームで
なる固定長符号化データＤ２１又は固定長符号化データ
Ｄ２１´を送信バツフア７４に送出する。
【０１１０】ここでビツトストリーム切換器７３は、図
１２（Ａ）及び（Ｂ）に示すように固定長符号化データ
Ｄ２１としてのビツトストリームＡ及び固定長符号化デ
ータＤ２１´としてのビツトストリームＢがそれぞれ入
力されていた場合、ＧＯＰ１とＧＯＰ２との間で切換信
号Ｓ７９が供給されると、例えば図１２（Ｃ）に示すよ
うにＧＯＰ１とＧＯＰ２とが切り換わるタイミングでビ
ツトストリームＡの固定長符号化データＤ２１からビツ
トストリームＢの固定長符号化データＤ２１´に切り換
えて出力するようになされている。
【０１１１】この場合ビツトストリーム切換器７３は、
当初の段階ではビツトストリームＡのＳ／Ｎ比の方がビ
ツトストリームＢのそれよりも良好であつたため、当該
ビツトストリームＡを送信バツフア７４に出力してい
た。
【０１１２】ところが、特徴量抽出回路７８において抽
出された画質状態データＤ７８及びＤ７８´を比較した
ときに、画素数変換されたビツトストリームＢのＳ／Ｎ
比の方がビツトストリームＡのそれよりも良好な値が得
られると、画素数判断回路７９は切換信号Ｓ７９をビツ
トストリーム切換器７３に出力する。これによりビツト
ストリーム切換器７３は、切換信号Ｓ７９に基づいてＧ
ＯＰ１とＧＯＰ２とが切り換わるタイミングでビツトス
トリームＡからビツトストリームＢに切り換えて送信バ
ツフア７４に出力する。
【０１１３】この場合ビツトストリーム切換器７３は、
ビツトストリームＡからビツトストリームＢに切り換え
るときにＧＯＰ１の終わりにシーケンスエンドコードを
書き込み、一旦ビツトストリームＡのシーケンスを終了
させて次のビツトストリームＢのシーケンスを開始させ
て画素数変換されたＧＯＰ２のフレーム画像を送信バツ
フア７４に出力するようになされている。
【０１１４】送信バツフア７４は、ビツトストリームＢ
の固定長符号化データＤ２１´を一旦蓄えた後に出力す
るようになされており、このときのバツフアの占有率情
報Ｓ７４をビツトストリーム切換器７３にフイードバツ
クする。これによりビツトストリーム切換器７３は、占
有率情報Ｓ７４に基づいて送信バツフア７４のデータ占
有率が一定になるように固定長符号化データＤ２１´を
調整して出力するようになされている。
【０１１５】ところで画素数変換部２は、動きベクトル
データＤ２２（図１１）すなわち動きベクトルの絶対値
和が所定の閾値を越えていた場合には、そのフレーム画
像の動き量が大きいと判断して画素数を削減するように
なされているが、そうでない場合には画素数変換するこ
となくそのまま画像データＤ１０として第２のエンコー
ダ７６に出力する。従つて、この場合の特徴量抽出回路
７８から出力される画質状態データＤ７８及びＤ７８´
には差がないので、ビツトストリーム切換器７３は固定
長符号化データＤ２１をそのまま送信バツフア７４に送
出するだけで良い。
【０１１６】一方シーンチエンジ検出回路１１は、画像
データＤ９に基づいて隣合う２つのフレーム画像間の輝
度の絶対値差分和を算出し、当該輝度の絶対値差分和が
所定の閾値を越えていた場合にシーンチエンジがあつた
ものと判断し、このときシーンチエンジ検出データＤ１
１をデータ切換部８０のビツストリーム切換器７３及び
ピクチヤタイプ決定回路１２にそれぞれ送出する。
【０１１７】ビツストリーム切換器７３は、画素数判断
回路７９から供給される切換信号Ｓ７９に基づいて固定
長符号化データＤ２１と固定長符号化データＤ２１´と
を切り換えて送信バツフア７４に出力するようになされ
ているが、シーンチエンジ検出回路１１からシーンチエ
ンジ検出データＤ１１の供給を受けるまでは切換信号Ｓ
７９を無視し、シーンチエンジ検出データＤ１１と切換
信号Ｓ７９とが同一フレームで一致したときに限つてビ
ツトストリームを切り換えて出力するようになされてい
る。
【０１１８】ピクチヤタイプ決定回路１２は、シーンチ
エンジ検出データＤ１１に基づいてシーンチエンジ後の
ＧＯＰ３（図９）におけるフレーム画像を符号化処理す
る際、前のＧＯＰ２のフレーム画像を参照フレームとし
て用いないようにピクチヤタイプを指定する指定データ
Ｄ１２を第１のエンコーダ７１及び第２のエンコーダ７
６の前処理部（図示せず）にそれぞれ供給するようにな
されている。
【０１１９】これにより第１のエンコーダ７１及び第２
のエンコーダ７６は、シーンチエンジ後のフレーム画像
を予測符号化する際にシーンチエンジ前のフレーム画像
を参照画像として用いることなく、例えばシーンチエン
ジ後のＧＯＰ３におけるＩピクチヤを参照画像として予
測符号化することができ、かくして画質劣化の伝搬を防
止し得るようになされている。
【０１２０】以上の構成において、データ符号化装置７
０はシーンチエンジ検出回路１１によつてシーンチエン
ジを検出したときにシーンチエンジ検出データＤ１１を
データ切換部８０に供給する。このときデータ切換部８
０では、画質状態データＤ７８及びＤ７８´に基づいて
ビツストリーム切換器７３においてＳ／Ｎ比の良好な方
のビツトストリームを選択する。
【０１２１】ところがデータ切換部８０は、シーンチエ
ンジ検出データＤ１１の供給を受けるまでは、例え画素
数変換された画像データＤ１０´を基に符号化処理され
た固定長符号化データＤ２１´を出力すべき切換信号Ｓ
７９が供給されていても、画像データＤ１０を基に符号
化処理された固定長符号化データＤ２１を出力する。
【０１２２】すなわちデータ切換部８０においては、画
素数判断回路７９から切換信号Ｓ７９の供給を受けると
共に、シーンチエンジ検出回路１１からシーンチエンジ
検出データＤ１１の供給を受け、当該切換信号Ｓ７９と
シーンチエンジ検出データＤ１１とが同一フレームで一
致したときに限つて、当該シーンチエンジ検出データＤ
１１の供給タイミングで固定長符号化データＤ２１から
固定長符号化データＤ２１´に切り換えて出力する。
【０１２３】このようにデータ符号化装置７０において
は、画素数変換された画像データＤ１０´を基に符号化
処理された固定長符号化データＤ２１´を出力する場合
には、シーンチエンジのタイミングと同期させて出力す
るようにしたことにより、同一シーンの中で画枠が変更
されることなく、シーンチエンジしたときに画枠が変更
されることになり、視聴者にとつては画質の変化に気付
き難く違和感を感じることがなくなつて大変見やすくな
る。
【０１２４】また、この場合の画像データＤ１０´は、
画素数が削減された分だけマクロブロツクデータＤ１１
のマクロブロツク数が減少し、この結果動きベクトルの
符号発生量が減少する。すなわち画素数の削減量に応じ
てマクロブロツク数が減少して個々のマクロブロツクが
表示する画像部分が大きくなる（粗くなる）ことによ
り、動きベクトルを表すのに必要な画素数が減少するこ
とになる。
【０１２５】従つて画素数を減少した場合、元の画素数
削減前のフレーム画像の動きベクトルが大きければ大き
い程、画素数削減後のフレーム画像の動きベクトルの符
号発生量が減少する割合も大きくなる。これによりデー
タ符号化装置７０は、画像が大きく動いたようなシーン
チエンジした場合に動きベクトルの符号発生量が減少す
る分をＤＣＴ係数データの符号発生量に割り当てること
により、量子化ステツプサイズを小さくして符号化処理
することができる。
【０１２６】かくしてデータ符号化装置７０は、シーン
チエンジしたような場合には画像が大きく変化するため
にシーンチエンジ後のフレーム画像の画素数を削減し、
マクロブロツク数の減少に応じて減少した動きベクトル
の符号発生量の分だけＤＣＴ係数データの符号発生量に
割り当て、量子化ステツプサイズを小さくして符号化処
理することにより、ＤＣＴ係数データの係数値を増大さ
せてＤＣＴ空間における解像度の低下を防止することが
できる。
【０１２７】以上の構成によれば、データ符号化装置７
０は画素数のそれぞれ異なる画像データＤ１０又はＤ１
０´をそれぞれ並列的に符号化処理し、出力段階で画質
の良好な方を選択して出力する際、それが画素数変換さ
れた画像データＤ１０´を基に符号化処理された固定長
符号化データＤ２１´であつた場合には、当該固定長符
号化データＤ２１´をシーンチエンジのタイミングで出
力するようにしたことにより、同一シーンの中で画枠が
変更されることなくシーンチエンジしたときに画枠が変
更されるため、視聴者にとつて画枠の変更に伴う見た目
の不自然さや違和感を取り除くことができる。
【０１２８】（３）他の実施の形態 なお上述の第１及び第２の実施の形態においては、画像
の動き量を検出する方法として動き検出回路６において
動きベクトルの絶対値和を所定の閾値と比較するように
した場合について述べたが、本発明はこれに限らず、現
在の処理フレーム画像のマクロブロツク及び参照フレー
ム画像のマクロブロツク間における各画素の輝度の差分
値の総和すなわち輝度値の絶対値差分和を所定の閾値と
比較するようにしても良い。この場合、画素数決定回路
７は輝度値の絶対値差分和が所定の閾値を越えたときに
画像に大きな動きがあつたことを意味するので、このと
きに画素数を変更する変換信号Ｓ１３を画素数変換回路
８に供給するようになされている。
【０１２９】また上述の第１及び第２の実施の形態にお
いては、画像の動き量を検出する方法として動き検出回
路６において動きベクトルの絶対値和を表す動きベクト
ルデータＤ２２を所定の閾値と比較するようにした場合
について述べたが、本発明はこれに限らず、上述のよう
にマクロブロツク毎に検出した輝度値の絶対値差分和に
動きベクトルの絶対値を乗算した乗算結果の絶対値和を
動きベクトルデータＤ２２として用いるようにしても良
い。この場合、画素数変換する際の動きベクトルデータ
Ｄ２２のデータ精度をより向上させることができる。
【０１３０】さらに上述の第１及び第２の実施の形態に
おいては、画素数変換回路８によりＭ(1920)画素×Ｎ(1
080)画素の画素数でなるフレーム画像をｍ(1440)画素×
ｎ(720) 画素の画素数でなるフレーム画像に変換するよ
うにした場合について述べたが、本発明はこれに限ら
ず、所定の変換比率に基づく他の種々の画素数に削減す
るようにしても良い。
【０１３１】さらに上述の第１の実施の形態において
は、シーンチエンジ検出回路１１からシーンチエンジ検
出データＤ１１が画素数変換部２に供給されるまで画像
データＤ１０の画素数を変換しないようにした場合につ
いて述べたが、本発明はこれに限らず、シーンチエンジ
検出データＤ１１が供給されなくても例えば画素数を変
換する必要性が生じてから２ＧＯＰ分の画像データを処
理する時間が経過した時点のタイミングで画素数を変換
するようにしても良い。この場合、シーンチエンジ検出
データＤ１１が供給されなくても、画素数を変換する必
要性が生じていたときに画質の劣化した状態の固定長符
号化データＤ２１を長時間出力し続けることを防止する
ことができる。
【０１３２】さらに上述の第１及び第２の実施の形態に
おいては、画素数決定回路７が動き検出回路６によつて
検出された動きベクトルの絶対値和を基に画素数の変更
を決定するようにした場合について述べたが、本発明は
これに限らず、隣接する２つのフレーム画像間における
色（例えば赤色）の変化の割合を基に画素数の変更を決
定したり、各画素の輝度の絶対値差分和を基に画素数の
変更を決定する等、他の種々の方法で画素数の変更を決
定するようにしても良い。
【０１３３】さらに上述の第１及び第２の実施の形態に
おいては、シーンチエンジ検出回路１１において隣り合
うフレーム画像間における輝度値の絶対値差分和が所定
の閾値を越えた場合にシーンチエンジがあつたものと判
断するようにした場合について述べたが、本発明はこれ
に限らず、過去数フレームの輝度の平均値と現在のフレ
ームの輝度値との変化分に基づいてシーンチエンジを検
出したり、２つのフレーム画像間における色度について
例えば色差信号ＣR の所定時間毎の平均値の変化分に基
づいてシーンチエンジを検出する等の他の種々の方法で
シーンチエンジを検出するようにしても良い。
【０１３４】さらに上述の第１及び第２の実施の形態に
おいては、シーンチエンジ検出回路１１において隣り合
うフレーム画像間における輝度値の絶対値差分和が所定
の閾値を越えた場合にシーンチエンジがあつたものと判
断してシーンチエンジ検出データＤ１１を出力するよう
にした場合について述べたが、本発明はこれに限らず、
閾値のレベルを高く設定することによりコマーシヤル放
送にシーンが変更したときにシーンチエンジ検出データ
Ｄ１１を出力するようにしても良い。
【０１３５】さらに上述の第１及び第２の実施の形態に
おいては、本発明をＭＰＥＧ２方式で符号化処理するデ
ータ符号化装置１及び７０に適用するようにした場合に
ついて述べたが、本発明はこれに限らず、送信バツフア
１８及び７４から出力される固定長符号化データＤ２１
及びＤ２１´を所定の変調方式で変調した後に伝送する
場合に適用しても良い。
【０１３６】さらに上述の第２の実施の形態において
は、シーンチエンジ検出回路１１からシーンチエンジ検
出データＤ１１がビツトストリーム切換器７３に供給さ
れるまでは固定長符号化データＤ２１′を出力しないよ
うにした場合について述べたが、本発明はこれに限ら
ず、シーンチエンジ検出データＤ１１が供給されなくて
も例えば固定長符号化データＤ２１を出力する必要性が
生じたときから２ＧＯＰ分の画像データを処理する時間
が経過した時点のタイミングで固定長符号化データＤ２
１′を出力するようにしてもよい。
【０１３７】さらに上述の第１及び第２の実施の形態に
おいては、本発明をＭＰＥＧ２方式のデータ符号化装置
１及び７０に適用するようにした場合について述べた
が、本発明はこれに限らず、他の種々の符号化方式によ
るデータ符号化装置に本発明を適用するようにしても良
い。
【０１３８】
【発明の効果】上述のように本発明によれば、検出され
たシーンチエンジに基づく所定のタイミングで画素数を
削減することにより、画素数を削減するタイミングとシ
ーンチエンジのタイミングとを関連付けることができ、
かくして画質の劣化や防止した高画質な符号化データを
生成することができる。
【０１３９】第２の符号化データの画質状態が第１の符
号化データよりも良好なために当該第２の符号化データ
が選択された場合、シーンチエンジに基づく所定のタイ
ミングで出力するようにしたことにより、第２の符号化
データを出力するタイミングとシーンチエンジのタイミ
ングとを関連付けることができ、かくして画枠の変化に
よる違和感や画質の劣化や防止した高画質な符号化デー
タを生成することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態におけるデータ符号
化装置の構成を示すブロツク図である。
【図２】エンコーダの構成を示すブロツク図である。
【図３】画素数変更の判断基準の説明に供する略線図で
ある。
【図４】画素数変換の説明に供する略線図である。
【図５】画素数変換後のマクロブロツクを示す略線図で
ある。
【図６】画素数変換前後における符号発生量の違いの説
明に供する略線図である。
【図７】画素数変更点を示す略線図である。
【図８】オーバサンプリングの手法を示す略線図であ
る。
【図９】画素数変更点とシーンチエンジのタイミングを
一致させた状態を示す略線図である。
【図１０】本発明の第２の実施の形態におけるデータ符
号化装置の構成を示すブロツク図である。
【図１１】画素数変換部の構成を示すブロツク図であ
る。
【図１２】ビツトストリームの切り換え処理の説明に供
する略線図である。
【図１３】圧縮符号化方法の説明に供する略線図であ
る。
【図１４】シーンチエンジのタイミングを示す略線図で
ある。
【図１５】画質劣化の伝搬防止の説明に供する略線図で
ある。
【図１６】従来のシーンチエンジ検出を行うデータ符号
化装置の構成を示すブロツク図である。
【図１７】シーンチエンジ検出の説明に供する略線図で
ある。
【図１８】従来のデータ符号化装置の構成を示すブロツ
ク図である。
【図１９】従来の画素数変更点とシーンチエンジのタイ
ミングを示す略線図である。
【符号の説明】
１、７０……データ符号化装置、２……画素数変換部、
３……第２の遅延回路、５……エンコーダ、６……動き
検出回路、７……画素数決定回路、８……画素数変換回
路、１０……第１の遅延回路、７１……第１のエンコー
ダ、７３……ビツトストリーム切換器、７８……特徴量
抽出回路、７９……画素数判断回路。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 村上 芳弘 東京都品川区北品川６丁目７番35号ソニー 株式会社内

Claims (36)

    【特許請求の範囲】
  1. 【請求項１】入力された画像データにおける隣接する２
    つのフレーム間差分を算出すると共に当該フレーム間の
    動きベクトルを算出し、当該フレーム間差分及び動きベ
    クトルに基づいて上記画像データを符号化すると共に上
    記動きベクトルを符号化して出力するデータ符号化装置
    において、 上記画像データにおける隣接する２つのフレーム間差分
    に基づいて当該画像データのシーンチエンジを検出する
    シーンチエンジ検出手段と、 上記画像データの特徴量を算出する特徴量算出手段と、 上記特徴量が所定の閾値を越えていた場合に上記シーン
    チエンジ検出手段の検出結果に基づく所定のタイミング
    で上記画像データの画素数を所定の変換比率で削減する
    画素数変換手段と、 上記画素数の削減された画像データに応じて減少した分
    の上記画像データの動きを表す動きベクトルの符号量
    を、上記画像データの符号量に割り当てたことによつて
    得られる符号発生量になるように上記画像データ及び上
    記動きベクトルを符号化する符号化手段とを具えること
    を特徴とするデータ符号化装置。
  2. 【請求項２】上記画素数変換手段は、上記特徴量が所定
    の閾値を越えて画素数を削減する必要性が生じたときか
    ら、最も早く検出された上記シーンチエンジのタイミン
    グで上記画像データの画素数を所定の変換比率で削減す
    ることを特徴とする請求項１に記載のデータ符号化装
    置。
  3. 【請求項３】上記画素数変換手段は、上記特徴量が所定
    の閾値を越えて画素数を削減する必要性が生じたときか
    ら、上記シーンチエンジが一定時間の間に検出されなか
    つた場合には、上記必要性が生じたときから所定時間経
    過後のタイミングで上記画像データの画素数を所定の変
    換比率で削減することを特徴とする請求項１に記載のデ
    ータ符号化装置。
  4. 【請求項４】上記特徴量算出手段は、上記特徴量を隣接
    する２つのフレーム間において所定範囲で形成される各
    ブロツクの動きベクトルの絶対値和に基づいて算出する
    ことを特徴とする請求項１に記載のデータ符号化装置。
  5. 【請求項５】上記特徴量算出手段は、上記特徴量を隣接
    する２つのフレーム間における色の変化の割合に基づい
    て算出することを特徴とする請求項１に記載のデータ符
    号化装置。
  6. 【請求項６】上記特徴量算出手段は、上記特徴量を隣接
    する２つのフレーム間における輝度の絶対値差分和に基
    づいて算出することを特徴とする請求項１に記載のデー
    タ符号化装置。
  7. 【請求項７】入力された画像データにおける隣接する２
    つのフレーム間差分を算出すると共に当該フレーム間の
    動きベクトルを算出し、当該フレーム間差分及び動きベ
    クトルに基づいて上記画像データを符号化すると共に上
    記動きベクトルを符号化して出力するデータ符号化方法
    において、 上記画像データにおける隣接する２つのフレーム間差分
    に基づいて当該画像データのシーンチエンジを検出し、 上記画像データの特徴量を算出し、 上記特徴量が所定の閾値を越えていた場合に上記検出さ
    れたシーンチエンジに基づく所定のタイミングで上記画
    像データの画素数を所定の変換比率で削減し、 上記画素数の削減された画像データに応じて減少した分
    の上記画像データの動きを表す動きベクトルの符号量
    を、上記画像データの符号量に割り当てたことによつて
    得られる符号発生量になるように上記画像データ及び上
    記動きベクトルを符号化することを特徴とするデータ符
    号化方法。
  8. 【請求項８】上記データ符号化方法は、上記特徴量が所
    定の閾値を越えて画素数を削減する必要性が生じたとき
    から、最も早く検出された上記シーンチエンジのタイミ
    ングで上記画像データの画素数を所定の変換比率で削減
    することを特徴とする請求項７に記載のデータ符号化方
    法。
  9. 【請求項９】上記データ符号化方法は、上記特徴量が所
    定の閾値を越えて画素数を削減する必要性が生じたとき
    から、上記シーンチエンジが一定時間の間に検出されな
    かつた場合には、上記必要性が生じたときか所定時間経
    過後のタイミングで上記画像データの画素数を所定の変
    換比率で削減することを特徴とする請求項７に記載のデ
    ータ符号化方法。
  10. 【請求項１０】上記データ符号化方法は、上記特徴量を
    隣接する２つのフレーム間において所定範囲で形成され
    る各ブロツクの動きベクトルの絶対値和に基づいて算出
    することを特徴とする請求項７に記載のデータ符号化方
    法。
  11. 【請求項１１】上記データ符号化方法は、上記特徴量を
    隣接する２つのフレーム間における色の変化の割合に基
    づいて算出することを特徴とする請求項７に記載のデー
    タ符号化方法。
  12. 【請求項１２】上記データ符号化方法は、上記特徴量を
    隣接する２つのフレーム間における輝度の絶対値差分和
    に基づいて算出することを特徴とする請求項７に記載の
    データ符号化方法。
  13. 【請求項１３】入力された画像データにおける隣接する
    ２つのフレーム間差分を算出すると共に当該フレーム間
    の動きベクトルを算出し、当該フレーム間差分及び動き
    ベクトルに基づいて上記画像データを符号化すると共に
    上記動きベクトルを符号化することにより得られた符号
    化データを変調して伝送するデータ伝送方法において、 上記画像データにおける隣接する２つのフレーム間差分
    に基づいて当該画像データのシーンチエンジを検出し、 上記画像データの特徴量を算出し、 上記特徴量が所定の閾値を越えていた場合に上記検出さ
    れたシーンチエンジに基づく所定のタイミングで上記画
    像データの画素数を所定の変換比率で削減し、 上記画素数の削減された画像データに応じて減少した分
    の上記画像データの動きを表す動きベクトルの符号量
    を、上記画像データの符号量に割り当てたことによつて
    得られる符号発生量になるように上記画像データ及び上
    記動きベクトルを符号化することを特徴とするデータ伝
    送方法。
  14. 【請求項１４】上記データ伝送方法は、上記特徴量が所
    定の閾値を越えて画素数を削減する必要性が生じたとき
    から、最も早く検出された上記シーンチエンジのタイミ
    ングで上記画像データの画素数を所定の変換比率で削減
    することを特徴とする請求項１３に記載のデータ伝送方
    法。
  15. 【請求項１５】上記データ伝送方法は、上記特徴量が所
    定の閾値を越えて画素数を削減する必要性が生じたとき
    から、上記シーンチエンジが一定時間の間に検出されな
    かつた場合には、上記必要性が生じたときか所定時間経
    過後のタイミングで上記画像データの画素数を所定の変
    換比率で削減することを特徴とする請求項１３に記載の
    データ伝送方法。
  16. 【請求項１６】上記データ伝送方法は、上記特徴量を隣
    接する２つのフレーム間において所定範囲で形成される
    各ブロツクの動きベクトルの絶対値和に基づいて算出す
    ることを特徴とする請求項１３に記載のデータ伝送方
    法。
  17. 【請求項１７】上記データ伝送方法は、上記特徴量を隣
    接する２つのフレーム間における色の変化の割合に基づ
    いて算出することを特徴とする請求項１３に記載のデー
    タ伝送方法。
  18. 【請求項１８】上記データ伝送方法は、上記特徴量を隣
    接する２つのフレーム間における輝度の絶対値差分和に
    基づいて算出することを特徴とする請求項１３に記載の
    データ伝送方法。
  19. 【請求項１９】入力された画像データにおける隣接する
    ２つのフレーム間差分を算出すると共に当該フレーム間
    の動きベクトルを算出し、当該フレーム間差分及び動き
    ベクトルに基づいて上記画像データを符号化すると共に
    上記動きベクトルを符号化して出力するデータ符号化装
    置において、 上記画像データにおける隣接する２つのフレーム間差分
    に基づいて当該画像データのシーンチエンジを検出する
    シーンチエンジ検出手段と、 上記画像データの画素数を変換することなく上記画像デ
    ータ及び上記動きベクトルを符号化処理することにより
    第１の符号化データを生成する第１の符号化手段と、 上記画像データの特徴量を算出し、当該特徴量に基づい
    て上記画像データの画素数を所定の変換比率で削減する
    画素数変換手段と、 上記画素数変換手段によつて画素数変換された変換デー
    タに応じて減少した分の上記画像データの動きを表す動
    きベクトルの符号量を、上記画像データの符号量に割り
    当てたことによつて得られる符号発生量になるように上
    記画像データ及び上記動きベクトルを符号化することに
    より第２の符号化データを生成する第２の符号化手段
    と、 上記第１の符号化データ及び上記第２の符号化データの
    画質を判別し、当該判別結果に基づいて上記第２の符号
    化データを選択した場合に、上記シーンチエンジ検出手
    段の検出結果に基づく所定のタイミングで当該第２の符
    号化データを出力するデータ切換手段とを具えることを
    特徴とするデータ符号化装置。
  20. 【請求項２０】上記データ切換手段は、上記第２の符号
    化データを選択して出力する必要性が生じたときから、
    最も早く検出された上記シーンチエンジのタイミングで
    当該第２の符号化データを出力することを特徴とする請
    求項１９に記載のデータ符号化装置。
  21. 【請求項２１】上記データ切換手段は、上記第２の符号
    化データを選択して出力する必要性が生じたときから、
    上記シーンチエンジが一定時間の間に検出されなかつた
    場合には、上記必要性が生じたときから所定時間経過後
    のタイミングで当該第２の符号化データを出力すること
    を特徴とする請求項１９に記載のデータ符号化装置。
  22. 【請求項２２】上記画素数変換手段は、上記特徴量を隣
    接する２つのフレーム間において所定範囲で形成される
    各ブロツクの動きベクトルの絶対値和に基づいて算出す
    ることを特徴とする請求項１９に記載のデータ符号化装
    置。
  23. 【請求項２３】上記画素数変換手段は、上記特徴量を隣
    接する２つのフレーム間における色の変化の割合に基づ
    いて算出することを特徴とする請求項１９に記載のデー
    タ符号化装置。
  24. 【請求項２４】上記画素数変換手段は、上記特徴量を隣
    接する２つのフレーム間における輝度の絶対値差分和に
    基づいて算出することを特徴とする請求項１９に記載の
    データ符号化装置。
  25. 【請求項２５】入力された画像データにおける隣接する
    ２つのフレーム間差分を算出すると共に当該フレーム間
    の動きベクトルを算出し、当該フレーム間差分及び動き
    ベクトルに基づいて上記画像データを符号化すると共に
    上記動きベクトルを符号化して出力するデータ符号化方
    法において、 上記画像データにおける隣接する２つのフレーム間差分
    に基づいて当該画像データのシーンチエンジを検出し、 上記画像データの画素数を変換することなく上記画像デ
    ータ及び上記動きベクトルを符号化処理することにより
    第１の符号化データを生成すると共に、上記画像データ
    の特徴量に基づいて上記画像データの画素数を所定の変
    換比率で削減して画素数変換された変換データに応じて
    減少した分の上記画像データの動きを表す動きベクトル
    の符号量を、上記画像データの符号量に割り当てたこと
    によつて得られる符号発生量になるように上記画像デー
    タ及び上記動きベクトルを符号化することにより第２の
    符号化データを生成し、 上記第１の符号化データ及び上記第２の符号化データの
    画質を判別し、当該判別結果に基づいて上記第２の符号
    化データを選択した場合に、上記シーンチエンジに基づ
    く所定のタイミングで当該第２の符号化データを出力す
    ることを特徴とするデータ符号化方法。
  26. 【請求項２６】上記データ符号化方法は、上記第２の符
    号化データを選択して出力する必要性が生じたときか
    ら、最も早く検出された上記シーンチエンジのタイミン
    グで当該第２の符号化データを出力することを特徴とす
    る請求項２５に記載のデータ符号化方法。
  27. 【請求項２７】上記データ符号化方法は、上記第２の符
    号化データを選択して出力する必要性が生じたときか
    ら、上記シーンチエンジが一定時間の間に検出されなか
    つた場合には、上記必要性が生じたときから所定時間経
    過後のタイミングで当該第２の符号化データを出力する
    ことを特徴とする請求項２５に記載のデータ符号化方
    法。
  28. 【請求項２８】上記データ符号化方法は、上記特徴量を
    隣接する２つのフレーム間において所定範囲で形成され
    る各ブロツクの動きベクトルの絶対値和に基づいて算出
    することを特徴とする請求項２５に記載のデータ符号化
    方法。
  29. 【請求項２９】上記データ符号化方法は、上記特徴量を
    隣接する２つのフレーム間における色の変化の割合に基
    づいて算出することを特徴とする請求項２５に記載のデ
    ータ符号化方法。
  30. 【請求項３０】上記データ符号化方法は、上記特徴量を
    隣接する２つのフレーム間における輝度の絶対値差分和
    に基づいて算出することを特徴とする請求項２５に記載
    のデータ符号化方法。
  31. 【請求項３１】入力された画像データにおける隣接する
    ２つのフレーム間差分を算出すると共に当該フレーム間
    の動きベクトルを算出し、当該フレーム間差分及び動き
    ベクトルに基づいて上記画像データを符号化すると共に
    上記動きベクトルを符号化することにより得られた符号
    化データを変調して伝送するデータ符号化方法におい
    て、 上記画像データにおける隣接する２つのフレーム間差分
    に基づいて当該画像データのシーンチエンジを検出し、 上記画像データの画素数を変換することなく上記画像デ
    ータ及び上記動きベクトルを符号化処理することにより
    第１の符号化データを生成すると共に、上記画像データ
    の特徴量に基づいて上記画像データの画素数を所定の変
    換比率で削減して画素数変換された変換データに応じて
    減少した分の上記画像データの動きを表す動きベクトル
    の符号量を、上記画像データの符号量に割り当てたこと
    によつて得られる符号発生量になるように上記画像デー
    タ及び上記動きベクトルを符号化することにより第２の
    符号化データを生成し、 上記第１の符号化データ及び上記第２の符号化データの
    画質を判別し、当該判別結果に基づいて上記第２の符号
    化データを選択した場合に、上記シーンチエンジに基づ
    く所定のタイミングで当該第２の符号化データを所定の
    変調方式で変調して伝送することを特徴とするデータ伝
    送方法。
  32. 【請求項３２】上記データ伝送方法は、上記第２の符号
    化データを選択して出力する必要性が生じたときから、
    最も早く検出された上記シーンチエンジのタイミングで
    当該第２の符号化データを出力することを特徴とする請
    求項３１に記載のデータ伝送方法。
  33. 【請求項３３】上記データ伝送方法は、上記第２の符号
    化データを選択して出力する必要性が生じたときから、
    上記シーンチエンジが一定時間の間に検出されなかつた
    場合には、上記必要性が生じたときから所定時間経過後
    のタイミングで当該第２の符号化データを出力すること
    を特徴とする請求項３１に記載のデータ伝送方法。
  34. 【請求項３４】上記データ伝送方法は、上記特徴量を隣
    接する２つのフレーム間において所定範囲で形成される
    各ブロツクの動きベクトルの絶対値和に基づいて算出す
    ることを特徴とする請求項３１に記載のデータ伝送方
    法。
  35. 【請求項３５】上記データ伝送方法は、上記特徴量を隣
    接する２つのフレーム間における色の変化の割合に基づ
    いて算出することを特徴とする請求項３１に記載のデー
    タ伝送方法。
  36. 【請求項３６】上記データ伝送方法は、上記特徴量を隣
    接する２つのフレーム間における輝度の絶対値差分和に
    基づいて算出することを特徴とする請求項３１に記載の
    データ伝送方法。
JP12153298A 1998-04-30 1998-04-30 データ符号化装置、データ符号化方法及びデータ伝送方法 Expired - Fee Related JP3560217B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP12153298A JP3560217B2 (ja) 1998-04-30 1998-04-30 データ符号化装置、データ符号化方法及びデータ伝送方法
US09/292,650 US6628713B1 (en) 1998-04-30 1999-04-15 Method and device for data encoding and method for data transmission

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP12153298A JP3560217B2 (ja) 1998-04-30 1998-04-30 データ符号化装置、データ符号化方法及びデータ伝送方法

Publications (2)

Publication Number Publication Date
JPH11317951A true JPH11317951A (ja) 1999-11-16
JP3560217B2 JP3560217B2 (ja) 2004-09-02

Family

ID=14813578

Family Applications (1)

Application Number Title Priority Date Filing Date
JP12153298A Expired - Fee Related JP3560217B2 (ja) 1998-04-30 1998-04-30 データ符号化装置、データ符号化方法及びデータ伝送方法

Country Status (2)

Country Link
US (1) US6628713B1 (ja)
JP (1) JP3560217B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007028123A (ja) * 2005-07-15 2007-02-01 Sony Corp 撮像装置および撮像方法
JP2007520157A (ja) * 2004-01-29 2007-07-19 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ符号化のための動的な解像度変更のためのシステムおよび方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2356998A (en) * 1999-12-02 2001-06-06 Sony Uk Ltd Video signal processing
US20020057739A1 (en) * 2000-10-19 2002-05-16 Takumi Hasebe Method and apparatus for encoding video
US7136508B2 (en) * 2000-11-09 2006-11-14 Minolta Co., Ltd. Image processing apparatus, method, and program for processing a moving image
JP4240200B2 (ja) * 2002-12-26 2009-03-18 日本電気株式会社 動画像符号化装置および動画像符号化方法
JP4994698B2 (ja) * 2006-04-13 2012-08-08 キヤノン株式会社 情報伝送装置及び情報伝送方法
JP4885690B2 (ja) * 2006-11-28 2012-02-29 株式会社エヌ・ティ・ティ・ドコモ 画像調整量決定装置、画像調整量決定方法、画像調整量決定プログラムおよび画像処理装置
US9633426B2 (en) * 2014-05-30 2017-04-25 General Electric Company Remote visual inspection image capture system and method
JP4909165B2 (ja) * 2007-04-24 2012-04-04 ルネサスエレクトロニクス株式会社 シーン変化検出装置、符号化装置及びシーン変化検出方法
US20090060363A1 (en) * 2007-08-30 2009-03-05 Himax Technologies Limited System and method for image compression
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
US8751154B2 (en) 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8803966B2 (en) 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US20090268097A1 (en) * 2008-04-28 2009-10-29 Siou-Shen Lin Scene change detection method and related apparatus according to summation results of block matching costs associated with at least two frames
GB2470570B (en) * 2009-05-27 2014-07-16 Snell Ltd Determining a regional shot change parameter
US9565479B2 (en) * 2009-08-10 2017-02-07 Sling Media Pvt Ltd. Methods and apparatus for seeking within a media stream using scene detection
JP5812808B2 (ja) * 2011-01-05 2015-11-17 キヤノン株式会社 画像処理装置及び画像処理方法
WO2012117955A1 (ja) * 2011-02-28 2012-09-07 株式会社メガチップス 画像符号化装置
TW201345262A (zh) * 2012-04-20 2013-11-01 Novatek Microelectronics Corp 影像處理電路及影像處理方法
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9906785B2 (en) * 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
US9571720B2 (en) * 2013-12-10 2017-02-14 Olympus Corporation Image processing device, display device, imaging apparatus, image processing method, and program
CN115103190A (zh) * 2022-06-14 2022-09-23 晶晨芯半导体(成都)有限公司 编码器码率控制方法及模块、芯片、电子设备和存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4951140A (en) * 1988-02-22 1990-08-21 Kabushiki Kaisha Toshiba Image encoding apparatus
US5737022A (en) * 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
GB9315775D0 (en) * 1993-07-30 1993-09-15 British Telecomm Processing image data
JP2914170B2 (ja) * 1994-04-18 1999-06-28 松下電器産業株式会社 映像変化点検出方法
JP3258840B2 (ja) * 1994-12-27 2002-02-18 シャープ株式会社 動画像符号化装置および領域抽出装置
US6246799B1 (en) * 1996-09-04 2001-06-12 Sony Corporation Image compression encoder and image compression encoding method
US6330344B1 (en) * 1997-02-14 2001-12-11 Sony Corporation Image processing device and method employing motion detection to generate improved quality image from low resolution image

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007520157A (ja) * 2004-01-29 2007-07-19 インターナショナル・ビジネス・マシーンズ・コーポレーション ビデオ符号化のための動的な解像度変更のためのシステムおよび方法
JP4791380B2 (ja) * 2004-01-29 2011-10-12 インターナショナル・ビジネス・マシーンズ・コーポレーション デジタル・ビデオ・シーケンスを予測符号化するための方法、システムおよびコンピュータ・プログラム
US8160130B2 (en) 2004-01-29 2012-04-17 International Business Machines Corporation System and method for the dynamic resolution change for video encoding
JP2007028123A (ja) * 2005-07-15 2007-02-01 Sony Corp 撮像装置および撮像方法
JP4613724B2 (ja) * 2005-07-15 2011-01-19 ソニー株式会社 撮像装置および撮像方法
US7889241B2 (en) 2005-07-15 2011-02-15 Sony Corporation Imaging device and imaging method
US8081233B2 (en) 2005-07-15 2011-12-20 Sony Corporation Imaging device and imaging method

Also Published As

Publication number Publication date
JP3560217B2 (ja) 2004-09-02
US6628713B1 (en) 2003-09-30

Similar Documents

Publication Publication Date Title
JP3560217B2 (ja) データ符号化装置、データ符号化方法及びデータ伝送方法
KR100729541B1 (ko) 부호화 히스토리 정보를 이용하는 트랜스코딩 시스템
US6226327B1 (en) Video coding method and apparatus which select between frame-based and field-based predictive modes
JP3358620B2 (ja) 画像符号化方法及び画像符号化装置
JPH06284414A (ja) 画像信号伝送方法及び装置
KR19990082456A (ko) 영상 데이터 압축 장치 및 그 방법
WO1994024822A1 (en) Method and apparatus for coding image, and image recording medium
JPH08223577A (ja) 動画像符号化方法及び装置、並びに動画像復号方法及び装置
JP3911035B2 (ja) 動画像符号化方法及び動画像符号化装置
EP0577365A2 (en) Encoding and decoding of picture signals
JPH11234668A (ja) 映像符号化装置
JP3980659B2 (ja) 動画像符号化方法及び装置、動画像復号化方法及び装置。
US6226326B1 (en) Coding device and coding method
US7593463B2 (en) Video signal coding method and video signal encoder
JP3240024B2 (ja) 画像処理方法
JP3900534B2 (ja) 動画像の符号化装置および符号化方法
KR100571685B1 (ko) 영상 데이터 부호화 장치와 방법 및 영상 데이터 전송 방법
JPH09168148A (ja) 動画像符号化方法及び装置、並びに記録媒体
JP3428332B2 (ja) 画像符号化方法及び装置、並びに画像伝送方法
JP4399794B2 (ja) 画像符号化装置及び画像符号化方法
JPH07131793A (ja) 映像信号高能率符号化装置
JPH10126792A (ja) 画像符号化方法および装置
JPH11317950A (ja) データ符号化装置、データ符号化方法及びデータ伝送方法
EP0927954B1 (en) Image signal compression coding method and apparatus
JPH0775095A (ja) レート制御回路

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040520

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090604

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100604

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees