JP7404640B2 - 符号化装置、復号装置及び画像処理方法 - Google Patents

Description

本発明は、符号化装置、復号装置及び画像処理方法に関し、例えば、画像又は映像を圧縮符号化し、その符号化された画像又は映像を復号する画像処理システムに適用し得るものである。

近年、監視カメラの普及が進み、さらなる高解像度化、高フレームレート化、多視点化も望まれている。しかし、高解像度化、高フレームレート化、多視点化は、動画像の符号量の著しい増加を引き起こし、通信コストやストレージコストの増加を招く。この問題を緩和するため、動画像より注目領域を検出し、注目領域に多くのビット数を配分する方式が提案されている。なお、ここでは、注目領域が、例えば顔領域等の領域を意図している。以降では、注目領域のことをＲｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔの略である「ＲＯＩ」と呼ぶ。また、注目領域に多くのビット数を配分する方式を「ＲＯＩ符号化」と呼ぶ。

特許文献１では、符号量と映像品質を制御するパラメータをブロックごとに与えられるというエンコーダの機能を利用して、エンコーダに与えるパラメータをブロックごとに制御することで、ＲＯＩ以外の領域である非ＲＯＩの情報量をＲＯＩの情報量よりも削減するシステム構成を提案している。

このようにエンコーダが提供する機能を用いて情報量を削減すれば、効率よく確実に符号量を削減することが可能である。Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣやＨ．２６５／ＭＰＥＧ－Ｈ ＨＥＶＣのようなメジャーな規格が、領域ごとに映像品質を制御する機能を備えているため、この機能を利用することは、ＲＯＩに多くのビット数を配分する代表的な方式と言える。

一方、例えばコストや互換性などの事情により、映像品質制御パラメータをブロックごとに与える機能を有していないエンコーダの利用が不可避の場合、上述の方式を採用することはできない。このような場合でも、エンコーダに依存せず、領域ごとに映像品質を制御可能な技術として特許文献２、非特許文献１が提案されている。

特許文献２は、エンコーダに依存せずに非ＲＯＩの情報量を削減するために、非ＲＯＩに低域通過フィルタによる前処理を行ない、高周波成分の情報を取り除くことで非ＲＯＩの情報量を抑圧することを提案するものである。

非特許文献１は、エンコーダに依存せずに非ＲＯＩの情報量を削減するために、非ＲＯＩの画素信号のダイナミックレンジを限定するフィルタリングを行なうことで非ＲＯＩの情報量を抑圧することを提案するものである。

図１３は、非特許文献１に代表される画像処理システムの構成例を図示したものである。

図１３において、画像処理システムＺは、入力画像を入力とし、入力画像のうちの非ＲＯＩに属する画素をＲＯＩの情報よりも少ないビット数で圧縮し、ビットストリームとして出力する画像符号化システムＸ１と、ビットストリームを入力とし、ビットストリームを復号し、出力画像を出力する画像復号システムＸ２とを有する。

画像符号化システムＸ１は、入力画像のＲＯＩ情報を決定し、入力画像にＲＯＩ情報を紐づけたデータをＲＯＩ設定画像として出力しつつ、通信路などを介して、画像復号システムＸ２にＲＯＩ情報を出力するＲＯＩ情報設定部Ｕ１と、ＲＯＩ設定画像をＲＯＩ符号化し、ビットストリームを出力するエンコーダ部Ｕ３とを有する。ここで、ＲＯＩ情報とは、例えば、ＲＯＩの数や各ＲＯＩの座標情報を含む情報である。

エンコーダ部Ｕ３は、例えば、ＲＯＩ情報に基づき非ＲＯＩに属する画素を特定し、入力画像のうちの非ＲＯＩに属する画素にダイナミックレンジを限定（抑圧）するためのフィルタリングを施し、プレフィルタ画像として出力するプレフィルタ部４０５と、Ｈ．２６４／ＭＰＥＧ－４ＡＶＣ等の画像符号化方式を用いてプレフィルタ画像を圧縮し、ビットストリームを出力するエンコーダコア部４０６とを有する。

ここで、画素信号のダイナミックレンジを限定する処理には、画素信号を１２８などの固定値に限定してしまう場合も含む。画素信号を固定値にするとは、ダイナミックレンジを１にすることと等価である。

ＲＯＩ情報設定部Ｕ１は、入力画像に対応するＲＯＩを設定する機能であるが、ＲＯＩの特定手段に関しては特に限定されない。

例えば、入力画像に対して、顔検出アルゴリズムや人物検出アルゴリズム、ナンバープレート検出アルゴリズム、車体検出アルゴリズム等を適用することで、入力画像の中からＲＯＩの位置と大きさを検出することで特定するという方法が考えられる。また例えば、予め手動で入力されたＲＯＩの位置と大きさによって特定するという方法も適用するようにしてもよいし、ユーザインタフェースを通して入力されたＲＯＩの位置と大きさによって特定する方法を適用するようにしてもよい。さらに例えば、入力画像に対応する赤外線カメラ画像や深度センサ画像などを利用して、ＲＯＩを特定するという方法でも良い。

画像復号システムＸ２は、ビットストリームをエンコーダコア部４０６に対応する方式で復号し、復号画像を出力するデコーダ部４０７と、通信路等を介して画像符号化システムＸ１からＲＯＩ情報を受け取ることで復号画像のＲＯＩ情報を読み出し、復号画像にＲＯＩ情報を紐づけたデータをＲＯＩ読取画像として出力するＲＯＩ情報読取部４０８と、ＲＯＩ読取画像に基づきポストフィルタを当てて、ポストフィルタ画像を出力するポストフィルタ部４０９とを有する。

ポストフィルタ部４０９は、例えば、ＲＯＩ情報に基づき非ＲＯＩに属する画素を特定し、復号画像のうちの非ＲＯＩに属する画素にダイナミックレンジを回復するフィルタリング（信号の振幅の増幅に相当）を施すことで、ポストフィルタ画像として出力する。

なお、本例は、画像符号化システムＸ１が、プレフィルタ部４０５によって非ＲＯＩの情報量をＲＯＩの情報量よりも削減する例であるが、画像符号化システムＸ１のエンコーダ部Ｕ３をエンコーダが備える領域ごとに映像品質を制御する機能を利用してＲＯＩに多くのビット数を配分するものに換えることで、特許文献１に代表されるＲＯＩ符号化可能な映像符号化エンジンを組み込んだ構成例となる。

このようにＲＯＩ符号化可能な映像符号化エンジンを組み込んだ構成例であっても、ポストフィルタ部４０９は有用である。ＲＯＩ符号化可能な映像符号化エンジンを使用した場合、例えば、非ＲＯＩの量子化ステップ幅が広くなるため、非ＲＯＩで多くのブロック歪が発生することになる。この問題への対処として、例えば、非ＲＯＩにのみ低域通過フィルタを適用するという方法がある。高品質に符号化されているＲＯＩに低域通過フィルタを適用すると、むしろ画質劣化を招くため、雑音の多い非ＲＯＩにのみ低域通過フィルタを適用することは有用である。

特開２００９－４９９７９号公報 特開平４－２１９０８９号公報（特許第３０４６３７９号） 特開２００９－１８８７９２号公報（特許第５１０９６９７号）

Ｆｉｌｔｅｒｉｎｇ Ｓｃｈｅｍｅ ｆｏｒ ＲＯＩ Ｃｎｄｉｎｇ ｂｙ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ Ｕｐｄａｔｉｎｇ Ｓｏｕｒｃｅ Ｐｉｃｔｕｒｅ Ｆｉｌｔｅｒ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ４ｔｈ ＩＩＡＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ ａｎｄ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ ２０１６

以上のように、エンコーダ部Ｕ３を利用し、非ＲＯＩとＲＯＩとで映像品質を変えることで、ＲＯＩに多くのビット数を配分することは可能である。また、ポストフィルタ部４０９を使用することで非ＲＯＩの映像品質を回復することも可能である。

非ＲＯＩにポストフィルタをかけることが不可欠または望ましいシステムにおいては、復号画像とＲＯＩ情報とを同期してポストフィルタ部４０９に入力することが必要である。ＲＯＩ情報をビットストリームに多重化可能な環境であれば、同期を取る手段も種々考えられるが、例えば、ブラウザ組み込みの映像通信システムであるＷｅｂＲＴＣ（Ｗｅｂ Ｒｅａｌ－Ｔｉｍｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）のように、映像を符号化し通信するシステムや規格が既に固定で与えられており、ビットストリームに変更を加えられないシステムでは、同期を取ることが困難になる。

ＲＯＩ情報をビットストリームとは別経路で伝送し、画像復号システムＸ２で復号画像とＲＯＩ情報の同期を取るという解決手段も考えられるが、異なる経路から来る情報を同期するためには復号画像やＲＯＩ情報のバッファリングが必要となるため、遅延等の問題が避けられない。

また、片方の経路において、データのロスが起きた場合、復号画像とＲＯＩ情報の対応関係を整合することも困難になる。

そのため、本発明は、上述した課題に鑑み、ＲＯＩ情報と復号画像とを同期することなく、当該画像のＲＯＩ情報を読み取ることができ、通信路等でデータロスが起きた場合でも復号画像とＲＯＩ情報との対応関係を整合させることができる符号化装置、復号装置及び画像処理方法を提供しようとするものである。

かかる課題を解決するために、第１の本発明に係る符号化装置は、入力画像を符号化する符号化装置において、（１）入力画像に対応する注目領域を設定し、当該入力画像に注目領域情報を紐づけたデータを中間画像として出力する注目領域情報設定実行部と、（２）中間画像における注目領域情報の埋込位置を指定する埋込位置指定部と、（３）埋込位置に従って、中間画像に当該注目領域情報を画素値の形態で埋め込み、注目領域情報を紐づけたデータを、注目領域設定画像として出力する注目領域情報埋込部と、（４）所定の画像符号化方式を用いて、前記注目領域設定画像を符号化して出力する符号化部とを有し、注目領域情報埋込部が、中間画像に注目領域情報が埋め込まれる全ての画素を包含する領域を、埋込位置に従って求めて、当該領域を追加注目領域として注目領域情報に追加し、中間画像に当該注目領域情報を紐づけたデータを、注目領域追加画像として出力する注目領域情報追加部と、埋込位置に従って、注目領域追加画像に、当該注目領域情報を画素値の形態で埋め込み、注目領域情報を紐づけたデータを、注目領域設定画像として出力する注目領域情報埋込実行部とを有することを特徴とする。

第２の本発明に係る復号装置は、画像の注目領域情報を画素値の形態で埋め込まれた上で、当該注目領域画像を紐づけたデータを、所定の画像符号化方式で符号化された符号化画像を復号する復号装置において、（１）符号化画像を復号して復号画像を出力する復号部と、（２）復号画像を解析して、注目領域情報を読み取り、当該復号画像に注目領域情報を紐づけたデータを注目領域情報読取画像として出力する注目領域情報読取部と、（３）注目領域情報読取画像に基づいてポストフィルタを当てて、ポストフィルタ画像を出力するポストフィルタ部とを有し、注目領域情報に、当該注目領域情報の埋込位置を特定する目印が含まれる場合、注目領域情報読取部は、復号画像から目印を探索することで、注目領域情報の埋込位置を特定し、当該埋込位置を解析することで注目領域情報の読み取りを行なうことを特徴とする。

第３の本発明に係る画像処理方法は、符号化装置と復号装置とを備える画像処理システムの画像処理方法において、（１）符号化装置は、（１－１）注目領域情報設定実行部が、入力画像に対応する注目領域を設定し、当該入力画像に注目領域情報を紐づけたデータを中間画像として出力し、（１－２）埋込位置指定部が、中間画像における注目領域情報の埋込位置を指定し、（１－３）注目領域情報埋込部が、埋込位置に従って、中間画像に当該注目領域情報を画素値の形態で埋め込み、注目領域情報を紐づけたデータを、注目領域設定画像として出力し、（１－４）符号化部が、所定の画像符号化方式を用いて、注目領域設定画像を符号化して出力し、注目領域情報埋込部が、中間画像に注目領域情報が埋め込まれる全ての画素を包含する領域を、埋込位置に従って求めて、当該領域を追加注目領域として注目領域情報に追加し、中間画像に当該注目領域情報を紐づけたデータを、注目領域追加画像として出力し、埋込位置に従って、注目領域追加画像に、当該注目領域情報を画素値の形態で埋め込み、注目領域情報を紐づけたデータを、注目領域設定画像として出力し、（２）復号装置は、（２－１）復号部は、符号化装置からの符号化画像を復号して復号画像を出力し、（２－２）注目領域情報読取部が、復号画像を解析して、注目領域情報を読み取り、当該復号画像に注目領域情報を紐づけたデータを注目領域情報読取画像として出力し、（２－３）ポストフィルタ部が、注目領域情報読取画像に基づいてポストフィルタを当てて、ポストフィルタ画像を出力し、注目領域情報に、当該注目領域情報の埋込位置を特定する目印が含まれる場合、注目領域情報読取部は、復号画像から目印を探索することで、注目領域情報の埋込位置を特定し、当該埋込位置を解析することで注目領域情報の読み取りを行なうことを特徴とする。

本発明によれば、ＲＯＩ情報と復号画像とを同期することなく、当該画像のＲＯＩ情報を読み取ることができ、通信路等でデータロスが起きた場合でも復号画像とＲＯＩ情報との対応関係を整合させることができる。

第１の実施形態に係る画像処理システムの構成を示す構成図である。 第１の実施形態に係る画像符号化装置における画像処理を示すフローチャートである。 第１の実施形態に係る画像復号装置における画像処理を示すフローチャートである。 第１の実施形態に係るＲＯＩ情報の埋め込み方法を説明する説明図である。 第１の実施形態において統計値の一例を説明する説明図である。 第１の実施形態においてパディングデータの埋め込みの一例を説明する説明図である。 第２の実施形態に係る画像処理システムの構成を示す構成図である。 第２の実施形態に係る画像処理システムにおける画像処理の動作を示すフローチャートである。 第３の実施形態に係る画像処理システムの構成を示す構成図である。 第３の実施形態に係る画像処理システムにおける画像処理の動作を示すフローチャートである。 第３の実施形態における埋込隠蔽処理の一例を説明する説明図である（その１）。 第３の実施形態における埋込隠蔽処理の一例を説明する説明図である（その２）。 従来の画像処理システムの構成を示す構成図である。

（Ａ）第１の実施形態
以下では、本発明に係る符号化装置、復号装置及び画像処理方法の第１の実施形態を、図面を参照しながら説明する。

（Ａ－１）第１の実施形態の構成
［画像処理システム］
図１は、第１の実施形態に係る画像処理システムの構成を示す構成図である。

図１において、第１の実施形態に係る画像処理システム１は、入力画像を符号化してストリーム（ビットストリーム）を出力する画像符号化装置２と、画像符号化装置２で符号化されたストリーム（ビットストリーム）を復号して復号画像を出力する画像復号装置３とを有する。

画像処理システム１において、画像符号化装置２から出力されたストリームを画像復号装置３に入力する媒体は限定されない。例えば、画像符号化装置２から出力されたストリームを、通信回線（例えば、インターネットなどに代表される通信回線など）により画像復号装置３に伝送するようにしても良いし、画像符号化装置２から出力されたストリームのデータをデータ記録媒体（例えば、ＤＶＤやＨＤＤ等の記録媒体）に記録してオフラインで画像復号装置３に入力するようにしても良い。

この実施形態では、画像符号化装置２は、入力画像毎の符号化を行なうものとして説明するが、画像符号化装置２に、連続して複数の入力画像を処理させることで動画像の符号化処理に適用するようにしても良い。また、画像復号装置３についても同様に、連続して複数の符号化データのストリームを復号処理させることにより、動画像の復号処理に適用するようにしてもよい。

次に、画像符号化装置２の内部構成を説明する。画像符号化装置２は、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしてもよい。

画像符号化装置２は、大別して、ＲＯＩ情報設定部Ｕ１と、エンコーダ部Ｕ３とを有し、前記ＲＯＩ情報設定部Ｕ１は、ＲＯＩ情報設定コア部（「ＲＯＩ情報設定実行部」とも呼ぶ。）１０１と、埋込位置指定部１０２と、ＲＯＩ情報埋込部Ｕ２とを有し、前記エンコーダ部Ｕ３は、プレフィルタ部４０５と、エンコーダコア部（「エンコーダ実行部」とも呼ぶ。）を有する。

ＲＯＩ情報設定コア部１０１は、入力画像のＲＯＩ情報を決定し、入力画像にＲＯＩ情報を紐づけたデータを中間画像としてＲＯＩ情報埋込部Ｕ２に出力する。

ＲＯＩ情報設定部Ｕ１は、入力画像に対応するＲＯＩを設定する機能であるが、ＲＯＩの特定手段に関しては特に限定されない。例えば、入力画像に対して、顔検出アルゴリズムや人物検出アルゴリズム、ナンバープレート検出アルゴリズム、車体検出アルゴリズム等を適用することで、入力画像の中からＲＯＩの位置と大きさを検出することで特定するという方法が考えられる。また例えば、予め手動で入力されたＲＯＩの位置と大きさによって特定するという方法も適用するようにしてもよいし、ユーザインタフェースを通して入力されたＲＯＩの位置と大きさによって特定する方法を適用するようにしてもよい。さらに例えば、入力画像に対応する赤外線カメラ画像や深度センサ画像などを利用して、ＲＯＩを特定するという方法でも良い。

埋込位置指定部１０２は、中間画像に埋め込むＲＯＩ情報の埋込位置を、ＲＯＩ情報埋込部Ｕ２に指定する。

ＲＯＩ情報埋込部Ｕ２は、埋込位置指定部１０２により指定された埋込位置に従って、ＲＯＩ情報を画素値の形態で中間画像に埋め込んだ上で、さらにＲＯＩ情報を紐づけたデータをＲＯＩ設定画像としてエンコーダ部Ｕ３に出力する。

なお、ＲＯＩ情報の埋込位置や、ＲＯＩ情報の埋込方法等については、動作の項で詳細に説明する。

プレフィルタ部４０５は、ＲＯＩ情報設定部Ｕ１からＲＯＩ設定画像を取得し、ＲＯＩ情報に基づき非ＲＯＩに属する画素を特定し、入力画像のうちの非ＲＯＩに属する画素にダイナミックレンジを限定（抑圧）するためのフィルタリングを施し、プレフィルタ画像として出力する。ここで、画素信号のダイナミックレンジを限定する処理には、画素信号を１２８などの固定値に限定してしまう場合も含む。画素信号を固定値にするとは、ダイナミックレンジを１にすることと等価である。

エンコーダコア部４０６は、例えばＨ．２６４／ＭＰＥＧ－４ＡＶＣ等の画像符号化方式を用いて、プレフィルタ部４０５からのプレフィルタ画像を圧縮し、ビットストリームを出力する。

次に、画像復号装置３の構成を説明する。画像復号装置３も、ハードウェア（例えば、専用の半導体チップ等）で構成するようにしても良いし、一部又は全部を、ソフトウェア的に構成するようにしてもよい。

画像復号装置３は、デコーダ部４０７と、ＲＯＩ情報読取部４０８と、ポストフィルタ部４０９とを有する。

デコーダ部４０７は、エンコーダコア部４０６に対応する方式で、入力されたストリームを復号し、復号画像をＲＯＩ情報読取部４０８に出力する。

ＲＯＩ情報読取部４０８は、デコーダ部４０７からの復号画像を解析して、ＲＯＩ情報を読み取り、復号画像にＲＯＩ情報を紐づけたデータをＲＯＩ読取画像としてポストフィルタ部４０９に出力する。なお、ＲＯＩ情報の読み取り方法の詳細な説明は、動作の項で行なう。

ポストフィルタ部４０９は、ＲＯＩ読取画像に基づきポストフィルタを当てて、ポストフィルタ画像を出力する。

（Ａ－２）第１の実施形態の動作
次に、第１の実施形態に係る画像処理システム１における画像処理方法の動作を説明する。以下では、画像符号化装置２と画像復号装置３における画像処理の動作を各々分けて説明する。

（Ａ－２－１）画像符号化装置の動作
図２は、画像符号化装置２における画像処理動作を示すフローチャートである。

［ステップＳ１０１］
ＲＯＩ情報設定コア部１０１は、入力画像のＲＯＩ情報を決定し、入力画像にＲＯＩ情報を紐づけたデータを中間画像として出力する。

ここで、ＲＯＩ情報とは、ＲＯＩ数や各ＲＯＩ座標情報やフレームタイプ等を含む情報である。ＲＯＩ座標情報とは、例えば、各ＲＯＩの場所を表す情報であり、例えば、画像における座標位置や範囲、大きさ等を表す情報である。

フレームタイプとは、例えば、１枚以上で構成される画像群のうち、それぞれの画像が、「画像全体がＲＯＩで構成されるキーフレームと呼ばれる画像」と「それ以外の非キーフレームと呼ばれる画像」とに分類されるような場合に、フレームタイプは、キーフレームと非キーフレームを区別する情報とすることができる。ただし、フレームタイプは、後述するように本発明の効果をさらに促進するためのものであり、フレームタイプがＲＯＩ情報の一部でない場合も、本発明の効果はある。

［ステップＳ１０２］
埋込位置指定部１０２は、ＲＯＩ情報埋込部Ｕ２に対して埋込位置の起点座標を指定する。

例えば、最も単純には、埋込位置指定部１０２が、画像座標系における原点を、埋込位置の起点座標として指定する。画像座標系の原点が、画像の左上隅の画素に設定されている場合、画像の左上隅の画素を、ＲＯＩ情報埋め込みの起点に指定することになる。

埋込位置については、画像中の任意の場所であっても本発明の効果はあるが、特に画像の右下隅が最も望ましく、次いで左下隅や右上隅が好ましい。この理由については後述する。

なお、ステップＳ１０１とＳ１０２の処理の順序を逆にした場合でも本発明の効果はある。

［ステップＳ１０３］
ＲＯＩ情報埋込部Ｕ２は、ＲＯＩ情報に基づいて、フレームタイプが非キーフレームであるか否かを判定する。そして、フレームタイプが非キーフレームである場合、ＲＯＩ情報埋込部Ｕ２は、指定された埋込位置に、目印とＲＯＩ情報を画素値の形態で埋め込み、ＲＯＩ設定画像として出力する。目印とＲＯＩ情報の中間画像への埋め込み方法の詳細については後述する。

なお、上述した通り、フレームタイプを使用しない場合も本発明の１つの構成である。この場合は、全画像が非キーフレームに相当し、全画像に対して埋込処理を行なう。つまり、全画像が非キーフレームであるとみなして、その全画像において指定された位置に、少なくともＲＯＩ情報を埋め込むようにしてもよい。

また、目印に関しては、画像復号装置３のＲＯＩ情報読取部４０８において、ＲＯＩ情報の埋込位置を特定したり、フレームタイプを判定したりすることを目的に埋め込む。そのため、前述したフレームタイプという概念を使用しない場合でも、ＲＯＩ情報の埋込位置をＲＯＩ情報読取部４０８に伝える目的で目印を埋め込んでも良い。

また、もし、フレームタイプという概念を使用せず、なおかつ、画像符号化装置２と画像復号装置３との間で、ＲＯＩ情報の埋込位置を所定の位置にするなどによって、埋込位置が共有できているならば、目印を埋め込む必要はなく、ＲＯＩ情報のみを所定の位置に埋め込めば良い。

［ステップＳ１０４］
プレフィルタ部４０５は、ＲＯＩ情報に従って、非ＲＯＩに属する画素を特定し、例えば非ＲＯＩに属する画素にダイナミックレンジを限定するフィルタリングを施し、プレフィルタ画像として出力する。

ダイナミックレンジを限定するフィルタリングの一例は、非特許文献１に記載のものである。

なお、フレームタイプが存在する場合、本処理は、フレームタイプが非キーフレームであった場合に限定しても良い。

［ステップＳ１０５］
エンコーダコア部４０６は、例えばＨ．２６４／ＭＰＥＧ－４ ＡＶＣ等の画像符号化方式を用いて、プレフィルタ画像を圧縮し、ビットストリームを出力する。

なお、ステップＳ１０４、Ｓ１０５は、前述の特許文献１に代表されるエンコーダが備える領域ごとに映像品質を制御する機能を利用してＲＯＩに多くのビット数を配分するものを使用する処理に変更しても本発明の効果はある。

（Ａ－２－２）画像復号装置３の動作
次に、画像復号装置３の動作について説明する。図３は、画像復号装置３における画像処理を示すフローチャートである。

［ステップＳ２０１］
デコーダ部４０７は、画像符号化装置２から出力されたビットストリームを受け取り、例えばＨ．２６４／ＭＰＥＧ－４ ＡＶＣ等の画像符号化方式を用いて復号し、復号画像を出力する。

［ステップＳ２０２］
ＲＯＩ情報読取部４０８は、デコーダ部４０７からの復号画像を解析することで、復号画像に目印が存在するかどうかを判定し、目印が存在する場合、非キーフレームであると判定するとともに、ＲＯＩ情報を読み取り、復号画像にＲＯＩ情報を紐づけたデータを、ＲＯＩ読取画像として出力する。復号画像に埋め込まれているＲＯＩ情報の読み取り方法の詳細については後述する。

なお、先に説明したとおり、フレームタイプを使用しない場合も本発明の１つの構成であるが、この場合はフレームタイプの判定は実施せず、全画像に対してＲＯＩ情報の読取処理を行なう。

前述のとおり、目印は、ＲＯＩ情報読取部４０８において、ＲＯＩ情報の埋込位置を特定できるようにすることも目的の１つである。そのため、ＲＯＩ情報読取部４０８は、目印を画像中から探索することで、ＲＯＩ情報の埋込位置を特定しても良いし、前述のとおり、フレームタイプという概念を使用せず、なおかつ、画像符号化装置２と画像復号装置３との間で、ＲＯＩ情報の埋込位置を所定の位置にするなどによって埋込位置が共有できているならば、当該所定の位置を利用することで埋込位置を特定しても良い。

以上の方法のいずれかを用いて、ＲＯＩ情報読取部４０８は、ＲＯＩ情報の埋込位置を特定し、当該位置を解析することでＲＯＩ情報の読み取りをおこなう。

［ステップＳ２０３］
ポストフィルタ部４０９は、ＲＯＩ情報読取部４０８により読み取られたＲＯＩ情報に従って、非ＲＯＩに属する画素を特定し、非ＲＯＩに属する画素に、例えばダイナミックレンジを回復するフィルタリングを施し、ポストフィルタ画像として出力する。

ダイナミックレンジを回復するフィルタリングの一例は、プレフィルタ部４０５と同様に非特許文献１に記載されている。

ポストフィルタの例としては、他にも前述した低域通過フィルタや、特許文献３に記載の高解像度化処理を施すステップなど、様々なものが考えられる。

なお、フレームタイプが存在する場合、本処理は、フレームタイプが非キーフレームであった場合に限定しても良い。

（Ａ－２－３）目印及びＲＯＩ情報の埋め込み方法と読み取り方法
次に、ＲＯＩ情報埋込部Ｕ２による目印やＲＯＩ情報の埋め込み方法と、ＲＯＩ情報読取部４０８による目印やＲＯＩ情報の読み取り方法を説明する。

ＲＯＩ情報埋込部Ｕ２は、目印やＲＯＩ情報を、画素値の形態で、中間画像に埋め込む。画素値の形態でのＲＯＩ情報の埋め込みにおいては、埋め込まれる情報を表現する画素値を、大きさを持った複数の画素群の全てに埋め込む。ただし、複数の画素群は互いに重ならない領域とする。各画素群は、例えば矩形等の領域とすることができる。これにより、後段のエンコード処理による劣化によって埋め込んだ値が劣化することを防止できる。

ただし、エンコード処理に起因する劣化予防効果は得られないが、画素１個によって画素群を構成することも本発明の動作に含む。

目印やＲＯＩ情報の埋め込みに対応して、画像解析による読み取りにおいては、当該画素群に含まれる１個以上の画素の画素値の統計値から、当該埋め込まれる情報を読み取ることとする。統計値の詳細な説明は後述する。

［目印やＲＯＩ情報の埋め込み位置］
図４は、第１の実施形態に係るＲＯＩ情報の埋め込み方法を説明する説明図である。

図４において、「Ｐ」は画像全体を示している。この例では、画像Ｐの右下隅の位置を埋込位置の起点としており、その基点から左方向に向かって、目印やＲＯＩ情報を順に埋め込んでいく場合を例示している。

例えば、図４において、「５０」は、目印やＲＯＩ情報を含む領域（以下、「情報ＲＯＩ」とも呼ぶ。）を示している。「５１」は、例えばフレームタイプを判定するための目印を埋め込む領域（画素群）、「５２」は画素、「５３」はＲＯＩ数を埋め込む画素群、「５４」はＲＯＩ情報のＸ座標の値を埋め込む領域（画素群）、「５５」はＲＯＩ情報のＹ座標の値を埋め込む領域（画素群）、「５６」はＲＯＩ情報の大きさに関する横幅を示す値を埋め込む領域（画素群）、「５７」はＲＯＩ情報の大きさに関する高さ（縦幅）を示す値を埋め込む領域（画素群）を例示している。

１画素群に埋め込めるデータ量の理論的な最大量は、画素値のビット数となるため、例えば８ビットで画素値が表現されている場合は、最大で８ビットしか埋め込むことができない。さらに実用的には、後段のエンコード処理で発生する劣化によってＲＯＩ情報が劣化することを避けるため、８ビットよりも少ないデータ量を埋め込むことになる。

ＲＯＩ情報を構成する各々のデータが１画素群に埋め込めるデータ量よりも多い場合、１つのデータを１画素群以上に分散して埋め込むことになる。図４の例では、図４中の上方向に向かって１個以上の画素群を用意し、各々のデータを埋め込んでいる。

目印についても同様で、目印はＲＯＩ情報読取部４０８が一意に特定できる、画像中で自然には発生する可能性の低いパターンであれば任意のもので良い。図４の例では、濃色と淡色のそれぞれの画素群の一定のパターンの例を示しているが、本例のようなパターンを作るために複数の画素群を使用するにあたっても、上方向に向かって１個以上の画素群を用意している。

また、図４の例では、画像の右下隅に埋め込む場合、画像の右下隅を起点に左方向に向かって各種データや目印を順に埋め込み、上方向に向かって１つのデータを埋め込むための１個以上の画素群を確保することを前提にした例を示しているが、埋込位置によって指定された起点座標から、どの方向に向かって、データを埋め込むかについては種々考えられる。図４に例示したように、どの埋込位置に埋め込むかに応じて、どの方向に向かってデータを埋め込むかを画像処理システム１として予め定めておいても良いし、例えば、目印のパターンを２種類以上用意して、目印のパターンに従って、どの方向に埋め込まれているかを画像処理システム１内で共有することにしても良い。

さらに図４の例では、ＲＯＩ数や各種座標値をそれぞれ独立したデータとして埋め込んでいるが、ＲＯＩ情報を、たとえばＪＳＯＮフォーマットのような文字列フォーマットを使用することで、１つの統合されたデータにして、当該文字列を共有された方向に向かって埋め込んでも良い。

［統計値］
前述の統計値には、例えば、当該画素群を構成する画素の画素値の平均値や、当該画素群を構成する画素の画素値の中央値、当該画素群を構成する画素のうち図５に示すように中央に位置する１個以上の画素の統計値（平均値や中央値）などが考えられる。

前述のとおり、エンコード処理に起因する劣化によって、埋め込まれた画素値が劣化することが想定されるが、統計値を用いて読み取りを行なうことで、この劣化がＲＯＩ情報を棄損する可能性を下げる。

とりわけ統計値として、中央に位置する１個以上の画素の統計値を使用することで、当該劣化に対して頑健な読み取りをおこなえるようになる。

なぜならば、画像の圧縮過程においては、一般的に、復号画像の品質を高めるために存在する変換量子化やデブロッキングフィルタ等インループフィルタの影響で、ある画素の画素値が近隣画素の画素値に影響を与えるフィルタ効果があり、このフィルタ効果は画素値の形態で表現されたＲＯＩ情報を棄損する原因の１つになるが、前述の画素群は同じ画素値を持ち、当該フィルタ効果は近隣画素間で発生するため、画素群のうち外郭に位置する画素は周辺画素の影響によって変化するが、画素群のうち中央に位置する画素は外郭に位置する画素に守られ影響を受けにくくなるためである。

［ＲＯＩ情報の画素値の形態での埋め込み］
次に、ＲＯＩ情報を画素値の形態で埋め込む及び読み取るに関して、ＲＯＩ情報埋込部Ｕ２がどのような画素値を生成し、ＲＯＩ情報読取部４０８がどのように読み取るかを説明する。

どのような画素値を生成し、どのように読み取るかについては種々の方法が考えられるが、例えば、以下の方法が挙げられる。

［方法例１］
画素値のビット数が整数値Ｎで、埋め込まれる情報がＸで、Ｘのビット数がＮ以下の整数値ｎである場合、Ｎビットのうち上位ｎビットをＸとし、上位から数えて（ｎ＋１）ビット目を「１」とし、それ以下のビットを「０」にすることで、埋め込まれる情報を表現する画素値とする。

この場合、画素値または前述のとおり画素群の統計値の上位からｎビットを抜き出すことで、埋め込まれた情報Ｘを読み取ることができる。

上位から数えて（ｎ＋１）ビット目を「１」としていることで、前述のフィルタ効果によってＲＯＩ情報が棄損する可能性を低減している。

具体的には、画素値に対して、２＾（Ｎ－ｎ－１）より大きな雑音が減算されたり、２＾（Ｎ－ｎ－１）以上の雑音が加算されたりしない限り、ＲＯＩ情報は棄損しない。

たとえば、Ｎ＝８，ｎ＝３の場合、埋め込むビット列をｘｘｘとすると、埋め込まれる情報を表現する画素値は、ｘｘｘ１００００という８ビットのデータになる。

この場合、１００００より大きな雑音が減算されたり、１００００以上の雑音が加算されたりすると、ｘｘｘが棄損されるが、それ以外の場合は、ｘｘｘは棄損せず保存される。

なお、方法例１の特別なケースとして、ｎ＝１の場合は、画素値または前述のとおり画素群の統計値が所定の数（たとえば、０１１１１１１や１０００００００）との比較演算によって、情報Ｘを読み取ることもできる。

例えば、所定の数値以上の場合Ｘ＝１と判定し、所定の数値よりも小さい場合Ｘ＝０と判定する。この場合、プレフィルタ部４０５で非特許文献１で提案されているダイナミックレンジを限定するフィルタで、０１１１１１１または１０００００００を中心にダイナミックレンジを限定している場合でも、ＲＯＩ情報が棄損せず伝送できるうえ、ダイナミックレンジを回復する処理を経なくても、ＲＯＩ情報を読み取ることができる。

［方法例２］
画素値のビット数が整数値Ｎで、埋め込まれる情報がＸで、Ｘのビット数がＮ以下の整数値ｎである場合、中間画像のうち埋め込みをおこなう画素の画素値を「Ｙ」とすると、Ｙのうち下位ｎビットを「Ｘ」として、上位（Ｎ－ｎ）ビットはＹの値のまま残すことで、埋め込まれる情報を表現する画素値とする。

この場合、画素値または前述のとおり画素群の統計値の下位からｎビットを抜き出すことで、埋め込まれた情報Ｘを読み取ることができる。

たとえば、Ｎ＝８，ｎ＝３の場合、埋め込むビット列をｘｘｘ、中間画像のうち埋め込みをおこなう画素の画素値のビット列をｙｙｙｙｙｙｙｙとすると、埋め込まれる情報を表現する画素値は、ｙｙｙｙｙｘｘｘという８ビットのデータになる。

方法例２は、下位ビットにＲＯＩ情報を埋め込むことになるため、方法１に比べると符号化歪や前述のフィルタ効果等の影響を受けやすいという欠点があるが、上位ビットは元の画像の画素値の値になっているため、人の目には識別しづらいというメリットがある。

［方法例３］
画素値のビット数が整数値Ｎで、埋め込まれる情報がＸで、Ｘのビット数がＮ以下の整数値ｎである場合、中間画像のうち埋め込みをおこなう画素の画素値を「Ｙ」、所定の整数値をｍとすると、Ｙのうち下位（ｎ＋ｍ）ビットのうち上位ｎビットを「Ｘ」として、上位（Ｎ－（ｎ＋ｍ））ビットはＹの値のまま残し、下位ｍビットのうちの最上位ビットを１とし、残りのビットを０とすることで、埋め込まれる情報を表現する画素値とする。

この場合、画素値または前述のとおり画素群の統計値の下位から（ｎ＋ｍ）ビットのうち上位ｎビットを抜き出すことで、埋め込まれた情報Ｘを読み取ることができる。

例えば、Ｎ＝８，ｎ＝３，ｍ＝２の場合、埋め込むビット列をｘｘｘ、中間画像のうち埋め込みをおこなう画素の画素値のビット列をｙｙｙｙｙｙｙｙとすると、埋め込まれる情報を表現する画素値は、ｙｙｙｘｘｘ１０という８ビットのデータになる。

方法例３は、方法例１と方法例２の間に位置する方法で、画素値を構成するＮビットのうちの中間ビットにＸを埋め込む。したがって、特徴も方法例１と方法例２の間となり、画素値の劣化に対しては方法例２より頑健で、人の目には方法例１よりも意味のある画像になるという特徴がある。

他にも周波数空間に変換して、周波数空間上で埋め込むなど種々の派生が考えられるが、画素値に情報を埋め込むという観点では共通であるため、これらを代表して前述の方法例とする。

［埋込位置］
最後に、ＲＯＩ情報を埋め込む埋込位置は、右下隅がもっとも望ましく、次いで、左下隅や右上隅が好ましい理由を説明する。

後段のエンコーダ部Ｕ３において、例えばＨ．２６４／ＭＰＥＧ－４ ＡＶＣやその類似方式に沿って圧縮を行なう場合、これらの方式は入力画像のサイズを所定の数の倍数、たとえば１６の倍数に限定している。そのため、所定の数の倍数ではないサイズの画像を入力した場合、所定の数の倍数にするために、画像の下端や右端にパディングデータを追加する。パディングデータは本質的には意味のないデータであるため、パディングデータに多くの符号量を割くことは避けたい。画像の符号化では、画素間の差分が小さいほどデータ量が少なくなることが一般的であるため、図６に示す例のようにパディングデータは最寄りの画素値のコピーとすることが多い。図６の例では、画像Ｐにおいて、画像下端に並んでいる各画素値を、下方に３画素分コピーすることで、画像下端に３画素分の画素をパディングデータとして追加している。

今、画像の右下隅に何らかの情報を埋め込んだとすると、入力画像のサイズが所定の数の倍数でない場合、情報を埋め込んだ画素の画素値がパディングデータとしてコピーされることになる。情報を埋め込んだ画素の画素値がパディングデータとしてコピーすることは、情報を埋め込んだ画素の周辺で、情報を埋め込んだ画素と同じ画素が増えることになるため、前述のフィルタ効果によって、埋め込んだ情報が棄損してしまうリスクを低減することができる。

なお、ＲＯＩ情報埋込部Ｕ２は、予め画像のサイズを拡張することで画像中に所定のサイズの埋込領域を設けても良い。本領域には、視聴者にとって意味のある画像情報はなく、たとえば１２８など、任意の画素値で埋める。たとえば画像の下部に任意画素分の画素を、たとえば画素値１２８で追加することで、埋込領域を設ける。そのうえで、埋込位置指定部１０２が、本領域を埋込位置に指定するようにしても良い。

（Ａ－３）第１の実施形態の効果
以上のように、第１の実施形態によれば、ＲＯＩ情報埋込部Ｕ２が画像にＲＯＩ情報を埋め込み、ＲＯＩ情報読取部４０８が、画像解析によって埋め込んだ画素から情報を抽出することによりＲＯＩ情報を読み取っていることで、ポストフィルタ部４０９に、同期したＲＯＩ情報と画像を、バッファリングによる同期なしに入力することができる。その結果、画像復号装置側に画像が届いている限り、画像復号装置側は当該画像のＲＯＩ情報を読み取れるので、画像とＲＯＩ情報のいずれか一方のみがデータロスしてしまい、対応関係の整合が取れないという問題も回避することができる。

（Ｂ）第２の実施形態
次に、本発明に係る符号化装置、復号装置及び画像処理方法の第２の実施形態を、図面を参照しながら説明する。

（Ｂ－１）第２の実施形態の構成
図７は、第２の実施形態に係る画像処理システムの構成を示す構成図である。

第２の実施形態では、図７の画像符号化装置２Ａの構成が、図１の第１の実施形態の画像符号化装置２の構成と異なるので、以下では、図１の画像符号化装置２と異なる構成を中心に説明する。

図７において、第２の実施形態に係る画像符号化装置２Ａは、ＲＯＩ情報埋込部Ｕ２が、ＲＯＩ情報追加部２０３と、ＲＯＩ情報埋込コア部（「ＲＯＩ情報埋込実行部」とも呼ぶ。）２０４とを有する。

ＲＯＩ情報追加部２０３は、埋込位置指定部１０２からＲＯＩ情報の埋込位置を取得し、その埋込位置に基づいて、ＲＯＩ情報埋込コア部２０４により埋め込まれる画素を全て包含する領域を求める。さらに、ＲＯＩ情報追加部２０３は、当該領域を情報ＲＯＩとしてＲＯＩ情報に追加し、中間画像にＲＯＩ情報を紐づけたデータをＲＯＩ追加画像として出力する。

ＲＯＩ情報埋込コア部２０４は、基本的には、第１の実施形態のＲＯＩ情報埋込部Ｕ２と同じ機能を行なうものであり、目印やＲＯＩ情報を画素値の形態で中間画像に埋め込む。ここで、ＲＯＩ情報を画素値の形態で埋め込む処理では、ＲＯＩ情報追加部２０３からのＲＯＩ追加画像に対してＲＯＩ情報を画素値の形態で埋め込んだ上で、さらにＲＯＩ情報を紐づけたデータをＲＯＩ設定画像としてエンコーダ部Ｕ３に出力する。

（Ｂ－２）第２の実施形態の動作
次に、第２の実施形態に係る画像処理システム１Ａにおける画像処理方法の動作を、図８を用いて説明する。以下では、第２の実施形態の画像符号化装置２Ａにおける動作を中心に説明する。

［ステップＳ１０１、Ｓ１０２］
図８に示すように、第１の実施形態と同様に、ＲＯＩ情報設定コア部１０１は、入力画像のＲＯＩ情報を決定し、入力画像にＲＯＩ情報を紐づけたデータを中間画像として出力し、埋込位置指定部１０２は、ＲＯＩ情報埋込部Ｕ２のＲＯＩ情報追加部２０３及びＲＯＩ情報埋込コア部２０４に、埋込位置の起点座標を指定する。

［ステップＳ１１１］
ＲＯＩ情報追加部２０３は、フレームタイプが非キーフレームであった場合、目印やＲＯＩ情報が埋め込まれる画素を全て包含する領域を、情報ＲＯＩとしてＲＯＩ情報に追加する。

ＲＯＩ情報が埋め込まれている画素を全て包含する領域は、ＲＯＩ情報のデータ量や埋め込み方法などによって変わる。例えば、ＲＯＩ情報のデータ量や埋め込み方法などを仮定したときの包含する領域の一例を図４に例示している。図４に例示するように、例えば、目印５１、画素５２、ＲＯＩ数５３、Ｘ座標５４、Ｙ座標５５、横幅５６、高さ５７の全てを包含する最小サイズの矩形領域を情報ＲＯＩ５０としている。

ここで、フレームタイプがキーフレームであった場合、ＲＯＩ情報追加部２０３は、情報ＲＯＩをＲＯＩ情報に追加しても良いし又は追加しなくても良い。いずれの場合でも、本発明の効果はある。この場合は、全画像において情報ＲＯＩをＲＯＩ情報に追加するようにしてもよい。

［ステップＳ１１２］
ＲＯＩ情報埋込コア部２０４は、フレームタイプが非キーフレームであった場合、埋込位置に、目印とＲＯＩ情報を画素値の形態で埋め込み、ＲＯＩ設定画像として出力する。

なお、先に説明したとおり、フレームタイプを使用しない場合も本発明の１つの構成であるが、この場合は第１の実施形態におけるステップＳ１０３にて説明したとおり、全画像に対して埋込処理をおこなう。

［ステップＳ１０４、Ｓ１０５］
第１の実施形態と同様に、プレフィルタ部４０５は、ＲＯＩ情報に従って、非ＲＯＩに属する画素を特定し、例えば非ＲＯＩに属する画素にダイナミックレンジを限定するフィルタリングを施し、プレフィルタ画像として出力する。また、エンコーダコア部４０６は、例えばＨ．２６４／ＭＰＥＧ－４ ＡＶＣ等の画像符号化方式を用いて、プレフィルタ画像を圧縮し、ビットストリームを出力する。

なお、この実施形態においては、エンコーダ部Ｕ３は、ＲＯＩについてはロスレス圧縮を行なうようにすれば、画素値の形態で埋め込んだＲＯＩ情報を劣化なく、画像を伝送することが可能になるため、本発明の効果は更に確実に得られるようになる。

特に、第１の実施形態の動作の項にて説明した、どのような画素値を生成し、どのように読み取るかについての方法で、方法例２や方法例３を使用する場合においては、ＲＯＩについてはロスレス圧縮をおこなう構成とすることで、ＲＯＩ情報の棄損が避けられるため、有用な構成となる。

（Ｂ－３）第２の実施形態の効果
以上のように、第２の実施形態によれば、ＲＯＩ情報が埋め込まれる画素をＲＯＩに設定して画素値の劣化を防止することで、ＲＯＩ情報が壊れ、異常な動作を引き起こしてしまうことを防止でき、ＲＯＩ情報と画像の周期を確実に行なうことができる。

特に、特許文献１に代表されるエンコーダが備える領域ごとに映像品質を制御する機能を利用してＲＯＩに多くのビット数を配分する場合や、プレフィルタ部４０５においてダイナミックレンジを限定することでＲＯＩ符号化を行なうシステムにおいては、画素値の形態で埋め込まれた情報が符号化歪やダイナミックレンジの限定によって大きく劣化することが予想されるため、前述の効果は重要となる。

（Ｃ）第３の実施形態
次に、本発明に係る符号化装置、復号装置及び画像処理方法の第３の実施形態を、図面を参照しながら説明する。

（Ｃ－１）第３の実施形態の構成
図９は、第３の実施形態に係る画像処理システムの構成を示す構成図である。

第３の実施形態では、図９の画像復号装置３Ｂの構成が、第１及び第２の実施形態の画像復号装置３の構成と異なるので、以下では、第１及び第２の実施形態の画像復号装置３と異なる構成を中心に説明する。

なお、図９では、画像符号化装置２Ａが、図７の第２の実施形態の画像符号化装置である場合を示しているが、図１の第１の実施形態の画像符号化装置とする場合にも適用でき、本発明の効果を得ることができる。

画像復号装置３Ｂは、第１及び第２の実施形態と同様に、デコーダ部４０７、ＲＯＩ情報読取部４０８、ポストフィルタ部４０９を備え、これに加えて埋込隠蔽部Ｕ４を有する。

埋込隠蔽部Ｕ４は、ポストフィルタ部４０９からのポストフィルタ画像のうち、前記画素値の形態でＲＯＩ情報が埋め込まれる領域を、画面上から隠蔽する処理を行ない、埋込隠蔽画像として出力する。埋込隠蔽部Ｕ４が出力する埋込隠蔽画像は出力画像として出力される。

埋込隠蔽部Ｕ４は、例えば、キーフレームを蓄積するキーフレームメモリ３１１と、キーフレームメモリ３１１に蓄えられているキーフレームを用いて隠蔽処理を行なう埋込隠蔽コア部（「埋込隠蔽実行部」とも呼ぶ。）３１０とを有する。

（Ｃ－２）第３の実施形態の動作
次に、第３の実施形態に係る画像処理システム１Ｂにおける画像処理方法の動作を、図１０を用いて説明する。以下では、第３の実施形態の画像復号装置３Ｂにおける動作を中心に説明する。

［ステップＳ２０１～Ｓ２０３］
図１０に示すように、デコーダ部４０７は、例えばＨ．２６４／ＭＰＥＧ－４ ＡＶＣ等の画像符号化方式を用いて復号し、復号画像を出力する。

ＲＯＩ情報読取部４０８は、デコーダ部４０７からの復号画像を解析することで、復号画像に目印が存在するかどうかを判定し、目印が存在する場合、非キーフレームであると判定するとともに、ＲＯＩ情報を読み取り、復号画像にＲＯＩ情報を紐づけたデータを、ＲＯＩ読取画像として出力する。

ポストフィルタ部４０９は、ＲＯＩ情報読取部４０８により読み取られたＲＯＩ情報に従って、非ＲＯＩに属する画素を特定し、非ＲＯＩに属する画素に、例えばダイナミックレンジを回復するフィルタリングを施し、ポストフィルタ画像として出力する。

［ステップＳ２１０］
埋込隠蔽コア部３１０は、画素値の形態で埋め込まれる領域を画面上から隠蔽する処理を行ない、埋込隠蔽画像として出力する。

［隠蔽処理］
隠蔽する処理とは、フレームタイプという概念を使用する場合、たとえば、図１１に示すように、フレームタイプがキーフレームであった場合、キーフレームメモリ３１１で画像のコピーを記憶し、フレームタイプが非キーフレームであった場合、情報ＲＯＩの画素値にキーフレームの対応画素値をコピーすることで、情報ＲＯＩを隠蔽し、埋込隠蔽画像として出力する。

なお、本処理をおこなう際は、前記ポストフィルタ部４０９が、ＲＯＩ読取画像４０８で求めたＲＯＩ情報を、ポストフィルタ画像にも紐づけて出力する。

なお、隠蔽に使用するキーフレームは、非キーフレームに類似の画像であれば任意のものであっても効果を発揮するが、たとえば、これから隠蔽をおこなう非キーフレームに時刻上最も近いキーフレームを用いたり、これから隠蔽をおこなう非キーフレームの前時刻に取得されたキーフレームのうち最も直前に取得されたものを用いたりする方法がある。

なお、第１の実施形態に記載のとおり、本発明では、フレームタイプという概念を使用する場合、キーフレームには目印やＲＯＩ情報の埋め込みはおこなわず、目印の有無によってフレームタイプを判定しているために、埋込隠蔽部Ｕ４は前述の効果を発揮できる。

また、隠蔽する処理とは、たとえば、図１２に示すように、ポストフィルタ画像のうち、画素値の形態で埋め込まれる領域を画面上から切り取る処理をおこなうことで埋込隠蔽画像を生成しても良い。

切り取りをおこなう領域は、ＲＯＩ情報の一つとして伝送するようにしても良い。特に、ＲＯＩ情報埋込部Ｕ２において、第１の実施形態で説明した、画像のサイズを拡張することで画像中に所定のサイズの埋込領域を設け、埋込位置指定部１０２において本領域を埋込位置に指定した場合、前述の切り取る処理をおこなうことで、本領域を視聴者から隠蔽することができる。

（Ｃ－３）第３の実施形態の効果
以上のように、第３の実施形態によれば、埋め込まれた画素値を隠蔽する埋込隠蔽部Ｕ４が加わっていることで、視聴者にとって本来不要な画素値の表示を避けることができ、視聴品質を向上することができる。

（Ｄ）他の実施形態
上述した第１～第３の実施形態においても種々の変形実施形態を言及したが、本発明は、以下の変形実施形態も適用できる。

（Ｄ－１）システムの動作環境において、ＲＯＩ情報となりうるデータの種類が有限である場合、画像処理システム内にてＲＯＩ情報とインデックスとを紐づける形でテーブルで管理し、ＲＯＩ情報埋込部Ｕ２が、ＲＯＩ情報を中間画像に画素値の形態で埋め込む代わりに、インデックスを中間画像に画素値の形態で埋め込んでも良く、この場合、ＲＯＩ情報読取部４０８は、復号画像を解析することでインデックスを読み取り、インデックスとテーブルを用いてＲＯＩ情報を読み取ることになる。

本動作を採用することで、ＲＯＩ情報のデータ量を削減できるため、埋め込みによる画像の劣化を抑えられるという効果がある。

（Ｄ－２）上述したすべての実施形態では、本発明の説明を簡単にするために、画像全体がＲＯＩと非ＲＯＩの２種類に区別される例を示しているが、非ＲＯＩにも重要度の段階があっても良い。たとえば、ＲＯＩの設定に歩行者検出アルゴリズムと顔検出アルゴリズムを使用し、顔検出アルゴリズムによって検出されたＲＯＩは顔領域として、歩行者検出アルゴリズムによって検出された歩行者領域は相対的に重要な非ＲＯＩとし、顔でも歩行者でもない領域は相対的に重要ではない非ＲＯＩとしても良い。この場合、非ＲＯＩ情報のデータ量削減方法として、たとえば、非ＲＯＩの重要度に応じて異なるダイナミックレンジに圧縮する動作として良く、たとえば、相対的に重要な非ＲＯＩには広いダイナミックレンジで圧縮をおこない、相対的に重要ではない非ＲＯＩには狭いダイナミックレンジで圧縮をおこなうという構成でも良い。どの非ＲＯＩを、どのダイナミックレンジで圧縮するかは、たとえば予め設定あるいは作成しておいた非ＲＯＩの重要度とフィルタ強度のルックアップテーブルに基づいておこなえば良い。また、同じように、本提案書では説明を簡単にするためにＲＯＩにはフィルタリングを適用しない例を示しているが、ＲＯＩに非ＲＯＩよりも弱いフィルタリングをかける構成であっても良い。

（Ｄ－３）上述したすべての実施形態において、たとえば顔領域をＲＯＩとしたときの非ＲＯＩを劣化させデータ量を削減する例を示しているが、顔領域のようにＲＯＩとして選ばれる領域を劣化させても良い。この場合、本提案書における言葉の定義上は、非顔領域がＲＯＩであり、顔領域が非ＲＯＩである。非顔領域をＲＯＩとすることで、たとえばプライバシーを守ることができるなどの効果も得られる。

（Ｄ－４）上述したすべての実施形態において、機能ブロック間のデータの受け渡しを画像単位でおこなっているように記述しているが、画素値信号のデータの意味を明らかにするためであり、実装等では画素単位にデータを受け渡ししても良い。

（Ｄ－５）上述したすべての実施形態において、ＲＯＩとは主に画像空間の一部の限定された領域のように記載しているが、画像全体がＲＯＩであったり画像全体が非ＲＯＩであったりする画像が存在しても良い。

（Ｄ－６）上述したすべての実施形態において、画像符号化システムＸ１内の各機能や画像復号システムＸ２内の各機能は単一の装置のなかに実装されているように記述しているが、これらは実装例の１つであり、各機能が別の装置で実装されていたとしても、各信号が本提案書の構成図のように入出力がなされていれば本発明の効果はある。つまり、画像符号化システムＸ１や画像復号システムＸ２が１個以上の装置から構成され、それぞれの機能が分散して実装されていたとしても本発明の効果はある。

（Ｄ－７）上述したすべての実施形態において、色成分ごとの処理の違いについては特別に触れていないが、すべての実施例において色成分ごとに同じダイナミックレンジを使用してもいいし、異なるダイナミックレンジを使用しても良い。

１…画像処理システム、
２及び２Ａ…画像符号化装置、Ｕ１…ＲＯＩ情報設定部、１０１…ＲＯＩ情報設定コア部、１０２…埋込位置指定部、Ｕ２…ＲＯＩ情報埋込部、２０３…ＲＯＩ情報追加部、２０４…ＲＯＩ情報埋込コア部、Ｕ３…エンコーダ部、４０５…プレフィルタ部、４０６…エンコーダコア部、
３及び３Ｂ…画像復号装置、４０７…デコーダ部、４０８…ＲＯＩ情報読取部、４０９…ポストフィルタ部、Ｕ４…埋込隠蔽部、３１０…埋込隠蔽コア部、３１１…キーフレームメモリ。

Claims (17)

1. 入力画像を符号化する符号化装置において、
   前記入力画像に対応する注目領域を設定し、当該入力画像に注目領域情報を紐づけたデータを中間画像として出力する注目領域情報設定実行部と、
   前記中間画像における前記注目領域情報の埋込位置を指定する埋込位置指定部と、
   前記埋込位置に従って、前記中間画像に当該注目領域情報を画素値の形態で埋め込み、前記注目領域情報を紐づけたデータを、注目領域設定画像として出力する注目領域情報埋込部と、
   所定の画像符号化方式を用いて、前記注目領域設定画像を符号化して出力する符号化部と
   を有し、
   前記注目領域情報埋込部が、
   前記中間画像に前記注目領域情報が埋め込まれる全ての画素を包含する領域を、前記埋込位置に従って求めて、当該領域を追加注目領域として前記注目領域情報に追加し、前記中間画像に当該注目領域情報を紐づけたデータを、注目領域追加画像として出力する注目領域情報追加部と、
   前記埋込位置に従って、前記注目領域追加画像に、当該注目領域情報を画素値の形態で埋め込み、前記注目領域情報を紐づけたデータを、注目領域設定画像として出力する注目領域情報埋込実行部と
   を有することを特徴とする符号化装置。
2. 前記注目領域情報埋込部は、当該埋込位置を特定する目印を含む前記注目領域情報を、前記中間画像若しくは前記注目領域追加画像に、画素値の形態で埋め込むことを特徴とする請求項１に記載の符号化装置。
3. 前記注目領域情報設定実行部が、前記入力画像がキーフレームであるか否かを判定させるためのフレームタイプ情報と、前記注目領域の位置を示す座標情報とを含む前記注目領域情報を設定し、
   前記注目領域情報埋込部は、前記入力画像が非キーフレームの場合に、前記埋込位置に従って、前記中間画像若しくは前記注目領域追加画像に、前記注目領域情報を画素値の形態で埋め込む
   ことを特徴とする請求項２に記載の符号化装置。
4. 当該符号化装置と対向する復号装置との間で、前記注目領域情報となり得る１個以上の実データをインデックスと対応付けたテーブルで管理し、
   前記注目領域情報埋込部は、前記テーブルを用いて、前記注目領域情報に対応するインデックスを、前記中間画像若しくは前記注目領域追加画像に、画素値の形態で埋め込む
   ことを特徴とする請求項１～３のいずれかに記載の符号化装置。
5. 前記注目領域情報埋込部は、前記中間画像若しくは前記注目領域追加画像に埋め込まれる情報を表現する画素値を、大きさを持った画素群であって、互いに重ならない複数の画素群に埋め込むことを特徴とする請求項１～４のいずれかに記載の符号化装置。
6. 前記画素値のビット数が整数値Ｎで、埋め込まれる情報がＸであり、Ｘのビット数がＮ以下の整数値ｎである場合に、
   前記注目領域情報埋込部は、Ｎビットのうち上位ｎビットをＸとし、上位から数えて（ｎ＋１）ビット目を１とし、それ以下のビットを０にすることで、埋め込まれる情報を表現する画素値とすることを特徴とする請求項１～５のいずれかに記載の符号化装置。
7. 前記画素値のビット数が整数値Ｎで、埋め込まれる情報がＸであり、Ｘのビット数が１である場合に、
   前記注目領域情報埋込部は、Ｎビットのうち最上位ビットＸとし、上位から数えて２ビット目を１とし、それ以下のビットを０にすることで、埋め込まれる情報を表現する画素値とすることを特徴とする請求項６に記載の符号化装置。
8. 前記画素値のビット数が整数値Ｎで、埋め込まれる情報がＸであり、Ｘのビット数がＮ以下の整数値ｎである場合に、
   前記注目領域情報埋込部は、前記中間画像若しくは前記注目領域追加画像のうち、埋め込みを行なう画素の画素値をＹとすると、Ｙのうち下位ｎビットをＸとして、上位（Ｎ－ｎ）ビットはＹの値のまま残すことで、埋め込まれる情報を表現する画素値とすることを特徴とする請求項１～５のいずれかに記載の符号化装置。
9. 前記画素値のビット数が整数値Ｎで、埋め込まれる情報がＸであり、Ｘのビット数がＮ以下の整数値ｎである場合に、
   前記注目領域情報埋込部は、前記中間画像若しくは前記注目領域追加画像のうち、埋め込みを行なう画素の画素値をＹ、所定の整数値をｍとすると、Ｙの下位（ｎ＋ｍ）ビットのうち上位ｎビットをＸとして、上位（Ｎ－（ｎ＋ｍ））ビットはＹの値のまま残し、下位ｍビットのうちの最上位ビットを１とし、残りのビットを０とすることで、埋め込まれる情報を表現する画素値とすることを特徴とする請求項１～５のいずれかに記載の符号化装置。
10. 前記埋込位置指定部が、画像の右下隅、左下隅、又は、右上隅のいずれかを、前記埋込位置として指定することを特徴とする請求項１～９のいずれかに記載の符号化装置。
11. 前記埋込位置指定部が、任意の画素値を追加して、予め画像サイズを拡張した画像中に所定サイズの埋め込み領域を設けることを特徴とする請求項１～９のいずれかに記載の符号化装置。
12. 画像の注目領域情報を画素値の形態で埋め込まれた上で、当該画像に注目領域情報を紐づけたデータを、所定の画像符号化方式で符号化された符号化画像を復号する復号装置において、
    前記符号化画像を復号して復号画像を出力する復号部と、
    前記復号画像を解析して、前記注目領域情報を読み取り、当該復号画像に前記注目領域情報を紐づけたデータを注目領域情報読取画像として出力する注目領域情報読取部と、
    前記注目領域情報読取画像に基づいてポストフィルタを当てて、ポストフィルタ画像を出力するポストフィルタ部と
    を有し、
    前記注目領域情報に、当該注目領域情報の埋込位置を特定する目印が含まれる場合、
    前記注目領域情報読取部は、前記復号画像から前記目印を探索することで、前記注目領域情報の前記埋込位置を特定し、当該埋込位置を解析することで前記注目領域情報の読み取りを行なうことを特徴とする復号装置。
13. 前記注目領域情報に、フレームタイプ情報が含まれる場合、
    前記注目領域情報読取部は、前記復号画像に前記目印が含まれているか否かを判定し、前記目印が存在しない場合、当該復号画像がキーフレームであると判定し、前記目印が存在する場合、当該復号画像が非キーフレームであると判定して前記注目領域情報を読み取ることを特徴とする請求項１２に記載の復号装置。
14. 当該復号装置と対向する符号化装置との間で、前記注目領域情報となり得る１個以上の実データをインデックスと対応付けたテーブルで管理し、
    前記注目領域情報読取部が、前記テーブルを用いて、前記復号画像を解析して得たインデックスに対応する前記注目領域情報を読み取ることを特徴とする請求項１２又は１３に記載の復号装置。
15. 前記ポストフィルタ画像のうち、画素値の形態で埋め込まれている領域を画面上から隠蔽して得た埋込隠蔽画像を出力画像として出力する埋込隠蔽部を有することを特徴とする請求項１２～１４のいずれかに記載の復号装置。
16. 前記埋込隠蔽部が、前記ポストフィルタ画像のうち、前記画素値の形態で埋め込まれる領域を画面上から切り取る処理を行なうことで前記埋込隠蔽画像を生成することを特徴とする請求項１５に記載の復号装置。
17. 符号化装置と復号装置とを備える画像処理システムの画像処理方法において、
    前記符号化装置は、
    注目領域情報設定実行部が、入力画像に対応する注目領域を設定し、当該入力画像に注目領域情報を紐づけたデータを中間画像として出力し、
    埋込位置指定部が、前記中間画像における前記注目領域情報の埋込位置を指定し、
    注目領域情報埋込部が、前記埋込位置に従って、前記中間画像に当該注目領域情報を画素値の形態で埋め込み、前記注目領域情報を紐づけたデータを、注目領域設定画像として出力し、
    符号化部が、所定の画像符号化方式を用いて、前記注目領域設定画像を符号化して出力し、
    前記注目領域情報埋込部が、
    前記中間画像に前記注目領域情報が埋め込まれる全ての画素を包含する領域を、前記埋込位置に従って求めて、当該領域を追加注目領域として前記注目領域情報に追加し、前記中間画像に当該注目領域情報を紐づけたデータを、注目領域追加画像として出力し、
    前記埋込位置に従って、前記注目領域追加画像に、当該注目領域情報を画素値の形態で埋め込み、前記注目領域情報を紐づけたデータを、注目領域設定画像として出力し、
    前記復号装置は、
    復号部は、前記符号化装置からの符号化画像を復号して復号画像を出力し、
    注目領域情報読取部が、前記復号画像を解析して、前記注目領域情報を読み取り、当該復号画像に前記注目領域情報を紐づけたデータを注目領域情報読取画像として出力し、
    ポストフィルタ部が、前記注目領域情報読取画像に基づいてポストフィルタを当てて、ポストフィルタ画像を出力し、
    前記注目領域情報に、当該注目領域情報の埋込位置を特定する目印が含まれる場合、
    前記注目領域情報読取部は、前記復号画像から前記目印を探索することで、前記注目領域情報の前記埋込位置を特定し、当該埋込位置を解析することで前記注目領域情報の読み取りを行なう
    ことを特徴とする画像処理方法。

Images