JP4564856B2 - 画像符号化装置及び撮像装置 - Google Patents

Description

本発明は、画像符号化装置及び撮像装置に関し、特に、Ｈ．２６４符号化方式を採用した場合において、最適なイントラ予測モードを選択する為の技術に関する。

動画像を高能率符号化するための技術として、ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧ１，２といった符号化方式が確立されている。各メーカーはこれらの符号化方式を利用して動画像を保存可能としたディジタルカメラやディジタルビデオカメラといった撮像装置或いはＤＶＤレコーダーなどを開発し、製品化しており、ユーザーはこれらの装置或いはパーソナルコンピュータやＤＶＤプレーヤーなどを用いて簡単に動画像を視聴することが可能となっている。

ところで、ディジタル化された動画像は膨大なデータ量となる。そこで、上記したＭＰＥＧ１，２などよりも更なる高圧縮が望める動画像の符号化方式が研究され続けてきて、近年ＩＴＵ−Ｔ（国際電気通信連合 電気通信標準化部門）とＩＳＯ（国際標準化機構）によりＨ．２６４／ＭＰＥＧ４ ｐａｒｔ１０：ＡＶＣという符号化方式（以下、Ｈ．２６４と称す）が標準化された。

Ｈ．２６４は、ＭＰＥＧ１，２等の従来の符号化方式に比べ、その符号化又は復号化により多くの演算量が要求されるが、より高い符号化効率が実現されることが知られている。Ｈ．２６４の演算処理の構成については、例えば特許文献１に開示されている。

ところで、Ｈ．２６４には、フレーム内画素値を用いて同一フレーム内画素値を予測する“イントラ予測”という予測方式が存在する。このイントラ予測においては、複数のイントラ予測モードが存在し、これらを選択的に用いることが規定されている。このとき入力画像に適したイントラ予測モードが選択されることにより、高レベルな圧縮を施しても劣化が少ない符号化データが生成されることになる。
特開２００４−５６８２７号公報

前記したイントラ予測に関して、予測の精度を向上させるため、Ｈ．２６４では９種類のイントラ予測モードが用意されている。そして、複数のイントラ予測モードの中から最適な１つのイントラ予測モードを選択する方法としては、入力画像に対してすべてのイントラ予測モードを実行して試した結果に基づいて、最適な結果を得られるイントラ予測モードを選択する方法が一般的である。

図１１を用いて、その背景を説明する。図１１はフレームのイメージであり、外側の四角は画面全体を示しており、内側の５つの四角は、イントラ予測を行うブロックを示している。なお、ブロックは画面全体に渡って設定されるものであるが、説明の簡略化のため、代表的な５つのみを示してある。さらに図１１は、各ブロックについて、演算の結果、最適となったイントラ予測モードが示す予測方向を矢印で示した例である。このように、同一の画面内であっても、位置によって被写体が異なるので、各ブロックに最適なイントラ予測モードはまちまちとなり、特定のモードに固定されるものではない。このような背景から、イントラ予測を行う場合には各ブロックに対し、すべてのイントラ予測モードについてその予測精度を求め、最適に予測できるモードを選択して、そのブロックの予測モードとしている。

しかしながら、複数のイントラ予測モードの中から最適な１つのイントラ予測モードを選択するために、上記した如きすべてのイントラ予測モードを計算してから選ぶ方法を用いた場合では、Ｈ．２６４符号化処理における演算量の増加につながり、ひいては符号化処理時間の超過や、消費電力の浪費につながっていた。

本発明は上記問題点を鑑みてなされたものであり、入力画像に対して最適なイントラ予測モードを、前記入力画像の撮影時の情報を用いることで容易に選択できるようにすることを目的とする。

また、本発明の他の目的は、Ｈ．２６４を用いた画像符号化装置における演算処理を軽減させて、効率的な符号化を実現することにある。

上記課題を解決するために、本発明の画像符号化装置は、複数の予測モードのうちいずれかを選び、選ばれた予測モードに従ってフレーム内の画素値を用いて同一フレーム内の符号化対象ブロックの画素値を予測して予測画像データを生成する画像符号化装置において、符号化すべき画像信号を入力する手段と、前記画像信号が生成されたときのカメラのズーム動作状態を示す撮影情報を取得する手段と、入力した前記画像信号の符号化において、フレーム内の画素値を用いて同一フレーム内の前記符号化対象ブロックの画素値を予測するときに、前記撮影情報がズーム動作中であることを示している場合には、前記符号化対象ブロックの位置に応じた予測モードを選択する手段とを備えることを特徴とする。
また、本発明の画像符号化装置は、複数の予測モードのうちいずれかを選び、選ばれた予測モードに従ってフレーム内の画素値を用いて同一フレーム内の符号化対象ブロックの画素値を予測して予測画像データを生成する画像符号化装置において、符号化すべき画像信号を入力する手段と、前記画像信号が生成されたときのカメラのフォーカス動作状態を示す撮影情報を取得する手段と、入力した前記画像信号の符号化において、フレーム内の画素値を用いて同一フレーム内の前記符号化対象ブロックの画素値を予測するときに、前記撮影情報がフォーカス合焦状態を示している場合と、フォーカス非合焦状態を示している場合とで、異なる処理によって予測モードを選択する手段とを備えることを特徴とする。

また本発明の撮像装置は、撮像して得られる画像信号を出力する撮像手段と、前記画像信号を圧縮符号化するための符号化手段であって、複数の予測モードのうちいずれかを選び、選ばれた予測モードに従ってフレーム内の画素値を用いて同一フレーム内の画素値を予測して予測画像データを生成する処理を行う符号化手段とを備えた撮像装置において、さらに前記撮像手段におけるズーム動作を制御する制御手段を備え、前記符号化手段は、フレーム内の画素値を用いて同一フレーム内の画素値を予測するときに、前記制御手段から出力された情報を用いて、ズーム中に撮影された画像に対しては当該画像を複数の領域に分割し、前記領域ごとに所定の予測モードを選択することを特徴とする。
また本発明の撮像装置は、撮像して得られる画像信号を出力する撮像手段と、前記画像信号を圧縮符号化するための符号化手段であって、複数の予測モードのうちいずれかを選び、選ばれた予測モードに従ってフレーム内の画素値を用いて同一フレーム内の画素値を予測して予測画像データを生成する処理を行う符号化手段とを備えた撮像装置において、さらに前記撮像手段におけるフォーカス動作を制御する制御手段を備え、前記符号化手段は、フレーム内の画素値を用いて同一フレーム内の画素値を予測するときに、前記制御手段から出力された情報を用いて、フォーカスが非合焦状態と判断されるときに撮影された画像に対しては所定の予測モードを選択することを特徴とする。

本発明によれば、すべてのイントラ予測モードを試すことなく、複数のイントラ予測モードの中から最適なイントラ予測モードを、撮影時の情報を利用することで容易に選択でき、さらに、Ｈ．２６４における符号化時の演算処理を軽減させることができる。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

＜第１の実施形態＞
図８は、本実施形態における画像符号化装置６００の構成を表わしたブロック図である。画像符号化装置６００は、減算器６０１、整数変換部６０２、量子化部６０３、エントロピー符号化部６０４、逆量子化部６０５、逆整数変換部６０６、加算器６０７、フレームメモリ６０８及び６１１、ループフィルタ６１０、インター予測部６１２、動き検出部６１３及びスイッチ６１４、イントラ予測部６１５から構成され、入力画像データを符号化処理して符号化データを出力する。

続いて、図８の画像符号化装置６００の符号化プロセスについて説明する。

画像符号化装置６００は、Ｈ．２６４符号化方式に従って符号化処理を行う。また、入力された画像データをブロックに分割し、そのブロック毎に処理を行う。

まず、減算器６０１は、画像符号化装置６００に入力された画像データ（入力画像データ）から予測画像データを減算し、画像残差データを出力する。予測画像データの生成については後述する。

整数変換部６０２は、減算器６０１から出力された画像残差データを整数変換処理して、変換係数を出力する。そして、量子化部６０３は上記変換係数を所定の量子化パラメータを用いて量子化する。

エントロピー符号化部６０４は、量子化部６０３で量子化された変換係数を入力し、これをエントロピー符号化して、符号化データとして出力する。

一方、量子化部６０３で量子化された変換係数は、後続のブロックを符号化するための予測画像データの生成に使われる。逆量子化部６０５は、量子化部６０３で量子化された変換係数を逆量子化する。さらに、逆整数変換部６０６は逆量子化部６０５で逆量子化された変換係数を逆整数変換し、復号残差データとして出力する。加算器６０７は、復号残差データと予測画像データとを加算し、再構成画像データとして出力する。

再構成画像データはフレームメモリ６０８に保存されるとともに、ループフィルタ６１０を介して、フレームメモリ６１１に保存される。再構成画像データの中で、以降の予測で参照される可能性があるデータは、フレームメモリ６０８または６１１に暫くの期間、保存される。また、ループフィルタ６１０はブロックノイズを除去する為に用いられる。

イントラ予測部６１５は、フレームメモリ６０８に保存された再構成画像データを用いてフレーム内予測処理を行い、予測画像データを生成する。また、インター予測部６１２は、フレームメモリ６１１に保存された再構成画像データを用いて、動き検出部６１３によって検出された動きベクトル情報に基づいてフレーム間予測処理を行い、予測画像データを生成する。動き検出部６１３は入力画像データにおける動きベクトルを検出し、検出した動きベクトル情報をインター予測部６１２とエントロピー符号化部６０４へ出力する。

スイッチ６１４は、マクロブロック単位で、イントラ予測、インター予測のどちらを用いるか選択するための選択部である。イントラ予測部６１５からの出力とインター予測部６１２からの出力の一方を選択して、選択された予測画像データを減算器６０１、加算器６０７へ出力する。

ここで、上記イントラ予測部６１５で行うイントラ予測について、図９及び図１０を用いて補足説明する。

イントラ予測では、同一画面内で、既に符号化された隣接画素の値を予測値として用いる。図９の様に符号化対象ブロックを４×４画素サイズ（ａからｐまでの画素）とした場合、その周辺にあるＡからＭまでの画素値を利用して予測が行われる。このとき、予測の方向を指定して、必要な画素値のみを予測に用いることになるが、予測の方向や内容が異なる９種類のイントラ予測モードが用意されているので、このうち最適な予測モードを選択することで予測を行う。

用意されている各イントラ予測モードの予測方向を図１０に示す。例えば、Ｍｏｄｅ ０のＶｅｒｔｉｃａｌ（垂直方向）予測モードの場合、隣接する垂直方向の画素（図９のＡ，Ｂ，Ｃ，Ｄの各画素に相当）の値を予測値として利用し、この画素値が垂直方向に連続していると予測する。これにより、図９のａ，ｅ，ｉ，ｍの各画素については、Ａの画素値が続くものと予測され、同様に、ｂ，ｆ，ｊ，ｎの各画素については、Ｂの画素値が続くものと予測される。以下、同様である。そして、予測した結果として、各画素の差分値、即ち、ａ−Ａ，ｅ−Ａ，ｉ−Ａ，ｍ−Ａ等を求めた後、整数変換や量子化が行われるのである。

上記したＭｏｄｅ ０のＶｅｒｔｉｃａｌ予測モード以外に、図１０の如きＭｏｄｅ １〜８までのイントラ予測モードが用意されている。なお、Ｍｏｄｅ ２のＤＣ予測モードとは、左及び上の画素値の平均値を用いた予測モードである。各イントラ予測モードの詳細については、Ｈ．２６４関連の規格書等に開示されているので、ここでの説明は省略する。Ｈ．２６４では、このようにイントラ予測モードが９通り用意されているので、符号化対象画素に最適な予測モードを選択することが可能となり、予測の精度を向上させ、残差データの値が僅かで済むようにしている。

また、イントラ予測部６１５における通常のイントラ予測モードの選択処理は、図１２のフローチャートで示したような手順で行われる。図１２において、対象となるブロックのイントラ予測が開始されると、予測モードを示すカウンタｉを用意し、ｉ＝０をセットする（ステップＳ１２０１）。次にｉの値で示される予測モードによりイントラ予測を行い（ステップＳ１２０２）、そのイントラ予測の精度を評価して、それまでに評価した他の予測モードと比べて最適であるものを選択する（ステップＳ１２０３）。次にｉをインクリメントし（ステップＳ１２０４）、ｉが予測モードの最大値９を超えない範囲でＳ１２０２からの手順を繰り返す（ステップＳ１２０５）。結果的に、符号化対象ブロック毎に、全ての（９通りの）イントラ予測モードを計算することで、最適なイントラ予測モードを選択可能である。

また、イントラ予測部６１５は入力される制御信号に応じて、上記した通常の選択処理とは異なる手順で、イントラ予測モードの選択処理を実行可能であるが、この内容については後述する。以上が、画像符号化装置６００及びイントラ予測部６１５の説明である。

次に、上記した画像符号化装置６００を搭載した撮像装置１００の構成を説明するとともに、撮像装置１００の動作と絡めてイントラ予測部６１５の更なる動作を説明していく。

図１は、本実施形態における撮像装置１００の構成を表わしたブロック図である。撮像装置１００は、複数のレンズ群（ズームレンズ１０１ａ及び１０１ｂ、フォーカスレンズ１０１ｃを含む）から構成される撮影レンズ部１０１、ＣＣＤ又はＣＭＯＳ等の撮像素子１０２、カメラ信号処理部１０３、符号化部１０４、カメラ制御部１０５、フォーカス（Ｆｏｃｕｓ）検出部１０６、フォーカスモータ（Ｍｏ）１０７、ズームモータ（Ｍｏ）１０８、動きセンサー１０９、各種機能の操作部１１０から構成され、撮影レンズ部１０１から入射した光学像を、画像信号に変換してからＨ．２６４符号化方式に従って圧縮符号化処理して、符号化データを出力する。なお、符号化部１０４は、上記した画像符号化装置６００に相当する。撮像装置１００は画像符号化装置６００を画像のＨ．２６４エンコーダとして搭載している。

続いて、図１の撮像装置１００の撮影プロセスについて説明する。

撮影動作を開始したならば、撮影レンズ部１０１から入射した光学像を撮像素子１０２で電気信号に変換する。このとき、フォーカスモータ（Ｍｏ）１０７によりフォーカスレンズ１０１ｃを動かして焦点調整を行え、ズームモータ（Ｍｏ）１０８によりズームレンズ１０１ａ及び１０１ｂを動かして、光学ズーム調整を行える。さらに、動きセンサー１０９で検出した動き情報に応じて、不図示の光学防振機構或いは電子防振機能を動作させて、動きに対する補正（手ぶれ補正）も行える。

撮像素子１０２から出力された電気信号は、画像信号として、カメラ信号処理部１０３において必要な輝度信号処理や色信号処理が行われる。さらに、カメラ信号処理部１０３から出力された画像データは、符号化部１０４において符号化処理が行われ、符号化データになって出力される。ここでの符号化処理については、図８を用いて既に説明したとおりである。なお、符号化データは不図示の記録手段によりディスク等の記録媒体に記録可能な形態となる。

各部の動作を制御するのはカメラ制御部１０５である。操作部１１０を介してユーザ指示があった場合は、その指示に従って各部の制御を行う。

また、オートフォーカス時は、フォーカス検出部１０６が撮像素子１０２から得られる信号を元にしてフォーカスの状態を検出し、フォーカス情報としてカメラ制御部１０５に伝達する。カメラ制御部１０５は、当該フォーカス情報に従って、フォーカスモータ（Ｍｏ）１０７に制御信号を送り、最適なフォーカス状態となるようなフォーカス制御を行う。また、マニュアルフォーカス時は、カメラ制御部１０５は、操作部１１０から入力される指示に従って、フォーカスモータ（Ｍｏ）１０７に制御信号を送り、所望のフォーカス状態となるようなフォーカス制御を行う。

また、カメラ制御部１０５は、操作部１１０から入力されるズーム指示に従って、ズームモータ（Ｍｏ）１０８に制御信号を送り、所望のズーム位置となるようなズーム制御を行う。

また、動きセンサー１０９は、加速度センサー等を利用したものであって、手ぶれ補正用の動き検出以外に、撮像装置１００の移動検出が行え、具体的には、パンやチルト等の撮影動作を検出し、その情報をカメラ制御部１０５に伝達する。

ここで、動きセンサー１０９によってパン又はチルトが検出されたときの、カメラ制御部１０５の制御動作について説明する。

図２は撮影中にパンニング動作が行われたときの撮影画像の様子を表わしている。図２で示したような白矢印の方向に画面がパンニングされた場合、撮影画像は全体的に白矢印の方向（水平方向）に流れたものとなる。そのため、符号化部１０４で当該撮影画像に対してイントラ予測を行う場合、水平方向が最適な予測方向となると推測できる。このとき、図１１の画像では画面上の各ブロックでばらばらであったイントラ予測の方向が、図２のように各ブロックがパンニングの方向に合った規則的な方向を示すようになるとも推測できるので、結果として、各ブロックで一様に、水平方向のイントラ予測（ｍｏｄｅ １のＨｏｒｉｚｏｎｔａｌ予測モード）を選択すれば、最適或いは最適に近いイントラ予測モードを効率的に選択できることになる。垂直方向のチルトについては、同様にｍｏｄｅ ０のＶｅｒｔｉｃａｌ予測モードを選択すればよい。また、パンやチルトが斜め方向に傾いているときには、その斜め成分を考慮して、いずれかの斜め方向の予測モードを選択すればよい。

このような思想に基づき、カメラ制御部１０５は、符号化部１０４（すなわち、画像符号化装置６００）内のイントラ予測部６１５に対して、パンやチルトといった撮影動作に従ったイントラ予測モードを選択するための制御信号を送ることを特徴としている。また、イントラ予測部６１５は、受信した当該制御信号に応じて、上記した通常のイントラ予測モードの選択処理に変えて、パンやチルトの方向に従ってイントラ予測モードを一意に選択したり、あるいはパンやチルトの方向に従って９種類ある選択肢を２，３種類に絞り込んでから最適なイントラ予測モードを選択したりする。これにより、イントラ予測モードの選択の際、全てのイントラ予測モードを試してみるよりも、はるかに効率的に最適なイントラ予測モードの選択が行える。

図３は上記した如きパンやチルトの方向に応じたイントラ予測モードの選択処理を行うときの、イントラ予測部６１５の動作フローを図示したフローチャートである。

イントラ予測を行う画像に対して、動きセンサー１０９によってパン又はチルトが検出されたときは（ステップＳ３０１）、検出されたパン又はチルトの方向や速度に関する情報をカメラ制御部１０５より取得する（ステップＳ３０２）。動きセンサー１０９によってパン又はチルトが検出されないときは（ステップＳ３０１）、図１２で示したような通常のイントラ予測モードの選択処理を行って、最適なイントラ予測モードを決定してからイントラ予測を行う（ステップＳ３０７）。

ステップＳ３０２で取得したパン又はチルトの方向や速度に関する情報に基づいて、パンやチルトの方向に概ね合致する予測方向を自動選択する（ステップＳ３０３）。ステップＳ３０３において、Ｖｅｒｔｉｃａｌ（垂直方向）が選択されたときは、ｍｏｄｅ ０のＶｅｒｔｉｃａｌ予測モードでイントラ予測を行い（ステップＳ３０４）、Ｈｏｒｉｚｏｎｔａｌ（水平方向）が選択されたときは、ｍｏｄｅ １のＨｏｒｉｚｏｎｔａｌ予測モードでイントラ予測を行い（ステップＳ３０５）、Ｄｏｗｎ−Ｒｉｇｈｔ（右斜め下方向）が選択されたときは、ｍｏｄｅ ４のＤｏｗｎ−Ｒｉｇｈｔ予測モードでイントラ予測を行う（ステップＳ３０６）。

なお、斜め方向の予測については、動きセンサー１０９の検出精度を高めることで、他の斜め方向の予測モード（ｍｏｄｅ ３，５，６，７，８）も選択できるようにすれば、より予測精度を高められる。

また、図３ではパンやチルトが行われた場合、その方向に従ってイントラ予測モードを一意に選択する構成としたが、パンやチルトの方向及び速度に従って、９種類ある予測モードを２，３種類に絞り込んだり、或いは明らかに予測方向が異なると判断する予測モードを除外したりして、選択肢を減らしてから、残った候補のうちから最適な予測モードを演算で求めるようにしてもよい。

このように本実施形態によれば、パンやチルトといった撮影時の情報をイントラ予測モードの選択時に利用することで、最適なイントラ予測モードを容易に選択できるとともに、符号化にかかる処理負荷も軽減できる。

＜第２の実施形態＞
次に、図４及び図５を用いて本発明の第２の実施形態について説明する。

本実施形態では、第１の実施形態で説明した撮像装置１００がズーム動作するときの、カメラ制御部１０５の制御動作並びにイントラ予測部６１５の動作について説明する。

撮影中にズーム動作が行われた場合、ズーム・インもしくはズーム・アウトのいずれについても、ズーム中の撮影画像は画面の中心から放射状に流れた画像となる。そのため、符号化部１０４で当該撮影画像に対してイントラ予測を行う場合、符号化対象ブロックが画面の中心に対してどの方向に位置するかを考慮し、その方向に合った予測をすれば、予測効率が良いことになる。

このとき、図１１の画像では画面上の各ブロックでばらばらであったイントラ予測の方向が、ズームによって図４の各ブロックのような予測方向を示すようになると推測できる。すなわち、画面の左上部のブロックでは、画面の中心に向かって斜め方向に画像が流れるので、ｍｏｄｅ ４のＤｏｗｎ−Ｒｉｇｈｔ予測モードが最適といえる。同様に、画面の右上部のブロックでは、ｍｏｄｅ ３のＤｏｗｎ−Ｌｅｆｔ予測モードが最適といえる。ここで、Ｈ．２６４のイントラ予測では、予測方向が隣接する左または上側のブロックの値に限られるため、画面の左下部のブロックでは、ｍｏｄｅ ３のＤｏｗｎ−Ｌｅｆｔ予測モードが最適といえる。同様に、画面の右下部のブロックでは、ｍｏｄｅ ４のＤｏｗｎ−Ｒｉｇｈｔ予測モードが最適といえる。

このような思想に基づき、カメラ制御部１０５は、符号化部１０４（すなわち、画像符号化装置６００）内のイントラ予測部６１５に対して、ズーム動作に従ったイントラ予測モードを選択するための制御信号を送ることを特徴としている。また、イントラ予測部６１５は、受信した当該制御信号に応じて、上記した通常のイントラ予測モードの選択処理に変えて、ズーム中の画像に対しては、符号化対象ブロックの位置に応じてイントラ予測モードを一意に選択したり、あるいは９種類ある選択肢を２，３種類に絞り込んでから最適なイントラ予測モードを選択したりする。これにより、イントラ予測モードの選択の際、全てのイントラ予測モードを試してみるよりも、はるかに効率的に最適なイントラ予測モードの選択が行える。

図５は上記した如きズーム中の画像に対してイントラ予測モードの選択処理を行うときの、イントラ予測部６１５の動作フローを図示したフローチャートである。

イントラ予測を行う画像に対して、操作部１１０からのズーム指示に応じてズームレンズ１０１ａ及び１０１ｂを動かすといったズーム動作が行われたときは（ステップＳ５０１）、ズーム中を示す情報及びズーム速度に関する情報をカメラ制御部１０５より取得する（ステップＳ５０２）。ズーム動作が行われないとき（超低速ズーム時を含んでも良い）は（ステップＳ５０１）、図１２で示したような通常のイントラ予測モードの選択処理を行って、最適なイントラ予測モードを決定してからイントラ予測を行う（ステップＳ５０６）。

ステップＳ５０２でズーム中を示す情報及びズーム速度に関する情報を取得したときは、符号化対象となるブロックが位置する画面上の領域を判別し、その領域に応じた予測方向を自動選択する（ステップＳ５０３）。すなわち、画面の左上領域又は右下領域のブロックならば、ｍｏｄｅ ４のＤｏｗｎ−Ｒｉｇｈｔ予測モードを、画面の右上領域及び左下領域のブロックならば、ｍｏｄｅ ３のＤｏｗｎ−Ｌｅｆｔ予測モードを選択する。また、中心付近領域（Ｃｅｎｔｅｒ）のブロックならば、予測モードを定められないので、通常のイントラ予測モードの選択処理を行って、最適なイントラ予測モードを決定してからイントラ予測を行う（ステップＳ５０６）。ステップＳ５０３において、Ｄｏｗｎ−Ｌｅｆｔ予測モードが選択されたときは、ｍｏｄｅ ３のＤｏｗｎ−Ｌｅｆｔ予測モードでイントラ予測を行い（ステップＳ５０４）、Ｄｏｗｎ−Ｒｉｇｈｔ予測モードが選択されたときは、ｍｏｄｅ ４のＤｏｗｎ−Ｒｉｇｈｔ予測モードでイントラ予測を行う（ステップＳ５０５）。

なお、画面上の領域をより細分化して分類することにより、画面の中心からみて真上又は真下はｍｏｄｅ ０のＶｅｒｔｉｃａｌ予測モードを選択し、画面の中心からみて左側又は右側はｍｏｄｅ １のＨｏｒｉｚｏｎｔａｌ予測モードを選択するようにするとより効果的である。さらに領域を細分化して、他の斜め方向の予測モード（ｍｏｄｅ ５，６，７，８）も選択できるようにすれば、より予測精度を高められる。

また、図５ではズームが行われた場合、符号化対象となるブロックの位置する領域に応じて、中心付近以外のときはイントラ予測モードを一意に選択する構成としたが、９種類ある予測モードを２，３種類に絞り込んだり、或いは明らかに予測方向が異なると判断する予測モードを除外したりして、選択肢を減らしてから、残った候補のうちから最適な予測モードを演算で求めるようにしてもよい。

このように本実施形態によれば、ズームといった撮影時の情報をイントラ予測モードの選択時に利用することで、最適なイントラ予測モードを容易に選択できるとともに、符号化にかかる処理負荷も軽減できる。

＜第３の実施形態＞
次に、図６及び図７を用いて本発明の第３の実施形態について説明する。

本実施形態では、第１の実施形態で説明した撮像装置１００がフォーカス動作するときの、カメラ制御部１０５の制御動作並びにイントラ予測部６１５の動作について説明する。

撮影中にフォーカス動作が行われる場合、合焦していないときは、撮影画像の画面全体がボケた状態となる。そして、符号化部１０４でボケた撮影画像に対してイントラ予測を行う場合、特定の方向は無く、画素の平均値を利用するＤＣ予測モードの予測効率が良いことになる。

このとき、図１１の画像は合焦している状態であるので画面上の各ブロックでばらばらの方向を示していたイントラ予測の方向が、画像がボケ状態のときは画面全体にわたり図６のようにＤＣ予測を示すようになると推測できる。

このような思想に基づき、カメラ制御部１０５は、符号化部１０４（すなわち、画像符号化装置６００）内のイントラ予測部６１５に対して、フォーカス状態に従ったイントラ予測モードを選択するための制御信号を送ることを特徴としている。また、イントラ予測部６１５は、受信した当該制御信号に応じて、上記した通常のイントラ予測モードの選択処理に変えて、ボケた画像に対してはＤＣイントラ予測モードを一意に選択する。これにより、イントラ予測モードの選択の際、全てのイントラ予測モードを試してみるよりも、はるかに効率的に最適なイントラ予測モードの選択が行える。

図７は上記した如きボケた画像、特にフォーカス非合焦状態で撮影された画像に対してイントラ予測モードの選択処理を行うときの、イントラ予測部６１５の動作フローを図示したフローチャートである。

イントラ予測を行う画像に対して、フォーカスが合焦状態で撮影されたか、或いは非合焦状態で撮影されたかを示すフォーカス情報をカメラ制御部１０５より取得する（ステップＳ７０１）。フォーカス情報により、フォーカスが合焦していると判別したときは（ステップＳ７０２）、図１２で示したような通常のイントラ予測モードの選択処理を行って、最適なイントラ予測モードを決定してからイントラ予測を行う（ステップＳ７０４）。

一方、フォーカス情報により、フォーカスが非合焦（ボケた画像）であると判別したときは（ステップＳ７０２）、ＤＣ予測モードを自動選択し、ｍｏｄｅ ２のＤＣ予測モードでイントラ予測を行う（ステップＳ７０３）。

このように本実施形態によれば、フォーカスといった撮影時の情報をイントラ予測モードの選択時に利用することで、最適なイントラ予測モードを容易に選択できるとともに、符号化にかかる処理負荷も軽減できる。

なお、第１〜第３の実施形態で説明した本発明の実施例は、それぞれ単独で用いても良いが、各実施例を組み合わせて用いるよう構成しても良い。各実施例を組み合わせて用いることで、様々な撮影状態に対応して最適なイントラ予測モードを効率的に選択できるとともに、符号化にかかる処理負荷も軽減できる。

＜その他の実施形態＞
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、ブルーレイディスク、光ディスク、光磁気ディスク、ＭＯなどが考えられる。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャート図に対応するプログラムコードが格納されることになる。

撮像装置１００の構成を表わしたブロック図である。 パンニング中の画像に対するイントラ予測方向の例を示した図である。 パンやチルトの方向に応じたイントラ予測モードの選択処理を図示したフローチャートである。 ズーム中の画像に対するイントラ予測方向の例を示した図である。 ズームに応じたイントラ予測モードの選択処理を図示したフローチャートである。 ボケた画像に対するイントラ予測の例を示した図である。 フォーカスに応じたイントラ予測モードの選択処理を図示したフローチャートである。 画像符号化装置６００の構成を表わしたブロック図である。 イントラ予測に用いる画素の説明図である。 イントラ予測における各予測モードの図である。 通常の画像におけるイントラ予測方向の例を示した図である。 通常のイントラ予測モードの選択処理を図示したフローチャートである。

符号の説明

１０１ 撮影レンズ部
１０２ 撮像素子
１０３ カメラ信号処理部
１０４ 符号化部
１０５ カメラ制御部
１０６ フォーカス検出部
１０７ フォーカスモータ
１０８ ズームモータ
１０９ 動きセンサー
１１０ 操作部
６０１ 減算器
６０２ 整数変換部
６０３ 量子化部
６０４ エントロピー符号化部
６０５ 逆量子化部
６０６ 逆整数変換部
６０７ 加算器
６０８ フレームメモリ
６１０ ループフィルタ
６１１ フレームメモリ
６１２ インター予測部
６１３ 動き検出部
６１４ スイッチ
６１５ イントラ予測部

Claims (7)

1. 複数の予測モードのうちいずれかを選び、選ばれた予測モードに従ってフレーム内の画素値を用いて同一フレーム内の符号化対象ブロックの画素値を予測して予測画像データを生成する画像符号化装置において、
   符号化すべき画像信号を入力する手段と、
   前記画像信号が生成されたときのカメラのズーム動作状態を示す撮影情報を取得する手段と、
   入力した前記画像信号の符号化において、フレーム内の画素値を用いて同一フレーム内の前記符号化対象ブロックの画素値を予測するときに、前記撮影情報がズーム動作中であることを示している場合には、前記符号化対象ブロックの位置に応じた予測モードを選択する手段とを備えることを特徴とする画像符号化装置。
2. 前記予測モードを選択する手段は、前記撮影情報がズーム動作中であることを示している場合には、前記画像信号によって表される画像を複数の領域に分割したときに、前記符号化対象ブロックが含まれる領域を判別し、前記領域ごとに所定の予測モードを選択することを特徴とする請求項１に記載の画像符号化装置。
3. 前記予測モードを選択する手段は、前記領域ごとにそれぞれ同じ予測方向となる予測モードを選択することを特徴とする請求項２に記載の画像符号化装置。
4. 複数の予測モードのうちいずれかを選び、選ばれた予測モードに従ってフレーム内の画素値を用いて同一フレーム内の符号化対象ブロックの画素値を予測して予測画像データを生成する画像符号化装置において、
   符号化すべき画像信号を入力する手段と、
   前記画像信号が生成されたときのカメラのフォーカス動作状態を示す撮影情報を取得する手段と、
   入力した前記画像信号の符号化において、フレーム内の画素値を用いて同一フレーム内の前記符号化対象ブロックの画素値を予測するときに、前記撮影情報がフォーカス合焦状態を示している場合と、フォーカス非合焦状態を示している場合とで、異なる処理によって予測モードを選択する手段とを備えることを特徴とする画像符号化装置。
5. 前記予測モードを選択する手段は、前記撮影情報がフォーカス非合焦状態を示している場合には、所定の予測モードを選択することを特徴とする請求項４に記載の画像符号化装置。
6. 撮像して得られる画像信号を出力する撮像手段と、
   前記画像信号を圧縮符号化するための符号化手段であって、複数の予測モードのうちいずれかを選び、選ばれた予測モードに従ってフレーム内の画素値を用いて同一フレーム内の画素値を予測して予測画像データを生成する処理を行う符号化手段とを備えた撮像装置において、
   さらに前記撮像手段におけるズーム動作を制御する制御手段を備え、前記符号化手段は、フレーム内の画素値を用いて同一フレーム内の画素値を予測するときに、前記制御手段から出力された情報を用いて、ズーム中に撮影された画像に対しては当該画像を複数の領域に分割し、前記領域ごとに所定の予測モードを選択することを特徴とする撮像装置。
7. 撮像して得られる画像信号を出力する撮像手段と、
   前記画像信号を圧縮符号化するための符号化手段であって、複数の予測モードのうちいずれかを選び、選ばれた予測モードに従ってフレーム内の画素値を用いて同一フレーム内の画素値を予測して予測画像データを生成する処理を行う符号化手段とを備えた撮像装置において、
   さらに前記撮像手段におけるフォーカス動作を制御する制御手段を備え、前記符号化手段は、フレーム内の画素値を用いて同一フレーム内の画素値を予測するときに、前記制御手段から出力された情報を用いて、フォーカスが非合焦状態と判断されるときに撮影された画像に対しては所定の予測モードを選択することを特徴とする撮像装置。

Images