JP2013257665A - 映像処理装置、映像処理装置の制御方法 - Google Patents

Abstract

【課題】 画像変形処理のために用いるメモリへのアクセス量を軽減させるための技術を提供すること。
【解決手段】 入力画像に対して画像変形処理を行うことで得られる出力画像をメモリに格納する。メモリ内の出力画像において、該メモリ内に設定されている有効領域内の部分画像を特定し、該特定した部分画像を包含する領域を読み出し対象領域として求める。メモリにおいて読み出し対象領域に対して読み出し処理を行うことで、部分画像を読み出す。
【選択図】 図２

Description

本発明は、画像変形処理を行うための映像処理技術に関するものである。

例えば、プロジェクタ等の用途で、幾何処理が行われている。プロジェクタにおいてこの幾何処理は、プロジェクタの設置角度によって生じる投影面上の歪みを補正させるために必要とされ、キーストーン補正や台形補正などの処理として一般に知られている。上記幾何処理を実現するためには主に２つの方法がある。以下の説明では、この２つの方法のうちの一方をメモリリード変形方法、他方をメモリライト変形方法と呼ぶ。

メモリリード変形方法による処理の特徴は、フレームメモリからの読み出し時に画像変形処理を行うことである。具体的には、入力画像を１画面分、フレームメモリに記憶した後に、出力画像の各座標に対応する入力画像座標近傍の画素の重みづけを計算する。この重みづけの計算方法は、例えば、バイキュービック法などの方法が一般に知られている。次に、出力画像の各座標に対応する入力画像座標近傍の画素をフレームメモリから読み出し、上記の重みづけを加味して畳み込み演算を行い、出力画像の各画素を生成することで、画像変形処理を行う。

一方、メモリライト変形方法による処理の特徴は、フレームメモリへの書き込み時に画像変形処理を行うことである。具体的には、入力画像の各画素に対応する出力画像の画素位置を計算し、各入力画像座標近傍の画素の重みづけを計算する。この重みづけの計算方法は、メモリリード変形方法と同様にバイキュービック法などを使うことが出来る。次に、出力画像の画素位置に対応する入力画像座標近傍の画素に対し、上記の重みづけを加味して畳み込み演算を行い、出力画像の各画素を生成してフレームメモリに書き込みを行う。次に、フレームメモリから画素を順次読み出して出力することで変形された出力画像を得る。より詳細な処理例は、例えば特許文献１に開示されている。

特許第３３９４５５１号公報

画像変形処理では、入力画像の走査順序と出力画像の走査順序が異なるという性質上、画像１面分程度を記憶できるフレームメモリに対するメモリアクセスが必要となる。通常、フレームメモリは集積回路上ではダイナミックＲＡＭによって実現されているが、近年の画像の高解像度化、高フレームレート化に伴い、メモリアクセスが増加しており、消費電力の増大が問題となっている。

メモリアクセス領域について背景技術にて説明したメモリリード変形方法と、メモリライト変形方法を比較して説明する。図１（Ａ）には変形の前後の画像の一例が示されており、左側には変形前の画像、右側には変形後の画像が示されている。図１（Ａ）では、矩形画像を変形前の画像としており、この矩形画像を台形形状の画像に変形させたものを変形後の画像としている。

このときのメモリリード変形方法におけるメモリアクセス領域を図１（Ｂ）に示す。メモリアクセス領域は斜線で示した部分である。背景技術に記載のとおり、メモリリード変形方法では入力画像を１画面分、フレームメモリに記憶した後に、全面を読み出して変形処理を行うので、２面分のメモリアクセスが発生する。

一方、メモリライト変形方法におけるメモリアクセス領域を図１（Ｃ）に示す。メモリアクセス領域は斜線で示した部分である。背景技術に記載のとおり、メモリライト変形方法では入力画像を変形してからフレームメモリに記憶し、フレームメモリから画素を順次読み出して出力するため、２面分以下のメモリアクセスが発生する。より具体的には、台形形状のメモリライトと、１面分の矩形形状のメモリリードが発生する。

しかしながらいずれの場合も、約２面分のメモリアクセスが必要となり、近年の画像の高解像度化、高フレームレート化を実現するためには、メモリアクセスの増加による消費電力の増大が問題となる。

本発明は、このような問題に鑑みてなされたものであり、画像変形処理のために用いるメモリへのアクセス量を軽減させるための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の映像処理装置は、入力画像に対して画像変形処理を行うことで得られる出力画像をメモリに格納する手段と、前記メモリ内の出力画像において、該メモリ内に設定されている有効領域内の部分画像を特定し、該特定した部分画像を包含する領域を読み出し対象領域として求める計算手段と、前記メモリにおいて前記読み出し対象領域に対して読み出し処理を行うことで、前記部分画像を読み出す手段とを備えることを特徴とする。

本発明の構成によれば、画像変形処理のために用いるメモリへのアクセス量を軽減させることができる。

変形画像に対するメモリアクセスを説明する図。 画像変形装置２１５の構成例を示すブロック図。 メモリリード領域を説明する図。 ｖａｌｉｄ信号２４２が有効となる領域を示す図。 入力画像２２８を分割して処理する場合を説明する図。 メモリリード領域計算部２１６が行う処理のフローチャート。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
先ず、本実施形態に係る映像処理装置としての画像変形装置２１５の構成例について、図２のブロック図を用いて説明する。なお、図２に示した構成は、以下に説明する各処理を実現するための構成の一例であり、以下に説明する各処理と同等の処理を実現することができるのであれば、他の構成を採用することも可能である。また、以下の説明では、図２に示した各機能部は何れもハードウェアで構成されているものとするが、一部若しくは全部（メモリは除く）をコンピュータプログラムとして実装しても良い。この場合、このコンピュータプログラムは画像変形装置２１５内の適当なメモリに格納しておき、画像変形装置２１５が有する制御部がこのコンピュータプログラムを読み出して実行することで、対応する機能部の機能を実現することができる。

画像変形装置２１５は、入力同期信号２１７と、入力画像２２８と、変形パラメータ２３１と、を入力とし、変形パラメータ２３１によって指定された形状に入力画像２２８を変形し、出力同期信号２４０と、出力画像２４３と、を出力する。

入力同期信号２１７は入力画像２２８の１面分の有効領域を示すための垂直同期信号と水平同期信号と画素クロックとから成る。変形パラメータ２３１は変形形状を指定するためのものである。変形パラメータ２３１には、行列Ｓ２Ｄ＿ＭＴＸおよびＤ２Ｓ＿ＭＴＸと、入力画像の幅ｉｎ＿ｗｉｄｔｈおよび高さｉｎ＿ｈｅｉｇｈｔと、出力画像の幅ｏｔ＿ｗｉｄｔｈおよび高さｏｔ＿ｈｅｉｇｈｔとが含まれている。また、変形パラメータ２３１には、出力画像２４３の有効領域開始座標および有効領域終了座標が含まれている。これらを以下に示す。なお、行列Ｓ２Ｄ＿ＭＴＸは、入力座標を出力座標に変換するための行列であり、行列Ｄ２Ｓ＿ＭＴＸは行列Ｓ２Ｄ＿ＭＴＸの逆行列、すなわち、出力座標を入力座標に変換するための行列である。

本実施形態では、説明を簡単にするために、入力画像２２８の縦横サイズと出力画像２４３の縦横サイズは同じであり、出力画像２４３の全面が有効領域であるとする。この例は、１面分の画像変形としては特殊なケースでなく、一般的な例である。この例をより詳細に示すと以下のとおりである。

この時の入力座標頂点の４点の座標、すなわち、入力画像の四隅の位置における座標は以下のとおりである。

入力同期信号２１７は入力座標カウンタ２００に入力されるので、入力座標カウンタ２００は、入力同期信号２１７に含まれる画素クロックに応じて座標をカウントし、カウントした座標を入力画像２２８上の座標値（入力座標）として出力する。詳しくは、入力座標の整数部２１８（ｓｒｃ＿ｘ，ｓｒｃ＿ｙ）を出力する。また、画素クロックや垂直同期信号、水平同期信号に同期して、入力画像２２８の各画素がラインバッファ２０７に入力される。

次に座標変換部段２０１は、入力座標の整数部２１８（ｓｒｃ＿ｘ，ｓｒｃ＿ｙ）と、変形パラメータ２３１とを入力とし、この入力から以下の式を計算することで、出力座標２１９（ｄｓｔ＿ｘ，ｄｓｔ＿ｙ）を計算する。ここで、（Ｓ２Ｄ＿ＭＴＸ・ＳＲＣ＿ＰＯＩＮＴ）［２］は、（Ｓ２Ｄ＿ＭＴＸ・ＳＲＣ＿ＰＯＩＮＴ）の演算結果である３行１列の行列の３行目のスカラー成分を表す。

周辺座標生成部２０２は、出力座標２１９を入力とし、該出力座標２１９の整数部を座標とする画素と、該画素に隣接する周囲の８画素（何れも座標は整数）と、から成る９画素のそれぞれの座標を出力座標整数部２２１として出力する。

座標変換部２０３は、９画素のそれぞれの出力座標整数部２２１から、対応する入力座標２２２を、以下の式を計算することで求める。この計算には、上記の変形パラメータ２３１を用いている。

出力座標判定部２０４は、入力座標カウンタ２００から出力された入力座標の整数部２２０と、座標変換部２０３から出力された９つの入力座標２２２と、を入力とし、ｖａｌｉｄ信号２２４および各入力座標２２２の小数部２２５を出力する。

ｖａｌｉｄ信号２２４は、各入力座標２２２が有効か否かを示す情報であり、有効である場合は各入力座標２２２から変形後の画素が生成されることを意味する。ｖａｌｉｄ信号２２４は、入力座標の整数部２２０と各入力座標２２２の整数部が一致した場合に有効となる。また、入力座標２２２の小数部２２５は入力座標２２２から整数部を除いた、小数部から成る。

一方、画像変形装置２１５に対して入力された入力画像２２８はラインバッファ２０７に入力され、複数ライン分保持された後、入力画素および、入力画素の近傍画素からなるピクセルデータ２２９出力する。本実施形態では、バイキュービック法で補間を行うものとするので、４画素×４画素の１６画素からなるピクセルデータ２２９を出力するものとする。

出力座標判定部２０４から出力されたｖａｌｉｄ信号２２４と入力座標の小数部２２５と、ラインバッファ２０７から出力されたピクセルデータ２２９は、ピクセル補間処理部２０５に入力され、ｖａｌｉｄ信号２２６と補間ピクセルデータ２２７が出力される。

ピクセルデータ２２９は上述のとおり４画素×４画素の１６画素分のデータである。補間ピクセルデータ２２７は、ピクセルデータ２２９をバイキュービック法で補間して生成したデータである。

ｖａｌｉｄ信号２２６は、ピクセル補間処理部２０５で補間ピクセルデータ２２７を生成する時間だけｖａｌｉｄ信号２２４を保持しておいたものであり、補間ピクセルデータ２２７中の各画素に対するｖａｌｉｄ信号２２４の集合である。

ピクセル補間処理部２０５から出力されたｖａｌｉｄ信号２２６及び補間ピクセルデータ２２７と、周辺座標生成部２０２から出力された出力座標の整数部２２３はメモリライト部２０６に入力される。

メモリライト部２０６は、補間ピクセルデータ２２７において、対応するｖａｌｉｄ信号が有効である画素のデータのみを、該画素に対応する出力座標の整数部２２３で指定されるフレームメモリ２０８上のアドレスに補間ピクセルデータ２３３として書き込む。

以上の処理を、入力画像２２８中の全てのピクセルデータについて行うことで、フレームメモリ２０８には、変形後の画像が記憶された状態となっている。

次に、フレームメモリ２０８からの読み出し処理以降の処理について説明する。

画像変形装置２１５に入力された変形パラメータ２３１は、メモリリード領域計算部２１６にも入力され、メモリリード領域計算部２１６は、この変形パラメータ２３１を用いてメモリリード領域情報２３２を求めて出力する。本実施形態では、出力画像の全面が有効領域である場合を例としているので、変形パラメータ２３１は以下のとおり表わされる。

この時の入力座標頂点の４点から、変形後頂点の４点を求めるための計算式は以下のとおり表わされる。詳細には、入力座標頂点０〜３をＳＲＣ＿ＰＯＩＮＴに代入して以下の計算式のとおり計算し、ＤＳＴ＿ＰＯＩＮＴとして得られた座標を変形後頂点とする。

こうして計算した変形後頂点の４点から、次に、メモリリード領域情報２３２を計算する。メモリリード領域情報２３２は、出力画像２４３の有効領域の中に存在する変形後頂点と、変形後頂点の４点から成る四角形と出力画像の有効領域の交点と、を包含する領域を示す情報である。これらの関係を図３に示す。

図３（Ａ）には入力画像のサイズと有効領域のサイズとが異なる場合を示す。一方、図３（Ｂ）には入力画像のサイズと有効領域のサイズとが同一の場合を示す。本実施形態では図３（Ｂ）の場合が適用される。なお、図３（Ａ）に対応する説明は、第２の実施形態として後述する。

メモリリード領域計算部２１６がメモリリード領域情報２３２を求めるために行う処理について、同処理のフローチャートを示す図６を用いて説明する。なお、図６のフローチャートに従った処理の開始時点ではすでに、変形後頂点の４点の座標は求まっているものとする。

ステップＳ６０１〜Ｓ６０３の処理は、変形後頂点０〜３のそれぞれについて行うものである。しかし、ステップＳ６０２においてメモリリード領域計算部２１６が、変形後頂点Ｘ（０≦Ｘ≦３）の座標（ｄｓｔ＿ｘ，ｄｓｔ＿ｙ）が出力画像の有効領域内にあると判断した場合には、処理はステップＳ６０５に進む。変形後頂点０〜３の全ての座標（ｄｓｔ＿ｘ，ｄｓｔ＿ｙ）が出力画像の有効領域内にないと判断した場合には、ステップＳ６０３の後、ステップＳ６０４に進む。

ステップＳ６０４では、メモリリード領域計算部２１６は、変形後頂点０〜３は全て有効領域外にあるため、有効領域内の変形形状の頂点を示す有効頂点０〜３として、有効領域の４頂点を設定する。

ステップＳ６０５〜Ｓ６０７の処理は、変形後頂点０〜３のそれぞれについて行うものである。しかし、ステップＳ６０６においてメモリリード領域計算部２１６が、変形後頂点Ｘ（０≦Ｘ≦３）の座標（ｄｓｔ＿ｘ，ｄｓｔ＿ｙ）が出力画像の有効領域内にないと判断した場合には、処理はステップＳ６０９に進む。変形後頂点０〜３の全ての座標（ｄｓｔ＿ｘ，ｄｓｔ＿ｙ）が出力画像の有効領域内にあると判断した場合には、ステップＳ６０７の後、ステップＳ６０８に進む。

ステップＳ６０８では、メモリリード領域計算部２１６は、変形後頂点０〜３は全て有効領域内にあるため、有効領域内の変形形状の頂点を示す有効頂点０〜３として、変形後頂点０〜３を設定する。

ステップＳ６０９〜Ｓ６１２の処理は、変形後頂点０〜３のそれぞれについて行うものである。しかし、ステップＳ６１０においてメモリリード領域計算部２１６が、変形後頂点Ｘ（０≦Ｘ≦３）の座標（ｄｓｔ＿ｘ，ｄｓｔ＿ｙ）が出力画像の有効領域内にあると判断した場合には、処理はステップＳ６１１に進む。一方、変形後頂点Ｘ（０≦Ｘ≦３）の座標（ｄｓｔ＿ｘ，ｄｓｔ＿ｙ）が出力画像の有効領域内にないと判断した場合には、処理はステップＳ６１３に進む。

ステップＳ６１１では、メモリリード領域計算部２１６は、有効領域内の変形形状の頂点を示す有効頂点Ｘとして、変形後頂点Ｘを設定する。一方、ステップＳ６１３では、メモリリード領域計算部２１６は、４つの変形後頂点から成る変形後領域の各辺のうち変形後頂点Ｘを一端とする辺であって且つ有効領域と交差する辺、のうち１つを対象辺とする。そして、該対象辺と有効領域との交点を計算し、有効領域内の変形形状の頂点を示す有効頂点Ｘとして該交点を設定する。

ステップＳ６１４では、メモリリード領域計算部２１６は、求めた全ての有効頂点０〜３を包含する矩形領域を求め、該矩形領域の対角頂点の座標（例えば左上隅の頂点と右下隅の頂点の座標）をそれぞれ開始座標、終了座標として計算する。この矩形領域をメモリリード領域と呼ぶ。そしてメモリリード領域計算部２１６は、メモリリード領域の開始座標と終了座標とを含むメモリリード領域情報２３２を出力する。なお、メモリリード領域情報２３２で表わされる領域は図３の斜線部で示される領域である。

次に、同期信号の遅延部２１１は、入力同期信号２１７を入力とし、これを一定時間遅延させて出力同期信号２３５として出力する。この処理は、フレームメモリ２０８への書き込みと読み出しのタイミングを制御し、書き込みを読み出しが追い越さないようにするためのものである。

次に、出力座標カウンタ２１０は、出力同期信号２３５を入力とし、出力同期信号２３５に含まれるクロックに応じて座標をカウントし、カウントした座標を出力画像２４３上の座標値（出力座標）として出力する。詳しくは、出力座標の整数部２３０，２３７，２４４を出力する。

メモリリード部２０９は、出力座標の整数部２３０と、メモリリード領域情報２３２を入力とし、フレームメモリ２０８から補間ピクセルデータ２３４を読み出して、後段に対して出力する。具体的には、出力座標の整数部２３０がメモリリード領域情報２３２が示す領域内の座標を表す場合に、フレームメモリ２０８において該座標に対応するアドレスに格納されている画素を補間ピクセルデータ２３４として読み出す。メモリリード領域情報２３２の具体例を図３に示す。

次に、座標変換部２１２は、変形パラメータ２３１と、出力座標の整数部２４４を入力とし、変形パラメータ２３１を用いて、出力座標の整数部２４４から入力座標２４１に変換して出力する。この変換は以下の式で示される。

次に、変形領域判定部２１３は、入力座標２４１と、出力座標の整数部２３７と、メモリリード領域情報２３２と、を入力とし、ｖａｌｉｄ信号２４２を出力する。ｖａｌｉｄ信号２４２は、入力座標２４１が出力画像２４３の領域内にあり、かつメモリリード領域内にある場合には有効となる。ｖａｌｉｄ信号２４２が有効となる領域を図４に示す。

最後に、マスク処理部２１４は、ｖａｌｉｄ信号２４２と、補間ピクセルデータ２３６と、固定色２３８と、を入力とし、出力画像２４３を出力する。詳細には、画素ごとに対応するｖａｌｉｄ信号２４２を参照し、参照したｖａｌｉｄ信号２４２が有効の場合は、補間ピクセルデータ２３６を選択して出力し、ｖａｌｉｄ信号２４２が無効の場合は、固定色２３８を選択して出力する。固定色２３８は変形領域外の領域に出力される色であり、例えばプロジェクタのキーストーン補正においては、黒色が出力される。

なお、上記の通り、本実施形態で説明した構成はあくまで一例であり、次のような構成の一例に過ぎない。即ち、入力画像に対して画像変形処理を行うことで得られる出力画像をメモリに格納し、メモリ内の出力画像において、該メモリ内に設定されている有効領域内の部分画像を特定し、該特定した部分画像を包含する領域を読み出し対象領域として求める。そして、メモリにおいて読み出し対象領域に対して読み出し処理を行うことで、部分画像を読み出す。

［第２の実施形態］
次に、入力画像２２８を分割して処理する場合を、図５を用いて説明する。図５の例は、図５（Ａ）に示す画像変形を、左右２つに分割して処理する場合を示している。ここでは分割した各々の処理は、独立した２つのチップで処理する例を示しているが、分割の方法はチップ分割に限らず、１チップ内の２つのコアであっても構わない。

図５（Ｂ）には左側の処理を示す。図５（Ａ）に示すように、全体の変形処理を２等分した場合であっても、片側に入力するサイズは図５のｉｎ＿ｗ＿ｌｅｆｔで示されるとおり、２等分以上のサイズとしなければならない。なぜなら、出力画像として水平２等分したサイズを出力するためには、片側の変形後の領域が、処理分割境界でつなぎ目が不連続にならないよう、処理分割境界を超えなければならないためである。このとき、メモリリード領域は５０１に示される領域となる。

図５（Ｂ）と図３（Ａ）を対応付けて説明すると、図３（Ａ）の入力画像は、図５（Ｂ）の左側領域５００に相当するｉｎ＿ｗ＿ｌｅｆｔ × ｉｎ＿ｈ＿ａｌｌの領域である。また、図３（Ａ）の有効領域は、図５（Ｂ）のｏｔ＿ｗ＿ｌｅｆｔ × ｉｎ＿ｈ＿ａｌｌの領域である。また、図３（Ａ）のメモリリード領域は、図５（Ｂ）のメモリリード領域５０１である。メモリリード領域５０１の計算方法は、図６のフローチャートに従った処理と同じであるため、説明は省略する。これは、図３（Ａ）の場合に相当する。このように、処理分割をする場合は入力画像のサイズと出力画像の有効領域が異なる場合がある。図５（Ｃ）の処理は図５（Ｂ）の処理と同様のため、説明は省略する。

なお、いずれの実施形態においても、メモリリード領域は矩形に限らず、任意の形状であってもよい。

以上の各実施形態によれば、メモリアクセス領域は図１（Ｄ）に示す如く、プロジェクタのキーストーン補正等のように、変形後形状が出力画像の領域に対して縮小される場合は、メモリリード領域は従来方式に比べて小さくなる。これにより、メモリ帯域は削減され、消費電力が低減できる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (5)

1. 入力画像に対して画像変形処理を行うことで得られる出力画像をメモリに格納する手段と、
   前記メモリ内の出力画像において、該メモリ内に設定されている有効領域内の部分画像を特定し、該特定した部分画像を包含する領域を読み出し対象領域として求める計算手段と、
   前記メモリにおいて前記読み出し対象領域に対して読み出し処理を行うことで、前記部分画像を読み出す手段と
   を備えることを特徴とする映像処理装置。
2. 前記計算手段は、前記出力画像の４頂点が何れも前記有効領域内に収まっている場合には、該４頂点を包含する領域を前記読み出し対象領域として求めることを特徴とする請求項１に記載の映像処理装置。
3. 前記計算手段は、前記出力画像の４頂点が何れも前記有効領域内に収まっていない場合には、前記有効領域を前記読み出し対象領域として求めることを特徴とする請求項１又は２に記載の映像処理装置。
4. 前記計算手段は、前記出力画像の４頂点のうち１つ以上が前記有効領域内に収まっている場合には、前記出力画像の各辺のうち収まっていない頂点を一端とする辺であって且つ前記有効領域と交差する辺、のうち１つと前記有効領域との交点を求め、該交点と、収まっている頂点と、を包含する領域を前記読み出し対象領域として求めることを特徴とする請求項１乃至３の何れか１項に記載の映像処理装置。
5. 映像処理装置の制御方法であって、
   前記映像処理装置の格納手段が、入力画像に対して画像変形処理を行うことで得られる出力画像をメモリに格納する工程と、
   前記映像処理装置の計算手段が、前記メモリ内の出力画像において、該メモリ内に設定されている有効領域内の部分画像を特定し、該特定した部分画像を包含する領域を読み出し対象領域として求める計算工程と、
   前記映像処理装置の読み出し手段が、前記メモリにおいて前記読み出し対象領域に対して読み出し処理を行うことで、前記部分画像を読み出す工程と
   を備えることを特徴とする映像処理装置の制御方法。

Images