JP5387276B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、入力された画像（静止画及び動画）に画像処理を施して出力する画像処理装置及び画像処理方法に関する。

従来、入力された画像を変形させて出力する画像処理装置が知られている。例えば、図８に示すように、魚眼レンズや超広角レンズを用いた撮像装置１２０より入力される画像は歪んでいるため、この歪みを電子的に補正する画像処理装置１１０が提案されている（特許文献１参照）。また、プロジェクタやＨＵＤ（Head Up Display）のような投影装置を用いた場合は、投影装置の設置角度や投射対象となるスクリーン形状が原因で、入力画像をそのまま投影すると投影画像が歪むことがある。そこで、図９に示すように、入力画像をあらかじめ画像処理装置１１０で変形させておき、変形後の画像を投影装置１３０に送ることで投影画像の歪みを解消する技術が提案されている（特許文献２参照）。

このような画像処理装置１１０において画像を変形させるには次のような手順を踏む。まず、外部より入力された１画面分の画像を走査線順にフレームメモリ１２０へ格納する。そして、フレームメモリ１２０に格納した画像を読み出す際は、走査線順ではなく変形を考慮した読み出し制御を行う。この読み出し制御は、変形形状を示す変形処理パラメータＰ１に沿って行われる。変形処理パラメータＰ１は、各入力画素に演算を施すことで生成するか、あらかじめ演算しておいたものをメモリに格納しておく。後者の場合、変形処理パラメータＰ１を格納するためのパラメータメモリ１５１がフレームメモリ１２０とは別に必要となる。

一般に、図８、図９に示すような変形処理は、入力画像内の画素を再配置することで実現される。すなわち、入力画像上の座標系（以下「入力座標系」）と、出力画像上の座標系（以下「出力座標系」）とを考え、入力画像と出力画像それぞれの画素を入力座標系と出力座標系それぞれの格子点に対応させる。そして、出力座標系の各格子点について入力座標系で対応する位置を求め、その位置における画素をもとに出力画素の画素値を演算する。ここで、出力座標系の格子点が入力座標系の格子点と一対一に対応している場合は、入力画素の画素値がそのまま出力画素の画素値となる。しかし、変形形状によっては、対応する位置の座標が整数値にならない場合、すなわち出力座標系の格子点が入力座標系の格子点上にない場合がある。この場合は、求めたい位置の周囲に存在する画素をもとに補間演算を行うことで、出力画素の画素値を演算する。

図１０は、従来の一般的な変形処理の説明図である。まず、出力座標系の点Ｏ［０，０］に着目し、この出力点に対応する入力座標系の点を求める場合を考える。この場合、入力座標系と出力座標系の対応を記したデータ配列（変形処理パラメータＰ１）を参照すると、出力座標系の点Ｏ［０，０］に対応するのは入力座標系の点Ｉ［０，０］であることがわかるため、この点Ｉ［０，０］の画素値を出力する。一方、出力座標系の点Ｏ［２，１］に着目した場合、この出力点に対応する入力座標系の位置はＩ［２，１．５］であるが、この位置は入力座標系の格子点ではなく、一対一で対応する画素は存在しない。この場合は、点Ｉ［２，１］と点Ｉ［２，２］の画素値をもとに補間演算を行って、Ｉ［２，１．５］の画素値を出力する。

このような変形処理とは別に、入力画像に任意の画像を重ねる処理など、入力画像の色又は明るさを変更する処理（以下「フィルタ処理」）を行いたいという要求も多い。そこで、図１１に示すように、フィルタ処理の方法を示すフィルタ処理パラメータＰ２をフレームメモリ１２０とは別のメモリ１５２に格納しておき、このフィルタ処理パラメータＰ２を使用して、入力画像内の各画素にフィルタ処理を施す画像処理装置１１１が提案されている（特許文献３参照）。

特開平４−６１５７０号公報 特開平８−９８１１９号公報 特開平９−１６１５１号公報

ここで、前記２つの画像処理（変形処理及びフィルタ処理）を行うことのできる装置を実現しようとすると、図１２に示すように、変形処理パラメータＰ１を格納するパラメータメモリ１５１とフィルタ処理パラメータＰ２を格納するパラメータメモリ１５２をフレームメモリ１２０とは別に備える必要がある。このような構成は、大容量のメモリが必要となり、装置のコストを上げる原因となるため、現実には採用しづらい。

本発明は前記課題を解決するためになされたものであり、その目的は、必要最小限のメモリ容量で変形処理とフィルタ処理の両方を行うことのできる画像処理装置及び画像処理方法を提供することである。

本発明の実施の形態に係る第１の特徴は、画像処理装置において、画像を入力する入力部と、前記入力部により入力された画像を格納する画像メモリと、前記画像メモリに格納された画像に施す画像処理に使用される２種類のパラメータの一方又は両方を画素単位で一つのメモリワードに格納するパラメータメモリと、前記パラメータメモリに格納された２種類のパラメータを使用して、前記画像メモリに格納された画像に画像処理を施す画像処理部と、前記画像処理部により画像処理が施された画像を出力する出力部とを備え、前記パラメータメモリが、前記画像処理部の機能を指定するための付加ビットを格納し、前記画像処理部が、前記付加ビットが特定の値である場合、その付加ビットと同一のメモリワードの所定領域に格納されている値を座標値とみなして画素の座標値を変更することである。

本発明の実施の形態に係る第２の特徴は、画像処理装置において、画像を入力する入力部と、前記入力部により入力された画像を格納する画像メモリと、前記画像メモリに格納された画像に施す画像処理に使用される２種類のパラメータの一方又は両方を画素単位で一つのメモリワードに格納するパラメータメモリと、前記パラメータメモリに格納された２種類のパラメータを使用して、前記画像メモリに格納された画像に画像処理を施す画像処理部と、前記画像処理部により画像処理が施された画像を出力する出力部とを備え、前記パラメータメモリが、前記画像処理部の機能を指定するための付加ビットを格納し、前記画像処理部が、前記付加ビットが特定の値である場合、その付加ビットと同一のメモリワードの所定領域に格納されている値をＲＧＢ値とみなして画素の色又は明るさを変更することである。

本発明の実施の形態に係る第３の特徴は、画像処理装置において、画像を入力する入力部と、前記入力部により入力された画像を格納する画像メモリと、前記画像メモリに格納された画像に施す画像処理に使用される２種類のパラメータの一方又は両方を画素単位で一つのメモリワードに格納するパラメータメモリと、前記パラメータメモリに格納された２種類のパラメータを使用して、前記画像メモリに格納された画像に画像処理を施す画像処理部と、前記画像処理部により画像処理が施された画像を出力する出力部とを備え、前記パラメータメモリが、前記画像処理部の機能を指定するための付加ビットを格納し、前記画像処理部が、前記付加ビットが特定の値である場合、その付加ビットと同一のメモリワードの所定領域に格納されている値をカラーパレットのインデックスとみなして画素の色又は明るさを変更することである。

本発明の実施の形態に係る第４の特徴は、画像処理装置において、画像を入力する入力部と、前記入力部により入力された画像を格納する画像メモリと、前記画像メモリに格納された画像に施す画像処理に使用される２種類のパラメータの一方又は両方を画素単位で一つのメモリワードに格納するパラメータメモリと、前記パラメータメモリに格納された２種類のパラメータを使用して、前記画像メモリに格納された画像に画像処理を施す画像処理部と、前記画像処理部により画像処理が施された画像を出力する出力部とを備え、前記パラメータメモリが、前記画像処理部の機能を指定するための付加ビットを格納し、前記画像処理部が、前記付加ビットが特定の値である場合、その付加ビットと同一のメモリワードの所定領域に格納されている値を座標値とみなして画素の座標値を変更するとともに、その画素の色又は明るさを所定の色又は明るさに変更することである。

本発明によれば、必要最小限のメモリ容量で変形処理とフィルタ処理の両方を行うことのできる画像処理装置及び画像処理方法を提供することが可能である。

本発明の第１の実施の形態における画像処理装置の構成図である。 本発明の第１の実施の形態における画像処理装置の使用例を示す図である。 本発明の第１の実施の形態におけるパラメータメモリの説明図である。 本発明の第１の実施の形態における画像処理装置の動作を示す図である。 本発明の第１の実施の形態におけるパラメータを示す図である。 本発明の第２の実施の形態におけるパラメータを示す図である。 本発明の第３の実施の形態におけるパラメータを示す図である。 従来の画像処理装置の使用例を示す図である。 従来の画像処理装置の使用例を示す図である。 従来の一般的な変形処理の説明図である。 従来の画像処理装置の使用例を示す図である。 従来の画像処理装置の使用例を示す図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の第１の実施の形態における画像処理装置１０の構成図である。この画像処理装置１０は、入力された画像（静止画及び動画）に画像処理を施して出力する装置であり、図１に示すように、入力部１１と、画像メモリ１２と、出力部１３と、画像処理部１４と、パラメータメモリ１５とを備えている。入力部１１は、画像を入力する入力ポート等である。画像メモリ１２は、入力部１１により入力された画像を格納するフレームメモリ等である。パラメータメモリ１５は、画像メモリ１２に格納された画像に施す画像処理に使用される２種類のパラメータの一方又は両方を画素単位で一つのメモリワードに格納するメモリである。画像処理部１４は、パラメータメモリ１５に格納された２種類のパラメータを使用して、画像メモリ１２に格納された画像に画像処理を施す。出力部１３は、画像処理部１４により画像処理が施された画像を出力する出力ポート等である。

図２は、本発明の第１の実施の形態における画像処理装置１０の使用例を示す図である。ここでは、撮像装置２０から入力される画像に対してレンズ歪みを補正する変形処理を施したうえで、変形後の画像に文字「あ」の画像を重ねるフィルタ処理を施した様子を示している。パラメータメモリ１５には、このような変形処理及びフィルタ処理に使用される２種類のパラメータＰ３が格納されている。２種類のパラメータＰ３とは、具体的には、変形処理パラメータとフィルタ処理パラメータである。本発明でいう変形処理パラメータは、画素の座標値を変更するためのパラメータであり、また、本発明でいうフィルタ処理パラメータは、画素の色又は明るさを変更するためのパラメータである。

図３は、本発明の第１の実施の形態におけるパラメータメモリ１５の説明図である。この図に示すように、パラメータメモリ１５は、３２ビットのデータ幅（メモリワード）を持ったメモリである。ここで、「一つのメモリワード」は、画像処理部１４が１アクセスで読み込むことのできるメモリ領域を意味し、１画素あたり、２ビットの付加ビットと３０ビットのデータビットを持つ。２ビットの付加ビットは、画像処理部１４の機能を指定するためのビットである。３０ビットのデータビットは、入力座標系におけるＸ軸上の位置を示す１５ビットのＸ座標と、同じく入力座標系におけるＹ軸上の位置を示す１５ビットのＹ座標からなる。画像処理部１４は、パラメータメモリ１５に格納されている３０ビットのデータビットを変形処理パラメータとみなして、出力座標系の各格子点について入力座標系で対応する位置を求め、その位置における画素値をもとに出力画素の画素値を演算する。ただし、付加ビットが特定の値である場合は、３０ビットのデータビットをフィルタ処理パラメータとみなして所定のフィルタ処理を行う。

図４は、本発明の第１の実施の形態における画像処理装置１０の動作を示すフローチャートである。以下、画像処理装置１０の構成をその動作とともに説明する。

まず、変形処理及びフィルタ処理に使用される２種類のパラメータＰ３がパラメータメモリ１５に格納される（ステップＳ１）。ここでは、出力画像内の特定の画素の色を任意の色に変更するフィルタ処理を行う場合を想定し、パラメータメモリ１５には、図５に示すパラメータＰ３が格納されているものとする。

次いで、撮像装置２０により画像が生成されると、この画像は、入力部１１を介して画像メモリ１２に格納される（ステップＳ２→Ｓ３）。これにより、画像処理部１４は、パラメータメモリ１５に格納された２種類のパラメータＰ３を使用して、画像メモリ１２に格納された画像に画像処理を施す（ステップＳ４）。

すなわち、図５に示すように、付加ビットの値が[０１]である場合は、メモリワードの下位３０ビットをＸ座標１５ビットとＹ座標１５ビットのペアとみなして変形処理を行う。一方、付加ビットの値が[０１]以外である場合は、変形処理ではなく所定のフィルタ処理を行う。例えば、付加ビットの値が[１１]である場合は、メモリワードの下位２４ビットをＲＧＢ値（ここでは、白を示すＲＧＢ値）とみなし、当該画素の色を白に変更する。同様に、付加ビットの値が[１０]である場合は、メモリワードの下位２４ビットをＲＧＢ値（ここでは、黒を示すＲＧＢ値）とみなし、当該画素の色を黒に変更する。更に、付加ビットの値が[００]である場合は、メモリワードの下位２４ビットをＲＧＢ値とみなし、このＲＧＢ値が示す色に当該画素の色を変更する。

最後に、出力部１３は、画像処理部１４により画像処理が施された画像を出力する（ステップＳ５）。この結果、撮像装置２０から入力された画像は、レンズ歪みが補正された後、ロゴマーク等の画像が埋め込まれて出力されることになる。

以上のように、本発明の第１の実施の形態では、変形処理パラメータとフィルタ処理パラメータの一方を画素単位で一つのメモリワードに格納しているので、必要最小限のメモリ容量で変形処理とフィルタ処理の両方を行うことができる。また、変形処理パラメータやフィルタ処理パラメータを１アクセスで読み込むことができるので、これら２つのパラメータを別々のメモリに格納する場合に比べて、メモリへのアクセス回数が半分になり、メモリバンド幅を抑えることが可能となる。

なお、ここでは、撮像装置２０より入力される画像のレンズ歪みを補正するための変形処理を例示したが、本発明はこれに限定されるものではない。すなわち、プロジェクタやＨＵＤのような投影装置を用いた場合は台形補正をする必要があるが、このような変形処理を行う場合も同様に本発明を適用することができる。

また、ここでは、変形処理パラメータとフィルタ処理パラメータの「一方」を画素単位で一つのメモリワードに格納する構成について説明したが、本発明はこれに限定されるものではない。すなわち、変形処理パラメータとフィルタ処理パラメータの「両方」を画素単位で一つのメモリワードに格納する構成を採用することも可能である。この構成については後に詳しく説明する。

（第２の実施の形態）
前記第１の実施の形態では、出力画像内の特定の画素の色を任意の色に変更するフィルタ処理を行うため、メモリワードの下位２４ビットにＲＧＢ値を直接指定することとしているが、この指定作業を人手で行うのは効率が悪い。本実施の形態では、ＲＧＢ値の指定作業を効率よく行う構成について、前記第１の実施の形態と異なる点のみ説明する。

図６は、本発明の第２の実施の形態におけるパラメータＰ３を示す図である。この図に示すように、本実施の形態におけるパラメータＰ３は、インデックス（色番号）と実際の色との対応を定義するカラーパレットＰ４を備えている。カラーパレットＰ４の格納場所は特に限定されるものではない。ここで、画像処理部１４は、付加ビットの値が[０１]である場合は、前記第１の実施の形態と同様に変形処理を行う。一方、付加ビットの値が[００]である場合は、メモリワードの下位８ビットをインデックスとみなしてカラーパレットＰ４を参照し、このインデックスに対応する色に当該画素の色を変更する。

以上のように、本実施の形態によれば、カラーパレットを使用するようにしているので、ＲＧＢ値の指定作業を効率よく行うことができる。このような構成は、画像を埋め込む頻度が高い場合等において特に有用である。

（第３の実施の形態）
前記第１又は第２の実施の形態によれば、入力画像にロゴマーク等の画像を埋め込むことができるが、この埋め込み位置の元画像は上書きされて消されてしまう。本実施の形態では、入力画像にロゴマーク等の画像を埋め込んだ場合でも、その埋め込み位置の元画像を把握することができる構成について、前記第１の実施の形態と異なる点のみ説明する。

図７は、本発明の第３の実施の形態におけるパラメータＰ３を示す図である。本実施の形態における画像処理部１４は、出力画像内の特定の画素の色と任意の色とをブレンディングするフィルタ処理を行う。例えば、付加ビットの値が[０１]である場合は、前記第１の実施の形態と同様に変形処理を行う。一方、付加ビットの値が[１０]である場合は、変形処理を施した後の画素の色と黒とを５０％ずつブレンドした画素を生成する。同様に、付加ビットの値が [１１]である場合は、変形処理を施した後の画素の色と白とを５０％ずつブレンドした画素を生成する。

以上のように、本実施の形態によれば、出力画像内の特定の画素の色と任意の色とがブレンディングされるので、入力画像にロゴマーク等の画像を埋め込んだ場合でも、その埋め込み位置の元画像を把握することができる。このような構成は、埋め込み画像の占める領域が大きい場合や、元画像の内容の重要度が高い場合等において特に有用である。

なお、前記第１〜第３の実施の形態では、メモリワードの幅を３２ビットとし、１画素あたり、２ビットの付加ビットと３０ビットのデータビットを持つこととしているが、本発明はこれに限定されるものではない。例えば、１画素あたり、４ビットの付加ビットと２８ビットのデータビットを持つ構成を採用することも可能である。この場合は、Ｘ座標とＹ座標をそれぞれ１４ビットで表現すればよい。メモリワードの幅についても３２ビット幅に限定されるものではなく、４８ビット幅や６４ビット幅のメモリを用いても同様の機能を実現することができる。

また、前記第１〜第３の実施の形態では、メモリワードに付加ビットを設けることとしているが、本発明はこれに限定されるものではない。すなわち、２種類のパラメータの一方又は両方を画素単位で一つのメモリワードに格納する構成を採用する以上、前記と同様の効果を得ることができる。もっとも、メモリワードの幅とパラメータのデータ長との関係を考慮すると、メモリワードに付加ビットを設ける構成が現実的である。例えば、前記第３の実施の形態では、出力画像内の特定の画素について変形処理とフィルタ処理の両方を行う必要があるが、３２ビットのメモリワードに３０ビットの変形処理パラメータ（座標値）と２４ビットのフィルタ処理パラメータ（ＲＧＢ値）を設けることはできない。この場合でも、前記第３の実施の形態のように、２ビットの付加ビットをブレンディングのためのフィルタ処理パラメータとみなせば、残りの３０ビットに変形処理パラメータ（座標値）を設けることが可能となる。言い換えると、前記第３の実施の形態は、２種類のパラメータの「両方」を画素単位で一つのメモリワードに格納する構成であると言える。

また、本発明でいう変形処理の内容は、前記第１〜第３の実施の形態で説明した内容に限定されるものではない。すなわち、画素の座標値を変更する処理である以上、本発明でいう変形処理に含まれる。例えば、画像を拡大又は縮小する処理を変形処理として採用することも可能である。

また、本発明でいうフィルタ処理の内容は、前記第１〜第３の実施の形態で説明した内容に限定されるものではない。すなわち、画素の色又は明るさを変更する処理である以上、本発明でいうフィルタ処理に含まれる。例えば、画素の明るさのみを変更する処理をフィルタ処理として採用することも可能である。

１０…画像処理装置
１１…入力部
１２…画像メモリ
１３…出力部
１４…画像処理部
１５…パラメータメモリ
Ｐ１…変形処理パラメータ
Ｐ２…フィルタ処理パラメータ
Ｐ３…２種類のパラメータ

Claims (4)

1. 画像を入力する入力部と、
   前記入力部により入力された画像を格納する画像メモリと、
   前記画像メモリに格納された画像に施す画像処理に使用される２種類のパラメータの一方又は両方を画素単位で一つのメモリワードに格納するパラメータメモリと、
   前記パラメータメモリに格納された２種類のパラメータを使用して、前記画像メモリに格納された画像に画像処理を施す画像処理部と、
   前記画像処理部により画像処理が施された画像を出力する出力部と、
   を備え、
   前記パラメータメモリは、前記画像処理部の機能を指定するための付加ビットを格納し、
   前記画像処理部は、前記付加ビットが特定の値である場合、その付加ビットと同一のメモリワードの所定領域に格納されている値を座標値とみなして画素の座標値を変更することを特徴とする画像処理装置。
2. 画像を入力する入力部と、
   前記入力部により入力された画像を格納する画像メモリと、
   前記画像メモリに格納された画像に施す画像処理に使用される２種類のパラメータの一方又は両方を画素単位で一つのメモリワードに格納するパラメータメモリと、
   前記パラメータメモリに格納された２種類のパラメータを使用して、前記画像メモリに格納された画像に画像処理を施す画像処理部と、
   前記画像処理部により画像処理が施された画像を出力する出力部と、
   を備え、
   前記パラメータメモリは、前記画像処理部の機能を指定するための付加ビットを格納し、
   前記画像処理部は、前記付加ビットが特定の値である場合、その付加ビットと同一のメモリワードの所定領域に格納されている値をＲＧＢ値とみなして画素の色又は明るさを変更することを特徴とする画像処理装置。
3. 画像を入力する入力部と、
   前記入力部により入力された画像を格納する画像メモリと、
   前記画像メモリに格納された画像に施す画像処理に使用される２種類のパラメータの一方又は両方を画素単位で一つのメモリワードに格納するパラメータメモリと、
   前記パラメータメモリに格納された２種類のパラメータを使用して、前記画像メモリに格納された画像に画像処理を施す画像処理部と、
   前記画像処理部により画像処理が施された画像を出力する出力部と、
   を備え、
   前記パラメータメモリは、前記画像処理部の機能を指定するための付加ビットを格納し、
   前記画像処理部は、前記付加ビットが特定の値である場合、その付加ビットと同一のメモリワードの所定領域に格納されている値をカラーパレットのインデックスとみなして画素の色又は明るさを変更することを特徴とする画像処理装置。
4. 画像を入力する入力部と、
   前記入力部により入力された画像を格納する画像メモリと、
   前記画像メモリに格納された画像に施す画像処理に使用される２種類のパラメータの一方又は両方を画素単位で一つのメモリワードに格納するパラメータメモリと、
   前記パラメータメモリに格納された２種類のパラメータを使用して、前記画像メモリに格納された画像に画像処理を施す画像処理部と、
   前記画像処理部により画像処理が施された画像を出力する出力部と、
   を備え、
   前記パラメータメモリは、前記画像処理部の機能を指定するための付加ビットを格納し、
   前記画像処理部は、前記付加ビットが特定の値である場合、その付加ビットと同一のメモリワードの所定領域に格納されている値を座標値とみなして画素の座標値を変更するとともに、その画素の色又は明るさを所定の色又は明るさに変更することを特徴とする画像処理装置。

Images