JP2018081424A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】画像処理において、撮像の際に発生するノイズや圧縮／伸張により発生するノイズの影響を低減する。
【解決手段】画像処理装置は、ひとつの画像から注目画素を基準とする領域を選択する手段と、選択された領域の画素値の分布について曲面を表す関数で近似する手段と、近似の結果得られる関数のパラメータから画素値の分布に関するベクトルを算出する手段と、を備える。
【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

スマートフォンなど、携帯端末の性能向上と多機能化に伴い、高度なセキュリティ管理を行う必要があるアプリケーションも登場してきている。例えば、インターネットバンキングの機能を提供するアプリケーションや証券取引を可能にするアプリケーションなどが利用可能となっている。このようなアプリケーションは通常、セキュリティ管理を行うためにユーザ認証を要求する。ユーザ認証は通常、ユーザＩＤおよびパスワードにより行われるが、近年、より強固なセキュリティを実現可能な指紋・掌紋認証が使われ始めている。ただし、現状では、指紋・掌紋認証を可能とするためにはスマートフォンに専用の指紋センサを搭載し、あるいは掌紋検出の機能を何らかの手段で別途実装する必要があり、コスト及びデバイス搭載スペースの観点で課題がある。

特許文献１には、デジタルカメラなどの簡易な測定装置を用いた画像情報から、よりリアルな三次元画像を得る技術が開示されている。

特開２００９−２４４２２９号公報

スマートフォンなどの携帯端末に実装されているデジタルカメラでは、基本的にＪＰＥＧ方式により圧縮された画像しか記録されないため、例えば特許文献１に記載されるような従来の画像処理により細かな指紋や掌紋を抽出することは困難である。理由としてＪＰＥＧデータは、元々ＲＧＢ各８ビットしかないカラー画像データをさらに圧縮したデータであり、それを元画像の大きさまで伸張し、更に凹凸抽出の為の微分演算処理（差分演算）を行うとノイズが更に強調されてしまうためである。

高級一眼レフカメラの撮像素子に内蔵されたＡ／Ｄコンバータには１２ビット精度のものもあるが、大抵の携帯端末の撮像素子はＲＧＢ各８ビット程度の精度しかない。さらに、基本的にはＪＰＥＧ方式で圧縮した画像しか記録保存できないため、伸張された画像は比較的大きな量子化ノイズを有し、そのノイズが微小な凹凸を得るための微分演算の妨げとなっている。また、ＩＳＯ感度を上げていくと撮像装置（センサ）自体にノイズが発生することも知られており、圧縮ノイズ以外にも撮像センサには多数のノイズがあり、これらのノイズも、微小な凹凸を得るための微分演算の妨げとなりうる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮像の際に発生するノイズや圧縮／伸張により発生するノイズの影響を低減可能な画像処理技術の提供にある。

本発明のある態様は、画像処理装置に関する。この画像処理装置は、ひとつの画像から注目画素を基準とする領域を選択する手段と、選択された領域の画素値の分布について曲面を表す関数で近似する手段と、近似の結果得られる関数のパラメータから画素値の分布に関するベクトルを算出する手段と、を備える。

なお、以上の構成要素の任意の組み合わせや、本発明の構成要素や表現を装置、方法、システム、コンピュータプログラム、コンピュータプログラムを格納した記録媒体などの間で相互に置換したものもまた、本発明の態様として有効である。

本発明によれば、画像処理において、撮像の際に発生するノイズや圧縮／伸張により発生するノイズの影響を低減できる。

実施の形態に係る携帯端末の模式図である。 図１の携帯端末のハードウエア構成図である。 図１の携帯端末の機能および構成を示すブロック図である。 矩形小領域の一例を示す模式図である。 矩形小領域の各画素の座標を示す模式図である。 図３のベクトル保持部の一例を示すデータ構造図である。 図１の携帯端末における一連の処理の流れを示すフローチャートである。 図８（ａ）〜（ｃ）は、注目画素の選択に関する説明図である。 実施の形態に係る画像処理方法により得られた指の凹凸画像を示す図である。 図９の凹凸画像に含まれる指紋の一部の拡大図である。 実施の形態に係る画像処理方法により得られた指の別の凹凸画像を示す図である。 実施の形態に係る画像処理方法により得られた段ボールの表面の凹凸画像を示す図である。 近似後の放物面を表す関数Ｏ（ｘ、ｙ）を示すグラフである。

以下、各図面に示される同一または同等の構成要素、部材、処理には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において説明上重要ではない部材の一部は省略して表示する。

実施の形態では、専用のセンサもしくはアタッチメントを用いずに、スマートフォン等の携帯端末に通常実装されているカメラ機能で取得可能な画像から凹凸情報が抽出される。本発明者は、携帯端末により撮像される画像、特に８Ｍピクセルを超える高解像度のカラー画像のなかの小領域について、照明光の明るさおよびカメラからの距離（光束の距離減衰）が矩形小領域と比較し極めて大きいため、矩形小領域内の全ての画素にわたってほぼ同じであり、物体色または吸光度もほぼ同じであるとする近似が成立しうることに着目した。すなわち矩形小領域内の全ての画素データを用いた最小二乗法による放物面近似処理により、各画素のノイズを抑制できることを見出した。該近似のもと、実施の形態では、ＪＰＥＧデータなどの非可逆的に圧縮されているデータの特定画素だけでなく周囲画素も含めた矩形の小領域に対し、輝度分布を最小二乗法により放物面で近似し、近似の結果得られる放物面のパラメータに基づいて法線ベクトルを抽出する。これにより、ノイズを抑制しながら高精度に凹凸情報を抽出することが可能である。

（実施の形態）
図１は、実施の形態に係る携帯端末１２の模式図である。携帯端末１２はディスプレイ１２４とカメラなどの撮像部（図１では不図示）とを備える。携帯端末１２のユーザは自己または他人の指１４を撮像部で撮像する。撮像部は撮像により得られた指１４の画像をＪＰＥＧなどの非可逆圧縮方式で圧縮し、メモリ（図１では不図示）に登録する。携帯端末１２は、圧縮された指１４の画像をメモリから読み出して伸張する。携帯端末１２は、伸張の結果得られる指１４の伸張画像を処理して指１４の凹凸画像を生成し、ディスプレイ１２４に表示させる。あるいはまた、携帯端末１２は凹凸画像と元の伸張画像とを合成してもよいし、凹凸画像を別の視点から指１４を撮像して得られる別の凹凸画像と比較してもよいし、予め取得しておいた指１４の指紋情報と凹凸画像から得られる指紋情報とを比較してもよい。

携帯端末１２はスマートフォンやタブレットや携帯電話やラップトップコンピュータであってもよい。携帯端末１２は画像処理機能を有する画像処理装置である。携帯端末１２は画像処理機能を実現するためのアプリケーションプログラムを保持する。アプリケーションプログラムは携帯端末１２にプリインストールされていてもよいし、ネットワークを介して携帯端末１２にダウンロードされてもよい。

本実施の形態では携帯端末１２を例として説明するが、デジタルカメラやビデオカメラやサーバやデスクトップコンピュータなどの任意の画像処理装置に、本実施の形態に係る技術的思想を適用可能なことは、本明細書に触れた当業者には明らかである。

図２は、図１の携帯端末１２のハードウエア構成図である。携帯端末１２は、メモリ１２１と、プロセッサ１２２と、通信インタフェース１２３と、ディスプレイ１２４と、入力インタフェース１２５と、撮像部１２７と、を含む。これらの要素はそれぞれバス１２６に接続され、バス１２６を介して互いに通信する。

メモリ１２１は、データやプログラムを記憶するための記憶領域である。データやプログラムは、メモリ１２１に恒久的に記憶されてもよいし、一時的に記憶されてもよい。特にメモリ１２１はアプリケーションプログラムを記憶する。プロセッサ１２２は、メモリ１２１に記憶されているアプリケーションプログラムを実行することにより、携帯端末１２における各種機能を実現する。通信インタフェース１２３は、携帯端末１２と外部との間でデータの送受信を行うためのインタフェースである。例えば、通信インタフェース１２３は、携帯電話の無線通信網にアクセスするためのインタフェースや、無線ＬＡＮ（Local Area Network）にアクセスするためのインタフェース等を含む。また、通信インタフェース１２３は、例えば、ＵＳＢ（Universal Serial Bus）等の有線ネットワークのインタフェースを含んでもよい。ディスプレイ１２４は、各種情報を表示するためのデバイスであり、例えば、液晶ディスプレイや有機ＥＬ（Electroluminescence）ディスプレイなどである。入力インタフェース１２５は、ユーザからの入力を受け付けるためのデバイスである。入力インタフェース１２５は、例えば、ディスプレイ１２４上に設けられたタッチパネルや、各種入力キー等を含む。撮像部１２７は、例えばレンズとＣＣＤやＣＭＯＳ等の撮像素子と圧縮処理のための回路とを含む。

図３は、図１の携帯端末１２の機能および構成を示すブロック図である。ここに示す各ブロックは、ハードウエア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウエア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウエア、ソフトウエアの組合せによっていろいろなかたちで実現可能なことは、本明細書に触れた当業者には理解されるところである。

携帯端末１２は、撮像部１２７と、伸張部１０２と、領域選択部１０４と、輝度値変換部１０６と、近似部１０８と、ベクトル算出部１１０と、凹凸画像生成部１１２と、表示制御部１１４と、画像保持部１１６と、ベクトル保持部１１８と、ディスプレイ１２４と、を備える。画像保持部１１６およびベクトル保持部１１８はそれぞれメモリ１２１のなかに定義された記憶領域であってもよい。

撮像部１２７は、例えば入力インタフェース１２５を介して受け付けられたユーザの指示に従い、指などの撮像対象の撮像を行う。撮像部１２７は、撮像対象の画像を生成し、生成された画像をＪＰＥＧ方式で圧縮し、画像保持部１１６に登録する。

伸張部１０２は、例えば入力インタフェース１２５を介して受け付けられたユーザの指示に従い、画像保持部１１６からＪＰＥＧ方式で圧縮された画像を取得する。伸張部１０２は、取得された画像を伸張することにより伸張画像を生成する。

領域選択部１０４は、伸張部１０２によって生成されたひとつの伸張画像から注目画素を基準とする領域を選択する。特に領域選択部１０４は、伸張画像の画素のなかから注目画素を選択し、選択された注目画素を中心とするｎ×ｎ画素（ｎは３以上の奇数）の矩形の領域（以下、「矩形小領域」という）を選択する。なお、ｎは偶数でもよい。

図４は、矩形小領域４００の一例を示す模式図である。この例では、矩形小領域４００は、注目画素４０２を中心とする５×５画素の矩形の領域である。矩形小領域４００には合計で２５個の画素が含まれる。この矩形小領域４００について演算を行う場合、ｘｙ座標の整数座標原点を中央の注目画素４０２の中心とする。

以下では５×５画素の矩形小領域４００を用いる場合を説明する。しかしながら、例えば３×３画素、７×７画素、９×９画素、１１×１１画素、３×５画素、７×３画素など任意の大きさの矩形小領域を用いてもよいことは、本明細書に触れた当業者には明らかである。あるいはまた、矩形小領域のｎの値について、求める処理結果を得るために最適な数値を選んでもよい。すなわち、指のサイズや画素数についても実際の様態は様々であるため、望む結果に最適なｎを自動で選んでもよい。

図３に戻り、輝度値変換部１０６は、伸張部１０２によって生成されたひとつの伸張画像の各画素のＲＧＢ値を輝度値Ｙに変換する。例えば、この変換には以下の式１が用いられる。
Ｙ＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１１４×Ｂ
…（式１）
輝度値変換部１０６による変換により、矩形小領域４００における輝度値の二次元分布が得られる。

近似部１０８は、領域選択部１０４によって選択された矩形小領域４００の輝度値の二次元分布を、最小二乗法を用いて放物面（楕円放物面）を表す関数Ｏ（ｘ、ｙ）で近似する。放物面を表す関数Ｏ（ｘ、ｙ）は、以下の式２で与えられる。
Ｏ（ｘ、ｙ）＝ａｘ^２＋ｂｘ＋ｃｙ^２＋ｄｙ＋ｅ
…（式２）
ここでａ、ｂ、ｃ、ｄ、ｅはそれぞれ未知数である。矩形小領域４００内のｊ番目の画素（座標（ｘ_ｊ、ｙ_ｊ））の輝度値をＳ（ｘ_ｊ、ｙ_ｊ）と表記する。最小二乗法における誤差評価関数Ｅは以下の式３で与えられる（５×５の場合、ｎ＝２５、以下同様）。
…（式３）

最小二乗法の必要条件は、
であるから、未知数ａ、ｂ、ｃ、ｄ、ｅに関して５つの連立方程式が得られる。これらを行列式で整理すると、
が得られる。

矩形小領域４００のｘｙ座標は中央すなわち注目画素４０２が原点となるようにとられている。図５は、矩形小領域４００の各画素の座標を示す模式図である。上記行列式の左辺の５×５行列を計算すると、
となる。これを未知数ｂおよびｄについて解くと
が得られる。図１３は、近似後の放物面を表す関数Ｏ（ｘ、ｙ）を示す。

図３に戻り、ベクトル算出部１１０は、輝度値の分布を近似する関数Ｏ（ｘ、ｙ）の、注目画素４０２における法線ベクトルを算出する。法線ベクトルは、近似部１０８における近似の結果得られる関数のパラメータすなわち未知数ｂ、ｄから算出される。ベクトル算出部１１０は、伸張画像全体に対する注目画素４０２の座標と、算出された法線ベクトルと、を対応付けてベクトル保持部１１８に登録する。

矩形小領域４００の原点（０、０）すなわち注目画素４０２における接線ベクトルは（１、０、ｂ）および（０、１、ｄ）となる。注目画素４０２における法線ベクトルは、これら２つの接線ベクトルの外積により求められる。
ベクトル算出部１１０は、これを正規化することで法線ベクトルを算出する。矩形小領域４００の２５個の画素の輝度値を用いて、放物面で近似した後に算出される法線ベクトルでは、ＪＰＥＧ方式のノイズによる影響が抑制される。

図６は、ベクトル保持部１１８の一例を示すデータ構造図である。ベクトル保持部１１８は、伸張画像の画素の座標と、その画素について算出された法線ベクトルと、を対応付けて保持する。

図３に戻り、凹凸画像生成部１１２は、ベクトル算出部１１０によって算出された法線ベクトルと仮想光源とに基づく新たな画像である凹凸画像を生成する。凹凸画像生成部１１２は、仮想的な点光源を携帯端末１２の撮像部１２７の周辺に配置する。物体色は輝度値に応じて定められる。明るさは、法線ベクトルと光源ベクトル（カメラベクトル）とに基づいて算出される拡散反射光の強さに応じて定められる。特に、明るさは法線ベクトルと光源ベクトルとがなす角に応じて、より具体的には法線ベクトルと光源ベクトルとの内積値に応じて定められる。

算出された法線ベクトルと仮想光源とを元に拡散反射光を演算する光源計算を行っているので、凹凸画像の立体感が高められる。法線ベクトルだけでは、単なる濃淡となり二次元的な画像となる。上記のように演算される拡散反射光は撮像対象の表面の実際の凹凸からの反射光に近いので、凹凸画像により実際の凹凸を可視化可能である。

表示制御部１１４は、凹凸画像生成部１１２によって生成された凹凸画像をディスプレイ１２４に表示させる。

以上の構成による携帯端末１２の動作を説明する。
図７は、携帯端末１２における一連の処理の流れを示すフローチャートである。携帯端末１２は、画像保持部１１６からＪＰＥＧ方式で圧縮されたデータを読み出し、伸張する（Ｓ７０２）。携帯端末１２は、伸張された画像に含まれる全ての画素のＲＧＢ値を輝度値へ変換する（Ｓ７０８）。携帯端末１２は、輝度値へ変換された伸張画像の画素のなかから注目画素を選択する（Ｓ７０４）。携帯端末１２は、選択された注目画素を中心とする矩形小領域を選択する（Ｓ７０６）。携帯端末１２は、最小二乗法により、矩形小領域の輝度値の分布を、放物面を表す関数で近似する（Ｓ７１０）。携帯端末１２は、近似の結果を用いて、矩形小領域の注目画素における放物面の法線ベクトルを算出する（Ｓ７１２）。携帯端末１２は、算出された法線ベクトルと注目画素の座標とを対応付けてベクトル保持部１１８に登録する（Ｓ７１４）。

携帯端末１２は、伸張画像中の必要な全ての画素について法線ベクトルを算出したか否かを判定する（Ｓ７１６）。法線ベクトルが算出されていない画素がある場合（Ｓ７１６のＮＯ）、処理はステップＳ７０４に戻る。ステップＳ７０４では、携帯端末１２は、次の注目画素を選択する。全ての画素について法線ベクトルが算出された場合（Ｓ７１６のＹＥＳ）、携帯端末１２は算出された法線ベクトルに基づいて凹凸画像を生成する（Ｓ７１８）。

図８（ａ）〜（ｃ）は、注目画素の選択に関する説明図である。図８（ａ）では、注目画素８０２に対して矩形小領域８０４が選択されている。上述の処理により携帯端末１２は注目画素８０２の法線ベクトル８０６を算出する（図８（ｂ））。携帯端末１２は、次の注目画素として隣の画素８０８を選択し、新たな注目画素８０８に対して矩形小領域８１０を設定する（図８（ｃ））。

なお、伸張画像の境界付近の画素については、５×５画素の矩形小領域を設定できない場合も生じうる。その場合、例えば５×５画素の矩形小領域を設定できない画素については法線ベクトルを算出しないこととしてもよい。あるいはまた、伸張画像の境界付近の画素を注目画素とする場合は、注目画素を矩形小領域の中心としなくてもよい。例えば、伸張画像の左上の角の画素を注目画素とする場合、該画素を左上の角とする５×５の矩形小領域を設定してもよい。

上述の実施の形態において、保持部の例は、ハードディスクや半導体メモリである。また、本明細書の記載に基づき、各部を、図示しないＣＰＵや、インストールされたアプリケーションプログラムのモジュールや、システムプログラムのモジュールや、ハードディスクから読み出したデータの内容を一時的に記憶する半導体メモリなどにより実現可能なことは本明細書に触れた当業者には理解される。

本実施の形態に係る携帯端末１２によると、注目画素を中心とする矩形小領域の輝度値の分布を最小二乗法を用いて放物面で近似し、近似の結果から注目画素における法線ベクトルを算出する。したがって、Ａ／Ｄ変換やＪＰＥＧ圧縮に伴う量子化ノイズ、撮像／測定時に混入したノイズ等が、算出される法線ベクトルの精度に及ぼす影響を低減することが可能である。

また、本実施の形態では、算出された法線ベクトルを用いて、撮像対象の表面の凹凸を示す凹凸画像が生成される。上述の通り、算出された法線ベクトルの精度は高い為、撮像対象の表面をより鮮明に再現する凹凸画像を生成することが可能である。

図９は、本実施の形態に係る画像処理方法により得られた指の凹凸画像を示す図である。図９に示される凹凸画像には指紋が鮮明に現れており、５００μｍ台の凹凸までも明瞭に可視化できている。また、伸張画像（不図示）の段階では指の右側にある背景はほぼ黒で何があるか不明であるが、画像処理後の凹凸画像では背景にキーボードがあることを読み取ることが可能である。これもまた、本実施の形態に係る画像処理方法によりもたらされる効果である。

図１０は、図９の凹凸画像に含まれる指紋の一部の拡大図である。図１０に示されるように、本実施の形態に係る携帯端末１２は指紋を十分な解像度で抽出することが可能である。この例では指紋の皺の凹凸は３０画素以上の周期で取得されている。したがって、放物面による近似において例えば１７×１７画素程度の大きさの矩形小領域を用いて演算してもよい。この場合、５×５画素の矩形小領域を用いる場合と比べて、より多くの情報から物体面の凹凸形状を引き出すことが可能である。

図１１は、本実施の形態に係る画像処理方法により得られた指の別の凹凸画像を示す図である。図１２は、本実施の形態に係る画像処理方法により得られた段ボールの表面の凹凸画像を示す図である。図１２の凹凸画像では皺や表面の凹凸が捉えられていることがわかる。

撮像対象の表面が平面であっても、色が違うとその境界で伸張画像の輝度値が変動する。すると、平面であるにもかかわらず色の境界付近では法線ベクトルが変動する可能性がある。したがって、撮像対象の色が比較的均一であり、撮像対象を実際に照らす光源が平行光源または単一光源である場合、凹凸画像は撮像対象の表面の凹凸をより正確に再現することが可能である。

特に、携帯端末１２の撮像部１２７の解像度が高い（例えば８Ｍピクセル）場合、５×５画素の矩形小領域に写る撮像対象の表面の大きさは、その表面と撮像部１２７との距離と比べて非常に小さい。したがって、余程細かな色模様を持った物体でない限り、５×５画素の矩形小領域に写る撮像対象の表面の物体色はほぼ同一と見なすことが可能である。したがって、高解像度の撮像部１２７を用いて得られる凹凸画像は撮像対象の表面の凹凸をより正確に再現することが可能である。

また、本実施の形態では、指紋や掌紋を検出するための専用のセンサを設けなくても、携帯端末に通常備わっているカメラ機能を用いて取得した画像から、指紋認証や掌紋認証に利用可能な凹凸画像を得ることが可能である。

（応用例）
実施の形態では、法線ベクトルを用いて凹凸画像を生成する場合を説明したが、法線ベクトルは他にも様々な画像処理に適用可能である。例えば、携帯端末１２は、ある視点から指１４を撮像して得られる画像（以下、「第１画像」という）について算出された法線ベクトルを、別の視点から指１４を撮像して得られる画像（以下、「第２画像」という）について算出された対応する法線ベクトルとマッチングするマッチング部（不図示）を備えてもよい。

マッチング部は第１画像と第２画像とを重ね合わせて三次元点群データを生成する。法線ベクトルは撮像対象である指１４の表面の凹凸または輪郭を示すため、第１画像と第２画像との重ね合わせは法線ベクトル同士の演算処理により行われる。マッチング部は、
（１）特徴点を基に２つの視点の三次元座標を求め、
（２）第１画像および第２画像の法線ベクトルに対して、グローバル空間に一致するように座標回転を行う。
第１画像の法線ベクトルの向きと第２画像の法線ベクトルの向きとが一致する場合、それらの法線ベクトルの内積は１となる。したがって、マッチング部は、法線ベクトル同士の内積が１になるよう（または１に近づくように）シフトして、マッチング処理を行うことで、第１画像と第２画像とを重ね合わせる。内積の演算は比較的単純なので、従来のパターンマッチング法より高速かつ正確にマッチングを行うことが可能である。

また、従来のステレオ・マッチング法による３次元距離情報の抽出では特徴点や境界線を基にしたマッチングしか行えないため距離情報の解像度は低い。しかし、本応用例では２つの画像のマッチングにおいて法線ベクトル同士の内積を用いることでマッチングを画素単位にとることが可能となる。したがって、２つの画像のマッチングをより緻密に行うことが可能となる。
なお、３枚以上の画像を重ね合わせてもよい。

他の応用例として、積分処理を行うことにより法線ベクトルからデプス画像を生成することや、指の凹凸画像から得られる指紋を指紋認証に利用することや、凹凸画像と元の伸張画像とを重ね合わせることで伸張画像から撮像対象を抽出することや、画像をつなぎ合わせてパノラマ画像を生成すること、がある。また、監視カメラや車載カメラから得られる画像に対して、実施の形態に係る画像処理方法を適用してもよい。

以上、実施の形態に係る携帯端末１２の構成と動作について説明した。この実施の形態は例示であり、各構成要素や各処理の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解される。

実施の形態では、ＪＰＥＧ方式で圧縮された画像を伸張する場合について説明したが、これに限られず、他の非可逆圧縮方式や可逆圧縮方式で圧縮された画像を伸張して得られる画像を用いてもよいし、圧縮−伸張を経ない画像を用いてもよい。

実施の形態では、注目画素を中心とする５×５画素の矩形小領域を選択する場合について説明したが、これに限られない。例えば、小領域の形状は正方形、長方形、三角形、六角形、菱形、円形であってもよい。また、注目画素は小領域のなかの任意の位置にある画素であってもよく、例えば小領域の角にあってもよい。

実施の形態では、伸張画像の全ての画素のＲＧＢ値を輝度値に変換し、その後矩形小領域を選択する場合を説明したが、これに限らず、選択された矩形小領域の画素のＲＧＢ値を毎回輝度値に変換してもよい。

実施の形態では、矩形小領域における輝度値の分布を近似する場合について説明したが、これに限られず、例えば矩形小領域の画素の画素値の分布を近似してもよい。この場合、画素値はＲＧＢ値のうちのＲ値のみ、Ｇ値のみ、Ｂ値のみ、あるいはその組み合わせであってもよく、または画素を特徴付ける他の値であってもよい。あるいはまた、紫外線画像や赤外線画像の処理に本実施の形態に係る技術的思想を適用してもよい。

実施の形態では、最小二乗法を用いて輝度値の分布を放物面を表す関数で近似する場合について説明したが、これに限られず、例えば輝度値の分布は曲面を表す関数で近似されてもよい。曲面は、楕円面や放物面などの二次曲面であってもよい。また、近似の方法として、最小二乗法以外の方法が用いられてもよい。

実施の形態では、近似の結果得られる関数のパラメータから法線ベクトルを算出する場合について説明したが、これに限られず、例えば接線ベクトルなどの他のベクトルが算出されてもよい。

１２ 携帯端末、 １０４ 領域選択部、 １０８ 近似部、 １１０ ベクトル算出部。

Claims (11)

1. ひとつの画像から注目画素を基準とする領域を選択する手段と、
   選択された領域の画素値の分布について曲面を表す関数で近似する手段と、
   近似の結果得られる関数のパラメータから画素値の分布に関するベクトルを算出する手段と、を備える画像処理装置。
2. 前記算出する手段は、画素値の分布を近似する関数の法線ベクトルを算出する請求項１に記載の画像処理装置。
3. 前記近似する手段は、選択された領域の画素値の分布を、最小二乗法を用いて二次曲面を表す関数で近似する請求項１または２に記載の画像処理装置。
4. 二次曲面は放物面である請求項３に記載の画像処理装置。
5. 画素値は画素の輝度値を含む請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記選択する手段によって選択される領域は、注目画素を中心とする矩形の領域である請求項１から５のいずれか１項に記載の画像処理装置。
7. 算出されたベクトルと仮想的な光源とに基づく新たな画像を生成する手段をさらに備える請求項１から６のいずれか１項に記載の画像処理装置。
8. ひとつの画像について算出されたベクトルを、他の画像について算出された対応するベクトルとマッチングする手段をさらに備える請求項１から７のいずれか１項に記載の画像処理装置。
9. ひとつの画像は、非可逆圧縮された画像を伸張することにより得られた画像である請求項１から８のいずれか１項に記載の画像処理装置。
10. ひとつの画像から注目画素を基準とする領域を選択することと、
    選択された領域の画素値の分布について曲面を表す関数で近似することと、
    近似の結果得られる関数のパラメータから画素値の分布に関するベクトルを算出することと、を含む画像処理方法。
11. ひとつの画像から注目画素を基準とする領域を選択する機能と、
    選択された領域の画素値の分布について曲面を表す関数で近似する機能と、
    近似の結果得られる関数のパラメータから画素値の分布に関するベクトルを算出する機能と、をコンピュータに実現させるためのコンピュータプログラム。