JP6103942B2 - 画像データ処理装置及び画像データ処理プログラム - Google Patents

Description

本発明は画像データ処理装置に係り、特に画像データの拡大縮小率に応じて、画像の光沢及び陰影制御を行う技術に関する。

従来、デジタルカメラ等の撮像装置では、撮像位置はそのままでも、被写体に近づいたかのような画像データを撮像するために、光学ズームやデジタルズームの機能が搭載されることが多い。光学ズームはレンズを動かすことによって焦点距離を変化させ、光学的に拡大して画像データを撮像している。これに対しデジタルズームでは、レンズ自体は動かさず、画像データの一部を拡大することで被写体の大きさを変えて画像データを撮像している。また、画像データを撮像するときだけでなく、画像データを表示するときにデジタル処理により画像データを拡大・縮小等して表示することで、あたかも被写体と撮像装置との位置関係を変えたかのような画像データを生成することもデジタルズーム機能の一つである。

近年、拡大された画像データに画像データ処理を施し、好適な画像データを生成する技術が開発されている。例えば、特許文献１では、光学ズームによって得られる画質変化と、デジタルズームによって得られる画質変化とに共通性を持たせることで、デジタルズーム実行時に、光学ズームを利用して得たかのようなボケを出力画像データに発生させる方法が開示されている。

特開２０１２−１６０８６３号公報

しかしながら、特許文献１に記載された方法では、被写体の質感を表す光沢や、陰影のある領域がそのまま拡大されてしまうため、質感が損なわれるという問題があった。また、画像の一部を拡大あるいは縮小するだけでは、被写体までの距離が変わったような印象を得られず、臨場感が損なわれてしまっていた。例えば、撮影画像データでは影だとわかる領域も、拡大画像データでは全体が真っ暗になったり、コントラストの高い影領域と非影領域との境目の領域が、そのまま拡大されたりと、好適な拡大画像データを生成することが困難であった。

本発明は上記課題を鑑みて発明されたものであり、画像データの拡大縮小率に応じて、適切な画像の光沢及び陰影制御を行う画像データ処理技術を提供することを目的とする。

本発明は上述した課題を解決するために、以下の技術手段を備えている。
本発明の一観点によれば、画像データの拡大縮小指示を取得し、前記拡大縮小指示から前記画像データの拡大縮小率を算出する拡大縮小率算出部と、前記拡大縮小率に基づいて前記画像データの一部画像データを拡大または縮小する画像データ生成部と、を備える画像データ処理装置であって、前記画像データから、例えば、画素ごとまたは領域ごとに、被写体表面の三次元形状を取得する被写体形状推定部と、前記画像データと、前記三次元形状とに基づいて、画素または領域ごとに被写体表面の光源からの入射光情報を取得する光源環境推定部と、前記三次元形状と、前記入射光情報と、前記拡大縮小率とに基づいて、前記画像データの高輝度領域又は低輝度領域の少なくともいずれか一方の輝度値を制御する光沢／陰影制御部と、を備え、前記光沢／陰影制御部は、前記拡大縮小率に応じて、前記画像データの高輝度領域又は低輝度領域の少なくともいずれか一方の領域を強調または抑制する輝度補正を行う光沢／陰影輝度補正部を有することを特徴とする画像データ処理装置が提供される。

上記の発明によれば、被写体形状と光源情報と拡大縮小率に基づいて、画像を拡大するときは、光沢及び陰影領域を抑制する輝度補正を、縮小するときは、光沢及び陰影領域を強調する輝度補正を行う。

本発明の画像データ処理装置によれば、入力画像データの陰影及び光沢を、画像データの拡大縮小率に応じて調整し、適切に画像データの光沢及び陰影制御を施した画像データを生成することができる。

本発明の第１の実施の形態による画像データ処理装置を備える撮像部付き画像データ表示装置の一構成例を示す機能ブロック図である。 光沢／陰影制御部の一構成例を示す機能ブロック図である。 入力画像データと法線ベクトルとを説明する図である。 法線ベクトルを説明する図である。 光源ベクトルを説明する図である。 鏡面反射を説明する図である。 拡大縮小指示の入力方法を説明する図である。 法線ベクトルと光源ベクトルとのなす角を説明する図である。 拡大縮小率と光沢及び陰影の強調・抑制度合との関係を示す図である。 画像データを拡大する際の変更結果を説明する図である。 画像データを縮小する際の変更結果を説明する図である。 本発明の第１の実施の形態における画像処理の流れを示すフローチャート図である。 拡大した画像データと画像データもしくは縮小した画像データやメニュー画面を同時に表示した様子を示す図である。 本発明の第２の実施の形態による画像データ処理装置を備える撮像部付き画像データ表示装置の一構成例を示す機能ブロック図である。 図１３Ａの要部の構成例を示す機能ブロック図である。 第２の実施の形態による画像データ表示装置の傾きを拡大縮小の関係を説明する図である。 第２の実施の形態による画像データ表示装置の傾き角を示す軸を表す図である。 第２の実施の形態による画像データ表示装置を横から見た図である。 第２の実施の形態による画像データ表示装置を上から見た図である。

以下、添付図面を参照して本発明の実施の形態について詳細に説明する。なお、添付図面は本発明の原理に則った具体的な実施例と実装例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。また、各図における構成は、理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。

また、以下の説明において、異なる図面においても同じ符号を付した構成のものであるとして、その説明を省略することとする。また、以下で述べる画像データとは、静止画像データと動画像データの両方を示すものとし、コンテンツデータとは、静止画像データと動画像データを示し、さらに動画像データに音声データがある場合は、音声データも含むものとする。また、撮像部と表示部とが、別体に構成されていても良い。

＜第１の実施の形態＞
図１Ａは、本発明の第１の実施の形態による画像データ処理装置を備える撮像部付き画像データ表示装置の一構成例を示す機能ブロック図である。撮像部付き画像データ表示装置で被写体を撮像して、撮像した画像データから被写体の拡大縮小率に応じて適切な光沢及び陰影制御が施された画像データを生成し、生成画像データを表示部に表示する場合の例を示す図である。

以下、本発明の第１の実施の形態におけるシステム構成及び動作の詳細を、図１Ａ、図１Ｂを用いて説明する。本実施の形態に係る画像データ処理装置を備える撮像部付き画像データ表示装置１００は、入出力装置１０１と、画像データ処理装置１０２と、表示部１０３とを備え、また、入出力装置１０１内には、カメラなどの撮像部１０４と、送受信部１０５と、画像データ入出力部１０６と、記憶部１０７と、のうち少なくとも１つ以上の画像ソースと、入出力部（操作部等）１０８とを備え、さらに、画像データ処理装置１０２内には、被写体形状推定部１０９、光源環境推定部１１０、拡大縮小率算出部１１１、光沢／陰影制御部１１２、画像データ生成部１１３、を備える。

また、第１の実施の形態による画像データ処理システムの具体的な例としては、例えば、画像データの表示を行うことができる、テレビジョン受信装置や、モニタ、携帯電話、スマートフォン、タブレットＰＣ、ＰＣ、携帯ゲーム機、電子フォトフレーム、デジタルスチルカメラ、ビデオカメラ等があげられる。

まず、入出力装置１０１の内部の構成要素と、表示部１０３と、について説明する。撮像部１０４は、撮像レンズ及びＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等の撮像素子を備えており、被写体の静止画や動画を撮像し、撮像した画像データを入力画像データとして出力する。

送受信部１０５は、テレビ放送波や、インターネットやその他の通信回線を通じて入力された画像データを受け付け、入力画像データとして出力する一般的なコンテンツ等のインターフェイスである。例えば、送受信部１０５は、テレビ放送の放送波を受信するテレビ信号受信装置等により、放送波に含まれるコンテンツデータを入力して、再生する装置であってもよい。また、インターネットやその他の通信回線から配信されるコンテンツデータを受信して、再生する装置であってもよい。

画像データ入出力部１０６は、外部から入力された画像データを受け付け、入力画像データとして出力する一般的なものである。例えば、入出力部１０８は、ディスクプレイヤー等の外部機器からの画像データ信号を受け付けるレシーバ等により、コンテンツデータを受け付けて、再生する装置であってもよい。コンテンツデータを入力するための装置であれば、どのような装置であっても構わない。

記憶部１０７は、コンテンツデータを記憶したり、記憶した画像データを出力したりする一般的なメモリ等である。例えば、記憶部１０７は、記録媒体からコンテンツデータを読み込んで、再生する装置であってもよい。記録媒体としては、市販のビデオカメラ内の記憶装置と、取り外し可能な記憶装置（光磁気ディスクや半導体メモリ等の電子媒体）と、が例示的に挙げられる。

入出力部１０８は、キーボタンやマイクやスピーカー等の音声入出力装置や人の動きを検知する赤外線照射装置等、ユーザの命令や音声などを画像データ処理装置に入力したり音声を出力したりする。

ここで、入出力装置１０１を構成する、撮像部１０４と、送受信部１０５と、画像データ入出力部１０６と、記憶部１０７は、それぞれ異なる方法で、画像データを入力するための手段であり、入出力装置１０１は、撮像部１０４と、送受信部１０５と、画像データ入出力部１０６と、記憶部１０７のうち少なくとも一つと、入出力部１０８とを備えていればよい。以下の説明では、入出力装置１０１内に、撮像部１０４と、記憶部１０７と、入出力部１０８とを備えた例について説明する。

表示部１０３は、一般的なＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）などで構成されており、外部から入力された画像データや文字データ等を表示する。

また、上記で述べた、入出力装置１０１と、表示部１０３は、それぞれ一般的なものであり、本発明の内容とは直接関係がないため、それらの詳細な説明については省略する。

次に、画像データ処理装置１０２の構成例について説明する。
画像データ処理装置１０２は、被写体形状推定部１０９と、光源環境推定部１１０と、拡大縮小率算出部１１１と、光沢／陰影制御部１１２と、画像データ生成部１１３とを備え、撮像部１０４、画像データ入出力部１０６等から入力された入力画像データに対して、入出力部１０８から入力された拡大縮小指示に基づいて画像データ処理を行い、出力画像データを生成し、生成した出力画像データを、表示部１０３、または、画像データ入出力部１０６等へ出力する。ここで、例えば、画像データ処理装置１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：中央処理装置）やＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：画像データ処理用処理装置）等で構成することができる。

被写体形状推定部１０９は、入力された画像データに基づいて、例えば、画像データにおける被写体表面の三次元形状を表す法線ベクトルを推定し、法線ベクトル情報として出力する。

光源環境推定部１１０は、入力された画像データと、被写体形状推定部１０９で推定された法線ベクトルと、に基づいて、被写体表面に入射する光の向きを推定し、推定された入射光情報を光源ベクトル情報として出力する。

拡大縮小率算出部１１１は、入出力部１０８から入力される画像データの拡大もしくは縮小の指示に基づき、画像データ生成部１１３で生成する画像データの拡大縮小率を算出し、出力する。

光沢／陰影制御部１１２は、入力された法線ベクトル情報と、光源ベクトル情報と、拡大縮小率と、に基づいて、拡大縮小率に応じた適切な光沢制御及び／又は陰影制御処理を行う。このとき、拡大縮小率で算出した拡大縮小率の数値が所定の値より大きくなるに従い、光沢及び／又は陰影効果が抑制されるように調整されて生成される。また、拡大縮小率の数値が所定の値より小さくなるに従い、光沢及び／又は陰影効果が強調されるように調整されて生成される。光沢／陰影制御部１１２は、光沢の抑制又は強調制御の少なくともいずれか一方と、陰影の抑制又は強調制御の少なくともいずれか一方を独立して行うことができても良いし、セットで制御を行うようにしても良い。

画像データ生成部１１３は、拡大縮小率に応じて画像データを拡大もしくは縮小して出力画像データを生成する。

図１Ｂは、光沢／陰影制御部１１２の詳細な構成例を示す機能ブロック図である。図１Ｂに示すように、拡大縮小率算出部１１１からの出力を受けて法線ベクトルと光源ベクトルとの内積を演算する法線ベクトル／光源ベクトル内積演算部１１２−１と、演算結果に基づいて、領域の輝度値を求める内積結果判定部１１２−２と、判定結果に基づいて、光沢領域と陰影領域とを推定する光沢領域・陰影領域推定部１１２−３と、拡大縮小率算出部１１１からの出力を受けて、光沢領域・陰影領域の輝度を補正する光沢陰影領域輝度補正部１１２−４と、を有しており、その出力が、表示部１０３に送られる。
以上が第１の実施の形態によるシステム構成例の詳細である。

次に、第１の実施の形態による撮像部付き画像データ表示装置の動作について図２から図１０までを用いて詳しく説明する。まず、被写体形状推定の動作について、図２と図３を用いて説明をする。図２は、入力画像データ（上図）と入力画像データの被写体形状を表す三次元ベクトルである法線ベクトルを入力データに重畳した図（下図）である。図３は法線ベクトルを説明する図である。

被写体形状推定部１０９は、画像データから、被写体表面の法線ベクトルを推定する。法線ベクトルとは、被写体表面の向きを表す単位ベクトルである。図２に示すように、被写体Ｈが平面の場合、法線ベクトルＶは同じ向きであるが、被写体Ｈが球面の場合、法線ベクトルＶの向きは異なる向きとなる。この法線ベクトル３０１は、図３に示すように、画像データの横方向をｘ軸、縦方向をｙ軸、奥行方向、すなわち撮像装置から被写体に向かう方向をｚ軸としたとき、ｘｙｚ座標系において、法線ベクトルのｘ成分（ｎｘ）を符号３０２で、ｙ成分（ｎｙ）を符号３０３で、ｚ成分（ｎｚ）を符号３０４で示し、画素を符号３０５で、領域を符号３０６で示すと、ベクトル３０２、３０３、３０４の合成成分の三次元ベクトル３０１として表すことができる。

画像データから法線ベクトルを推定する方法としては、対象とする座標とその近傍に存在する複数の座標とから導かれる近似的な平面の直交ベクトルを法線ベクトルとして推定する方法、物体の陰影を用いて推定する方法（Ｒ．Ｚｈａｎｇ， Ｐ．Ｔｓａｉ，Ｊ．Ｃｒｙｅｒ，Ｍ．Ｓｈａｈ，“Ｓｈａｐｅ ｆｒｏｍ Ｓｈａｄｉｎｇ：Ａ
Ｓｕｒｖｅｙ、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，ｐｐ．６９０−７０６，１９９９参照）、被写体の画像データとその三次元形状が大量に格納されたデータベースをあらかじめ用意しておき、画像データとデータベース中の画像データとを照合することで推定する方法（Ｔ．Ｈａｓｓｎｅｒ、Ｒ．Ｂａｓｒｉ、“Ｅｘａｍｐｌｅ Ｂａｓｅｄ ３Ｄ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｓｉｎｇｌｅ ２Ｄ
Ｉｍａｇｅｓ”， Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ
ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｗｏｒｋｓｈｏｐ，ｐｐ，１５−２３，２００６参照）等が知られており、上述した方法を用いてもよい。

以上により、法線ベクトルの推定がなされる。この法線ベクトルは画素ごとまたは領域ごとに算出される。算出された法線ベクトルをまとめて法線ベクトル情報とし、光源環境推定部１１０に出力する。

次に、光源環境推定部１１０における光源環境推定の動作について、図４と図５を用いて説明をする。図４は、光源ベクトルを説明する図である。図５は鏡面反射物体の場合の光源ベクトルと反射ベクトルとの関係を説明する図である。画像データと法線ベクトル情報に基づいて、被写体表面に入射する光の向き、すなわち光源ベクトルを推定する。光源ベクトルは、被写体表面に入射する光の向きを表す単位ベクトルである。

図４に示すように、光源ベクトルは、図３に示す法線ベクトルと同じ座標軸を用い、三次元ベクトル４０１として表す。光源ベクトルのｘ成分（ｌ_ｘ）を符号４０２で、ｙ成分（ｌ_ｙ）を符号４０３で、ｚ成分（ｌ_ｚ）を符号４０４で、画素を符号４０５で、領域を符号４０６で示すと、また、光源ベクトル４０１は、ベクトル４０２、４０３、４０４の合成ベクトルで表される。

画像データと法線ベクトル情報とから光源ベクトルを推定する方法は、図５に示すように被写体を鏡面反射物体（入射角度５０１と反射角度５０２が同じ）５０３と仮定し、入射光の向きを変えて各々生成された画像データと画像データの輝度情報を照合することにより、最も誤差の少なかった入射光の向きを光源ベクトルとして推定する方法や、画像データ中に観測される影の明度と、被写体の影の法線ベクトルからどの方向の光源が遮蔽されているかを考慮することで光源輝度が未知数となる連立方程式を導き出し、それを解くことで推定する方法（佐藤いまり、佐藤洋一、池内克史、“物体の陰影に基づく光源環境の推定”、情報処理学会論文誌、Ｖｏｌ．４１、ｐｐ．３１−４０、２０００参照）が知られており、上述した方法を用いてもよい。

以上により光源ベクトルの算出がなされる。この光源ベクトルは画素ごとまたは領域ごとに算出される。算出された光源ベクトルをまとめて光源ベクトル情報として、光沢／陰影制御部１１２に出力する。

次に、拡大縮小率算出処理の動作について図６を用いて説明をする。図６は、タッチパネルもしくはジェスチャ認識による拡大縮小指示の入力方法を説明する図である。入出力部１０８から入力される拡大縮小指示に基づき、画像データの拡大縮小率を算出する。拡大縮小率とは、画像データの一部を拡大もしくは縮小するときに、元の画像データの大きさと、拡大もしくは縮小後の画像データの大きさとの比を表す値である。例えば、拡大縮小率が１のとき、拡大縮小率に基づいて拡大もしくは縮小された画像データの大きさと元の画像データの大きさとは等しくなる。拡大縮小率が０．５のとき、拡大縮小率に基づいて拡大縮小後の画像データの大きさは、元画像の大きさに対し、０．５倍された大きさとなる。すなわち、２分の１に縮小された画像データが拡大縮小後の画像データとなる。拡大縮小率が３のとき、拡大縮小後の画像データの大きさは、元画像の大きさと比較して、３倍された大きさとなる。

すなわち、拡大縮小率が１より大きければ画像は拡大され、１より小さければ画像は縮小されることになる。ここで、「画像の大きさ」とは、画像の縦画素数や横画素数、画像の対角線上の長さ等で表される値のことである。すなわち、対角線上の長さが長くなると、縦または横画素数も大きくなる。

拡大縮小指示の入力方法は、リモコン装置で拡大縮小率を数値で入力しても良いし、表示部またはリモコン装置に備えられているタッチパネルのピンチ操作で入力しても良いし、使用者の両手の動きからジェスチャを認識して入力しても良い。

リモコン装置で入力する場合、拡大縮小率Ｋを「１．２」や「０．２」などの数値で入力することができる。このとき、拡大縮小中心座標６０１を数値あるいは拡大対象となる画像データ上にポインタとして表示したり、拡大縮小範囲を枠で表示したりすると、ユーザが拡大縮小率を指定しやすくなるため好適である。また、拡大縮小中心座標も入力できるようにしておくと、拡大縮小率を変えずに拡大縮小位置だけを変えることができるため好適である。

タッチパネルを用いたピンチ操作の場合、ユーザは２本の指で画面を抑え、つまむように指を近づける場合、拡大縮小率Ｋを１以下に設定し、指を遠ざける場合、拡大縮小率Ｋを１以上に設定することができる。拡大縮小率Ｋの値は、２本の指の開始点６０２と６０３と終点６０４と６０５との比率から求める。また、拡大縮小中心座標６０１は、二本の指の開始点６０２と６０４が結ぶ直線の中点６０１とする。

ジェスチャ操作の場合、左手と右手を用いて操作をし、左手と右手を近づける場合、拡大縮小率Ｋを１以下に設定し、遠ざける場合、拡大縮小率Ｋを１以上に設定する。Ｋの値は、左手の開始点６０３と右手の開始点６０２、左手の終点６０５と右手の終点６０４との比率から求める。拡大縮小中心座標６０１は、左手の開始点６０３と右手の開始点６０２とが結ぶ直線の中点６０１とする。以上により拡大縮小率の算出がなされる。

次に、光沢及び陰影制御の動作について図７を用いて説明をする。図７は、法線ベクトルと光源ベクトルとのなす角度を説明する図である。光沢／陰影制御部１１２は、例えば、法線ベクトル情報と光源ベクトル情報と拡大縮小率とに基づいて、拡大縮小率が１より大きくなるに従い、光沢及び陰影効果が抑制されるようにパラメータを調整し、拡大縮小率が１より小さくなるに従い、光沢及び陰影効果が強調されるようにパラメータを調整する。具体的には、画像データ中の光沢領域と陰影領域を推定し、拡大縮小率が１より大きくなる場合には光沢領域の輝度を低く、陰影領域の輝度を高くし、拡大縮小率が１より小さくなる場合には光沢領域の輝度を高く、陰影領域の輝度を低くする。

まず、画像データ中の光沢領域と陰影領域を推定する方法について詳しく説明する。法線ベクトルＮ＝（ｎ_ｘ、ｎ_ｙ、ｎ_ｚ）と光源ベクトルＬ＝（ｌ_ｘ、ｌ_ｙ、ｌ_ｚ）との内積Ｉを以下の（式１）で算出する。このとき、光源ベクトルの向きを反転させ、光源ベクトルと始点を一致させる。

法線ベクトルＮと光源ベクトルＬは単位ベクトルであるため、（式１）で算出される内積Ｌは[−１、１]となる。図７に示すように、（ａ）内積が１に近いほど光源ベクトルと法線ベクトルとのなす角７０１が０度に近いことを表し、（ｂ）０に近いほど光源ベクトルと法線ベクトルのなす角７０２が９０度に近いことを表し、（ｃ）−１に近いほど光源ベクトルと法線ベクトルとのなす角７０３が１８０度に近いことを表す。この内積演算結果に基づき、光源ベクトルと法線ベクトルとのなす角が０〜９０度となる高輝度領域、すなわち内積の結果が０〜１となる高輝度領域を光沢領域と推定する。また、光源ベクトルと法線ベクトルとのなす角が９０〜１８０度となる低輝度領域、すなわち内積の結果が−１〜０となる低輝度領域を陰影領域と推定する。

画像データの高輝度領域と低輝度領域は、あらかじめ設定された所定の値により抽出しても良いし、画像データ中の輝度の分布に基づき、高輝度画素１０％の領域を高輝度領域、低輝度画素１５％の領域を低輝度領域というようにして抽出しても良い。
以上により、画像データ中の光沢領域と陰影領域の推定がなされる。

次に、拡大縮小率が１より大きい場合の光沢／陰影制御について詳しく説明する。図８に拡大縮小率と光沢／陰影制御の強調もしくは抑制制御との関係の一例を表したグラフである。図８に示すように、拡大縮小率が１より大きくなるに従い、光沢及び陰影の効果を抑制し、拡大縮小率が１より小さくなるに従い、光沢及び陰影の効果を強調するように制御する。そして、拡大縮小率の最大値Ｋ_ｍａｘ８０１と最小値Ｋ_ｍｉｎ８０２との範囲内で、光沢及び陰影の効果を変更する。光沢及び陰影効果の変更は、図８において、線形関数８０３により行ってもよいし、非線形関数８０４、８０５によって行っても良い。ここでは、線形関数８０３により変更を行う場合の処理例を詳しく説明する。

画像データの対象画素が有する輝度をＶ_ｉ，光沢及び陰影制御後の画像データの対象画素が有する輝度をＶ_ｏ、対象画素が有する内積Ｌと周辺画素が有する内積Ｌの差が所定の値以下である周辺画素が有する輝度Ｖ_ｓとの差の絶対値をＶ_ｓｕｂ（Ｌ）＝｜Ｖ_ｉ−Ｖ_ｓ｜とすると、光沢領域の場合は（式２）を、陰影領域の場合は（式３）を用いて、光沢及び陰影領域の輝度を補正する。

輝度Ｖ_ｓは、対象画素が有する内積Ｌと周辺画素が有する内積Ｌの差が所定の値以下である周辺画素の輝度値の平均値とする。以上により、拡大縮小率が１より大きい場合の光沢及び陰影制御がなされる。次に、拡大縮小率が１より小さい場合の光沢及び陰影制御について詳しく説明する。光沢領域の場合は（式３）を用いて、陰影領域の場合は（式２）を用いて、光沢／陰影領域の輝度を補正する。以上により、拡大縮小率が１より小さい場合の光沢／陰影制御処理がなされる。

最後に、画像データ生成の動作について図９及び図１０を用いて説明をする。図９は、拡大縮小率が１以上のときの、光沢／陰影効果の変更結果を説明する図である。図１０は、拡大縮小率が１以下のときの、光沢／陰影効果の変更結果を説明する図である。

図９を参照して、まず、拡大縮小率が１以上のときの画像データ生成部１１３の動作を詳しく説明する。画像データ生成部１１３は、図９において入力画像データ９０１上の拡大縮小中心座標９０２と拡大縮小率Ｋとを用いて、光沢／陰影制御後の画像データ９０３を拡大する。画像データから拡大範囲９０４を切り出し、その拡大範囲をＫ倍し、拡大画像データ９０５を出力する。

図１０を参照して、次に、拡大縮小率が１以下のときの画像データ生成部１１３の動作を詳しく説明する。画像データ生成部１１３は、図１０において入力画像データ１００１上の縮小中心座標１００２と拡大縮小率Ｋとを用いて、光沢／陰影制御後の画像データ１００３を縮小する。画像データから縮小範囲１００３を切り出し、その縮小範囲をＫ倍し、縮小画像データ１００４を出力する。画像データを縮小することで画角外領域１００５が表れた場合は、画角外領域に黒色を表示する方法や、画像データ端を引き延ばす方法、画像データ端付近領域を折り返して表示する方法を用いて、画角外領域の補間を行う。

以下、上記第１の実施の形態によるデータ処理動作の流れを図１１に示すフローチャート図を用いて説明をする。

まず、処理を開始し（ＳＴＡＲＴ）、ステップＳ１１０１において、画像データ処理装置１０２は、撮像部１０４や送受信部１０５等から撮像画像データを取り込む。次に、ステップＳ１１０２において、被写体形状推定部１０９が、撮像画像データから被写体の法線ベクトルを推定する。例えば、１枚の画像から得られる２次元情報から、陰影分布解析やデータベース照合を用いて、３次元形状を推定する手法は公知である。次に、ステップＳ１１０３において、光源環境推定部１１０が、画像データと法線ベクトル情報とを用いて光源ベクトルを推定する。次に、ステップＳ１１０４において、画像データ処理装置１０２は、入出力部１０８から拡大指示情報を取り込む。次に、ステップＳ１１０５において、拡大縮小率算出部１１１が、拡大指示情報を用いて、画像データの拡大縮小率を算出する。次に、ステップＳ１１０６において、法線ベクトル情報と光源ベクトル情報と拡大縮小率とに基づいて、画像データの輝度補正を行う。

具体的には、拡大縮小率が所定の値より大きければ、光沢／陰影制御部１１２は画像データの光沢／陰影を抑制する処理を行う。拡大縮小率が所定の値より小さければ、光沢／陰影制御部は画像データの光沢／陰影を強調する処理を行う。次に、ステップＳ１１０７において、画像データ生成部１１３が拡大縮小率を用いて、光沢及び陰影制御後の画像データを拡大もしくは縮小した画像データを生成する。

より詳細には、光沢／陰影制御部１１２は、図１Ｂの各機能部が上記のように機能している。そして、ステップＳ１１０８において、画像データ生成部１１３が生成した画像データを表示部に出力する。以上のようにして、第１の実施の形態による画像データ表示装置１００は動作する。

本実施の形態では、画像データ生成部１１３から出力された拡大画像データを、表示装置の画面全体に表示したが、図１２に示すように、入力画像データ上に拡大画像データ１２０１を重畳して表示するようにしても良いし、入力画像データを縮小して空いたスペースに拡大画像データ１２０２を表示するようにしても良い。このとき、入力画像データの拡大率に応じて、入力画像データ全体の縮小率を算出し、縮小率に応じて入力画像データの光沢／陰影を強調すると、拡大画像データと縮小された入力画像データともに適切な効果を付与できるため好適である。さらに、化粧する様子を撮像する際に、拡大された画像データと、縮小された画像データと、化粧手順などが記されたメニュー画面（１２０３）とを同時に表示すると、ユーザが化粧手順を確認しながら目元や唇等の細かな領域を拡大された画像データで、全体的な雰囲気を縮小された画像データで確認しながら手順を進めていくこともできるため、画像処理の適用対象として好適である。或いは、模型の作製手順、手術などを含む変化の様子を見ながら手順を進めていくことも簡単になる。

本実施の形態では、画像データ表示装置１００が有する画像データ処理装置１０２で生成された画像データを表示部１０３に表示したが、画像データ処理装置１０２を有する他の画像データ表示装置で生成された画像データを送受信部１０５において受信し、表示部１０３に表示するような構成としてもよい。この構成によれば、送受信部１０５を介して遠隔地とのテレビ会議やビデオチャット等の画像データ処理が可能になるため好適である。

本実施の形態では、拡大縮小率算出部１１１において、画像データの拡大したい領域の右上隅６０２と左下隅６０３のポイントを指定する例を説明したが、左上隅と右下隅のピントを指定する方法でも同様の効果を得ることができる。もちろん。全体の領域を引き延ばすようにしても良い。

上述した本実施の形態による画像データ処理装置を備える画像データ表示装置によれば、被写体の拡大縮小率に応じて適切に光沢／陰影制御を施した拡大画像データを表示することができる。

従って、デジタル画像をデジタルズームにより拡大縮小した場合においても、あたかも光学ズームで拡大縮小した場合と同様の質感を付与することができる。例えば、化粧の確認をする場合などの繊細な画像をデジタル処理で確認することができる。また、ズームレンズなどの光学的な機構を簡単にできるため、コストを削減することができるという利点がある。

＜第２の実施の形態＞
次に、本発明の第２の実施の形態による画像データ表示装置の構成について、図１３Ａを用いて説明する。図１３Ａにおいて、図１と同じ構成要素には同じ番号を付しており、これらの構成要素は図１の実施の形態と同じ処理を行うため説明を省略する。

本実施の形態と第１の実施の形態との違いは、本実施の形態では、表示の傾きを検出する傾き角検出部１３０１を備えた構成になっていることである。動作は第１実施の形態とほぼ同様で、表示部１０３を備える表示装置の傾きを画像データの拡大縮小率に変換し、画像データ生成部１１３において拡大縮小処理を施さないことで、表示装置の傾き角に応じた適切な光沢／陰影制御が可能となる。第１実施の形態では、画像データの一部分を拡大したり、縮小したりしたが、第２実施の形態では画像データ中のｘ軸あるいはｙ軸の位置に応じて画像データの傾きに基づく拡大縮小を推定して光沢／陰影制御を行う。

以下に、光沢／陰影制御の概要を説明する。図１４に示すように画像データ表示装置１４０１が表示装置中心１４０２は大きく移動せずに傾いた（回動した）状態１４０３であるとき、画像データと視聴者との位置が近づく領域１４０４と、画像データを視聴者の位置が遠ざかる領域１４０５とが生じる。画像データと視聴者の位置が近づく領域１４０４は、画像データが拡大されたとみなすことができ、光沢／陰影制御を抑制する。また、画像データと視聴者の位置が遠ざかる領域１４０５は、画像データが縮小されたとみなすことができ、光沢／陰影制御を強調する。

図１３Ｂは、光沢／陰影制御部１１２の一構成例を示す機能ブロック図である。第１の実施の形態の図１Ｂとの相違点は、図１Ｂの拡大縮小率算出部１１１に代えて、図１３Ｂでは、傾き角検出部１３０１と、検出結果である傾き角を入力とし、領域毎の拡大縮小率に変換する拡大縮小率変換部１１１ａを設けた点である。

すなわち、第２の実施の形態では、画像データ処理装置１０２が傾き角検出部１３０１から出力される傾き角を取得し、拡大縮小率算出部１１１において傾き角を拡大縮小率に変換する。傾き角検出部１３０１は、画像データ表示装置（表示部）１０３のオイラー角情報を検出するオイラー角情報検出部１３０１−１を有する。オイラー角情報検出部１３０１−１が検出するオイラー角情報は、図１５に示すように、表示装置のロール角１５０１、ピッチ角１５０２、ヨ−角１５０３で構成される。表示装置の縦向きのディスプレイ画面を正面から見る視点において、ロール角は表示装置のデバイス上部から下部方向への垂直方向の軸を中心とした回転角度、ピッチ角は表示装置のデバイス左右を通る水平の軸を中心とした回転角度、ピッチ角は表示装置のデバイス左右を通る水平方向の軸を中心とした回転角度、ヨ−角は表示装置のデバイス前面から背面へと通る軸を中心とした回転角度を表している。基本となる姿勢は表示装置のデバイス前面が上を向いた状態でデバイスと地面が水平になっている状態、つまり画面を上にして机などに置いた状態で、このときロール角とピッチ角の測定値が０付近を示す。ヨ−角については磁北や真北を０として設定する。

図１６は画像データ表示装置を横から見た図である。図１６は、表示装置のロール角が０度１６０１、ロール角が正の値１６０２、ロール角が負の値１６０３を表す。図１７は画像データ表示装置を上から見た図である。図１７は、ピッチ角が０度１７０１、ピッチ角が正の値１７０２、ピッチ角が負の値１７０３を表す。傾き角検出は継続的に行われ、検出された傾き角は電気信号として拡大縮小率算出部１１１へと出力される。

拡大縮小率算出部１１１のロール角／ピッチ角拡大縮小率変換部１１１−１では、ロール角φ、ピッチ角θを拡大縮小率に変換する。まず、ロール角がピッチ角よりも大きく（｜φ｜＞｜θ｜）、ロール角が正の値の場合について詳しく説明する。この場合、（式４）を用いて拡大縮小率Ｋを算出する。拡大縮小率はｙ軸の位置に応じて変化する。

ここで、画像データの縦解像度をＨ、画像中のｙ軸上の位置をｙとする。また、拡大縮小率の最大値Ｋ_ｍａｘと最小値Ｋ_ｍｉｎは、ロール角の値を用いて、（式５）と（式６）を用いて各々求める。

ここで、ロール角の最大値をφ_ｍａｘとする。ロール角の角度が大きくなるほど、拡大縮小率の最大値が大きく、最小値が小さくなり、光沢／陰影制御の効果が大きくなる。すなわち、ロール角が正の値の場合、ｙ軸上の位置が２／Ｈよりも小さい画素は、視聴者に近づいている、すなわち拡大されたとみなし、拡大縮小率Ｋを１以上に設定する。また、ｙ軸上の位置が２／Ｈよりも大きい画素は、視聴者から遠ざかっている、すなわち縮小されたとみなし、拡大縮小率Ｋを１以下に設定する。以上により、ロール角がピッチ角よりも大きく（｜φ｜＞｜θ｜）、ロール角が正の値の場合の拡大縮小率Ｋが算出される。

次に、ロール角がピッチ角よりも大きく（｜φ｜＞｜θ｜）、ロール角が負の値の場合について詳しく説明する。この場合、（式７）を用いて拡大縮小率Ｋを算出する。

拡大縮小率の最大値Ｋ_ｍａｘと最小値Ｋ_ｍｉｎは、（式５）と（式６）により算出する。以上により、ロール角がピッチ角よりも大きく（｜φ｜＞｜θ｜）、ロール角が負の値の場合の拡大縮小率Ｋが算出される。

次に、ロール角がピッチ角よりも小さく（｜φ｜＜｜θ｜）、ピッチ角が正の値の場合について詳しく説明する。この場合、（式８）を用いて拡大縮小率を算出する。拡大縮小率Ｋはｘ軸の位置に応じて変化する。

ここで、画像データの横解像度をＷ、画像中のｘ軸上の位置をｘとする。また、拡大縮小率の最大値Ｋ_ｍａｘと最小値Ｋ_ｍｉｎは、ピッチ角の値を用いて、（式９）と（式１０）を用いて各々求める。

ここで、ピッチ角の最大値をθ_ｍａｘとする。ピッチ角の角度が大きくなるほど、拡大縮小率の最大値が大きく、最小値が小さくなり、光沢及び陰影制御の効果が大きくなる。すなわち、ピッチ角が正の値の場合、ｘ軸上の位置がＷ／２よりも大きい画素は、視聴者に近づいている、すなわち拡大されたとみなし、拡大縮小率Ｋを１以上に設定する。また、ｘ軸上の位置が２／Ｈよりも小さい画素は、視聴者から遠ざかっている、すなわち縮小されたとみなし、拡大縮小率を１以下に設定する。以上により、ロール角がピッチ角よりも小さく（｜φ｜＜｜θ｜）、ピッチ角が正の値の場合の拡大縮小率Ｋが算出される。

次に、ロール角がピッチ角よりも小さく（｜φ｜＜｜θ｜）、ピッチ角が負の値の場合について詳しく説明する。この場合、（式１１）を用いて拡大縮小率を算出する。

拡大縮小率の最大値Ｋ_ｍａｘと最小値Ｋ_ｍｉｎは、（式９）と（式１０）により算出する。

以上により、ロール角がピッチ角よりも小さく（｜φ｜＜｜θ｜）、ピッチ角が負の値の場合の拡大縮小率Ｋが算出される。以上により、傾き角を拡大縮小率に変換する。このように表示装置が傾くことにより、視聴者に近づいている、すなわち拡大されているとみなされた領域は光沢／陰影を抑制し、視聴者から遠ざかっている、すなわち縮小されているとみなされる領域は、光沢／陰影を強調することで、好適な光沢及び陰影処理を行うことができる。

画像データ生成部１１３では、光沢／陰影制御後の画像データをそのまま表示部１０３に出力する。

本実施の形態における傾き角検出部１３０１は、傾きセンサーによって傾き角を取得したが、加速度センサーから得られる画像データ表示装置１００のα、β、γ方向の加速度を検出し、検出された加速度を画像データ表示装置１００のオイラー角に変換することで算出しても良い。

以上のように、画像データ処理装置１０２を備えた画像データ表示装置１００によれば、表示装置の傾き角を拡大縮小率に変換し、変換した拡大縮小率に応じて適切な光沢及び陰影処理を行うことができる。

なお、本発明は、上述した実施の形態によって限定的に解釈されるものではなく、特許請求の範囲に記載した事項の範囲内で、種々の変更が可能であり本発明の技術的範囲に含まれる。
尚、本発明の各構成要素は、任意に取捨選択が可能である。

本発明による画像データ処理装置で動作するプログラムは、本発明に関わる上記実施例の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）であっても良い。そして、これら装置で取り扱われる情報は、その処理時に一時的にＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に蓄積され、その後、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの各種ＲＯＭやＨＤＤに格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行われる。

また、図１の各構成の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、ＣＰＵなどが実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。

また、上述した実施例における画像データ処理装置の一部、または全部を典型的には集積回路であるＬＳＩとして実現してもよい。画像データ処理装置の各機能ブロックは個別にチップ化してもよいし、一部、または全部を集積してチップ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いることも可能である。

また、上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

（付記）
本発明は、以下の開示を含む。
（１）
画像データの拡大縮小指示を取得し、前記拡大縮小指示から前記画像データの拡大縮小率を算出する拡大縮小率算出部と、前記拡大縮小率に基づいて前記画像データの一部画像データを拡大または縮小する画像データ生成部と、を備える画像データ処理装置であって、
前記画像データから被写体表面の三次元形状を取得する被写体形状推定部と、
前記画像データと、前記三次元形状とに基づいて、被写体表面の光源からの入射光情報を取得する光源環境推定部と、
前記三次元形状と、前記入射光情報と、前記拡大縮小率とに基づいて、前記画像データの高輝度領域又は低輝度領域の少なくともいずれか一方の輝度値を制御する光沢／陰影制御部と、を備え、
前記光沢／陰影制御部は、
前記拡大縮小率に応じて、前記画像データの高輝度領域又は低輝度領域の少なくともいずれか一方の領域を強調または抑制する輝度補正を行う光沢／陰影輝度補正部を有することを特徴とする画像データ処理装置。
（２）
前記光沢／陰影制御部は、
前記拡大縮小率が１以上のとき、前記画像データの高輝度領域及び低輝度領域を強調する輝度補正を行い、
前記拡大縮小率が１以下のとき、前記画像データの高輝度領域及び低輝度領域を抑制する輝度補正を行うことを特徴とする（１）に記載の画像データ処理装置。
画像データの拡大縮小率に応じて、適切な画像の光沢及び陰影制御を行うことができる。

（３）
前記光沢／陰影制御部は、
前記拡大縮小率算出部からの出力を受けて法線ベクトルと光源ベクトルとの内積を演算する法線ベクトル／光源ベクトル内積演算部と、
前記法線ベクトル／光源ベクトル内積演算部の演算結果に基づいて、輝度値を求める内積結果判定部と、
前記内積結果判定部の判定結果に基づいて、光沢領域と陰影領域とを推定する光沢領域・陰影領域推定部と、
前記拡大縮小率算出部からの出力を受けて、光沢領域／陰影領域の輝度を補正する光沢陰影領域輝度補正部と、を有することを特徴とする（１）又は（２）に記載の画像データ処理装置。
（４）
前記画像データ生成部は、
前記拡大縮小率が１以上のとき、前記画像データ全体の縮小率を算出し、
前記拡大縮小率に基づいて前記画像データの高輝度領域又は低輝度領域の少なくともいずれか一方を抑制する輝度補正を行い、
輝度補正後の画像データの一部画像データを拡大した第１の画像データと、前記縮小率に基づいて前記画像データの高輝度領域又は低輝度領域の少なくともいずれか一方を強調する輝度補正を行い、前記輝度補正を行った後の画像データの一部画像データを縮小した第２の画像データと、を生成することを特徴とする（１）から（３）までのいずれか１に記載の画像データ処理装置。
拡大縮小率が１以上の場合でも、全体の画像を表示させることができる。

（５）
表示装置の傾き角を検出する傾き角検出部を備え、
前記拡大縮小率算出部が、
前記傾き角に基づいて、前記画像データの拡大縮小率を算出することを特徴とする（１）から（４）までのいずれか１に記載の画像データ処理装置。
表示装置の傾きに基づいて算出する拡大縮小率に基づいて、適切な画像の光沢及び陰影制御を行うことができる。

（６）
被写体を撮像する撮像部と、
前記撮像部で撮像された前記被写体の画像データを処理する（１）から（５）までのずれか１に記載の画像データ処理装置と、を備えることを特徴とする画像データ表示装置。
（７）
画像データの拡大縮小指示を取得し、前記拡大縮小指示から前記画像データの拡大縮小率を算出する拡大縮小率算出部と、前記拡大縮小率に基づいて前記画像データの一部画像データを拡大または縮小する画像データ生成部と、を備える画像データ処理装置を用いた画像データ処理方法あって、
前記画像データから被写体表面の三次元形状を取得する被写体形状推定ステップと、
前記画像データと、前記三次元形状とに基づいて、被写体表面の光源からの入射光情報を取得する光源環境推定ステップと、
前記三次元形状と、前記入射光情報と、前記拡大縮小率とに基づいて、前記画像データの高輝度領域又は低輝度領域の少なくともいずれか一方の輝度値を制御する光沢／陰影制御ステップと、を有し、
前記光沢／陰影制御ステップは、
前記拡大縮小率に応じて、前記画像データの高輝度領域又は低輝度領域の少なくともいずれか一方の領域を強調または抑制する輝度補正を行う光沢／陰影輝度補正ステップを有することを特徴とする画像データ処理方法。
（８）
コンピュータに（７）に記載の画像データ処理方法を実行させるためのプログラム。

Ａ…画像データ処理装置、１００…画像データ表示装置、１０１…入出力装置、１０２…画像データ処理装置、１０３…表示部、１０４…撮像部、１０５…送受信部、１０６…画像データ入出力部、１０７…記憶部、１０８…入出力部（操作部等）、１０９…被写体形状推定部、１１０…光源環境推定部、１１１…拡大縮小率算出部、１１２…光沢／陰影制御部、１１３…画像データ生成部、１０４…撮像部、１０５…送受信部、１０６…画像データ入出力部、１０７…記憶部、１０８…入出力部、１０９…被写体形状推定部、１１０…光源環境推定部、１１１…拡大縮小率算出部、１１２…光沢／陰影制御部、１１２−１…法線ベクトル／光源ベクトル内積演算部、１１２−２…内積結果判定部、１１２−３…光沢領域・陰影領域推定部、１１２−４…光沢陰影領域輝度補正部、１１３…画像データ生成部、１３０１…傾き角検出部。

本発明は、画像処理装置に利用可能である。

Claims (8)

1. 画像データの拡大縮小率に基づいて、前記画像データの高輝度領域及び低輝度領域の少なくとも一方の輝度値を制御する光沢／陰影制御部を備え、
   前記光沢／陰影制御部は、
   前記拡大縮小率が１より大きいとき、前記画像データの高輝度領域及び低輝度領域の少なくとも一方を抑制する輝度補正を行い、
   前記拡大縮小率が１より小さいとき、前記画像データの高輝度領域及び低輝度領域の少なくとも一方を強調する輝度補正を行う、
   ことを特徴とする画像データ処理装置。
2. 画像データから被写体表面の三次元形状を取得する被写体形状推定部と、
   前記画像データと、前記三次元形状とに基づいて、被写体表面の光源からの入射光情報を取得する光源環境推定部と、
   前記画像データの拡大縮小率に基づいて、前記画像データの高輝度領域及び低輝度領域の少なくとも一方の輝度値を制御する光沢／陰影制御部とを備え、
   前記光沢／陰影制御部は、
   法線ベクトルと光源ベクトルとの内積を演算する法線ベクトル／光源ベクトル内積演算部と、
   前記法線ベクトル／光源ベクトル内積演算部の演算結果に基づいて、輝度値を求める内積結果判定部と、
   前記内積結果判定部の判定結果に基づいて、光沢領域と陰影領域とを推定する光沢領域・陰影領域推定部と、
   光沢領域／陰影領域の輝度を補正する光沢陰影領域輝度補正部と、を有することを特徴とする画像データ処理装置。
3. 画像データの拡大縮小率に基づいて前記画像データの一部画像データを拡大または縮小する画像データ生成部を備える画像データ処理装置であって、
   前記拡大縮小率に基づいて、前記画像データの高輝度領域及び低輝度領域の少なくとも一方の輝度値を制御する光沢／陰影制御部を更に備え、
   前記光沢／陰影制御部は、
   前記拡大縮小率に応じて、前記画像データの高輝度領域及び低輝度領域の少なくとも一方の領域を強調または抑制する輝度補正を行う光沢／陰影輝度補正部を有し、
   前記画像データ生成部は、
   前記拡大縮小率が１より大きいとき、前記画像データ全体の縮小率を算出し、
   前記拡大縮小率に基づいて前記画像データの高輝度領域又は低輝度領域の少なくとも一方を抑制する輝度補正を行い、
   輝度補正後の画像データの一部画像データを拡大した第１の画像データと、前記縮小率に基づいて前記画像データの高輝度領域及び低輝度領域の少なくとも一方を強調する輝度補正を行い、前記輝度補正を行った後の画像データの一部画像データを縮小した第２の画像データと、を生成することを特徴とする画像データ処理装置。
4. 表示装置の傾き角を検出する傾き角検出部を更に備え、
   前記傾き角に基づいて、前記画像データの拡大縮小率が算出されることを特徴とする請求項１または２に記載の画像データ処理装置。
5. 前記拡大縮小率に基づいて前記画像データの一部画像データを拡大または縮小する画像データ生成部を更に備えていることを特徴とする請求項１または２に記載の画像データ処理装置。
6. 前記画像データから被写体表面の三次元形状を取得する被写体形状推定部と、
   前記画像データと、前記三次元形状とに基づいて、被写体表面の光源からの入射光情報を取得する光源環境推定部とを更に備えていることを特徴とする請求項１または３に記載の画像データ処理装置。
7. 前記画像データを取得する撮像部と、
   前記画像データの拡大縮小指示を受け付ける拡大縮小指示入力部と、
   前記光沢／陰影制御部によって輝度補正され、且つ、前記拡大縮小率に基づいて前記画像データの一部画像データが拡大または縮小された画像を表示する表示装置と、を更に備えていることを特徴とする請求項１から３までのいずれか１項に記載の画像データ処理装置。
8. 請求項１から７までの何れか１項に記載の画像データ処理装置としてコンピュータを機能させるための画像データ処理プログラムであって、前記光沢／陰影制御部としてコンピュータを機能させるための画像データ処理プログラム。

Images