JP2014222447A - 画像処理装置および方法 - Google Patents
画像処理装置および方法 Download PDFInfo
- Publication number
- JP2014222447A JP2014222447A JP2013102106A JP2013102106A JP2014222447A JP 2014222447 A JP2014222447 A JP 2014222447A JP 2013102106 A JP2013102106 A JP 2013102106A JP 2013102106 A JP2013102106 A JP 2013102106A JP 2014222447 A JP2014222447 A JP 2014222447A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- characteristic
- information
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/60—Shadow generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
【課題】実物がそこにあるような質感を再現することができるようにする。
【解決手段】特性情報統合部は、撮影環境情報解析部からの撮影時情報と、被写体特性解析部からの画像推定情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部に供給する。特性制御部は、被写体特性解析部からの物理特性パラメータに基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部は、決定した処理内容の情報を、画像合成部に供給し、画像合成部に質感制御を行わせる。本開示は、例えば、画像処理装置に適用することができる。
【選択図】図3
【解決手段】特性情報統合部は、撮影環境情報解析部からの撮影時情報と、被写体特性解析部からの画像推定情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部に供給する。特性制御部は、被写体特性解析部からの物理特性パラメータに基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部は、決定した処理内容の情報を、画像合成部に供給し、画像合成部に質感制御を行わせる。本開示は、例えば、画像処理装置に適用することができる。
【選択図】図3
Description
本開示は、画像処理装置および方法に関し、特に、実物がそこにあるような質感を再現することができるようにした画像処理装置および方法に関する。
映像のリアリティを高めることを目的に、コントラストや繊細感などを調整する技術が開発されてきた。
なお、特許文献1においては、画像中の物体の色補正や所望の色再現を実現して高画質化を図るといった技術が提案されている。
しかしながら、コントラストや繊細感などの基礎画質を高めるだけでは、性能に限界があった。そこで、例えば、被写体を実際に見たかのような状況を映像で再現するなどのように、実物がそこにあるような質感を再現することが求められている。
本開示は、このような状況に鑑みてなされたものであり、実物がそこにあるような質感を再現することができるものである。
本開示の一側面の画像処理装置は、画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部とを備える。
前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の反射特性の強弱を調整することができる。
前記反射特性情報は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報であり、前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の鏡面反射成分を強調することができる。
前記物理特性パラメータは、前記被写体の材質を示す情報であり、前記質感制御部は、前記被写体の材質の種類に応じて、前記画像における被写体の反射特性を調整することができる。
前記物理特性パラメータは、前記被写体の形状を示す情報であり、前記質感制御部は、前記被写体の形状に応じて、前記画像における被写体の陰影を強調することができる。
前記物理特性パラメータは、前記被写体の照明に関する情報であり、前記質感制御部は、前記照明に応じて、前記画像における被写体のコントラストを調整することができる。
前記物理特性パラメータは、前記被写体の画像を撮影する際に計測される特性情報である計測特性情報と、前記画像から推測される特性情報である推測特性情報とからなり、前記計測特性情報と前記推測特性情報とを統合して、統合された物理特性パラメータを生成する情報統合部をさらに備え、前記質感制御部は、前記情報統合部により統合された物理特性パラメータを用いて、前記画像における被写体の質感を制御することができる。
前記画像を視聴する環境の情報である視環境情報を取得する視環境情報取得部をさらに備え、前記質感制御部は、前記視環境情報取得部により取得された視環境情報を用いて、前記画像における被写体の質感を制御することができる。
前記物理特性パラメータ取得部は、前記被写体の画像を撮影する際に計測される前記物理特性パラメータを取得することができる。
前記物理特性パラメータ取得部は、前記画像から推測することにより前記物理特性パラメータを取得することができる。
本開示の一側面の画像処理方法は、画像処理装置が、画像の被写体に関する物理特性パラメータを取得し、取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する。
本開示の一側面においては、画像の被写体に関する物理特性パラメータが取得され、取得された物理特性パラメータを用いて、前記画像における被写体の質感が制御される。
本開示の一側面によれば、画像を処理することができる。特に、実物がそこにあるような質感を再現することができる。
以下、本開示を実施するための形態(以下実施の形態とする)について説明する。なお、説明は以下の順序で行う。
1.本技術の概要
2.第1の実施の形態
3.第2の実施の形態
4.第3の実施の形態
5.第4の実施の形態
6.第5の実施の形態
7.第6の実施の形態
8.第7の実施の形態
9.第8の実施の形態
10.第9の実施の形態
1.本技術の概要
2.第1の実施の形態
3.第2の実施の形態
4.第3の実施の形態
5.第4の実施の形態
6.第5の実施の形態
7.第6の実施の形態
8.第7の実施の形態
9.第8の実施の形態
10.第9の実施の形態
<1. 本技術の概要>
[本技術のコンセプト]
図1を参照して、本技術のコンセプトについて説明する。本技術は、画像における物体の質感を向上させるようにするものである。
[本技術のコンセプト]
図1を参照して、本技術のコンセプトについて説明する。本技術は、画像における物体の質感を向上させるようにするものである。
実世界において、人間が目に感じるもの、すなわち、光がどういう形で目に入ってくるかという物理的情報(Material imformation)が根本的に必要な情報である。これらの物理的情報は、例えば、太陽光(照明: lighting)、物体の形状(geometry)、物体の反射成分(reflectance)などであり、これらの物理的情報があれば、理論的には、光を再現することができる。
これらの物理的情報は、カメラのセンサに入るので、画像(2DImage)から抽出される情報(画像統計量、拡散/鏡面反射成分、撮影時の照明情報)を基に、被写体の特性情報(被写体の領域情報や認識情報)として推定し、取得することができる。
なお、画像から情報を抽出する処理は、光の特性を考慮した処理であり、それを被写体の特性情報として推定する処理は、オブジェクト(被写体)ベースの処理である。
したがって、本技術においては、画像から抽出される情報を、被写体の特性情報として利用して、画像における被写体(の表面)の質感を制御する。また、その制御の際、実世界から計測されて取得される物理的情報を利用することも可能である。
さらに、画像における被写体の質感は、これらの物理的情報だけでなく、実際には、見ている環境の情報(視環境の照明情報)と人間がどう感じているかという情報(知覚:hyperacuity)にも関連してくる。したがって、本技術においては、これらの物理的情報を利用するだけでなく、見ている環境の情報(視環境の照明情報)と人間がどう感じているかという情報を利用した形で、画像における被写体の質感を制御し、再度画像を作り直す。
このように、本技術においては、画像における被写体の質感が制御される。ここで、本明細書において、質感とは、材料のもつ性質(物理的要因)に対して生じる人間の心理的感覚(心理的要因)のことである。
すなわち、本明細書において、質感は、物理的要因である被写体の物理特性を表すパラメータと、心理的要因である被写体の認知感度を表すパラメータとを有するものであると定義される。
したがって、本明細書における質感制御とは、上述した物理的要因および心理的要因のパラメータを制御するということを意味する。なお、以下、質感制御の際に、物理的要因のパラメータである物理特性パラメータが制御されるとしか記載しないが、実際には、その際には、心理的要因のパラメータである被写体の認知感度を表すパラメータも制御されている。
[本技術の質感制御方法]
次に、図2を参照して、本技術の質感制御方法について説明する。
次に、図2を参照して、本技術の質感制御方法について説明する。
まず、実世界の被写体が撮影されて、被写体の画像が計測・推測ブロック1に入力される。計測・推測ブロック1において、被写体の物理特性を示す物理特性パラメータは、被写体の撮影時に実世界から計測されて取得される。あるいは、計測・推測ブロック1において、被写体の物理特性を示す物理特性パラメータは、入力された被写体の画像から推測されて、取得される。例えば、物理特性パラメータとして、上述した照明、被写体の構造や反射特性が取得される。
取得された被写体の物理特性パラメータは、実世界モデリングブロック2において、モデリングされる。モデリングされた被写体の物理特性パラメータは、質感制御ブロック3に入力される。
質感制御ブロック3においては、画像における被写体の質感が、モデリングされた被写体の物理特性パラメータや画像から得られる特徴量(テクスチャ)に応じて制御される。質感制御の一例としては、例えば、反射しやすいように、物理特性パラメータを変える。これにより、被写体の光学的特性が最適化される。また、例えば、テクスチャの足りない部分があれば、それを適切に復元する。すなわち、質感制御ブロック3においては、質感制御として、見た目の光沢感や透明感が上がるように、これらの物理特性パラメータが変更(制御)される。
レンダリング・レタッチブロック4においては、質感が制御された結果(変更されたパラメータ)に応じて、画像を再構成するために、画像が再合成(レンダリング)され、画質が微調整された結果の画像が出力される。
以上の処理により、本技術によれば、入力画像が実際の見た目と違うような場合に、例えば、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、被写体を実際に見たときの状況を映像で再現することができる。
[画像処理装置の構成例]
図3は、本開示を適用した画像処理装置の一実施の形態の構成を表すブロック図である。
図3は、本開示を適用した画像処理装置の一実施の形態の構成を表すブロック図である。
図3に示される画像処理装置11は、上述したように、実世界の被写体が撮影されて入力された画像における被写体に関する物理特性パラメータが取得され、画像における被写体の質感を制御し、被写体の質感が制御された画像を出力する。
画像処理装置11は、撮影環境情報取得部21、撮影環境情報解析部22、被写体特性解析部23、特性情報統合部24、視環境情報解析部25、特性制御部26、および画像合成部27を含むように構成されている。
撮影環境情報取得部21、撮影環境情報解析部22、および被写体特性解析部23は、図2の計測・推測ブロック1に対応している。特性情報統合部24は、図2の実世界モデリングブロック2に対応している。特性制御部26は、図2の質感制御ブロック3に対応している。画像合成部27は、レンダリング・レタッチブロック4に対応している。
撮影環境情報取得部21は、被写体の画像の撮影し、被写体の画像を入力し、入力した入力画像を、被写体特性解析部23および画像合成部27に供給する。また、撮影環境情報取得部21は、被写体の画像の撮影時に、環境や被写体の撮影時情報を取得し、取得した撮影時情報を、撮影環境情報解析部22に供給する。
撮影環境情報解析部22は、撮影環境情報取得部21からの撮影時に取得された撮影時情報を解析し、解析した撮影時情報を、特性情報統合部24に供給する。
被写体特性解析部23は、撮影環境情報取得部21からの入力画像から、被写体の特性を推定して解析し、解析した画像推定情報を、特性情報統合部24に供給する。被写体特性解析部23においては、撮影時情報として撮影時に取得できなかった細かい(例えば、サンプリングレートの高い)部分の情報を、画像から推定することで取得することができる。
特性情報統合部24は、撮影環境情報解析部22からの撮影時情報と、被写体特性解析部23からの画像推定情報とを統合し、被写体に関する物理特性パラメータとして、特性制御部26に供給する。
視環境情報解析部25は、画像を視聴する際の環境である視環境の情報を取得し、解析する。視環境情報解析部25は、解析した視環境情報を、視環境パラメータとして、特性制御部26に供給する。
特性制御部26は、制御パラメータとして、特性情報統合部24からの被写体に関する物理特性パラメータと、視環境情報解析部25からの視環境パラメータとを用いる。具体的には、例えば、特性制御部26は、特性情報統合部24からの物理特性パラメータに基づいて、画質を変えたり、反射特性を調整したり、形状を変えたりなど、質感を制御するための処理内容を決定する。特性制御部26は、決定した処理内容の情報を、画像合成部27に供給し、画像合成部27に質感制御を行わせる。さらに、特性制御部26は、視環境パラメータに応じて、画像合成部27に質感制御を行わせ、質感制御を最適化する。
画像合成部27は、特性制御部26の制御のもと、撮影環境情報取得部21からの入力画像を再合成(レンダリング)して、調整して、再合成結果を出力画像として出力する。
[制御パラメータと処理内容]
図4は、特性制御部26において参照される制御パラメータとそれにより決定される質感制御の処理内容の例を示す図である。
図4は、特性制御部26において参照される制御パラメータとそれにより決定される質感制御の処理内容の例を示す図である。
制御パラメータは、撮影環境情報解析部22からの撮影時情報と被写体特性解析部23からの画像推定情報とが統合された被写体に関する物理特性パラメータ、および視環境情報解析部25からの視環境パラメータとで構成されている。
被写体に関する物理特性パラメータは、被写体の奥行き・形状情報、撮影時の照明情報、被写体の材質情報、および被写体の反射特性情報を含むように構成されている。なお、撮影時の照明情報も、被写体の色などに影響し、被写体に関わる、あるいは被写体の背景に関わる情報であるといえるので、被写体に関する物理特性パラメータに含まれる。
視環境パラメータは、視環境光情報、視聴時間、および注目被写体(視線)情報を含むように構成されている。
上から順に説明するに、奥行き・形状情報が凸凹な密な形状であることを示す場合、処理内容として、陰影(self shadow)強調を行うことが決定される。照明情報が照明色を示す場合、処理内容として、その照明色に応じたホワイトバランス調整を行うことが決定される。
照明情報が背景の絶対輝度が高いことを示し、視環境光情報が明るいことを示す場合、処理内容として、明度関数をもとにコントラスト調整を行うことが決定される。照明情報が背景の絶対輝度が低いことを示し、視環境光情報が明るいことを示す場合、処理内容として、明度関数をもとにコントラストを高くすることが決定される。
照明情報が背景の絶対輝度が高いことを示し、視環境光情報が暗いことを示す場合、処理内容として、明度関数をもとにコントラストを低くすることが決定される。照明情報が背景の絶対輝度が低いことを示し、視環境光情報、暗いことを示す場合、処理内容として、明度関数をもとにコントラストの調整を行うことが決定される。
奥行き・形状情報が疎な形状であることを示し、照明情報が照明方向を示す場合、処理内容として、陰影(cast shadow)強調を行うことが決定される。
反射特性情報が、鏡面反射成分が強いことを示す場合、処理内容として、鏡面反射成分を強調して合成することが決定される。反射特性情報が、拡散反射成分が強いことを示す場合、処理内容として、拡散反射成分を弱めて、鏡面反射成分を強調することが決定される。なお、反射特性情報から、物体の材質の情報を推定することは可能である。画像から、金属であるかとか、布であるのかなど、材質の情報を推定することも可能である。
したがって、材質情報が材質の種類を示す場合、処理内容として、材質の種類に応じて反射特性を制御することが決定される。または、材質情報が材質の種類を示す場合、処理内容として、材質の種類に応じてテクスチャを復元することが決定される。
材質情報が、金属であることを示す場合、処理内容として、鏡面反射成分を強調することが決定される。材質情報が、木材であることを示す場合、処理内容として、鏡面反射成分を低減することが決定される。
視環境が明るいことを示す場合、処理内容として、明度関数を基に明るく表示することが決定される。視環境が暗いことを示す場合、処理内容として、明度関数を基に暗く表示することが決定される。
注目被写体(視線)情報が注目被写体の対象領域であることを示す場合、処理内容として、上記の制御を適用することが決定される。注目被写体(視線)情報が注目被写体の非対象領域であることを示す場合、処理内容として、上記の制御を適用しないことが決定される。また、他の処理内容としては、注目被写体(視線)情報が、注目被写体の非対象領域であることを示す場合、フォーカスをぼかすことが決定される。例えば、ビジュアルアテンションなどの情報も利用可能である。
視聴時間が短いことを示す場合、処理内容として、通常の処理が行われることが決定される。視聴時間が長いことを示す場合、処理内容として、徐々に暗めに表示し、また、処理内容を弱めることが決定される。
なお、視環境情報としては、表示デバイスの特性情報も考慮することができる。
以下、上述した処理内容に対応する具体的な構成例や処理例について説明していく。
<2.第1の実施の形態>
[画像処理装置の構成例]
図5は、本開示を適用した画像処理装置の第1の実施の形態の構成を表している。図5の例においては、画像から反射特性を推定してそれを質感制御に用いて、光り具合を変更する画像処理装置の構成が示されている。
[画像処理装置の構成例]
図5は、本開示を適用した画像処理装置の第1の実施の形態の構成を表している。図5の例においては、画像から反射特性を推定してそれを質感制御に用いて、光り具合を変更する画像処理装置の構成が示されている。
図5に示される画像処理装置51は、被写体特性解析部23および画像合成部27を備える点が、図3の画像処理装置11と共通している。
画像処理装置51は、撮影環境情報取得部21、撮影環境情報解析部22、特性情報統合部24、および視環境情報解析部25が除かれた点が、図3の画像処理装置11と異なっている。また、画像処理装置51は、特性制御部26が、特性制御部61と入れ替わった点が、図3の画像処理装置11と異なっている。
すなわち、図示せぬ前段のカメラからの入力画像は、被写体特性解析部23および画像合成部27に供給される。
被写体特性解析部23は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。被写体特性解析部23は、解析した被写体の反射特性を、物理特性パラメータとして、特性制御部61に供給する。
特性制御部61は、被写体特性解析部23からの物理特性パラメータを、制御パラメータとし、制御パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部61は、制御パラメータとして、例えば、被写体の反射特性に基づいて、照り返しが多い場合の鏡面反射成分や、全体のバランスを考慮する。そして、特性制御部61は、考慮の結果、照り返しのあまりない場合の拡散反射成分も調整する質感制御の処理内容を決定し、決定した質感制御を、画像合成部27に行わせる。
[画像処理の例]
次に、図6のフローチャートを参照して、図5の画像処理装置51の画像処理について説明する。
次に、図6のフローチャートを参照して、図5の画像処理装置51の画像処理について説明する。
ステップS51において、図示せぬ前段のカメラは、画像を撮影する。図示せぬ前段のカメラからの入力画像は、被写体特性解析部23および画像合成部27に供給される。
ステップS52において、被写体特性解析部23は、供給された入力画像から、被写体の特性を推定する推定処理を行う。この推定処理は、図7を参照して後述される。ステップS52の処理により、推定された物理特性パラメータである被写体の反射特性が、特性制御部61に供給される。
ステップS53において、特性制御部61は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図8を参照して後述される。ステップS53の処理により、反射特性に基づく質感制御の処理内容が決定される。
ステップS54において、画像合成部27は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図6の例の場合、画像の反射特性の調整により、被写体の画像の質感が制御される。
この再合成処理は、逐次、画素毎に行われてもよいし、ピクチャが揃ってから画素毎に行われてもよい。なお、処理の単位については、以下においても同様である。
次に、図7のフローチャートを参照して、図6のステップS52の推定処理について説明する。
ステップS71において、被写体特性解析部23は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部23は、撮影環境光の情報を、特性制御部61に供給する。
ステップS72において、特性制御部61は、画像合成部27に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図6のステップS53における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。
ステップS73において、被写体特性解析部23は、被写体の反射特性を推定して、解析し、解析した反射特性の情報を、特性制御部61に供給する。
ステップS74において、被写体特性解析部23は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性制御部61に供給する。
以上のようにして、入力画像から被写体の特性である撮影環境光や被写体の反射特性、形状などが推定される。
次に、図8のフローチャートを参照して、図6のステップS53の反射特性調整処理について説明する。
ステップS91において、特性制御部61は、被写体特性解析部23からの被写体の反射特性の情報に基づいて、鏡面反射成分が大きいか否かを判定する。ステップS91において、鏡面反射成分が大きいと判定された場合、処理は、ステップS92に進む。
ステップS92において、特性制御部61は、質感制御として、照り返しがあることを示す鏡面反射成分を強調させるように決定する。ステップS91において、鏡面反射成分が小さいと判定された場合、処理は、ステップS93に進む。
特性制御部61は、ステップS93において、拡散反射成分が大きいか否かを判定する。ステップS93において、拡散反射成分が大きいと判定された場合、処理は、ステップS94に進む。この場合、白っぽい物体である可能性があるので、ステップS94において、特性制御部61は、質感制御として、拡散反射成分を低減させるように決定する。
ステップS93において、拡散反射成分が小さいと判定された場合、処理は、ステップS95に進む。ステップS95において、特性制御部61は、全画素について反射特性の調整が終了したか否かを判定する。
ステップS95において、全画素について反射特性の調整が終了したと判定された場合、反射特性調整処理は終了する。ステップS95において、全画素についてまだ反射特性の調整が終了していないと判定された場合、ステップS91に戻り、それ以降の処理が繰り返される。
なお、図8の例においては、鏡面反射だけ高めると画像のレンジを超えてしまう場合があるので、拡散反射も調整しながら、反射特性の調整が行われている。
以上のように、画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。
<3.第2の実施の形態>
[画像処理装置の構成例]
図9は、本開示を適用した画像処理装置の第2の実施の形態の構成を表している。図9の例においては、画像から推定される反射特性に加え、視環境の情報を質感制御に用いて、光り具合を変更する画像処理装置の構成が示されている。
[画像処理装置の構成例]
図9は、本開示を適用した画像処理装置の第2の実施の形態の構成を表している。図9の例においては、画像から推定される反射特性に加え、視環境の情報を質感制御に用いて、光り具合を変更する画像処理装置の構成が示されている。
図9に示される画像処理装置101は、被写体特性解析部23、視環境情報解析部25、および画像合成部27を備える点が、図3の画像処理装置11と共通している。
画像処理装置101は、撮影環境情報取得部21、撮影環境情報解析部22、および特性情報統合部24が除かれた点が、図3の画像処理装置11と異なっている。また、画像処理装置101は、特性制御部26が、特性制御部111と入れ替わった点が、図3の画像処理装置11と異なっている。
すなわち、図示せぬ前段のカメラからの入力画像は、被写体特性解析部23および画像合成部27に供給される。
被写体特性解析部23は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。また、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され解析される。被写体特性解析部23は、解析した被写体の特性を、物理特性パラメータとして、特性制御部111に供給する。
視環境情報解析部25は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。視環境情報解析部25は、解析した視環境光の情報を、視環境パラメータとして、特性制御部111に供給する。
特性制御部111は、被写体特性解析部23からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部111は、物理特性パラメータとして、例えば、被写体の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部27に行わせる。
また、特性制御部111は、視環境情報解析部25からの視環境パラメータに応じて、画像合成部27に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部111は、視環境パラメータとして、例えば、視聴時の照明光(視環境光)に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部27に行わせる。
図10は、輝度と主観的な明るさの関係を示す図である。
図10の例においては、横軸が視環境光の輝度(右にいくほど明るい)を示しており、縦軸が、人が感じる明るさや暗さを示している。
例えば、人が200cd/m2の視環境で、314cdm2の画像を見ると、暗いと明るいの中間あたりの明るさだと人は感じる。例えば、人が500cd/m2の視環境で、314cdm2の画像を見ると、200cd/m2の場合よりも明るく感じてしまう。
このように、質感向上には、視聴時の照明光の影響を受けることがわかる。また、図10より、質感向上には、黒の再現性が重要なこともわかる。以上のことから、画像処理装置101においては、この視環境の情報も、質感制御に用いられる。
[画像処理の例]
次に、図11のフローチャートを参照して、図9の画像処理装置101の画像処理について説明する。
次に、図11のフローチャートを参照して、図9の画像処理装置101の画像処理について説明する。
ステップS111において、図示せぬ前段のカメラは、画像を撮影する。図示せぬ前段のカメラからの入力画像は、被写体特性解析部23および画像合成部27に供給される。
ステップS112において、被写体特性解析部23は、供給された入力画像から、被写体の特性を推定する推定処理を行う。この推定処理は、図7を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップS112の処理により、推定された物理特性パラメータである被写体の反射特性が、特性制御部111に供給される。なお、図7の例では推定されていないが、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され、特性制御部111に供給される。
ステップS113において、視環境情報解析部25および特性制御部111は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図12を参照して後述される。ステップS113の処理により、視環境情報に基づく質感制御の処理内容が決定される。
また、ステップS114において、特性制御部111は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図8を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップS114の処理により、反射特性に基づく質感制御の処理内容が決定される。
ステップS115において、画像合成部27は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図11の例の場合、視環境光のコントラスト調整および画像の反射特性の調整により、被写体の画像の質感が制御される。
次に、図12のフローチャートを参照して、図11のステップS113の視環境情報に基づく処理について説明する。
ステップS131において、視環境情報解析部25は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。視環境情報解析部25は、解析した視環境光の情報を、視環境パラメータとして、特性制御部111に供給する。
特性制御部111には、被写体特性解析部23から撮影時の画像の絶対輝度情報も推定され、特性制御部111に供給されている。ステップS132において、特性制御部111は、撮影時の対象画素の絶対輝度が所定の輝度値より高いか否かを判定する。ステップS132において、撮影時の対象画素の絶対輝度が高いと判定された場合、処理は、ステップS133に進む。
ステップS133において、特性制御部111は、視環境情報解析部25からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。ステップS133において、視環境光が明るいと判定された場合、処理は、ステップS134に進む。この場合、暗く見える可能性があるので、ステップS134において、特性制御部111は、画像合成部27を制御し、質感制御として、コントラスト調整値を高めに設定させる。
ステップS133において、視環境光が暗いと判定された場合、ステップS134はスキップされ、処理は、ステップS137に進む。
ステップS132において、撮影時の対象画素の絶対輝度が低いと判定された場合、処理は、ステップS135に進む。ステップS135において、特性制御部111は、視環境情報解析部25からの視環境パラメータを参照し、視環境光が所定の値より明るいか否かを判定する。
ステップS135において、視環境光が暗いと判定された場合、処理は、ステップS136に進む。ステップS136において、特性制御部111は、画像合成部27を制御し、質感制御として、コントラスト調整値を低めに設定させる。
ステップS135において、視環境光が明るいと判定された場合、ステップS136はスキップされ、処理は、ステップS137に進む。
ステップS137において、特性制御部111は、全画素について反射特性の調整が終了したか否かを判定する。
ステップS137において、全画素について処理が終了したと判定された場合、視環境情報に基づく処理は終了する。ステップS137において、全画素についてまだ処理が終了していないと判定された場合、ステップS132に戻り、それ以降の処理が繰り返される。
以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。
<4.第3の実施の形態>
[画像処理装置の構成例]
図13は、本開示を適用した画像処理装置の第3の実施の形態の構成を表している。図13の例においては、画像から推定される反射特性および視環境の情報に加え、視線情報を質感制御に用いる画像処理装置の構成が示されている。
[画像処理装置の構成例]
図13は、本開示を適用した画像処理装置の第3の実施の形態の構成を表している。図13の例においては、画像から推定される反射特性および視環境の情報に加え、視線情報を質感制御に用いる画像処理装置の構成が示されている。
図13に示される画像処理装置151は、被写体特性解析部23、視環境情報解析部25、および画像合成部27を備える点が、図3の画像処理装置11と共通している。
画像処理装置151は、撮影環境情報取得部21、撮影環境情報解析部22、および特性情報統合部24が除かれた点が、図3の画像処理装置11と異なっている。また、画像処理装置151は、特性制御部26が、特性制御部161と入れ替わった点が、図3の画像処理装置11と異なっている。
すなわち、図示せぬ前段のカメラからの入力画像は、被写体特性解析部23および画像合成部27に供給される。
被写体特性解析部23は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。また、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され解析される。被写体特性解析部23は、解析した被写体の特性を、物理特性パラメータとして、特性制御部161に供給する。
視環境情報解析部25は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。また、視環境情報解析部25は、視環境の情報として、例えば、視覚特性(コントラスト感度関数 (Contrast Sensitivity Function; CSF))や注目被写体、または視線などの情報を取得し解析する。視環境情報解析部25は、解析した視環境の情報を、視環境パラメータとして、特性制御部161に供給する。
特性制御部161は、被写体特性解析部23からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部161は、物理特性パラメータとして、例えば、被写体の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部27に行わせる。
特性制御部161は、視環境情報解析部25からの視環境パラメータに応じて、画像合成部27に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部161は、視環境パラメータとして、例えば、視聴時の照明光(視環境光)に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部27に行わせる。また、特性制御部161は、視環境パラメータとして、例えば、視線情報に応じて画質調整値を調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部27に行わせる。
[画像処理の例]
次に、図14のフローチャートを参照して、図13の画像処理装置151の画像処理について説明する。
次に、図14のフローチャートを参照して、図13の画像処理装置151の画像処理について説明する。
ステップS151において、図示せぬ前段のカメラは、画像を撮影する。図示せぬ前段のカメラからの入力画像は、被写体特性解析部23および画像合成部27に供給される。
ステップS152において、被写体特性解析部23は、供給された入力画像から、被写体の特性を推定する推定処理を行う。この推定処理は、図7を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップS152の処理により、推定された物理特性パラメータである被写体の反射特性が、特性制御部161に供給される。なお、図7の例では推定されていないが、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され、特性制御部161に供給される。
ステップS153において、視環境情報解析部25および特性制御部161は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図12を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップS153の処理により、視環境情報に基づく質感制御の処理内容が決定される。
ステップS154において、特性制御部161は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図8を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップS154の処理により、反射特性に基づく質感制御の処理内容が決定される。
さらに、ステップS155において、視環境情報解析部25および特性制御部161は、視線情報に基づく処理を行う。この視線情報に基づく処理は、図15を参照して後述される。ステップS155の処理により、視線情報に基づく質感制御の処理内容が決定される。
ステップS156において、画像合成部27は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図14の例の場合、視環境光のコントラスト調整、画像の反射特性の調整、および視線情報による調整値の再設定により、被写体の画像の質感が制御される。
次に、図15のフローチャートを参照して、図14のステップS155の視線情報に基づく処理について説明する。
ステップS171において、視環境情報解析部25は、視環境の情報として、例えば、注目被写体情報、または視線情報を取得し、解析する。視環境情報解析部25は、解析した視環境の情報を、視環境パラメータとして、特性制御部161に供給する。
ステップS172において、特性制御部161は、対象画素が、注目被写体領域であるかまたは視線対象領域であるか否かを判定する。ステップS172において、注目被写体領域であるかまたは視線対象領域であると判定された場合、処理は、ステップS173に進む。
ステップS173において、特性制御部161は、画像合成部27を制御し、質感制御として、これまでの処理(すなわち、視環境情報、反射特性、視線情報に基づく処理)の画質調整値を弱めに再設定させる。
ステップS172において、対象画素が、注目被写体領域でも視線対象領域でもないと判定された場合、ステップS173はスキップされ、処理は、ステップS174に進む。
ステップS174において、特性制御部161は、全画素について処理が終了したか否かを判定する。
ステップS174において、全画素について処理が終了したと判定された場合、視線情報に基づく処理は終了する。ステップS174において、全画素についてまだ処理が終了していないと判定された場合、ステップS172に戻り、それ以降の処理が繰り返される。
以上のように、視環境によるコントラスト調整および画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。
<5.第4の実施の形態>
[画像処理装置の構成例]
図16は、本開示を適用した画像処理装置の第4の実施の形態の構成を表している。図16の例においては、画像から推定される物理特性パラメータだけでなく、撮影時に取得される物理特性パラメータも、質感制御に用いる画像処理装置の構成が示されている。
[画像処理装置の構成例]
図16は、本開示を適用した画像処理装置の第4の実施の形態の構成を表している。図16の例においては、画像から推定される物理特性パラメータだけでなく、撮影時に取得される物理特性パラメータも、質感制御に用いる画像処理装置の構成が示されている。
図16に示される画像処理装置201は、撮影環境情報取得部21、撮影環境情報解析部22、被写体特性解析部23、視環境情報解析部25、および画像合成部27を備える点が、図3の画像処理装置11と共通している。
画像処理装置201は、特性情報統合部24が除かれた点が、図3の画像処理装置11と異なっている。また、画像処理装置201は、特性制御部26が、特性制御部211と入れ替わった点が、図3の画像処理装置11と異なっている。
すなわち、撮影環境情報取得部21は、被写体の画像の撮影し、被写体の画像を入力し、入力した入力画像を、被写体特性解析部23および画像合成部27に供給する。また、撮影環境情報取得部21は、被写体の画像の撮影時に、環境や被写体の撮影時情報を取得し、取得した撮影時情報を、撮影環境情報解析部22に供給する。
撮影環境情報解析部22は、撮影環境情報取得部21からの撮影時に取得された撮影時情報を解析し、解析した撮影時情報を、物理特性パラメータとして、特性制御部211に供給する。
被写体特性解析部23は、供給された入力画像から、被写体の特性として、例えば、被写体の反射特性を推定して解析する。また、例えば、被写体の特性として、撮影時の画像の絶対輝度情報も推定され解析される。被写体特性解析部23は、解析した被写体の特性を、物理特性パラメータとして、特性制御部211に供給する。
視環境情報解析部25は、画像を視聴する際の環境である視環境の情報として、例えば、視環境光の情報を取得し、解析する。
特性制御部211は、被写体特性解析部23からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。その際、特性制御部211は、撮影環境情報解析部22からの撮影時に取得された物理特性パラメータも参照して、処理内容を決定する。なお、撮影環境情報解析部22および被写体特性解析部23のうち、少なくとも一方の物理特性パラメータが参照されればよい。例えば、そのうちの信頼性の高いパラメータが用いられる。
具体的には、特性制御部211は、物理特性パラメータとして、例えば、被写体の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部27に行わせる。
特性制御部211は、視環境情報解析部25からの視環境パラメータに応じて、画像合成部27に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部211は、視環境パラメータとして、例えば、視聴時の照明光(視環境光)に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部27に行わせる。
[画像処理の例]
次に、図17のフローチャートを参照して、図16の画像処理装置201の画像処理について説明する。
次に、図17のフローチャートを参照して、図16の画像処理装置201の画像処理について説明する。
ステップS201において、撮影環境情報取得部21は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部21は、入力した入力画像を、被写体特性解析部23および画像合成部27に供給する。
ステップS202において、撮影環境情報取得部21、撮影環境情報解析部22、および被写体特性解析部23は、計測・推定処理を行う。この計測・推定処理は、図18を参照して後述される。ステップS202の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ(被写体の反射特性、撮影環境光、および被写体形状など)とが、特性制御部211に供給される。
ステップS203において、視環境情報解析部25および特性制御部211は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図12を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップS203の処理により、視環境情報に基づく質感制御の処理内容が決定される。
ステップS204において、特性制御部211は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図8を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。なお、このとき、参照される反射特性は、計測されたものと推定されたものの少なくともどちらか一方である。ステップS204の処理により、反射特性に基づく質感制御の処理内容が決定される。
ステップS205において、画像合成部27は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図17の例の場合、計測または測定された視環境光のコントラスト調整、および画像の反射特性の調整により、被写体の画像の質感が制御される。
次に、図18のフローチャートを参照して、図17のステップS202の計測・推定処理について説明する。
ステップS221において、撮影環境情報取得部21は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部22に供給する。撮影環境情報解析部22は、撮影環境情報取得部21からの撮影環境光を解析し、解析した結果、撮影環境光の情報を、物理特性パラメータとして、特性制御部211に供給する。
ステップS222において、撮影環境情報取得部21は、被写体の反射特性を計測し、計測した被写体の反射特性を、撮影環境情報解析部22に供給する。撮影環境情報解析部22は、撮影環境情報取得部21からの被写体の反射特性を解析し、解析した被写体の反射特性を、物理特性パラメータとして、特性制御部211に供給する。
ステップS223において、撮影環境情報取得部21は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部22に供給する。撮影環境情報解析部22は、撮影環境情報取得部21からの被写体形状を解析し、解析した被写体形状を、物理特性パラメータとして、特性制御部211に供給する。
ステップS224において、被写体特性解析部23は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部23は、照明光の情報を、特性制御部211に供給する。
ステップS225において、特性制御部211は、画像合成部27に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図17のステップS204における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。
ステップS226において、被写体特性解析部23は、被写体の反射特性を推定して、解析し、解析した反射特性の情報を、特性制御部211に供給する。
ステップS227において、被写体特性解析部23は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性制御部211に供給する。
以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状などが計測され、また、入力画像から被写体の特性である照明光や被写体の反射特性、形状などが推定される。
<6.第5の実施の形態>
[画像処理装置の構成例]
図19は、本開示を適用した画像処理装置の第5の実施の形態の構成を表している。図19の例においては、画像から推定される物理特性パラメータと、撮影時に取得される物理特性パラメータとを統合したのち、質感制御に用いる画像処理装置の構成が示されている。
[画像処理装置の構成例]
図19は、本開示を適用した画像処理装置の第5の実施の形態の構成を表している。図19の例においては、画像から推定される物理特性パラメータと、撮影時に取得される物理特性パラメータとを統合したのち、質感制御に用いる画像処理装置の構成が示されている。
図19に示される画像処理装置251は、撮影環境情報取得部21、撮影環境情報解析部22、被写体特性解析部23、視環境情報解析部25、特性情報統合部24、および画像合成部27を備える点が、図3の画像処理装置11と共通している。
画像処理装置251は、特性制御部26が、特性制御部261と入れ替わった点が、図3の画像処理装置11と異なっている。
すなわち、撮影環境情報解析部22は、解析した撮影時情報を、特性情報統合部24に供給する。被写体特性解析部23は、解析した被写体の特性(画像推定情報)を、特性情報統合部24に供給する。
特性情報統合部24は、撮影環境情報解析部22からの撮影時情報と、被写体特性解析部23からの画像推定情報とを信頼度に基づいて統合し、被写体に関する物理特性パラメータとして、特性制御部261に供給する。
特性制御部261は、特性情報統合部24からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部261は、物理特性パラメータとして、例えば、被写体の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部27に行わせる。
特性制御部261は、視環境情報解析部25からの視環境パラメータに応じて、画像合成部27に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部261は、視環境パラメータとして、例えば、視聴時の照明光(視環境光)に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部27に行わせる。
図20は、特性情報統合部24による統合方法の例を示す図である。特性情報統合部24は、例えば、図20に示されるように、撮影環境情報解析部22からの撮影時情報と、被写体特性解析部23からの画像推定情報とを統合する。
例えば、画像から推定されたdepth mapにおける座標(i,j)の奥行きd1(i,j)と、撮影時に計測されたdepth mapにおける座標(i,j)の奥行きd2(i,j)を加算することで、統合されたdepth mapにおける座標(i,j)の奥行きd0(i,j)を算出する。
例えば、分散値が高いほど、推定結果が安定していないと考えられ、次の式(2)に示されるように、奥行き情報の信頼度が低いとみなせる分散値に応じてd1およびd2の情報を加算することで、最終結果の奥行き情報d0を得ることができる。
なお、図20の統合方法は、一例であり、他の統合方法により統合を行ってもよい。また、図20の例においては、depth情報を例に説明したが、他の特性情報も同様に統合することができる。
[画像処理の例]
次に、図21のフローチャートを参照して、図19の画像処理装置251の画像処理について説明する。
次に、図21のフローチャートを参照して、図19の画像処理装置251の画像処理について説明する。
ステップS251において、撮影環境情報取得部21は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部21は、入力した入力画像を、被写体特性解析部23および画像合成部27に供給する。
ステップS252において、撮影環境情報取得部21、撮影環境情報解析部22、被写体特性解析部23、および特性情報統合部24は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図22を参照して後述される。ステップS252の処理により、計測された撮影時情報と、推定された画像推定情報とが統合され、物理特性パラメータ(被写体の反射特性、撮影環境光、および被写体形状など)として、特性制御部261に供給される。
ステップS253において、視環境情報解析部25および特性制御部261は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図12を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップS253の処理により、視環境情報に基づく質感制御の処理内容が決定される。
ステップS254において、特性制御部261は、被写体の反射特性調整処理を行う。この反射特性調整処理は、図8を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。なお、このとき、特性情報統合部24により統合された物理特性パラメータ(反射特性)が参照される。ステップS254の処理により、反射特性に基づく質感制御の処理内容が決定される。
ステップS255において、画像合成部27は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図21の例の場合、視環境光のコントラスト調整、および、統合された物理特性パラメータによる画像の反射特性の調整により、被写体の画像の質感が制御される。
次に、図22のフローチャートを参照して、図21のステップS252の計測・推定・統合処理について説明する。
ステップS271において、撮影環境情報取得部21は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部22に供給する。撮影環境情報解析部22は、撮影環境情報取得部21からの撮影環境光を解析し、解析した結果、撮影環境光の情報を、特性情報統合部24に供給する。
ステップS272において、撮影環境情報取得部21は、被写体の反射特性を計測し、計測した被写体の反射特性を、撮影環境情報解析部22に供給する。撮影環境情報解析部22は、撮影環境情報取得部21からの被写体の反射特性を解析し、解析した被写体の反射特性を、特性情報統合部24に供給する。
ステップS273において、撮影環境情報取得部21は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部22に供給する。撮影環境情報解析部22は、撮影環境情報取得部21からの被写体形状を解析し、解析した被写体形状を、特性情報統合部24に供給する。
ステップS274において、被写体特性解析部23は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部23は、撮影環境光の情報を、特性情報統合部24に供給する。
ステップS275において、特性情報統合部24は、計測された撮影環境光の情報と推定された撮影環境光の情報とを、例えば、図20を参照して上述した方法で統合する。特性情報統合部24は、統合された撮影環境光の情報を、物理特性パラメータとして、特性制御部261に供給する。
ステップS276において、特性制御部261は、画像合成部27に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図21のステップS254における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。
ステップS277において、被写体特性解析部23は、被写体の反射特性を推定して、解析し、解析した反射特性の情報を、特性情報統合部24に供給する。
ステップS278において、特性情報統合部24は、計測された被写体の反射特性の情報と推定された被写体の反射特性の情報とを、例えば、図20を参照して上述した方法で統合する。特性情報統合部24は、統合された被写体の反射特性の情報を、物理特性パラメータとして、特性制御部261に供給する。
ステップS279において、被写体特性解析部23は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性情報統合部24に供給する。
ステップS280において、特性情報統合部24は、計測された被写体の形状の情報と推定された被写体の形状の情報とを、例えば、図20を参照して上述した方法で統合する。特性情報統合部24は、統合された被写体の形状の情報を、物理特性パラメータとして、特性制御部261に供給する。
以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状などが計測され、また、入力画像から被写体の特性である照明光や被写体の反射特性、形状などが推定され、それらの情報が信頼性に基づいて統合される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がさらに向上される。
<7.第6の実施の形態>
[画像処理装置の構成例]
図23は、本開示を適用した画像処理装置の第6の実施の形態の構成を表している。図23の例においては、被写体の特性として、被写体の材質情報も取得され、取得された材質情報を質感制御に用いる画像処理装置の構成が示されている。また、図23の例においては、質感制御として、テクスチャ復元も行われる。この例においては、異なる素材は、固有の反射特性を持つことを利用する。
[画像処理装置の構成例]
図23は、本開示を適用した画像処理装置の第6の実施の形態の構成を表している。図23の例においては、被写体の特性として、被写体の材質情報も取得され、取得された材質情報を質感制御に用いる画像処理装置の構成が示されている。また、図23の例においては、質感制御として、テクスチャ復元も行われる。この例においては、異なる素材は、固有の反射特性を持つことを利用する。
図23に示される画像処理装置301は、撮影環境情報取得部21、撮影環境情報解析部22、被写体特性解析部23、視環境情報解析部25、および画像合成部27を備える点が、図3の画像処理装置11と共通している。
画像処理装置251は、特性情報統合部24が特性情報統合部311と入れ替わった点と、特性制御部26が特性制御部312と入れ替わった点と、事前知識データベース313が追加された点とが、図3の画像処理装置11と異なっている。
すなわち、撮影環境情報解析部22は、解析した撮影時情報(被写体の材質情報含む)を、特性情報統合部311に供給する。被写体特性解析部23は、解析した被写体の特性(画像推定情報)を、特性情報統合部311に供給する。
特性情報統合部311は、撮影環境情報解析部22からの撮影時情報と、被写体特性解析部23からの画像推定情報とを信頼度に基づいて統合し、被写体に関する物理特性パラメータとして、特性制御部312に供給する。また、特性情報統合部311は、特性制御部312の制御のもと、被写体の材質(肌、金属、布など)に対応したテクスチャ画像を事前知識データベース313から読み出し、読み出したテクスチャ画像を、特性制御部312に供給する。
特性制御部312は、特性情報統合部311からの物理特性パラメータに基づいて、質感を制御するための処理内容を決定する。具体的には、特性制御部312は、物理特性パラメータとして、例えば、被写体の材質の反射特性に基づいて、鏡面反射成分や、全体のバランスを考慮して拡散反射成分も調整するという、質感制御の処理内容を決定する。そして、特性制御部312は、決定した質感制御を、画像合成部27に行わせる。
特性制御部312は、視環境情報解析部25からの視環境パラメータに応じて、画像合成部27に質感制御を行わせ、質感制御を最適化する。具体的には、特性制御部312は、視環境パラメータとして、例えば、視聴時の照明光(視環境光)に応じて、コントラストを調整するという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部27に行わせる。
また、特性制御部312は、特性情報統合部311に材質に応じたテクスチャ画像を読み出させ、それを用いて、入力画像の材質の種類に応じたテクスチャ復元処理を行うという、質感制御の処理内容を決定し、決定した質感制御を、画像合成部27に行わせる。
事前知識データベース313は、被写体の材質に対応したテクスチャ画像を記憶している。
以上のように、画像処理装置301においては、撮影時に被写体の特性である照明光や被写体の反射特性、形状、材質などが計測され、また、入力画像から被写体の特性である照明光や被写体の反射特性、形状、材質などが推定される。そして、それらの情報が統合されて、質感制御に用いられる。
[画像処理の例]
次に、図24のフローチャートを参照して、図23の画像処理装置301の画像処理について説明する。
次に、図24のフローチャートを参照して、図23の画像処理装置301の画像処理について説明する。
ステップS301において、撮影環境情報取得部21は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部21は、入力した入力画像を、被写体特性解析部23および画像合成部27に供給する。
ステップS302において、撮影環境情報取得部21、撮影環境情報解析部22、および被写体特性解析部23は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図25を参照して後述される。ステップS302の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ(被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など)とが、特性制御部312に供給される。
ステップS303において、視環境情報解析部25および特性制御部312は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図12を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップS303の処理により、視環境情報に基づく質感制御の処理内容が決定される。
ステップS304において、特性制御部312は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図26を参照して後述される。なお、このとき、特性情報統合部24により統合された物理特性パラメータ(材質および反射特性)が参照される。ステップS304の処理により、反射特性に基づく質感制御の処理内容が決定される。
ステップS305において、特性制御部312は、特性情報統合部311に材質に応じたテクスチャ画像を読み出させ、それを用いて、入力画像の材質の種類に応じたテクスチャ復元処理を行う。このテクスチャ復元処理は、図27を参照して後述される。ステップS305の処理により、テクスチャ復元による質感制御の処理内容が決定される。
ステップS306において、画像合成部27は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図24の例の場合、計測または測定された視環境光のコントラスト調整、画像の材質に基づく反射特性の調整、材質に応じたテクスチャ復元により、被写体の画像の質感が制御される。
次に、図25フローチャートを参照して、図24のステップS302の計測・推定・統合処理について説明する。
ステップS321において、撮影環境情報取得部21は、撮影環境光を計測し、計測した撮影環境光を、撮影環境情報解析部22に供給する。撮影環境情報解析部22は、撮影環境情報取得部21からの撮影環境光を解析し、解析した結果、撮影環境光の情報を、特性情報統合部311に供給する。
ステップS322において、撮影環境情報取得部21は、被写体の反射特性を計測し、計測した被写体の反射特性と材質を、撮影環境情報解析部22に供給する。撮影環境情報解析部22は、撮影環境情報取得部21からの被写体の反射特性と材質を解析し、解析した被写体の反射特性と材質を、特性情報統合部311に供給する。
ステップS323において、撮影環境情報取得部21は、被写体形状を計測し、計測した被写体形状を、撮影環境情報解析部22に供給する。撮影環境情報解析部22は、撮影環境情報取得部21からの被写体形状を解析し、解析した被写体形状を、特性情報統合部311に供給する。
ステップS324において、被写体特性解析部23は、供給された入力画像から撮影環境光を推定して解析し、解析した結果、撮影環境光の情報を取得する。被写体特性解析部23は、撮影環境光の情報を、特性情報統合部311に供給する。
ステップS325において、特性情報統合部311は、計測された撮影環境光の情報と推定された撮影環境光の情報とを、例えば、図20を参照して上述した方法で統合する。特性情報統合部311は、統合された撮影環境光の情報を、物理特性パラメータとして、特性制御部312に供給する。
ステップS326において、特性制御部312は、画像合成部27に、撮影環境光の情報から得られる照明色により画像のホワイトバランスを調整させる。なお、この調整処理は、上述した図24のステップS304における反射特性調整処理などのタイミングで行われてもよいが、ホワイトバランス調整の後に、他の調整を行う方が好ましいので、このような処理順となっている。
ステップS327において、被写体特性解析部23は、被写体の反射特性・材質を推定して、解析し、解析した反射特性・材質の情報を、特性情報統合部311に供給する。
ステップS328において、特性情報統合部311は、計測された被写体の反射特性の情報と推定された被写体の反射特性の情報とを、例えば、図20を参照して上述した方法で統合する。特性情報統合部311は、統合された被写体の反射特性の情報を、物理特性パラメータとして、特性制御部312に供給する。
ステップS329において、特性情報統合部311は、計測された被写体の材質の情報と推定された被写体の材質の情報とを、例えば、図20を参照して上述した方法で統合する。特性情報統合部311は、統合された被写体の材質の情報を、物理特性パラメータとして、特性制御部312に供給する。
ステップS330において、被写体特性解析部23は、被写体の形状を推定して、解析し、解析した被写体の形状の情報を、特性情報統合部311に供給する。
ステップS331において、特性情報統合部311は、計測された被写体の形状の情報と推定された被写体の形状の情報とを、例えば、図20を参照して上述した方法で統合する。特性情報統合部311は、統合された被写体の形状の情報を、物理特性パラメータとして、特性制御部312に供給する。
以上のようにして、撮影時に被写体の特性である照明光や被写体の反射特性、形状に加えて、さらに、被写体の材質などが計測され、また、それらが入力画像から推定され、それらの情報が信頼性に基づいて統合される。このようにして統合された物理特性パラメータが質感制御に用いられるので、画像における、照明光の最適化や光沢感の向上、透明感の再現がさらに向上される。
次に、図26のフローチャートを参照して、図24のステップS304における材質に基づく反射特性調整処理について説明する。
ステップS351において、特性制御部312は、特性情報統合部311からの被写体の反射特性の情報に基づいて、鏡面反射成分が大きいか否かを判定する。ステップS351において、鏡面反射成分が大きいと判定された場合、処理は、ステップS352に進む。
ステップS352において、特性制御部312は、質感制御として、鏡面反射成分を強調させるように決定する。ステップS351において、鏡面反射成分が小さいと判定された場合、処理は、ステップS353に進む。
特性制御部312は、ステップS353において、拡散反射成分が大きいか否かを判定する。ステップS353において、拡散反射成分が大きいと判定された場合、処理は、ステップS354に進む。ステップS354において、特性制御部312は、質感制御として、拡散反射成分を低減させるように決定する。
ステップS353において、拡散反射成分が小さいと判定された場合、処理は、ステップS355に進む。
ステップS355において、特性制御部312は、特性情報統合部311により統合された被写体の材質の情報に基づいて、鏡面反射が強い材質であるか否かを判定する。ステップS355において、鏡面反射が強い材質であると判定された場合、処理は、ステップS356に進む。ステップS356において、特性制御部312は、質感制御として、鏡面反射成分を強調させるように決定する。
ステップS355において、鏡面反射が強い材質ではないと判定された場合、処理は、ステップS357に進む。ステップS357において、特性制御部312は、質感制御として、鏡面反射成分を低減させるように決定する。
ステップS358において、特性制御部312は、全画素について反射特性の調整が終了したか否かを判定する。
ステップS358において、全画素について反射特性の調整が終了したと判定された場合、反射特性調整処理は終了する。ステップS358において、全画素についてまだ反射特性の調整が終了していないと判定された場合、ステップS351に戻り、それ以降の処理が繰り返される。
以上のように、被写体の材質に応じて、画像の反射特性の調整が行われて、被写体の画像の質感が制御される。これにより、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。
次に、図27のフローチャートを参照して、図24のステップS305におけるテクスチャ復元処理を説明する。
特性制御部312は、ステップS371において、特性情報統合部311を制御し、事前知識データベース313から、被写体の材質に対応するテクスチャ画像(パッチデータ)を取得させる。
ステップS372において、特性制御部312は、図28に示されるように、フィルタバンクを用いて、入力画像とテクスチャ画像をそれぞれサブバンド分割させるように画像合成部27を制御する。
ステップS373において、特性制御部312は、サブバンド毎に、入力画像の周波数成分のヒストグラムと、テクスチャ画像の周波数成分のヒストグラムとが一致する調整を行うように画像合成部27を制御する。すなわち、特性制御部312は、画像合成部27を制御し、サブバンド毎に、入力画像とテクスチャ画像とで、ヒストグラムイコライゼーションを行わせる。
以上のように、テクスチャを復元するという、質感制御を行うことにより、被写体の質感が向上されるので、よりリアリティのある画像とすることができる。
なお、図27および図28の例においては、周波数領域の特徴量の調整する方法の例であるヒストグラムイコライゼーションによりテクスチャ復元処理を行う例を説明した。ただし、テクスチャ復元処理は、その例だけに限らず、例えば、図29に示されるように、ブロックマッチングにより画素値を置き換えることで、テクスチャを復元させることも可能である。
例えば、入力画像に対応するテクスチャ画像(パッチデータ)の中から、入力画像の処理対象領域のうちの注目ブロックの画素値にマッチするブロックが抽出され、注目ブロックが抽出されたブロックで置き換えが行なわれる。その処理が、全ての領域に対して行われ、全ての領域が書き終えられたら、処理が終了となる。
<8.第7の実施の形態>
[画像処理装置の構成例]
図30は、本開示を適用した画像処理装置の第7の実施の形態の構成を表している。図30の例においては、撮影時に取得される情報を画像から推定された情報と統合するとともに、メタデータ化して、そのメタデータを、後段(画像合成部)で質感制御に用いる画像処理装置の構成が示されている。
[画像処理装置の構成例]
図30は、本開示を適用した画像処理装置の第7の実施の形態の構成を表している。図30の例においては、撮影時に取得される情報を画像から推定された情報と統合するとともに、メタデータ化して、そのメタデータを、後段(画像合成部)で質感制御に用いる画像処理装置の構成が示されている。
図30に示される画像処理装置351は、被写体特性解析部23、特性情報統合部24、および視環境情報解析部25を備える点が、図3の画像処理装置11と共通している。
画像処理装置351は、撮影環境情報取得部21、撮影環境情報解析部22、特性制御部26、画像合成部27が、それぞれ、撮影環境情報取得部361、撮影環境情報解析部362、特性制御部363、画像合成部364に入れ替わった点が、図3の画像処理装置11と異なっている。
すなわち、撮影環境情報取得部361は、被写体の画像の撮影し、被写体の画像を入力する。また、撮影環境情報取得部361は、被写体の画像の撮影時に、環境や被写体の撮影時情報を取得し、入力画像と撮影時情報とを、撮影環境情報解析部362に供給する。
撮影環境情報解析部362は、入力画像を被写体特性解析部23に供給し、撮影時情報を特性情報統合部24に供給する。さらに、撮影環境情報解析部362は、撮影時情報をメタデータ化して入力画像に付加し、入力画像とメタデータ化された撮影時情報とを画像合成部364に供給する。
画像合成部364は、特性制御部363により決定された処理内容に基づいて、入力画像を再合成する。なお、例えば、メタデータとして、シャッタースピード、絞り、どのような明るさのレンズを使っているかなどのカメラパラメータが得られれば、入力画像の明るさ(絶対輝度)の情報はおおよそ把握することができる。したがって、画像合成部364は、さらに、入力画像に付加されているメタデータに基づいて、再計算を行い、入力画像を再合成する。
[画像処理の例]
次に、図31のフローチャートを参照して、図30の画像処理装置351の画像処理について説明する。
次に、図31のフローチャートを参照して、図30の画像処理装置351の画像処理について説明する。
ステップS351において、撮影環境情報取得部361は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部361は、入力した入力画像を、撮影環境情報解析部362に供給する。なお、この入力画像は、撮影環境情報解析部362から被写体特性解析部23にも供給される。
ステップS352において、撮影環境情報取得部361、撮影環境情報解析部362、被写体特性解析部23、および特性情報統合部24は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図25を参照して上述された処理と基本的に同様であり、その説明は繰り返しになるので省略される。ステップS352の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ(被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など)とが、特性制御部363に供給される。
また、ステップS353において撮影環境情報解析部362は、撮影時情報をメタデータ化し、入力画像に付加して、画像合成部364に供給する。
ステップS354において、視環境情報解析部25および特性制御部363は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図12を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップS354の処理により、視環境情報に基づく質感制御の処理内容が決定される。
ステップS355において、特性制御部363は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図26を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。なお、このとき、特性情報統合部24により統合された物理特性パラメータ(材質および反射特性)が参照される。ステップS355の処理により、反射特性に基づく質感制御の処理内容が決定される。
ステップS356において、画像合成部364は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図31の例の場合、視環境光のコントラスト調整、および材質に基づく画像の反射特性の調整により、被写体の画像の質感が制御される。
また、ステップS357において、画像合成部364は、入力画像に付加されているメタデータに基づいて、再計算を行い、入力画像を再合成する。例えば、メタデータとして、シャッタースピード、絞りなどのカメラパラメータが得られれば、入力画像の明るさの情報はおおよそ把握することができ、それにより、さらに、画像の質感が向上される。
<9.第8の実施の形態>
[画像処理装置の構成例]
図32は、本開示を適用した画像処理装置の第8の実施の形態の構成を表している。図32の例においては、撮影時に取得される情報と画像から推定できるすべての情報がすべて取得され、それらを統合して、それらの情報をすべて質感制御に用いる画像処理装置の構成が示されている。
[画像処理装置の構成例]
図32は、本開示を適用した画像処理装置の第8の実施の形態の構成を表している。図32の例においては、撮影時に取得される情報と画像から推定できるすべての情報がすべて取得され、それらを統合して、それらの情報をすべて質感制御に用いる画像処理装置の構成が示されている。
図32に示される画像処理装置401は、図3の画像処理装置11と基本的に同じ構成である。すなわち、画像処理装置401は、撮影環境情報取得部21、撮影環境情報解析部22、被写体特性解析部23、特性情報統合部24、視環境情報解析部25、特性制御部26、および画像合成部27を含むように構成されている。
なお、上述した他の例においては、反射特性や照明、材質などの一部の物理特性パラメータを利用する例であった。これに対して、図32の例においては、撮影時に取得される情報と画像から推定できるすべての情報がすべて取得され、それらを統合し、それらの情報をすべて質感制御に用いる構成が示されている。この構成において、すべての情報が精度よく取得された場合、その精度良く取得された情報を変えることで、CGを作り直すように、どのような画像も、あたかも実世界にあるように作成することができる。
[画像処理の例]
次に、図33のフローチャートを参照して、図32の画像処理装置401の画像処理について説明する。
次に、図33のフローチャートを参照して、図32の画像処理装置401の画像処理について説明する。
ステップS401において、撮影環境情報取得部21は、被写体の画像の撮影し、被写体の画像を入力する。撮影環境情報取得部21は、入力した入力画像を、被写体特性解析部23および画像合成部27に供給する。
ステップS402において、撮影環境情報取得部21、撮影環境情報解析部22、および被写体特性解析部23は、計測・推定・統合処理を行う。この計測・推定・統合処理は、図25を参照して上述した処理と基本的に同様の処理であり、その説明は繰り返しになるので省略される。ステップS402の処理により、計測された物理特性パラメータと、推定された物理特性パラメータ(被写体の反射特性、撮影環境光、被写体形状、および被写体の材質など)とが、特性制御部26に供給される。
ステップS403において、視環境情報解析部25および特性制御部26は、画像を視聴する際の環境である視環境情報に基づく処理を行う。この視環境情報に基づく処理は、図12を参照して上述した処理と基本的に同様の処理であり、繰り返しになるのでその説明は省略される。ステップS403の処理により、視環境情報に基づく質感制御の処理内容が決定される。
ステップS404において、特性制御部26は、被写体の材質に基づく反射特性調整処理を行う。この反射特性調整処理は、図26を参照して上述した処理と基本的に同様の処理であり、その説明は繰り返しになるので省略される。なお、このとき、特性情報統合部24により統合された物理特性パラメータ(材質および反射特性)が参照される。ステップS404の処理により、反射特性に基づく質感制御の処理内容が決定される。
ステップS405において、視環境情報解析部25および特性制御部26は、視線情報に基づく処理を行う。この視線情報に基づく処理は、図15を参照して上述した処理と基本的に同様の処理であり、その説明は繰り返しになるので省略される。ステップS405の処理により、視線情報に基づく質感制御の処理内容が決定される。
ステップS406において、画像合成部27は、決定された質感制御の処理内容に基づいて、入力画像を再合成する。すなわち、図33の例の場合、視環境光のコントラスト調整、画像の材質に基づく反射特性の調整、視線情報に基づく調整により、被写体の画像の質感が制御される。
以上のように、撮影時または画像から得られる物理特性パラメータがすべて用いられる。そして、さらに、この物理特性パラメータが精度よく取得されていれば、それらを変更することで、入力画像の再現力が乏しかったとしても、画像における、照明光の最適化や光沢感の向上、透明感の再現がなされる。すなわち、CG(コンピュータグラフィックス)のように、被写体を実際に見たときの状況を映像で再現することができる。
以上により、本発明においては、被写体に関する物理特性パラメータ(形状、反射特性、照明など)を計測、測定し、それらの特性を制御することで、映像品質を向上させることができる。
また、撮影時、視聴時の環境情報(照明、注目位置など)を考慮して、人が見たときの映像品質を一定に保つように制御することができる。
被写体に関する物理特性パラメータを撮影時、視聴時の環境情報を候補して制御することで、撮像、表示を通じて生じた現実との誤差を補正する、あるいは、強調することで、映像を見たときの印象を改善することができる。
また、撮影時に計測した情報と画像から推測した情報を統合して信頼性を高めることができる。
さらに、撮影時の情報は、メタデータとして利用することができるので、視聴環境に最適な映像品質を実現することができる。
以上のように、本技術によれば、よりリアルな映像表現が可能となる。すなわち、被写体の特性(材質、形状、反射特性など)を制御することで、撮影から表示を通じて生じた現実との誤差を補正し、あるいは、強調することで、被写体を実際に見たときの状況を映像で再現したり、映像を見たときの印象を強くすることができる。
また、撮影時、視聴時の環境情報を利用して、被写体を実際に見たときの状況を映像で再現することができる。
<10.第9の実施の形態>
[パーソナルコンピュータ]
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
[パーソナルコンピュータ]
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な汎用のパーソナルコンピュータなどが含まれる。
図34は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータのハードウエアの構成例を示すブロック図である。
パーソナルコンピュータ500において、CPU(Central Processing Unit)501,ROM(Read Only Memory)502,RAM(Random Access Memory)503は、バス504により相互に接続されている。
バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、入力部506、出力部507、記憶部508、通信部509、及びドライブ510が接続されている。
入力部506は、キーボード、マウス、マイクロホンなどよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記憶部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインタフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア511を駆動する。
以上のように構成されるパーソナルコンピュータ500では、CPU501が、例えば、記憶部508に記憶されているプログラムを、入出力インタフェース505及びバス504を介して、RAM503にロードして実行する。これにより、上述した一連の処理が行われる。
コンピュータ(CPU501)が実行するプログラムは、リムーバブルメディア511に記録して提供することができる。リムーバブルメディア511は、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディア等である。また、あるいは、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータにおいて、プログラムは、リムーバブルメディア511をドライブ510に装着することにより、入出力インタフェース505を介して、記憶部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記憶部508にインストールすることができる。その他、プログラムは、ROM502や記憶部508に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要な段階で処理が行われるプログラムであっても良い。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス(装置)により構成される装置全体を表すものである。
また、以上において、1つの装置(または処理部)として説明した構成を分割し、複数の装置(または処理部)として構成するようにしてもよい。逆に、以上において複数の装置(または処理部)として説明した構成をまとめて1つの装置(または処理部)として構成されるようにしてもよい。また、各装置(または各処理部)の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置(または処理部)の構成の一部を他の装置(または他の処理部)の構成に含めるようにしてもよい。つまり、本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示はかかる例に限定されない。本開示の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本技術は以下のような構成も取ることができる。
(1)画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、
前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部と
を備える画像処理装置。
(2) 前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の反射特性の強弱を調整する
前記(1)に記載の画像処理装置。
(3) 前記反射特性情報は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の鏡面反射成分を強調する
前記(2)に記載の画像処理装置。
(4) 前記反射特性情報は、前記画像における被写体の反射特性が、拡散反射成分が強いことを示す情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の拡散反射成分を弱めて、前記画像における被写体の鏡面反射成分を強調する
前記(2)に記載の画像処理装置。
(5) 前記物理特性パラメータは、前記被写体の材質を示す情報であり、
前記質感制御部は、前記被写体の材質の種類に応じて、前記画像における被写体の反射特性を調整する
前記(1)に記載の画像処理装置。
(6) 前記物理特性パラメータは、前記被写体の形状を示す情報であり、
前記質感制御部は、前記被写体の形状に応じて、前記画像における被写体の陰影を強調する
前記(1)に記載の画像処理装置。
(7) 前記物理特性パラメータは、前記被写体の照明に関する情報であり、
前記質感制御部は、前記照明に応じて、前記画像における被写体のコントラストを調整する
前記(1)に記載の画像処理装置。
(8) 前記物理特性パラメータは、前記被写体の画像を撮影する際に計測される特性情報である計測特性情報と、前記画像から推測される特性情報である推測特性情報とからなり、
前記計測特性情報と前記推測特性情報とを統合して、統合された物理特性パラメータを生成する情報統合部をさらに備え、
前記質感制御部は、前記情報統合部により統合された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
前記(1)に記載の画像処理装置。
(9) 前記画像を視聴する環境の情報である視環境情報を取得する視環境情報取得部を
さらに備え、
前記質感制御部は、前記視環境情報取得部により取得された視環境情報を用いて、前記画像における被写体の質感を制御する
前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10) 前記物理特性パラメータ取得部は、前記被写体の画像を撮影する際に計測される前記物理特性パラメータを取得する
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(11) 前記物理特性パラメータ取得部は、前記画像から推測することにより前記物理特性パラメータを取得する
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(12) 画像処理装置が、
画像の被写体に関する物理特性パラメータを取得し、
取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
画像処理方法。
(1)画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、
前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部と
を備える画像処理装置。
(2) 前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の反射特性の強弱を調整する
前記(1)に記載の画像処理装置。
(3) 前記反射特性情報は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の鏡面反射成分を強調する
前記(2)に記載の画像処理装置。
(4) 前記反射特性情報は、前記画像における被写体の反射特性が、拡散反射成分が強いことを示す情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の拡散反射成分を弱めて、前記画像における被写体の鏡面反射成分を強調する
前記(2)に記載の画像処理装置。
(5) 前記物理特性パラメータは、前記被写体の材質を示す情報であり、
前記質感制御部は、前記被写体の材質の種類に応じて、前記画像における被写体の反射特性を調整する
前記(1)に記載の画像処理装置。
(6) 前記物理特性パラメータは、前記被写体の形状を示す情報であり、
前記質感制御部は、前記被写体の形状に応じて、前記画像における被写体の陰影を強調する
前記(1)に記載の画像処理装置。
(7) 前記物理特性パラメータは、前記被写体の照明に関する情報であり、
前記質感制御部は、前記照明に応じて、前記画像における被写体のコントラストを調整する
前記(1)に記載の画像処理装置。
(8) 前記物理特性パラメータは、前記被写体の画像を撮影する際に計測される特性情報である計測特性情報と、前記画像から推測される特性情報である推測特性情報とからなり、
前記計測特性情報と前記推測特性情報とを統合して、統合された物理特性パラメータを生成する情報統合部をさらに備え、
前記質感制御部は、前記情報統合部により統合された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
前記(1)に記載の画像処理装置。
(9) 前記画像を視聴する環境の情報である視環境情報を取得する視環境情報取得部を
さらに備え、
前記質感制御部は、前記視環境情報取得部により取得された視環境情報を用いて、前記画像における被写体の質感を制御する
前記(1)乃至(8)のいずれかに記載の画像処理装置。
(10) 前記物理特性パラメータ取得部は、前記被写体の画像を撮影する際に計測される前記物理特性パラメータを取得する
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(11) 前記物理特性パラメータ取得部は、前記画像から推測することにより前記物理特性パラメータを取得する
前記(1)乃至(9)のいずれかに記載の画像処理装置。
(12) 画像処理装置が、
画像の被写体に関する物理特性パラメータを取得し、
取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
画像処理方法。
1 計測・推測ブロック, 2 実世界モデリングブロック, 3 質感制御ブロック, 4 レンダリング・レタッチブロック, 11 画像処理装置,21 撮影環境情報取得部, 22 撮影環境情報解析部, 23 被写体特性解析部, 24 特性情報統合部, 25 視環境情報解析部, 26 特性制御部, 27 画像合成部, 51 画像処理装置, 61 特性制御部, 101 画像処理装置, 111 特性制御部, 151 画像処理装置, 161 特性制御部, 201 画像処理装置, 211 特性制御部, 251 画像処理装置, 261 特性制御部, 301 画像処理装置, 311 特性情報統合部, 312 特性制御部,313 事前知識データベース, 351 画像処理装置, 361 撮影環境情報取得部, 362 撮影環境情報解析部, 363 特性制御部, 401 画像処理装置
Claims (12)
- 画像の被写体に関する物理特性パラメータを取得する物理特性パラメータ取得部と、
前記物理特性パラメータ取得部により取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する質感制御部と
を備える画像処理装置。 - 前記物理特性パラメータは、前記被写体の反射特性を示す反射特性情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の反射特性の強弱を調整する
請求項1に記載の画像処理装置。 - 前記反射特性情報は、前記被写体の反射特性が、鏡面反射成分が強いことを示す情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の鏡面反射成分を強調する
請求項2に記載の画像処理装置。 - 前記反射特性情報は、前記画像における被写体の反射特性が、拡散反射成分が強いことを示す情報であり、
前記質感制御部は、前記反射特性情報を用いて、前記画像における被写体の拡散反射成分を弱めて、前記画像における被写体の鏡面反射成分を強調する
請求項2に記載の画像処理装置。 - 前記物理特性パラメータは、前記被写体の材質を示す情報であり、
前記質感制御部は、前記被写体の材質の種類に応じて、前記画像における被写体の反射特性を調整する
請求項1に記載の画像処理装置。 - 前記物理特性パラメータは、前記被写体の形状を示す情報であり、
前記質感制御部は、前記被写体の形状に応じて、前記画像における被写体の陰影を強調する
請求項1に記載の画像処理装置。 - 前記物理特性パラメータは、前記被写体の照明に関する情報であり、
前記質感制御部は、前記照明に応じて、前記画像における被写体のコントラストを調整する
請求項1に記載の画像処理装置。 - 前記物理特性パラメータは、前記被写体の画像を撮影する際に計測される特性情報である計測特性情報と、前記画像から推測される特性情報である推測特性情報とからなり、
前記計測特性情報と前記推測特性情報とを統合して、統合された物理特性パラメータを生成する情報統合部をさらに備え、
前記質感制御部は、前記情報統合部により統合された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
請求項1に記載の画像処理装置。 - 前記画像を視聴する環境の情報である視環境情報を取得する視環境情報取得部を
さらに備え、
前記質感制御部は、前記視環境情報取得部により取得された視環境情報を用いて、前記画像における被写体の質感を制御する
請求項1に記載の画像処理装置。 - 前記物理特性パラメータ取得部は、前記被写体の画像を撮影する際に計測される前記物理特性パラメータを取得する
請求項1に記載の画像処理装置。 - 前記物理特性パラメータ取得部は、前記画像から推測することにより前記物理特性パラメータを取得する
請求項1に記載の画像処理装置。 - 画像処理装置が、
画像の被写体に関する物理特性パラメータを取得し、
取得された物理特性パラメータを用いて、前記画像における被写体の質感を制御する
画像処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013102106A JP2014222447A (ja) | 2013-05-14 | 2013-05-14 | 画像処理装置および方法 |
US14/257,129 US10297055B2 (en) | 2013-05-14 | 2014-04-21 | Image processing apparatus and method for modifying a display texture of an image |
CN201410190498.2A CN104159023B (zh) | 2013-05-14 | 2014-05-07 | 图像处理装置、图像处理方法以及计算机可读介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013102106A JP2014222447A (ja) | 2013-05-14 | 2013-05-14 | 画像処理装置および方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014222447A true JP2014222447A (ja) | 2014-11-27 |
Family
ID=51884421
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013102106A Pending JP2014222447A (ja) | 2013-05-14 | 2013-05-14 | 画像処理装置および方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10297055B2 (ja) |
JP (1) | JP2014222447A (ja) |
CN (1) | CN104159023B (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016181804A1 (ja) * | 2015-05-08 | 2016-11-17 | ソニー株式会社 | 画像処理装置および方法 |
WO2016190062A1 (ja) * | 2015-05-22 | 2016-12-01 | ソニー株式会社 | 画像処理装置および方法 |
JP2017085555A (ja) * | 2015-10-27 | 2017-05-18 | キヤノン株式会社 | 画像処理装置、画像処理方法、3dプリントシステム、プログラム、記憶媒体 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6040042B2 (ja) * | 2013-02-12 | 2016-12-07 | アイキューブド研究所株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US9655205B2 (en) * | 2015-02-17 | 2017-05-16 | Pointgrab Ltd. | Method and system for calculating ambient light |
JP6732541B2 (ja) * | 2016-05-30 | 2020-07-29 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
CN109660863B (zh) * | 2017-10-10 | 2021-07-20 | ***通信集团湖北有限公司 | 视觉关注区域检测方法、装置、设备及计算机存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8948468B2 (en) * | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
RU2009107143A (ru) * | 2007-08-07 | 2010-09-10 | Панасоник Корпорэйшн (Jp) | Устройство обработки изображений и способ обработки изображений |
WO2010087162A1 (ja) | 2009-01-27 | 2010-08-05 | 日本電気株式会社 | カラー画像処理方法、カラー画像処理装置および記録媒体 |
CN101964873B (zh) * | 2009-07-21 | 2014-08-20 | 株式会社尼康 | 图像处理装置、图像处理程序及摄像装置 |
US8867978B2 (en) * | 2011-01-12 | 2014-10-21 | Konica Minolta Business Technologies, Inc. | Image forming method and image forming apparatus |
KR101822655B1 (ko) * | 2011-06-21 | 2018-01-29 | 삼성전자주식회사 | 카메라를 이용한 물체 인식 방법 및 이를 위한 카메라 시스템 |
-
2013
- 2013-05-14 JP JP2013102106A patent/JP2014222447A/ja active Pending
-
2014
- 2014-04-21 US US14/257,129 patent/US10297055B2/en not_active Expired - Fee Related
- 2014-05-07 CN CN201410190498.2A patent/CN104159023B/zh not_active Expired - Fee Related
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016181804A1 (ja) * | 2015-05-08 | 2016-11-17 | ソニー株式会社 | 画像処理装置および方法 |
US10636125B2 (en) | 2015-05-08 | 2020-04-28 | Sony Corporation | Image processing apparatus and method |
WO2016190062A1 (ja) * | 2015-05-22 | 2016-12-01 | ソニー株式会社 | 画像処理装置および方法 |
CN107533757A (zh) * | 2015-05-22 | 2018-01-02 | 索尼公司 | 处理图像的装置和方法 |
JPWO2016190062A1 (ja) * | 2015-05-22 | 2018-03-08 | ソニー株式会社 | 画像処理装置および方法 |
US10445621B2 (en) | 2015-05-22 | 2019-10-15 | Sony Corporation | Image processing apparatus and image processing method |
CN107533757B (zh) * | 2015-05-22 | 2022-06-07 | 索尼公司 | 处理图像的装置和方法 |
JP2017085555A (ja) * | 2015-10-27 | 2017-05-18 | キヤノン株式会社 | 画像処理装置、画像処理方法、3dプリントシステム、プログラム、記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20140340415A1 (en) | 2014-11-20 |
US10297055B2 (en) | 2019-05-21 |
CN104159023A (zh) | 2014-11-19 |
CN104159023B (zh) | 2019-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2014222447A (ja) | 画像処理装置および方法 | |
CN110046673B (zh) | 基于多特征融合的无参考色调映射图像质量评价方法 | |
Yoshida et al. | Perceptual evaluation of tone mapping operators with real-world scenes | |
JP5397059B2 (ja) | 画像処理装置および方法、プログラム、並びに記録媒体 | |
US9418473B2 (en) | Relightable texture for use in rendering an image | |
Lavoué et al. | Quality assessment in computer graphics | |
KR101885090B1 (ko) | 영상 처리 장치, 조명 처리 장치 및 그 방법 | |
US8237730B1 (en) | Tone mapping for motion pictures | |
WO2010024782A1 (en) | A method and system for displaying an hdr image on a ldr display device | |
KR102606208B1 (ko) | 학습 기반 렌즈 플레어 제거 | |
US10706512B2 (en) | Preserving color in image brightness adjustment for exposure fusion | |
JP7420971B2 (ja) | 人体画像処理方法および電子機器 | |
Krasula et al. | Preference of experience in image tone-mapping: Dataset and framework for objective measures comparison | |
US20180144446A1 (en) | Image processing apparatus and method | |
WO2014076744A1 (ja) | 画像処理装置および画像処理方法 | |
CN109478316A (zh) | 实时自适应阴影和高光增强 | |
WO2015163169A1 (ja) | 画像処理装置および方法 | |
Rahman et al. | Efficient contrast adjustment and fusion method for underexposed images in industrial cyber-physical systems | |
JP6711020B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
JP7387029B2 (ja) | ソフトレイヤ化および深度認識インペインティングを用いた単画像3d写真技術 | |
US10445621B2 (en) | Image processing apparatus and image processing method | |
CN111612915A (zh) | 渲染对象以匹配相机噪声 | |
JP4831361B2 (ja) | 目の位置の検出方法および検出システム | |
Qian et al. | A local tone mapping operator for high dynamic range images | |
JP6376673B2 (ja) | 画像処理装置 |