JP5743142B2 - 画像理装置および方法、並びにプログラム - Google Patents

画像理装置および方法、並びにプログラム Download PDF

Info

Publication number
JP5743142B2
JP5743142B2 JP2011073042A JP2011073042A JP5743142B2 JP 5743142 B2 JP5743142 B2 JP 5743142B2 JP 2011073042 A JP2011073042 A JP 2011073042A JP 2011073042 A JP2011073042 A JP 2011073042A JP 5743142 B2 JP5743142 B2 JP 5743142B2
Authority
JP
Japan
Prior art keywords
control signal
image
input image
area
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011073042A
Other languages
English (en)
Other versions
JP2012208671A (ja
JP2012208671A5 (ja
Inventor
横山 一樹
一樹 横山
高宏 坂口
高宏 坂口
真由子 丸山
真由子 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011073042A priority Critical patent/JP5743142B2/ja
Priority to US13/408,024 priority patent/US8867824B2/en
Priority to IN839DE2012 priority patent/IN2012DE00839A/en
Priority to CN201210078359.1A priority patent/CN102737368B/zh
Publication of JP2012208671A publication Critical patent/JP2012208671A/ja
Publication of JP2012208671A5 publication Critical patent/JP2012208671A5/ja
Priority to US14/476,135 priority patent/US9875553B2/en
Application granted granted Critical
Publication of JP5743142B2 publication Critical patent/JP5743142B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20076Probabilistic image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本技術は画像処理装置および方法、並びにプログラムに関し、特に、違和感のないより自然な画像を得ることができるようにした画像処理装置および方法、並びにプログラムに関する。
従来、より高品質な画像を得るために、画像に対して質感の調整を行なう画像処理が知られている。例えば、そのような画像処理として、画像から検出された顔領域の質感を制御する処理や、急峻なエッジ部分を保存したままエッジ以外の領域を強調する処理(例えば、特許文献1参照)などが提案されている。
特開2001−298621号公報
しかしながら、上述した技術では、違和感のない自然な画像を得ることができない場合があった。例えば、顔領域の質感を制御する画像処理では、顔領域以外の領域の質感は制御されないため、顔領域と比較して他の領域の鮮鋭度が強調され過ぎてしまうことがある。そうすると、画像全体のシーンをとらえた場合に、人物等のアテンションの高い領域に誘目する人間の視覚特性では、奥行き感が損なわれ、違和感のある画像となってしまう。
特に、立体画像(3D画像)など、視差により奥行きを提示する表示装置では、視差に対してエンハンス等により生成された画像が不自然なものとなり、観察者が認識する前後感に悪影響を与えることがあった。
また、エッジ以外の領域を強調する画像処理では、画像全体としてコントラストや鮮鋭感が強調されるが、前景や背景など領域ごとにコントラストや鮮鋭感の強調を制御できないため、充分に自然な画像を得ることができない場合があった。
本技術は、このような状況に鑑みてなされたものであり、違和感のないより自然な画像を得ることができるようにするものである。
本技術の一側面の画像処理装置は、入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号と、前記入力画像の画素の顔肌領域らしさに応じて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号とを合成して、制御信号を生成する制御信号合成部を備える。
前記制御信号合成部には、前記奥行き制御信号および前記顔肌領域制御信号を重み付き加算により合成させ、前記制御信号を生成させることができる。
前記制御信号合成部には、前記顔肌領域制御信号に最も大きい重みを用い、かつ前記奥行き制御信号に最も小さい重みを用いて前記重み付き加算を行わせることができる。
前記顔肌領域制御信号の値は前記入力画像の画素ごとに定められるようにすることができる。
前記制御信号合成部には、前記奥行き制御信号と、前記顔肌領域制御信号と、前記入力画像における人の領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する人物領域制御信号とを合成させて、前記制御信号を生成させることができる。
前記人物領域制御信号の値は、前記入力画像の画素ごとに定められるとともに、前記入力画像の画素位置が人物らしい領域である場合、予め定められた所定値とされ、前記入力画像の画素位置が人物らしい領域でない場合、前記所定値よりも小さい値とされるようにすることができる。
画像処理装置には、前記制御信号に基づいて、前記入力画像の各領域の質感の調整を行ない、出力画像を生成する画像処理部をさらに設けることができる。
前記画像処理部には、前記制御信号に基づいて、前記入力画像のエッジ成分を増幅または減衰させることができる。
前記画像処理部には、前記制御信号に基づいて、前記入力画像のテクスチャ成分を増幅させることができる。
前記画像処理部には、前記制御信号とは異なる他の制御信号に基づいて、前記入力画像のエッジ成分を増幅または減衰させることができる。
前記画像処理部には、前記出力画像の領域ごとに、前記制御信号に基づいて前記出力画像の生成に用いる予測係数を選択する予測係数選択部と、前記入力画像と前記予測係数とに基づいて、前記入力画像よりも解像度の高い前記出力画像を生成する予測演算部とを設けることができる。
前記画像処理部には、前記制御信号に基づいて、前記入力画像のクロマ成分を増幅または減衰させることができる。
前記制御信号合成部には、前記奥行き制御信号と、前記顔肌領域制御信号と、前記人物領域制御信号と、前記入力画像におけるアテンションが高いと推定される領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する誘目領域制御信号とを合成させて、前記制御信号を生成させることができる。
前記顔肌領域制御信号は、前記入力画像からの人の顔の領域の検出結果に基づいて、人の顔の肌の領域を特定することで生成され、処理対象の前記入力画像から人の顔の領域が検出されなかった場合、過去の前記入力画像における人の顔の肌の領域の特定結果に基づいて、前記処理対象の前記入力画像における人の顔の肌の領域が特定されるようにすることができる。
前記人物領域制御信号は、前記入力画像からの人の顔の領域の検出結果、または前記入力画像の人の顔の肌の領域の特定結果の少なくとも何れかを用いて、前記入力画像における人の領域を特定することで生成されるようにすることができる。
本技術の一側面の画像処理方法またはプログラムは、入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号と、前記入力画像の画素の顔肌領域らしさに応じて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号とを合成して、制御信号を生成するステップを含む。
本技術の一側面においては、入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号と、前記入力画像の画素の顔肌領域らしさに応じて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号とが合成されて、制御信号が生成される。
本技術の一側面によれば、違和感のないより自然な画像を得ることができる。
画像処理装置の一実施の形態の構成例を示す図である。 画像処理部の構成例を示す図である。 画像処理を説明するフローチャートである。 制御信号の生成について説明する図である。 制御信号の生成について説明する図である。 調整処理を説明するフローチャートである。 画像処理装置の他の構成例を示す図である。 画像処理装置の他の構成例を示す図である。 画像処理を説明するフローチャート図である。 画像処理部の構成例を示す図である。 調整処理を説明するフローチャートである。 画像処理部の構成例を示す図である。 調整処理を説明するフローチャートである。 画像処理部の構成例を示す図である。 調整処理を説明するフローチャートである。 画像処理部の構成例を示す図である。 調整処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第1の実施の形態〉
[画像処理装置の構成例]
図1は、画像処理装置の一実施の形態の構成例を示す図である。
この画像処理装置11は、入力された入力画像の画像信号に対して、入力画像の質感を調整する画像処理を施し、これにより得られた画像信号を出力するものである。入力画像は、静止画像であってもよいし、動画像であってもよい。
画像処理装置11は、奥行き検出部21、顔検出部22、奥行き制御信号生成部23、顔肌領域制御信号生成部24、人物領域制御信号生成部25、制御信号合成部26、および画像処理部27から構成される。
奥行き検出部12は、供給された入力画像に基づいて、入力画像上の各領域(被写体)の奥行き位置を示す奥行き情報を生成し、奥行き制御信号生成部23に供給する。顔検出部22は、供給された入力画像に基づいて、入力画像上の人の顔の領域を検出し、その検出結果を示す顔検出情報を、顔肌領域制御信号生成部24、および人物領域制御信号生成部25に供給する。例えば、顔検出情報には、入力画像上の顔の有無、入力画像上の顔領域の位置、および顔領域の大きさなど、入力画像上の顔の領域を特定する情報が含まれている。
奥行き制御信号生成部23は、奥行き検出部21からの奥行き情報に基づいて、入力画像に対して行なわれる質感の調整処理時における、入力画像の各領域に対する質感の強調度合いを示す奥行き制御信号を生成し、制御信号合成部26に供給する。ここで、奥行き制御信号は、入力画像の各領域における被写体の奥行き位置に応じて、それらの領域ごとに質感の強調度合いを制御するための信号である。
顔肌領域制御信号生成部24は、顔検出部22から供給された顔検出情報に基づいて、入力画像上の人の顔の肌の領域を示す顔肌マップを生成し、人物領域制御信号生成部25に供給する。また、顔肌領域制御信号生成部24は、顔肌マップに基づいて、入力画像に対する質感の調整処理時における、入力画像の各領域に対する質感の強調度合いを示す顔肌領域制御信号を生成し、制御信号合成部26に供給する。ここで、顔肌領域制御信号は、入力画像の各領域の顔肌らしさに応じて、それらの領域ごとに質感の強調度合いを制御するための信号である。
人物領域制御信号生成部25は、顔検出部22からの顔検出情報と、顔肌領域制御信号生成部24からの顔肌マップとに基づいて、入力画像に対する質感の調整処理時における、入力画像の各領域に対する質感の強調度合いを示す人物領域制御信号を生成し、制御信号合成部26に供給する。ここで、人物領域制御信号は、入力画像の各領域の人物の領域らしさに応じて、それらの領域ごとに質感の強調度合いを制御するための信号である。
制御信号合成部26は、奥行き制御信号生成部23からの奥行き制御信号、顔肌領域制御信号生成部24からの顔肌領域制御信号、および人物領域制御信号生成部25からの人物領域制御信号を合成して1つの制御信号を生成し、画像処理部27に供給する。
画像処理部27は、制御信号合成部26から供給された制御信号に基づいて、供給された入力画像に対する質感の調整処理を行い、その結果得られた画像(以下、出力画像とも称する)を出力する。すなわち、制御信号にしたがって、入力画像の各画素のゲイン調整が行なわれ、出力画像とされる。
ここで、入力画像の質感の調整処理は、例えば鮮鋭感やコントラスト、彩度、解像度の創造度合いの調整などとされる。
[画像処理部の構成例]
また、図1の画像処理部27は、例えば図2に示すように構成される。
すなわち、画像処理部27は、ハイパスフィルタ51、加減増幅器52、および加算部53から構成される。図2の画像処理部27は、画像の質感の調整処理として、鮮鋭感を高めるエンハンス処理を入力画像に対して行う。
ハイパスフィルタ51は、供給された入力画像に対して、ハイパスフィルタを用いたフィルタ処理を施し、その結果得られた入力画像の高域成分(高域信号)を加減増幅器52に供給する。
加減増幅器52は、制御信号合成部26から供給された制御信号に基づいて、ハイパスフィルタ51から供給された高域成分を、入力画像の領域ごとに増幅または減衰させ、加算部53に供給する。なお、以下、加減増幅器52で増幅または減衰された入力画像の高域成分を、適宜、補正高域成分とも称することとする。
加算部53は、供給された入力画像に、加減増幅器52から供給された補正高域成分を加算し、その結果得られた出力画像を出力する。
[画像処理の説明]
次に、画像処理装置11の動作について説明する。
画像処理装置11は、入力画像が供給され、入力画像に対する質感の調整が指示されると、画像処理を行って入力画像を出力画像に変換し、出力する。以下、図3のフローチャートを参照して、画像処理装置11による画像処理について説明する。
ステップS11において、奥行き検出部21は、供給された入力画像に基づいて奥行き情報を生成し、奥行き制御信号生成部23に供給する。
例えば、奥行き検出部21は、フィルタ処理などにより入力画像から高域成分を抽出するとともに、入力画像をいくつかのブロックに分割する。そして、奥行き検出部21は、ブロックごとに、ブロック内の各位置における高域成分の値の絶対値の和(積算値)を求めることで、奥行き情報を生成する。
一般的に、ユーザからみて手前側に見える(定位する)被写体、つまり前景の領域や、画像上の焦点の合っている領域には高域成分が多く含まれており、そのような領域に対応する奥行き情報の値(高域成分の積算値)は、大きくなるはずである。したがって、奥行き情報の値が大きい入力画像上の領域ほど、入力画像を観察するユーザから見て、より手前側にある(見える)被写体の領域であると推定することができる。なお、画像に対する奥行き位置の推定方法については、例えば、特開2007−208399号公報などに詳細に記載されている。
ステップS12において、顔検出部22は、供給された入力画像に基づいて、入力画像から人の顔を検出し、その検出結果を示す顔検出情報を生成する。顔検出部22は、生成した顔検出情報を、顔肌領域制御信号生成部24および人物領域制御信号生成部25に供給する。
ステップS13において、奥行き制御信号生成部23は、奥行き検出部21から供給された奥行き情報に基づいて奥行き制御信号を生成し、制御信号合成部26に供給する。
例えば、奥行き制御信号生成部23は、入力画像と同じ大きさ(解像度)の画像を奥行き制御画像とし、奥行き制御画像の各画素の画素値を、奥行き情報に基づいて定める。例えば、奥行き制御画像の画素に対応する位置の奥行き情報の値が大きいほど、その画素の画素値が大きくなるようにされる。また、奥行き制御画像の画素の画素値は、負の値をもつようにしてもよい。
奥行き制御信号生成部23は、このようにして得られた奥行き制御画像の画像信号を奥行き制御信号として、制御信号合成部26に供給する。
このように、入力画像の各被写体の奥行き位置に応じて、奥行き制御画像の各画素の画素値を定めることで、この奥行き制御画像(奥行き制御信号)を用いて入力画像の鮮鋭感の強調度合いを制御すれば、違和感のないより自然な出力画像を得ることができる。すなわち、入力画像の奥行き側にある被写体よりも、手前側にある被写体の鮮鋭感がより強調されることになり、近いものほど鮮鋭に見えるという人間の視覚特性に近しい、自然な出力画像を得ることができる。
ステップS14において、顔肌領域制御信号生成部24は、顔検出部22から供給された顔検出情報に基づいて顔肌領域制御信号を生成し、制御信号合成部26に供給する。
例えば、顔肌領域制御信号生成部24は、顔検出部22から入力画像を取得し、顔検出情報により示される入力画像上の人の顔らしい領域の各画素の画素値に基づいて、その顔らしい領域の画素の輝度のヒストグラムと色のヒストグラムを生成する。ここで、色のヒストグラムは、例えば2次元のUVヒストグラムなどとすることができる。
そして、顔肌領域制御信号生成部24は、生成した輝度のヒストグラムと色のヒストグラムに基づいて、入力画像上の顔肌らしい画素からなる領域を、人の顔の肌の領域(顔肌領域)とし、入力画像上の顔肌領域を示す顔肌マップを生成する。
具体的には、例えば顔肌領域制御信号生成部24は、輝度のヒストグラムと色のヒストグラムにおいて、頻度値が高い一定範囲を、輝度値範囲およびUV値範囲とする。そして、顔肌領域制御信号生成部24は、入力画像上の画素のうち、輝度値が輝度値範囲内の値であり、かつUV値(色差値)がUV値範囲内の値である画素を、顔肌らしい画素とする。
顔肌領域制御信号生成部24は、生成した顔肌マップを人物領域制御信号生成部25に供給する。例えば、顔肌マップ上の画素の画素値は、その画素と同じ位置にある入力画像の画素が、顔肌領域の画素らしいほど大きい値となる。このように、輝度のヒストグラムと色のヒストグラムを用いて顔肌領域を推定することで、ロバストな顔肌マップを得ることができる。
さらに、顔肌領域制御信号生成部24は、入力画像と同じ大きさの画像を顔肌領域制御画像とし、顔肌領域制御画像の各画素の画素値を、顔肌マップに基づいて定める。例えば、顔肌領域制御画像の画素の画素値は、その画素と同じ位置にある顔肌マップの画素の画素値に対して予め定められた値とされる。顔肌領域制御信号生成部24は、このようにして得られた顔肌領域制御画像の画像信号を、顔肌領域制御信号として制御信号合成部26に供給する。
このように、入力画像の各領域の顔肌らしさに応じて、顔肌領域制御画像の各画素の画素値を定めることで、顔肌領域制御信号を用いて入力画像の鮮鋭感の強調度合いを制御すれば、違和感のないより自然な出力画像を得ることができる。すなわち、入力画像の顔肌らしい領域の鮮鋭感が適切に強調されることになり、より自然な出力画像を得ることができる。
なお、入力画像が動画像である場合、入力画像の現フレームの輝度のヒストグラムと色のヒストグラムだけでなく、現フレームよりも前のフレームについて求められた、輝度のヒストグラムや色のヒストグラムが、現フレームの顔肌マップの生成に用いられてもよい。
そのような場合、過去のフレームと現フレームのヒストグラムから入力画像上の顔肌領域を推定することができるので、顔検出部22における顔検出の精度によらず、より高精度に顔肌領域を推定することができる。
例えば、所定のフレームの入力画像上で正面を向いていた人の顔が、次のフレームで横向きとなった場合、顔検出部22では入力画像から顔が検出されなくなることがある。そのような場合でも、前(過去)のフレームの輝度や色のヒストグラムから、顔肌領域の輝度や色が分かるため、現フレームの入力画像において、前のフレームの顔肌領域と同じ色や輝度の領域を顔肌領域として検出すれば、ロバストな顔肌マップを得ることができる。
ステップS15において、人物領域制御信号生成部25は、顔検出部22からの顔検出情報と、顔肌領域制御信号生成部24からの顔肌マップとに基づいて、人物領域制御信号を生成し、制御信号合成部26に供給する。
例えば、人物領域制御信号生成部25は、顔検出情報により示される入力画像上の人の顔らしい領域や、顔肌マップにより示される入力画像上の顔肌領域らしい領域を、人の肩幅や頭部の大きさといった人全体の形状の特徴に応じて拡張し、拡張された領域を人物らしい領域とする。すなわち、人の顔らしい領域や顔肌らしい領域から、人の輪郭の領域が推定される。そして、人物領域制御信号生成部25は、入力画像の各領域における人物の領域らしさに基づいて、人物領域制御画像を生成する。
より詳細には、入力画像が静止画像である場合、顔検出情報のみが用いられて人物領域制御画像が生成され、入力画像が動画像である場合、顔検出情報と顔肌マップの両方、または顔検出情報のみが用いられて人物領域制御画像が生成される。
例えば、連続するフレームの顔検出情報により、安定してほぼ同じ位置に人の顔らしい領域が検出された場合、顔検出情報のみが用いられて、その人の顔らしい領域が拡張されて人物らしい領域とされる。
また、顔検出情報と顔肌マップの両方を用いて人物領域制御画像を生成すれば、例えば顔検出部22により顔が検出されなかったときでも、ロバストな顔肌マップにより、精度よく人物らしい領域を検出することができる。
人物領域制御信号生成部25は、入力画像と同じ大きさの画像を人物領域制御画像とし、人物領域制御画像の各画素の画素値を、入力画像上の各領域の人物の領域らしさに基づいて定める。例えば、人物領域制御画像の画素の画素値は、入力画像上のその画素と同じ位置が人物らしい領域である場合、予め定められた所定値とされ、入力画像上のその画素と同じ位置が人物らしい領域でない場合、上述の所定値よりも小さい値とされる。
なお、人物らしい領域内であっても、顔の領域や服の領域等、人の部位の領域に応じて人物領域制御画像の画素の画素値が異なる値となるようにしてもよい。
人物領域制御信号生成部25は、このようにして得られた人物領域制御画像の画像信号を、人物領域制御信号として制御信号合成部26に供給する。
このように、入力画像の各領域の人物の領域らしさに応じて、人物領域制御画像の各画素の画素値を定めることで、人物領域制御信号を用いて入力画像の鮮鋭感の強調度合いを制御すれば、違和感のないより自然な出力画像を得ることができる。すなわち、入力画像の人物らしい領域の鮮鋭感が他の領域よりもより強調されることになり、注目しているものほど鮮鋭に見えるという人間の視覚特性に近しい、自然な出力画像を得ることができる。
ステップS16において、制御信号合成部26は、奥行き制御信号生成部23からの奥行き制御信号、顔肌領域制御信号生成部24からの顔肌領域制御信号、および人物領域制御信号生成部25からの人物領域制御信号を合成して制御信号を生成する。
例えば、図4に示すように、入力画像IP1に対して、奥行き制御画像CN1、顔肌領域制御画像CN2、および人物領域制御画像CN3が得られたとする。
図4の例では、入力画像IP1には人物が含まれており、奥行き制御画像CN1では、図中、下側にある画素の画素値ほど大きい値となっている。つまり、入力画像IP1の図中、上側は遠景となっており、図中、下側は近景となっている。
また、顔肌領域制御画像CN2では、人の顔肌の領域内にある画素の画素値は、顔肌らしさに応じた所定の値となっており、それ以外の領域の画素の画素値は0となっている。さらに、人物領域制御画像CN3では、人物の領域内にある画素の画素値は、人物の領域らしさに応じた所定の値となっており、それ以外の領域の画素の画素値は0となっている。
制御信号合成部26は、奥行き制御画像CN1、顔肌領域制御画像CN2、および人物領域制御画像CN3の同じ位置にある画素の画素値を重み付き加算し、その結果得られた値を、制御画像CP1の画素の画素値とする。そして、このようにして得られた制御画像CP1の画像信号が制御信号とされる。
例えば、奥行き制御画像CN1、顔肌領域制御画像CN2、および人物領域制御画像CN3の重み付き加算時の重みは、画像処理部27で実現しようとする画像処理により定まる優先度によって決定される。具体的には、入力画像IP1の鮮鋭感の調整が行なわれる場合、顔肌領域制御画像CN2の重みが最も大きく、かつ奥行き制御画像CN1の重みが最も小さくなるように、各重みが定められる。
画像処理部27により行われる入力画像IP1に対する画像処理では、制御画像CP1の画素の画素値が大きい領域ほど、その領域と同じ位置にある入力画像IP1の領域における鮮鋭感がより強く強調される。また、例えば、制御画像CP1の画素が負の値を画素値として有する場合には、負の画素値を有する画素と同じ位置にある入力画像IP1の領域では、鮮鋭感が低減されるように、画像処理が施される。
また、例えば図5に示すように、入力画像IP11に人が含まれていない場合、奥行き制御画像CN11、顔肌領域制御画像CN12、および人物領域制御画像CN13が重み付き加算された後、さらに適宜ゲイン調整が行なわれて、制御画像CP11とされる。
図5の例では、入力画像IP11に人が含まれていないため、顔肌領域制御画像CN12と人物領域制御画像CN13の全ての画素の画素値が0となっている。そのため、実質的に奥行き制御画像CN11のみが用いられて制御画像CP11が生成されることになる。
この場合、顔肌領域制御画像CN12と人物領域制御画像CN13に割り当てられる画素値の分だけ、奥行き制御画像CN11の画素の画素値が取り得る値の範囲が狭くなってしまい、入力画像IP11の鮮鋭感が充分に強調されなくなってしまうことがある。
そこで、入力画像IP11に人が含まれていない場合、奥行き制御画像CN11乃至人物領域制御画像CN13が重み付き加算された後、さらにゲイン調整されて制御画像CP11とされる。具体的には、制御画像CP11の画素のうち、画素値が小さい画素は、より画素値が小さくなるように調整され、画素値が大きい画素は、より画素値が大きくなるように調整される。
また、入力画像IP11に人が含まれているか否かは、例えば顔肌領域制御画像CN12と人物領域制御画像CN13の画素の画素値に基づいて判定される。具体的には、例えば、顔肌領域制御画像CN12と人物領域制御画像CN13の全ての画素の画素値が所定の閾値以下である場合、入力画像IP11に人が含まれていないとされる。
さらに、例えば、被写体として人が含まれているポートレートモードや、人が含まれていない風景モードなどがユーザにより指定されることで、入力画像IP11に人が含まれているかが特定されるようにしてもよい。
図3のフローチャートの説明に戻り、制御信号合成部26は制御信号を生成すると、生成した制御信号を画像処理部27に供給し、処理はステップS17に進む。
ステップS17において、画像処理部27は、調整処理を行って出力画像を生成し、出力する。なお、調整処理の詳細は後述するが、調整処理では、制御信号合成部26から供給された制御信号に基づいて、入力画像の質感が調整され、出力画像が生成される。調整処理が行われて出力画像が生成されると、その後、画像処理は終了する。
以上のようにして、画像処理装置11は、奥行き情報と顔検出情報から、奥行き制御信号、顔肌領域制御信号、および人物領域制御信号を生成し、これらを合成した制御信号に基づいて入力画像の質感の調整を行なう。
このように、入力画像における各被写体の奥行きや、顔肌の領域、人物の輪郭の領域に応じて、入力画像の領域ごとに質感の調整の度合い(強調度合い)を適切に定めることで、より違和感のない自然な出力画像を得ることができる。
例えば、質感の調整として、鮮鋭感を調整する場合、肌の質感を適正に補正しつつ、一般的にアテンションの高い人物の領域を鮮鋭にし、それ以外の領域と差をつけることで、人間の視覚特性に近く、高品位な出力画像を得ることができる。また、人が検出されていない領域でも遠近法にしたがって鮮鋭感が制御されるので、奥行き感のある高品位な出力画像が得られる。
[調整処理の説明]
次に、図6のフローチャートを参照して、図3のステップS17の処理に対応する調整処理について説明する。この調整処理では、入力画像の鮮鋭感を調整するエンハンス処理が行われる。
ステップS41において、ハイパスフィルタ51は、供給された入力画像に対して、ハイパスフィルタを用いたフィルタ処理を施し、入力画像から高域成分を抽出する。ハイパスフィルタ51は、フィルタ処理により得られた高域成分を加減増幅器52に供給する。
ステップS42において、加減増幅器52は、制御信号合成部26から供給された制御信号に基づいて、ハイパスフィルタ51からの高域成分を、入力画像の領域ごとに増幅または減衰させ、その結果得られた補正高域成分を加算部53に供給する。
例えば、高域成分は、入力画像のうちの高域成分のみが抽出された画像の画像信号(高域信号)であり、この画像の各画素の画素値に対して、それらの画素と同じ位置にある制御信号に基づく制御画像の画素の画素値が加算され、補正高域成分とされる。したがって、制御画像の画素の画素値が正である場合には、その値の大きさに応じて高域成分が増幅され、制御画像の画素の画素値が負である場合には、その値の大きさに応じて、高域成分が減衰されることになる。
ステップS43において、加算部53は、供給された入力画像に、加減増幅器52から供給された補正高域成分を加算し、その結果得られた出力画像を出力する。入力画像に、高域成分を領域ごとに増幅または減衰させて得られた補正高域成分を加算することで、入力画像の各領域の鮮鋭感が、その領域の特性に応じて増幅または減衰される。これにより、領域ごとに鮮鋭感が調整された、立体感のある高品位な出力画像が得られる。
出力画像が出力されると調整処理は終了し、これにより図3のステップS17も終了して、画像処理は終了する。
以上のように、画像処理部27は、制御信号に基づいて入力画像の高域成分を増幅させたり、減衰させたりすることで、各領域の鮮鋭感の調整を行なう。このような制御信号を用いれば、領域ごとに鮮鋭感の調整を行なうことができ、立体感のある好ましい鮮鋭感の制御が可能となる。したがって、例えば、アテンションの高い人物に対する肌と、それ以外の部位に対する最適な画像処理や、風景のような奥行きのある画像処理において、領域ごとに適正に質感の調整を行なうことができる。その結果、画像個々のシーンに対して、適応的に、人間の視覚特性に近い自然な奥行き感の表現を実現することができる。
〈変形例1〉
[画像処理装置の構成例]
なお、入力画像は、2次元の平面画像に限らず、左眼画像と右眼画像からなる立体画像であってもよい。ここで、左眼画像とは、立体画像の観察時にユーザの左眼で観察されるように表示される画像であり、右眼画像とは観察時にユーザの右眼で観察されるように表示される画像である。
入力画像が立体画像である場合、例えば画像処理装置は、図7に示すように構成される。なお、図7において、図1における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
図7の画像処理装置81は、奥行き検出部21、顔検出部22、奥行き制御信号生成部23、顔肌領域制御信号生成部24、人物領域制御信号生成部25、制御信号合成部26、画像処理部27、奥行き検出部91、顔検出部92、奥行き制御信号生成部93、顔肌領域制御信号生成部94、人物領域制御信号生成部95、制御信号合成部96、および画像処理部97から構成される。
すなわち、画像処理装置81は、画像処理装置11にさらに奥行き検出部91乃至画像処理部97が設けられた構成とされている。また、画像処理装置81では、入力画像としての立体画像が、奥行き検出部21、顔検出部22、画像処理部27、奥行き検出部91、顔検出部92、および画像処理部97に供給される。
ここで、奥行き検出部91乃至画像処理部97は、奥行き検出部21乃至画像処理部27と同様の処理を行う。但し、奥行き検出部21乃至画像処理部27では、左眼画像に対する処理が行なわれるのに対し、奥行き検出部91乃至画像処理部97では、右眼画像に対する処理が行われる。
また、例えば、奥行き検出部21と奥行き検出部91では、立体画像に基づいて、ステレオマッチングなどにより左眼画像と右眼画像の間の視差が検出され、その検出結果に基づいて奥行き情報が生成される。具体的には、例えば奥行き検出部21では、左眼画像の各画素について、それらの画素に対応する右眼画像の画素が検出され、各画素同士の距離から画素ごとに視差が求められる。同様に奥行き検出部91では、右眼画像の各画素について、それらの画素に対応する左眼画像の画素が検出され、画素ごとに視差が求められる。
このように、入力画像が立体画像である場合であっても、立体画像の質感を領域ごとに適切に調整することができる。特に、立体画像では、奥行きの情報によって、領域ごとにより正確に質感調整の制御を変化させ、好ましい立体感を表現することができる。
〈第2の実施の形態〉
[画像処理装置の構成例]
また、以上においては、アテンションの高い領域の質感調整のために、人物領域を検出する例について説明したが、一般的にアテンションの高い、他の領域が検出されて、その領域に対する質感調整も行なわれるようにしてもよい。
そのような場合、画像処理装置は、例えば図8に示すように構成される。なお、図8において、図1における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
図8の画像処理装置121は、奥行き検出部21、顔検出部22、奥行き制御信号生成部23、顔肌領域制御信号生成部24、人物領域制御信号生成部25、制御信号合成部26、画像処理部27、誘目領域検出部131、および誘目領域制御信号生成部132から構成される。
誘目領域検出部131は、供給された入力画像から、一般的にユーザが注目すると推定される領域(以下、誘目領域と称する)を検出し、その検出結果を示す誘目領域情報を誘目領域制御信号生成部132に供給する。
誘目領域制御信号生成部132は、誘目領域検出部131から供給された誘目領域情報に基づいて、入力画像に対する質感の調整処理時における、入力画像の各領域に対する質感の強調度合いを示す誘目領域制御信号を生成し、制御信号合成部26に供給する。ここで、誘目領域制御信号は、入力画像の各領域の誘目領域らしさ、すなわちアテンションの高さに応じて、それらの領域ごとに質感の強調度合いを制御するための信号である。
制御信号合成部26は、奥行き制御信号生成部23からの奥行き制御信号、顔肌領域制御信号生成部24からの顔肌領域制御信号、人物領域制御信号生成部25からの人物領域制御信号、および誘目領域制御信号生成部132からの誘目領域制御信号を合成して、制御信号を生成する。制御信号合成部26は、生成した制御信号を、画像処理部27に供給する。
[画像処理の説明]
次に、図9のフローチャートを参照して、画像処理装置121により行われる画像処理について説明する。なお、ステップS71およびステップS72の処理は、図3のステップS11およびステップS12の処理と同様であるので、その説明は省略する。
ステップS73において、誘目領域検出部131は、供給された入力画像から誘目領域を検出し、誘目領域情報を誘目領域制御信号生成部132に供給する。
例えば、入力画像が動画像である場合、誘目領域検出部131は、処理対象の現フレームの入力画像と、過去のフレームの入力画像とを用いて、入力画像の各領域の動きベクトル(以下、ローカル動きベクトルと称する)を検出する。また、誘目領域検出部131は、入力画像に基づいて、入力画像の背景の動きベクトルをグローバル動きベクトルとして求める。例えば、グローバル動きベクトルは、入力画像の左右の端の領域の動きベクトルの平均値などとされる。
さらに、誘目領域検出部131は、入力画像の領域ごとに、グローバル動きベクトルとローカル動きベクトルとの差分を算出し、各領域の誘目領域らしさの度合いを示す誘目度を求める。この誘目度は、入力画像上の領域がどの程度ユーザの目を引くか、つまりどの程度アテンションが高いかを示している。
誘目領域検出部131は、入力画像の各領域の誘目度と、入力画像の撮像時のパン、チルト、ズームなどのカメラワークとに基づいて、入力画像上の誘目領域を検出し、誘目領域を示す誘目領域情報を、誘目領域制御信号生成部132に供給する。なお、誘目領域の検出については、例えば特開2008−53775号公報などに詳細に記載されている。
誘目領域が検出されると、その後、ステップS74乃至ステップS76の処理が行われるが、これらの処理は図3のステップS13乃至ステップS15の処理と同様であるので、その説明は省略する。
ステップS77において、誘目領域制御信号生成部132は、誘目領域検出部131から供給された誘目領域情報に基づいて誘目領域制御信号を生成し、制御信号合成部26に供給する。
例えば、誘目領域制御信号生成部132は、入力画像と同じ大きさの画像を誘目領域制御画像とし、誘目領域制御画像の各画素の画素値を、誘目領域情報に基づいて定める。例えば、入力画像上の誘目領域と同じ位置にある誘目領域制御画像の画素の画素値は大きい値とされ、入力画像上の誘目領域でない領域と同じ位置にある誘目領域制御画像の画素の画素値は小さい値とされる。
このように、入力画像の誘目領域の位置に応じて、誘目領域制御画像の各画素の画素値を定めることで、この誘目領域制御画像(誘目領域制御信号)を用いて入力画像の鮮鋭感の強調度合いを制御すれば、違和感のないより自然な出力画像を得ることができる。すなわち、入力画像のアテンションの高い領域の鮮鋭感がより強調され、注視しているものほど鮮鋭に見えるという人間の視覚特性に近しい、自然な出力画像を得ることができるようになる。
誘目領域制御信号生成部132は、このようにして得られた誘目領域制御画像の画像信号を誘目領域制御信号として、制御信号合成部26に供給する。
ステップS78において、制御信号合成部26は、奥行き制御信号生成部23からの奥行き制御信号、顔肌領域制御信号生成部24からの顔肌領域制御信号、人物領域制御信号生成部25からの人物領域制御信号、および誘目領域制御信号生成部132からの誘目領域制御信号を合成して、制御信号を生成する。そして、制御信号合成部26は、生成した制御信号を、画像処理部27に供給する。
制御信号が生成されると、その後、ステップS79の処理が行われて画像処理は終了するが、ステップS79の処理は図3のステップS17の処理と同様であるので、その説明は省略する。
以上のように、入力画像における各被写体の奥行きや、顔肌の領域、人物の輪郭の領域、誘目領域に応じて、入力画像の領域ごとに質感の調整の度合いを適切に定めることで、より違和感のない自然な出力画像を得ることができる。特に、誘目領域に応じて質感調整の度合いを定めることで、入力画像に人物以外のアテンションの高い被写体が存在する場合でも、人間の視覚特性に適した好ましい画像表示が可能となる。
〈第3の実施の形態〉
[画像処理部の構成例]
なお、以上においては、画像処理部27において、入力画像の質感の調整として、鮮鋭感の調整を行なう場合について説明したが、鮮鋭感だけでなく、コントラストの調整も行なわれるようにしてもよい。
そのような場合、図1の画像処理部27は、例えば図10に示すように構成される。すなわち、画像処理部27は、非線形フィルタ161、減算部162、増幅器163、および加算部164から構成される。この画像処理部27では、入力画像に対して、鮮鋭感とコントラストの調整が行なわれて、出力画像が生成される。
非線形フィルタ161は、供給された入力画像に対して、εフィルタなどからなる非線形フィルタを用いたフィルタ処理を施して、その結果得られた画像(以下、平滑化画像と称する)を減算部162および加算部164に供給する。ここで、非線形フィルタは、入力画像の画素値が急峻に変化する部分、つまりエッジ部分を保存したまま入力画像全体を平滑化するフィルタである。
減算部162は、供給された入力画像から、非線形フィルタ161からの平滑化画像を減算し、その結果得られたテクスチャ成分を増幅器163に供給する。増幅器163は、制御信号合成部26から供給された制御信号に基づいて、減算部162から供給されたテクスチャ成分を入力画像の領域ごとに増幅させ、加算部164に供給する。なお、以下、増幅器163で増幅された入力画像のテクスチャ成分を、適宜、補正テクスチャ成分とも称することとする。
加算部164は、非線形フィルタ161から供給された平滑化画像に、増幅器163から供給された補正テクスチャ成分を加算し、その結果得られた出力画像を出力する。
[調整処理の説明]
ところで、画像処理部27が図10に示す構成とされる場合においても、画像処理装置11により、図3を参照して説明した画像処理が行われる。また、この画像処理では、ステップS17の調整処理において、入力画像の鮮鋭感とコントラストの調整が行なわれる。
以下、図11のフローチャートを参照して、図10の画像処理部27により行われる調整処理について説明する。この調整処理は、図3のステップS17に対応する処理である。
ステップS101において、非線形フィルタ161は、供給された入力画像に対して非線形フィルタを用いたフィルタ処理を施し、その結果得られた平滑化画像を減算部162および加算部164に供給する。
このフィルタ処理では、入力画像のエッジ部分が保存されたまま、入力画像全体が平滑化される。フィルタ処理時において、非線形フィルタのタップ長を長くすれば、テクスチャ成分や補正テクスチャ成分に低域の振幅成分が含まれるようになる。このようなフィルタ処理の詳細は、例えば特開2001−298621号公報に詳細に記載されている。
ステップS102において、減算部162は、供給された入力画像から、非線形フィルタ161からの平滑化画像を減算し、入力画像からテクスチャ成分を抽出する。ここで、テクスチャ成分は、入力画像からエッジを含む成分を除いて得られる成分である。減算部162は、得られたテクスチャ成分を増幅器163に供給する。
ステップS103において、増幅器163は、制御信号合成部26から供給された制御信号に基づいて、減算部162から供給されたテクスチャ成分を入力画像の領域ごとに増幅させ、その結果得られた補正テクスチャ成分を加算部164に供給する。
例えば、テクスチャ成分は、入力画像からエッジを含む成分が除去されて得られる画像の画像信号であり、この画像の各画素の画素値に対して、それらの画素と同じ位置にある制御画像の画素の画素値が加算され、補正テクスチャ成分とされる。
ステップS104において、加算部164は、非線形フィルタ161から供給された平滑化画像に、増幅器163から供給された補正テクスチャ成分を加算し、その結果得られた出力画像を出力する。
このようにして得られた出力画像は、入力画像の鮮鋭感とコントラストが領域ごとに調整されて得られた画像である。入力画像のエッジ成分を変化させずに、テクスチャ成分を適宜強調すると、入力画像の鮮鋭感とコントラストが調整される。
加算部164から出力画像が出力されると調整処理は終了し、これにより図3のステップS17も終了して、画像処理は終了する。
以上のように、画像処理部27は、制御信号に基づいて入力画像のテクスチャ成分を増幅させることで、各領域の鮮鋭感とコントラスト感の調整を行なう。このような制御信号を用いれば、領域ごとに、立体感のある好ましい鮮鋭感およびコントラスト感の制御が可能となる。
なお、図10の画像処理部27では、平滑化画像に補正テクスチャ成分が加算されて、出力画像とされると説明したが、入力画像に補正テクスチャ成分が加算されて、出力画像とされるようにしてもよい。
〈第4の実施の形態〉
[画像処理部の構成例]
また、図10の画像処理部27では、テクスチャ成分に対して鮮鋭感やコントラスト感の調整が行なわれると説明したが、エッジ成分に対しても鮮鋭感の調整が行なわれるようにしてもよい。
そのような場合、画像処理装置11の画像処理部27は、例えば図12に示すように構成される。なお、図12において、図10における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
すなわち、画像処理部27は、非線形フィルタ161、減算部162、増幅器163、加算部164、ハイパスフィルタ191、加減増幅器192、および加算部193から構成される。すなわち、図12の画像処理部27は、図10の画像処理部27に、さらにハイパスフィルタ191乃至加算部193が設けられた構成となっている。
ハイパスフィルタ191は、非線形フィルタ161から供給された平滑化画像に対して、ハイパスフィルタを用いたフィルタ処理を施し、その結果得られたエッジ成分を加減増幅器192に供給する。
加減増幅器192は、制御信号合成部26から供給された制御信号に基づいて、ハイパスフィルタ191から供給されたエッジ成分を、入力画像の領域ごとに増幅または減衰させ、加算部193に供給する。ここで、加減増幅器192に供給される制御信号は、増幅器163に供給される制御信号の生成に用いられた重みとは、異なる重みが用いられて生成された信号である。
なお、以下、加減増幅器192で増幅または減衰された入力画像のエッジ成分を、適宜、補正エッジ成分とも称することとする。
加算部193は、加算部164から供給された画像に、加減増幅器192から供給された補正エッジ成分を加算し、その結果得られた出力画像を出力する。
[調整処理の説明]
画像処理部27が図12に示す構成とされる場合、画像処理装置11により、図3を参照して説明した画像処理が行われるが、ステップS16において、制御信号合成部26は、異なる2つの制御信号を生成し、それぞれ増幅器163と加減増幅器192に供給する。
すなわち、制御信号合成部26は、所定の重みにより、奥行き制御信号、顔肌領域制御信号、および人物領域制御信号を重み付き加算して制御信号を生成し、増幅器163に供給する。また、制御信号合成部26は、上述の所定の重みとは異なる重みにより、奥行き制御信号、顔肌領域制御信号、および人物領域制御信号を重み付き加算して制御信号を生成し、加減増幅器192に供給する。
また、この画像処理では、ステップS17の調整処理において、入力画像のテクスチャ成分とエッジ成分がそれぞれ増幅または減衰され、鮮鋭感とコントラストの調整が行なわれる。
以下、図13のフローチャートを参照して、図12の画像処理部27により行われる調整処理について説明する。この調整処理は、図3のステップS17に対応する処理である。
なお、ステップS131乃至ステップS134の処理は、図11のステップS101乃至ステップS104の処理と同様であるので、その説明は諸略する。
但し、ステップS131では、非線形フィルタ161は、フィルタ処理により得られた平滑化画像を減算部162、加算部164、およびハイパスフィルタ191に供給する。また、ステップS134では、加算部164は、非線形フィルタ161からの平滑化画像に、増幅器163からの補正テクスチャ成分を加算し、得られた画像を加算部193に供給する。
ステップS135において、ハイパスフィルタ191は、非線形フィルタ161から供給された平滑化画像に対して、ハイパスフィルタを用いたフィルタ処理を施し、入力画像のエッジ成分を抽出する。ハイパスフィルタ191は、抽出したエッジ成分を加減増幅器192に供給する。
ステップS136において、加減増幅器192は、制御信号合成部26からの制御信号に基づいて、ハイパスフィルタ191からのエッジ成分を、入力画像の領域ごとに増幅または減衰させ、加算部193に供給する。すなわち、エッジ成分の画像の各画素の画素値に対して、制御信号に基づく制御画像の画素の画素値が加算されて、補正エッジ成分とされる。
ステップS137において、加算部193は、加算部164から供給された、補正テクスチャ成分が加算された平滑化画像に、加減増幅器192から供給された補正エッジ成分を加算し、その結果得られた出力画像を出力する。加算部193から出力画像が出力されると調整処理は終了し、これにより図3のステップS17も終了して、画像処理は終了する。
このように、入力画像のテクスチャ成分だけでなく、テクスチャ成分とは独立に、各領域のエッジ成分の鮮鋭感を調整することで、より適切なエッジの強調制御が可能となり、立体感のある好ましい出力画像を得ることができる。
〈第5の実施の形態〉
[画像処理部の構成例]
さらに、画像処理部27において超解像処理が行われて、入力画像がより高い解像度の出力画像に変換されるようにし、その際に、制御信号に応じて領域ごとに超解像効果の度合い、つまり超解像のかかり具合が適応的に制御されるようにしてもよい。
そのような場合、図1の画像処理装置11の画像処理部27は、例えば図14に示すように構成される。
すなわち、図14の画像処理部27は、クラスタップ抽出部221、ADRC(Adaptive Dynamic Range Control)処理部222、クラス分類部223、予測係数保持部224、予測タップ抽出部225、および予測演算部226から構成される。この画像処理部27では、入力画像がクラスタップ抽出部221および予測タップ抽出部225に供給される。
クラスタップ抽出部221は、これから生成しようとする出力画像(この出力画像は、これから求めようとする画像あり、現段階では存在しないため、仮想的に想定される)の画素を、順次、注目する注目画素とする。クラスタップ抽出部221は、供給された入力画像における、注目画素と同じ位置近傍のいくつかの画素を、注目画素を複数のクラスのうちの何れかにクラス分けするためのクラスタップとして抽出し、ADRC処理部222に供給する。
ADRC処理部222は、クラスタップ抽出部221から供給されたクラスタップにADRC処理を施し、ADRC処理の施されたクラスタップをクラス分類部223に供給する。
クラス分類部223は、ADRC処理部222から供給されたクラスタップに基づいて、注目画素をクラス分類し、その結果、注目画素が分類されたクラスを示すクラスコードを生成する。また、クラス分類部223は、制御信号合成部26から供給された制御信号に基づいて、予測係数保持部224に記録されている複数の予測係数からなる予測係数セットのうち、どの予測係数セットを用いるかを示す予測係数セットIDを生成する。
すなわち、予測係数保持部224には、クラスコードごとの予測係数からなる予測係数セットが複数記録されている。この予測係数は、注目画素の予測に用いられるものであり、学習により予め求められている。また、同じクラスコードの予測係数であっても、異なる予測係数セットを構成する予測係数であれば、予測係数の値は異なり、予測係数セットごとに、超解像効果の度合い、例えば鮮鋭感などの質感が異なる注目画素が得られる。
クラス分類部223は、クラスコードと、予測係数セットを特定する予測係数セットIDとを予測係数保持部224に供給する。予測係数保持部224は、クラス分類部223から供給されたクラスコードおよび予測係数セットIDにより特定される予測係数を、予測演算部226に供給する。
予測タップ抽出部225は、供給された入力画像における、注目画素と同じ位置近傍のいくつかの画素を、注目画素の画素値を予測するために用いられる予測タップとして抽出し、予測演算部226に供給する。予測演算部226は、予測タップ抽出部225から供給された予測タップ、つまり予測タップを構成する画素の画素値に、予測係数保持部224から供給された予測係数を乗算して、注目画素の画素値を予測演算し、出力画像を生成する。予測演算部226は、生成した出力画像を出力する。
[調整処理の説明]
ところで、画像処理部27が図14に示す構成とされる場合においても、画像処理装置11により、図3を参照して説明した画像処理が行われる。また、この画像処理では、ステップS17の調整処理において、入力画像が、入力画像よりも解像度の高い出力画像に変換される。
以下、図15のフローチャートを参照して、図14の画像処理部27により行われる調整処理について説明する。この調整処理は、図3のステップS17に対応する処理である。
ステップS161において、画像処理部27は、これから生成しようとする出力画像の画素を1つ選択し、注目画素とする。
ステップS162において、クラスタップ抽出部221は、供給された入力画像からクラスタップを抽出し、ADRC処理部222に供給する。
ステップS163において、ADRC処理部222は、クラスタップ抽出部221から供給されたクラスタップにADRC処理を施し、クラス分類部223に供給する。
例えば、ADRC処理部222は、クラスタップを構成する画素の画素値の最大値MAXおよび最小値MINを検出し、検出された画素値の最大値MAXと最小値MINとの差DRを、クラスタップを構成する画素の集合の局所的なダイナミックレンジとする。
ADRC処理部222は、このダイナミックレンジDRに基づいて、クラスタップを構成する画素(の画素値)を1ビットに再量子化する。つまり、ADRC処理部222は、クラスタップを構成する各画素の画素値から最小値MINを減算し、その減算値をDR/2で除算(量子化)する。そして、ADRC処理部222は、以上のようにして得られるクラスタップを構成する1ビットの各画素の画素値を所定の順番で並べたビット列をクラス分類部223に供給する。
ステップS164において、クラス分類部223は、ADRC処理部222から供給されたビット列に基づいて、注目画素のクラス分類を行なう。例えば、クラス分類部223は、ADRC処理部222から供給されたビット列をそのままクラスコードとする。
また、クラス分類部223は、制御信号合成部26から供給された制御信号に基づく制御画像の画素のうち、注目画素と同じ位置近傍にある画素の画素値に基づいて、予測係数セットIDを選択する。例えば、制御画像の画素の画素値の取り得る範囲が、いくつかの範囲に分割され、それらの分割された範囲ごとに予測係数セットIDが対応付けられている。クラス分類部223は、制御信号に示される画素の画素値が属す範囲に対応付けられている予測係数セットIDを選択する。
クラス分類部223は、このようにして選択した予測係数セットIDとクラスコードを予測係数保持部224に供給する。すると、予測係数保持部224は、予め記録している各予測係数セットの予測係数のうち、クラス分類部223からの予測係数セットIDとクラスコードにより特定される予測係数を、予測演算部226に供給する。すなわち、予測係数セットIDにより特定される予測係数セットに属す予測係数のうち、クラスコードにより特定される予測係数が選択されて出力される。
ステップS165において、予測タップ抽出部225は、供給された入力画像における、注目画素と同じ位置近傍のいくつかの画素を予測タップとして抽出し、予測演算部226に供給する。
ステップS166において、予測演算部226は、予測タップ抽出部225から供給された予測タップの画素の画素値に、予測係数保持部224から供給された予測係数を乗算し、注目画素の画素値を予測演算する。すなわち、予測係数が乗算された画素値の和が注目画素の画素値とされる。
ステップS167において、画像処理部27は、出力画像の全ての画素について予測演算を行なったか否かを判定する。例えば、出力画像の全ての画素が注目画素とされ、その画素値が算出された場合、全ての画素について予測演算を行なったと判定される。
ステップS167において、まだ全ての画素について予測演算を行なっていないと判定された場合、処理はステップS161に戻り、上述した処理が繰り返される。
これに対して、ステップS167において、全ての画素について予測演算を行なったと判定された場合、処理はステップS168に進む。
ステップS168において、予測演算部226は、注目画素とした各画素の画素値からなる出力画像を出力し、調整処理は終了する。調整処理が終了すると、これにより図3のステップS17も終了し、画像処理は終了する。
このように、画像処理部27では、出力画像の領域ごとに、制御信号に基づいて予測係数セットが選択されるので、超解像効果の度合い、つまり解像度の創造の度合いを領域ごとに調整することが可能となり、立体感のある好ましい出力画像を得ることができる。
〈第6の実施の形態〉
[画像処理部の構成例]
また、制御信号に応じて、入力画像の彩度が調整されるようにしてもよい。そのような場合、図1の画像処理装置11の画像処理部27は、例えば図16に示すように構成される。
すなわち、図16の画像処理部27は、分離部251、彩度加減増幅器252、および合成部253から構成される。この例では、入力画像の画像信号は、例えば輝度信号(Y信号)と、クロマ信号(CbCr信号)とからなる画像信号とされる。
分離部251は、供給された入力画像を、輝度成分(輝度信号)とクロマ成分(クロマ信号)とに分離し、輝度成分を合成部253に供給するとともに、クロマ成分を彩度加減増幅器252に供給する。
彩度加減増幅器252は、制御信号合成部26から供給された制御信号に基づいて、分離部251から供給されたクロマ成分(色差成分)を、入力画像の領域ごとに増幅または減衰させ、合成部253に供給する。合成部253は、分離部251からの輝度成分と、彩度加減増幅器252からのクロマ成分とからなる画像を出力画像として出力する。
[調整処理の説明]
ところで、画像処理部27が図16に示す構成とされる場合においても、画像処理装置11により、図3を参照して説明した画像処理が行われる。また、この画像処理では、ステップS17の調整処理において、入力画像のクロマ成分の調整が行なわれる。
以下、図17のフローチャートを参照して、図16の画像処理部27により行われる調整処理について説明する。この調整処理は、図3のステップS17に対応する処理である。
ステップS191において、分離部251は、供給された入力画像を、輝度成分とクロマ成分とに分離し、輝度成分を合成部253に供給するとともに、クロマ成分を彩度加減増幅器252に供給する。
ステップS192において、彩度加減増幅器252は、制御信号合成部26から供給された制御信号に基づいて、分離部251から供給されたクロマ成分を、入力画像の領域ごとに増幅または減衰させ、合成部253に供給する。例えば、クロマ成分の画像の各画素の画素値に対して、それらの画素と同じ位置にある制御画像の画素の画素値が加算され、補正後のクロマ成分とされる。
ステップS193において、合成部253は、分離部251からの輝度成分の輝度信号と、彩度加減増幅器252からのクロマ成分のクロマ信号とからなる画像信号を、出力画像の画像信号として出力する。
このようにして得られた出力画像は、入力画像の彩度が領域ごとに調整されて得られた画像である。合成部253から出力画像が出力されると調整処理は終了し、これにより図3のステップS17も終了して、画像処理は終了する。
以上のように、画像処理部27は、制御信号に基づいて入力画像のクロマ成分を増幅または減衰させることで、各領域の彩度の調整を行なう。このような制御信号を用いれば、領域ごとに、立体感のある好ましい彩度の制御が可能となる。
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図18は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)301,ROM(Read Only Memory)302,RAM(Random Access Memory)303は、バス304により相互に接続されている。
バス304には、さらに、入出力インターフェース305が接続されている。入出力インターフェース305には、キーボード、マウス、マイクロホンなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307、ハードディスクや不揮発性のメモリなどよりなる記録部308、ネットワークインターフェースなどよりなる通信部309、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア311を駆動するドライブ310が接続されている。
以上のように構成されるコンピュータでは、CPU301が、例えば、記録部308に記録されているプログラムを、入出力インターフェース305及びバス304を介して、RAM303にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU301)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア311に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア311をドライブ310に装着することにより、入出力インターフェース305を介して、記録部308にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部309で受信し、記録部308にインストールすることができる。その他、プログラムは、ROM302や記録部308に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
さらに、本技術は、以下の構成とすることも可能である。
[1]
入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号を生成する奥行き制御信号生成部と、
前記入力画像における人の顔の肌の領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号を生成する顔肌領域制御信号生成部と、
前記入力画像における人の領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する人物領域制御信号を生成する人物領域制御信号生成部と、
前記奥行き制御信号、前記顔肌領域制御信号、および前記人物領域制御信号を合成して、制御信号を生成する制御信号合成部と
を備える画像処理装置。
[2]
前記制御信号に基づいて、前記入力画像の各領域の質感の調整を行ない、出力画像を生成する画像処理部をさらに備える
上記[1]に記載の画像処理装置。
[3]
前記画像処理部は、前記制御信号に基づいて、前記入力画像のエッジ成分を増幅または減衰させる
上記[2]に記載の画像処理装置。
[4]
前記画像処理部は、前記制御信号に基づいて、前記入力画像のテクスチャ成分を増幅させる
上記[2]に記載の画像処理装置。
[5]
前記画像処理部は、前記制御信号とは異なる他の制御信号に基づいて、前記入力画像のエッジ成分を増幅または減衰させる
上記[4]に記載の画像処理装置。
[6]
前記画像処理部は、
前記出力画像の領域ごとに、前記制御信号に基づいて前記出力画像の生成に用いる予測係数を選択する予測係数選択部と、
前記入力画像と前記予測係数とに基づいて、前記入力画像よりも解像度の高い前記出力画像を生成する予測演算部と
上記[2]に記載の画像処理装置。
[7]
前記画像処理部は、前記制御信号に基づいて、前記入力画像のクロマ成分を増幅または減衰させる
上記[2]に記載の画像処理装置。
[8]
前記入力画像におけるアテンションが高いと推定される領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する誘目領域制御信号を生成する誘目領域制御信号生成部をさらに備え、
前記制御信号合成部は、前記奥行き制御信号、前記顔肌領域制御信号、前記人物領域制御信号、および前記誘目領域制御信号を合成して、前記制御信号を生成する
上記[1]または[2]に記載の画像処理装置。
[9]
前記顔肌領域制御信号生成部は、前記入力画像からの人の顔の領域の検出結果に基づいて、人の顔の肌の領域を特定して前記顔肌領域制御信号を生成し、処理対象の前記入力画像から人の顔の領域が検出されなかった場合、過去の前記入力画像における人の顔の肌の領域の特定結果に基づいて、前記処理対象の前記入力画像における人の顔の肌の領域を特定する
上記[1]乃至[8]の何れかに記載の画像処理装置。
[10]
前記人物領域制御信号生成部は、前記入力画像からの人の顔の領域の検出結果、または前記入力画像の人の顔の肌の領域の特定結果の少なくとも何れかを用いて、前記入力画像における人の領域を特定し、前記人物領域制御信号を生成する
上記[9]に記載の画像処理装置。
11 画像処理装置, 21 奥行き検出部, 22 顔検出部, 23 奥行き制御信号生成部, 24 顔肌領域制御信号生成部, 25 人物領域制御信号生成部, 26 制御信号合成部, 27 画像処理部, 131 誘目領域検出部, 132 誘目領域制御信号生成部

Claims (17)

  1. 入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号と、前記入力画像の画素の顔肌領域らしさに応じて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号とを合成して、制御信号を生成する制御信号合成部を備える
    画像処理装置。
  2. 前記制御信号合成部は、前記奥行き制御信号および前記顔肌領域制御信号を重み付き加算により合成し、前記制御信号を生成する
    請求項1に記載の画像処理装置。
  3. 前記制御信号合成部は、前記顔肌領域制御信号に最も大きい重みを用い、かつ前記奥行き制御信号に最も小さい重みを用いて前記重み付き加算を行う
    請求項2に記載の画像処理装置。
  4. 前記顔肌領域制御信号の値は前記入力画像の画素ごとに定められる
    請求項1乃至請求項3の何れか一項に記載の画像処理装置。
  5. 前記制御信号合成部は、前記奥行き制御信号と、前記顔肌領域制御信号と、前記入力画像における人の領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する人物領域制御信号とを合成して、前記制御信号を生成する
    請求項1乃至請求項4の何れか一項に記載の画像処理装置。
  6. 前記人物領域制御信号の値は、前記入力画像の画素ごとに定められるとともに、前記入力画像の画素位置が人物らしい領域である場合、予め定められた所定値とされ、前記入力画像の画素位置が人物らしい領域でない場合、前記所定値よりも小さい値とされる
    請求項5に記載の画像処理装置。
  7. 前記制御信号に基づいて、前記入力画像の各領域の質感の調整を行ない、出力画像を生成する画像処理部をさらに備える
    請求項1乃至請求項6の何れか一項に記載の画像処理装置。
  8. 前記画像処理部は、前記制御信号に基づいて、前記入力画像のエッジ成分を増幅または減衰させる
    請求項7に記載の画像処理装置。
  9. 前記画像処理部は、前記制御信号に基づいて、前記入力画像のテクスチャ成分を増幅させる
    請求項7に記載の画像処理装置。
  10. 前記画像処理部は、前記制御信号とは異なる他の制御信号に基づいて、前記入力画像のエッジ成分を増幅または減衰させる
    請求項9に記載の画像処理装置。
  11. 前記画像処理部は、
    前記出力画像の領域ごとに、前記制御信号に基づいて前記出力画像の生成に用いる予測係数を選択する予測係数選択部と、
    前記入力画像と前記予測係数とに基づいて、前記入力画像よりも解像度の高い前記出力画像を生成する予測演算部と
    を備える請求項7に記載の画像処理装置。
  12. 前記画像処理部は、前記制御信号に基づいて、前記入力画像のクロマ成分を増幅または減衰させる
    請求項7に記載の画像処理装置。
  13. 前記制御信号合成部は、前記奥行き制御信号と、前記顔肌領域制御信号と、前記人物領域制御信号と、前記入力画像におけるアテンションが高いと推定される領域に基づいて、前記入力画像の各領域の質感の強調度合いを制御する誘目領域制御信号とを合成して、前記制御信号を生成する
    請求項5または請求項6に記載の画像処理装置。
  14. 前記顔肌領域制御信号は、前記入力画像からの人の顔の領域の検出結果に基づいて、人の顔の肌の領域を特定することで生成され、処理対象の前記入力画像から人の顔の領域が検出されなかった場合、過去の前記入力画像における人の顔の肌の領域の特定結果に基づいて、前記処理対象の前記入力画像における人の顔の肌の領域が特定される
    請求項5または請求項6に記載の画像処理装置。
  15. 前記人物領域制御信号は、前記入力画像からの人の顔の領域の検出結果、または前記入力画像の人の顔の肌の領域の特定結果の少なくとも何れかを用いて、前記入力画像における人の領域を特定することで生成される
    請求項14に記載の画像処理装置。
  16. 入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号と、前記入力画像の画素の顔肌領域らしさに応じて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号とを合成して、制御信号を生成する制御信号合成部を備える画像処理装置の画像処理方法であって、
    前記制御信号合成部が前記制御信号を生成する
    ステップを含む画像処理方法。
  17. 入力画像の各領域における被写体の奥行き位置に基づいて、前記入力画像の各領域の質感の強調度合いを制御する奥行き制御信号と、前記入力画像の画素の顔肌領域らしさに応じて、前記入力画像の各領域の質感の強調度合いを制御する顔肌領域制御信号とを合成して、制御信号を生成する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2011073042A 2011-03-29 2011-03-29 画像理装置および方法、並びにプログラム Expired - Fee Related JP5743142B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011073042A JP5743142B2 (ja) 2011-03-29 2011-03-29 画像理装置および方法、並びにプログラム
US13/408,024 US8867824B2 (en) 2011-03-29 2012-02-29 Image processing apparatus, method, and program
IN839DE2012 IN2012DE00839A (ja) 2011-03-29 2012-03-22
CN201210078359.1A CN102737368B (zh) 2011-03-29 2012-03-22 图像处理设备和方法
US14/476,135 US9875553B2 (en) 2011-03-29 2014-09-03 Image processing apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011073042A JP5743142B2 (ja) 2011-03-29 2011-03-29 画像理装置および方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2012208671A JP2012208671A (ja) 2012-10-25
JP2012208671A5 JP2012208671A5 (ja) 2014-04-03
JP5743142B2 true JP5743142B2 (ja) 2015-07-01

Family

ID=46927325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011073042A Expired - Fee Related JP5743142B2 (ja) 2011-03-29 2011-03-29 画像理装置および方法、並びにプログラム

Country Status (4)

Country Link
US (2) US8867824B2 (ja)
JP (1) JP5743142B2 (ja)
CN (1) CN102737368B (ja)
IN (1) IN2012DE00839A (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5743142B2 (ja) * 2011-03-29 2015-07-01 ソニー株式会社 画像理装置および方法、並びにプログラム
JP2013009293A (ja) * 2011-05-20 2013-01-10 Sony Corp 画像処理装置、画像処理方法、プログラム、および記録媒体、並びに学習装置
JP5713885B2 (ja) * 2011-12-26 2015-05-07 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP2014042176A (ja) * 2012-08-23 2014-03-06 Sony Corp 画像処理装置および方法、プログラム、並びに、固体撮像装置
KR20140088465A (ko) * 2013-01-02 2014-07-10 삼성전자주식회사 디스플레이 방법 및 디스플레이 장치
JP2015035658A (ja) 2013-08-07 2015-02-19 キヤノン株式会社 画像処理装置、画像処理方法、および撮像装置
EP3036901B1 (en) * 2013-08-19 2019-01-30 Nokia Technologies OY Method, apparatus and computer program product for object detection and segmentation
JP6119719B2 (ja) * 2014-02-05 2017-04-26 カシオ計算機株式会社 医療用皮膚検査装置、皮膚病変を検査する方法並びにプログラム
KR102211592B1 (ko) * 2014-03-19 2021-02-04 삼성전자주식회사 전자 장치 및 이의 영상 처리 방법
JP6263461B2 (ja) * 2014-09-26 2018-01-17 日立オートモティブシステムズ株式会社 撮像装置
CN105096338B (zh) * 2014-12-30 2018-06-22 天津航天中为数据***科技有限公司 运动目标提取方法及装置
RU2634225C1 (ru) * 2016-06-20 2017-10-24 Общество с ограниченной ответственностью "САТЕЛЛИТ ИННОВАЦИЯ" (ООО "САТЕЛЛИТ") Способы и системы поиска объекта в видеопотоке
CN106991377B (zh) * 2017-03-09 2020-06-05 Oppo广东移动通信有限公司 结合深度信息的人脸识别方法、人脸识别装置和电子装置
CN106991379B (zh) * 2017-03-09 2020-07-10 Oppo广东移动通信有限公司 结合深度信息的人体皮肤识别方法及装置和电子装置
CN106991688A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 人体跟踪方法、人体跟踪装置和电子装置
WO2018216280A1 (ja) * 2017-05-25 2018-11-29 シャープ株式会社 画像処理装置、画像処理プログラム、記録媒体および画像処理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1137267A3 (en) * 2000-02-07 2005-09-14 Sony Corporation Device and method for image processing
JP4415236B2 (ja) 2000-02-07 2010-02-17 ソニー株式会社 画像処理装置及び画像処理方法
JP4596213B2 (ja) * 2001-06-15 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
RU2216781C2 (ru) * 2001-06-29 2003-11-20 Самсунг Электроникс Ко., Лтд Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта
JP4087631B2 (ja) * 2001-08-24 2008-05-21 富士フイルム株式会社 撮像装置、画像処理装置、撮像方法、画像処理方法、画像処理システム、及びプログラム
JP2004207985A (ja) * 2002-12-25 2004-07-22 Fuji Photo Film Co Ltd デジタルカメラ
EP1510973A3 (en) * 2003-08-29 2006-08-16 Samsung Electronics Co., Ltd. Method and apparatus for image-based photorealistic 3D face modeling
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
JP4449723B2 (ja) * 2004-12-08 2010-04-14 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
JP2007020033A (ja) * 2005-07-11 2007-01-25 Nikon Corp 電子カメラおよび画像処理プログラム
JP4869653B2 (ja) * 2005-08-03 2012-02-08 オリンパス株式会社 画像処理装置
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
JP2009038737A (ja) * 2007-08-03 2009-02-19 Canon Inc 画像処理装置
JP5096993B2 (ja) * 2008-04-15 2012-12-12 日本電信電話株式会社 色変換装置、色変換方法および色変換プログラム
JP5127628B2 (ja) * 2008-08-08 2013-01-23 キヤノン株式会社 画像処理装置および画像処理方法
KR101468267B1 (ko) * 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
JP5316869B2 (ja) * 2009-03-27 2013-10-16 カシオ計算機株式会社 画像処理装置、画像処理方法、及びプログラム
WO2010134502A1 (ja) * 2009-05-18 2010-11-25 小平アソシエイツ株式会社 画像情報出力方法
JP5293463B2 (ja) * 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8643701B2 (en) * 2009-11-18 2014-02-04 University Of Illinois At Urbana-Champaign System for executing 3D propagation for depth image-based rendering
JP5743142B2 (ja) * 2011-03-29 2015-07-01 ソニー株式会社 画像理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US8867824B2 (en) 2014-10-21
US20120250979A1 (en) 2012-10-04
JP2012208671A (ja) 2012-10-25
CN102737368A (zh) 2012-10-17
CN102737368B (zh) 2017-03-01
US20140376809A1 (en) 2014-12-25
US9875553B2 (en) 2018-01-23
IN2012DE00839A (ja) 2015-08-28

Similar Documents

Publication Publication Date Title
JP5743142B2 (ja) 画像理装置および方法、並びにプログラム
EP2852152B1 (en) Image processing method, apparatus and shooting terminal
US8515254B2 (en) Video editing apparatus and video editing method
US20110235905A1 (en) Image processing apparatus and method, and program
JP4746575B2 (ja) 画像処理装置及びその方法
US8189947B2 (en) Image edge correction apparatus and method
NO338509B1 (no) Anordning og metode for å bedre dynamisk område i digitale bilder
JP2010055194A (ja) 画像処理装置および方法、学習装置および方法、並びにプログラム
WO2008153702A1 (en) Face and skin sensitive image enhancement
JP2011113363A (ja) 画像処理装置、画像処理方法、およびプログラム
US9438880B2 (en) Image processing apparatus, image processing method, and program
JPWO2008105222A1 (ja) ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
KR20140118031A (ko) 영상 처리 장치 및 방법
JP7265316B2 (ja) 画像処理装置及び画像処理方法
JP2009025862A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置
JP6161847B1 (ja) 画像処理装置及び画像処理方法
US10929959B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP5975215B2 (ja) 画像処理装置及び画像処理プログラム、画像調整装置及び画像調整プログラム
KR101651889B1 (ko) 극저조도 영상의 화질 개선 장치 및 방법
JP2014016792A (ja) 画像処理装置および方法、並びにプログラム
Karaali et al. Image retargeting based on spatially varying defocus blur map
CN115471413A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
KR101760463B1 (ko) 깊이 지도 보정 방법 및 그 장치
TWI474282B (zh) 深度相關的影像加強
KR101631023B1 (ko) 이웃 기반의 강도 보정 장치, 백그라운드 획득 장치 및 그 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150422

R151 Written notification of patent or utility model registration

Ref document number: 5743142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees