JP4677753B2 - 動画像処理装置及び方法 - Google Patents

動画像処理装置及び方法 Download PDF

Info

Publication number
JP4677753B2
JP4677753B2 JP2004290188A JP2004290188A JP4677753B2 JP 4677753 B2 JP4677753 B2 JP 4677753B2 JP 2004290188 A JP2004290188 A JP 2004290188A JP 2004290188 A JP2004290188 A JP 2004290188A JP 4677753 B2 JP4677753 B2 JP 4677753B2
Authority
JP
Japan
Prior art keywords
image processing
moving
parameters
object region
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004290188A
Other languages
English (en)
Other versions
JP2006108873A (ja
Inventor
由佳子 松本
佑子 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2004290188A priority Critical patent/JP4677753B2/ja
Priority to EP05020016A priority patent/EP1643762A1/en
Priority to US11/226,363 priority patent/US8514293B2/en
Publication of JP2006108873A publication Critical patent/JP2006108873A/ja
Application granted granted Critical
Publication of JP4677753B2 publication Critical patent/JP4677753B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/215Motion-based segmentation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Processing Of Color Television Signals (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Image Analysis (AREA)

Description

本発明は、動画像処理装置及び方法に関し、特に、画像表現に対する人間の好みが被写体の種類によって異なることに対応した動画像処理を行う画像処理装置及び方法に関する。
デジタルビデオカメラ、動画像撮影機能付きデジタルカメラなどによって撮像される動画像は、毎秒15フィールドから60フィールドの映像信号であり、フィールド当たりの画素数は、3色(赤(R)、緑(G)、青(B))合計で、200万画素程度から1000万画素程度である。このような動画像の画質を向上させるため、ホワイトバランス調整や、好ましい色合いにチューニングするための色補正、出力機器(ブラウン管、モニター)の非線形な出力特性に合わせるためのガンマ補正(階調補正)、見かけ上の解像度を上げるための輪郭強調(エッジ強調)、ノイズ低減処理などが行われる。
ところで、出力画像を見る者にとって好ましい画像とは、必ずしも測光・測色的に原色に忠実な再現とは限らず、例えば色に関しては、澄んだ青空、健康的な肌色など、人々が好む記憶色(見慣れた対象について思い浮かべる標準的な色)の存在が知られている。このように、画像表現のパラメータとして上記のように色の他、階調(ガンマ)、輪郭などがあげられるが、人間の好みは被写体によってこれらが異なる傾向がある。例えば被写体が風景であれば、より鮮やかな色、硬めのガンマ特性、くっきりとした輪郭が好まれ、被写体が人物であれば、好ましい肌色、軟調なガンマ特性、ソフトな輪郭が好まれる傾向がある。撮影シーンとしてこれらが共存するケースは数多い。
特に、肌色は画像表現上重要な色であり、例えば、特許文献1においては、テレビ、カメラなどの映像機器では肌色が記憶色とされる所定の色になるようにチューニングがなされている。具体的には、特許文献1では、肌色の画素からなるすべての領域(肌領域)の重要度と、肌画像の重要度を算出する。ここに、肌領域重要度は、肌色画素数が多いほど、また、その領域が画像中央にあるほど大きい値となるように定義されている。さらに、肌領域重要度に基づいて肌画像重要度が算出される。ここに、肌画像重要度は、重要度の高い肌領域が多く含まれる程大きくなるよう定義されており、肌領域が全く含まれない画像に対しては、ゼロとされる。ここで、空の青や草木の緑など自然風景中の3原色は、クロマ(彩度)が高い方が好まれるが、人間の肌色の彩度は、自然風景中の3原色に比べて相対的に低い方が好まれる傾向がある。そこで、肌色以外のクロマは常に一定倍する一方、肌画像重要度が大きい画像ほど肌色のクロマが増加しないようにするため、好印象を与える画像を提供することができる。
特許第3387071号公報(図13)
しかし、特許文献1に開示された技術では、肌色以外のクロマは常に一定倍するため、必ずしも見る者の感性にとって最適に処理された画像とはならない。
また、特許文献1に開示された技術では、動体領域/静止体領域を区別した処理を行うができない。
そこで、本発明は、動体領域/静止体領域を区別して処理を行うことにより、画像表現に対する人間の嗜好に柔軟に対応した動画像処理装置及び方法を提供することを目的とする。
《1》
本発明は、動画像内の動体領域と静止体領域を識別し、各々に異なる色再現・階調・輪郭・ノイズのいずれかの画像処理パラメータを適用する。
具体的には、請求項1に係る動画像処理装置は、撮像画像の中から動体領域または静止体領域を認識する認識部と、色、階調、輪郭、ノイズのいずれかの画像処理のパラメータを定めるパラメータ制御部と、パラメータに基づいて撮像画像に画像処理を施す画像処理部とを備え、動体領域の一部または全体に画像処理を施すパラメータは、静止体領域の一部または全体に画像処理を施すパラメータとは異なることを特徴とする。
なお好ましくは、動体領域には人物用に予め定められた色再現の処理パラメータ(例えば肌色を記憶色に近づけるパラメータ)を選択し、静止体領域には風景用に予め定められた色再現の処理パラメータ(例えば青色や緑色を風景の記憶色に近づけるパラメータ)を選択する。
また好ましくは、動体領域には人物用に予め定められた階調の処理パラメータ(例えば軟調寄りで肌色の階調を豊かにするパラメータ)を選択し、静止体領域には風景用に予め定められた階調の処理パラメータ(例えば硬調寄りで風景のコントラストを高めるパラメータ)を選択する。
なお好ましくは、動体領域には人物用に予め定められた輪郭強調の処理パラメータ(例えば輪郭強調をソフト寄りにして肌再現をソフトにするパラメータ)を選択し、静止体領域には風景用に予め定められた輪郭強調の処理パラメータ(例えば輪郭強調を強めにして風景のディテール表現を豊かにするパラメータ)を選択する。
また好ましくは、動体領域には人物用に予め定められたノイズ処理の処理パラメータ(例えばノイズ除去を強めて肌部分のノイズを和らげるパラメータ)を選択し、静止体領域には風景用に予め定められたノイズ処理の処理パラメータ(例えばノイズ除去を弱めて風景のディテール欠落を避けるパラメータ)を選択する。
《2》
また、請求項2にかかる発明は、請求項1記載の動画像処理装置において、認識部は、静止体領域から1種類以上の静止体を認識し、画像処理部は、1種類以上の静止体ごとに、異なるパラメータで画像処理を施すことを特徴とする。
《3》
また、請求項3にかかる発明は、請求項1記載の動画像処理装置において、認識部は、特定色領域が動体領域であるか否かを認識し、画像処理部は、特定色領域が動体領域か否かによって、異なるパラメータで画像処理を施すことを特徴とする。
《4》
また、請求項4にかかる発明は、請求項1記載の動画像処理装置において、画像処理部は、動体領域が人物であるときはその肌色を、予め定められた記憶色に近づけることを特徴とする。
《5》
また、請求項5に係る発明は、請求項1記載の動画像処理装置において、少なくとも動体領域/静止体領域ごとにパラメータを入力するためのパラメータ入力部をさらに備え、パラメータ入力部は、入力されたパラメータを、パラメータ制御部に設定することを特徴とする。
《6》
また、請求項6にかかる発明は、請求項1記載の動画像処理装置を使用する動画像処理方法において、撮像画像をブロックに分割し、各ブロックの動きベクトルを検出する動き検出ステップと、動きベクトルを検出されたブロックを含む動体領域の一部または全体に対して、ひとつのパラメータで画像処理を施すとともに、静止体領域の一部または全体に対して、別のパラメータで画像処理を施す画像処理ステップとを含むことを特徴とする。
《7》
また、請求項7にかかる発明は、請求項6記載の動画像処理方法において、静止体領域から1種類以上の静止体を認識するステップを有し、画像処理ステップにおいて、1種類以上の静止体ごとに、異なるパラメータで画像処理を施すことを特徴とする。
《8》
また、請求項8に係る発明は、請求項6記載の動画像処理方法において、動き検出ステップにおいて、特定色領域中のブロックの動きベクトルを認識し、画像処理ステップでは、特定色領域が動体領域か否かによって、異なるパラメータで画像処理を施すことを特徴とする。
《9》
また、請求項9に係る発明は、請求項6記載の動画像処理方法において、画像処理ステップにおいて、動体領域が人物であるときはその肌色を、予め定められた記憶色に近づけることを特徴とする。
《10》
また、請求項10に係る発明は、請求項6記載の動画像処理方法において、少なくとも動体領域/静止体領域ごとにパラメータを入力設定するためのパラメータ設定ステップをさらに有する。
本発明によれば、動体領域/静止体領域を区別して処理を行うことにより、動体/静止体といった画像表現の違いに対する人間の嗜好に、柔軟に対応することが可能になる。
以下、図面を参照して本発明の実施形態について説明する。
[動画像処理装置]
図1は、動画像処理装置のブロック図である。
この動画像処理装置は、光学系1で被写体を撮像素子3(CCD(電荷結合素子)など)上に結像させる。撮像素子3では、光電変換が行われ、撮像信号がアナログ処理部4に入力される。
撮像制御部2は、光学系1などから測光データなどを受け取り、そのデータに基づいて、シャッタ速度の制御や、光学系1の絞り制御などを行う。また、測光データの測色結果やモニタ用に撮像された画像の測色結果に基づいて、アナログ処理部4は撮像画像のホワイトバランスの調整等を行う。
アナログ処理部4から出力される撮像信号は、A/D5(アナログデジタル変換器)で、デジタル信号に変換される。A/D5の出力は、画像処理部6(演算ユニット、メモリ、入出力ポートなどを含む演算処理ユニットであり、画像処理プログラムにより動作する)へ入力される。
画像処理部6の出力は、記録部7(フラッシュメモリなどの半導体メモリ、光メモリ、超小型磁気ディスクなど)に記録される。
また、画像処理部6の出力は、D/A8(デジタルアナログ変換器)でアナログ信号に変換され、外部に出力される。
認識部10は、A/D5が出力するデジタル撮像信号を入力し、動く物(動体)を検出する。
ここで動体とは、周囲に対して相対的に動く物をいう。
そこで、認識部10は、撮像制御部2から、動画像処理装置の速度データや加速度データなどを取り込む。これによって、パンニングやズーミングによる画像全体の運動、手ブレによる画像全体の揺らぎ、風などによる背景の揺らぎなどの影響を除去する。なお、そのため、動き量に閥値を設定し、それ以下の部分を静止体と認識してもよい。すなわち、光学系1を左右に振るパンニングや、上下に振るパンニング・アップやパンニング・ダウンなどによって画面全体が動画像となる場合は加速度センサ等による移動情報、また光学系1のズーミングを行った場合は撮像制御部2から得られるズーミングなどの制御情報に基づいて動画像全体の動きをキャンセルした上で、動体領域を認識する。なお、認識部10は、動体及び静止体双方を認識することとしてもよい。これによって、確実に動体部を認識することができる。
こうして、認識部10は、認識した動体領域の座標情報を、パラメータ制御部20に出力する。
パラメータ制御部20は、動体領域の座標及び画像処理(色補正、階調補正、輪郭強調など)のパラメータを決定し、画像処理部6へ出力する。ここに、動体領域の一部または全体に画像処理を施すパラメータは、静止体領域の一部または全体に画像処理を施すパラメータとは異なっている。そのため、各領域の各部分ごとに座標を指定して画像処理パラメータを異ならせる制御を行う。
また、パラメータ制御部20は、アナログ処理部4へ画像処理パラメータを送る。例えば、アナログ処理部4は、この画像処理パラメータによって撮像素子3の出力のRGBゲイン設定を変更することにより、予備的に、例えば、ホワイトバランスの調整を行う。このような予備的調整により、画像処理部6の負荷を低減する。
パラメータ入力部30は、ユーザの所望の画像処理パラメータの入力を受け、その入力をパラメータ制御部20に出力する。これによって、入力されたパラメータが、パラメータ制御部20から、認識部10、アナログ処理部4、画像処理部6へ、それぞれ、出力される。
また、パラメータ入力部30は、入力された画像処理パラメータを撮像制御部2に出力する。撮像制御部2に出力するルートを設ける理由は、ユーザの意図に従って、車と人など、動き量の異なるものを意図的に識別したい場合があるからである。そのため、パラメータの入力方法としては、「赤い」+「自動車」+「速い」などのように色や形状や速度を選択すればよい。この例では、アナログ処理部4は、赤い自動車の動体領域について、R(赤)信号のゲインを増大させるなどの制御が行われる。こうして、撮像条件を事前にユーザ所望の画像処理内容に適合させるため、画像処理部6の負荷が低減される。
こうして、画像処理部6は、そのメモリに格納されたデフォルトのパラメータまたはパラメータ入力部30からカスタム入力されたパラメータのいずれかで画像処理を行う。
[画像処理パラメータ]
動画像処理装置が行う画像処理には、色補正(ホワイトバランス調整、彩度補正、色相補正など)、階調補正、輪郭強調、ノイズ処理などがある。
色補正は、光学系1で発生する混色の補正や理想撮像特性の実現のために行われるもので、入力したRGB信号の値にリニアマトリックス演算を行う方式や、RGB及びシアン、マゼンダ、イエローの補色3色の計6色を独自に調整するクロマ補正方式などがある。これらの方式におけるパラメータの入力のため、例えば、特定の色を指定して、測色値か記憶色(見慣れた対象について思い浮かべる標準的な色)を選択すれば、パラメータ制御部20で上述した方式に従ってパラメータを設定すればよい。
また、階調補正は、画像表示装置の輝度特性を補償するための補正である。例えば、ブラウン管は入力信号に対し輝度出力が2.2乗となる特性をもつため、忠実な出力特性を得るためには1/2.2乗の階調補正を行うことでブラウン管の出力をリニアにする。さらに、シャドウ部・ハイライト部の傾きを緩やかにして中間部を急峻にしたり(一般に硬調と呼ばれる)、逆に中間部分の傾きを緩やかにしたり(一般に軟調と呼ばれる)する。また、軟調と硬調の中間に中間調を設けてもよい。このように、階調補正のパラメータは、シャドウ部、直線部、ハイライト部の一部または全部の補正を定量的または定性的に指定するパラメータである。定量的な指定の場合、ボタン操作により、階調値を選択するなどによりパラメータが入力される。また、定性的な指定の場合、例えば、「軟調」とだけ指定するときは、動画像処理装置にデフォルトで組み込まれた内容の「軟調」補正が行われる。
また、輪郭強調は、見かけ上の解像度を向上するため、映像の輪郭成分を抽出して強調し、もとの映像に付加する画像処理である。パラメータとしての入力のため、例えば、輪郭がシャープになるにつれて、3段階のうちいずれか(弱、中、強)を選択すればよい。
[動画像処理方法]
図2は、動画像処理方法を説明するためのフローチャートである。
このフローチャートは、大別すると、撮像画像をブロックに分割し、各ブロックの動きベクトルを検出する動き検出ステップ(S10〜S30)と、動きベクトルを検出されたブロックを含む動体領域に対して、ひとつのパラメータで画像処理を施すとともに、静止体領域に対して、別のパラメータで上記画像処理を施す画像処理ステップ(S50〜S80)の2つのステップからなる。
上記の2つのステップのうち、動き検出ステップは、公知である。
以下、フローチャートの各ステップについて詳細に説明する。
まず、S10において、画像処理パラメータが入力されたか否かが、パラメータ入力部30によって判定される。
S10において、画像処理パラメータが入力されたときは、S20に進み、その入力値がパラメータ制御部20または撮像制御部2へ出力される。
一方、S10において、画像処理パラメータが入力されていないときは、S21に進み、画像処理パラメータのデフォルト値が、パラメータ制御部20から、認識部10、アナログ処理部4、画像処理部6へ、それぞれ出力される。なお、画像処理部6に格納されたデフォルト値のみで画像処理が可能であるときは、パラメータ制御部20は使用されない。
次に、S20またはS21に続いて、S30において、撮像画像の1フレームをブロック(例えば、16画素×16画素)に分割し、ブロックごとの動きベクトルから動く物(動体)と静止体が、認識部10によって認識される。認識の手法としては、公知のビデオマット法、背景画像との差分を利用する方法(例えば、特開平4−216181号公報)、動的輪郭法(例えば、特開平10−21408号公報)を用いるとよい。
次に、S40において、動体は人物か否かが、認識部10によって判定される。この判定は、眉毛、口、目などを検出し、それらの位置関係などから、人物であるか否かが判定される。また、肌色を検出することで、判定を行ってもよい。また、顔の部位と肌色双方から判定を行ってもよい。
S40において、動体が人物であると判定されれば、S50に進み、動体領域(動く人物)の肌色を、記憶色に近い適度な肌色に近づける。また、このとき、階調補正、輪郭強調について人物に適した画像処理を行ってもよい。このような画像処理を画像処理部6に行わせるために、認識部10は、動体領域のブロック番号(領域情報)を、パラメータ制御部20を介して画像処理部6に出力する。
一方、S40において、動体領域が人物ではないときは、S51に進み、動体領域に対して、背景の画像処理パラメータと同じにするか、もしくは予めカスタム設定された画像処理パラメータ(車用に彩度高め、硬調、輪郭くっきりなどのパラメータ)に設定される。このような画像処理を画像処理部6に行わせるために、認識部10は、動体領域のブロック番号(領域情報)を、パラメータ制御部20を介して画像処理部6に出力する。
S50またはS51に続いて、S60において、静止体領域(背景)は複数の種類の静止体を含むか否かが、認識部10によって判定される。例えば、背景が、緑や青空を含んでいれば、静止体の種類は2つである。この判定は、静止体の主として色判別(付随的に形状判別)に基づいて行われる。
S60において、認識部10によって、静止体の種類が複数であると判定されたときは、S70に進み、パラメータ制御部20によって、各静止体の種類別に異なる画像処理パラメータが付与される。なお、このとき、静止体の1つまたは幾つかを選択して、異なる画像処理パラメータを付与することとしてもよい。こうして、S80において、画像処理部6によって、動体領域(被写体)と複数の静止体を含む静止体領域(背景)とに対して、異なるパラメータで画像処理が施される。
一方、S60において、静止体の種類が複数ではない(1つである)と判定されたときは、S80に進み、動体領域の一部または全部に対して、パラメータ制御部20からの座標情報にもとづいて、あるパラメータで画像処理が行われるとともに、静止体領域の一部または全体に対して、パラメータ制御部20からの座標情報に基づいて、別のパラメータで画像処理が施される。
[画像処理パラメータのデフォルト設定]
動画像処理パラメータをデフォルトで行うため、デフォルトの動画像パラメータを、パラメータ制御部20または画像処理部6のメモリに格納しておく。
デフォルト値は、一般的な動画撮影目的を考慮し、動体領域は人物、静止体領域は風景をターゲットとしてもよい。具体的には、静止体領域を肌色にチューニングした色補正・軟調の階調特性・ソフトな輪郭に処理するパラメータとし、動体領域を高彩度な色補正、硬調な階調特性、くっきりとした輪郭補償といった組み合わせとする。さらに、空や草木などに応じて異なる画像処理パラメータをデフォルト値に設定しておくとよい。
図3を参照して、撮像画像とデフォルト設定との関係を説明する。
図3(a)に示す動体は、歩いている人物であり、図3(b)に示すように、肌色がチューニングされ、階調曲線が軟調とされ、輪郭強調は弱くされている。なお、人物のうち肌色以外の色の部分を認識し、その部分に画像処理を施すことも可能である。
一方、図3(a)に示す背景(静止体領域)は、移動する物体が存在せず、図3(b)に示す例では、背景の画像部分が、高彩度に色補正され、階調曲線が硬調とされ、輪郭強調は強くされている。特に、色補正、階調補正、輪郭強調は、空、草木などに応じて異ならせるデフォルト設定とすると、画像表現における見る者の好みをより的確に反映させることができる。
[画像処理パラメータのカスタム設定]
次に、動画像処理パラメータのカスタム設定について説明する。
まず、ユーザがカスタム設定のためのパラメータをパラメータ入力部30に入力すると、入力された値は、パラメータ制御部20を介して画像処理部6に出力され、画像処理が行われる。なお、上記入力値は、直接撮像制御部2にも入力され、画像処理の前に、光学系1及び撮像素子3を所望の画像処理に適合させる。
色補正、階調補正、輪郭強調は、人物、空、草木、風景などに応じて異ならせるカスタム設定とすると、画像表現における見る者の好みをより的確に反映させることができる。
図4を参照して、撮像画像とカスタム設定との関係を説明する。
図4(a)に示す動体は、走行中の車両であり、図4(b)に示す例では全体が、高彩度にチューニングされ、階調曲線が硬調とされ、輪郭強調は強くされている。なお、背景のうち特定の色を有する部分を認識し、その部分に画像処理を施すことも可能である。 一方、図4(a)に示す背景(静止体領域)には移動する物体が存在せず、図4(b)に示す例では、背景全体が、低彩度に色補正され、階調曲線が軟調とされ、輪郭強調は中程度とされている。なお、背景のうち特定の色を有する部分を認識し、その部分に画像処理を施すことも可能である。
図3、図4に示した例に限らず、静止体領域が古い町並みなどであるときは、図示した例とは異なる低彩度・軟調とすることによつて、より画像表現の幅を広げることができる。
このように、カスタム設定は人物、車両、風景などの対象を選択し、ソフト、くっきりなどの画像処理の方向性を選択することで最適な動画像処理パラメータが決定されるが、対象選択及びまたは方向性選択を多様化することにより、画像表現における見る者の好みをさらにより的確に反映させることができる。また、色補正・階調補正・輪郭強調の度合いを個々に選択できるようにすればより好適である。
動画像処理装置のブロック図である。 動画処理装置の動作を説明するためのフローチャートである。 撮像画像の一例とデフォルト設定された画像処理パラメータの一例である。 撮像画像の一例とカスタム設定された画像処理パラメータの一例である。
符号の説明
1 光学系
2 撮像制御部
3 撮像素子
4 アナログ処理部
5 A/D
6 画像処理部
7 記録部
8 D/A
10 認識部
20 パラメータ制御部
30 パラメータ入力部

Claims (10)

  1. 一の撮像画像の中における動体領域または静止体領域を認識する認識部と、
    前記動体領域の被写体が人物であるか否かを判定する判定部と、
    色、階調、輪郭の各画像処理のパラメータの組み合わせを定めるパラメータ制御部と、
    前記パラメータに基づいて前記撮像画像に画像処理を施す画像処理部とを備え、
    前記動体領域の一部または全体に前記画像処理を施す前記パラメータの組み合わせは、静止体領域の一部または全体に前記画像処理を施す前記パラメータの組み合わせとは異なっており、且つ、
    前記動体領域が前記人物であると判定された場合に前記動体領域と前記静止体領域のそれぞれに施される前記パラメータの各組み合わせは、前記動体領域が前記人物ではないと判定された場合に前記動体領域と前記静止体領域のそれぞれに施される前記パラメータの各組み合わせとは異なっていることを特徴とする動画像処理装置。
  2. 請求項1記載の動画像処理装置において、
    前記認識部は、前記静止体領域から1種類以上の静止体を認識し、
    前記画像処理部は、前記1種類以上の静止体ごとに、異なるパラメータで前記画像処理を施す
    ことを特徴とする動画像処理装置。
  3. 請求項1記載の動画像処理装置において、
    前記画像処理部は、前記動体領域が前記人物であるときはその肌色を、予め定められた記憶色に近づける
    ことを特徴とする動画像処理装置。
  4. 請求項記載の動画像処理装置において、
    前記画像処理部は、前記動体領域が前記人物であるときは、前記動体領域に対する階調曲線を軟調とするとともに輪郭強調は弱く処理し、そして前記静止体領域に対しては高彩度に色補正し階調曲線を硬調とし輪郭強調を強く処理する
    ことを特徴とする動画像処理装置。
  5. 請求項1記載の動画像処理装置において、
    少なくとも動体領域/静止体領域ごとに前記パラメータを入力するためのパラメータ入力部をさらに備え、
    前記パラメータ入力部は、入力された前記パラメータを、前記パラメータ制御部に設定する
    ことを特徴とする動画像処理装置。
  6. 一の撮像画像の中における動体領域または静止体領域を認識する認識ステップと、
    前記動体領域の被写体が人物であるか否かを判定する判定ステップと、
    色、階調、輪郭の各画像処理のパラメータの組み合わせを定めるパラメータ制御ステップと、
    前記パラメータに基づいて前記撮像画像に画像処理を施す画像処理ステップとを含み、
    前記認識ステップは、前記撮像画像をブロックに分割し、各ブロックの動きベクトルを検出する動き検出ステップを含み、
    動きベクトルを検出されたブロックを含む前記動体領域の一部または全体に前記画像処理を施す前記パラメータの組み合わせは、静止体領域の一部または全体に前記画像処理を施す前記パラメータの組み合わせとは異なっており、且つ、
    前記動体領域が前記人物であると判定された場合に前記動体領域と前記静止体領域のそれぞれに施される前記パラメータの各組み合わせは、前記動体領域が前記人物ではないと判定された場合に前記動体領域と前記静止体領域のそれぞれに施される前記パラメータの各組み合わせとは異なっていることを特徴とする動画像処理方法。
  7. 請求項6記載の動画像処理方法において、
    前記静止体領域から1種類以上の静止体を認識するステップを有し、
    前記画像処理ステップにおいて、前記1種類以上の静止体ごとに、異なるパラメータで前記画像処理を施すことを特徴とする動画像処理方法。
  8. 請求項6記載の動画像処理方法において、
    前記動き検出ステップでは、特定色領域中の前記ブロックの動きベクトルを認識し、
    前記画像処理ステップでは、前記特定色領域が前記動体領域か否かによって、異なるパラメータで前記画像処理を施す
    ことを特徴とする動画像処理方法。
  9. 請求項6記載の動画像処理方法において、
    前記画像処理ステップにおいて、前記動体領域が人物であるときはその肌色を、予め定められた記憶色に近づける
    ことを特徴とする動画像処理方法。
  10. 請求項6記載の動画像処理方法において、
    少なくとも動体領域/静止体領域ごとに前記パラメータを入力設定するためのパラメータ設定ステップをさらに有することを特徴とする動画像処理方法。
JP2004290188A 2004-10-01 2004-10-01 動画像処理装置及び方法 Expired - Fee Related JP4677753B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004290188A JP4677753B2 (ja) 2004-10-01 2004-10-01 動画像処理装置及び方法
EP05020016A EP1643762A1 (en) 2004-10-01 2005-09-14 Moving image processing device and method for performing different image processings to moving object region and still object region
US11/226,363 US8514293B2 (en) 2004-10-01 2005-09-15 Moving image processing device and method for performing different image processings to moving object region and still object region

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004290188A JP4677753B2 (ja) 2004-10-01 2004-10-01 動画像処理装置及び方法

Publications (2)

Publication Number Publication Date
JP2006108873A JP2006108873A (ja) 2006-04-20
JP4677753B2 true JP4677753B2 (ja) 2011-04-27

Family

ID=35501158

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004290188A Expired - Fee Related JP4677753B2 (ja) 2004-10-01 2004-10-01 動画像処理装置及び方法

Country Status (3)

Country Link
US (1) US8514293B2 (ja)
EP (1) EP1643762A1 (ja)
JP (1) JP4677753B2 (ja)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的***和方法
JP4777126B2 (ja) * 2006-04-20 2011-09-21 キヤノン株式会社 画像取得装置及びその制御方法
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US10229389B2 (en) * 2008-02-25 2019-03-12 International Business Machines Corporation System and method for managing community assets
US8319819B2 (en) * 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
US8218831B2 (en) * 2008-06-30 2012-07-10 Cisco Technology, Inc. Combined face detection and background registration
US8694658B2 (en) * 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US20100073362A1 (en) * 2008-09-23 2010-03-25 Ike Ikizyan Method And System For Scene Adaptive Dynamic 3-D Color Management
US8391617B2 (en) * 2008-11-04 2013-03-05 Eastman Kodak Company Event recognition using image and location information
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
JP5615012B2 (ja) * 2010-03-29 2014-10-29 富士フイルム株式会社 白バランス安定調整装置およびその制御方法,白バランス安定調整のためのプログラム
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US8854481B2 (en) * 2012-05-17 2014-10-07 Honeywell International Inc. Image stabilization devices, methods, and systems
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
US10885606B2 (en) * 2019-04-08 2021-01-05 Honeywell International Inc. System and method for anonymizing content to protect privacy

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6185238A (ja) * 1984-10-02 1986-04-30 Nippon Denso Co Ltd 車両用映像装置
JPH05167888A (ja) * 1991-12-12 1993-07-02 Nippon Columbia Co Ltd 映像信号の階調補正回路
JPH06311392A (ja) * 1993-04-20 1994-11-04 Fujitsu General Ltd 画像補正方法およびその装置
JPH0981754A (ja) * 1995-09-19 1997-03-28 Matsushita Electric Ind Co Ltd 動き検出回路
JPH0991453A (ja) * 1995-09-21 1997-04-04 Sanyo Electric Co Ltd 画像処理方法およびその装置
JP2000152036A (ja) * 1998-11-18 2000-05-30 Sony Corp ノイズ除去装置およびノイズ除去方法
JP2002010106A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを記録した媒体
JP2003216941A (ja) * 2002-01-21 2003-07-31 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP3448980B2 (ja) * 1994-09-27 2003-09-22 株式会社日本自動車部品総合研究所 車両用視認補助装置
JP2004080252A (ja) * 2002-08-14 2004-03-11 Toshiba Corp 映像表示装置及びその方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9019538D0 (en) * 1990-09-07 1990-10-24 Philips Electronic Associated Tracking a moving object
JPH04216181A (ja) 1990-12-14 1992-08-06 Nippon Telegr & Teleph Corp <Ntt> 物体抽出処理方法
EP0532052B1 (en) * 1991-09-12 2008-02-13 FUJIFILM Corporation Method for extracting object images and method for detecting movements thereof
US5323470A (en) * 1992-05-08 1994-06-21 Atsushi Kara Method and apparatus for automatically tracking an object
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
JP3387071B2 (ja) 1993-04-20 2003-03-17 ソニー株式会社 画像識別装置および方法
KR100292138B1 (ko) * 1993-07-12 2002-06-20 이데이 노부유끼 디지탈비디오신호용송신기및수신기
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
JP3461626B2 (ja) * 1995-07-28 2003-10-27 シャープ株式会社 特定画像領域抽出方法及び特定画像領域抽出装置
JPH1021408A (ja) 1996-07-04 1998-01-23 Canon Inc 画像抽出装置および方法
TR199700058A3 (tr) * 1997-01-29 1998-08-21 Onural Levent Kurallara dayali hareketli nesne bölütlemesi.
US6396599B1 (en) * 1998-12-21 2002-05-28 Eastman Kodak Company Method and apparatus for modifying a portion of an image in accordance with colorimetric parameters
US6906744B1 (en) * 1999-09-28 2005-06-14 Nikon Corporation Electronic camera
JP4402850B2 (ja) * 2001-03-16 2010-01-20 富士フイルム株式会社 鑑賞用データ補正方法および装置並びに記録媒体
JP3543774B2 (ja) * 2001-03-19 2004-07-21 ミノルタ株式会社 画像処理装置、画像処理方法および記録媒体
US6903782B2 (en) * 2001-03-28 2005-06-07 Koninklijke Philips Electronics N.V. System and method for performing segmentation-based enhancements of a video image
JP4150949B2 (ja) * 2001-05-30 2008-09-17 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1396818B1 (en) * 2001-06-15 2012-10-03 Sony Corporation Image processing apparatus and method and image pickup apparatus
JP4596220B2 (ja) * 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1357515A1 (de) * 2002-04-22 2003-10-29 Agfa-Gevaert AG Verfahren zur Verarbeitung digitaler Bilddaten von fotografischen Bildern
US7082211B2 (en) * 2002-05-31 2006-07-25 Eastman Kodak Company Method and system for enhancing portrait images
EP1376471A1 (en) * 2002-06-19 2004-01-02 STMicroelectronics S.r.l. Motion estimation for stabilization of an image sequence
US7446797B2 (en) * 2003-02-10 2008-11-04 Activeye, Inc. User assisted customization of automated video surveillance systems
US7263220B2 (en) * 2003-02-28 2007-08-28 Eastman Kodak Company Method for detecting color objects in digital images
CN1857008B (zh) * 2004-02-19 2010-05-05 三菱电机株式会社 图像处理方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6185238A (ja) * 1984-10-02 1986-04-30 Nippon Denso Co Ltd 車両用映像装置
JPH05167888A (ja) * 1991-12-12 1993-07-02 Nippon Columbia Co Ltd 映像信号の階調補正回路
JPH06311392A (ja) * 1993-04-20 1994-11-04 Fujitsu General Ltd 画像補正方法およびその装置
JP3448980B2 (ja) * 1994-09-27 2003-09-22 株式会社日本自動車部品総合研究所 車両用視認補助装置
JPH0981754A (ja) * 1995-09-19 1997-03-28 Matsushita Electric Ind Co Ltd 動き検出回路
JPH0991453A (ja) * 1995-09-21 1997-04-04 Sanyo Electric Co Ltd 画像処理方法およびその装置
JP2000152036A (ja) * 1998-11-18 2000-05-30 Sony Corp ノイズ除去装置およびノイズ除去方法
JP2002010106A (ja) * 2000-06-22 2002-01-11 Matsushita Electric Ind Co Ltd ノイズ低減装置、ノイズ低減方法およびノイズ低減プログラムを記録した媒体
JP2003216941A (ja) * 2002-01-21 2003-07-31 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP2004080252A (ja) * 2002-08-14 2004-03-11 Toshiba Corp 映像表示装置及びその方法

Also Published As

Publication number Publication date
US20060072813A1 (en) 2006-04-06
EP1643762A1 (en) 2006-04-05
US8514293B2 (en) 2013-08-20
JP2006108873A (ja) 2006-04-20

Similar Documents

Publication Publication Date Title
JP4677753B2 (ja) 動画像処理装置及び方法
US7912282B2 (en) Image processing apparatus for correcting an input image and image processing method therefor
JP4154847B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体
US8199227B2 (en) Image-signal processing apparatus for performing space-variant image-signal processing
US6919924B1 (en) Image processing method and image processing apparatus
US8229217B2 (en) Image processing method and apparatus, image processing program and medium storing this program
EP1494170A2 (en) Signal processing apparatus, signal processing program and electronic camera
EP2426928A2 (en) Image processing apparatus, image processing method and program
US8170345B2 (en) Imaging system, image processing method, and image processing program
US6563602B1 (en) Image processing apparatus and method, and recording medium
JP2000228747A (ja) 画像処理装置
JPH0974494A (ja) 色再現域補正方法、色再現域補正装置および記録媒体
US20180061029A1 (en) Image processing apparatus, imaging apparatus, image processing method, and storage medium storing image processing program of image processing apparatus
CN105960658B (zh) 图像处理装置、摄像装置、图像处理方法以及可通过计算机处理的非暂时性的存储介质
KR100609155B1 (ko) 영상 처리 장치 및 이를 이용한 역광 보정 방법
CN104247398A (zh) 摄像设备及其控制方法
JPH11331738A (ja) 画像処理方法および装置
US8390693B2 (en) Image processing apparatus
JP2003009164A (ja) ディジタルカメラ
JP5733588B2 (ja) 画像処理装置および方法、並びにプログラム
JP4203791B2 (ja) 撮像装置、色調整装置及び色調整方法
JP2009296172A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、撮像装置の制御方法、プログラム及び記録媒体
JP2000201277A (ja) 画像補正方法
WO2007097517A1 (en) Adjustive chroma key composition apparatus and method
JP4207259B2 (ja) 映像信号処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070926

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100709

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110117

R150 Certificate of patent or registration of utility model

Ref document number: 4677753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees