JP5139293B2 - 撮像カメラ処理装置及び撮像カメラ処理方法 - Google Patents

Description

本発明は、最適出力画像Is（すなわち、前述の画像の最適な外見）を判定する撮像カメラ装置に関する。

本発明は、カメラ内の前述の最適な外見の出力画像を判定する方法、及び前述の方法のアルゴリズム工程をコード化したコンピュータ・プログラムにも関する。

現代のカメラは、（専用の）自動最適化手順を提供することにより、物理的な撮像原理に従った画像キャプチャの最適化といううんざりする作業からユーザを解放する。

鮮鋭度の最適化（自動フォーカシング）は、前述の最適化の一例である。レンズ系の物理特性に高く依存するので、最適化に好適な特性である。通常のカメラでは、全てのオブジェクト（奥行き面）の鮮鋭度が高い訳でないことがあり得る。しかし、例えば、単純な物理的解析及び／数学的解析（例えば、線広がりをみることなど）によって、ユーザが示す中心領域の鮮鋭度を高くすることが可能であり、通常、これが、ユーザの望みに十分対応する。実際には、多くのユーザは、現代のカメラにより、難しい自動フォーカシング条件の下でも、手動フォーカスよりも自動フォーカスのほうが鮮鋭度の高いピクチャを得ることができる。

自動化の別の例には、シーンをフォト・メジャーし、変換テーブルの使用を要することからユーザを解放する自動露出がある。このシステムは、その挙動を分かっている。

しかし、前述のシステムの欠点は、キャプチャされたかなり多くの画像が外見上、それほど好適でなく、又は、一部の画像が外見上、単に見苦しいことが実際に明らかになっている（これは、都市景観全体のカメラ・パニングによってうまく例証される。その場合、建物は、多くの空が撮像されたピクチャの低ダイナミックレンジ表示上にレンダリングされると認識できなくなりさえすることがあり得る）。

本願の発明者によれば、自動露出は、基本的に望ましくない。鮮鋭度のような単純に最適化可能な特性と違って、シーンの色補償は、その幾何学的構成と同様にピクチャの芸術性である特性である（すなわち、技術システムが、それに影響を及ぼすよう、しかし、好ましくは、うんざりしないやり方で存在すべきである）。

したがって、キャプチャする画像に対してユーザ・コントロールを強化する手法を有することが望ましい。特に、PC写真編集ソフトウェアにおいて可能なものと多少類似したいくつかの編集機能及び画像改良機能を既に有していることが望ましい。キャプチャする対象及び方法（例えば、画素上の雑音の量）に対して完全なコントロールをユーザがなお有するのはキャプチャ時であるが、後に、元の３Dシーンと特定の写真表現との間の修復不能のデータ喪失があり得るからである。更に、ユーザは多分、キャプチャ中に既に、後に用いるためにピクチャを「最適に」記憶したいやり方を決定することが可能である。画素輝度などの実際のキャプチャ・パラメータの多くは、情報がうまくキャプチャされること（例えば、黒色内の細部が喪失されるクリッピングがない）に留意されている限り、なお必要な場合、いずれにせよ後に更に変更可能（「補正可能」）であり得る。

これは、画像キャプチャ・カメラ・システム（４００）の一部を形成するよう構成された撮像カメラ装置（４０１）によって容易にされる。撮像カメラ装置（４０１）は、
入力（４０３）を介して撮像センサ（４０６）から受け取られたキャプチャされた画像（Io）において自分の選好のオブジェクト（１０１）の幾何位置の少なくとも１つの表示(gp)をユーザが規定することを可能にするユーザインタフェース（４２０）と、
表示(gp)に基づいて、オブジェクト（１０１）の一部である画素の組（ｓｇ）を判定するよう構成されたユーザ適合可能なオブジェクト・セグメント化装置（４１０）と、
画素の組(sg)における画素の少なくとも１つの色特性に基づいて少なくとも１つの統計（ST）を判定するよう構成された色構成監視装置（４１２）とを備え、
撮像カメラ装置は、画素の組内の画素の少なくとも１つの色特性に、変換インタフェース装置を介してオブジェクト変換装置に供給される、ユーザの規定に基づいて変換を施すよう構成されるオブジェクト変換装置を更に備え、オブジェクト変換装置は、画素の組の外の画素の少なくとも１つの色特性に、別の変換を施すか、又は変換を施さないよう構成される。

人間の視覚系には、シーン、及びシーン内のオブジェクトがカメラとは全く違ったふうにみえる。最新のカメラの大半が線形（例えば、CCD。少なくともセンサに関する限り、出力画像信号を得るために逆ガンマ特性が施されない）であるのみならず、人間の視覚系は非線形である（例えば、より多くの輝度を同じ範囲（例えば、0-225）においてキャプチャすることが可能である）。非線形関数は、シ―ンの状態（例えば、平均輝度）に応じて適合可能である。人間の視覚系は、非常に（インテリジェントに）適合可能である。日なたにある車の写真をカメラでとると、車上に強烈な影を有する画像を得ることができる、この陰は、元のキャプチャ状態を知らないと、観察環境における観察者にとって不快になり得る。人間は、オブジェクト全体を「車」としてみがちになり、影に気付かないこともあり得る（すなわち、より目立たないように脳が「補正する」）。

その表面上で各種の周囲色を反射する銀色のクリスマスの球のような込み入ったオブジェクトの場合、人間は、クリスマスの球の色をなお合理的に判定することが可能である。

本発明によれば、前述の「正しいシーン表現画像」（これは、人間がオフラインで視るうえでより適切な画像を意味する、すなわち、強烈な影等がなく、-特に、クリッピングされた色があまり多くない、すなわち、絵描きによる画像の描写と少し似ている、それにより、人間の現実的な効果がもたらされる、すなわち、例えば、暗い影がより少なく、場合によっては、明るい太陽光照射を補償した、車の写真）に到達するために人間の視覚系が行うことを必要とすることの中で難しい部分、すなわち、シーン、及びその適切なオブジェクト、並びにそれらの関係の理解は、セグメント化の手作業の表示部分によって対処される。すなわち、本発明は、更なる解析のために、シーンの好適な特徴付けを、その少なくとも１つの重要なオブジェクトとして提供する。これにより、カメラ・アルゴリズムをよりインテリジェントにすることが可能になる。

更に、ユーザは、更なるピクチャのキャプチャの必要性の有無にかかわらず（すなわち、何れかの画像（場合によっては既に再構成されている画像）、又はメモリに現在存在している更なるデータを備えた画像組に基づいて）シーン・オブジェクトを、自分の望みに応じて（かつ、物理的な制約を前提として）最も整合がとれているようにするための更なるコントロールを有する。

撮像カメラ装置（４０１）の実施例は、少なくとも１つの更なる画像をキャプチャするための少なくとも１つのキャプチャ・パラメータ(cp)を最適化するよう構成されたキャプチャ最適化装置（４２４）を備える。

画像処理の自動部分（センサのキャプチャ・パラメータ（例えば、露出期間など）の変更、又は、出力されたセンサ・キャプチャ画像の後処理（色修正を施すことなど））は、その場合、ユーザにとって比較的単純であり得るものであり、通常、シーンの物理的現実に基づいた煩雑な数理処理（人間はこれが上手でなく、行いたくない（例えば、ユーザによって選択された種々の画像オブジェクト内の画素の色の統計的尺度に基づいて、最適な露出を判定することなど））を伴う。しかし、最適化は、既存のキャプチャ最適化システムに対して、シーンにおける重要なコンテンツに対するずっと増大させたコントロールに基づいて行われる。キャプチャ・パラメータ(cp)は、例えば、シャッター・スピード、アパーチャ、増幅率、コントラスト調節、色温度補正、及びカラーキャスト除去の１つ又はいくつかであり得る。

より単純な変形の１つでは、グレイ値範囲は（例えば、互いと関連して、キャプチャされた画像(Io)におけるユーザ選択オブジェクト及びバックグラウンド・オブジェクトの少なくとも一部の画素組の範囲を示すモンタージュ写真（６０１）を介して）修正可能である。

撮像カメラ装置（４０１）が、ユーザ規定（spp）に基づいてオブジェクト（１０１）の画素の組(sg)の少なくとも１つの色特性の幾何プロファイルを修正するよう構成された空間修正装置（４１６）を備える場合、効果的である。

多くの画像の場合、ユーザにとって範囲再配分が十分になるが、他のタイプの画像（例えば、シーンの小部分が、場合によっては、幾何学的に依存する（例えば、オブジェクトの特定部分がイルミナントに非常に近い一方、別の部分が影の中にある）ように過度に照光されている画像）に対する十分なコントロールを与える訳でない。

ユーザはその場合、範囲をシフトさせることが可能であるが、白色にクリッピングされた画素が、灰色にクリッピングされた画素になり、オブジェクトにわたるコントラストは、ユーザの望みによって整合がとれるにはなお大きすぎることがあり得るので、このことはユーザに役立たない。ユーザは、例えば、発展する、より均等な色プロファイルを規定したいことがあり得る。

撮像カメラ装置（４０１）が、ユーザによって判定される外見（すなわち、例えば、オブジェクト範囲をシフトさせる位置、更なる画像のキャプチャの必要性の有無（例えば、多くの雑音を伴ってオブジェクトがキャプチャされたため））を最終画像(Is)の外見に応じて判定するよう構成されたステータス判定装置（４１５）を備える場合、更に効果的である。カメラはその場合、自動的に、別の画像をキャプチャし、そこからオブジェクトを埋めるか、又は、単にそのことに対する注意をユーザに払わせ、少なくとも別の一画像を撮る旨を要求することが可能である。

セグメント化部分の多くの実施例が、特許請求の範囲記載の範囲内に収まる。例えば、撮像カメラ装置（４０１）のユーザ・インタフェースは、オブジェクト（１０１）の幾何位置の少なくとも１つの表示（gp）が、オブジェクト（１０１）の輪郭の規定を備えるように構成することができる。

将来、多くの人々が、カメラとして機能する、違った名前の装置を用いるであろう。

カメラの撮像センサ（４０６）によってキャプチャされたピクチャ(Io)においてオブジェクト（１０１）の画素の少なくとも１つの色特性の少なくとも１つの統計（ST）をカメラ（４００）において判定する方法は、撮像カメラ装置と均等である。この方法は、
キャプチャ画像(Io)において、自分の選好のオブジェクト（１０１）の幾何位置の少なくとも１つの表示(gp)をユーザが規定することを可能にする工程と、
表示(gp)に基づいてオブジェクト（１０１）の一部である画素の組（ｓｇ）を判定する工程と、
画素の組（sg）における画素の少なくとも１つの色特性に基づいて少なくとも１つの統計（ST）を判定する工程と、
ユーザによって供給される規定(sp)に基づいて、画素の組（sg）における画素の少なくとも１つの色特性に変換を施す工程と、
画素の組の外の画素の少なくとも１つの色特性に別の変換を施すか、又は変換を施さない工程とを備える。

本発明による方法並びに装置の前述及び他の局面は、以下に説明する実現形態及び実施例から、かつ、添付図面を参照して明らかであり、前述の実現形態及び実施例を参照して、かつ、添付図面を参照して明らかになるであろう。これらは、より概括的な概念を例示する非限定的な特定の例証としての役目を担うに過ぎない。ダッシュ記号は、構成部分が任意的であることを示すのに用いられている。ダッシュ記号なしの構成部分は必ずしも必須でない。

図１は、写真家にとってその困難さが広く知られているシーン、すなわち、結婚のシーン（屋内部分も屋外部分も含み得る）を示す。新郎１０１は、黒色のスーツ（すなわち、通常、暗い色につながる）を身につけており、新婦１０３は白色のガウン（やはり、忠実に再現しなければならない）を身につけている。基本的に、シーンが最適に照光された（少なくともアマチュア写真家はめったに留意しないことである）場合、問題はないはずである。黒色は通常、それに当たる光の数パーセントを反射し、白色の反射率は約90-95%であり得る。よって、シーン・コントラスト比は約100/1であり得る。単位（１）を何にすべきかについてはなお定義する必要がある（すなわち、グレイ値差がどれほど小さいかをカメラはなお記録すべきである）。

通常の値（場合によっては多少保守的な値）は、人間が、2%の輝度差を認識するということである。これは、1%と95%との間の反射率の場合、230個の符号（又は８ビット）の所要量につながる。しかし、同等の線形システムの場合には、1%反射する黒色の場合、最小の2%の知覚可能なステップほど大きなステップを符号化するために４７００個の符号（13ビット=8192個の符号）が必要になる。この差は、非線形性（記憶又は伝送前に、キャプチャされたデータに逆ガンマを施すなど）の効果を直ちに示す。

この100/1の範囲は、多くのディジタル・カメラの場合、あまり問題にならないはずである。多くのディジタル・カメラは例えば、１５エレクトロンの総雑音（センサ及び電子装置（D／A変換器など））、並びに、約８５０００エレクトロンのウェル深度を有し得る。多すぎる露出又は少なすぎる露出（カメラの自動露出によって対応するはずである）で前述のよく照光されたシーンがキャプチャされた場合にも、５７００（密度＝３．７５又は１３ビット）のコントラスト比をもたらす。

しかし、通常のシーンには、オブジェクトによる反射のうえに、照光における極度なばらつきが加わり得る。例えば、表面より1m上のランプは、表面に沿って３ｍ先の照度の1/10しかもたらさず、それにより、シーン・コントラスト比が既に１０００：１になる。

通常の屋内シーンでは、別の部屋にある場合、時には強烈である、多くの影１１３が存在し得る。影になっている状態（すなわち、内部オブジェクト構造のない状態）に前述の部屋の他の領域をユーザがしたいということがあり得るか、あるいは、ユーザが、別の部屋で情報の一部を（シーン上に自らの人間の視覚系があるので行うことが可能であるので）みたいことがあり得るか、あるいは、少なくとも、後の後処理を行うことが可能であるように一部の情報を有し得る。一方、（日当たりのよい）屋外オブジェクト１０９、若しくは光源１０７、又は、光源の鏡面反射からの高い照度が存在している。

考えられる別の問題は、オブジェクト（強い光源１５１（例えば、展示会において特に照光される）に近すぎるオブジェクト１５１など）によって生じる。前述のオブジェクトは、少なくともオブジェクトの一部にわたって、過度に照光され、その特徴的な色度を失い得る。

屋外シーンでは、その効果はもっと不適切であることがあり得る。影にされた部分を備えた日当たりの良い写真は、消費者の選好に対してコントラストが強すぎることがあり得る（特に、コントラスト及び彩度も強調された表示上でみた場合）。屋内部分（例えば、ドアが開いているガレージの内部）が、全体シーンにおいて過小照光されており、内容がかなり目に見えない状態になることがあり得る。これは、写真操作によって後に補正することが可能でない。キャプチャ画像にデータが記憶されていないからである。

実際のシーンは、例えば３０００：１のコントラスト比を有し得る。これは、（例えば、２％の人間の視感度の場合）150000個の既に識別可能なセンサ出力符号を必要とし、それは、現行のカメラ及び通常のユーザの場合、より難しい。

これは、図２に略示したヒストグラム関数を有する通常のディジタル・カメラのユーザが直面する。図２は、シーン輝度２１０のヒストグラム、及びセンサによってキャプチャされたディジタル値２２０（Io*）のヒストグラムを、センサの伝達特性２００に対して示す。更にカメラでは、伝達特性２００は、例えばシャッター・スピードを変えることによって、適合可能である（矢印２９０）。

伝達特性２００の線形部分２１２に沿ったシーン・オブジェクト輝度２１１は、合理的に撮像されている（しかし、理想的でないカメラ色フィルタによる色誤差がなお存在している）。

しかし、ユーザがキャプチャしたい画像の多くの場合、シーン２１６のより暗い部分（より低いオブジェクト輝度Lin）のかなりの部分が、センサの最小符号値２１５にマッピングされ、それにより、暗い部分（例えば、やはり不適切に照光された新郎のスーツの一部）における細部の喪失（クリッピング、又はブロウアウトとも呼ばれる）が生じる。例えば、CCDは、画素毎に少なくとも一エレクトロンを必要とするので、それより少ない何れの値によってもゼロ出力符号がもたらされるが、実際には、雑音Nが常に存在するので、シーンの最低符号値は、シーンを真に表すものでなく、むしろ、多くの雑音を有するカメラにおいて、ユーザにとって非常に不快であり得る。高シーン・オブジェクト輝度側２１８では、同様なことが生じる。カメラは最大値MAXを有しているので、より高い輝度は全て、同じ値（例えば、２５５）にマッピングされる。細部のこの喪失は、例えば、白色の花、又は新婦のガウンの強く照光された部分においてみられる。より高い輝度は、光電子をもたらし、不快なブルーミング・アーチファクトも生じ得るが、これは全て通常、最大値を上回る。

同様な別のアーチファクトには、強い照光下のオブジェクトの変退色及び彩度減少がある。更に、空が、非常に薄い青色がかったようにみえ得る（青チャネル飽和。しかし、赤及び緑も高くなっており、青の反対色に加わっている）。

ユーザは、ヒストグラム・ウインドウにおいて多くのオーバフロー値およびアンダフロー値から、自分のキャプチャが誤っていた（これは、オンにセットされたカメラの自動最適化によってそうであったことがあり得る）ということが分かり得るが、適切な動作を行うことができないことがあり得る。精通しているユーザも、いくつかの不適切な自動最適化間で選ぶことがまかせられ得る。更に、カメラは、最近、あらゆる種類のポータブル装置（例えば、携帯電話機）において登場して普及している。通常のユーザの多くは、伝統的な写真家の知識を有していないが、美しい写真を撮りたいものである。

カメラにおけるシーンのより好適なダイナミックレンジ・キャプチャを得るための開発（段階露出（別々の露出値で撮った連続したいくつかの画像から、好適に撮像された領域がマージされる）や、2画素センサ（高感度の大きな画素、及び低感度の小さな画素が共同配置されている）が継続的に行われているが、使用される固定アルゴリズムに対するユーザの影響力は小さく、ユーザが有する影響力は、輝度測定の難しい種々の選択である。

電子露出は通常、シーン内の輝度（又は、おおよその線形性で、キャプチャされた画素の(R,G,B)値）をみて、「平均」照度に基づいてキャプチャ・パラメータ（例えば、シャッター・スピード等）をセットする。

これは、物理的な現実の好適なモデルである。前述の通り、オブジェクトは、おおよそ0.5%と99%との間で反射し。（外部の）照度（8桁以上変わり得る（夏期の屋外では100000 1x））にかかわらず、これは乗法的である。よって、利用可能な照度（錐体写真化学、錐体オプシンの退色、神経心理学的な適応等）により、人間の視覚系がその応答曲線をシフトさせるのと同様に、アパーチャ、シャッター時間、及び増幅率を変えることによって、カメラは同じことを行うことが可能である。

しかし、シーンのガムット（例えば、輝度）が、色表現空間（例えば、PAL、JPEG）のガムットよりも大きい場合、誤った平均であり、例えば、より暗い領域が表現可能でないことにつながり得るという照度測定の別の問題が存在している。本明細書では、
センサのガムット（すなわち、雑音、ウェル深度、及び、シャッター・スピードなどのキャプチャ・パラメータを考慮に入れる（その色は（まず、最適に撮像されることによって）忠実に表現し得るものであり、既存の符号にマッピングされる（反転可能でない2重割り当て。クリッピングと呼ばれる））と、
色表現空間のガムット（更なるガムット・マッピングを施すことが必要であり得る）（これは、表示する対象のより大きなガムットを後に得るために部分的に反転可能であり得る）との２つのガムットを扱う。
本発明によれば、このマッピングは好ましくは、インテリジェント（すなわち、ユーザのコントロール下）でもある。

よって、本発明によれば、ユーザは、キャプチャ及び最終レンダリング（例えば、「理論上の」表示に対して。よって、最終マッピングは、本発明と同様に、一度のみ（好ましくは、カメラ内で）行えばよい）に対して最適なコントロールを（ユーザ最適化された写真に対して）有する。

センサが、無限の（完全な）ガムットを有する場合、小さすぎる表現空間にセンサ出力をガムット・マッピングしなければならない場合（例えば、伝統的な湿式写真には、強調を扱ううえで合理的に好適なやり方があるが、電子写真にはない）に、ガンマが、人間の視覚系のものに達してもなお問題となる（多くの場合、ガンマの不整合が存在し、それにより、問題がより重大になる）。

本明細書では、テレビの表示や新聞の印刷などの、出力装置のガムットを扱わない。合理的な色表現を前提とすれば、表示のガムットに対する最適なガムット・マッピングは、表示の側において、表示及び視聴環境の物理学を考慮に入れて行うことが可能である（例えば、テレビは通常、約５０：１のコントラスト比を有し、日中に視聴される場合、更に少ないコントラスト比を有するので、黒色の高輝度化が望ましい）。

図３は、キャプチャされる画像を示す。元のシーンに対する、幾何学的形状の変化に留意されたい。これは、シーン内のカメラの特定の位置において、センサの照光が、幾何学的形状に依存するので、画像の特定の領域が、不適切に撮像されている（明るすぎるか、又は暗すぎる、例えば、黒くした影３１３）ことがあり得る。特定の度合いのシャドーイングも、正しい３Dの印象をシーンに与えるために必要であるが、写真家／芸術家は、所要のキャプチャ物理学と無関係に、合理的な照明効果を施したい。（更に、画素輝度などのキャプチャを制御する本発明は、同時に、影を制御し、よって、３Dの外観の検査／補正の後処理を行うためのユーザ動作を可能にする。）
通常のカメラ露出アルゴリズムは、いくつかの領域３０１、…、３０５における輝度を測定し、輝度分布尺度を算出する。ユーザは通常、中央領域３０１に対するコントロールを有するが、他の領域はその場合、サイズ及び位置が固定される（シーンの照度の標準的に好適な表示を与える）。しかし、新婦１０３のような重要なオブジェクトは（この場合、おそらく最も重要な領域である、新婦の顔も）部分的にしかサンプリングされていないことがあり得るものであり、一方、領域は、外部のオブジェクトから領域３０３などのアウトライア値をサンプリングすることができる。これは、その高画素輝度が、露出を低下させ、ユーザの望みと比較して、重要なオブジェクト（カップルの顔など）を通常、暗すぎる（最も暗い領域が単に雑音になる）状態にし、シーン輝度測定全体に大きく寄与することによる。ユーザが欲しいのは、外側の画素が別個に扱われ、ユーザが選んだ特定の値（おそらく、どの値かは重要でない。シーン内の明るい部分であり、シーンの残りとともに画素輝度において整合している（すなわち、クリッピング／ブルーミングがなく、退色した色がない（少なくとも現在いくつかのカメラにおけるような）ことを要する）も与えられ得るということである。

おそらく、猫１０５のような、あまり重要でない特定のオブジェクトは、バックグラウンド・シーンの残り（オブジェクト１１５及び１１９）と融合すべきであり（すなわち、（周囲のバックグラウンドと比較して同様であるが十分異なる輝度を）合理的に認識可能であるべきであり）、好ましくは、調和して撮像されるべきである。

あるいは、ユーザは、その色表現に対してもより好適なコントロールを有するようにしてもよい。

従来技術のカメラは、特定の（難しい又は重要な）場所の輝度を測定し、これを考慮に入れて画像をキャプチャすることも考えられるが、その場合もやはり、シーン全体の生成される画像は、この単一の測定に依存する。

いずれにせよ、ハードウェア／ソフトウェアの制約によるか、又はユーザが不慣れであることによるかにかかわらず、現代のカメラは、整合がとれた、人間の視覚のような画像を得るのはそれ程簡単でない（種々の視聴環境下で前述の画像をレンダリングする場合に更なる課題につながる）。ユーザが欲しいのは、幾何学的操作と同様に簡単な手法によって、正しい色に到達するやり方である（人間は、画像の幾何学的内容の解析／構成が非常に上手である。例えば、全ての人たちの特定のポ―ズ及び順序において、窓から漏れる光が写真をだめにしてしまいかねないが、力のあるアマチュアでも、部屋の中の美しい場所の前にカップルを立たせるよう構成することができる）。

本発明は、好適な照明を完全に不要にするものでなく、当然、写真撮影の半分が、インテリジェントな照明であるが、即座に相互作用することにより、ユーザが直ちに、自分の選好に応じて、最善の結果がどのように見え得るかをみることが可能になる。ユーザは次いで、照明若しくはシーン、又は、画像を再キャプチャすべき場所及び方法を調節することがなお望ましいか、又は必要であることを決定することが可能である。一方、最も単純な実施例は、多くの余分なユーザ相互作用を必要としない。これは、例えば、休日のすばやいキャプチャに望ましい。

図４は、本発明による、画像処理撮像カメラ装置４０１の別々のいくつかの実施例オプション（例えば、専用ASIC、若しくはその一部、又は汎用プロセッサ上で実行するソフトウェア）を備えたカメラ４００を示す。

CCDやCMOSなどの撮像センサ４０６（ディジタル・データ・バスなどの入力４０３を介して撮像カメラ装置４０１に接続される）によってキャプチャされた画像Ioにおけるオブジェクト（新郎１０１など）を、オブジェクトの幾何位置の少なくとも１つの表示gpに基づいて（例えば、自動的に判定されたセグメント内を、又は好ましくは、自動セグメント化部分前に）ユーザが選択する（すなわち、ユーザ適合可能である）よう構成された通常の半自動オブジェクト・セグメント化装置４１０が含まれる。

セグメント化された少なくとも１つのオブジェクト（すなわち、画素sg及びその値の組）が、色構成監視装置４１２に入力される。色構成監視装置４１２は、オブジェクト内の画素の色を解析する。例えば、平均輝度、若しくはアウトライア色の量、又は、オブジェクト色の空間統計STを導き出すことができる。

２つのパラメータ組（別個の１つ、又は両方）を本発明の撮像カメラ装置によって変更することができる。キャプチャ・パラメータ、及び、色表現出力画像Isへのマッピング・パラメータは、メモリ４６０（例えば、ディスク、カメラ内ソリッド・ステート・メモリ）に記憶するか、又はネットワークを介して伝送するものとする。

キャプチャ・パラメータは、キャプチャ最適化装置４２４によって算出される。この装置４２４は、画素ヒストグラム・ベースの露出値（色構成監視装置４１２からの入力統計特性を得る）を導き出す場合のようにかなり単純に構成することができるが、ここでは、画像全体の固定部分に基づいた伝統的なカメラの代わりに、少なくとも１つの重要なオブジェクト（例えば、新郎１０１の場合、又は２つのオブジェクト（新婦１０３及び新郎１０１）の組の場合）のセグメント化された画素の色に基づいて構成することができる。露出は例えば、CCDの線形部分の範囲中央にマッピングするように判定される。しかし、カメラの機能も考慮に入れることができる。例えば、カメラが、段階露出を可能にする場合、間に固定数の絞りを備えて２つの画像をキャプチャする代わりに、本発明によれば、キャプチャ最適化装置４２４は、第１のユーザ選択オブジェクト（新郎）の最適露出を備えた第１の画像、及び第２のユーザ選択オブジェクト（新婦）の最適露出を備えた第２の画像、並びに、最適画像をユーザの選好によって前述の２つのキャプチャから導き出すことが可能でない場合、場合によってはシーン内の周囲の第３の画像をキャプチャするよう構成される。例えば、色構成監視装置４１２は、セグメント化された少なくとも１つの重要なオブジェクトを含まないシーンの部分全てに最適なパラメータを算出し、必要な場合（考えられる変換後の周囲の色がどのようにして適合するかに応じて）、インテリジェントなオブジェクト・ベースの段階露出について、周囲の第２の画像をキャプチャするよう構成することができる。

キャプチャ最適化装置４２４は次いで、例えば、シャッター４０２開口時間をセットする（４０４はレンズである）。

ユーザがキャプチャ・パラメータのみを制御する場合、オブジェクト・セグメント化装置４１０によって行われるオブジェクト・セグメント化は、完全でなくてもよい（すなわち、画素精度が高くなくてもよい。新婦に付着した特定のバックグラウンド画素が存在し得るものであり、新婦のガウンの特定の一部は、選択されたオブジェクト領域にないことがあり得る。これは、オブジェクト・セグメント化アルゴリズムの計算量の要件を緩和し、算出を節減する）が、新婦のどこかを選択する固定の領域だけよりも（その領域が頭であっても）好適なはずである。セグメント化は半自動（すなわち、自動的に得られた領域の画像処理及びユーザ選択／補正の混合）であり、セグメント化の結果は、例えば、（第２の画像バッファによって）キャプチャされた画像の上に境界曲線を描くことにより、みることが可能であり、ユーザは、十分でないか、又は、新婦の非関心部分が選択された場合に（例えば、隣接した（場合によっては、過剰セグメント化された）セグメントをクリックして、新婦オブジェクトとの間で接続又は切断することによって）補正することが可能である。

半自動セグメント化は常に、シーンの理解の最も難しい部分、又は少なくとも、シーン内で最も重要と思われるのが何かをユーザが示すという最小の要件をユーザにまかせ、画素収集のうんざりする作業を装置にまかせる、セグメント化の最善のやり方である。

これは、品質と、投資時間との間の最適化である。最高の品質であるが、大半の動作の場合、ユーザ・インタフェース４２０のオブジェクト選択モジュール４２１は、オブジェクトの周りに輪郭を正確にユーザが（例えば、カメラの表示４３４にタッチするためのスタイラス４３２によって）描くことを可能にする。これは、家庭の環境におけるユーザや、シーンの正確なキャプチャを三脚で行うプロの写真家によって望まれることがあり得る（一方、休暇中にすばやく数回撮りたい場合には、より望ましくない）。

ユーザが、出力画像Isへのレンダリング（すなわち、センサによってキャプチャされる画素値が、例えばJPEGやオープンEXRファイルに出力される対象の最終センサ値に変換されるやり方）に影響を及ぼしたい場合、通常、セグメント化が正確であることを望み得る。

このように輪郭を描く場合、オブジェクト・セグメント化装置４１０のセグメント化アルゴリズムは、単に、描かれた境界（コンピュータ・グラフィックスにおいて固有に知られている）内部の画素の導出に過ぎない。

しかし、通常、オブジェクト・セグメント化装置４１０及びユーザ・インタフェース４２０は、より労働集約的でない種々の半自動セグメント化モードをユーザに提供するよう構成される。オブジェクト選択モジュール４２１は、境界を描くいくつかのオプション（例えば、連続して、又は、接続する対象の数点をマーキングすることにより）のうちのオプションをユーザに与えるよう構成することができる。現在キャプチャされている画像上の選択をレンダリングするようユーザ・インタフェース４２０を構成することができるやり方の例を図５に示す。

新婦が選択されており、半自動的に得られたオブジェクト領域５１０が、新婦の上に輪郭５１２として描かれている。更に、オブジェクト選択モジュール４２１のアルゴリズムにより、線形の線、スプライン等によってつなぐことができる点５０１、５０２等をクリックすることによって領域を描く例を表す。上記例では、（コードCSを付したユーザ・インタフェースによってマーキングされた）大まかな周辺領域５２０は、全周辺色（暗い隅部、家具、外）の一部（すなわち、シーン・バックグラウンドにおいて一般的又は重要であるとユーザが考えるものの大まかな選択）を有するようにユーザによって選択される。好ましくは、他の画素のキャプチャ及び／又はレンダリングに影響を及ぼさないように別個の領域として、外が選択される。

所望のオブジェクト周囲の点（例えば、最も単純なユーザ・インタフェース・ボタンによっても描くことが可能な、その周りの矩形。例えば、カメラの裏面のインタフェース４３０上の回車輪４３１を用いて、周囲の矩形の左上隅部にカーソル５５０を位置付け、次いで、右下隅部にカーソル５５０を位置付けることができる）から始めて、セグメント化の自動部分は、従来技術の画像処理セグメント化によって周知であるような、グレイ値、色、テクスチャ・パターン等などの特性をみることによって、より好適に適合するオブジェクト・セグメントを形成することができる。例えば、数学的なヘビを用いてオブジェクトの境界（当業者が、一方又は両方を備えた同等のアルゴリズムを実現するやり方を知っているので、本明細書では、２Dの画素組であるセグメント、及び１Dの周囲セグメント組である境界を同義に用いる）に固定することができる。例えば、難しいアウトライア・グレイ値オブジェクトとしての新婦及び新郎は、特定のテクスチャ・テンプレート・パターンを確認する必要なしで、グレイ値のみにおいてもそれらの周囲と大きく異なり得る。

あるいは、手作業の部分は、オブジェクト内をクリックし（、例えば、少なくとも新婦の顔にカーソル５５０を位置付け）、ユーザ表示クリック位置に基づいて、自動的にセグメント化されたオブジェクトを補正すること程度に単純であり得る。インタフェースは、例えば、新婦オブジェクト・セグメントの過剰セグメント化を提示することができる。ユーザは次いで、新婦オブジェクト・セグメントを最終オブジェクトに、（例えば、スタイラス４３２によって）新婦オブジェクト・セグメントにクリックすることによって集約することが可能である。

理想的には、一定のグレイ値セグメントよりもオブジェクトが欲しい（例えば、同じグレイ値画素を更に自動露出アルゴリズムに加えても、より適切な露出を得ることの完全な影響をもたらさず、レンダリングのマッピングの場合、実際のオブジェクトをできる限り持ちたい）ので、動き推定装置４２２（又は同様な領域（例えば、ブロック）の相関化装置）を撮像カメラ装置４０１に組み入れることが効果的である。撮像カメラ装置４０１の出力（例えば、動きが等しいセグメント）をオブジェクト・セグメント化装置４１０によって、オブジェクト・セグメント（現在の画像内の画素をカーソルがクリックするにつれ、現時点において、若しくはいくつかのピクチャにわたって同じ動きを有する画素全て）を生成するために直接、又は、更に精緻化されたアルゴリズム（例えば、色ベースの数学的なヘビが、ブロック精度動きベースのセグメント化を微調節して画素高精度にする）に対する入力として用いることが可能である。この動き推定装置４２２は、他の理由（例えば、動きビデオ・カメラにおける時間アップコンバートや、画像安定化等）でカメラに既にあり得る。

効果的には、動き推定装置４２２は、数秒にわたる先行時間フレームにわたる人間のマイクロモーションの尺度を導き出すよう構成される。

更に、動き推定装置422は、運動視差の異なる深さに基づいて導き出されるよう構成され、よって、例えば、外部のオブジェクト１０９が容易にセグメントされることが効果的である。

任意的には、セグメント追跡モジュール４１１も備え得る。第1のキャプチャ画像（ユーザによってセグメント化が行われている）から、最適化されたキャプチャ・パラメータを備えた第2のキャプチャ画像までセグメントを追跡して、その間のカメラ移動を表すよう構成される。しかし、これは厳密に必要な訳でない（例えば、キャプチャ・パラメータの変更のみの場合）。カメラは、おおよそ同じシーンをみて（統計が既に、キャプチャされた画像に対して算出されており）、おおよそ同じ位置にあることになるので、最適化されたキャプチャ・パラメータはなお有効になる。しかし、ユーザが好むオブジェクト・セグメントの再判定は、ユーザが、最適化されたレンダリングを施したい場合にも有用である。2重のユーザ相互作用が避けられ、より好適なマルチピクチャ構成を達成することが可能であるからである。

効果的には、セグメント追跡モジュール４１１は、後の半自動セグメント化のために、動くオブジェクトの情報を考慮に入れるよう更に構成される。例えば、ヒストグラムを、自分の場所に向かって歩く人たちのように、先行して動き回っていたオブジェクトから集約することができ（ビデオ・カメラでは、これは、例えば、セグメント化されたオブジェクト・サブピクチャ及びその統計的色記述子の時系列のように、イベントの過去の記録に沿って、メタ出力することができる。一方、スチル・カメラは、例えば、より低い分解能、品質等で、例えば、シーンを予め走査して、ユーザが実際に画像をキャプチャすることにする前にもバッテリ電力を節減することができる）、特に、特定のサイズを領域が有する場合、又は極端な輝度値を有する（平均よりも暗いか、又は明るく、潜在的に問題になる）場合に、記憶することができる。

通常、写真家にとって人間が最も興味深いので、顔検出器４１３も、後の使用のために記憶することを要する、動く領域のヒストグラムを決定するうえでの入力を与えるために含み得る。顔検出器は、画素色値、及び／又は、顔領域構成部分間の幾何関係（例えば、眼と鼻との間の距離）に基づいたアルゴリズムを用いるよう構成することができ、顔検出器は固有に知られている。

カメラ・ユーザ・インタフェース４２０は、例えば、回車輪４３１を介して、いくつかの最適化パラメータをユーザが選択することを可能にする解析モード制御装置を有する。モードがFAにセットされると、オブジェクト・セグメント化装置４１０及び／又は色構成モニタ装置４１２は（例えば、種々のソフトウェアを施すことによって）顔を備えたセグメントを探して、顔画素の場合によってはより重く重み付けした顔画素の寄与度が色構成統計STに存在する。

おそらく興味深いオブジェクトとしてこのヒストグラムを予め記憶させることは、後のセグメント化に役立つ。パターン認識手法を用いて、最適にキャプチャする対象の画像においてユーザによって選択されるオブジェクトに最も近いヒストグラムを識別することを可能にし得る。セグメント化は、前述のセグメント追跡モジュール４１１による、動き推定によって得られた領域の幾何マッピングに加えて、ヒストグラムの内容を考慮に入れることが可能である（例えば、色ヒストグラム又はテクスチャ・ヒストグラムの部分に対応する部分セグメントが、隠された状態になっていない限り、現在セグメント化されているオブジェクトに存在していなければならない）。

前述のキャプチャの、ユーザによって制御されるオブジェクト・ベースの最適化に加えて、又はその最適化の代わりに、撮像カメラ装置４０１を、出力する対象の最終画像Ｉｓ（その表現空間）へのマッピング・パラメータをユーザが修正することを可能にして、快い最終構成に達するよう構成することができる。

それに対して、オブジェクト変換装置４１４を含み得る。オブジェクト変換装置４１４は、画素色（これは、その輝度及び／若しくはその色度、又は、同様な画素色表現パラメータを意味する）の修正を施す（すなわち、その周囲に対するオブジェクトの色を、好みに合わせて色パラメータを変更するオプションをユーザに提供するよう構成された変換インタフェース装置の制御下で再配置する（それにより、周囲（画像の残り、又はオブジェクトの近傍）の色が同じ状態に留まるか、又は部分的に、選択されたオブジェクト色に従い得る）））よう構成される。

前述の変換インタフェースの例を図６に記号で示す（カメラ表示４３４上でユーザがみることができるもの）。当然、この図は単に、オブジェクト変換装置とのユーザ相互作用に必要な技術上の構成部分の記載に用い、同様な技術上の可能性を有する他のインタフェースの企図が考えられる。

セグメント化されたオブジェクトは効果的には、２つの種類の記述子で数学的に表しており、すなわち、第１の記述子は、単に範囲（その最も暗い画素からその最も明るい画素までの範囲、又は、特定の所定の基準（例えば、画素雑音）に基づいて一部のアウトライア画素をなくした、その部分領域））であり、第２の記述子は、画素色の空間プロファイルである（これは、理想的には、2次元であるが、単純なインタフェースの場合、1次元の要約を所定のアルゴリズムに基づいて生成することができる）。色と言う場合、これは単に輝度、又は別の色尺度（例えば、鏡面反射による、そのプロファイルにおける不飽和部分を有する飽和した赤色のオブジェクト。その場合、1D変数は、ある赤色度尺度、あるいは、青色・黄色の座標、又はいくつかの座標の１D構成であり得る）であり得る。特許請求の範囲記載の範囲では、当業者は、多次元の記述子を企図することもできるが、単純にするために、前述の情報によってこの記述を複雑にしないものとする。

図６は、範囲を再配置するための、ユーザ労力が最小のインタフェースを示す。多くのユーザの場合、これで十分になる。例えば、キャプチャ入力画像Ioと比較して、最終画像Isにおいて新婦のオブジェクトが、輝度がわずかに高く、よって、より好適にみえることを可能にするからである。

部分ピクチャ６０１を、キャプチャされたピクチャ（又は、カメラが現在表示しているもの）の上に示す。その中に、出力色空間（例えば、8ビットJPEG）の範囲（又はガムット）６２４を示す（センサの現在のキャプチャ範囲も示すことができる）。この例では、場合によっては、段階露出を用いることにより、（アイコン化された、例えば、硬調にされた、オブジェクト・セグメントの小バージョンなどの、効果的に記号６２３で識別された）新婦のオブジェクトの範囲６０３（O1）、及び新郎のオブジェクトの範囲６０５（O２）が、出力画像Isの出力色空間内に好適に撮像されている。効果的には、グレイ・スケール６２５も示す。よって、ユーザはおおよそ、少なくとも、カメラ表示４３４が可能にする限り、グレイ値が対応する、範囲６２４内の点をみることが可能である。出力ガムット６２４の境界も、線６１１及び記号６１２によって示す。

変換インタフェース装置４５０は、例えば、新郎のオブジェクトの範囲をユーザが、なお暗すぎると思う場合に修正することを可能にするよう構成される。カーソル６２１は、ユーザが範囲をつかみ、上方にシフトさせる（オブジェクトの輝度変更）か、又は、範囲の極値点の１つ（例えば、下限Lo1）を変更する（オブジェクト内のコントラストも修正する）ことを可能にする。ユーザはおそらく、猫のオブジェクトの範囲６０７（O3)（現在、過小露出状態である）についてそれを行いたいであろう。オブジェクト変換装置４１４は、特定の自動候補を行い、ユーザに既に存在しているユーザ・インタフェースを介して、整合がとれているガムット・マッピングの所定のアルゴリズムに基づいて、種々のオブジェクトをマッピングする第１の可能性を行うよう構成することができる（この場合、ユーザ動作、及び、よって、オブジェクト変換装置に送出されるユーザ要求の数学的表現である規定spは、所定のステップを備えたグレイ値で上方又は下方に、選択されたオブジェクト範囲を移動するための数クリックのように非常に単純であり得る）。

関心のオブジェクトを示す他に、シーンの残りの表示子も示す（例えば、バックグラウンドの一部）。この例では、輝度が高すぎる、画素の少なくとも一部のアイコン化によって過度露出を示す、バックグラウンド領域の一部６０８を示す（範囲６０９）。これは、ユーザがバックグラウンド領域全体を修正するか、又は、明るいが、ガムット内の範囲に補正するための更なるセグメント（ウィンドウ外全て）を規定することを可能にする。

選択されたオブジェクトの色範囲の修正と同時に、オブジェクト変換装置４１４は、弾性定数によって、画像の残りの色にも修正を施すよう構成される。例えば、２０％の弾性の場合、新郎の輝度を１０単位だけ増加させた場合、画像オブジェクト及びシーン・バックグラウンドの残りは２単位だけ増加する（更なるガムット・マッピングがあり得るので、例えば、新婦の輝度画素は、クリッピングを避けるよう1単位だけ変更されるに過ぎない）。弾性は、オブジェクト群のみのうちで規定することができる（例えば、新郎及び新婦は一動作によって明るくなるが、ピクチャの残りはそうはならない）。0%の弾性では、オブジェクトはその周囲と無関係に修正することが可能である。オブジェクト変換装置４１４は、幾何プロファイルによって他のオブジェクト色の弾性色変換を、通常、修正されたオブジェクトの周囲においてのみ、施すよう更に構成することができる（円形プロファイルは、例えば、オブジェクト境界形状のプロファイルに基づいた距離変換よりも好適である）。よって、オブジェクトの中心点（例えば、セントロイド、又はオブジェクトをセグメント化するためにユーザがクリックした場所）が判定される。オブジェクト内の画素は通常、範囲ベースの修正によって修正される。例えば、新婦の範囲６０３の下限Lo1を上方にLo1’に移動させた場合、オブジェクト内の色xの点が、

によって変更される。
ここで、x’は、新たな色であり、xは元の色であり、Uo1は、新婦の範囲６０３の元の上限であり、又は伸張よりもシフトのように作用する所定の別の関数であり、別のマッピング・プロファイルが上記範囲にわたる（上の点は、固定された状態に留まるか、又は共動状態になる）。

新婦のオブジェクトの外側の点、及び新婦のオブジェクトの近傍の点は、
x'=F(x,r)=G(x)H(r)
によって変換される。ここで、rは、点の中心点までの距離であり、動径関数Hは、例えば、ガウスの横ばい形状を有する。

これは、更なるスポットライトによって新婦を照光することをシミュレートし、それは新婦と周囲との整合性を高めることができる。修正全ての結果は、下にある最終画像上に直ちに示される。

特定の場合には、オブジェクト変換装置４１４は、純粋に、再キャプチャの必要性における後処理として、キャプチャされた画像Ioに対する特定の変換を行うことができる。理論上、この処理はその場合、家でも同様にうまく行うことが可能であったが、ユーザはその場合、例えば、修復不能な強調表示、雑音等が理由で、快い変換結果を何ら得ることが可能でなかった場合に画像の再キャプチャの可能性を全て、失ったであろう（ベネチアへの2回目の休暇をとることが可能であるが、20歳の誕生日をもう一度祝うことを妻に求めることは可能でないかもしれない。プロの写真家は、多くの写真を撮ることによってこのことを解決するが、自らのスタジオの静寂の中で、ある程度の編集後に、非常にうまい写真をキャプチャしたか否かについてはなお、いささか分からないものである。本発明はこの確率を増加させる）。

他の場合には、ステータス判定装置４１５は、キャプチャの物理学、及び所望の最終結果を考慮に入れることによって、更なる画像を自動的にキャプチャするのが賢明か、又は、更なる画像をユーザがキャプチャすることを要求するのが賢明かを判定する。例えば、猫が不適切に撮像された場合には、これは、暗がりに隠れているのをユーザがみたい場合には、問題にならなくてもよい。しかし、その明るさを増大させたい場合、雑音及び硬調化が支配的になるので、意図された範囲に対応する露出によって第２の画像をキャプチャするほうが好適である。

そこに、ステータス判定装置４１５とキャプチャ最適化装置４２４との間のデータ・リンク４８５が存在しており、それによって、選択されたオブジェクトの最終レンダリングの統計（例えば、平均レンダリング・グレイ値等）の伝送が可能になる。

セグメント追跡モジュール４１１は、ブレンディングに役立ち得る（例えば、第１の画像内の猫の元々配置されていたパッチを、新たな画像内の対応するパッチの色値によって、他の色をつけることができる。当然、好ましくは、撮像カメラ装置は、最終画像のキャプチャをユーザに要求するよう構成することもできる。これは、実際に、（ユーザの所望の最終レンダリングによる）いくつかの画像の最適化された高速の連続キャプチャを起動させることができる。

ユーザがオブジェクトをセグメント化する理由は種々存在する。これは、解析モード制御装置４７０のモードに対応する。モードDO（支配的なオブジェクト・モード）は既に説明している。１つ又は複数の関心オブジェクトがセグメント化され、次いで、例えば、（少なくとも１つの撮像の）最適キャプチャ・パラメータが算出されるので、少なくとも前述のオブジェクトは好適になる（又は、場合によっては、支配的なオブジェクトの場合にあまり最適でなかった単一の第１のキャプチャによっても、図６に説明したように色を更に修正することが可能である）。

別のタイプのオブジェクトは、カメラをOLモードに入れた後にセグメント化されるアウトライア・オブジェクトである。これは、例えば、ウィンドウの後ろにある全てのものであり得る。カメラは次いで、露出を最適化する場合に、前述のオブジェクト画素を除外する（すなわち、家の中のオブジェクトは全て、ウィンドウ・オブジェクトを切除することによって選択される）。任意的には、更なるキャプチャをウィンドウ・オブジェクトについて行うことができるか、又は、ユーザは単に、図６によって説明した変換インタフェース装置４５０によって、単一のキャプチャからウィンドウ画素を単に変換することができる。

第３のモードは、補正動作モードＣＡである。この場合、オブジェクト（例えば、高輝度光１５０に近すぎた花瓶オブジェクト１５１）は不適切に露出される。その画素の少なくとも一部は、美しく（かつ面倒な）桃色がかった花瓶色である代わりに、白色にクリッピングされている。前述のオブジェクトの場合、範囲の調節ができる（多くの場合、それで既に十分であるが）のみならず、空間プロファイルに対するコントロールを有することも効果的である。照明は、光の位置付け、オブジェクトの形状等による空間特性を有するからである。

そこに、空間修正装置４１６が任意的に含められる。これは、空間モード制御装置４７１を介して選択可能な別々のモードも有する。

図７を用いてＥＱ（色等化）モードの一例を例証する。

第１のサブウィンドウ７０１は、第１の高露出E1及び第２の低露出E2の下での、キャプチャされた支配的なオブジェクトの色プロファイルを示す。2次元領域における別々の色C（例えば、輝度Y、色座標c、又はそれらの特定の組み合わせ）を、１Dプロファイルに、経路追従座標x（例えば、好ましくは、オブジェクトの最も明るい領域と最も暗い領域との間のおおかた単調な（通常は波状の）経路や、ジグザグ経路やそういったもの）にわたって変換するために何れかのアルゴリズムを施すことができる。ランプ１５０の至近性、及び長いシャッター時間により、オブジェクトの一部（領域７７０）は、過度に露出されており、白色（又は少なくとも白色に近い青白い色）にクリッピングされている。この例では、オブジェクトの残りも輝度が高過ぎることがあり得るが、少なくとも識別できる色であるが、高いコントラストのものを示す。コントラストが高いこと（おそらく、光に対向する側の影による）は、過小露出された、キャプチャされた第２のピクチャ（プロファイルE2)において、暗すぎる領域（領域７７１）が存在することを示唆している。ユーザは、花瓶が、厳密に一様に桃色がかったようにみえるように（すなわち、コントラストが低いものに）したいことがあり得る。ユーザはまず、オブジェクトの平均的な色を調節することができる（図７は、場合によっては、オブジェクトの平均的な明るさはあまり変更されないが、違ったふうに（すなわち、強烈なものよりも軟調な、影の多い照明によって）照光させることをシミュレートするそのコントラストが変更されるので、完全にオブジェクト「内」で（すなわち、周囲を考慮に入れるか、又は周囲を修正することなく））行うことができる色変換の例を示す）。

これは、例えば、数学的に導き出された中心的な色（例えば、全ての色の平均、又は、オブジェクトのセントロイド付近でキャプチャされた色を優先させて、オブジェクトに沿った幾何位置も考慮に入れた幾何平均）を空間修正装置４１６により、新たな位置７０５にユーザが移動させることによって行うことが可能である（場合によっては、ユーザは平均的に、より明るい色を欲する）。オブジェクトに沿ったコントラストを判定するために、ユーザは通常、例えば、最も明るい色（端点７０８）の値U’が何であるべきかを入力することにより、１つのカラースパン表示も与える。他方の端点７０８は、数学的に導き出すことができるか、又はユーザによって判定することもできる。所望のプロファイル変形Fの最も単純な典型は、直線（それに沿って、画素色の実際のばらつきがマッピングされる）であるが、下記のような、より複雑な関数であってもよい。

サブウィンドウ６５１は、オブジェクトの最終レンダリング結果を示し、好ましくは、いくつかの周囲画素と共にも示す。実際に撮像された画素（例えば、第２のキャプチャの）全てが、色の相対的なばらつきを保って、コントラストがより低い新たなプロファイルに、例えば、

などの関数によってマッピングされる。ここで、Mは特定の中心的な色（例えば、全ての色の平均）であり、Uoは元の最も明るい色であり、C’は変換後の何れかの画素色である。

オブジェクトの幾何形状を考慮に入れて（例えば、細長い円柱形状を想定して）、より複雑な関数を施すことができる。

空間修正装置４１６は、キャプチャされた２つの画像の何れが最も好適に用いられるかを判定するよう構成され（例えば、xが高い値の場合、E2は、雑音の多い値、又は、クリッピングされた暗い値のみを有し、第１の画像が最も好適に用いられ）、ユーザの望みによっても、更なる画像をキャプチャすることが最も好適である（例えば、ユーザは、より暗い部分が非常に明るくなるようにしたいので、この領域の明るい露光を行うことが最も好適である）。やはりこれは、本発明の利点を例証する。ユーザは常に、選択されたオブジェクト（又は非理想性）ごとに自分の好みを画像にその場で与えることが可能であり、カメラは次いで、物理的な制約を前提として最も完全なピクチャに到達するために必要な動作全てをなお行うことが可能である。

ユーザは、プロファイル（すなわち、画像平面においてカラー・ダイナミクスがどのようにして展開するか）をより精緻なやり方でつくりたいこともあり得る（例えば、ユーザは、花瓶の大部分が、厳密に一様な桃色であるようにしたいが、多少の暗い影を作りたいことがあり得る）。ユーザは次いで、更なる選択点６２１を導入し、例えば、６２１を越えて、より暗い領域の傾斜を変えることが可能である。

値（及び、特に、不適切な値）が対応する、画像の部分をみるために、カーソル６１１は、曲線の何れかに沿ったx又は対応するCの値をユーザが選択することを可能にし、ウィンドウ６６１は、オブジェクトのどの部分が所望の色（通常、選択されたものの上下のいくつかの色値）に対応するかを示す。この例では、花瓶上の影パッチ６６３を示している。これについては、ユーザが、関心があまりないので不適切な撮像を許容し得る。

同様に、ユーザは、変更したいことがあり得るプロファイルの部分を選択するために画像上に別のカーソル７１２を位置付けることが可能である。これは、ユーザにとってより直観的に分かるからである。カーソル７１１が次いで、自動的に共同配置される。

より軟調のプロファイルを施すこと以外に、輪郭強調された影の効果をもたらすことは、モードSE（影の輪郭強調）に切り換えることによって施すこともできる。これは、図８に記号で示す。次に、空間修正装置４１６は、影（一般に、グラジエント）プロファイルが存在しているか否か、及び少なくともその方向などの予め定義された特性を判定するよう構成されたシェーディング判定装置４１７を備える。エッジ検出器を用いて、大きなジャンプ（花瓶の暗い内部へのジャンプなど）と、平滑なグラジエントとを識別し、更に処理するために、グラジエント部分領域のみを選択することができる。シェーディングは一般に、2次元（領域８０３）であるが、単純にするために、1次元プロファイルを説明する。花瓶のグラジエントは、最も低い輝度から最も高い輝度Y0までの異なる輝度の領域（例えば、eは公差であるとき、輝度g+-e内の画素全てとして示し得る領域８０１）を有する。やはり、元のプロファイル８５０を（例えば、支配的なグラジエント８０５に沿って）構成することができる。これは、シェーディングされたオブジェクト自体の傍らに、ユーザに向けて示すことができる（図8.2）。最も単純なインタフェースでは、ユーザは単に、カーソル８５３及び／又は８５５をつかんで引っ張ることにより、このプロファイルをスケーリングして最終プロファイル８５１を得る。好ましくは、大部分は、ユーザとのインタフェースが同様に単純な状態に留まるように自動アルゴリズム（例えば、色の極値に向けて、あるいは、オブジェクトの幾何学的な極値（境界パッチ８１１）に向けて、あるいは、支配的な方向及び／又はオブジェクト境界（直交ベクトル８１３）から画素がどの程度遠いかに応じてスケーリングを丸める）によって、より高度なプロファイルを施すことができる。

更なる空間プロファイルを、オブジェクト内に施すことができるのみならず、周囲の画素と関連付けるよう施すことができる。モードMB(バックグラウンドのマージ)は、特定の補間プロファイルによって、外側オブジェクト画素、及び周囲の画素の値を補間する。

モードEB（エンボス）は、周囲との差を（例えば、オブジェクト内に、わずかに上方のロールを施し、より暗い周囲において下方のロールを施すことにより、）増加させて、照明によるようにオブジェクトをポップ・アウトさせる。

多くの更なる空間プロファイルを施すことができる。

単純にするために上記処理は直線で説明したが、表現空間ガンマ、人間の視覚モデルや他の色モデリングを変換において考慮に入れる。ユーザは単に、ドラッグし、結果をみるだけでよい。

上記では、撮像されたオブジェクト画素の輝度（グレイ値）を変更するための本発明を主に説明してきたが、同じ原理を、他の色特性に施す（例として、例えば（ウィンドウに近すぎるので）過度に青色がかっているオブジェクトを補正して、シーン内で、白熱で照明されたオブジェクトに従ってより黄色い色にする）ことが可能である。したがって、汎用的な言い回しの色を用いた。自動的な白バランス化はこの場合、同様であり（何れも、所望の最終表現ガムットに向けて最適にマッピングし）、実際に、３色チャネルはそれら自身が単色である。

本明細書に記載したアルゴリズム構成部分は、実際は（全体的又は部分的に）、特殊なディジタル信号プロセッサ上又は汎用プロセッサ上等で実行するハードウェア（例えば、アプリケーション特有ＩＣの一部）としてか若しくはソフトウェアとして実現することができる。

コンピュータ・プログラムの語は、プロセッサ（汎用又は専用）が、一連のロード工程（中間言語及び最終プロセッサ言語への翻訳のような中間翻訳工程を含み得る）後に、プロセッサが、コマンドをプロセッサに入れて、本発明の特徴的な機能の何れかを実行することを可能にするコマンド集合体の何れかの物理的な実現手段として理解されるものとする。特に、コンピュータ・プログラムは、担体（例えば、ディスクやテープ、メモリに存在しているデータ、ネットワーク接続（有線又は無線）を介して流れるデータや、紙上のプログラム・コードなど）上のデータとして実現することができる。プログラム・コード以外には、プログラムに必要な特性データもコンピュータ・プログラムとして実施することができる。

通常、撮像カメラ装置は、カメラに内蔵されるが、例えば、画像処理ASICを備えたプラグイン・カードなどの別個の部分にあり得る。

方法の実施に必要な工程の一部（デ―タの入力工程及び出力工程など）は、コンピュータ・プログラムに記述されるかわりにプロセッサの機能において既に存在し得る。

前述の実施例は、本発明を限定するよりも例証するものである。特許請求の範囲において組み合わせた本発明の構成要素の組み合わせ以外に、前述の構成要素の他の組み合わせが可能である。構成要素の何れの組み合わせも単一の専用構成要素において実現することが可能である。

請求項における括弧内の参照符号は何れも、特許請求の範囲を限定することを意図するものでない。「comprising」の語は、特許請求の範囲記載の構成要素又は局面以外の構成要素又は局面が存在することを排除するものでない。構成要素に語「a」又は「an」が先行していることは、前述の構成要素が複数存在することを排除するものでない。

写真のシーンを略示した図である。 電子画像センサのガムットを略示した図である。 キャプチャされた画像、及び従来技術の露出最適化を略示した図である。 本発明の種々の実施例の集約を備えるカメラを略示した図である。 オブジェクトをユーザがセグメント化することを可能にするためのユーザ・インタフェースの構成を略示する図である。 出力する対象の最終画像にオブジェクト色範囲をマッピングするためのインタフェースを略示した図である。 空間色プロファイルをセグメント化オブジェクトに施すためのインタフェースを略示した図である。 影の効果を増大させるやり方を略示した図である。

Claims (15)

1. 撮像センサに接続された撮像カメラ装置を備えた画像キャプチャ・カメラ・システムであって、前記撮像カメラ装置は、
   入力を介して前記撮像センサから受け取られたキャプチャされた画像において自分の選好のオブジェクトの幾何位置の少なくとも１つの表示をユーザが規定することを可能にするカメラ・ユーザ・インタフェースと、
   前記表示に基づいて、前記オブジェクトの一部である画素の組を判定するよう構成されたユーザ適合可能なオブジェクト・セグメント化装置と、
   前記画素の組における画素の少なくとも１つの色特性に基づいて少なくとも１つの統計を判定するよう構成された色構成監視装置とを備え、
   前記画素の組内の前記画素の前記少なくとも１つの色特性に、変換インタフェース装置を介してオブジェクト変換装置に供給される、カメラのユーザの規定に基づいて変換を施すよう構成されるオブジェクト変換装置を更に備え、前記オブジェクト変換装置は、前記画素の組の外の画素の前記少なくとも１つの色特性に、別の変換を施すか、又は変換を施さないよう構成され、
   前記撮像カメラ装置は、ディスプレイに接続され、前記施された変換の結果を前記カメラの前記ユーザに示す画像キャプチャ・カメラ・システム。
2. 請求項１記載の画像キャプチャ・カメラ・システムであって、前記オブジェクト変換装置は、前記画素の組内の前記画素の前記少なくとも１つの色特性への前記変換に応じて、弾性色変換を介して前記別の変換を施すよう構成された画像キャプチャ・カメラ・システム。
3. 請求項２記載の画像キャプチャ・カメラ・システムであって、前記オブジェクト変換装置は、幾何プロファイルによって前記弾性色変換を施すよう構成された画像キャプチャ・カメラ・システム。
4. 請求項１記載の画像キャプチャ・カメラ・システムであって、少なくとも１つの更なる画像をキャプチャするための少なくとも１つのキャプチャ・パラメータを最適化するよう構成されたキャプチャ最適化装置を備える画像キャプチャ・カメラ・システム。
5. 請求項４記載の画像キャプチャ・カメラ・システムであって、前記少なくとも１つのキャプチャ・パラメータが、シャッター・スピード、アパーチャ、増幅率、コントラスト調整、色温度補正、及びカラーキャスト除去の組に属する画像キャプチャ・カメラ・システム。
6. 請求項１記載の画像キャプチャ・カメラ・システムであって、前記オブジェクト変換装置及び前記変換インタフェース装置は、前記オブジェクトの前記画素の組における前記画素のグレイ値の範囲を前記カメラのユーザが規定することを可能にするよう構成された画像キャプチャ・カメラ・システム。
7. 請求項６記載の画像キャプチャ・カメラ・システムであって、前記変換インタフェース装置は、前記キャプチャされた画像における画素の組の少なくとも２つの範囲を備えた構成ピクチャを表示するよう構成された画像キャプチャ・カメラ・システム。
8. 請求項１記載の画像キャプチャ・カメラ・システムであって、ユーザ規定に基づいて前記オブジェクトの前記画素の組の前記少なくとも１つの色特性の幾何プロファイルを修正するよう構成された空間修正装置を備えた画像キャプチャ・カメラ・システム。
9. 請求項１又は８記載の画像キャプチャ・カメラ・システムであって、更なる画像のキャプチャが必要か否かをユーザが判定する最終画像の外見に応じて判定するよう構成されたステータス判定装置を備えた画像キャプチャ・カメラ・システム。
10. 請求項８又は請求項９に記載された画像キャプチャ・カメラ・システムであって、前記空間修正装置は、前記オブジェクトの前記画素の組の前記少なくとも１つの色特性の値の広がりを削減するよう構成された画像キャプチャ・カメラ・システム。
11. 請求項１記載の画像キャプチャ・カメラ・システムであって、前記オブジェクトの幾何位置の前記少なくとも１つの表示は、前記オブジェクトの輪郭の規定を備える画像キャプチャ・カメラ・システム。
12. カメラにおいて、前記カメラの撮像センサによってキャプチャされたピクチャにおいてオブジェクトの画素の少なくとも１つの色特性の少なくとも１つの統計を判定する方法であって、
    キャプチャされた画像において、自分の選好の前記オブジェクトの幾何位置の少なくとも１つの表示を前記カメラのユーザがカメラ・ユーザインタフェースを介して規定することを可能にする工程と、
    前記表示に基づいて前記オブジェクトの一部である画素の組を判定する工程と、
    前記画素の組における画素の前記少なくとも１つの色特性に基づいて前記少なくとも１つの統計を判定する工程と、
    変換インタフェース装置を介して前記カメラのユーザによって供給される規定に基づいて、前記画素の組における前記画素の前記少なくとも１つの色特性に変換を施す工程と、
    前記画素の組の外の画素の前記少なくとも１つの色特性に別の変換を施すか、又は変換を施さない工程と、
    前記カメラの前記ユーザに、前記施された変換の結果を表す工程と
    を備える、判定する方法。
13. 請求項１２記載の、判定する方法であって、前記別の変換は、前記画素の組内の前記画素の前記少なくとも１つの色特性への前記変換に応じて、弾性色変換を介して施される、判定する方法。
14. 請求項１３記載の、判定する方法であって、前記弾性色変換は、幾何プロファイルによって施される、判定する方法。
15. 請求項１２記載の方法をプロセッサが実行することを可能にするコンピュータ・プログラムであって、
    前記キャプチャされた画像において、自分の選好の前記オブジェクトの幾何位置の少なくとも１つの表示をユーザが規定することを可能にするコードと、
    前記表示に基づいて前記オブジェクトの一部である画素の組を判定するコードと、
    前記画素の組における画素の前記少なくとも１つの色特性に基づいて前記少なくとも１つの統計を判定するコードと、
    ユーザによって供給される規定に基づいて、前記画素の組における前記画素の前記少なくとも１つの色特性に変換を施すコードと、
    前記画素の組の外の画素の前記少なくとも１つの色特性に別の変換を施すか、又は変換を施さないコードとを備えるコンピュータ・プログラム。

Images