JP6872039B2 - カメラを自動設定するための方法及びシステム - Google Patents

カメラを自動設定するための方法及びシステム Download PDF

Info

Publication number
JP6872039B2
JP6872039B2 JP2019563052A JP2019563052A JP6872039B2 JP 6872039 B2 JP6872039 B2 JP 6872039B2 JP 2019563052 A JP2019563052 A JP 2019563052A JP 2019563052 A JP2019563052 A JP 2019563052A JP 6872039 B2 JP6872039 B2 JP 6872039B2
Authority
JP
Japan
Prior art keywords
camera
image
value
values
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019563052A
Other languages
English (en)
Other versions
JP2020523814A (ja
Inventor
ジョハン サイタリン,
ジョハン サイタリン,
ジェラルド ケルゴリー,
ジェラルド ケルゴリー,
ピエール ヴィザ,
ピエール ヴィザ,
フォーク タノゼー,
フォーク タノゼー,
ロマン ベルソール,
ロマン ベルソール,
デュ フレタイ, トリスタン アルナ
デュ フレタイ, トリスタン アルナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from GB1710675.8A external-priority patent/GB2564387B/en
Priority claimed from GB1801112.2A external-priority patent/GB2570448B/en
Priority claimed from GB1801110.6A external-priority patent/GB2587769B/en
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2020523814A publication Critical patent/JP2020523814A/ja
Priority to JP2021070557A priority Critical patent/JP7245280B2/ja
Application granted granted Critical
Publication of JP6872039B2 publication Critical patent/JP6872039B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明はカメラ設定の技術分野に関し、カメラを自動設定するための、例えばビデオ監視システム内のカメラを自動設定するための方法及びシステムに関する。
ビデオ監視は現在、ユビキタスアプリケーションのためにますます広く普及する傾向にある、急速に成長している市場である。これは、今日、防犯、セキュリティ目的のための私的及び公的なエリア、異常事象の検出、交通監視、顧客の行動、又は一般的なデータ収集のような多くのエリアで使用することができる。
このような目的のためのネットワークカメラの増加し続ける使用は、特に、画質の向上に、とりわけ画像解像度、コントラスト、及び色の改善につながっている。
しかしながら、最近では、画質の改善が遅れていることが観察されている。実際、最近のカメラに組み込まれたカメラセンサは高品質の出力を提供し得るが、画質は、しばしば最適ではないカメラ設定に大きく依存する。動きぼけ、露光不良、及びネットワーク設定の誤った選択は、頻繁に画像不良につながる。
さらに、環境条件は、数時間にわたって顕著に変化し得ることに留意されたい。例えば、昼対夜、雨対太陽、及び光強度の変化は、画質及び資源消費に大きな影響を有する典型的な環境変化である。したがって、1つの固定カメラ設定のみを使用することは、概して非常に悪い画質につながる。
このような環境条件の変化に対処するために、カメラ設定を動的に適応させるための自動焦点及び自動露出などのカメラ内自動設定方法が存在する。そのような自動設定能力は追加の手動設定及びプロファイルのおかげでさらに改善され、その自動設定能力を特定のカメラ環境に適応させること、及び適切なトレードオフ、例えば、画質とネットワーク消費との間の適切なトレードオフを選ぶことを可能にしてもよい。
以下、カメラに組み込まれる自動設定を、「カメラオートモード」又は「オートモード」と呼ぶ。
カメラオートモードはカメラ設定を動的に適応させることによって画質を改善することを可能にするが、この設定は依然として改善される必要があり得る。特に、カメラオートモードは、以下の理由のためにそれほど信頼できない。すなわち、以下の理由とは、
−オートモードの品質を改善するためにカメラ設定を微調整することは、時間がかかり、カメラの能力及び設定インタフェースに関する特定の技能及び良好な知識を必要とし、
−ほとんどのカメラ設置者はその設定を修正せず、デフォルトの工場出荷時の自動モードに維持し、
−動きぼけなどのいくつかの問題は、自動設定では解決できず、
−関心領域(ROI)内の画像を最適化するために使用されるカメラオートモードは(もしあっても)非常に少なく、これは露光不良問題及び最適ではない品質につながり、
−カメラオートモードは、そのカメラオートモードが適している主流の使用と同じ制約を必ずしも有するわけではない、特定のタスク又はミッションに適応されないからである。
さらに、ネットワークカメラの配備の容易さ及びコストと同様に、ネットワークカメラから得られる画像の品質は、より効果的な自動設定から利益を得るであろうことに留意されたい。これは、非専門家が、例えば顧客のスタッフ自身がカメラを設置することを可能にするであろうし、これはいかなる状況においても効率的であるべきである。
コントラスト、明るさ、シャープネス(又はぼけ)、及びノイズレベルに関して、カメラから得られる画像の品質を制御するために使用される3つの主要な物理的設定は、絞り、ゲイン、及びシャッタ速度(一般に秒で表される露光時間に対応する)であることを想起されたい。
一般に、カメラオートモードは、コントラスト及びグローバル露出解析基準の関数として、絞り、ゲイン、及びシャッタ速度の値を決定する。絞り、ゲイン、及びシャッタ速度値の多数の組み合わせは、同じコントラストにつながる。実際、絞り値、ゲイン値を増加させること、及び/又はシャッタ速度値を増加させること(すなわち、露光時間を増加させること)は、より明るい画像をもたらす。しかしながら、絞り値、ゲイン値、及び/又はシャッタ速度値を増加させることは、より明るい画像をもたらすだけでなく、被写界深度、ノイズ、及び動きぼけにも影響を及ぼす。すなわち、
−絞り値を増加させることは、センサに到達する光量を増加させることを意味し、これはより明るい画像をもたらすが、被写界深度がより小さい画像ももたらし(焦点ぼけを増加させ)、
−ゲイン値を増加させることは、画像のダイナミックを増加させることを意味し、これはより明るい画像をもたらすが、より多くのノイズを有する画像をもたらし、
−シャッタ速度値を増加させること(すなわち、露光時間を増加させること)は、センサに到達する光量を増加させることを意味し、これはより明るい画像をもたらすが、動きぼけを増加させもする。
従って、ノイズ及びぼけ(焦点ぼけ及び動きぼけ)を最小にしながらコントラストを最大にするように、絞り、ゲイン、及びシャッタ速度値の間でトレードオフがなされるべきである。
その結果、特に、ビデオ監視システムのカメラを動的に構成するために、システムが動作している間にシステムを中断させることなく、カメラの自動設定を改善する必要がある。
本発明は、前述の問題のうちの1つ以上に対処するように考案された。
これに関連して、カメラを自動設定するための、例えば、ビデオ監視システムにおけるカメラを自動設定するための解決策が提供される。
本発明の第1の態様によれば、
第1の照明条件でカメラによって撮像された画像の画像特性値の第1のセットを得る工程であって、画像特性値はカメラパラメータに依存し、第1のセットの少なくとも2つの画像特性値が同じカメラパラメータの少なくとも2つの異なる値にそれぞれ対応する、得る工程と、
少なくとも1つの第2の照明条件でカメラによって撮像された画像から得られた画像特性値の第1のセットの値を適応させる工程により、画像特性値の少なくとも1つの第2のセットを決定する工程であって、第2のセットの少なくとも2つの画像特性値が同じカメラパラメータの少なくとも2つの異なる値にそれぞれ対応する、決定する工程と、
画像特性値の決定された少なくとも1つの第2のセットに基づいて、カメラのカメラパラメータ値を選択する工程と、選択されたカメラパラメータ値の関数としてカメラの設定を修正する工程であって、カメラパラメータは絞り、ゲイン、及び/又はシャッタ速度を含む、修正する工程と、を備える、カメラのカメラパラメータを設定する方法が提供される。
本発明の方法によれば、カメラのカメラパラメータ値を選択することはカメラにとって迅速で、効率的で、侵襲性が最小限である(すなわち、そのカメラは自動設定中にフリーズせず、動作可能なままである)。
本発明の任意的な特徴は、従属請求項においてさらに定義される。
本発明の第2の態様によれば、第1の照明条件で前記カメラによって撮像された画像の画像特性値の第1のセットを得る工程であって、画像特性値はカメラパラメータに依存し、第1のセットの少なくとも2つの画像特性値が同じカメラパラメータの少なくとも2つの異なる値とそれぞれ対応する、得る工程と、
少なくとも1つの第2の照明条件でカメラによって撮像された画像から得られた画像特性値の第1のセットの値を適応させる工程によって、画像特性値の少なくとも1つの第2のセットを決定する工程であって、第2のセットの少なくとも2つの画像特性値が同じカメラパラメータの少なくとも2つの異なる値にそれぞれ対応する、決定する工程と、
画像特性値の決定された少なくとも1つの第2のセットに基づいて、カメラのカメラパラメータ値を選択する工程と、選択されたカメラパラメータ値の関数としてカメラの設定を修正する工程であって、カメラパラメータは絞り、ゲイン、及び/又はシャッタ速度を含む、修正する工程と、を実行するマイクロプロセッサを備える、カメラのカメラパラメータを設定するためのデバイスが提供される。
本発明の第2の態様は、上述の第1の態様と同様の任意的な特徴及び利点を有する。
本発明による方法の少なくとも一部は、コンピュータで実現することができる。したがって、本発明は、全体的にハードウェアの実施形態、全体的にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、又は本明細書ではすべて一般に「回路」、「モジュール」、又は「システム」と呼ばれることがあるソフトウェア及びハードウェアの態様を組み合わせた実施形態の形態をとってもよい。さらに、本発明は、媒体に実装されたコンピュータ使用可能プログラムコードを有する任意の有形の表現媒体に実装されたコンピュータプログラム製品の形態をとってもよい。
本発明はソフトウェアで実現することができるので、本発明は、任意の適切なキャリア媒体上のプログラマブル装置に提供するためのコンピュータ可読コードとして実装することができる。有形キャリア媒体は、フロッピー(登録商標)、CD‐ROM、ハードディスクドライブ、磁気テープデバイス、又はソリッドステートメモリデバイスなどの記憶媒体を含んでいてもよい。過渡搬送媒体は、電気信号、電子信号、光信号、音響信号、磁気信号、又は電磁信号、例えばマイクロ波又はRF信号などを含むことができる。
本発明の他の特徴及び利点は、添付の図面を参照して、非限定的な例示的な実施形態の以下の説明から明らかになるのであろう。
本発明の実施形態を実現し得るビデオ監視システムの一例を概略的に示す。
本発明の実施形態を実現するための計算デバイスの概略ブロック図である。
本発明の実施形態による、ソースデバイスのパラメータを自動的に設定することを可能にする自動設定方法の一例を示すブロック図である。
図3に示されるような自動設定方法の較正フェーズ中に実行されるステップの第1の例を示すブロック図である。
関心領域、焦点値、及び画像から移動ターゲットの距離マップを構築するために実行されるステップの一例を示すブロック図である。
関心領域及び画像から静止ターゲットの焦点マップを構築するために実行されるステップの一例を示すブロック図である。
ターゲット速度の分布の一例を示す。
カメラの使用を混乱させることなく、カメラの運用上の使用中に新しいカメラ設定を決定するためのステップの例を示す。
図3に示されるような自動設定方法の較正フェーズ中に実行されるステップの第2の例を示すブロック図である。
図3に示されるような自動設定方法の較正フェーズ中に実行されるステップの一例を示すシーケンス図である。
図3に示されるような自動設定方法の動作フェーズ中に実行されるステップの一例を示すシーケンス図である。
実施形態に従って、新しい自動設定方法が提供される。これは、学習フェーズと、情報を取得するための較正フェーズと、環境条件が変化したときに任意の状況においてカメラを動的に自動設定するための動作フェーズと、の間にいくつかのフェーズを含む。環境条件が顕著に変化し、以前の較正フェーズ中に得られた情報項目がもはや効率的でないときに、新しい較正フェーズがトリガされてもよい。
ほとんどのネットワークカメラが遠方のターゲットを監視するので、絞り値は一般に、そのカメラから約1メートル以上離れた位置にある任意の物体に対して焦点が達成されるように設定されることが観察されている。結果として、達成されるトレードオフは一般に、主にゲイン及びシャッタ速度、すなわちノイズ及び動きぼけに向けられる。しかしながら、本発明者らは、絞り値を最適化することがシステム全体の効率に顕著な影響を有する状況が存在することを観察した。したがって、ネットワークカメラの使用に基づいて、達成されるトレードオフは、ゲイン及びシャッタ速度、又はゲイン、シャッタ速度、及び絞りに向けられてもよい。
図1は、本発明の実施形態を実現することができるビデオ監視システムの一例を概略的に示す。
ビデオ監視システム100は110a、110b、及び110cで示される複数のネットワークカメラ、例えば、一般的にIPカメラ110と呼ばれるインターネットプロトコル(IP)タイプのネットワークカメラを含む。
ソースデバイスとも呼ばれるネットワークカメラ110は、バックボーンネットワーク130を介して中央サイト140に接続される。大規模ビデオ監視システムでは、バックボーンネットワーク130は、典型的にはインターネットなどの広域ネットワーク(WAN)である。
図示された例によれば、中央サイト140は、ビデオ監視システムを管理するために使用されるビデオ管理システム(VMS)150と、カメラ110の自動設定を行うために使用される自動設定サーバ160と、受信されたビデオストリームを格納する記録サーバ170のセットと、受信されたビデオストリームを解析するビデオコンテンツ解析(VCA)サーバ180のセットと、受信されたビデオストリームを表示するディスプレイ185のセットとを備える。全てのモジュールは、典型的にはローカルエリアネットワーク(LAN)、例えばギガビットイーサネット(登録商標)に基づくローカルエリアネットワークである専用インフラストラクチャネットワーク145を介して相互接続される。
ビデオ管理システム150は、例えば管理インタフェースを介してビデオ監視システムを構成し、制御し、管理することを可能にするソフトウェアモジュールを含むデバイスであってもよい。このようなタスクは、典型的にはビデオ監視システム全体を構成することを担当するアドミニストレータ(例えば、アドミニストレータ190)によって実行される。特に、アドミニストレータ190は、ビデオ管理システムの各ソースデバイスのソースエンコーダ構成を選択するために、ビデオ管理システム150を使用してもよい。最新技術では、ソースビデオエンコーダを構成することがこの唯一の手段である。
ディスプレイ185のセットは、ビデオ監視システムのカメラによって撮影されたシーンに対応するビデオストリームを見るために、オペレータ(例えば、オペレータ191)によって使用されてもよい。
自動設定サーバ160は、カメラ110のパラメータを自動的又はほぼ自動的に設定するためのモジュールを含む。これは、図2を参照してより詳細に説明される。
アドミニストレータ190は、自動設定サーバ160で実行される、図3〜7を参照して説明される自動設定アルゴリズムの入力パラメータを設定するために、ビデオ管理システム150の管理インタフェースを使用してもよい。
図2は、本発明の実施形態を実現するための計算デバイスの概略ブロック図である。これは、図1を参照して説明した自動設定サーバ160に組み込まれてもよい。
コンピューティングデバイス200は、以下に接続された通信バスを備える。すなわち、
−CPUと呼ばれる、マイクロプロセッサのような中央処理装置210。
−外部のデバイスからデータを受信し、外部のデータにデータを送信するためのI/Oモジュール220。特に、これはソースデバイスから画像を取り出すために使用されてもよい。
−実施形態を実現するためのコンピュータプログラムを格納するための、ROMで示される読み出し専用メモリ230。
−HDで示される、ハードディスク240。
−本発明の実施形態の方法の実行可能コード、特に自動設定アルゴリズムを、変数及びパラメータを記録するように適合されたレジスタと同様に格納する、RAMで示されるランダムアクセスメモリ250。
−本発明の実施形態の入力パラメータを構成するために使用される、UIで示されるユーザインタフェース260。上述のように、管理ユーザインタフェースは、ビデオ監視システムのアドミニストレータによって使用されてもよい。
実行可能コードは、ランダムアクセスメモリ250、ハードディスク240、又はメモリカードのディスクのようなリムーバブルデジタル媒体(不図示)のいずれかに格納されてもよい。
中央処理装置210は、前述の記憶手段の1つに格納された本発明の実施形態による1つ以上のプログラムの命令又はソフトウェアコードの一部の実行を制御し、指示するように適合され、その命令は、前述の記憶手段の1つに格納される。電源投入後、CPU210は、ソフトウェアアプリケーションに関するメインRAMメモリ250からの命令を、それらの命令が例えばプログラムROM230又はハードディスク240から読み出された後に実行してもよい。
図3は、本発明の実施形態による、ソースデバイス、典型的にはカメラのパラメータを自動的に設定することを可能にする自動設定方法の一例を示すブロック図である。
図示されるように、第1のフェーズは学習フェーズ(参照番号300)である。実施形態によれば、これは、考慮されるカメラの設置の前に、例えば、画像を処理するためのソフトウェアアプリケーションの開発中に行われる。好ましくは、学習フェーズは、カメラのタイプに特有ではない(すなわち、一般的であることが有利である)。このフェーズの間、品質値(画像処理の結果に関連する)と、そのような処理結果品質を推定するために必要とされる関連変数のすべて又は大部分と、の間に、関係又は関数が確立される。これらの関連変数は、画質依存パラメータ及び/又はシーン依存パラメータを含んでいてもよい。以下に説明されるように、品質関数と呼ばれるこの関係又は関数は、任意のカメラによって処理することができるミッションのタイプに依存してもよい。
学習フェーズの目的は、ミッションに影響を有するパラメータの関数として、特定のミッションに関連する画像の品質を一目で述べることができる品質関数を得ることである。
特定の実施形態によれば、学習フェーズの出力は、以下のように表され得る品質関数である。すなわち、
quality(missions)(image quality,scene)であり、
ここで、missionsはミッションのタイプであり、
image qualityは、ぼけ値、ノイズ値、及びコントラスト値を含み得るパラメータのセットであり、
sceneは、ターゲットサイズ、ターゲット速度、及び/又はターゲット距離を含み得るパラメータのセットである。
したがって、特定の実施形態では、学習フェーズの出力は、以下のように表され得る。すなわち、
quality(missions)(noise,blur,contrast,target_size,target_velocity,target_distance)
品質関数fqualityは、品質値をn個のパラメータ値のセット、例えば、ノイズ、ぼけ、コントラスト、ターゲットサイズ、ターゲット速度、及びターゲット距離の値と関連付ける数学的関係又はn次元配列とすることができる。
参照符号305で示されるように、カメラによって処理されるミッションのタイプは、カメラの設置中又はその後にユーザ(又は設置者)によって選択されてもよい。同様に、ユーザは、処理される画像の一部に対応する関心領域(ROI)を選択してもよい。点線を使用して示されるように、このステップは任意である。
図示されるように、ユーザがミッションのタイプを選択した後、学習フェーズから得られる品質関数は、以下のように書かれてもよい。すなわち、
quality(quality,scene)
又は、与えられた例によれば、
quality(noise,blur,contrast,target_size,target_velocity,target_distance)
あるいは、この自動設定アルゴリズムが特定のタイプのミッションのために構成されてもよく、撮像されたシーン全体が考慮されてもよい。
ここで、ぼけの2つの原因、動きぼけ及び焦点ぼけが存在することが観察される。
第2のフェーズ(参照番号310)は、較正に向けられる。これは、典型的にはカメラの設置中に実行され、カメラの設定に基づいてパラメータ値を取得することに加えて、カメラの設定に従って実際のシーンからシーン値を測定することを目的とする。これには、数分から数十分かかる可能性がある。以下に説明されるように、特に図4及び図7を参照すると、実際のシーン及び現在のカメラ設定に従って品質処理値を決定することが可能になる。実施形態によれば、較正フェーズは、1回だけ実行される。
このフェーズの出力は、シーン値(例えば、ターゲットサイズ、ターゲット速度、及びターゲット距離)、カメラ設定(例えば、ゲイン、シャッタ速度、及び絞り)の関数として決定され得る画質値(例えば、ノイズ、ぼけ、及びコントラスト)、並びにカメラ設定(例えば、ゲイン、シャッタ速度、及び絞り)の関数として決定され得る画像メトリック(例えば、輝度)を含んでいてもよい。これらは次のように表され得る。すなわち、
[シーン関連パラメータ]
target_size
target_speed
target_distance
[画質]
noise=fnoise_calibration(gain,shutter_speed,aperture)
blur=fblur_calibration(gain,shutter_speed,aperture)
contrast=fcontrast_calibration(gain,shutter_speed,aperture)
[画質メトリック]
luminance=fluminance_calibration(gain,shutter_speed,aperture)
関数(fnoise_calibration、fblur_calibration、fcontrast_calibration、fluminance_calibration)は、3つのパラメータ値のセット(ゲイン、シャッタ速度、及び絞り)に値を関連付ける数学的関係又は3次元配列であってもよい。あるいは、関数(fnoise_calibration,fblur_calibration,fcontrast_calibration,fluminance_calibration)は、2つのパラメータ値(gain及びshutter_speed)のセットに値を関連付ける数学的関係又は3次元配列であってもよい。
第3のフェーズ(参照番号315)は、動作に向けられる。これは、カメラの運用上の使用中にその設定を改善するために行われる。これは、カメラ設定を変更すること(すなわち、非侵襲性フェーズであること)を除いて、例えば1秒未満の非常に短い時間で、カメラを混乱させることなく実行されることが好ましい。これは、適切なカメラ設定、好ましくは最も適切なカメラ設定を選択するために使用される。
そのために、較正フェーズ中に得られたデータは、現在の環境条件を考慮して、学習フェーズ中に決定された品質関数に従って、良好な設定、好ましくは最良の設定を計算するために使用される。実際に、環境条件、典型的には照明は、この較正に対応する環境条件とは異なる場合がある。したがって、この較正データは、現在の環境条件に適合するように調整されなければならない。次に、この調整されたデータは、最良の設定を計算するために使用される。これは、カメラ設定が最適設定により近づくと、較正データの調整がより正確になるので、反復処理であってもよい。このような動作フェーズは、カメラ設定の新たな変更が必要とされるたびに実行されることが好ましい。
動作フェーズの出力は、カメラ設定、例えば、ゲイン、シャッタ速度、及び絞り値のセットである。
動作フェーズ中に、較正フェーズ中に決定された情報項目が正確な結果を得ることを可能にするかどうかを決定するために、テストが行われてもよい。較正フェーズ中に決定された情報項目が正確な結果を得ることを可能にしない場合、図6cを参照して説明されるように、較正フェーズのいくつかのステップが再び実行されてもよい。
[学習フェーズ]
ビデオ監視カメラは、全く異なる状況で、すなわち、異なる「ミッション」又は「タスク」を行うために使用されてもよい。例えば、いくつかのカメラは、全体的なビューを提供するために使用されてもよく、例えば群衆管理又は侵入者の検出のために、広い領域を解析することを可能にし、一方で、他のカメラは、詳細なビューを提供するために使用されてもよく、例えば、顔又はナンバープレートを認識することを可能にし、他のカメラは、例えば工場において、機械の適切な機能を制御するために使用されてもよい。ミッションのタイプに応じて、カメラに関連する制約は全く異なる可能性がある。特に、ノイズ、ぼけ、及び/又はコントラストの影響は、ミッションによっては同じではない。例えば、ぼけは、一般に、詳細が重要であるミッションに対して、例えば、顔又はナンバープレートの可読性に対して高い影響を有する。他の事例では、ノイズは、例えば、シーンが人間によって連続的に監視されるときに(ノイズの多いビデオで経験されるより高い眼精疲労を原因として)、より大きな影響を有し得る。
上述のように、学習フェーズの目的は、ミッションに影響を有するパラメータの関数として、特定のタイプのミッションのコンテキストに関連する画像の品質を一目で述べることができる品質関数を得ることである。
実施形態によれば、このようなパラメータは、以下のようであってもよい。すなわち、
−カメラによって提供される画像の品質を表し、カメラの設定に依存するパラメータ。そのようなパラメータは、ノイズ、ぼけ、及び/又はコントラストを含んでいてもよい。
−以下、シーン依存パラメータと呼ばれ、それらの値はシーン値と呼ばれる、シーン及び行われるミッションに向けられるパラメータ。それらの数及び性質は、ミッションのタイプに依存する。これらのパラメータは、ターゲットのサイズ、及び/又はターゲットの速度、及び/又はカメラからのターゲットの距離を含んでいてもよい。これらのパラメータの値は予め決定されてもよく、ユーザによって決定されてもよく、又は、例えば画像解析によって推定されてもよい。それらは、画質に直接的な影響を有さないが、ミッションを果たすことがどれほど困難であるかにおいて役割を果たす。例えば、ノイズはより大きなターゲットよりもより小さなターゲットに多くの影響を及ぼすので、ノイズの多い画像の知覚される品質は、ターゲットがより小さい場合に低下するであろう。
画質に関しては、ノイズ、ぼけ、及びコントラストが一般に最も関連するパラメータであることが観察されている。それにもかかわらず、カメラ設定は、例えば被写界深度及び/又はホワイトバランスのような、画質を代表するものと考えられ得る他のパラメータに影響を有する。しかしながら、特定の応用例では、ビデオ監視システムにおける過焦点設定のために、被写界深度はあまり関連性がない場合があることが観察される。ホワイトバランスは一般的にカメラオートモードで効率的に処理されることに留意されたい。したがって、明確性のために、以下の説明は、画質パラメータとして、ノイズ、ぼけ、及びコントラストに基づいている。しかしながら、他のパラメータが使用されてもよいことは理解されなければならない。
シーン依存パラメータに関しては、ターゲットサイズ、ターゲット速度、及びターゲット距離が、一般に最も関連するパラメータであることが観察されている。したがって、明確性のために、他のパラメータが使用されてもよいが、以下の説明はこれら3つのパラメータに基づく。
したがって、学習フェーズで決定される品質関数は、一般に、以下のように表されてもよい。すなわち、
quality(missions)(noise,blur,contrast,target_size,target_velocity,target_distance)、
又は関数のセット(ミッションのタイプごとに1つの関数がミッション<i>と表記される)。
mission<i>についてのfquality(noise,blur,contrast,target_size,target_velocity,target_distance)、
又はビデオ監視システムが使用される所定のタイプのミッションに対応する関数。
quality(noise,blur,contrast,target_size,target_velocity,target_distance)。
このような関数は、動作フェーズ中に、(較正フェーズ中に得られた結果に従って)現在のカメラ設定に対応するノイズ、ぼけ、コントラスト、ターゲット速度、及びターゲットサイズを考慮して、実行されるミッションのための効率的なカメラ設定を選択することを可能にする。
説明のため、この関数は、0(非常に低い品質)と1(非常に高い品質)との間でスケーリングされていてもよい。
実施形態によれば、この品質関数は、考慮されるタイプのミッションでのノイズ、ぼけ、及びコントラストにどのようにペナルティを科すかを決定する専門家によって設定される。
説明のため、この品質関数は、以下のようであってもよい。すなわち、
Figure 0006872039
であり、ここで、Vnoise,Vblur,及びVcontrastは、それぞれノイズ、ぼけ、及びコントラストのパラメータの値を表す。
上述したように、このぼけは、動きぼけ成分と焦点ぼけ成分とを含む。したがって、このぼけは、以下のように表されてもよい。すなわち、
blur=blur+blur
であり、ここで、blurは焦点ぼけの値を表し、blurは動きぼけの値を表す。
品質関数fqualityは、特定のミッションについて、ノイズ、ぼけ、及びコントラストのような一般的なイメージ特性、並びにターゲットサイズのようなシーン特性の関数として品質値を決定することを可能にする。しかし、ノイズ、ぼけ、及びコントラストを先天的に決定することは、これらのパラメータはカメラに設定することができないために、可能ではないので、この関数は直接使用することができない。
[較正フェーズ]
較正フェーズの目的は、学習フェーズ中に決定されたfquality関数から品質値を計算するために必要とされる全てのデータを、実際のカメラ及び実際のシーン上でその場で測定することである。
したがって、較正フェーズは、4つの目的(又は焦点が設定されない場合には3つのみ)を含む。すなわち、
−シーン依存パラメータ、例えば、ターゲットサイズ、ターゲット速度、及びターゲット距離を決定又は測定することと、
−焦点を設定することと、
−各画質パラメータ(例えば、ノイズ、ぼけ、及びコントラスト)とカメラ設定(例えば、ゲイン(G)、シャッタ速度(S)、及び絞り(A))との関連を以下のように、つまり、
noise=fnoise_calibration(G,S,A)、略してnoisecal(G,S,A)
blur=fblur_calibration(G,S,A)、略してblurcal(G,S,A)
contrast=fcontrast_calibration(G,S,A)、略してcontrastcal(G,S,A)
のように確立するために関数を推定することと、
−画像メトリック(例えば、輝度)とカメラ設定(例えば、ゲイン(G)、シャッタ速度(S)、及び絞り(A))との関連を確立する関数を推定することと、を含む。実施形態によれば、輝度は、シーン照明が修正されたときに新しい較正関数を推論するために動作フェーズ中に使用される。これは次のように表されてもよい。すなわち、
luminance=fluminance_calibration(G,S,A)、略してIcal(G,S,A)
図4aは、図3に示されるような自動設定方法の較正フェーズ中に実行されるステップの第1の例を示すブロック図である。
図示されるように、第1のステップ(ステップ400)は、カメラ設定を選択することに向けられる。実施形態によれば、このステップは、全てのカメラ設定値、例えば、ゲイン、シャッタ速度、及び絞り値の三つ組全ての多様体を探索することと、解析用のカメラ設定の数を減らすために代表的な三つ組のセットを選択することと、を含む。
他の実施形態によれば、このステップは、ゲイン及びシャッタ速度値の全ての対の多様体を探索することと、解析用のカメラ設定の数を減らすために代表的な対のセットを選択することと、を含む。
説明のため、使用されるシャッタ速度値は、以下のように選択されてもよい。すなわち、0からnまで変化する番号iを用いて、
=min(S)、及びSi+1=S×2
であり、その結果、S<=max(S)及びSn+1>max(S)であり、
ここで、min(S)は最小シャッタ速度であり、max(S)は最大シャッタ速度である。
カメラが受け取り得るシャッタ速度が離散値である場合、そのシャッタ速度は、それらの値が上の関係(対数スケールに対応する)に従って選択された値に最も近くなるように選択される。
同様に、使用されるゲイン値は、以下のように一様な線形スケールに従って選択されてもよい。すなわち、
=min(G)、及び、
i+1は、
Figure 0006872039
であるように、0からnまで変化する番号iを用いて決定され、その結果、G<=max(G)及びGn+1>max(G)であり、
ここで、Iが画像の輝度である場合、min(G)が最小ゲインであり、max(G)がより高いゲインである。
同様に、使用される絞り値は、以下のように、ゲイン値のように、一様な線形スケールに従って選択されてもよい。すなわち、
=min(A)、及び、
i+1は、
Figure 0006872039
であるように決定される。
結果として、このゲイン、シャッタ速度、及び絞り値は、輝度への影響に関して等価なスケールを有する。換言すれば、シャッタ速度値又は絞り値がある値から次の値に移るときに、その画像の輝度が値Δ分増加する場合、ゲイン値は、現在のゲイン値から次の値に移るときにも輝度が値Δ分増加するように、選択される。
ステップ400で、ゲイン、シャッタ速度、及び絞り値のセットを選択した後、これらの値に設定されたカメラから画像が得られる(ステップ405)。説明のため、ゲイン、シャッタ速度、及び絞り値の各三つ組(G,S,A)について、3〜10個の画像を、好ましくは短時間に得てもよい。
これらの画像を得るための時間、及び画像の取得中のカメラの安定性を最適化するために、カメラ設定の変更は、好ましくは最小限に抑えられる、すなわち、カメラの設定は、好ましくは1つのゲイン、シャッタ速度、及び/又は絞り値からその次のものに変更される(なぜならば、カメラがゲイン、シャッタ速度、及び絞りを大きく変更するように進むのにより長い時間がかかるからである)。
したがって、実施形態によれば、画像は、選択されたゲイン値及びシャッタ速度値のそれぞれについて、以下のように得られる。すなわち、
−絞りがその最小値(min(A))に設定され、
−ゲインがその最小値(min(G))に設定され、シャッタ速度の選択された全ての値が、それらの昇順に従って(min(S)からmax(S)へと)次々に設定され、値(G,S,A)の各三つ組について3〜10の数の画像が得られ、
−ゲインの値がその次の選択された値に設定され、シャッタ速度の選択された全ての値が、それらの降順に従って(max(S)からmin(S)へと)次々に設定され、値の(G,S,A)の各対について3〜10の数の画像が得られ、
−ゲイン及びシャッタ速度の選択された全ての値について画像が取得されてしまうまで、その次のゲインの値を用いて上のステップが繰り返され、
−ゲイン、シャッタ速度、及び絞りの選択された全ての値について画像が取得されるまで、その次の絞りの値を用いて上の3つのステップが繰り返される。
次に、ゲイン、シャッタ速度、及び絞りの選択された全ての値について画像を得た後、得られた全ての画像について、画像メトリック、ここでは輝度を測定し(ステップ410)、これらの画像のそれぞれについて画質解析を行う(ステップ415)。
輝度の測定は、画像の輝度と、この画像を得る際に使用されたカメラ設定、例えば、ゲイン、シャッタ、及び絞り値との関係を決定することを目的とする。得られた画像ごとに、輝度は、算出され、対応する関数を決定するため、又は輝度がゲイン、シャッタ速度、及び絞り値の三つ組に関連付けられる3次元配列(Ical(G,S,A)で示される)を構築するために、対応するゲイン、シャッタ速度、及び絞り値に関連付けられる。実施形態によれば、この輝度は、画像の各画素についての画素値(すなわち、強度値)の平均に対応する。
実施形態によれば、画像のエントロピーも輝度の測定中に算出され、画質解析中にコントラスト値を決定することを可能にする。輝度と同様に、エントロピーは、得られた画像のそれぞれについて算出され、その対応する関数を決定するため、又はエントロピーがゲイン、シャッタ速度、及び絞り値の三つ組に関連付けられる3次元配列(Ecal(G,S,A)で示される)を構築するために、対応するゲイン、シャッタ速度、及び絞り値に関連付けられる。実施形態によれば、エントロピーの測定は、以下のステップを含む。すなわち、
−各チャンネルについて(すなわち各成分について)、画像画素値のヒストグラムを決定すること、すなわち、可能な画素値それぞれについて(例えば、各成分が8ビットで符号化されている場合、0から255まで変化するiについて)、画素数cを数えることと、
−以下の関係、すなわち、
Figure 0006872039
に従ってシャノンエントロピーを算出することと、であり、ここで、nは、全てのチャネルの画素の総数である。
以下で説明されるように、このエントロピーは、(カメラ設定、例えばゲイン、シャッタ速度、及び絞りなどではなく)輝度の関数として決定されてもよい。エントロピーと輝度との間のこのような関係は、(較正に関連する環境条件だけでなく)任意の環境条件で有効であると考えることができる。したがって、得られた各画像についてエントロピー及び輝度を算出した後、そのエントロピー値は、対応する関数を決定するために、又はエントロピーが輝度に関連付けられる1次元配列(E(I)で示される)を構築するために、対応する輝度値に関連付けられる。
図4aに戻り、上述したように、それぞれのパラメータと、対応する画像を得るために使用されるカメラ設定と、の関係を確立するために、画質解析(ステップ415)はステップ405で得られた画像から画質パラメータ値、例えば、ノイズ、ぼけ、及びコントラストの値を決定することを目的とする。このステップの間に、コントラストと輝度との関係も確立される。
ノイズ値は得られた画像について測定され、測定されたその値は、対応する関数を決定するために、又はノイズ値がゲイン、シャッタ速度、及び絞り値の三つ組に関連付けられる3次元配列(noisecal(G,S,A))を構築するために、対応するゲイン、シャッタ速度、及び絞り値に関連付けられる。
一実施形態によれば、画像のノイズは、同じカメラ設定に対応する(短期間に得られる)いくつかの画像のセットの関数として、及び以下のステップの結果として決定される。すなわち、以下のステップとは、
−動き画素、すなわち、移動中のオブジェクトに対応する画素を除去すること、又は換言すれば前景を除去すること、
−各画素についての時間的分散(すなわち、各チャネルについての、経時的な各画素値の変動の分散)を算出すること、及び、
−すべての画素とすべてのチャネルとの間の算出された分散の平均値として、画像のセットについてのグローバルノイズ値を算出すること、である。
得られたその値は、ノイズとカメラ設定との関係を確立することを可能にする。
同様に、ぼけ値は、ぼけとカメラ設定との関係を確立するように、得られた画像について算出される。各ぼけ値は、動きぼけ値と焦点ぼけ値との加算に対応する。
実施形態によれば、動きぼけ値は、以下の関係に従って、ターゲット速度及びシャッタ速度の関数として決定される。すなわち、以下の関係とは、
Figure 0006872039
であり、ここで、vtargetはターゲット速度であり、その動きぼけ値は画素で与えられ、ターゲット速度は画素/秒で与えられ、シャッタ速度は秒で与えられる。
したがって、較正フェーズに関連する環境条件(「較正環境条件」と示される)を考慮して、動きぼけは、以下のように決定されてもよい。すなわち、
Figure 0006872039
である。
このターゲット速度は、予め決定されてもよいし、ユーザによって設定されてもよいし、以下に説明されるように一連の画像から測定されてもよい。
その焦点ぼけは、異なる解決策に従って決定されてもよい。
特定の実施形態によれば、使用される解決策は、関心のあるターゲットが動いているかどうかの関数として決定される。これは、ユーザによって設定されてもよいし、画像解析によって決定されてもよい。
関心のあるターゲットが動いている場合、それらは、典型的には標準的な画像処理アルゴリズムを使用することによって得られた画像上で検出され、それらのサイズは、それらの実際のサイズ及びカメラの受光設定のようなターゲットに関する知識を使用することによって決定される。実際、ターゲットは、一般に特定のクラス(例えば、人間、自動車、自転車、トラックなど)に属し、したがって、それらは、例えば、それらのサイズを決定するために、統計情報の関数として認識及び解析され得ることが観察される。
これは、カメラまでのターゲットの距離を算出し、考慮される関心領域内に距離マップを構築することを可能にする。距離マップは、典型的には、考慮される関心領域の位置でのターゲット距離の分布、又は、以下のdistance=fdistance(x,y)として表すことのできる、考慮される関心領域の位置での距離値を表し、ここで、x及びyは画素座標、すなわち、それぞれの画素の行及び列番号である。図4bは、移動ターゲットの距離マップを構築するために実行されるステップの例を示す。
逆に、ターゲット(又はターゲットの少なくとも一部)が静止している場合、その焦点の全範囲は、使用される異なる焦点値の画像を記録しながら探索されてもよい。得られた画像が解析され、考慮される関心領域の位置について、考慮される関心領域の焦点マップを構築するために、最も鮮明な画像につながる焦点が決定される。焦点マップは、典型的には、考慮される関心領域の位置に使用される焦点の分布、又は、以下の焦点=ffocus(x,y)として表すことができる、考慮される関心領域の位置に使用される焦点値を表す。図4cは、移動ターゲットの距離マップを構築するために実行されるステップの例を示す。
次に、距離マップ又は焦点マップは、ターゲットが移動しているか否かに応じて、幾何学的光学計算に基づいて、絞り値の関数として光学的絞り及び焦点ぼけを算出するために使用される。
ターゲットの最適な焦点値はこのターゲットとカメラとの間の距離にのみ依存するので、ターゲット距離と考慮される関心領域内の位置との関係を確立する関数は、焦点値とこの考慮される関心領域内の位置との関係を確立する関数に非常に近いことが観察される。結果として、考慮される関心領域の最適焦点(Foptim)を決定することは、焦点を変化させながらこれらの関心領域を解析すること、又はこの関心領域内のターゲット距離を考慮して最適焦点を算出することにある場合がある。この最適な焦点から、焦点ぼけは、関心領域を解析することによって決定されてもよく、又はこの関心領域内のターゲット距離の関数として推定されてもよい。
実施形態によれば、最適焦点及び焦点ぼけは、fmap(x,y)で示される距離マップ又は焦点マップの関数として、以下のように決定されてもよい。すなわち、
1/d+1/v=1/F
であり、移動ターゲットでは、
Figure 0006872039
及び、
Figure 0006872039
であり、ここで、<>は演算子「x変数の平均」に対応し、
argminは演算子「x変数のargmin」に対応し、
1/dは焦点距離、すなわち、カメラからのオブジェクトの実際の距離であり、そこで、画像内の表現が現在の焦点値の場合に鮮明となる。それは、利用可能でない場合、以下の関係に従って、レンズとセンサとの間の距離に対応する、表示された画像距離から取り出すことができる。すなわち、以下の関係とは、
1/d+1/v=1/F
であり、静止ターゲットでは、
Figure 0006872039
及び、
Figure 0006872039
であり、ここで、motionlessROIは、図4cを参照して説明されたように、動きが検出される領域が除去された、考慮される関心領域に対応する。
結果の単位は、焦点ぼけ及び最適焦点についてUSI(m)に与えられることに留意されたい。焦点ぼけについては、画素単位で表現することが好ましい。これは、以下の式に従って行うことができる。すなわち、以下の式とは、
Figure 0006872039
であり、ここで、resolution及びsensor_sizeは、それぞれピクセル単位の解像度及びUSI単位のセンササイズを表す。
動きぼけ及び焦点ぼけを含むぼけ(blur=blur+blur)は、上の関係に従って得られた画像のそれぞれについて算出され、その得られた値は、対応する関数を決定するために、又はぼけ値がシャッタ速度及び絞り値に関連付けられる2次元配列(blurcal(S,A))を構築するために、対応するシャッタ速度及び絞り値に関連付けられる(ゲインはぼけに影響しない)。
同様に、コントラストは、得られた画像のそれぞれについて算出される。これは、以下の関係に従ってエントロピーから得られてもよい。すなわち、以下の関係とは、
Figure 0006872039
であり、ここで、例えば、処理された画像がRGB画像であり、各成分が8ビットにわたって符号化されるとき、max_entropyは8に等しい。
従って、contrastcal(G,S,A)は、エントロピーEcal(G,S,A)から得られてもよい。換言すれば、コントラスト値は、ゲイン、シャッタ速度、及び絞り値の関数として表現されるエントロピーから、ゲイン、シャッタ速度、及び絞り値の関数として表現されてもよい。
同様に、輝度の関数として表されるコントラストcontrast(I)は、輝度の関数としても表されるエントロピーE(I)から得られてもよい。これは、以下のステップの結果として行うことができる。すなわち、以下のステップとは、
−得られた画像それぞれのエントロピーを測定することと、
−この測定されたエントロピー値と、カメラ設定、例えばゲイン、シャッタ速度、及び絞りと、の間の、Ecal(G,S,A)で示される関係を決定することと、
−輝度値と、カメラ設定、例えばゲイン、シャッタ速度、及び絞りと、の間の、Ical(G,S,A)で示される事前に決定された関係を得ることと、
−所定のノイズ閾値を超えるノイズ値をもたらすゲイン値に対応する選択されたカメラ設定を破棄することと(ノイズが大きすぎる場合、そのノイズはエントロピーに影響を及ぼす可能性があり、したがって、ノイズを所定の閾値、例えば5〜10未満の分散値に制限することによって、その影響が顕著に低減される)、
−同じカメラ設定を共有するエントロピー値及び輝度値の低減されたデータ収集を得るために、ゲイン、シャッタ速度、及び絞り値に関連する残りのエントロピー値並びに輝度値を集めることであって、このデータ収集は、例えばエントロピー値及び輝度値に対する線形補間のような単純な回帰関数を使用することによって、エントロピー値と輝度値との関係を確立することを可能にする、集めることと、
−例えば、以下の関係に従って、輝度の関数としてコントラストとエントロピーとの関係を決定することと、である。以下の関係とは、
Figure 0006872039
である。
図4aに戻ると、シーン依存パラメータ値、例えばターゲットサイズ及び/又はターゲット速度がどのようにして得られ得るのかが示されている。
そのために、チャンクとも呼ばれる連続画像の短いシーケンスが得られる。説明のため、ターゲットの自然な多様性を表す10〜20個のチャンクが得られる。
特定の実施形態によれば、チャンクはオートモードを使用することによって記録される(この結果は完全ではないが、このチャンク解析はぼけ及びノイズに対してロバストであり、したがって、顕著な誤差をもたらさない)。動きを検出し、それにより、得られるチャンクを選択するために、カメラの動き検出器を使用することができる。
記録持続時間は、統計的有意性に到達するのに十分なターゲットを得るのに要する時間に依存する(一般に10〜20のターゲットで十分である)。事例により、数分のみから数時間(1時間あたりに発見されるターゲットが非常に少ない場合)がかかる可能性がある。
待機を回避するために、チャンク記録の代わりにチャンクフェッチを使用することが可能である(すなわち、カメラが較正ステップの前に既に使用されていた場合、対応するビデオを取り出して使用してもよい)。
あるいは、他の実施形態によれば、ビデオ監視システムのユーザは、使用されるチャンクを選択することが可能にされてもよい。この解決策の主な利点は、そのようなユーザはシステムによって監視されるべきターゲットを表しているのがどのチャンクであるかを知っているという事実に由来する。したがって、関連するチャンクが選択されたことをユーザが保証しようとするとき、考慮されるチャンクがより少なくなってもよい。ユーザが単一のチャンクを選択することさえ可能であってもよい。これは、チャンク決定及び解析処理をより高速にする。チャンク選択を可能にするために、専用のユーザインタフェースが、カメラ構成ユーザインタフェースに(例えば、前記カメラ構成ユーザインタフェースの特定のタブとして)提供されてもよい。これにより、ユーザは、カメラを構成しながらチャンクを容易に選択することが可能になる。さらに、チャンクが選択されると、ユーザインタフェースは、選択されたチャンクへのアクセスを有利に提供し、チャンクを追加又は削除することによってその選択を編集することを可能にしてもよい。これにより、ユーザは、どのチャンクが与えられたカメラに使用されたかを確認し、場合によってはそれらを交換することを決定することが可能になる。
チャンクは、考慮されるカメラによって既に記録された既存の記録のセットから選択され、専用のユーザインタフェースを介して表示されてもよく、この場合では、ユーザは、典型的には開始時間及び終了時間を示すことによって、記録のフラグメントとしてチャンクを指定することを可能にされてもよい。単一の記録から複数のチャンクが指定されてもよい。別の解決策は、ユーザが考慮されるカメラでチャンクを記録することを可能にすることにあってもよい。そうすることにより、ユーザは、監視すべきターゲットのタイプを含むチャンクを容易に作成することが可能になる。
いずれにせよ、チャンクの状態、すなわちチャンクを指定しなければならないかどうか、チャンクが処理されているかどうか、又はチャンクが処理されたかどうかをユーザに明確に示すことも有利であり得る。実際、これにより、その処理に関与する可能性のある潜在的なユーザが、システムの挙動、すなわちチャンクが得られていない限り自動設定が完全には動作可能でないことを理解することが可能になる。一度チャンクが(ユーザから、又は自動的に)得られてしまえば、チャンクが処理されていることを示すことにより、ユーザは、自動設定がまだ完全には動作可能でないが、まもなく動作可能となるであろうことを理解することが可能になる。最後に、チャンクが得られ、処理されたときに、ユーザは、自動設定が完全に動作可能である(自動設定処理の他のステップもうまく行われた)ことを理解することができる。チャンクは、得られた後に、(移動ターゲットについて)それらのサイズ、好ましくはそれらの速度及び距離を推定する(ステップ430)ことを可能にするため、ターゲットを検出する(ステップ425)ために解析される。この推定ステップは関心のあるパラメータの値(例えば、ターゲットサイズ、ターゲット速度)の統計的解析を行うことを含んでいてもよい。次に、パラメータ値の分布から抽出された平均値、中央値、又は任意の他の適切な値が算出され、基準値として使用される。
ターゲットの速度は、ターゲットのいくつかの関心点を追跡することによって非常に正確に導出することができる。これを背景差分法(例えば、ZoranZivkovic and Ferdinand van der Heijdan, "Efficient adaptive density estimation per image pixel for the task of background subtraction". Pattern recognition letters, 27(7):773-780, 2006で述べられる、公知のMOG法又はMOG2法)と組み合わせて用いることにより、背景からの固定の関心点の検出を避けることができ、したがって、不鮮明なターゲットであっても高い精度で速度を決定することができる。このターゲット速度は、単に関心点の主速度である。
図5は、ターゲット速度の分布(又は同様に、関心点の速度の分布)の例を示す。このような表現から、ターゲット速度値が得られてもよい。説明のため、ターゲット速度値は、与えられたターゲットの平均速度に対応するように選択されることができる。説明のため、「中央値80%」に対応する値、すなわち、速度の80%がこの値未満であり、速度の20%がこの値を超えるような速度値を選ぶことができる。
ターゲットサイズは、背景差分と同程度に単純な方法、又はタスクに対応するターゲットの検出により直接的に関連する、ターゲット検出アルゴリズム(例えば、顔認識、人間検出、又はナンバープレート認識)のようなより洗練された方法によって得ることができる。深層学習法も非常に効果的である。外れ値は、コンセンサス由来の方法を使用することによって、又は背景差分とターゲット検出との組み合わせを同時に使用することによって除去され得る。しかしながら、統計的な結果のみが得られるので、その誤差はゼロへと平均化されるはずであるから、このようなアルゴリズムに幾つかの誤差が存在するかどうかは問題ではない。誤差に対するこの許容性は、そのような方法をロバストにする。
図4bは、関心領域(ROI)、焦点値(F)、及び画像から移動ターゲットの距離マップを構築するために実行されるステップの例を示すブロック図である。
図示されるように、第1のステップは、画像の、例えばステップ420で得られたチャンクの画像の与えられた関心領域のターゲット検出に向けられる(ステップ450)。ターゲットの検出は、標準的なアルゴリズムに基づいていてもよい。説明のため、人間、ペット、及び車両のような周知のターゲットを低い誤差率で検出するのに非常に効率的な深層学習ベースのコンピュータビジョン法が存在する。そのような方法の例は、「You Only Look Once」(YOLO、https://arxiv.org/pdf/1612.08242.pdf)、「Single Snapshot MultiBox Detector」(SSD、https://arxiv.org/pdf/1512.02325.pdf)、及び「高速RCNN」(https://arxiv.org/pdf/1506.01497.pdf)として知られている。
これは、関心のあるターゲットを、そのタイプに応じて位置特定することを可能にする。結果として、解析された各画像について、識別されたターゲットを囲むバウンディングボックスが得られる。バウンディングボックスの高さ及び幅は、bounding_box_sizeで示されるターゲットサイズにほぼ対応する。
次に、検出されたターゲットの姿勢が推定される(ステップ455)。これは、検出された各ターゲットの画像に基づくコンピュータビジョンの同様の技術を使用することによって行うことができ、それは、カメラに対するターゲットの角度を決定し、したがって、その姿勢を推定することを可能にする。
次に、考慮される関心領域の可能な限り多くの位置についてターゲットサイズが得られ、結果、ターゲットサイズマップが得られる(ステップ460)。そのために、例えばピクセル単位の実サイズが、例えば以下の式に従って、検出された各ターゲットについて推定される。以下の式とは、すなわち、
Figure 0006872039
であり、ここでbounding_box_sizeはステップ450で得られた検出されたターゲットの見かけのサイズであり、
αはステップ455で得られたカメラに対する検出されたターゲットの角度である。
全ての検出されたターゲット及び全ての解析された画像についての結果は連結される。検出された各ターゲットについて、基準点を使用することができ、例えば、バウンディングボックスの重心及びターゲットサイズをこの点に関連付けることができることに留意されたい。
結果として、考慮される関心領域内の位置に関連するサイズの集合が得られる。これは座標のリスト{(x0,y0)、(x1,y1)、...、(xn,yn)}に関連付けられたターゲットサイズ{size0、size1、...、sizen}のリストとして表すことができ、ここで、sizeiは番号iを有する位置に対応するターゲットサイズ値である。
次いで、ターゲットサイズのマップ(ターゲットサイズマップ)を得るために、これらの結果を使用する。これは、座標に関連するサイズ結果に適用される線形又は非線形回帰のような回帰法(例えば、svm、勾配ブースティング、又は深層学習技術も)を使用することによって行うことができる。
次に、距離マップが算出される(ステップ465)。これは、例えば以下の式に従って、サイズがピクセル単位で表される、得られたターゲットサイズマップを、ターゲットサイズマップの各位置に適用される距離マップに変換することによって行うことができる。すなわち、以下の式とは、
Figure 0006872039
であり、ここで、Fは画像取得中に使用される(カメラの設定に対応する)焦点値であり、
real_sizeはターゲットの(ターゲットに関する先天的知識を使用することによって統計的に決定することができ、例えば、成人の平均サイズは〜1.75mであると設定することができる)実世界サイズである。そのような値の精度を高めるために、ターゲットの中央値サイズ又は任意の統計的サイズの派生物を使用することもでき、
ステップ465の間に算出されるように、考慮される関心領域の各点からpixel_sizeが得られる。その結果は、考慮される関心領域の各位置(x,y)についての距離マップ、すなわち、関数distance=(x,)である。
図4bのステップ450〜465は、図4aのステップ425及び430の間に実行されてもよい。
図4cは、関心領域及び画像から静止ターゲットの焦点マップを構築するために実行されるステップの一例を示すブロック図である。
機械又は建物のような静止ターゲットは、本質的に非常に多様であり得ることが観察される。したがって、すべての建物がユニークであり、非常に多くの機械が存在するので、そのようなタイプのターゲットを共通の特徴に従って認識することは効率的ではないであろう。
しかしながら、これらのターゲットは静止しているか、又は少なくとも部分的に静止しているので、考慮される関心領域の各エリアについて最適な焦点値を決定し、その考慮される関心領域の各位置に焦点値を関連付ける焦点マップを構築することを可能にするために、異なる画像、特に、異なる焦点値で得られた画像におけるそれらの表現を比較することが可能である。
図4cに示されるように、第1のステップは、有限数の焦点値を得て、各サンプリングされた焦点値で少なくとも1つの画像を得る(ステップ470)ために、カメラ内で利用可能な焦点値をサンプリングすることに向けられる。説明のため、焦点値Fの線形サンプリング、又は焦点値の逆数値1/Fの線形サンプリングなどのより洗練されたサンプリングが行われてもよい。他の実施形態によれば、カメラのデフォルトサンプリングを使用することができる(カメラの大部分は、限られた数の利用可能な焦点値しか有していないことに留意されたい)。
各サンプリングされた焦点値に対応する画像は、得られたチャンク(例えば、ステップ420で得られたチャンク)から得られることが好ましい。
次に、得られた画像は、動きが検出されるエリアを識別するために解析される(ステップ475)。実施形態によれば、動きがほとんど検出されないエリアは考慮されない。そのような検出は、動きアクティビティ閾値を使用することによって、標準的な動き検出機構に基づくことができる。
結果として、動きが検出されなかった又は小さな動作が検出された、考慮された関心領域の小部分(すなわち、動作が検出されたエリアが除去された、考慮された関心領域に対応する)が得られる。これは、動きのない関心領域(motionlessROIと示される)と呼ばれる。
次に、得られた鮮明度が最大値になるように、動きのない関心領域の各位置について最適焦点が決定される(ステップ480)。換言すれば、この点の近傍で最大のマイクロコントラストを提供する焦点が決定される。結果として、焦点ぼけは、この焦点値では最小(可能な限り0に近い)である。いくつかの技術は、1つの点又はいくつかの点のぼけ又はマイクロコントラストを解析することを可能にする。
したがって、動きのない関心領域の各位置について、最大のマイクロコントラストを提供する焦点値が得られ、{(x0,y0)、(x1,y1)、...、(xn,yn)}で示される位置又は点のリスト、及び{focus0、focus1、....focusn}で示される対応する焦点値のリストにつながり、ここで、focusiは、番号iを有する位置での最大のマイクロコントラストに対応する焦点値である。
動きのない関心領域は、小さな動作が検出されたエリアを含み得るので、その以前の解析は不確実性の原因をもたらし、したがって、外れ値をもたらすことがある。
精度を高め、これらの外れ値を除去するために、焦点値及び位置で行われる回帰は、動きのない関心領域の各点の位置に焦点値(focus=(x,y)で示される)を関連付けるマッピングを得るために、線形又は非線形回帰などの周知の回帰技術(例えば、svm、勾配ブースティング、又は深層学習技術も)を使用して実行されてもよい。上述したように、このマッピングを焦点マップと呼ぶ。
[動作フェーズ]
前述のように、動作フェーズは、カメラの設定を顕著に混乱させることなく、カメラ設定を改善すること、好ましくは現在のミッション及び現在の環境条件での最適な(又は最適に近い)カメラ設定を決定することを目的とする。そのために、この動作フェーズは、(探索/測定機構ではなく)予測機構に基づく。これは、特に、学習フェーズにおいて決定された品質関数(fquality)、較正フェーズ中に決定された画質パラメータとカメラ設定との関係(例えば、noisecal(G,S,A)、blurcal(G,S,A)、及びcontrastcal(G,S,A))、較正フェーズ中に決定されもしたシーン依存パラメータ、及び現在のカメラ設定で得られた画像に関する画像メトリックを使用する。
実際、較正フェーズの環境条件と現在の環境条件(すなわち、動作フェーズ中)とは同じではないので、カメラを混乱させることなく、品質関数の関数としてカメラ設定を決定するために、画質パラメータとカメラ設定との間の新しい関係が予測されるべきである。
実施形態によれば、ノイズは、シャッタ速度及び絞りとは独立して、ゲインから予測されてもよい。さらに、それは照明条件から独立している。したがって、現在の環境条件でのノイズとゲインとの関係は、以下のように表されてもよい。すなわち、
noisecurrent(G)=noisecal(G)
であり、ここで、与えられたゲイン値に関連するノイズ値は、このゲイン及びそれに関連するすべてのシャッタ速度値の平均ノイズに対応する。
較正フェーズ中に選択されなかったゲイン値についてノイズ値が決定されるべきである場合(すなわち、対応するノイズ値が存在しないゲイン値が存在する場合)、線形補間が実行されてもよい。
付録の表1は、ノイズとゲインとの関係の例を示す。
さらに、実施形態によれば、ぼけは、上述のように、ターゲット速度及びシャッタ速度の関数(動きぼけ)、並びに絞りの関数(焦点ぼけ)として決定されてもよい。それは照明条件に依存しない。したがって、現在の環境条件でのぼけとシャッタ速度及び絞りとの関係は、以下のように表されてもよい。すなわち、
blurcurrent(G,S,A)=blurcal(S,A)
付録の表2は、ぼけとシャッタ速度との関係の一例を示す。
さらに、実施形態によれば、現在の環境条件によるカメラ設定の関数(contrastcurrent(G,S,A)で示される)としてのコントラストの予測は、現在の環境条件でのカメラ設定の関数(Icurrent(G,S,A)で示される)としての輝度の予測と、以下の関係によるコントラストと輝度との関係(contrast(I))の使用とを含む。すなわち、以下の関係とは、
contrastcurrent(G,S,A)=contrastcurrent(Icurrent(G,S,A))
である。
現在の環境条件でのカメラ設定の関数(Icurrent(G,S,A))としての輝度の予測は、較正環境条件でのカメラ設定の関数(Ical(G,S,A)と記される)として表される輝度と、いわゆるシャッタシフト法とに基づくことができる。
後者は、照明条件の変化とシャッタ速度の変化との間に形式的な類似性があるという仮定に基づいている。この仮定に基づいて、現在の輝度Iactは、以下のように表されてもよい。すなわち、
act=Icurrent(Gact,Sact,Aact)=Ical(Gact,Sact+ΔS,Aact
であり、ここで、(Gact,Sact,Aact)は現在のカメラ設定であり、ΔSはシャッタ速度変化である。
したがって、現在の環境条件での輝度とカメラ設定との関係は、以下のように決定されてもよい。すなわち、
−連続又は擬似連続関数を得るために、算出された輝度値Ical(G,S,A)を補間し、
−現在のゲインGactについて、例えば、(現在のゲインGactについて)シャッタ速度の関数として表される輝度の逆関数、すなわち輝度の関数として表されるシャッタ速度を使用し、ΔSをΔS=S(Iact)−Sactとして算出することによって、ΔS(Gact,Sact+ΔS,Aact)=iactとなるようにΔSを決定し、
−式Icurrent(G,S,A)=Ical(G,S+ΔS,A)を用いることによって全関数Icurrent(G,S,A)を決定する。
しかしながら、照明条件の変化とシャッタ速度の変化との間に形式的な類似性があるという仮定が現在のカメラ設定の近傍で正しい場合に、それが必ずしも遠くのカメラ設定に対して当てはまるとは限らない。したがって、以下に説明されるように、使用されるカメラ設定を決定するために反復処理が使用されてもよい。
付録の表3は、コントラストと、ゲイン、シャッタ速度、及び絞りとの関係の一例を示す。
現在の環境条件での画質パラメータを予測した後、現在のカメラ設定の最適化が実行されてもよい。これは、以下のステップに従う格子検索アルゴリズムに基づいていてもよい。すなわち、以下のステップとは、
−異なる(Gpred,Spred,Apred)三つ組の3D格子を生成するために、可能なゲイン、シャッタ速度、及び絞り値の多様体をサンプリングすることと、
−(Gpred,i,Spred,j,Apred,j)で示される(Gpred,Spred,Apred)三つ組のそれぞれについて、以前の予測(noisecurrent(Gpred,i)、blurcurrent(Spred,j,Apred,k)、及びcontrastcurrent(I(Gpred,i,Spred,j,Apred,k))に従って画質パラメータの値を算出することと、
−(Gpred,i,Spred,j,Apred,k)三つ組ごとに、学習フェーズ中に決定された品質関数、現在のミッション(missionact)、及び算出された画質パラメータの値に応じて、以下のように、つまり
scorei,j,k=fquality(missionact)(noisecurrent(Gpred,i),blurcurrent(Spred,i,Apred,k)、及びcontrastcurrent(I(Gpred,i,Spred,i,Apred,k),target_size,target_velocity)
のようにスコアを算出することと、
使用されるカメラ設定、すなわち(Gnext,Snext,Anext)=argmax(scorei,j,k)を決定するために、最良のスコア(又は最良のスコアのうちの1つ)、すなわちmax(scorei,j)を識別することと、である。
付録の表4は、スコアとゲイン、シャッタ速度、及び絞りとの関係の一例を示している。
カメラ設定の精度を改善するために、後者は反復的に決定されてもよい(特に、照明条件の変化とシャッタ速度の変化との間に形式的な類似性があるという仮定が、必ずしも遠くのカメラ設定に対してあてはまるとは限らないことを考慮に入れる)。
したがって、次のカメラ設定が上述のように決定され、設定された後、これらの次のカメラ設定に対応する輝度が予測され(Ipred=Icurrent(Gnext,Snext,Anext))、これらのカメラ設定に対応する新しい画像が得られ、この画像の輝度が算出される。この予測された輝度とこの算出された輝度とが比較される。
この予測された輝度とこの算出された輝度との間の差が、閾値、例えば所定の閾値を超える場合、その処理は、新しいカメラ設定を決定するために繰り返される。この処理は、予測された輝度と算出された輝度との間の差がその閾値未満になるまで、又はカメラ設定が安定するまで繰り返されてもよい。
関心領域(ROIs)は、画質パラメータ値を決定し(このような場合、画質パラメータ値はROIsのみから決定される)、カメラ設定を最適化するために考慮されてもよいことに留意されたい。
図6aは、カメラの使用を混乱させることなく、カメラの運用上の使用中に新しいカメラ設定を決定するためのステップの第1の例を示す。これは、少なくとも部分的に図3のステップ315に対応していてもよい。
図示されるように、第1のステップは、以下に向けられる。すなわち、
−現在のカメラ設定で設定されたカメラから画像を取得し(ステップ600)、そこから実際の輝度(Iact)が算出されてもよく、
−これらのカメラ設定、すなわち、与えられた例では実際のゲイン、シャッタ速度、及び絞り(Gact,Sact,Aact)を得て、
−コントラストと較正環境条件との関係(contrastcal(G,S,A))、コントラストと輝度との関係(contrast(I))、及び較正環境条件のカメラ設定との間のコントラストとカメラ設定との関係(Ical(G,S,A))を得る(ステップ615)。
次に、現在の環境条件での輝度とカメラ設定との関係(Icurrent(G,S,A))、及び現在の環境条件でのコントラストとカメラ設定との関係(contrastcurrent(G,S,A))が、例えば上述の方法及び式を使用して予測される(ステップ620)。
並行して、品質関数(fquality)の前後で、その較正環境条件でのノイズとカメラ設定との関係(noisecal(G,S,A))、その較正環境条件でのぼけとカメラ設定(blurcal(G,S,A))との関係、並びにシーン依存パラメータ値、例えば、ターゲットサイズ及び好ましくはターゲット速度が得られる(ステップ625)。
次に、可能なゲイン、シャッタ速度、及び絞り値に対する画質パラメータ値を予測するために、現在の環境条件でのコントラストとカメラ設定(contrastcurrent(G,S,A))との関係と同様にこれらの関係が使用される(ステップ630)。上述のように、これらの画質パラメータ値は、3D格子を形成する異なる(Gpred,Spred,Apred)対について算出されてもよい。
次いで、以前に得られた品質関数に従ってスコアを算出するために、これらの画質パラメータ値が、シーン依存パラメータ値を用いて使用される(ステップ635)。実施形態によれば、スコアは、予測された画質パラメータ値のそれぞれについて算出される。
次に、最適化されたカメラ設定が得られたスコアの関数として選択され、それに応じてカメラの設定が修正される(ステップ640)。
実施形態によれば、所定の基準が満たされるか否か、例えば、得られた画像の実際の輝度がその予測された輝度に近いか否かが決定される(ステップ645)。
その基準が満たされる場合、カメラ設定の新たな最適化が行われるまで、その処理は停止される。そうではなく、その基準が満たされない場合、上述のように、新しいカメラ設定が推定される。
実施形態によれば上述のように、現在の環境条件でのカメラ設定の関数としての輝度の予測(Ipred(G,S,A)又はIcurrent(G,S,A))は、較正環境条件でのカメラ設定の関数(Ical(G,S,A))として表される輝度に基づいて、シャッタシフト法に従って算出されてもよい。
しかしながら、これらの実施形態に従って得られる結果の精度は、現在の環境条件が較正環境条件により近づくとますます良好になり、現在の環境条件が較正環境条件から逸脱すると低下することが観察されている。これは、例えば、一日のうちの最も明るい時間に行われた較正の結果を屋外カメラに対して夜間に適用しようとするときに、予測誤差につながる可能性がある。
したがって、例えば0からnまで変化する、異なる較正環境条件iでの、輝度とカメラ設定との関係(I cal(G,S,A)で示される)を決定することが効率的である可能性がある。
このような場合、較正フェーズ中に決定された輝度とカメラ設定との関係(I cal(G,S,A))の中から、
i=argmin(|Iact−I cal(Gact,Sact,Aact)|)
となるように、現状の環境条件で使用される輝度とカメラ設定との関係が選択されうる。
換言すれば、較正環境条件iに関連する関係は、測定された輝度(Iact)と、同じ条件(すなわち、現状のものと同じG,S,及びA)で得られた輝度(I cal(Gact,Sact,Aact))との間の間隙を最小にするように選択される。
図6bは、カメラの使用を混乱させることなく、カメラの運用上の使用中に新しいカメラ設定を決定するためのステップの第2の例を示す。
図示されるように、このステップは、ステップ615’及び620’を除いて、図6aを参照して説明されたものと同様である。
図示される例によれば、ステップ615’は、異なる環境状態iに対応する輝度とカメラ設定とのいくつかの関係(I cal(G,S,A))が得られることを除いて、図6aを参照して説明されたステップ615と同様である。
ステップ620’では、現在の環境条件に最も近い較正環境条件iに対応する輝度とカメラ設定との関係が選択され(すなわち、iが決定され)、現在の環境条件での輝度とカメラ設定との関係(Icurrent(G,S,A))と、現在の環境条件でのコントラストとカメラ設定との関係(contrastcurrent(G,S,A))とが、例えば、上述の方法及び式を使用して予測される。
輝度とカメラ設定との関係を決定するこのような方法は、現在の環境条件が較正環境条件からあまり離れていない限り、正確な結果を提供することが観察されている。結果として、現在の環境条件が較正環境条件から離れすぎている場合には、輝度とカメラ設定との間の新しい関係を決定することが適切である可能性がある。
したがって、特定の実施形態によれば、現在の環境条件での輝度とカメラ設定との関係(Ical(G,S,A))は、後者が較正環境条件とあまりにも異なっている場合に決定されてもよい。
実際、輝度とカメラ設定との間の得られた関係は、環境条件の多様体全体に均一に及ぶ環境条件に対応すべきである。しかしながら、環境条件を設定する方法がないので、例えば、完全な較正処理中に、輝度とカメラ設定との関係を随意に得ることは不可能である。したがって、輝度とカメラ設定との新しい関係を得るためには環境条件がいつ適切であるかを検出し、次いで、場合によっては、これらの新しい関係を得ることが有用であってもよい。これは、カメラの運用上の使用中に行うことができる。
輝度とカメラ設定との関係を得ることは、現在の環境状態で、図4aを参照して説明されたステップ400、405、及び410(少なくとも画像メトリックIcal(G,S,A)を測定するステップ)を実行することからなっていてもよい。
特定の実施形態によれば、現在の環境条件での輝度とカメラ設定との関係を得ることをトリガすべき環境条件の検出はセンサ、例えば、光度計を介した現在の環境条件の直接測定に基づいていてもよい。センサの現在の出力(environment_valueact)を較正フェーズ中のセンサの出力(environment_valuecalibration)と比較することによって、輝度とカメラ設定との関係が現在の環境状態で決定されるべきかどうかが決定されてもよい。例えば、これらの出力間の差が所定の閾値より大きい場合(|environment_valueact−environment_valuecalibration|>threshold)、輝度とカメラ設定との関係が、現在の環境状態で決定される。
さらに、特定の実施形態によれば、この環境条件は、現在の画像の輝度値(Iact)を、較正環境条件に関連する対応する輝度値(すなわち、対応するカメラ設定に関連する輝度(Icalibration(Gact,Sact,Aact)))と比較することによって、その画像を介して間接的に決定されてもよい。再度、説明のためのものではあるが、これらの値の間の差が所定の閾値より大きい場合(|Iact−Icalibration(Gact,Sact,Aact)|>閾値)、輝度とカメラ設定との関係は、現在の環境状態で決定される。
さらに、特定の実施形態によれば、現在の環境条件での輝度とカメラ設定との関係を得るステップをトリガすることは、誤差予測を測定することに基づく。これは、予測された輝度値(Ipred(Gact,Sact,Aact)又はIcurrent(Gact,Sact,Aact))を現在の画像の輝度値(Iact)と比較することによって行うことができる。そのために、予測された輝度値は、新しいカメラ設定を設定した(例えば、図6a又は図6bのステップ640)後に、有利に格納される。
さらに、説明のため、これらの値の間の差が所定の閾値よりも大きい場合(|Iact−Ipred(Gact,Sact,Aact)|>閾値)、輝度とカメラ設定との関係は、現在の環境状態で決定される。
あるいは、輝度とカメラ設定とのこの関係は、
Figure 0006872039
である場合、現在の環境条件に対して決定され、ここで、Imaxは、輝度の最大可能値を表す。
最後の実施形態は、最適化されるべきパラメータ(輝度予測)に基づくという点で、一般に他の実施形態よりも効率的であることが観察される。さらに、これは追加のセンサを必要としない。
さらに、輝度とカメラ設定との関係を決定することは、このカメラからの画像がこのようなステップの間に他の目的のために使用できないことから、カメラの侵襲的処理であることが観察される。
これには数分かかる可能性がある。このため、好ましくは、このようなステップを実行する前に、ユーザからの承認が要求される。
図6cは、カメラの使用を可能な限り混乱させずに、カメラの運用上の使用中に新しいカメラ設定を決定するためのステップの別の例を示す。
ステップ600〜640は、図6bを参照して説明された対応するステップと同様である。
図示されるように、一度カメラ設定が修正されてしまうと、そのカメラは標準的にその目的のために使用される(ステップ650)。
並行して、予測誤差(PredE)が推定される(ステップ655)。このような予測誤差は、典型的には上述したように、予測された輝度値(Ipred(Gact,Sact,Aact)又はIcurrent(Gact,Sact,Aact))及び現在の輝度値(Iact)に基づく。
次に、この予測誤差を閾値(θ)と比較する(ステップ660)。この予測誤差が閾値よりも大きい場合、輝度とカメラ設定との新しい関係(I cal(G,S,A))を得るために、好ましくは、いくつかのカメラ設定で輝度を測定することがユーザに提案される(ステップ665)。上述したように、このステップは任意である。
輝度とカメラ設定との新しい関係(I cal(G,S,A))を得るために、現在の環境状態(nで示される)に従っていくつかのカメラ設定での輝度が測定されるべきであると決定された場合、これらのステップが実行される(工程670)。上述のように、これは、現在の環境状態で、図4に関して説明したステップ400、405、及び410(少なくとも画像メトリックI cal(G,S,A)を測定するステップ)を実行することによって行うことができる。
次に、カメラ設定が決定され、そのカメラの設定が、例えば図6bを参照して上述したように修正される。
特定の実施形態によれば、較正データは単一の与えられた時間に対応する環境条件に関連付けられる(すなわち、較正データは、単一の与えられたタイプの環境条件に関連付けられる)。このような場合、以前の較正データの代わりに、新たな環境条件に対応する新たな較正データが格納される。
上述の処理は、要求ベースで、例えばユーザの要求に基づいてカメラ設定を最適化することを目的とするが、自動設定カメラパラメータの処理のトリガを自動的に制御することが可能である。条件が顕著に変化するとすぐに、新しい設定が計算なしに即座に適用されるように、カメラ設定を事前に決定することも可能である。このような自動処理はいくつかの利点を提示し、この利点に含まれるのは、
−全動作フェーズが自動化され、ユーザの決定なしに連続的に実行されることができ、
−カメラ設定の変更を加えるのに要する時間は、変更の決定と変更自体との間で大幅に短縮され、
−このような自動設定監視システムは、オン/オフ照明などの環境条件の突然の変更に非常に迅速に反応できることである。
そのためには、現在のカメラ設定値及び輝度値を定期的に得る必要がある。計算がこれらの値と較正フェーズ中に決定された値とに基づくことから、動作フェーズの他のステップは基本的に同じままである。
特定の実施形態によれば、画質パラメータ値を予測し(例えば、図6aのステップ620及び630)、カメラ設定のスコアを決定し(例えば、図6aのステップ635)、カメラ設定の選択を可能にすることは、ゲイン、シャッタ速度、絞り、及び輝度(G,S,A,I)のような全ての(又は多くの)可能な測定値について、前もって、例えば較正フェーズの終わりに、実行される。
これは、較正フェーズ中に得られた値を考慮して、カメラ設定及び輝度の関数として、最適化されたカメラ設定を与える最良のカメラ設定関数をもたらす。このような最良のカメラ設定関数は、以下のように表されてもよい。すなわち、
(Gnext,Snext,Anext)=best_camera_settings(G,S,A,I)
このような連続関数を決定するために、単純なデータ回帰又は補間が使用されてもよい。
動作フェーズは、主に、現在のカメラ設定値と現在の画像の輝度(Gact,Sact,Aact,Iact)とを測定し、較正フェーズ中に決定された最良のカメラ設定関数の結果として最適化されたカメラ設定を決定することからなる。最適な決定されたカメラ設定値(Gnext,Snext,Anext)が現在の値(Gact,Sact,Aact)と異なる場合、カメラ設定が変更される。
図7は、図3に示されるような自動設定方法の較正フェーズ中に実行されるステップの第2の例を示すブロック図である。
図7に示されるステップは、すべての可能なカメラ設定値及びすべての可能な輝度値(G,S,A,I)での、画質パラメータ値を予測するステップ(ステップ700)と、カメラ設定値及び輝度値のスコアを決定するステップ(ステップ705)と、カメラ設定値を決定する関数を決定するステップ(ステップ710)とを含む点で、全体として図4のステップとは異なる。
図8及び図9は、図3に示されるような自動設定方法の較正フェーズ中に実行されるステップの一例を示すシーケンス図である。
ステップ810は、異なるカメラパラメータ、例えば、ゲイン及びシャッタ速度の異なる値を用いて生成された画像の記録に対応し、ステップ811〜817を含む。
ステップ811では、コントローラ801は、カメラ803に、それがサポートするゲイン、シャッタ速度、及び絞りの最小値並びに最大値を要求する。要求811を受信すると、カメラは、ゲイン、シャッタ速度、及び絞りの上限及び下限をコントローラに送信する。ゲイン、シャッタ速度、及び絞りの得られた限界に基づいて、このコントローラは、ゲイン、シャッタ速度、及び絞りの中間値を決定する(ステップ813)。ゲイン、シャッタ速度、及び絞りの中間値を決定する方法の一例は図4のステップ400で説明されている。(G,S,A)値の異なる三つ組は、多様体を形成する。変形例では、カメラは、多様体を形成するために(G,S,A)値の得られた三つ組の少なくとも部分集合を選択するコントローラに、(G,S,A)値の三つ組を送信する。
ステップ814において、このコントローラは、カメラにビデオストリームの受信を要求する。要求814を受信すると、カメラはビデオストリームの送信を開始する。
ステップ816において、コントローラは、多様体の(G,S,A)値の三つ組を選択し、選択された値の三つ組を用いてカメラのゲイン、シャッタ速度、及び絞りパラメータを設定する。
このコントローラは、受信したストリームを解析し、画像パラメータの修正を検出する。ゲイン、シャッタ速度、及び絞り値の修正が、可変/変化する特性を有する画像の生成に一時的につながる可能性があるので、この解析は、所定の時間の後に、又は得られた画像の特徴がむしろ固定されていることを検出したときに開始されてもよい。(G,S,A)値の与えられた三つ組について、N個の画像がコントローラメモリ802に記録及び格納される(ステップ817)。N個(N>1)の画像の記録は、ノイズを算出するのに有用である。
ステップ816及び817は、ステップ813で決定された多様体の各三つ組(G,S,A)について実行される。ステップ816及び817は、図4のステップ405と同様である。
ステップ820は格納された画像の解析であり、ステップ821、822及び823を含む。
ステップ821では、コントローラは、与えられた値(G,S,A)の三つ組について、コントローラメモリに格納された関連する画像を検索し、得られたすべての画像について画像メトリック(例えば、輝度)が測定される(ステップ822)。この輝度の測定は、画像の輝度と、この画像を得るときに使用されたカメラ設定、例えば、ゲイン、シャッタ速度、及び絞り値との関係を決定することを目的とする。得られた画像それぞれについて、輝度は、算出され、その対応する関数を決定するために、又は輝度がゲイン、シャッタ速度、及び絞り値の三つ組に関連付けられる3次元配列(Ical(G,S,A)で示される)を構築するために、対応するゲイン、シャッタ速度、及び絞り値に関連付けられる。実施形態によれば、この輝度は、画像の画素値(すなわち、強度値)の平均に対応する。
実施形態によれば、画像のエントロピーも輝度の測定中に算出され、画質解析中にコントラスト値を決定することを可能にする。輝度と同様に、エントロピーは、得られた画像のそれぞれについて算出され、その対応する関数を決定するため、又はエントロピーが一対のゲイン及びシャッタ速度値に関連付けられる3次元配列(Ecal(G,S,A)で示される)を構築するために、対応するゲイン、シャッタ速度、及び絞り値に関連付けられる。
実施形態によれば、画質パラメータ値、例えば、ステップ821で得られた画像からのノイズの値も、(図4のステップ415と同様に)これらのパラメータのそれぞれと、対応する画像を得るために使用されるカメラ設定と、の関係を確立するために算出される。
次に、与えられた(G,S,A)値の画像メトリック(例えば、輝度及びエントロピー値)及び画質パラメータ値がコントローラメモリに格納される(ステップ823)。ステップ821〜823は、多様体の値の各三つ組(G,S,A)に適用される。
図9は図3に示されるような自動設定方法の較正フェーズ中に実行されるステップの一例を示すシーケンス図であり、図8の方法に従って適用されてもよい。
ステップ910はチャンク検索方法であり、ステップ911〜915を含む。
ステップ911において、記録サーバ904は、カメラにビデオストリームを要求する。要求911を受信すると、そのビデオストリームは記録サーバへと送信される(ステップ912)。この記録サーバは画像動き検出などの基本的な画像解析技術を適用することができ、ビデオストリームの関連部分(「チャンク」と名付けられる)、例えば、移動ターゲットを有するビデオストリームの部分を格納する。
ステップ913では、コントローラ801は、記録サーバにチャンクを要求する。要求913を受信すると、記録サーバは、以前に格納されたチャンクをコントローラへと送信する。このステップは、図4のステップ420と同様である。
変形例では、カメラが基本的な画像解析技術を適用してもよく、ステップ911’で、コントローラはカメラにチャンクを直接要求する。コントローラから要求911’を受信すると、カメラは、チャンクをコントローラへと送信する。
ステップ915では、コンピュータビジョンベースの技術を適用する(ステップ921)ことによってチャンクが選択及び解析され(ステップ920)、それによって、シーン依存パラメータ値が決定される(すなわち、ターゲットサイズ及び任意的にターゲット速度に関連する)。このステップは、図4のステップ430と同様である。
最後に、決定されたシーン依存パラメータ値がコントローラメモリに格納される(ステップ922)。
図10は、図3に示されるような自動設定方法の動作フェーズ中に実行されるステップの一例を示すシーケンス図である。
ステップ1011では、コントローラは、カメラに画像を要求する。要求1011を受信すると、そのカメラは、コントローラに画像を送信する。次いで、コントローラは、得られた画像の現在の輝度値Iactを決定する。
ステップ1014では、コントローラは、カメラにその現在のカメラ設定(Gact,Iact)を要求し、これはステップ1015においてコントローラに送信される。これらのステップは、図6a及び6bのステップ600及び605と同様である。
ステップ1016では、コントローラは、その較正環境条件でのコントラストとカメラ設定との関係(contrastcal(G,S,A))、コントラストと輝度との関係(contrast(I))、及びその較正環境条件での輝度とカメラ設定との関係(Ical(G,S,A))を得る。並行して、品質関数(fquality)の前後で、その較正環境条件でのノイズとカメラ設定との関係(noisecal(G,S,A))、その較正環境条件でのぼけとカメラ設定との関係(blurcal(G,S,A))、並びにシーン依存パラメータ値、例えば、ターゲットサイズ及び好ましくはターゲット速度が得られる。このステップは、図6aのステップ615及び625と同様である。
ステップ1017では、ステップ1016で得られた関係に基づいて、「最良」値の三つ組(Gbest,Sbest,Abest)が決定され、任意的に、ステップ1018で、それが現在のカメラ設定(Gact,Sact,Aact)と異なっているかどうかが決定される。真であれば、コントローラは、カメラパラメータをその「最良」値に設定する(ステップ1019)。
変形例では、ステップ1014において、コントローラはコントローラメモリに現在のカメラ設定(Gact,Sact,Aact)を要求し、これはステップ1015においてコントローラに送信される。次いで、ステップ1016〜1019が適用され、「最良」値の対(Gbest,Sbest,Aact)がコントローラメモリに格納される。
本発明は図面及び前述の説明において詳細に図示及び説明されてきたが、そのような図示及び説明は実例的又は例示的であって限定的ではないと考えられるべきであり、本発明は開示された実施形態に限定されない。図面、開示、及び添付の特許請求の範囲を検討することにより、特許請求の範囲に記載された発明を実施する際に、開示された実施形態の他の変形を当業者が理解し、行うことができる。
そのような変形は特に、本発明の概要及び/又は添付の特許請求の範囲に記載されるような実施形態を組み合わせることに由来し得る。
特許請求の範囲において、単語「備える」は他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は複数を排除するものではない。単一のプロセッサ又は他のユニットが、特許請求の範囲に列挙されるいくつかの項目の機能を満たしてもよい。異なる特徴が相互に異なる従属請求項に記載されているという単なる事実は、これらの特徴の組み合わせが有利に使用されることができないことを示すものではない。特許請求の範囲におけるいかなる参照符号も、本発明の範囲を限定するものとして解釈されるべきではない。
[付録]
Figure 0006872039
表1:ノイズとゲインとの関係
Figure 0006872039
表2:ぼけとシャッタ速度(動きぼけ)と絞り(焦点ぼけ)との関係
Figure 0006872039
表3:コントラストとゲイン、シャッタ速度、及び絞りとの関係
Figure 0006872039
表4:スコアとゲイン、シャッタ速度、及び絞りとの関係

Claims (15)

  1. 第1の照明条件でカメラによって撮像された画像の画像特性値の第1のセットを得る工程であって、前記画像特性値はカメラパラメータに依存し、前記第1のセットの少なくとも2つの画像特性値が同じカメラパラメータの少なくとも2つの異なる値とそれぞれ対応する、得る工程と、
    少なくとも1つの第2の照明条件で前記カメラによって撮像された画像から、得られた画像特性値の前記第1のセットの値を適応させる工程により、画像特性値の少なくとも1つの第2のセットを決定する工程であって、前記第2のセットの少なくとも2つの画像特性値が同じカメラパラメータの少なくとも2つの異なる値にそれぞれ対応する、決定する工程と、
    画像特性値の前記決定された少なくとも1つの第2のセットに基づいて、前記カメラのカメラパラメータ値を選択する工程と、
    前記選択されたカメラパラメータ値の関数として前記カメラの設定を修正する工程であって、前記カメラパラメータは絞り、ゲイン、及び/又はシャッタ速度を含む、修正する工程と、
    を備える、カメラのカメラパラメータを設定する方法。
  2. 前記選択する工程は、前記同じカメラパラメータの前記少なくとも2つの異なる値にそれぞれ対応する前記第2のセットの少なくとも2つの画像特性値のそれぞれについて品質値を決定する工程を備え、前記品質値は、画像特性値に基づいて所定の関数の結果として決定される、請求項1に記載の方法。
  3. 前記画像特性値の少なくとも1つの第2のセットを決定する工程が、少なくとも1つの画像特性値と少なくとも1つのカメラパラメータとの関係を決定する工程を備える、請求項1又は2に記載の方法。
  4. 画像特性値の前記少なくとも1つの第2のセットは、カメラパラメータ値の可能な値の関数として予め算出される、請求項3に記載の方法。
  5. 前記画像特性値の少なくとも1つの第2のセットを決定する工程は、照明条件と少なくとも1つのカメラパラメータとの関係を決定する工程を備える、請求項1乃至4の何れか1項に記載の方法。
  6. 少なくとも1つのシーン依存パラメータ値を決定する工程をさらに備え、前記カメラのカメラパラメータ値を選択する工程は、前記決定された少なくとも1つのシーン依存パラメータ値にさらに基づく、請求項1乃至の何れか1項に記載の方法。
  7. 較正フェーズをさらに備え、前記較正フェーズは、焦点ぼけとカメラ絞りとの関係を決定する工程を備える、請求項1乃至の何れか1項に記載の方法。
  8. 前記焦点ぼけとカメラ絞りとの関係を決定する工程は、識別されるターゲットが移動ターゲットであるか静止ターゲットであるかを決定する工程と、ターゲットが移動しているか否かに応じてターゲット焦点マップ又はターゲット距離マップを算出する工程と、を備える、請求項に記載の方法。
  9. 前記距離マップを算出する工程は、ターゲットを識別する工程と、前記識別されたターゲットの姿勢を推定する工程と、前記識別されたターゲットのサイズを決定する工程と、を備える、請求項に記載の方法。
  10. 画像特性値の前記決定された少なくとも1つの第2のセットに基づいて前記カメラのカメラパラメータ値を選択する工程は、少なくとも画像特性値の前記第2のセット(Icurrent)の関数として決定された画像特性値(contrastcurrent)に基づいて、前記カメラのカメラパラメータ値を選択する工程を備え、前記方法は、前記第1の照明条件と前記第2の照明条件とを比較する工程と、第3の照明条件で前記カメラによって撮像された画像の画像特性値の第3のセット(I cal)を得る工程と、をさらに備え、前記第3のセットの少なくとも2つの画像特性値は前記同じカメラパラメータにそれぞれ対応し、画像特性値の前記第3のセットは前記比較する工程での関数として前記第1のセットの代わりに使用される、請求項1に記載の方法。
  11. 前記第1の照明条件と前記第2の照明条件とを比較する工程は、
    光センサから得られた値を比較する工程、
    現在の画像の輝度値(Iact)を、前記現在の画像を得るために使用されたカメラ設定(Gact,Sact)に対応するカメラ設定を用いて前記第1の照明条件で前記カメラによって撮像された画像から得られた輝度値(Ical(Gact,Sact))と比較する工程、又は、
    現在の画像の輝度値(Iact)を、前記第1の照明条件で前記カメラによって撮像された画像から得られた輝度値から予測される輝度値(Ipred(Gact,Sact)と比較する工程であって、前記予測は、前記現在の画像を得るために使用されたカメラの設定(Gact,Sact)に対応するカメラの設定での前記現在の画像の前記輝度値(Iact)と、輝度値(Ical)、及び前記第1の照明条件での前記カメラによって撮像された前記画像を得るために使用された対応するカメラ設定(Gcal、Scal)と、に基づく、前記予測する工程を備える、請求項10に記載の方法。
  12. 前記カメラパラメータ値を選択する工程は、前記同じカメラパラメータの前記少なくとも2つの異なる値にそれぞれ対応する、前記第2のセットの少なくとも2つの画像特性値のそれぞれについて品質値を決定する工程を備え、前記品質値が、画像特性値に基づいて所定の関数の結果として決定される、請求項10又は11に記載の方法。
  13. 請求項1乃至12の何れか一項に記載の方法の各工程を実行するための命令を備える、コンピュータプログラム。
  14. 請求項1乃至12の何れか一項に記載の方法を実現するためのコンピュータプログラムの命令を格納する、コンピュータ可読記憶媒体。
  15. 請求項1乃至12の何れか一項に記載の方法の各工程を実行するマイクロプロセッサを備える、カメラのカメラパラメータを設定するためのデバイス。
JP2019563052A 2017-07-03 2018-07-02 カメラを自動設定するための方法及びシステム Active JP6872039B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021070557A JP7245280B2 (ja) 2017-07-03 2021-04-19 カメラを自動設定するための方法及びシステム

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
GB1710675.8A GB2564387B (en) 2017-07-03 2017-07-03 Method and system for auto-setting of cameras
GB1710675.8 2017-07-03
GB1801112.2A GB2570448B (en) 2018-01-23 2018-01-23 Method and system for improving auto-setting of cameras
GB1801112.2 2018-01-23
GB1801110.6A GB2587769B (en) 2018-01-23 2018-01-23 Method and system for updating auto-setting of cameras
GB1801110.6 2018-01-23
PCT/EP2018/067856 WO2019007919A1 (en) 2017-07-03 2018-07-02 METHOD AND SYSTEM FOR SELF-REGULATING PHOTOGRAPHIC DEVICES

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021070557A Division JP7245280B2 (ja) 2017-07-03 2021-04-19 カメラを自動設定するための方法及びシステム

Publications (2)

Publication Number Publication Date
JP2020523814A JP2020523814A (ja) 2020-08-06
JP6872039B2 true JP6872039B2 (ja) 2021-05-19

Family

ID=62874881

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019563052A Active JP6872039B2 (ja) 2017-07-03 2018-07-02 カメラを自動設定するための方法及びシステム
JP2021070557A Active JP7245280B2 (ja) 2017-07-03 2021-04-19 カメラを自動設定するための方法及びシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021070557A Active JP7245280B2 (ja) 2017-07-03 2021-04-19 カメラを自動設定するための方法及びシステム

Country Status (4)

Country Link
US (2) US11284012B2 (ja)
EP (1) EP3649774A1 (ja)
JP (2) JP6872039B2 (ja)
WO (1) WO2019007919A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3649774A1 (en) 2017-07-03 2020-05-13 C/o Canon Kabushiki Kaisha Method and system for auto-setting cameras
US10938649B2 (en) * 2018-03-19 2021-03-02 Arlo Technologies, Inc. Adjusting parameters in a network-connected security system based on content analysis
US11394863B2 (en) * 2018-09-06 2022-07-19 Arlo Technologies, Inc. No-reference image quality assessment for iterative batch video analysis
JP7368822B2 (ja) * 2019-05-31 2023-10-25 i-PRO株式会社 カメラパラメータ設定システムおよびカメラパラメータ設定方法
GB2587206B (en) * 2019-09-17 2021-12-22 Milestone Systems As Method, device, and computer program for setting parameters values of a video source device
US11941870B1 (en) 2019-09-24 2024-03-26 Hrl Laboratories, Llc System for action recognition error detection and correction using probabilistic signal temporal logic
US11854252B1 (en) 2019-09-24 2023-12-26 Hrl Laboratories, Llc Automated probabilistic axiom generation and incremental updates
US11350039B2 (en) * 2019-09-24 2022-05-31 Hrl Laboratories, Llc Contrast and entropy based perception adaptation using probabilistic signal temporal logic based optimization
WO2021132960A1 (en) * 2019-12-24 2021-07-01 Samsung Electronics Co., Ltd. Method and device for capturing images in an internet of things environment
CN111402341A (zh) * 2020-03-10 2020-07-10 创新奇智(广州)科技有限公司 相机参数确定方法、装置、电子设备及可读存储介质
EP3979618A1 (en) * 2020-10-01 2022-04-06 Axis AB A method of configuring a camera
WO2023003317A1 (en) * 2021-07-21 2023-01-26 Samsung Electronics Co., Ltd. Method and electronic device for capturing media using under display camera
CN115474006B (zh) * 2022-02-22 2023-10-24 重庆紫光华山智安科技有限公司 图像抓拍方法、***、电子设备及可读存储介质
JP2024030179A (ja) * 2022-08-23 2024-03-07 京セラ株式会社 推定方法、照明制御方法、推定プログラム、制御装置、及び照明制御システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4345825A (en) 1979-12-13 1982-08-24 Eastman Kodak Company Apparatus for automatic control of a photographic camera
US5751844A (en) 1992-04-20 1998-05-12 International Business Machines Corporation Method and apparatus for image acquisition with adaptive compensation for image exposure variation
US6301440B1 (en) 2000-04-13 2001-10-09 International Business Machines Corp. System and method for automatically setting image acquisition controls
GB2404511B (en) * 2003-07-26 2007-08-22 Hewlett Packard Development Co Image capture device having a learning function
US7916173B2 (en) * 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
US20060082672A1 (en) * 2004-10-14 2006-04-20 M-Systems Flash Disk Pioneers Ltd. Filtering digital images
KR100780438B1 (ko) * 2006-08-22 2007-11-29 삼성전자주식회사 휴대용 단말기에서 카메라의 촬영정보를 설정하는 방법 및장치
US20090160970A1 (en) * 2007-12-20 2009-06-25 Fredlund John R Remote determination of image-acquisition settings and opportunities
TW200930063A (en) * 2007-12-26 2009-07-01 Altek Corp Auto-selection method of scene modes
KR101434564B1 (ko) * 2008-02-13 2014-08-29 삼성전자 주식회사 촬영 정보 자동 추출 시스템 및 방법
JP5112164B2 (ja) 2008-05-09 2013-01-09 株式会社東芝 撮像装置
JP2012156658A (ja) * 2011-01-25 2012-08-16 Hitachi Kokusai Electric Inc Cctvシステム
SE1150505A1 (sv) * 2011-05-31 2012-12-01 Mobile Imaging In Sweden Ab Metod och anordning för tagning av bilder
WO2013184571A1 (en) * 2012-06-06 2013-12-12 Board Of Regents, The University Of Texas System Maximizing perceptual quality and naturalness of captured images
US9723200B2 (en) * 2014-10-15 2017-08-01 Microsoft Technology Licensing, Llc Camera capture recommendation for applications
US9826149B2 (en) 2015-03-27 2017-11-21 Intel Corporation Machine learning of real-time image capture parameters
CN105491285B (zh) 2015-12-03 2019-02-15 浙江宇视科技有限公司 一种pir摄像机工作模式切换方法及装置
US10432874B2 (en) 2016-11-01 2019-10-01 Snap Inc. Systems and methods for fast video capture and sensor adjustment
CN108174185B (zh) * 2016-12-07 2021-03-30 中兴通讯股份有限公司 一种拍照方法、装置及终端
US10530991B2 (en) 2017-01-28 2020-01-07 Microsoft Technology Licensing, Llc Real-time semantic-aware camera exposure control
GB2564387B (en) 2017-07-03 2021-12-22 Canon Kk Method and system for auto-setting of cameras
EP3649774A1 (en) 2017-07-03 2020-05-13 C/o Canon Kabushiki Kaisha Method and system for auto-setting cameras
KR102438201B1 (ko) * 2017-12-01 2022-08-30 삼성전자주식회사 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템

Also Published As

Publication number Publication date
JP2020523814A (ja) 2020-08-06
US11943541B2 (en) 2024-03-26
WO2019007919A1 (en) 2019-01-10
JP7245280B2 (ja) 2023-03-23
US20220272247A1 (en) 2022-08-25
US11284012B2 (en) 2022-03-22
EP3649774A1 (en) 2020-05-13
JP2021119684A (ja) 2021-08-12
US20200221009A1 (en) 2020-07-09

Similar Documents

Publication Publication Date Title
JP6872039B2 (ja) カメラを自動設定するための方法及びシステム
US11288101B2 (en) Method and system for auto-setting of image acquisition and processing modules and of sharing resources in large scale video systems
US10511776B2 (en) Image fusion method and apparatus, and terminal device
US10430667B2 (en) Method, device, and computer program for re-identification of objects in images obtained from a plurality of cameras
WO2021004216A1 (zh) 深度传感器的参数调整方法、装置以及电子设备
JP6914007B2 (ja) 情報処理装置および情報処理方法
GB2552511A (en) Dynamic parametrization of video content analytics systems
US11921416B2 (en) Method, device, and non-transitory computer-readable medium for setting parameters values of a video source device
GB2564387A (en) Method and system for auto-setting of cameras
JP2015211469A (ja) 露出設定を決定するための方法及び装置
GB2570448A (en) Method and system for improving auto-setting of cameras
JP7446060B2 (ja) 情報処理装置、プログラム及び情報処理方法
JP2019121069A (ja) 画像処理装置、画像処理方法、及びプログラム
JP4875564B2 (ja) フリッカ補正装置及びフリッカ補正方法
GB2587769A (en) Method and system for updating auto-setting of cameras
US11924404B2 (en) Method, device, and non-transitory computer-readable medium for setting parameters values of a video source device
US9392158B2 (en) Method and system for intelligent dynamic autofocus search
US9621780B2 (en) Method and system of curve fitting for common focus measures
JP2021093694A (ja) 情報処理装置およびその制御方法
JP6959444B2 (ja) 計測情報処理装置
CN110853127A (zh) 图像处理方法、装置及设备
WO2022149466A1 (ja) 信号処理装置および方法、並びにプログラム
KR20230157237A (ko) 카메라 이미지의 흐림 영역을 탐지하기 위한 방법, 시스템, 비일시성의 컴퓨터 판독가능 매체
CN110611803A (zh) 色温预估的方法、装置及计算机可读介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210104

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210416

R151 Written notification of patent or utility model registration

Ref document number: 6872039

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151