JP2018112936A - Ｈｄｒ画像処理装置および方法 - Google Patents

Abstract

【課題】本発明は、始めにＲＧＢに変換してからマージ及びトーンマッピングを行うのではなく、ベイヤーフィルターモザイク技術を施した後にマージおよびトーンマッピング技術を施し、さらにＲＧＢに変換するＨＤＲ画像処理方法を提供する。【解決手段】ＨＤＲ画像処理はベイヤーモザイク画像上で行い、デモザイクや色空間の変換を必要としない。マージ工程にはフルリセットマージモードとＬＤＲアップデートのマージモードという２種類のモードがある。１つ目のフルリセットマージモードは、すべての画像フレームを取り込んだ後にＨＤＲフレームを生成する。２つ目のＬＤＲアップデートのマージモードは、前述のＨＤＲフレームをＬＤＲフレームにアップデートすることにより、新たなＨＤＲフレームを取得する。【選択図】図１Ａ

Description

本発明はデジタル画像処理技術に関し、特に、より小さなデータストリームを処理して高いフレームレートを達成するのに用いられる、ハイダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像処理装置および方法に関する。

ＨＤＲ画像処理は、より高いダイナミックレンジの輝度での画像の再現や撮影に用いられる。

ＨＤＲ画像の従来技術は特殊な画像センサーを利用してオーバーサンプリングを行うことを含み、他にも複数の画像をマージする技術がある。

しかし、特定の画像センサーが低照度下で使用される時、最良の結果画像を生成できないという問題が頻繁に起こる。

また、デジタル画像符号化は、より良好な遷移を可能にするのに十分なレンジを提供できるとは限らず、非可逆圧縮による悪影響が生じかねない。

したがって本発明は、上述の問題点を解決するのに有効なＨＤＲ画像処理装置および方法を提供する。具体的な構造およびその実施方法は以下に詳述する。

本発明の主な目的は、より小さなデータストリームを処理して高いフレームレートを達成するのに用いられる、ＨＤＲ画像処理装置および方法を提供することにある。

本発明は、改善されたウルトラＨＤＲ技術のハードウェア実現手段を提供する。本発明の処理過程、マージおよびトーンマッピングは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）プラットフォームを利用して映像形式で多重露光を行うためのものである。

本発明が提供するプラットフォーム唯一の方法は、ベイヤーフィルターモザイク技術を施した後マージおよびトーンマッピングを行い、さらにそのデータをＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）に変換するものであり、始めにＲＧＢに変換してからマージ及びトーンマッピング処理を行うのではない。本発明においては、この方法により特に小さなデータストリームを高いフレームレートで処理することが可能になる。

線形１次ベイヤーモザイク信号は対数目盛ピクセルワイズ（ｐｉｘｅｌ−ｗｉｓｅ）に直接変換される。カラーバランス補償の中には変換前に行えるものがあり、Ｒ、Ｇ１、Ｇ２またはＢのピクセルは各自の対数目盛にそれぞれ変換される。さらにこれらのピクセルは処理され、ＨＤＲの結果物は前記対数目盛から線形１次ベイヤーモザイク信号に変換し直される。これは画像センサーと一般的に使用されている画像処理装置の間に処理工程を挿入するのに役立つ。

本発明のウルトラＨＤＲ画像処理には主にマージ、トーンマッピングおよび圧縮という３つの段階がある。

また、本発明では取り込んだＨＤＲシーンのディテールとカラーを残す。

そして、最後に生成される画像は取込および再生装置の能力範囲内で可能な限り自然なものになる。

本発明のＨＤＲ処理はベイヤーモザイク画像中で行われ（画像センサーのＲＡＷ画像データ）、マージ処理およびトーンマッピング処理の際はデモザイクや色空間の変換を行わないので、多くの処理データを節約することができ、色抜けが減少する。

すべてのＨＤＲ処理操作は、人間の視覚に合わせて対数目盛で実行され、この方法によりかなり計算を簡素化できる。

マージ処理の際には、各ＨＤＲ取込時にＮの画像フレーム（異なる露光）を使用する。

マージ技術には、フルリセットのマージモードとローダイナミックレンジ（ＬＤＲ：Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）アップデートのマージモードの２種類がある。第一モードのフルリセットのマージモードでは、すべての画像フレームを取り込んだ後、ＨＤＲフレームを生成する。第二モードのＬＤＲアップデートのマージモードでは、前述のＨＤＲフレームがＬＤＲフレームデータにアップデートされることにより、新たなＨＤＲフレームを取得する。

たとえば、ＬＤＲフレームが１秒当たりに表示するフレーム数が１２０の場合、第一モードではＨＤＲ画像の１秒当たりのフレーム数は３０であり、第二モードではＨＤＲ画像の１秒当たりのフレーム数は１２０である。

一部のＦＰＧＡ設計においては、ＨＤＲ画像の露光値（ＥＶ：Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）が１６ＥＶに制限されるように操作するが、これにより画像センサーのすべての露光範囲設定がカバーできたとしても、センサーのタイミングを利用して露光時間を制御することしかできない。

また、出力されたＨＤＲ画像はベイヤーモザイクＨＤＲ画像である。

トーンマッピング技術は、人間の眼にとって快適な輝度範囲に圧縮する局所適応性のトーンマッピングを行うことを含む。トーンマッピングは人間の眼の仕組みに近づけたものであり、言い換えれば、本発明のトーンマッピング画像は芸術家の描画手法に似ている。

トーンマッピング過程では色度（ｃｏｌｏｒ ｃｈｒｏｍａｔｉｃｉｔｙ）が残り、色の歪みは最小になり、これはベイヤーモザイクのタイプとレンズセンサーシステムの光学特性によって決まる。これはメインセンサーの色上でトーンマッピングを行いベイヤーモザイク画像を生成する能力により提供される（色空間の変換やデモザイクは行わない）。

たとえば、本発明はＨＤＲの輝度範囲を９６ｄＢに圧縮し１ピクセル当たり８ビットで出力し、出力されたＨＤＲ画像はベイヤーモザイク処理された後にトーンマッピング処理されたＨＤＲ画像である。

３２ビット処理の際、マージは画像センサーに基づき露光値３２ＥＶのＨＤＲ画像を破棄できる。

トーンマッピングは１９２ｄＢから圧縮を開始し、局所適応性の計算方法により８ビット画像にまで圧縮できる。

本発明の高動解像度映像処理方法の実施例のフローチャートである。 本発明の高動解像度映像処理におけるマージ技術の実施例のフローチャートである。 本発明の高動解像度映像処理方法の実施例のフローチャートである。 本発明の高動解像度映像処理装置の実施例のブロック図である。 追加ガンマ状（ｇａｍｍａ−ｌｉｋｅ）露出補正関数△b(bp)を示す図である。 中心半径ｒを有し、関心地点（ＰＯＩ：Ｐｏｉｎｔ Ｏｆ Ｉｎｔｅｒｅｓｔ）が円心oの円形エリアＣ内にある場合の、単一ステップ遷移b:b₁→b₂の基本ディテールを示す図である。 図４の断面線ｌに沿った遷移b₁→b₂を示す図である。 局所露出補正（ＬＥＣ：Ｌｏｃａｌ Ｅｘｐｏｓｕｒｅ Ｃｏｍｐｅｎｓａｔｉｏｎ）変化（r'≡0に近い）の単一ステップ遷移を示す図である。 ２次元カーネル中のＲＧＧＢピクセル分布の５×５カーネル実施例を示すである。

＜実施例＞
本発明はＨＤＲ画像処理装置および方法を提供する。本発明の高動解像度映像処理方法の実施例のフローチャートである図１Ａと、本発明の高動解像度映像処理におけるマージ技術の実施例のフローチャートである図１Ｂを参照されたい。

図１Ａに示した高動解像度映像処理方法１００では、まずステップ１１０で入射光を受光し、ステップ１２０で光をベイヤーフィルターに通過させ、ステップ１３０でセンサーアレイのような画像取込装置により光を取り込む。

画像取込装置中のＲＡＷ画像データはＨＤＲ画像処理装置モジュールにより処理するのに用いられ、ステップ１４０ではＲＡＷ画像データに対しマージ技術を施し、ステップ１６０ではトーンマッピング技術を施す。

ステップ１８０で既にマージ技術およびトーンマッピング技術を施したデータをＲＧＢに変換し、ステップ１９０でＨＤＲ画像を出力する。

本発明の高動解像度映像処理方法１００で行われるマージ技術およびトーンマッピング技術を施す唯一の方法は、ベイヤーフィルターモザイク技術を施した後、そのデータをＲＧＢに変換するものであり、始めにＲＧＢに変換してからマージ技術及びトーンマッピング技術を施すのではない。本発明は、この方法により小さなデータストリームを高いフレームレートで処理することが明らかに可能になる。

本発明のＨＤＲ処理はベイヤーモザイク画像中で行われ（画像センサーのＲＡＷ画像データ）、マージ処理およびトーンマッピング処理の際はデモザイクや色空間の変換を行わないので、多くの処理データを節約することができ、色抜けが減少する。

すべてのＨＤＲ処理操作は、人間の視覚に合わせて対数目盛で実行され、この方法により計算をかなり簡素化できる。

マージ処理の際には、各ＨＤＲ取込時にＮの画像フレーム（異なる露光）を使用し、この方法は、異なる露光下で行われるいかなるフレーム数のマージ処理をもサポートする。

マージ技術（ステップ１４０）には、フルリセットのマージモードとＬＤＲアップデートのマージモードの２種類がある。第一モード（図１Ｂのステップ１４５、１５０）のフルリセットのマージモードでは、すべての画像フレームを取り込んだ後、ＨＤＲフレームを生成する。第二モード（図１Ｂのステップ１５５）のＬＤＲアップデートのマージモードでは、前述のＨＤＲフレームがＬＤＲフレームデータにアップデートされることにより、新たなＨＤＲフレームを取得する。これにより、ＨＤＲフレームはＬＤＲフレームのフレームレートでＬＤＲフレームを利用して更新される。

たとえば、ＬＤＲフレームが１秒当たりに表示するフレーム数が１２０の場合、第一モードではＨＤＲ画像の１秒当たりのフレーム数は３０であり、第二モードではＨＤＲ画像の１秒当たりのフレーム数は１２０である。

一部のＦＰＧＡ設計においては、ＨＤＲ画像の露光値（ＥＶ：Ｅｘｐｏｓｕｒｅ Ｖａｌｕｅ）が１６ＥＶに制限されるように操作するが、これにより画像センサーのすべての露光範囲設定がカバーできたとしても、センサーのタイミングを利用して露光時間を制御することしかできない。

また、出力されたＨＤＲ画像はベイヤーモザイクＨＤＲ画像である。

人間の眼にとって快適な輝度範囲に圧縮する局所適応性のトーンマッピングを行う。トーンマッピングは人間の眼の仕組みに近づけたものであり、言い換えれば、本発明のトーンマッピング画像は芸術家の描画手法に似ている。

トーンマッピング過程では色度（ｃｏｌｏｒ ｃｈｒｏｍａｔｉｃｉｔｙ）が残り、色の歪みは最小であり、これはベイヤーモザイクのタイプとレンズセンサーシステムの光学特性によって決まる。これはメインセンサーの色上でトーンマッピングを行いベイヤーモザイク画像を生成する能力により提供される（色空間の変換やデモザイクは行わない）。

たとえば、本発明はＨＤＲの輝度範囲を９６ｄＢに圧縮し１ピクセル当たり８ビットで出力し、出力されたＨＤＲ画像はベイヤーモザイク処理された後にトーンマッピング処理されたＨＤＲ画像である。

３２ビット処理の際、マージは画像センサーに基づき露光値３２ＥＶのＨＤＲ画像を破棄できる。

トーンマッピングは１９２ｄＢから圧縮を開始し、局所適応性の計算方法により８ビット画像に圧縮できる。

本発明の高動解像度映像処理方法の実施例のフローチャートである図１Ｃを参照されたい。

高動解像度映像処理方法２００は、線形１次ベイヤーモザイク信号を対数目盛ピクセルワイズに直接変換するステップ２１０を含み、これにより、Ｒ、Ｇ１、Ｇ２またはＢのピクセルは各自の対数目盛にそれぞれ変換する。そしてステップ２２０でこれらのピクセルを処理してＨＤＲの結果物を得る。さらにステップ２３０でＨＤＲの結果物を対数目盛から線形１次ベイヤーモザイク信号に変換し直す。

本発明の高動解像度映像処理装置の実施例のブロック図である図２を参照されたい。

本発明の高動解像度映像処理装置１０はベイヤーフィルター５０、画像取込装置６０およびＨＤＲ画像処理装置８０（またはＨＤＲ画像処理モジュール）を含む。

本発明の実施例では、ＨＤＲ画像処理装置８０はＦＰＧＡを備える。

操作時に、入射光４０は高動解像度映像処理装置１０に受光され、入射光４０はベイヤーフィルター５０を通過した後、センサーアレイのような画像取込装置６０に取り込まれる。

画像取込装置６０からのＲＡＷ画像データ７０はＨＤＲ画像処理装置８０により処理するのに用いられる。このＨＤＲ画像処理装置はＲＡＷ画像データのマージおよびトーンマッピングに関連する技術能力を有する。

マージ後のトーンマッピング画像ファイルはＲＧＢ形式のデータに変換され、続いてＨＤＲ画像が出力される。

ハイダイナミックレンジ画像処理（ＨＤＲＩ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ）の目標は人間の眼に見えるダイナミックレンジに達することであり、人間の眼で確認できるハイライトまたはシャドウのシーンはすべて、確認された後ＨＤＲＩシステムに保存され同じビジュアルデータが再度生成される。

これは、ＨＤＲＩシステムの感応露光値が４２ＥＶから４６ＥＶの間（人間の可視範囲）または少なくとも露光値が２２ＥＶから２４ＥＶの間（人間の一般的な可視範囲）であることを示す。

ほとんどの場合、画像センサーのダイナミックレンジは感応露光値８ＥＶ（低コストカメラ）から１４ＥＶ（ハイエンドカメラ）の光源にとって十分ではない。

感応範囲を拡大するために、露出ブラケット（ｅｘｐｏｓｕｒｅ ｂｒａｃｋｅｔｉｎｇ）を用い、１組のＬＤＲ画像（ブラケット）により同じシーンの様々な異なる露光設定に合わせることで画像データを生成する。

ブラケット内には露光時間、ゲイン（またはＩＳＯ感度）および絞りのような複数の異なる設定がある。そして、マージ工程は１組のＬＤＲ画像をＨＤＲ画像に変換するのに用いられ、マージのクオリティは露出ブラケットの使い方がポイントとなる。

異なる露光時間の条件下では、異なるＬＤＲ画像が生成され、画像全体が取り込まれた後各ブラケットに用いられる。この方法は、すべての範囲の露光時間設定を使用することができるので、最大のダイナミックレンジを得られるセンサーの使い方である。

露光中のゲイン（またはＩＳＯ感度）について、異なるゲイン設定により異なるＬＤＲ画像を生成することができる。この方法で生成した画像は１度だけ撮像され、画像センサー中のアナログバッファ内に残り、ブラケットは複数の画像（複数の異なるゲイン設定の使用によるアナログバッファの画像）により形成され、このマージ工程は、異なるフレーム間の移動がないので、ゴースト除去（ｄｅ−ｇｈｏｓｔｉｎｇ）補正の必要がない。

絞りブラケットには機械的な絞り操作が必要であり、異なるブラケットにより絞り値が変わる。このため、仮定の露光時間の間で光束範囲が定められる。

このようなブラケットは露光時間の固定およびゲインの固定に適用されるので、ブラケット（その他ブラケット方式と相反する）は同じ信号対雑音比（ＳＮＲ：Ｓｉｇｎａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）を有する。このため露光時間が増し、最適なＳＮＲに達することができる。

ブラケット方式の組合せはより好ましいＳＮＲまたはより少ないゴーストを達成するのに用いられる。

露光値２４ＥＶのＨＤＲ画像の画像データサイズは一般的な８ビットのＬＤＲ画像の４倍である。優れた圧縮技術により最小限の色抜けのＨＤＲ画像を保存し、通信プロトコルを通じて当該画像を伝送することができる。

モニターやプリンターのような再現デバイスを使用しても８〜１２ＥＶを超えるダイナミックレンジ画像を表現することはできない。トーンマッピング方法によれば、すべての輝度値（画像中すべてのピクセル）をデバイスの目標ダイナミックレンジまでトーンマッピングできる。これは一般的なダイナミックレンジ圧縮である。

トーンマッピングは複雑な方法であり、この方法を用いれば、すべての明るいまたは暗いＨＤＲ画像をトーンマッピングして、ＨＤＲ画像をＬＤＲ装置で再現でき（全体コントラスト修正）、画像の視覚的コントラストを損失することはなく（局所コントラスト修正）、色が変わることもない（または色抜けが最小限に留められる）。

以下にトーンマッピング技術の試みをいくつか詳述する。

多くの異なるトーンマッピング（ＴＭ）技術があり、単純な「ピクセルワイズ」ＴＭおよびＴＭ中のディテール「保存」に分けられる。

単純な「ピクセルワイズ」ＴＭの利点は、「オンチップ」ソリューションとしてＴＭ曲線を画像センサー内に組み込むことができる点にある。

しかし、画像ディテールの中にはコントラスト損失が起こるものがあり、ダイナミックレンジのＨＤＲ画像の露光値が１０ＥＶより大きい時、変換公式（画像中のすべてのピクセルについて同じ）は画像ディテールがわからないので、あらかじめ定義されたＴＭ曲線は一部画像の輝度のディテールに合わない。

光エネルギーの空間分布はセンサーのピクセル上にあるように、方法１は同等の入射光エネルギー分離と解釈できる。

そして、この式（２．１）は、トーンマッピング画像に用いられる。

すでにわかっている式（２．２）は不自然な画像を生成する。なぜなら、上述のコントラスト操作は線形エネルギーから桁数目盛へと実行が移されるが、人間の眼は対数方式によりコントラストを感知するからである。

その中のｌは対数基数であり、通常は２（たとえばＥＶ目盛）であるため、ｌの２ｘの変化は１ＥＶと関係する。

この場合、ピクセルワイズの分離式は人間の眼の仕組みにより類似する。

パラメーターγはフィルターの有効半径である。

ここでのピクセルワイズのマッピング操作は式（２．３）と似ているが、対数目盛で行う。

この方法は人間の視覚に近く、そこから生成された結果物はＨＤＲトーンマッピングの画像より優れている。しかし、式（２．４）は人間の視覚システムに近いだけで、４段階の視野角の細かいディテールを表示できる。したがって式（２．４）の方法を用いた画像のクオリティは画像を目にする距離（人間の眼からデバイスまでの距離）がポイントとなり、画像を見る距離はガウスフィルターのパラメーターγに基づく。
また、γが用いられるので、ディテールのコントラストは異なるスペクトル周波数により変更することはできない。より大きいγ値は画像中のハイコントラストな「ハレーション」をもたらす。さらに、因子Ａは一定したものではなく、たとえば、「ハレーション」は一塊の不鮮明なディテールの場合もあれば、画像の均一的な明視野部分に出現することもある。

Ａは比例定数であり、αは任意の拡大ゲインである（たとえば、アナログ、デジタル）。

注意：

上記はカメラの露光因子である（カメラの露光設定に基づく）。

露光変化因子は次のとおりである。

各β値はブラケットシーケンス（ｂｒａｃｋｅｔｉｎｇ ｓｅｑｕｅｎｃｅ）により定義できる。

式（３．１）と式（３．２）から、露光値の変化はピクセル値の変化をもたらす。

いくつかの特殊な状況下では、画像センサーの一部のピクセルは露光値を変更することがある。

式（３．３）中にあるのは理想的なセンサーであるが、いかなる画像センサーの変換式も非線形であり、変換式の作業範囲は式（３．１）のように線形であっても、少なくとも２種類の飽和度を必要とする。

となる。

本発明では対数目盛を用いてピクセル値を表す。

Ｂの値は再度標準化されてデシベルに類似した値になり、その最大値（または白色点）は０と同等になる。

対数Ｂ目盛の処理後のピクセル値を表示するために、次の後ろ向き変換の公式を用いる。

解像度変化の式（３．２）により、たとえばモニターのような再現デバイス上におけるピクセルの視覚的な明るさに変化が生じる。

対数Ｂ目盛では、解像度の変化はカメラおよび／またはシーン照明により生じ、次の公式により表すことができる。

ここでの解像度の変化は次のとおりである。

式（３．２）および式（３．５）からわかるように、総露光変化と補正はその追加成分の総和を通じて示すことができる。

これは次の式でも表せる。

任意のΔB値は追加であるため、次のｂ目盛（ｂ−ｓｃａｌｅ）の式も真になる。

ピクセルの輝度値を１つの範囲からもう１つの範囲に変換するために（たとえば、ＨＤＲからＬＤＲに変換──ＨＤＲ画像のすべてのピクセルをＬＤＲの再現デバイス上で見る）、本発明ではトーンマッピング操作を用いる。トーンマッピングは露光範囲を圧縮または拡張できる。

その際、実行画像中の（ｘ，ｙ）座標のピクセルの追加露出補正は次のとおりである。

式（３．７）のように、関数は同じ成分中で表す。

「自然な作業」のトーンマッピング機能を確立するためには、トーンマッピングの作業方式を人間の目の局所調整に似たものにする必要がある。これは、画像の暗いエリアをより明るくすると同時に、最も明るいエリアを見える状態に維持するのに役立つ。この人間の眼の能力（その場の状況に適応する能力）と線形（光エネルギー）メモリ中のガンマ関数は似ている。ＬＤＲ再現デバイスを用いて画像が再生される時、追加のガンマ補正は画像中のすべてのピクセルに適用される。

このＧ_ｐＩ_ｐは露出補償の立場から露光範囲の圧縮を行い、人間の眼で画像ピクセルを見るのを助け、その値Ｉ_ｐは再現デバイスのダイナミックレンジを超える。補正パラメーターγにより画像の暗いエリアを見えるようにすると同時に、最も明るいエレメントを維持できるようにする。パラメーターαにより入力ピクセル値（または露光値）のリスケーリングまたは拡大を実行する。パラメーターＡは再現デバイスの出力輝度のスケーリングまたは拡大因子として認められる。

対数Ｂ目盛（Ｂ−ｓｃａｌｅ）中では、ガンマ補正は１つの簡単な線形関数である。

ｂ目盛の式（３．４）まで標準化した後、上述の式はさらに簡素化する。

この操作は追加露出補正の式（３．８）を通じて次のように表すことができる。

したがって、基本的なガンマ状の追加露出補正は任意のピクセルに対して次のようになる。

本発明の実施例では、式（３．９）（そのパラメーターを超過）は局所露出補償（ＬＥＣ：Ｌｏｃａｌ Ｅｘｐｏｓｕｒｅ Ｃｏｍｐｅｎｓａｔｉｏｎ）として認められ、画像が再現デバイスで再生され、それが見られている最中、人間の眼の局所適応を補償するのに用いられる。

式（３．１０）の利点は局所露出補償にあるが、その欠点はガンマ関数の定義にある。ハイコントラストのシーンを調整圧縮する時、画像中の比較的明るいディテールのネイティブコントラストを圧縮することで、視覚的に不自然になってしまう。言い換えれば、いかなるコントラスト圧縮も禁止またはマスクされてしまったら、補償後の画像は変わらないので、局所露出補償が意味を成さない。

したがって、トーンマッピングは式（３．１０）のみを用いることはできず、局所露出補正と十分な視覚的コントラストの間でよいバランスを保たなければいけないため、画像ディテールのネイティブコントラストには局所露出補償を用いて局所適応を行う必要がある。

本発明の実施例では、局所露出補償の局所適応はディテールのネイティブマイクロコントラストの反応だと考えられる。

ｏ点の座標が（ｘ，ｙ）であると、次のようになる。

局所露出補償の式(3.10)は、圧縮因子ρの局所修正により局所適応をもたらす。ディテール内のマイクロコントラストDr(Bp)を維持または拡大するために、局所露出補償の式におけるスロープ（パラメーターP=P₀により定義）はＣエリア内で減少し、P=P_local<P₀となり、当該エリアの任意の箇所の露光偏差Dr(Bp)は０にはならない。

図６および式（３．１１）に基づき、局所露出補償に対し、局所修正を行いγに依存するようになり、次のような式も書ける。

式（３．１２）と式（２．３）、（２．４）、（２．５）が示す作業方式は同じであり、いずれも人間の視覚システムと関係している。続いて、画像がＧ（「全体コントラスト」の部分）とＬ（「局所コントラスト」の部分）の２層に分けられる。

これらは式（３．１３）中での計算に用いられる。

続いて、式（３．１２）は次の方式に書き変えられる。

式（３．１４）は式（２．３）、（２．４）、（２．５）と同じ欠点を有する。これには人工的に生じた「ハレーション」が含まれる。

追加局所コントラスト補償は次の式を用いて定義される。

上述の１と２から次の式が得られる。

続いて、次の式が得られる。

ハレーション抑制係数ｈ_ｓは０の定数よりも大きく、（ｘ，ｙ，ｚ）に依存せず、ユーザーにより操作される。

状態１における式（３．１６）により局所適応性の局所コントラスト層を定義し、次の式（３．１７）が得られる。

続いて、トーンマッピングの式（３．１４）はその局所適応性に置き換えて表示される。

Ｒ_ｍａｘはすべての画像サイズに対し最大限使用可能な値γの設定に用いられ、これはアルゴリズムアプリケーションプログラムでユーザーが設定できる。

式（３．１９）は次のように書き換えられる。

本発明のＨＤＲ画像処理をＨＤＲ映像装置のハードウェアで実現する実施例について以下に述べる。

入力データ形式において、連続する画像（フレーム）から成るビデオストリームは、１つの画像センサーまたは１組の画像センサーから生成される。

指定実行されるＨＤＲアルゴリズムについて、これらのフレームは連続するフレームの１つの単一ビデオストリームまたは複数のパラレルビデオストリームであると仮定する。

提案されたＨＤＲ処理について、これはフレーム数であり、重要ではない。ここにおける唯一のパラメーターは露光設定である。

ここでのτは露光時間であり、αはゲイン値であり、ｆと絞りは関係する。

入力データを準備する際、「Ｉ」が内部ｍビットのカラーピクセルデータを指すようにし、これはカラー画像センサー（ＣＩＳ：Ｃｏｌｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）のデジタル出力端により生成される。Ｉ＝Ｉ（ｘ，ｙ）は、ここにおけるピクセル中の入射光パワーの線形輝度を表し、（ｘ，ｙ）は画像中のピクセル座標である。ピクセルデータは［０，Ｉ_０］の範囲内にあり、Ｉ_０は最大限可能な正値である。ｍビットデータについては次のようになる。

マージ工程では１つの対数（２を基本単位とする）を用いて露光値を示す色の明るさを表現する。

その際、ｂ_ｉｎは標準化され、任意のＩは常に０より小さい。

通常、ピクセルからＡＤＣへの変換の伝達関数は線形ではないので、最初の線形化を計算前に優先的に行う必要がある。それにもかかわらずガンマ状非線形が導き出される場合は、次の計算により補償を行う。

式（４．２）は定数基準値ｂ_ｒｅｆおよびデガンマ係数Ｃ_ｒｓを有する。この２つの値はいずれも（ｘ，ｙ）に依存しない。

続いて、その他のブラケットについての説明である（ｎ＞０）。

１．絶対差を求める。

２．基準値を求める。

３．マージマスク（ｍｅｒｇｉｎｇ ｍａｓｋ）を生成する。

４．有効マージマスクを形成する。
変形１．％直接ピクセル値の混合にマージを行う。

変形２．％デゴースト操作によりマージを行う。

７．残ったすべてのブラケット（フレーム）について１〜６の操作を繰り返す。

また、「色」成分は次のように表される。

その際、ｃｏｌは（ｘ，ｙ）位置上の適当なピクセル原色Ｒ１、Ｇ１、Ｇ２またはＢで表される。

各座標（ｘ，ｙ）に関しては、トーンマッピングは以下の操作により行われる。

局所適応性処理により次の式が得られる。

そして最後のトーンマッピングされたカラー画像は次の式により得られる。

上述の式におけるパラメーターの定義は次のとおりである。

最小画像ディテールが検知される時、２次元カーネル分布の標準偏差は少なくとも３×３のＲＧＢピクセルエリアをカバーできる。

２次元カーネル中のＲＧＧＢピクセル分布の５×５カーネル実施例を示す図７を参照されたい。

処理工程：
１．バッファーの初期化

続いて、次のステップのループをＮ回繰り返す。

７．インクリメントカウンターを組み込む。

上述の記載は本発明の好ましい実施例の説明に過ぎず、本発明の実施範囲を限定するものではない。したがって、本発明の特許請求の範囲で述べられた特徴および精神に基づき加えられた各種の変更や潤色はすべて、本発明の特許請求の範囲内に含まれる。

１０ 高動解像度映像処理装置
４０ 入射光
５０ ベイヤーフィルター
６０ 画像取込装置
７０ ＲＡＷ画像データ
８０ ＨＤＲ画像処理装置
９０ ＨＤＲ画像出力

Claims (14)

1. 光をベイヤー（Ｂａｙｅｒ）フィルターに通過させるステップと、
   画像取込装置を利用して前記光を取り込み、ベイヤーモザイク画像を生成するステップと、
   前記ベイヤーモザイク画像に少なくとも１つのマージ技術を施すステップと、
   前記ベイヤーモザイク画像に少なくとも１つのトーンマッピング技術を施すステップと、
   前記マージ技術および前記トーンマッピング技術を施した結果物を少なくとも１つのＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）データに変換するステップと、
   前記ＲＧＢデータに基づきハイダイナミックレンジ（ＨＤＲ：Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）画像を出力するステップと、を含む、
   高動解像度映像処理方法。
2. 前記マージ技術を施す時、異なる露光の４つのフレームはＨＤＲにより取り込まれる、請求項１に記載の高動解像度映像処理方法。
3. 前記マージ技術はフルリセットのマージモードおよびローダイナミックレンジ（ＬＤＲ：Ｌｏｗ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）アップデートのマージモードを含む、請求項２に記載の高動解像度映像処理方法。
4. 前記フルリセットのマージモードは、前記４つのフレームがすべて取り込まれるとＨＤＲフレームを生成することを含む、請求項３に記載の高動解像度映像処理方法。
5. 前記ＬＤＲアップデートのマージモードは、前述のＨＤＲフレームがアップデートされてＬＤＲフレームデータになることにより、新たなＨＤＲフレームを取得することを含む、請求項３に記載の高動解像度映像処理方法。
6. 前記ＬＤＲアップデートのマージモードは、ＬＤＲフレームのフレームレートでＨＤＲフレームがアップデートされてＬＤＲフレームになることにより、新たなＨＤＲフレームを取得することを含む、請求項３に記載の高動解像度映像処理方法。
7. 前記マージ技術および前記トーンマッピング技術を施す際、デモザイクや色空間変換は行われない、請求項１に記載の高動解像度映像処理方法。
8. 前記ＨＤＲ画像のすべての処理技術は、人間の視覚に合わせて対数目盛（ｌｏｇａｒｉｔｈｍｉｃ ｓｃａｌｅ）で実行される、請求項１に記載の高動解像度映像処理方法。
9. 前記トーンマッピング技術は、人間の眼にとって快適な輝度範囲に圧縮する局所適応性のトーンマッピングを行うことを含む、請求項１に記載の高動解像度映像処理方法。
10. ベイヤーモザイク画像を生成するのに用いられるベイヤーフィルターと、
    前記ベイヤーモザイク画像を取り込む画像取込装置と、
    前記画像取込装置から前記ベイヤーモザイク画像を受信し、前記ベイヤーモザイク画像に少なくとも１つのマージ技術を施し、前記ベイヤーモザイク画像に少なくとも１つのトーンマッピング技術を施し、前記マージ技術および前記トーンマッピング技術を施した結果物を少なくとも１つのＲＧＢデータに変換するとともに、前記ＲＧＢデータに基づきＨＤＲ画像を出力するＨＤＲ画像処理装置と、を含む、
    高動解像度映像処理装置。
11. 前記ＨＤＲ画像処理装置はフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を備える、請求項１０に記載の高動解像度映像処理装置。
12. 前記ベイヤーフィルターおよび前記画像取込装置は前記ＨＤＲ画像処理装置から分離された装置である、請求項１０に記載の高動解像度映像処理装置。
13. 前記ベイヤーフィルターおよび前記画像取込装置は前記ＨＤＲ画像処理装置と一体化した装置である、請求項１０に記載の高動解像度映像処理装置。
14. 複数の線形１次ベイヤーモザイク信号を対数目盛ピクセルワイズ（ｐｉｘｅｌ−ｗｉｓｅ）に直接変換し、
    その際、
    Ｒ、Ｇ１、Ｇ２またはＢのピクセルは各自の対数目盛にそれぞれ変換するステップと、
    前記ピクセルを処理してＨＤＲの結果物を取得するステップと、
    前記ＨＤＲの結果物を前記対数目盛から前記線形１次ベイヤーモザイク信号に変換し直すステップと、を含む、
    高動解像度映像処理方法。

Images