JP2023124561A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】合成画像に関連付けられる被写体情報の冗長性を抑制するように、各素材画像の被写体情報を合成画像に関連付ける技術を提供する。
【解決手段】第１の画像、前記第１の画像において検出された第１の被写体を表す第１の被写体情報、第２の画像、及び前記第２の画像において検出された第２の被写体を表す第２の被写体情報を取得する取得手段と、前記第１の画像と前記第２の画像とを合成することにより合成画像を生成する合成手段と、前記第１の被写体情報及び前記第２の被写体情報の類似性が所定の基準を満たす場合、前記第１の被写体情報及び前記第２の被写体情報のいずれか一方を前記合成画像に関連付けて記録し、前記第１の被写体情報及び前記第２の被写体情報の類似性が前記所定の基準を満たさない場合、前記第１の被写体情報及び前記第２の被写体情報の両方を前記合成画像に関連付けて記録する記録手段と、を備えることを特徴とする画像処理装置を提供する。
【選択図】図４

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。

近年、深層学習などといった人工知能（Artificial Intelligence：ＡＩ）技術が様々な技術分野で活用されつつある。例えば、従来、デジタルスチルカメラなどにおいて、撮影された画像から人の顔を検出する機能が知られている。また、特許文献１には、検出対象を人に限らず、犬や猫といった動物などを精度よく検出し、認識する技術が開示されている。

また、ＨＤＲ合成や多重合成など、複数の素材画像を合成して合成画像を作成する技術が知られている。この技術に関連して、特許文献２は、主被写体を含む画像（素材画像）の撮影情報のみを合成後の画像に付加して記録することを開示している。

特開２０１５－０９９５５９号公報 特開２０１９－００９５７７号公報

ＡＩ技術などを用いて素材画像の被写体情報を推定して記録し、複数の素材画像を合成して合成画像を生成する場合を考える。この場合において、各素材画像の被写体情報を全て無条件に合成画像に関連付けると、素材画像間の被写体情報の類似性によっては、合成画像に関連付けられた被写体情報が冗長になり、被写体情報の使い勝手が低下する可能性がある。しかしながら、従来技術では、この問題に対処できない。

本発明はこのような状況に鑑みてなされたものであり、合成画像に関連付けられる被写体情報の冗長性を抑制するように、各素材画像の被写体情報を合成画像に関連付ける技術を提供することを目的とする。

上記課題を解決するために、本発明は、第１の画像、前記第１の画像において検出された第１の被写体を表す第１の被写体情報、第２の画像、及び前記第２の画像において検出された第２の被写体を表す第２の被写体情報を取得する取得手段と、前記第１の画像と前記第２の画像とを合成することにより合成画像を生成する合成手段と、前記第１の被写体情報及び前記第２の被写体情報の類似性が所定の基準を満たす場合、前記第１の被写体情報及び前記第２の被写体情報のいずれか一方を前記合成画像に関連付けて記録し、前記第１の被写体情報及び前記第２の被写体情報の類似性が前記所定の基準を満たさない場合、前記第１の被写体情報及び前記第２の被写体情報の両方を前記合成画像に関連付けて記録する記録手段と、を備えることを特徴とする画像処理装置を提供する。

本発明によれば、合成画像に関連付けられる被写体情報の冗長性を抑制することが可能となる。

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

デジタルカメラ１００の構成例を示すブロック図。 デジタルカメラ１００が実行するＨＤＲ撮影処理のフローチャート。 素材画像ファイルの構成例を示す図。 デジタルカメラ１００が実行するＨＤＲ合成処理のフローチャート。 素材画像及びＨＤＲ合成画像の例を示す図。 素材画像ファイル及びＨＤＲ合成画像ファイルに記録されるアノテーション情報の例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

また、以下の説明では、推論モデルを使用して被写体分類を行う画像処理装置として、デジタルカメラ（撮像装置）を例示する。しかしながら、以下の実施形態において、画像処理装置はデジタルカメラに限定されない。以下の実施形態における画像処理装置は、以下で説明するデジタルカメラの機能を備える装置であればいかなる装置であってもよく、例えば、スマートフォン又はタブレットＰＣなどであってもよい。

［第１の実施形態］
●デジタルカメラ１００の構成
図１は、デジタルカメラ１００の構成例を示すブロック図である。バリア１０は、デジタルカメラ１００の撮影レンズ１１を含む撮像部を覆う事により、撮像部の汚れや破損を防止する保護部材である。バリア１０の動作は、バリア制御部４３により制御される。撮影レンズ１１は、光学像を撮像素子１３の撮像面に結像させる。シャッター１２は、絞り機能を備える。撮像素子１３は、例えば、ＣＣＤやＣＭＯＳセンサ等で構成され、シャッター１２を介して撮影レンズ１１により撮像面上に結像された光学像を電気信号に変換する。

Ａ／Ｄ変換器１５は、撮像素子１３から出力されたアナログの画像信号をデジタルの画像信号に変換する。Ａ／Ｄ変換器１５で変換されたデジタルの画像信号は、所謂ＲＡＷ画像データとして、メモリ２５に書き込まれる。併せて、撮影時の情報を基に各ＲＡＷ画像データに対応する現像パラメータが生成され、メモリ２５に書き込まれる。現像パラメータは、露光設定、ホワイトバランス、色空間、コントラストなど、ＪＰＥＧ方式などで画像を記録するための画像処理で使用される各種パラメータから構成される。

タイミング発生部１４は、メモリ制御部２２及びシステム制御部５０により制御され、撮像素子１３、Ａ／Ｄ変換器１５、及びＤ／Ａ変換器２１にクロック信号や制御信号を供給する。

画像処理部２０は、Ａ／Ｄ変換器１５からのデータ又はメモリ制御部２２からのデータに対して所定の画素補間処理、色変換処理、補正処理、リサイズ処理、画像合成処理などの各種画像処理を行う。また、画像処理部２０は、撮像して得られた画像データを用いて所定の画像処理や演算処理を行い、得られた演算結果をシステム制御部５０に提供する。システム制御部５０は、提供された演算結果に基づいて露光制御部４０及び焦点制御部４１を制御することにより、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を実現する。

本実施形態では、システム制御部５０は、露出の異なる２つの露出設定で撮影を行うことができる。１つ目の露出設定は「適露出設定」であり、システム制御部５０がＡＥ（自動露出）処理の結果を露光制御部４０にフィードバックすることにより、適切な露光の画像が得られる。２つ目の露出設定は「アンダー露出設定」であり、システム制御部５０がＡＥ（自動露出）処理の結果に対して露出を下げるオフセットを持たせて露光制御部４０にフィードバックすることにより、暗い露光の画像が得られる。

また、画像処理部２０は、撮像して得られた画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（オートホワイトバランス）処理も行う。更に、画像処理部２０は、メモリ２５に格納された画像データを読み込んで、ＪＰＥＧ方式、ＭＰＥＧ－４ ＡＶＣ方式、ＨＥＶＣ（High Efficiency Video Coding）方式、又は非圧縮のＲＡＷデータに対する可逆圧縮方式などの方式により、圧縮処理又は伸長処理を行う。そして、画像処理部２０は、処理を終えた画像データをメモリ２５に書き込む。

また、画像処理部２０は、撮像して得られた画像データを用いて所定の演算処理を行い、各種画像データの編集処理を行う。例えば、画像処理部２０は、画像データの周囲にある不要な部分を非表示にすることで画像の表示範囲やサイズを調整するトリミング処理、及び、画像データや画面の表示要素などを拡大又は縮小して大きさを変更するリサイズ処理を行うことができる。更に、画像処理部２０は、非圧縮のＲＡＷデータに対する可逆圧縮方式により圧縮処理又は伸長処理を行ったデータに対して色変換などの画像処理を加え、ＪＰＥＧ形式に変換して画像データを作成する、ＲＡＷ現像を行うことができる。また、画像処理部２０は、ＭＰＥＧ－４などの動画フォーマットの指定フレームを切り出してＪＰＥＧ形式に変換して保存する動画切り出し処理を行うことができる。

また、画像処理部２０は、複数の画像データを合成する合成処理回路を備える。画像処理部２０は、加算合成処理、加重加算合成処理、及び領域指定合成処理を実行可能である。領域指定合成処理は、素材画像ごとに合成に用いる領域を指定し、各素材画像の指定された領域を合成する処理である。

また、画像処理部２０は、表示用の画像データと共に、表示部２３に表示するメニューや任意の文字等のＯＳＤ（On-Screen Display）を重畳させる処理等も行う。

更に、画像処理部２０では、入力された画像データや撮影時の撮像素子１３などから得られる被写体との距離情報などを利用して、画像データ内に存在する被写体を検出して、その被写体領域を検出する被写体検出処理を行う。検出できる情報（被写体検出情報）として、画像内における被写体領域の位置、大きさ、及び傾きなどの情報や、確からしさの情報などがある。

メモリ制御部２２は、Ａ／Ｄ変換器１５、タイミング発生部１４、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２１、及びメモリ２５を制御する。Ａ／Ｄ変換器１５により生成されたＲＡＷ画像データは、画像処理部２０及びメモリ制御部２２を介して、又は、直接メモリ制御部２２を介して、画像表示メモリ２４又はメモリ２５に書き込まれる。

画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２１を介して、ＴＦＴ ＬＣＤなどにより構成される表示部２３に表示される。表示部２３を用いて、撮像して得られた画像データを逐次表示すれば、ライブ画像を表示する電子ファインダ機能を実現することが可能である。

メモリ２５は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備え、撮影した静止画像や動画像を格納する。また、メモリ２５はシステム制御部５０の作業領域としても使用することが可能である。

露光制御部４０は、絞り機能を備えるシャッター１２を制御する。また、露光制御部４０は、フラッシュ４４と連動することによりフラッシュ調光機能も有する。焦点制御部４１は、システム制御部５０からの指示に基づいて撮影レンズ１１に含まれる不図示のフォーカスレンズを駆動することで、焦点調節を行う。ズーム制御部４２は、撮影レンズ１１に含まれる不図示のズームレンズを駆動することで、ズーミングを制御する。フラッシュ４４は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。

システム制御部５０は、デジタルカメラ１００全体を制御する。不揮発性メモリ５１は、電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。なお、不揮発性メモリ５１には、プログラムだけでなく、地図情報等も記録されている。

シャッタースイッチ６１（ＳＷ１）は、シャッターボタン６０の操作途中でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理などの動作開始を指示する。シャッタースイッチ６２（ＳＷ２）は、シャッターボタン６０の操作完了でＯＮとなり、露光処理、現像処理、記録処理を含む一連の撮影動作の開始を指示する。露光処理では、撮像素子１３から読み出された信号を、Ａ／Ｄ変換器１５及びメモリ制御部２２を介して、ＲＡＷ画像データとしてメモリ２５に書き込むことが行われる。現像処理では、画像処理部２０やメモリ制御部２２での演算により、メモリ２５に書き込まれたＲＡＷ画像データを現像して画像データとしてメモリ２５に書き込むことが行われる。記録処理では、メモリ２５から画像データを読み出し、画像処理部２０により圧縮を行い、圧縮した画像データをメモリ２５に格納した後にカードコントローラ９０を介して外部記録媒体９１に書き込むことが行われる。

操作部６３は、各種ボタンやタッチパネルなどの操作部材を備える。例えば、操作部６３は、電源ボタン、メニューボタン、撮影モード／再生モード／その他特殊撮影モードの切替えを行うモード切替えスイッチ、十字キー、セットボタン、マクロボタン、マルチ画面再生改ページボタンを含む。また、例えば、操作部６３は、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動－（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタンなどを含む。

メタデータ生成・解析部７０は、外部記録媒体９１に画像データを記録する際に、撮影時の情報を基に、画像データに添付するＥｘｉｆ(Exchangeable image file format)規格の情報などの、様々なメタデータを生成する。また、メタデータ生成・解析部７０は、外部記録媒体９１に記録されている画像データを読み込んだ際に、画像データに付与されているメタデータの解析を行う。メタデータとしては、例えば、撮影時の撮影設定情報、画像データに関する画像データ情報、画像データに含まれる被写体の特徴情報などが挙げられる。また、動画像データを記録する際には、メタデータ生成・解析部７０は、各フレームについてメタデータを生成し、付与することもできる。

電源８０は、アルカリ電池やリチウム電池等の一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池、若しくはＬｉ電池等の二次電池、又はＡＣアダプター等を含む。電源制御部８１は、電源８０から供給される電力をデジタルカメラ１００の各部に供給する。

カードコントローラ９０は、メモリカード等の外部記録媒体９１とデータの送受信を行う。外部記録媒体９１は、例えばメモリカードで構成され、デジタルカメラ１００が撮影した画像（静止画、動画）を記録する。

推論エンジン７３は、推論モデル記録部７２に記録された推論モデルを用いて、システム制御部５０を介して入力された画像データに対して推論を行う。システム制御部５０は、通信部７１を通じて外部装置（不図示）から入力された推論モデルを、推論モデル記録部７２に記録することができる。また、システム制御部５０は、学習部７４を用いて推論モデルの再学習を行うことにより得られた推論モデルを推論モデル記録部７２に記録することができる。なお、推論モデル記録部７２に記録された推論モデルは、外部装置からの推論モデルの入力や学習部７４を用いる推論モデルの再学習により更新される可能性がある。そのため、推論モデルのバージョンを識別できるように、推論モデル記録部７２はバージョン情報を保持する。

また、推論エンジン７３は、ニューラルネットワーク・デザイン７３ａを有する。ニューラルネットワーク・デザイン７３ａは、入力層と出力層の間に中間層（ニューロン）が配置された構成を持つ。入力層には、システム制御部５０から画像データが入力される。中間層としては、何層かのニューロンが配置されている。ニューロンの層の数は設計上適宜決められる。また、各層におけるニューロンの数も設計上適宜決められる。中間層では、推論モデル記録部７２に記録された推論モデルに基づいて、重み付けがなされる。出力層には、入力層に入力された画像データに応じた推論結果が出力される。

本実施形態では、推論モデル記録部７２に記録された推論モデルとして、画像に含まれる被写体がどのようなものであるかの分類を推論する推論モデルを想定する。様々な被写体の画像データと、その分類（例えば、犬、猫などの動物の分類や、人、動物、植物、建物などの被写体種類の分類など）の結果とを教師データとして、深層学習により生成された推論モデルが使用される。従って、画像、及びこの画像において検出された被写体の領域を示す情報が、推論モデルを用いる推論エンジン７３に入力されると、この被写体の分類（種類）を示す推論結果が出力される。

学習部７４は、システム制御部５０等から依頼を受けて、推論モデルの再学習を行う。学習部７４は、教師データ記録部７４ａを有する。教師データ記録部７４ａは、推論エンジン７３のための教師データに関する情報を記録する。学習部７４は、教師データ記録部７４ａに記録されている教師データを用いて、推論エンジン７３を再学習させ、推論モデル記録部７２を用いて、推論エンジン７３を更新することができる。

通信部７１は、送信及び受信を行うための通信回路を有する。通信回路が行う通信は、具体的にはＷｉ－ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標）などの無線通信でも良いし、イーサネットやＵＳＢなどの有線通信でもよい。

●ＨＤＲ撮影処理及びＨＤＲ合成処理
次に、図２～図６を参照して、デジタルカメラ１００が実行するＨＤＲ撮影処理及びＨＤＲ合成処理について説明する。図２は、デジタルカメラ１００が実行するＨＤＲ撮影処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、デジタルカメラ１００のシステム制御部５０がプログラムに従ってデジタルカメラ１００の各構成要素を制御することにより実現される。デジタルカメラ１００の動作モードがＨＤＲ撮影モードに設定されると、本フローチャートのＨＤＲ撮影処理が開始する。なお、ユーザは、操作部６３の操作により表示部２３にメニュー画面を表示し、メニュー画面においてＨＤＲ撮影モードを選択することにより、デジタルカメラ１００の動作モードをＨＤＲ撮影モードに設定することができる。

Ｓ２０２において、システム制御部５０は、ユーザによる撮影指示が行われたか否かを判定する。ユーザは、シャッターボタン６０の押下により、シャッタースイッチ６１（ＳＷ１）及び６２（ＳＷ２）をＯＮにすることにより、撮影指示を行うことができる。システム制御部５０は、ユーザによる撮影指示が行われるまでＳ２０２において判定処理を繰り返す。ユーザによる撮影指示が行われると、処理ステップはＳ２０３へ進む。

Ｓ２０３において、システム制御部５０は、適露出設定での撮影処理（適撮影処理）を行う。適撮影処理では、システム制御部５０は、焦点制御部４１及び露光制御部４０を用いて、ＡＦ（オートフォーカス）処理及びＡＥ（自動露出）処理を行った上で、撮像素子１３からＡ／Ｄ変換器１５を介して出力される画像信号をメモリ２５に保存する。このとき、システム制御部５０は、ＡＥ（自動露出）処理の結果を適露出設定で露光制御部４０にフィードバックすることにより、適切な露光の画像が得られるように制御する。また、画像処理部２０は、メモリ２５に保存した画像信号に対してユーザの設定に応じた圧縮処理を行うことにより、ユーザの設定に応じた形式（例えばＪＰＥＧ形式）の画像データを生成し、メモリ２５に保存する。

Ｓ２０４において、画像処理部２０は、メモリ２５に保存された画像信号に対して被写体検出処理を行い、画像に含まれる被写体の情報（被写体検出情報）を取得する。

Ｓ２０５において、システム制御部５０は推論エンジン７３を用いて、メモリ２５に保存された画像信号（素材画像）において検出された被写体に対して推論処理を行う。システム制御部５０は、メモリ２５に保存された画像信号とＳ２０４で取得した被写体検出情報とに基づいて、画像内の被写体領域を特定する。システム制御部５０は、画像信号（素材画像）、及び素材画像における被写体領域を示す情報を、推論エンジン７３に入力する。推論エンジン７３が被写体領域ごとに推論処理を行った結果として、被写体領域に含まれる被写体の分類（種類）を示す推論結果が出力される。なお、推論エンジン７３は、推論結果に加えて、推論処理の動作上のデバッグ情報及びログなどの、推論処理に関連する情報を出力しても構わない。

Ｓ２０６において、システム制御部５０は、Ｓ２０３で生成された画像データ、Ｓ２０４で取得した被写体検出情報、及びＳ２０５で取得した推論結果を含むファイルを、ＨＤＲ合成の素材画像ファイルとして外部記録媒体９１に記録する。

図３は、素材画像ファイルの構成例を示す図である。図３に示すように、素材画像ファイル３００は、複数の格納領域に区分されており、Ｅｘｉｆ規格に従ったメタデータを記憶するＥｘｉｆ領域３０１と、圧縮された画像データを記録する画像データ領域３０８とを含む。また、素材画像ファイル３００は、アノテーション情報を記録するアノテーション情報領域３１０も含む。素材画像ファイル３００がＪＰＥＧ形式のファイルの場合、複数の格納領域それぞれは、マーカーにより規定される。例えば、ユーザからＪＰＥＧ形式での画像記録が指示された場合、素材画像ファイル３００はＪＰＥＧ形式で記録される。この場合、Ｓ２０３で生成された画像データがＪＰＥＧ形式で画像データ領域３０８に記録され、Ｅｘｉｆ領域３０１の情報は、例えばＡＰＰ１マーカーなどにより規定される領域に記録される。また、アノテーション情報領域３１０の情報は、例えばＡＰＰ１１マーカーなどにより規定される領域に記録される。ユーザからＨＥＩＦ(High Efficiency Image File Format)形式での画像記録が指示された場合、素材画像ファイル３００はＨＥＩＦファイル形式で記録される。この場合、Ｅｘｉｆ領域３０１及びアノテーション情報領域３１０の情報は、ＭｅｔａデータＢｏｘなどに記録される。ユーザからＲＡＷ形式での画像記録が指示された場合も同様に、Ｅｘｉｆ領域３０１及びアノテーション情報領域３１０の情報は、ＭｅｔａデータＢｏｘなどの所定の領域に記録される。

Ｓ２０４で取得された被写体検出情報は、メタデータ生成・解析部７０により、Ｅｘｉｆ領域３０１に含まれるＭａｋｅｒＮｏｔｅ３０５（メーカー固有のメタデータを原則非公開の形式で記載できる領域）内の被写体検出情報タグ３０６に記録される。また、推論モデル記録部７２に記録された現在の推論モデルのバージョン情報や、Ｓ２０５において推論エンジン７３が出力したデバッグ情報などがある場合には、これらの情報は、推論モデル管理情報３０７としてＭａｋｅｒＮｏｔｅ３０５内に記録される。

Ｓ２０５で取得された推論結果は、アノテーション情報として、アノテーション情報領域３１０に記録される。アノテーション情報領域３１０の位置は、アノテーションリンク情報格納タグ３０２に含まれるアノテーション情報リンク３０３により指し示される。本実施形態では、アノテーション情報は、ＸＭＬやＪＳＯＮなどのテキスト形式で記載することを想定している。

図２に戻り、Ｓ２０７において、システム制御部５０は、アンダー露出設定での撮影処理（アンダー撮影処理）を行う。アンダー撮影処理では、システム制御部５０は、Ｓ２０３と同様の処理を行うが、ＡＥ（自動露出）処理の結果をアンダー露出設定で露光制御部４０にフィードバックすることにより、暗い露光の画像が得られるように制御する。また、システム制御部５０は、Ｓ２０３と同様に、ユーザの設定に応じた形式（例えばＪＰＥＧ形式）の画像データを生成し、メモリ２５に保存する。

Ｓ２０８において、画像処理部２０は、Ｓ２０４と同様の処理により、アンダー撮影処理で得られた画像に含まれる被写体の情報（被写体検出情報）を取得する。

Ｓ２０９において、システム制御部５０は、Ｓ２０５と同様の処理により、アンダー撮影処理で得られた画像信号（素材画像）に含まれる被写体に関する推論結果を取得する。

Ｓ２１０において、システム制御部５０は、Ｓ２０６と同様に、Ｓ２０７で生成された画像データ、Ｓ２０８で取得した被写体検出情報、及びＳ２０９で取得した推論結果を含むファイルを、ＨＤＲ合成の素材画像ファイルとして外部記録媒体９１に記録する。

その後、処理ステップはＳ２０２に戻り、次の撮影指示が行われると、システム制御部５０は、再びＳ２０３以降の処理を実行する。

図５を参照して、図２のＨＤＲ撮影処理により得られる素材画像の例を説明する。素材画像５０１は、適撮影処理により生成された画像である。素材画像５０１に対する推論処理により、山５０４、空５０７、斜面５１０、及び雲５１３に対応する推論結果が得られている。素材画像５０２は、アンダー撮影処理により生成された画像である。素材画像５０２に対する推論処理により、山５０５、空５０８、斜面５１１、及び雲５１４に対応する推論結果が得られている。素材画像５０１の推論結果は、図６に示すアノテーション情報６０１として素材画像ファイルに記録され、素材画像５０２の推論結果は、図６に示すアノテーション情報６０２として素材画像ファイルに記録される。図６に示すように、アノテーション情報は、被写体の領域及び種類を示す情報を含む推論結果（被写体を表す被写体情報）を、被写体毎に含む。

次に、図４を参照して、ＨＤＲ合成処理について説明する。本フローチャートの各ステップの処理は、特に断らない限り、デジタルカメラ１００のシステム制御部５０がプログラムに従ってデジタルカメラ１００の各構成要素を制御することにより実現される。デジタルカメラ１００の動作モードがＨＤＲ合成モードに設定されると、本フローチャートのＨＤＲ合成処理が開始する。なお、ユーザは、操作部６３の操作により表示部２３にメニュー画面を表示し、メニュー画面においてＨＤＲ合成モードを選択することにより、デジタルカメラ１００の動作モードをＨＤＲ合成モードに設定することができる。

Ｓ４０１において、システム制御部５０は、ユーザがＨＤＲ合成処理の素材画像を選択するためのユーザインタフェース（画像選択ＵＩ）を表示部２３に表示する。画像選択ＵＩには、例えば、適撮影処理により生成された素材画像がサムネイル表示される。ユーザは、操作部６３の操作により、サムネイル表示された素材画像を選択することができる。画像選択ＵＩにおいて素材画像が選択されると、選択された素材画像に対応するアンダー撮影処理により生成された素材画像もＨＤＲ合成処理の素材画像として選択される。

なお、１回のＨＤＲ撮影処理に含まれる適撮影処理及びアンダー撮影処理により生成される２つの素材画像ファイルは、何らかの方法で相互に関連付けられているものとする。一例として、２つの素材画像ファイルにファイル名に共通する固有の文字列を識別情報として含めることにより、２つの素材画像ファイルを相互に関連付けることができる。

Ｓ４０２において、システム制御部５０は、ユーザによる素材画像の選択が完了したか否かを判定する。システム制御部５０は、ユーザによる素材画像の選択が完了するまでＳ４０２において判定処理を繰り返す。ユーザによる素材画像の選択が完了すると、処理ステップはＳ４０３へ進む。

Ｓ４０３において、システム制御部５０は、Ｓ４０２で選択された素材画像に対応する素材画像ファイルを外部記録媒体９１から読み出し、メモリ２５に保存する。

Ｓ４０４において、システム制御部５０は、Ｓ４０３でメモリ２５に保存された素材画像ファイルをパース（解析）し、画像データ（素材画像）、被写体検出情報、及び推論結果を取り出す。

Ｓ４０５において、画像処理部２０は、Ｓ４０４で得られた２つの素材画像を合成することにより、輝度のダイナミックレンジが拡大されたＨＤＲ合成画像を生成する。ここでの合成方法としては、画像合成によりＨＤＲ合成画像を生成する技術分野における任意の既存の合成方法を使用することができる。一例として、画像処理部２０は、２つの素材画像の対応する位置における輝度の比較に基づいて、どちらの素材画像の画素が適正露光画素であるかを画素単位で判定する。そして、画像処理部２０は、２つの素材画像に含まれる適正露光画素を合成することにより、ＨＤＲ合成画像を生成する。生成されたＨＤＲ合成画像は、メモリ２５に保存される。

図５のＨＤＲ合成画像５０３は、Ｓ４０５において生成されるＨＤＲ合成画像の例である。この例では、斜面５１０については、素材画像５０１に含まれる斜面５１０の画素が合成されており、山５０５、空５０８、及び雲５１４については、素材画像５０２に含まれる山５０５、空５０８、及び雲５１４の画素が合成されている。

Ｓ４０６において、システム制御部５０は、記録対象から除外する推論結果を決定する。具体的には、システム制御部５０は、２つの素材画像間で類似している推論結果を識別する。例えば、図５に示した素材画像５０１及び５０２の場合、山５０４及び５０５、空５０７及び５０８、斜面５１０及び５１１、並びに雲５１３及び５１４の各組合せが、素材画像５０１と素材画像５０２との間で類似している推論結果として識別される。２つの推論結果（例えば、山５０４及び５０５）が２つの素材画像間で類似している場合、その両方がＨＤＲ合成画像に関連付けて記録されると、ＨＤＲ合成画像が冗長な推論結果を含むことになるため、ユーザにとって使い勝手が低下する。そこで、システム制御部５０は、２つの推論結果（例えば山５０４及び５０５）が２つの素材画像間で類似している場合、そのうちの１つを記録対象から除外する。

ここで、２つの素材画像間で類似している推論結果を識別する方法の例について説明する。システム制御部５０は、一方の素材画像の推論結果（例えば、山５０４）と他方の素材画像の推論結果（山５０５）との類似性が所定の基準を満たすか否かを判定する。この類似性に関する所定の基準が満たされる場合に、システム制御部５０は、これら２つの推論結果を、２つの素材画像間で類似している推論結果として識別することができる。類似性に関する所定の基準は特に限定されないが、一例として、被写体領域の重複度合いに基づく基準を採用することができる。例えば、一方の素材画像の推論結果により特定される被写体の領域（例えば、アノテーション情報６０１に含まれる座標（x11, y11, w11, h11）により特定される、山５０４の矩形領域）と他方の素材画像の推論結果により特定される被写体の領域（例えば、アノテーション情報６０２に含まれる座標（x21, y21, w21, h21）により特定される、山５０５の矩形領域）との重複度合いが所定の度合い以上である場合に、システム制御部５０は、これら２つの推論結果の類似性が所定の基準を満たすと判定する。

次に、記録対象から除外する推論結果の決定方法について、２つの例を説明する。説明の便宜上、２つの素材画像間で類似している推論結果として、山５０４及び５０５に着目する。

第１の例として、システム制御部５０は、ＨＤＲ合成画像において山５０４に由来する成分と山５０５に由来する成分のどちらの方が多いかを判定する。山５０４に由来する成分が山５０５に由来する成分よりも多い場合、山５０４の露出が山５０５よりも適切であり、山５０４の推論結果の信頼性又は重要性が山５０５の推論結果よりも高いと考えられる。そこで、システム制御部５０は、山５０５を除外する（即ち、山５０４が記録される）。反対に、山５０５に由来する成分が山５０４に由来する成分よりも多い場合、システム制御部５０は、山５０４を除外する（即ち、山５０５が記録される）。

第２の例として、システム制御部５０は、推論結果が示す被写体の種類の詳細度合いに基づいて、記録対象から除外する推論結果を決定する。図６のアノテーション情報６０１に示されるように、各被写体の推論結果は、被写体の種類を示す情報を含む。また、被写体の種類を示す情報は、その種類に関する更に詳細な情報を含んでいる場合がある。アノテーション情報６０１において山５０４に対応する「被写体１」については、種類が山であり、より詳細には富士山であることを示す情報が存在する。他方、アノテーション情報６０２において山５０５に対応する「被写体１」については、種類が山であることを示す情報は存在するが、より詳細な情報は存在しない。そこで、システム制御部５０は、被写体の種類を示す情報がより詳細な推論結果が記録されるように、被写体の種類を示す情報が相対的に詳細でない推論結果を除外する。従って、山５０４及び山５０５については、山５０５に対応する推論結果が除外される。

なお、何らかの条件が満たされる場合に、類似している推論結果の除外を行わない構成を採用してもよい。例えば、システム制御部５０は、２つの素材画像が所定の撮影モードで撮影された場合、推論結果が類似しているか否かに関わらず、推論結果の除外を行わない（従って、例えば山５０４及び５０５の両方が記録される）。所定の撮影モードは、例えば夜景モードである。記録対象から除外する推論結果の決定方法に関する上述の第１の例で説明したように、一般的には、露出が不適切な領域において検出された被写体の推論結果の信頼性又は重要性は低いと考えられる。しかし、夜景モードの場合、露出アンダーの領域において検出された被写体の推論結果がユーザにとって重要な可能性がある。そのため、システム制御部５０は、２つの素材画像が夜景モードで撮影された場合、推論結果が類似しているか否かに関わらず、推論結果の除外を行わない。

Ｓ４０７において、システム制御部５０は、Ｓ４０５で生成されたＨＤＲ合成画像、及び各素材画像の推論結果（Ｓ４０６で除外された推論結果を除く）を、ＨＤＲ合成画像ファイルとして外部記録媒体９１に記録する。また、システム制御部５０は、記録される推論結果に対応する被写体検出情報（図２のＳ２０４及びＳ２０９で得られたもの）をＨＤＲ合成画像ファイルに含める。ＨＤＲ合成画像ファイルの構成としては、図３を参照して説明した素材画像ファイルの構成と同様の構成を用いることができる。

図６のアノテーション情報６０３は、Ｓ４０７において生成されるＨＤＲ合成画像ファイルに含まれるアノテーション情報（即ち、ＨＤＲ合成画像に関連付けて記録される推論結果）の例である。素材画像５０１及び５０２に対応するアノテーション情報６０１及び６０２との対比から理解できるように、アノテーション情報６０３は、記録対象から除外する推論結果の決定方法として上述した第１の例が用いられた場合に対応する。

●撮影処理及び合成処理に関する変形例
上の説明では、合成される２つの素材画像は、異なる露出設定（適露出設定及びアンダー露出設定）での撮影処理により撮影された画像であるものとした。しかしながら、本実施形態の撮影処理における異なる露出設定は、適露出設定及びアンダー露出設定に限定されない。例えば、アンダー露出設定の代わりに、オーバー露出設定を用いてもよい。オーバー露出設定においては、システム制御部５０がＡＥ（自動露出）処理の結果に対して露出を上げるオフセットを持たせて露光制御部４０にフィードバックすることにより、明るい露光の画像が得られる。

また、合成される素材画像の数は２つに限定されない。例えば、３つの素材画像を異なる露出設定（例えば、適露出設定、アンダー露出設定、及びオーバー露出設定）で撮影し、これら３つの素材画像を合成する構成を採用してもよい。

また、上の説明では、素材画像の合成処理はＨＤＲ合成処理（輝度のダイナミックレンジを拡大する合成処理）であるものとしたが、本実施形態の合成処理はＨＤＲ合成処理に限定されず、例えば深度合成処理（被写界深度を拡大する合成処理）であってもよい。この場合、システム制御部５０は、異なる露出設定で２つ（又はそれ以上）の素材画像を撮影する代わりに、異なる合焦距離設定で２つ（又はそれ以上）の素材画像を撮影する。

以上説明したように、第１の実施形態によれば、デジタルカメラ１００は、複数の素材画像（例えば、素材画像５０１及び素材画像５０２）、及び各素材画像において検出された被写体を表す被写体情報（例えば、アノテーション情報６０１及び６０２の各被写体の情報）を取得する。また、デジタルカメラ１００は、複数の素材画像を合成することにより合成画像（例えば、ＨＤＲ合成画像５０３）を生成する。そして、デジタルカメラ１００は、被写体情報を合成画像に関連付けて記録する。この記録に際して、１つの素材画像の被写体情報（第１の被写体情報）及び別の素材画像の被写体情報（第２の被写体情報）の類似性が所定の基準を満たす場合、デジタルカメラ１００は、第１の被写体情報及び第２の被写体情報のいずれか一方を記録する。これにより、合成画像に関連付けられる被写体情報（推論結果）の冗長性が減少し、ユーザにとって被写体情報（推論結果）の使い勝手が向上する。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１１…撮影レンズ、１３…撮像素子、２０…画像処理部、２５…メモリ、５０…システム制御部、５１…不揮発性メモリ、７２…推論モデル記録部、７３…推論エンジン、７４…学習部、１００…デジタルカメラ

Claims (13)

1. 第１の画像、前記第１の画像において検出された第１の被写体を表す第１の被写体情報、第２の画像、及び前記第２の画像において検出された第２の被写体を表す第２の被写体情報を取得する取得手段と、
   前記第１の画像と前記第２の画像とを合成することにより合成画像を生成する合成手段と、
   前記第１の被写体情報及び前記第２の被写体情報の類似性が所定の基準を満たす場合、前記第１の被写体情報及び前記第２の被写体情報のいずれか一方を前記合成画像に関連付けて記録し、前記第１の被写体情報及び前記第２の被写体情報の類似性が前記所定の基準を満たさない場合、前記第１の被写体情報及び前記第２の被写体情報の両方を前記合成画像に関連付けて記録する記録手段と、
   を備えることを特徴とする画像処理装置。
2. 前記第１の被写体情報により特定される前記第１の被写体の領域と前記第２の被写体情報により特定される前記第２の被写体の領域との重複度合いが所定の度合い以上である場合に、前記第１の被写体情報及び前記第２の被写体情報の類似性が前記所定の基準を満たす
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の被写体情報及び前記第２の被写体情報の類似性が前記所定の基準を満たす場合において、
   前記合成画像において前記第１の被写体に由来する成分が前記第２の被写体に由来する成分よりも多い場合、前記記録手段は、前記第１の被写体情報を前記合成画像に関連付けて記録し、
   前記合成画像において前記第２の被写体に由来する成分が前記第１の被写体に由来する成分よりも多い場合、前記記録手段は、前記第２の被写体情報を前記合成画像に関連付けて記録する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１の被写体情報は前記第１の被写体の種類を示す情報を含み、
   前記第２の被写体情報は前記第２の被写体の種類を示す情報を含み、
   前記第１の被写体情報及び前記第２の被写体情報の類似性が前記所定の基準を満たす場合において、
   前記第１の被写体の種類を示す情報が前記第２の被写体の種類を示す情報よりも詳細な場合、前記記録手段は、前記第１の被写体情報を前記合成画像に関連付けて記録し、
   前記第２の被写体の種類を示す情報が前記第１の被写体の種類を示す情報よりも詳細な場合、前記記録手段は、前記第２の被写体情報を前記合成画像に関連付けて記録する
   ことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第１の画像及び前記第２の画像は、異なる露出設定で撮影された画像であり、
   前記合成手段は、輝度のダイナミックレンジを拡大するように前記第１の画像及び前記第２の画像を合成する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第１の画像及び前記第２の画像が所定の撮影モードで撮影された場合、前記記録手段は、前記第１の被写体情報及び前記第２の被写体情報の類似性が前記所定の基準を満たすか否かに関わらず、前記第１の被写体情報及び前記第２の被写体情報の両方を前記合成画像に関連付けて記録する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記所定の撮影モードは、夜景モードである
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記第１の画像及び前記第２の画像は、異なる合焦距離設定で撮影された画像であり、
   前記合成手段は、被写界深度を拡大するように前記第１の画像及び前記第２の画像を合成する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
9. 前記第１の画像において前記第１の被写体を検出し、前記第２の画像において前記第２の被写体を検出する検出手段と、
   前記第１の画像において検出された前記第１の被写体を表す前記第１の被写体情報を生成し、前記第２の画像において検出された前記第２の被写体を表す前記第２の被写体情報を生成する生成手段と、
   を更に備え、
   前記取得手段は、前記生成手段により生成された前記第１の被写体情報及び前記第２の被写体情報を取得する
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記生成手段は、前記第１の画像において検出された前記第１の被写体、及び前記第２の画像において検出された前記第２の被写体に対して推論モデルを用いて推論処理を行うことにより、前記第１の被写体情報及び前記第２の被写体情報を生成する
    ことを特徴とする請求項９に記載の画像処理装置。
11. 請求項１乃至１０のいずれか１項に記載の画像処理装置と、
    前記第１の画像及び前記第２の画像を生成する撮像手段と、
    を備え、
    前記取得手段は、前記撮像手段により生成された前記第１の画像及び前記第２の画像を取得する
    ことを特徴とする撮像装置。
12. 画像処理装置が実行する画像処理方法であって、
    第１の画像、前記第１の画像において検出された第１の被写体を表す第１の被写体情報、第２の画像、及び前記第２の画像において検出された第２の被写体を表す第２の被写体情報を取得する取得工程と、
    前記第１の画像と前記第２の画像とを合成することにより合成画像を生成する合成工程と、
    前記第１の被写体情報及び前記第２の被写体情報の類似性が所定の基準を満たす場合、前記第１の被写体情報及び前記第２の被写体情報のいずれか一方を前記合成画像に関連付けて記録し、前記第１の被写体情報及び前記第２の被写体情報の類似性が前記所定の基準を満たさない場合、前記第１の被写体情報及び前記第２の被写体情報の両方を前記合成画像に関連付けて記録する記録工程と、
    を備えることを特徴とする画像処理方法。
13. コンピュータを、請求項１乃至１０のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images