JP7249212B2

JP7249212B2 - 画像処理装置および画像処理方法、撮像装置およびその制御方法、システム、並びにプログラム

Info

Publication number: JP7249212B2
Application number: JP2019112127A
Authority: JP
Inventors: 康一郡司; 学梅山; 靖伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2019-06-17
Filing date: 2019-06-17
Publication date: 2023-03-30
Anticipated expiration: 2039-06-17
Also published as: US11438516B2; JP2020205528A; US20200396365A1

Description

本発明は、撮影画像の輝度レンジを表示する画像処理技術に関する。

従来の表示装置で表示可能なダイナミックレンジ（ＳｔａｎｄａｒｄＤｙｎａｍｉｃＲａｎｇｅ、ＳＤＲ）よりも広いダイナミックレンジ（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ、ＨＤＲ）で画像を表示可能な表示装置がある。このような表示装置で画像を表示するためにＨＤＲに対応した画像信号を出力可能なデジタルビデオカメラ等の撮像装置がある。また、従来の撮像装置の中には、撮影画像の輝度値の頻度分布を示す波形モニタ（ＷＦＭ：ウェーブフォームモニタ）を表示するＷＦＭ機能を持つものがあり、ユーザはＷＦＭ画像を見ながら露出調整を行うことができる。

ＨＤＲ関連の規格化も進められており、例えばＨＤＲ１０＋などでは、フレームやシーンごとに最大輝度値を示すＭａｘＣＬＬ（ＭａｘｉｍｕｍＣｏｎｔｅｎｔＬｉｇｈｔＬｅｖｅｌ）や、フレームごとの最大輝度値の平均値を示すＭａｘＦＡＬＬ（ＭａｘｉｍｕｍＦｒａｍｅＡｖｅｒａｇｅＬｉｇｈｔＬｅｖｅｌ）などの付加情報が定義されている。ＭａｘＣＬＬやＭａｘＦＡＬＬは、記録画像の付加情報として挿入したり、ＨＤＭＩ規格などでは機器間での伝送が可能であり、撮像装置から表示装置に出力することで、ユーザは表示装置での輝度調整が容易となる。

撮像装置は撮影画像を表示するための小型の表示部を有しているが、ＨＤＲはＳＤＲよりも広い輝度範囲を表現可能であるため、ＨＤＲの輝度範囲を小型の表示部で確認することは困難である。そこで、ＷＦＭ画像で撮影画像の輝度範囲を容易に確認できる技術の必要性が高まっている。

また、特許文献１には、トーンマッピングカーブのニーポイントをＷＦＭ画像に表示して、ユーザがニーポイントのレベルを直感的に把握することができる技術が記載されている。

特許第５５３８９７３号公報

しかしながら、特許文献１では、ＷＦＭ画像とニーポイントとの関係を確認することはできるが、最大輝度値や最小輝度値や平均輝度値との関係を確認することはできない。

本発明は、上記課題に鑑みてなされ、その目的は、撮影中の画像の画素値から得られる頻度分布と最大値や最小値や平均値との関係をユーザが容易に確認できる技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の画像処理装置は、画像を入力する入力手段と、入力画像の画素ごとの画素値を検出し、入力画像の所定の区間ごとの画素値の最大値と最小値と平均値のうち少なくともいずれかを求める検出手段と、画素位置と画素値とを対応させた、前記入力画像の画素値の頻度を示す第１の画像を生成する第１の画像生成手段と、前記第１の画像に前記最大値と前記最小値と前記平均値のうち少なくともいずれかを含む付加情報を重畳した第２の画像を生成する第２の画像生成手段と、前記入力画像に前記第２の画像を重畳して表示する表示手段と、を有する。

本発明によれば、撮影中の画像の画素値から得られる頻度分布と最大値や最小値や平均値との関係をユーザが容易に確認できるようになる。

実施形態１の装置構成を示すブロック図。実施形態２の装置構成を示すブロック図。実施形態３の装置構成を示すブロック図。実施形態３のシステム構成を示すブロック図。実施形態１の撮影処理を示すフローチャート。実施形態２の撮影処理を示すフローチャート。実施形態３の撮影処理を示すフローチャート。実施形態４のスレーブ側の撮影処理を示すフローチャート。実施形態４のマスタ側の撮影処理を示すフローチャート。実施形態１～４のＷＦＭ画像と付加情報を例示する図。実施形態１～４の撮影画像とＷＦＭ画像が重畳された表示例を示す図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下では、本実施形態の画像処理装置として、ＨＤＲ１０＋に準拠し、ＨＤＲ画像からＷＦＭ画像を生成可能なＷＦＭ機能を有するデジタルビデオカメラなどの撮像装置に適用した例を説明する。ＷＦＭ機能は、撮影画像の画素位置を横軸、画素ごとの信号レベルを縦軸として、画像の輝度成分や色差成分などの画素値の分布を表現することが可能である。

［実施形態１］
実施形態１は、撮像装置１００のユーザがＷＦＭ画像上で撮影中の画像の輝度値（最大輝度値ＭａｘＣＬＬ、平均輝度値ＭａｘＦＡＬＬ、最小輝度値Ｍｉｎ、最大輝度値の平均値ＭａｘＣＬＬ）や目標輝度値（ＴａｒｇｅｔＭａｘＣＬＬ、ＴａｒｇｅｔＭａｘＦＡＬＬ、ＴａｒｇｅｔＭｉｎ）を確認しながら撮影を行う構成について説明する。

＜装置構成＞まず、図１Ａを参照して、実施形態１の撮像装置１００の構成および機能について説明する。

光学系１０１は、フォーカスレンズやズームレンズ、絞り、シャッターなどを備え、被写体像の入射光量や合焦状態の調節を行い、撮像センサ１０２に結像させる。

撮像センサ１０２は、ＣＣＤやＣＭＯＳなどの光電変換素子を備え、光学系１０１で結像された被写体像を光電変換してアナログ画像信号を生成し、さらにアナログ画像信号をデジタル信号に変換して出力する。撮像素子の各画素には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のいずれかのカラーフィルタが、所定の配列、例えば４画素ごとに赤１画素、青１画素、緑２画素を１組として規則的に配列したモザイク状の構造を有する。このような画素配置は、ベイヤー配列と呼ばれる。撮像センサ１０２から出力されるデジタル画像信号は、ベイヤー画像信号として現像処理部１０３に出力される。

現像処理部１０３は、撮像センサ１０２からベイヤー画像信号を入力し、１画素ごとにＲＧＢ画像信号に変換する。次に、現像処理部１０３は、ＲＧＢのオフセット調整、ゲイン調整によってホワイトバランス（ＷＢ）を調整し、ガンマ補正処理したＲＧＢ画像信号を生成する。さらに、現像処理部１０３は、ガンマ補正後のＲＧＢ画像信号を輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）に変換し、記録画像生成部１０４に出力する。ガンマ補正は、撮像センサ１０２や光学系１０１などの特性を考慮して、ユーザが所望する記録画像を生成するための特性を用いた処理である。ガンマ補正値を変えることによって、映画フィルムの質感や階調を再現した記録画像の生成や、ＴＶモニタで表示するための記録画像の生成が可能である。ガンマ補正値を変更することによって、ＲＧＢ画像信号に対する輝度信号（Ｙ）と色差信号（Ｃｂ、Ｃｒ）の割り当て範囲が変更される。ＨＤＲ撮影時は、ＨＤＲ領域とＳＤＲ領域を意識して画像の特性を変更することができる。

記録画像生成部１０４は、現像処理部１０３で現像処理された輝度信号／色差信号から、記録サイズに合わせて解像度変換を行ったり、記録色域に合わせて色域変換を行うなど記録形式に合わせた画像変換処理を行う。

輝度検出部１０５は、輝度信号／色差信号から画素ごとの輝度値を抽出し、撮影画像（入力画像）の画素ごとに比較／平均化する演算を行い、所定の区間における画像の輝度値のＭａｘＣＬＬ（最大値）、ＭａｘＦＡＬＬ（最大値の平均値）、Ｍｉｎ（最小値）を算出する。なお、所定の区間は、フレームごとまたは複数のフレームを含むシーンごとなど、ユーザが任意に設定可能である。

付加情報生成部１０６は、輝度検出部１０５で算出されたＭａｘＣＬＬ、ＭａｘＦＡＬＬ、Ｍｉｎから、記録画像用のメタデータやＷＦＭ画像に重畳する付加画像を生成する。ＨＥＶＣでは、ＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｎ）やＶＵＩ（ＶｉｄｅｏＵｓａｂｉｌｉｔｙＩｎｆｏｒｍａｔｉｏｎ）などに生成したメタデータを挿入することが可能である。

圧縮伸張部１０７は、Ｈ．２６４やＨＥＶＣなどの画像信号の圧縮符号化を行い記憶部１０８に格納する処理、記憶部１０８から符号化された画像ファイルを読み出し画像信号を復号する処理を行う。記憶部１０８は、メモリカードやハードディスクなどである。

表示画像生成部１０９は、表示部１１２の解像度やフレームレートなどの設定に合わせて解像度変換や色域変換、ガンマ処理などを施した表示用の画像信号を生成する。

ＷＦＭ処理部１１０は、表示画像生成部１０９から入力された表示用の画像信号を解析し、画像信号の画素位置と画素値とを対応付けたＷＦＭ画像を生成する。ＷＦＭ処理部１１０は、例えば、図３（ａ）に示すようなＷＦＭ画像を生成する。そして、ＷＦＭ処理部１１０は、ＷＦＭ画像を撮影画像に重畳する処理を行う。本実施形態では、ＷＦＭ処理部１１０は、撮影画像から輝度成分を抽出し、抽出した輝度成分をｃｄ／ｍ²またはｌｍ／ｍ²、ｎｉｔなどの輝度値の単位に変換し、輝度情報を積算して輝度値の頻度分布を示すＷＦＭ画像を生成する。ＷＦＭ画像は、横軸を画像の水平方向の画素位置、縦軸を画素位置ごとの輝度値として構成される。ＷＦＭ画像と撮影画像は図４（ａ）～（ｄ）に示すように重ね合わされ、または、図４（ｅ）に示すように近接配置されて表示用画像として表示制御部１１１に出力される。

表示制御部１１１は、ＷＦＭ処理部１１０から入力された表示用画像を表示部１１２に出力するための同期信号を生成して表示部１１２に出力する。同期信号は、画像水平方向同期信号、画像垂直方向同期信号、有効画像位置同期信号などを含む。また、表示制御部１１１は、表示部１１２がタッチパネルを備える場合、ユーザがタッチパネルを操作して設定した設定値を付加情報生成部１０６にフィードバックする。本実施形態では、ＭａｘＦＡＬＬ、ＡｖｅｒａｇｅＭａｘＣＬＬ、Ｍｉｎなどの目標値ＴａｒｇｅｔをＷＦＭ画像上でユーザが設定可能であり、付加情報生成部１０６は設定された目標輝度値をＷＦＭ画像に追加表示するための目標輝度値を横軸に平行な線で示す付加画像を生成する。

表示部１１２は、表示制御部１１１から出力される画像データの表示を行う。表示部１１２は、例えば、液晶パネルや有機ＥＬパネルである。

操作部１１７は、ユーザ操作を受け付ける操作部材、例えばキーボード、マウス、タッチパネルなどを含む。タッチパネルを搭載する場合は表示部１１２と一体的に形成し、表示面へのタッチで操作を入力することが可能である。

なお、上述した各機能ブロックのうち、現像処理部１０３、記録画像生成部１０４、輝度値検出部１０５、付加情報生成部１０６、圧縮伸張部１０７、表示画像生成部１０９、ＷＦＭ処理部１１０、表示制御部１１１は、各機能ブロックの処理を施すための専用の回路モジュールやマイクロプロセッサで構成してもよい。また、撮像装置１００の全体を制御する不図示のＣＰＵがメモリに格納されたプログラムを実行することによって各機能ブロックの処理を実行してもよい。

＜撮影処理＞次に、図２Ａを参照して、本実施形態の撮像装置１００の撮影処理について説明する。

なお、図２Ａの処理は、撮像装置１００の全体を制御する不図示のＣＰＵがメモリに格納されたプログラムを実行し、撮像装置１００の各機能ブロックを制御することで実現される。

Ｓ１００では、撮像センサ１０２が撮像動作を開始する。

Ｓ１０１では、現像処理部１０３が、Ｓ１００で撮像された画像信号に対して現像処理を行う。

Ｓ１０２では、表示画像生成部１０９が、Ｓ１０１で現像処理された画像信号から表示用画像信号を生成する。表示画像生成部１０９は、表示用解像度への変換や、輝度値や色差値のデータ量（ビット幅）の調整を行う。撮影を補助するための文字や図形も本ステップで生成される。

Ｓ１０３では、表示制御部１１１は、ユーザ操作によるＷＦＭ画像の表示設定の有無を判定し、ＷＦＭ画像を表示するに設定されている場合は、Ｓ１０４～Ｓ１０５の処理を経てＳ１０６に進み、設定されていない場合は、Ｓ１０４～Ｓ１０５の処理を経ずにＳ１０６に進む。

Ｓ１０４では、輝度検出部１０５が、Ｓ１０１で現像処理された画像信号から輝度値を抽出し、ＭａｘＣＬＬ、ＭａｘＦＡＬＬ、ＡｖｅｒａｇｅＭａｘＣＬＬ、Ｍｉｎを算出する。

Ｓ１０５では、ＷＦＭ処理部１１０が、図３（ａ）～（ｄ）に示すようなＷＦＭ画像を生成する。図３（ａ）は、付加画像が重畳されていない基本のＷＦＭ画像を例示している。図３（ｂ）は、ＭａｘＣＬＬおよびＭａｘＦＡＬＬの付加画像が重畳されたＷＦＭ画像を例示している。図３（ｃ）は、図３（ｂ）のＷＦＭ画像に、Ｍｉｎの付加画像が重畳された表示例を示している。図３（ｄ）は、図３（ｃ）のＭａｘＣＬＬをＡｖｅｒａｇｅＭａｘＣＬＬに置き換えたＷＦＭ画像を例示している。

Ｓ１０３でＷＦＭ画像を表示するに設定されている場合、Ｓ１０６では、表示制御部１１１が、図４（ａ）～（ｅ）に示すように撮影画像６０１にＷＦＭ画像６０２を重ね合わせまたは近傍配置した画像の表示を開始する。

図４（ａ）は、撮影画像６０１の右下にＷＦＭ画像６０２を配置した表示例を示している。図４（ｂ）は、撮影示画像６０１の左下にＷＦＭ画像６０２を配置した表示例を示している。図４（ｃ）は、撮影画像６０１の中央から右寄りにＷＦＭ画像６０２を配置した表示例を示している。図４（ｄ）は、撮影画像６０１の下端にＷＦＭ画像６０２を配置した表示例を示している。図４（ｅ）は、撮影画像６０１とＷＦＭ画像６０２を重畳させずに分離して配置した表示例を示している。

Ｓ１０３でＷＦＭ画像を表示するに設定されていない場合、Ｓ１０６では、表示画像生成部１０９がＷＦＭ画像および付加画像を重畳していない表示用画像を生成し、表示制御部１１１が画像の表示を開始する。

Ｓ１０７では、表示制御部１１１は、ユーザ操作による撮影時の目標輝度値の設定の有無を判定し、目標輝度値が設定されている場合は、Ｓ１０８に進み、設定されていない場合は、Ｓ１０９に進む。

Ｓ１０８では、ユーザは図３（ｅ）に示すようなＷＦＭ画像を見ながら操作部１１７により目標輝度値（ＴａｒｇｅｔＭａｘＦＡＬＬ、ＴａｒｇｅｔＡｖｅｒａｇｅＭａｘＣＬＬ、ＴａｒｇｅｔＭｉｎなど）を設定する。付加情報生成部１０６は、ユーザが指定した目標輝度値を記録用画像の付加情報に変換する。

Ｓ１１０では、記録画像生成部１０４が、現像処理部１０３で現像処理された画像信号から記録用画像信号を生成する。また、圧縮伸張部１０７が、記録用画像信号を所定の形式に圧縮符号化して画像ファイルを生成し、画像ファイルにＳ１０８で生成された付加情報をメタデータとして付加して記憶部１０８に格納する。図３（ｅ）は目標輝度値（ＴａｒｇｅｔＭａｘＦＡＬＬ、ＴａｒｇｅｔＡｖｅｒａｇｅＭａｘＣＬＬ、ＴａｒｇｅｔＭｉｎなど）をユーザが指定した場合のＷＦＭ画像を例示している。ユーザは目標輝度値を示す付加画像を操作部１１７により上下に移動させて設定可能である。設定する目標輝度値は、ＴａｒｇｅｔＭａｘＦＡＬＬ、ＴａｒｇｅｔＡｖｅｒａｇｅＭａｘＣＬＬ、ＴａｒｇｅｔＭｉｎの少なくともいずれかでもよい。また、複数の目標輝度値を設定する場合は、各値を色や形状を変えた線で表現してもよい。また、表示される画像がやや煩雑になるが、図３（ｆ）に示すように、設定された目標輝度値と実際の輝度値とを同時に表示してもよい。図３（ｆ）は、図３（ｄ）の輝度値と図３（ｅ）の目標輝度値を表示したＷＦＭ画像を例示している。

Ｓ１０９では、付加情報生成部１０６は、Ｓ１０４で算出したＭａｘＣＬＬ、ＭａｘＦＡＬＬ、Ｍｉｎなどを記録用画像の付加情報に変換する。

Ｓ１１０では、記録画像生成部１０４が、現像処理部１０３で現像処理された画像信号から記録用画像信号を生成する。また、圧縮伸張部１０７が、記録用画像信号を所定の形式に圧縮符号化して画像ファイルを生成し、画像ファイルにＳ１０４で算出したＭａｘＣＬＬ、ＭａｘＦＡＬＬ、Ｍｉｎなどを付加情報として付加して記憶部１０８に格納する。この場合、付加情報は、図３（ａ）～（ｃ）に示すようなＷＦＭ画像となる。

上述した処理によって、撮影中の画像の輝度値の頻度分布（ＷＦＭ）と最大値や最小値や平均値（ＭａｘＣＬＬ、ＭａｘＦＡＬＬ、Ｍｉｎ）との関係をユーザが容易に確認することが可能となる。

［実施形態２］次に、実施形態２について説明する。

実施形態２は、撮像装置１００と表示装置２００をＨＤＭＩ（登録商標）などのインターフェースケーブルで接続し、ユーザが表示装置２００によりＭａｘＣＬＬ、ＭａｘＦＡＬＬ、ＡｖｅｒａｇｅＭａｘＣＬＬ、Ｍｉｎ、目標輝度値をＷＦＭ画像で確認しながら撮影を行う構成について説明する。

＜装置構成＞まず、図１Ｂを参照して、実施形態２の撮像装置１００と表示装置２００の構成および機能について、図１Ａと相違する部分を中心に説明する。

出力画像生成部１１３は、撮像装置１００から表示装置２００に出力する画像信号生成する。出力画像生成部１１３は、表示装置２００が受信可能な解像度やフレームレートに合わせて、画像信号の解像度や色域などの変換処理を行う。表示装置２００に出力される画像信号は、例えばＨＤＭＩに準拠した画像信号である。

画像出力部１１４は、出力画像生成部１１３で生成された画像信号を表示装置２００などの外部装置に送信する。画像出力部１１４は、例えば、出力画像生成部１１３で生成された画像信号をＨＤＭＩに準拠したＴＭＤＳ信号などに変換して出力する。

表示装置２００は画像入力部２０１、表示処理部２０２、表示部２０３を備える。

画像入力部２０１は、画像出力部１１４から出力されたＴＭＤＳ信号を受信し、表示処理部２０２に出力する。

表示処理部２０２は、表示部２０３の表示特性に合わせて、画像信号のゲイン、ガンマなどを調整し、表示用画像信号を生成し、表示部２０３に出力する。

表示部２０３は、例えば、ＴＶモニタなどの液晶ディスプレイモジュールや有機ＥＬディスプレイモジュールである。

＜撮影処理＞次に、図２Ｂを参照して、実施形態２の撮像装置１００の撮影処理について説明する。

Ｓ２００～Ｓ２０６は、図２ＡのＳ１００～Ｓ１０６と同様である。

Ｓ２０７では、表示制御部１１１は、ユーザ操作による撮影時の目標輝度値の設定の有無を判定し、目標輝度値が設定されている場合は、Ｓ２０８に進み、設定されていない場合は、Ｓ２０９に進む。

Ｓ２０８では、ユーザは図３（ｅ）に示すようなＷＦＭ画像を見ながら操作部１１７により目標輝度値を設定する。付加情報生成部１０６は、ユーザが指定した目標輝度値を出力画像用の付加情報に変換する。

Ｓ２１０では、出力画像生成部１１３が、現像処理部１０３で現像処理された画像信号から出力用画像信号を生成する。また、画像出力部１１４が、出力用画像信号（ＴＭＤＳ信号）にＳ２０８で生成された付加情報を挿入して出力する。この場合、Ｓ２０５で生成されたＷＦＭ画像を、出力用画像信号に重畳して出力してもよい。

Ｓ２０９では、出力画像生成部１１３が、現像処理部１０３で現像処理された画像信号から出力用画像信号を生成する。また、画像出力部１１４が、出力用画像信号にＳ２０４で算出したＭａｘＣＬＬ、ＭａｘＦＡＬＬ、Ｍｉｎなどを付加情報として挿入して出力する。この場合、付加情報は、図３（ａ）～（ｃ）に示すようなＷＦＭ画像となる。

［実施形態３］次に、実施形態３について説明する。

実施形態３では、ＷＦＭ画像上でユーザが設定した目標輝度値に基づいて撮像装置１００が露出を自動調整する構成について説明する。

＜装置構成＞まず、図１Ｃを参照して、実施形態３の撮像装置１００の構成および機能について、図１Ａ、図１Ｂと相違する部分を中心に説明する。

露出制御部１１５は、撮像装置１００の絞り、シャッタースピード、ＩＳＯ感度などを制御する。

カメラ操作部１１６は、表示部１１２に表示された絞り、シャッタースピード、ＩＳＯ感度、ＷＦＭ画像などからユーザが撮影画像の輝度値を調整するための操作を受け付ける。

＜撮影処理＞次に、図２Ｃを参照して、実施形態３の撮像装置１００の撮影処理について説明する。

Ｓ３００～Ｓ３１０は、図２ＡのＳ１００～Ｓ１０９と同様である。

Ｓ３１１では、露出制御部１１５は、撮像装置１００の自動露出調整機能の設定がオンかオフかを判定し、設定がオンの場合はＳ３１２に進み、設定がオフの場合はＳ３１３に進む。

Ｓ３１２では、露出制御部１１５は、撮影画像の輝度値がＳ３０７で設定された目標輝度値の範囲内に収まるように、絞り、シャッタースピード、ＩＳＯ感度などを調整する。Ｓ３１１で、撮像装置１００の自動露出調整機能の設定がオフの場合は、ユーザが手動で露出調整を行う。

Ｓ３１３では、表示制御部１１１は、自動または手動で露出調整されて撮影された画像にＳ３０５で生成されたＷＦＭ画像を重畳して表示部１１２に表示する。

上述した処理によって、ユーザは撮影中の画像の輝度値の頻度分布（ＷＦＭ）と最大値や最小値や平均値との関係を確認しながら目標輝度値の範囲内での撮影が可能となる。
［実施形態４］次に、実施形態４について説明する。

実施形態４では、複数の撮像装置４００、５００～５０４を含むシステムにおいて、ユーザが各撮像装置４００、５００～５０４におけるＭａｘＣＬＬ、ＭａｘＦＡＬＬ、ＭｉｎなどをＷＦＭ画像で確認しながら撮影する構成について説明する。

実施形態４は、マスタとして動作する１台の撮像装置（以下、マスタ撮像装置４００）と、スレーブとして動作する５台の撮像装置（以下、スレーブ撮像装置５００～５０４）で同一被写体を撮影し、マスタ撮像装置４００の表示部１１２にＷＦＭ画像を表示する。

＜装置構成＞まず、図１Ｄを参照して、実施形態４のシステムの構成および機能について、図１Ａと相違する部分を中心に説明する。

マスタ撮像装置４００は、実施形態１の撮像装置１００の構成に加えて、マスタゲンロック信号入出力部１１８、付加情報抽出部１１９を有し、ＷＦＭ処理部１２０の機能が異なる。

マスタゲンロック信号入出力部１１８は、マスタ撮像装置４００の表示部１１２の駆動に用いるゲンロック（ＧＥＮｅｒａｔｏｒＬＯＣＫ）信号を、スレーブ撮像装置５００～５０４のスレーブゲンロック信号入出力部１２１に出力する。また、スレーブ撮像装置５００～５０４のスレーブゲンロック信号入出力部１２１からゲンロック応答信号が入力される。

ここで、ゲンロック信号とは、複数の撮像装置の間で同期を取るために用いる信号である。本実施形態では、撮像センサ１０２が使用する撮像同期信号をゲンロック信号として用いているが、これに限らず、撮像装置の各機能ブロックで使用する同期信号をゲンロック信号として用いてもよい。また、ゲンロック信号は、マスタゲンロック信号入出力部１１８と、後述のスレーブゲンロック信号入出力部１２１をインターフェースケーブルで接続した後、マスタ撮像装置４００が備える不図示のゲンロック信号出力ボタンの押下により出力されるものとする。

ゲンロック応答信号は、スレーブ撮像装置５００～５０４がゲンロック信号により同期されたか否かを表すゲンロック状態と実施形態１～３で説明した付加情報を含む信号である。

付加情報抽出部１１９は、後述するスレーブ撮像装置５００～５０４のスレーブゲンロック信号入出力部１２１から出力されるゲンロック応答信号に挿入された、スレーブ撮像装置５００～５０４におけるＭａｘＣＬＬ、ＭａｘＦＡＬＬ、ｍｉｎなどの付加情報を抽出する。

ＷＦＭ処理部１２０は、マスタ撮像装置４００の付加情報によるＷＦＭ画像に加えて、付加情報抽出部１１９が抽出したスレーブ撮像装置５００～５０４の付加情報によるＷＦＭ画像を生成する。

スレーブ撮像装置５００～５０４は、実施形態１の撮像装置１００の構成に加えて、スレーブゲンロック信号入出力部１２１、スレーブ撮像同期信号生成部１２２を有する。

スレーブゲンロック信号入出力部１２１は、スレーブ撮像装置５００～５０４におけるＭａｘＣＬＬ、ＭａｘＦＡＬＬ、Ｍｉｎをゲンロック応答信号に挿入し、マスタ撮像装置４００のマスタゲンロック信号入出力部１１８に出力する。

スレーブ撮像同期信号生成部１２２は、スレーブ撮像装置５００～５０４の撮像センサ１０２に供給する撮像同期信号を生成する。

＜撮影処理＞次に、図２Ｄおよび図２Ｅを参照して、実施形態４のシステムの動作について説明する。

図２Ｄはスレーブ撮像装置５００～５０４の撮影処理、図２Ｅはマスタ撮像装置４００の撮影処理をそれぞれ示している。

まず、処理の開始前に、マスタ撮像装置４００のマスタゲンロック信号入出力部１１８とスレーブ撮像装置５００～５０４のスレーブゲンロック信号入出力部１２１を、ゲンロック信号およびゲンロック応答信号を送受信可能に接続する。そして、ユーザは、マスタ撮像装置４００のゲンロック信号出力ボタンを押下し、スレーブ撮像装置５００～５０４からゲンロック応答信号を取得し、スレーブ撮像装置５００～５０４においてゲンロック状態を検知した後に処理を開始する。

スレーブ撮像装置５００～５０４の処理について図２Ｄを用いて説明する。

Ｓ４００～Ｓ４０９、Ｓ４１１は、図２ＡのＳ１００～Ｓ１１０と同様である。

Ｓ４１０では、付加情報生成部１０６は、マスタ撮像装置４００に出力するゲンロック応答信号にＳ４０８またはＳ４０９で生成された付加情報を挿入する。また、スレーブゲンロック信号入出力部１２１は、Ｓ４１０で生成されたゲンロック応答信号を、マスタ撮像装置４００のマスタゲンロック信号入出力部１１８に出力する。

次に、マスタ撮像装置４００の処理について図２Ｅを用いて説明する。

Ｓ５００～Ｓ５０３、Ｓ５０６～Ｓ５０９、Ｓ５１２は、図２ＡのＳ１００～Ｓ１０７、Ｓ１１０と同様である。

Ｓ５０３でＷＦＭ画像を表示するに設定されている場合は、Ｓ５０４に進み、設定されていない場合は、Ｓ５０８に進む。

Ｓ５０４では、表示制御部１１１は、ユーザ操作によるスレーブ撮像装置５００～５０４の付加情報の表示設定の有無を判定し、スレーブ撮像装置の付加情報を表示するに設定されている場合は、Ｓ５０５に進み、設定されていない場合は、Ｓ５０６に進む。

Ｓ５０５では、付加情報抽出部１１９は、マスタゲンロック信号入出力部１１８がスレーブ撮像装置５００～５０４から受信したゲンロック応答信号から、スレーブ撮像装置５００～５０４の付加情報を抽出する。

Ｓ５０６では、輝度検出部１０５が、Ｓ５０１で現像処理された画像信号から輝度値を抽出し、ＭａｘＣＬＬ、ＭａｘＦＡＬＬ、Ｍｉｎ、ＡｖｅｒａｇｅＭａｘＣＬＬ、ＡｖｅｒａｇｅＭｉｎなどを算出する。

Ｓ５０７では、ＷＦＭ処理部１２０は、Ｓ５０５で抽出したスレーブ撮像装置５００～５０４の付加情報と、Ｓ５０６で算出したＭａｘＣＬＬ、ＭａｘＦＡＬＬ、Ｍｉｎ、ＡｖｅｒａｇｅＭａｘＣＬＬ、ＡｖｅｒａｇｅＭｉｎなどから、図３（ｇ）～（ｊ）に示すようなＷＦＭ画像を生成する。

Ｓ５０４でスレーブ撮像装置５００～５０４の付加情報を表示するに設定されている場合、Ｓ５０８では、表示制御部１１１が、図４（ａ）～（ｅ）に示すように撮影画像６０１にＷＦＭ画像６０２を重畳した画像の表示を開始する。ここで、Ｓ５０７で生成されるＷＦＭ画像は、Ｓ５０４の設定に応じて変更される。図３（ｇ）～（ｊ）は、Ｓ５０４の設定に応じて変更されるＷＦＭ画像に重畳する付加情報を例示している。

図３（ｇ）は、全ての撮像装置の中で最も大きいＭａｘＣＬＬと最も小さいＭｉｎをマスタ撮像装置４００のＷＦＭ画像に重畳した表示例を示している。このように表示することによって、ユーザは全ての撮像装置の最大の輝度レンジをマスタ撮像装置４００で確認することができる。本実施形態では、スレーブ撮像装置５０４で撮像中の画像が最も大きいＭａｘＣＬＬであり、スレーブ撮像装置５０２で撮像中の画像が、最も小さい最小輝度値である場合を例示している。

図３（ｈ）は、全ての撮像装置のＭａｘＣＬＬおよびＡｖｅｒａｇｅＭｉｎをマスタ撮像値４００のＷＦＭ画像に重畳した表示例を示している。このように表示することによって、ユーザは全ての撮像装置の平均の輝度レンジをマスタ撮像装置４００で確認することができる。

図３（ｉ）は、全ての撮像装置のＭａｘＣＬＬをマスタ撮像装置４００のＷＦＭ画像に重畳した表示例を示している。このように表示することによって、ユーザは撮像装置ごとのＭａｘＣＬＬをマスタ撮像装置４００で確認することができる。

図３（ｊ）は、全ての撮像装置の中で最も小さいＭａｘＣＬＬと最も大きいＭｉｎをマスタ撮像装置４００のＷＦＭ画像に重畳した表示例を示している。このように表示することによって、ユーザは全ての撮像装置の共通の輝度レンジをマスタ撮像装置４００で確認することができる。本実施形態では、スレーブ撮像装置５０３で撮像中の画像が最も小さいＭａｘＣＬＬであり、スレーブ撮像装置５０４で撮像中の画像が、最も大きいＭｉｎである場合を例示している。

Ｓ５０９で目標輝度が設定され、かつ、Ｓ５０４でスレーブ撮像装置の付加情報を表示するに設定されていない場合は、Ｓ５１０で、図３（ｅ）に示すような目標輝度値を示すスケールが重畳されたＷＦＭ画像がマスタ撮像装置４００の表示部１１２に表示される。ユーザは目標輝度値を示すスケールを操作部により上下に移動させて設定可能である。また、付加情報生成部１０６は、ユーザが指定した目標輝度値を記録用画像の付加情報に変換する。

Ｓ５１２では、記録画像生成部１０４が、現像処理部１０３で現像処理された画像信号から記録用画像信号を生成する。また、圧縮伸張部１０７が、記録用画像信号を所定の形式に圧縮符号化して画像ファイルを生成し、画像ファイルにＳ５１０で生成された付加情報をメタデータとして付加して記憶部１０８に格納する。

Ｓ５０９で目標輝度が設定され、かつ、Ｓ５０４でスレーブ撮像装置の付加情報を表示するに設定されている場合は、Ｓ５１０で、図３（ｇ）～（ｊ）に示すように、図３（ｅ）でユーザが指定した目標輝度値が追加して表示される。

また、Ｓ５０９で目標輝度が設定されていない場合は、Ｓ５１１で、記録画像生成部１０４が、現像処理部１０３で現像処理された画像信号から記録用画像信号を生成する。また、圧縮伸張部１０７が、記録用画像信号を所定の形式に圧縮符号化して画像ファイルを生成し、画像ファイルにＳ５０５で抽出した付加情報および／またはＳ５０６で算出したＭａｘＣＬＬ、ＭａｘＦＡＬＬ、Ｍｉｎ、ＡｖｅｒａｇｅＭａｘＣＬＬ、ＡｖｅｒａｇｅＭｉｎなどを付加情報として付加して記憶部１０８に格納する。

上述した処理によって、撮影中の画像の輝度値の頻度分布（ＷＦＭ）と最大値や最小値や平均値（ＭａｘＣＬＬ、ＭａｘＦＡＬＬ、Ｍｉｎ）との関係、他の撮像装置で撮影中の画像の最大値や最小値や平均値（ＭａｘＣＬＬ、ＭａｘＦＡＬＬ、Ｍｉｎ）との関係をユーザが容易に確認することが可能となる。

なお、実施形態４では、実施形態１の撮像装置１００に新たな機能ブロックを追加してシステムを構成したが、これに限らず、例えば、実施形態２、３の撮像装置１００に新たな機能ブロックを追加してシステムを構成してもよい。

また、実施形態４では、マスタ撮像装置４００とスレーブ撮像装置５００～５０４の機能を分けて説明したが、これに限らず、例えば、マスタ撮像装置４００とスレーブ撮像装置５００～５０４の機能を統合した撮像装置でシステムを構成してもよい。この場合、ユーザが複数の撮像装置の中からマスタ撮像装置とスレーブ撮像装置を割り当て、機能させるブロックを変更することもできる。

さらに、実施形態４では、マスタ撮像装置４００で設定した目標輝度値を、スレーブ撮像装置５００～５０４に出力し、スレーブ撮像装置５００～５０４のＷＦＭ画像に重畳して表示することもできる。この場合、マスタ撮像装置４００が出力するゲンロック信号に目標輝度値を付加情報として挿入し、スレーブ撮像装置５００～５０４でゲンロック信号から付加情報を抽出してＷＦＭ画像に重畳して表示することができる。

なお、上述した各実施形態ではユーザが輝度値の範囲をＷＦＭ画像上で確認する構成であったが、画素ごとの画素成分値（Ｒ、Ｇ、Ｂ）の範囲をＷＦＭ画像上で確認する構成としてもよい。この場合、輝度検出部１０５は、入力されるＲＧＢ画像信号の各画素成分値の最大値をＭａｘＣＬＬ、各画素成分値の平均値をＭａｘＦＡＬＬとし、各画素成分値の最小値をＭｉｎとして算出する。

また、上述した各実施形態では、本発明をデジタルビデオカメラなどの撮像装置に適用した場合を例示したが、これに限定されない。本発明は、ＷＦＭ機能を有し、撮影中の画像の輝度レベルを算出し、目標レベルの設定が可能な任意の装置に適用可能である。すなわち、本発明は、携帯電話の一種であるスマートフォン、タブレットデバイス、腕時計型のスマートウォッチ、メガネ型のスマートグラス等のウェアラブルコンピュータなど、ＷＦＭ機能を有する装置に適用可能である。

［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００、４００、５００～５０４…撮像装置、１０４…記録画像生成部、１０５…輝度検出部、１０６…付加情報生成部、１０９…表示画像生成部、１１０…ＷＦＭ処理部、１１１…表示制御部、１１２…表示部、２００…表示装置

Claims

画像を入力する入力手段と、
入力画像の画素ごとの画素値を検出し、入力画像の所定の区間ごとの画素値の最大値と最小値と平均値のうち少なくともいずれかを求める検出手段と、
画素位置と画素値とを対応させた、前記入力画像の画素値の頻度を示す第１の画像を生成する第１の画像生成手段と、
前記第１の画像に前記最大値と前記最小値と前記平均値のうち少なくともいずれかを含む付加情報を重畳した第２の画像を生成する第２の画像生成手段と、
前記入力画像に前記第２の画像を重畳して表示する表示手段と、を有することを特徴とする画像処理装置。
前記入力画像に前記第１の画像と前記第２の画像の少なくともいずれかを重畳した第３の画像を生成する第３の画像生成手段をさらに有し、
前記表示手段は、前記第３の画像を表示することを特徴とする請求項１に記載の画像処理装置。
前記表示手段に表示された前記第１の画像において前記付加情報の目標値を設定可能な設定手段と、
前記設定手段により目標値が設定されている場合は、前記目標値を追加した前記第２の画像を前記入力画像に付加して記録し、
前記設定手段により目標値が設定されていない場合は、前記第１の画像と前記第２の画像の少なくともいずれかを前記入力画像に付加して記録する記録手段と、をさらに有することを特徴とする請求項１または２に記載の画像処理装置。
前記目標値を追加した前記第２の画像を前記入力画像に付加して出力する出力手段をさらに有することを特徴とする請求項３に記載の画像処理装置。
前記入力手段は、前記目標値に基づいて画像を生成することを特徴とする請求項３または４に記載の画像処理装置。
前記入力手段は、前記目標値の範囲内で撮影中の露出を調整して画像を撮像する撮像手段を含むことを特徴とする請求項５に記載の画像処理装置。
前記画素値は、輝度値または画素成分値であることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
第１の撮像装置と第２の撮像装置とを含み、前記第１の撮像装置から出力される同期信号により前記第１の撮像装置での撮像動作と前記第２の撮像装置での撮像動作とを同期させるシステムにおいて、
前記第１の撮像装置は、
撮影画像の画素ごとの画素値を検出し、前記撮影画像の所定の区間ごとの画素値の最大値と最小値と平均値のうち少なくともいずれかを求める検出手段と、
画素位置と画素値とを対応させた、前記撮影画像の画素値の頻度を示す第１の画像を生成する第１の画像生成手段と、
前記第１の画像に前記最大値と前記最小値と前記平均値のうち少なくともいずれかを含む付加情報を重畳した第２の画像を生成する第２の画像生成手段と、
前記第１の撮像装置の撮影画像に前記第２の画像を重畳して表示する表示手段と、
前記第２の撮像装置に同期信号を出力する出力手段と、を有し、
前記第２の撮像装置は、
前記第１の撮像装置から出力された同期信号を入力する入力手段と、
前記第２の撮像装置の撮影画像の画素ごとの画素値を検出し、前記撮影画像の所定の区間ごとの画素値の最大値と最小値と平均値のうち少なくともいずれかを求める検出手段と、
画素位置と画素値とを対応させた、前記撮影画像の画素値の頻度を示す第３の画像を生成する第３の画像生成手段と、
前記第３の画像に前記最大値と前記最小値と前記平均値のうち少なくともいずれかを含む付加情報を重畳した第４の画像を生成する第４の画像生成手段と、
前記同期信号に対して前記付加情報を挿入した応答信号を前記第１の撮像装置に出力する出力手段と、を有し、
前記第１の撮像装置は、
前記第２の撮像装置の出力手段が出力した応答信号に含まれる付加情報を抽出する抽出手段と、
前記第１の画像と前記第２の画像の少なくともいずれかに前記付加情報を重畳した第５の画像を生成する生成手段と、
前記撮影画像に前記第５の画像を重畳して表示する表示手段と、をさらに有することを特徴とするシステム。
他の撮像装置と撮像動作を同期させるための同期信号を出力する出力手段と、
撮影画像の画素ごとの画素値を検出し、前記撮影画像の所定の区間ごとの画素値の最大値と最小値と平均値のうち少なくともいずれかを求める検出手段と、
画素位置と画素値とを対応させた、前記撮影画像の画素値の頻度を示す第１の画像を生成する第１の画像生成手段と、
前記第１の画像に前記最大値と前記最小値と前記平均値のうち少なくともいずれかを含む付加情報を重畳した第２の画像を生成する第２の画像生成手段と、
前記撮影画像に前記第２の画像を重畳して表示する表示手段と、
前記他の撮像装置に出力した同期信号に対して前記他の撮像装置が出力した応答信号に含まれる前記他の撮像装置の撮影画像から検出された付加情報を抽出する抽出手段と、
前記第１の画像と前記第２の画像の少なくともいずれかに前記付加情報を重畳した第３の画像を生成する生成手段と、を有し、
前記付加情報は、前記他の撮像装置の撮影画像の画素ごとの画素値を検出し、前記撮影画像の所定の区間ごとの画素値の最大値と最小値と平均値のうち少なくともいずれかを含むことを特徴とする撮像装置。
前記表示手段に表示された前記第１の画像において前記付加情報の目標値を設定する設定手段と、
前記設定手段により目標値が設定されている場合は、前記目標値と前記第３の画像を前記撮影画像に付加して記録し、
前記設定手段により目標値が設定されていない場合は、前記第１の画像と前記第２の画像の少なくともいずれかと前記第３の画像を前記撮影画像に付加して記録する記録手段と、をさらに有することを特徴とする請求項９に記載の撮像装置。
他の撮像装置と撮像動作を同期させるための同期信号を入力する入力手段と、
撮影画像の画素ごとの画素値を検出し、前記撮影画像の所定の区間ごとの画素値の最大値と最小値と平均値のうち少なくともいずれかを求める検出手段と、
画素位置と画素値とを対応させた、前記撮影画像の画素値の頻度を示す第１の画像を生成する第１の画像生成手段と、
前記第１の画像に前記最大値と前記最小値と前記平均値のうち少なくともいずれかを含む付加情報を重畳した第２の画像を生成する第２の画像生成手段と、
前記付加情報を挿入した応答信号を前記他の撮像装置に出力する出力手段と、を有することを特徴とする撮像装置。
前記撮影画像に前記第１の画像または前記第２の画像を重畳して表示する表示手段と、
前記表示手段に表示された第１の画像において前記付加情報の目標値を設定する設定手段と、をさらに有し、
前記出力手段は、前記目標値を挿入した応答信号を出力することを特徴とする請求項１１に記載の撮像装置。
前記設定手段により目標値が設定されている場合は、前記目標値と前記第１の画像または前記第２の画像を前記撮影画像に付加して記録し、
前記設定手段により目標値が設定されていない場合は、前記第１の画像と前記第２の画像の少なくともいずれかを前記撮影画像に付加して記録する記録手段をさらに有することを特徴とする請求項１２に記載の撮像装置。
画像を入力するステップと、
入力画像の画素ごとの画素値を検出し、入力画像の所定の区間ごとの画素値の最大値と最小値と平均値のうち少なくともいずれかを求めるステップと、
画素位置と画素値とを対応させた、前記入力画像の画素値の頻度を示す第１の画像を生成するステップと、
前記第１の画像に前記最大値と前記最小値と前記平均値のうち少なくともいずれかを含む付加情報を重畳した第２の画像を生成するステップと、
前記入力画像に前記第２の画像を重畳して表示するステップと、を有することを特徴とする画像処理方法。
撮影画像の画素ごとの画素値を検出し、前記撮影画像の所定の区間ごとの画素値の最大値と最小値と平均値のうち少なくともいずれかを求める検出手段と、
画素位置と画素値とを対応させた、前記撮影画像の画素値の頻度を示す第１の画像を生成する第１の画像生成手段と、
前記第１の画像に前記最大値と前記最小値と前記平均値のうち少なくともいずれかを含む付加情報を重畳した第２の画像を生成する第２の画像生成手段と、
前記撮影画像に前記第２の画像を重畳して表示する表示手段と、を有する撮像装置の制御方法であって、
他の撮像装置と撮像動作を同期させるための同期信号を出力するステップと、
前記他の撮像装置に出力した同期信号に対して前記他の撮像装置が出力した応答信号に含まれる前記他の撮像装置の撮影画像から検出された付加情報を抽出するステップと、
前記第１の画像と前記第２の画像の少なくともいずれかに前記付加情報を重畳した第３の画像を生成するステップと、を有し、
前記付加情報は、前記他の撮像装置の撮影画像の画素ごとの画素値を検出し、前記撮影画像の所定の区間ごとの画素値の最大値と最小値と平均値のうち少なくともいずれかを含むことを特徴とする制御方法。
撮影画像の画素ごとの画素値を検出し、前記撮影画像の所定の区間ごとの画素値の最大値と最小値と平均値のうち少なくともいずれかを求める検出手段と、
画素位置と画素値とを対応させた、前記撮影画像の画素値の頻度を示す第１の画像を生成する第１の画像生成手段と、
前記第１の画像に前記最大値と前記最小値と前記平均値のうち少なくともいずれかを含む付加情報を重畳した第２の画像を生成する第２の画像生成手段と、を有する撮像装置の制御方法であって、
他の撮像装置と撮像動作を同期させるための同期信号を入力するステップと、
前記付加情報を挿入した応答信号を前記他の撮像装置に出力するステップと、を有することを特徴とする制御方法。
コンピュータに、請求項１４に記載された画像処理方法を実行させるためのプログラム。
コンピュータに、請求項１５または１６に記載された制御方法を実行させるためのプログラム。