JP7332399B2 - 画像処理装置およびその制御方法 - Google Patents

Description

本発明は画像処理装置およびその制御方法に関し、特には撮像装置における画像処理に適した画像処理装置およびその制御方法に関する。

従来、直列に接続された２つの画像処理回路を有し、撮像素子の出力データレートに応じて前段の画像処理回路で行う処理を変更して、前段の画像処理回路から後段の画像処理回路に供給するデータレートの上昇を抑制する撮像装置が知られている（特許文献１）。

特開２０１７－１５３１５６号公報

特許文献１の構成では、撮像素子の出力データレートが高い場合、画像信号は前段の画像処理回路に接続されたメモリに蓄積されてから、後段の画像処理回路の処理能力に応じたデータレートで読み出される。したがって、メモリに蓄積されるフレーム数が多いと、撮影されてから後段の画像処理回路に供給されるまでの時間差が大きくなり、結果として撮影から記録完了までの時間が長くなるという問題がある。

また、特許文献１では、前段の画像処理回路で画像を圧縮してメモリに蓄積し、伸長して後段の画像処理回路に送信する構成も記載されている。画像を圧縮してメモリに蓄積することで、メモリに蓄積可能なフレーム数を増加させることができるが、圧縮によって画質の低下が生じる恐れがある。

本発明はこのような従来技術の課題に鑑みてなされたものである。本発明は、２つの画像処理回路を有する画像処理装置およびその制御方法において、撮影から記録完了までの時間短縮および符号化による画質の低下の抑制のいずれか実現することを目的とする。

上述の目的は、撮像素子から画像信号を受け取る第１の信号処理手段と、第１の信号処理手段が出力する画像信号に画像処理を行う第２の信号処理手段と、を有する画像処理装置であって、第１の信号処理手段は、画像信号に対する評価値を求める評価手段と、所定の複数フレーム分の画像信号ごとに、評価値に基づいて１フレーム分の画像信号を選択する選択手段と、選択された画像信号については外部装置を介して第２の信号処理手段に出力し、選択されなかった画像信号については外部装置を介さずに第２の信号処理手段へ出力するように、所定の複数フレーム分の画像信号を第２の信号処理手段へ出力する順序を制御する制御手段と、を有し、第２の信号処理手段は、第１の信号処理手段が出力した画像信号を受信する受信手段を有し、第２の信号処理手段は、第１の信号処理手段が出力した画像信号のうち、受信手段が外部装置から受信した画像信号については画像処理を行わない、ことを特徴とする画像処理装置によって達成される。

本発明によれば、２つの画像処理回路を有する画像処理装置およびその制御方法において、撮影から記録完了までの時間短縮および符号化による画質の低下の抑制のいずれか実現することができる。

第１の実施形態に係る画像処理装置を用いた撮像装置の機能構成例を示すブロック図 第１の実施形態に係る画像処理装置の動作に関するフローチャート （ａ）は第１の実施形態に係る画像処理装置の動作例を示すタイミングチャート、（ｂ）および（ｃ）は第１の実施形態の効果を説明するためのタイミングチャート 第２の実施形態に係る画像処理装置を用いた撮像装置の機能構成例を示すブロック図 第２の実施形態に係る画像処理装置の動作に関するフローチャート 第２の実施形態に係る画像処理装置の動作例を示すタイミングチャート 第２の実施形態の効果を説明するための図

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

●（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置１５０を用いる撮像装置１００の機能ブロック図である。ここでは撮像素子から出力される画像データの処理に着目しているため、画像の処理に直接関係しない構成要素については、発明の説明および理解を容易にするために記載を省略している。しかし、撮像装置１００は、レンズ、絞り、シャッタ、操作部、電源部など、一般的な撮像装置が有する構成を実際には有している。

なお、以下の実施形態では、本発明をデジタルカメラのような撮像装置で実施する場合に関して説明する。しかし、本発明は撮像機能を有する任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。

撮像素子１０１は、光電変換素子である画素を複数有し、撮影レンズが形成する光学像を画素によって画素信号群（画像信号）に変換する。撮像素子１０１は例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサであってよい。撮像素子１０１は画像信号を画像処理装置１５０に出力する。撮像素子１０１の撮影動作や、撮影レンズの焦点調節などは、撮像装置１００の制御部によって公知の方法によって制御される。

画像処理装置１５０は、直列に接続された第１の信号処理部１０２と第２の信号処理部１０３とを有する。第１の信号処理部１０２は、撮像素子１０１から出力された画像信号に対して信号処理を行い、第２の信号処理部に供給する。第２の信号処理部１０３は、前段に位置する第１の信号処理部１０２から供給されるデータを処理する。第１の信号処理部１０２には第１の記憶回路（メモリ）１０８が、第２の信号処理部１０３には第２の記憶回路（メモリ）１１８が接続されている。第１の信号処理部１０２と第２の信号処理部１０３は例えば別個の集積回路（ＩＣ、ＬＳＩなど）として構成されてよい。この場合、第１の信号処理部１０２と第２の信号処理部１０３は別個のパッケージを有してもよいし、同一のパッケージに実装されてもよい。

第１の信号処理部１０２において、画像評価回路１０４は、撮像素子１０１から出力される画像信号に関する予め定められた評価値を算出する。画像評価回路１０４は、例えば、画像信号が表す画像の一部（例えば、焦点検出領域、画像の中央部、特徴領域（例えば顔領域）、ユーザが設定した領域など）や全体について、１種類以上の評価値を算出することができる。なお、画像評価回路１０４は、必要に応じて画像信号の解像度を低減してから評価値を求めてもよい。

評価値は、露出、合焦度合い、主被写体の状態の１つ以上の観点から、画像信号が表す画像の質を評価するための指標として用いられる。例えば、合焦度合いについて評価するには例えばオートフォーカスに用いられるコントラスト評価値や、画像信号中の高周波成分の量を求めることができる。また、露出に関して評価するには例えば画像の全体もしくは特定領域の平均輝度、最高輝度、最低輝度の１つ以上を評価値として求めることができる。また、主被写体の状態としては、焦点検出領域、ユーザが指定した領域、特徴領域として検出された領域についての露出や合焦度合いに関する１種類以上の評価値を求めることができる。主被写体が顔領域のような特徴領域であれば、顔の表情や状態（笑顔か否か、目を瞑っているか否か、正面を向いているか、など）を評価値として求めてもよい。

どのような評価値を求めるかは、撮像素子１０１から出力される画像信号のデータレート、画像評価回路１０４の能力、第２の信号処理部１０３へ供給する画像信号のデータレートなどの条件の１つ以上に基づいて応じて予めあるいは動的に決定することができる。第１の信号処理部１０２は、求めた評価値をそのまま出力してもよいし、評価値に基づく評価結果（良好な画像であるか否か）を出力してもよい。

評価値に基づいて評価結果を求める場合、評価値ごと、評価値の組み合わせごとに評価結果が関連づけられたテーブルを用いることができる。評価値によっては評価値をそのまま評価結果として用いてもよい。例えば、露出（輝度値）が適正であること、合焦度合いが高いこと、主被写体の状態が望ましい状態であること（笑顔である、目を瞑っていない、正面を向いているなど）が評価結果を高めるように、評価値と評価結果とを関連付けることができる。

出力順決定回路１０５は、画像評価回路１０４からの評価値もしくは評価結果と、後述する第１のシステム制御部１０６からの制御情報とに基づいて、第１の記憶回路１０８に記憶されている画像信号を読み出す順番を決定する。より具体的には、出力順決定回路１０５は、優先的に出力すべき画像信号を選択し、選択結果に基づいて、画像信号を読み出す順番を決定する。出力順決定回路１０５は、決定した順序を示す出力順情報を、第１のメモリ制御回路１０７および第１のシステム制御部１０６に出力する。出力順決定回路１０５の動作は第１のシステム制御部１０６が制御する。出力順決定回路１０５の動作の詳細については後述する。

第１のシステム制御部１０６は、第１の信号処理部１０２の動作を制御する。第１のシステム制御部１０６は例えばプロセッサとメモリを有し、メモリに記憶されたプログラムをプロセッサが実行することによって第１の信号処理部１０２の各ブロックの動作を制御する。第１のシステム制御部１０６は、その動作の一部として、出力順決定回路１０５に対して制御情報を送信したり、画像信号の撮影順序に関する情報（撮影順情報）を第２の信号処理部１０３に送信したりする。

第１のメモリ制御回路１０７は、撮像素子１０１から読み出された画像信号を第１の記憶回路１０８に格納したり、第１の記憶回路１０８に記憶された画像信号を読み出して送信回路１０９や第２の信号処理部１０３へ供給したりする。第１のメモリ制御回路１０７の動作は第１のシステム制御部１０６が制御する。

第１の記憶回路１０８は、撮像素子１０１から読み出された画像信号を一時的に記憶するためのバッファメモリであり、ＤＲＡＭ(Dynamic Random Access Memory)に代表される記憶素子を有する。第１の記憶回路１０８は例えば１０フレーム分程度の非圧縮画像信号を格納できる容量を有する。

送信回路１０９は、第１のメモリ制御回路１０７から読み出された画像信号を、ネットワーク１１１を介して外部のサーバ装置１１２に送信するネットワークインタフェースである。ネットワーク１１１は例えばインターネットであってよい。ここでは、送信回路１０９は無線通信インタフェースであり、送信用アンテナ１１０を通じてサーバ装置１１２と通信する。なお、撮像装置１００が送信回路１０９を通じてサーバ装置１１２と通信するために必要な設定は予め行われているものとする。なお、実際には第１の信号処理部１０２が有する送信回路１０９と、第２の信号処理部１０３が有する受信回路１１４とは、送受信可能な１つの通信回路によって実施されてもよい。この場合、第１の信号処理部１０２と第２の信号処理部１０３は、共通の通信回路を通じてサーバ装置１１２との通信を行う。

次に、第２の信号処理部１０３の構成について説明する。
受信回路１１４は、無線通信インタフェースであり、受信用アンテナ１１３を通じてサーバ装置１１２から画像信号などのデータを受信する。なお、送信回路１０９および受信回路１１４はは有線通信インタフェースであってもよい。また、送信用アンテナ１１０と受信用アンテナ１１３は実際には同一のアンテナであってよい。受信回路１１４は、受信した画像信号を第２のメモリ制御回路１１７に供給する。

現像処理回路１１５は、第１の信号処理部１０２から供給される画像信号（ＲＡＷ画像データ）に対し、ＲＧＢ形式からＹＵＶ形式への信号形式変換、ホワイトバランス調整、色補間、ガンマ補正などの処理を含む所定の現像処理を適用する。なお、現像処理はメーカ固有のＲＡＷ形式の画像データを、ビットマップ形式、ＰＮＧ形式、ＪＰＥＧ形式など、汎用的な形式の画像データに変換するために行われる複数の処理の総称である。現像処理として適用される具体的な処理内容は撮像装置の設定やハードウェア構成などに応じて異なり得る。また、現像処理回路１１５は、現像前または現像後の画像データに対して、自動露出制御（ＡＥ）や自動焦点検出（ＡＦ）に用いる評価値の生成処理など、他の画像処理を適用しうる。

現像処理が適用された画像信号は、現像処理回路１１５から第２のメモリ制御回路１１７に出力され、最終的には記録回路１１９に記録されたり、表示回路１２０に表示されたりする。

第２のシステム制御部１１６は、第２の信号処理部１０３の動作を制御する。第２のシステム制御部１１６は例えばプロセッサとメモリを有し、メモリに記憶されたプログラムをプロセッサが実行することによって第２の信号処理部１０３の各ブロックの動作を制御する。第２のシステム制御部１１６は、その動作の一部として、第１のシステム制御部１０６から撮影順情報を受信し、第２のメモリ制御回路１１７に送信する。

第２のメモリ制御回路１１７は、第１の信号処理部１０２から出力された画像信号や、サーバ装置１１２から受信した画像信号を第２の記憶回路１１８に格納したり、記録回路１１９や表示回路１２０に送信したりする。また、第２のメモリ制御回路１１７は、第２の記憶回路１１８に記憶された画像信号を読み出して記録回路１１９や表示回路１２０に送信する。

第２の記憶回路１１８は、第１の信号処理部１０２やサーバ装置１１２から供給される画像信号を一時的に記憶するためのバッファメモリであり、ＤＲＡＭ(Dynamic Random Access Memory)に代表される記憶素子を有する。

記録回路１１９は、ハードディスクドライブやＳＳＤなどの記憶装置、あるいはメモリカードとそのリーダライタなどであり、データを記録したり読み出したりする。

表示回路１２０は、液晶ディスプレイなどの表示デバイスとそのドライバ回路を有し、第２のメモリ制御回路１１７から読み出された画像信号に基づく表示を行う。なお、表示回路１２０は供給される画像信号を表示デバイスでの表示に適した画像信号に変換する機能を有してもよい。

第１の信号処理部１０２は必要に応じて撮像素子１０１の出力データレートよりも遅いデータレートで第２の信号処理部１０３に画像信号を供給することができる。そのため、画像処理装置１５０は様々な出力データレートの撮像素子に対して容易に適用することができる。

次に、図２のフローチャートを参照して、画像処理装置１５０の動作について説明する。ここでは、静止画の連写撮影時や動画撮影時のように、撮像素子１０１から画像処理装置１５０に連続して画像信号が与えられるものとする。

Ｓ２０１：第１の信号処理部１０２が、撮像素子１０１から１フレームの画像信号の受信を開始する。
Ｓ２０２：画像評価回路１０４が、受信した画像信号に対して評価値を算出する。ここでは、評価値としてコントラスト評価値を算出するものとする。このコントラスト評価値は、コントラスト検出ＡＦに用いられる評価値と同様のものであってよい。合焦度合いの高い画像はコントラスト評価値が高く、合焦度合いの低い画像はコントラスト評価値が低くなる。ここでは、焦点検出領域に含まれる画像信号について評価値を算出することで、受信した画像信号に基づく画像が、ユーザの意図した被写体について合焦度が高い画像であるか否かを評価する。画像評価回路１０４は、算出したコントラスト評価値を出力順決定回路１０５に出力する。

Ｓ２０３：第１のメモリ制御回路１０７は、撮像素子１０１から受信した画像信号を第１の記憶回路１０８に記憶する。なお、Ｓ２０２とＳ２０３は実際には並列に実行されてよい。

Ｓ２０４：第１のシステム制御部１０６は、第１の記憶回路１０８への記憶ならびに画像評価回路１０４による評価値の算出が所定の複数フレーム分の画像信号について完了したか否かを判定する。第１のシステム制御部１０６は、完了したと判定されればＳ２０５に処理を進め、判定されなければ処理をＳ２０２に戻す。ここで判定する所定のフレーム数は、第１の記憶回路１０８の容量、撮像素子１０１の出力データレート、第２の信号処理部１０３の処理データレートなどを勘案して予め定められているものとする。なお、所定のフレーム数は、第１の記憶回路１０８に記憶可能なフレーム数でなければならない。ここでは、一例として所定フレーム数が５であるとする。なお、第１のシステム制御部１０６は、撮影が終了している場合など、所定の複数フレーム分の処理ができない場合にも、処理をＳ２０５に進める。

Ｓ２０５：出力順決定回路１０５は、画像評価回路１０４から出力された評価値に基づいて、第１の記憶回路１０８に記憶されている所定フレーム数の画像信号について、読み出す順番を決定する。このように、本実施形態では、第１の記憶回路１０８に記憶された複数フレーム分の画像信号の読み出し順序を画像評価回路１０４による評価結果に従って制御する。そのため、撮像素子１０１から出力された順序とは異なる順序で画像信号が第２の信号処理部１０３に供給されうる。より具体的には、画像評価回路１０４によって高い評価が得られた画像信号を優先的に第１の記憶回路１０８から読み出すようにすることで、複数のフレーム画像のうち、品質がよい、またはユーザの意図に沿った画像が優先的に処理されるようにする。これにより、品質がよい、またはユーザの意図に沿った画像について、撮影から記録完了もしくは表示までに要する時間を短縮することができる。

図３（ａ）は、画像処理装置１５０の動作を説明するためのタイミングチャートである。撮像素子１０１からは、８フレーム分の画像信号ｆ１からｆ８が順次出力されている。また、ｒ１からｒ８は、画像信号ｆ１からｆ８に対して画像評価回路１０４が算出した評価値を示す。本実施形態では一例として、５フレーム分の画像信号について、第１の記憶回路１０８への蓄積および画像評価回路１０４による評価値算出が完了するごとに出力順序を決定するものとする。

５フレーム目の画像信号についての評価値ｒ５が出力されるタイミング３０１で、出力順決定回路１０５は、評価値ｒ１からｒ５に基づいて、画像信号ｆ１からｆ５のうち、最も高い評価結果が得られてい画像信号を最初に読み出す画像信号に決定する。ここでは、評価値がコントラスト評価値であるため、出力順決定回路１０５は、評価値が最も高い画像信号（ｆ３とする）を最初に読み出す画像信号（サーバ装置１１２送信する画像信号）として決定する。また、残りの画像信号については、ここでは撮像素子１０１から出力された順序で出力するものとする。出力順決定回路１０５は、決定した順序ｆ３，ｆ１，ｆ２，ｆ４，ｆ５を示す出力順情報を第１のメモリ制御回路１０７および第１のシステム制御部１０６に出力する。

Ｓ２０６：第１のメモリ制御回路１０７は、出力順決定回路１０５からの出力順情報に従い、第１の記憶回路１０８から画像信号を読み出す。第１のメモリ制御回路１０７は、出力順情報の最初に記述されたフレームの画像信号について、第１の記憶回路１０８から読み出して送信回路１０９に出力する。図３ではタイミング３０２で示している。また、第１のシステム制御部１０６は、第１の記憶回路１０８からの画像信号の読み出しが始まると、出力順情報を第２のシステム制御部１１６に送信する。第２のシステム制御部１１６は、受信した出力順情報を第２のメモリ制御回路１１７に出力する。

Ｓ２０７：送信回路１０９は、第１のメモリ制御回路１０７から供給される画像信号ｆ３を、送信用アンテナ１１０を通じてネットワーク１１１上のサーバ装置１１２に送信する。サーバ装置１１２は、受信した画像信号に対して現像処理回路１１５と同様に現像処理を適用する。なお、サーバ装置１１２が適用する現像処理は現像処理回路１１５が適用する現像処理よりも処理負荷が高い、より高品質な画像処理であってもよい。このように、本実施形態の第１の信号処理部１０２は、評価値が最も高い画像信号については外部装置であるサーバ装置１１２を介して第２の信号処理部１０３に出力する。

Ｓ２０８：第１のメモリ制御回路１０７は、Ｓ２０６で送信回路１０９に送信した画像信号以外の画像信号を、出力順決定回路１０５で決定された出力順情報にしたがって第１の記憶回路１０８から読み出し、現像処理回路１１５へ出力する。つまり、本実施形態の第１の信号処理部１０２は、評価値が最も高い画像信号以外の画像信号については外部装置であるサーバ装置１１２を介さずに第２の信号処理部１０３に出力する。第１のメモリ制御回路１０７は、第１の記憶回路１０８に残っている画像信号ｆ１、ｆ２、ｆ４、ｆ５を、フレームの順序通りに読み出し、現像処理回路１１５へ出力する。図３ではタイミング３０４で出力を開始している。なお、図２のフローチャートではＳ２０６で画像信号ｆ３を送信してからＳ２０８で残りの画像信号を送信しているが、図３に示すように、送信回路１０９への出力と現像処理回路１１５への出力を並行して実施してもよい。

なお、図３において３０７と３０８は、１フレーム分の画像信号を第１の信号処理部１０２と第２の信号処理部１０３で処理するために必要な期間を示している。本実施形態において、第１の信号処理部１０２は撮像素子１０１が高データレートであっても対応できるよう、１フレーム分の画像信号を第２の信号処理部１０３よりも高速に処理できるように構成されている。

なお、第１の信号処理部１０２では、所定の複数フレーム分の画像信号についてＳ２０５からＳ２０８の処理を行っている間も、ｆ６以降の画像信号について、第１の記憶回路１０８への記憶と、画像評価回路１０４での評価値の算出が並行して実行されている。Ｓ２０９以降は第２の信号処理部１０３における処理である。

Ｓ２０９：現像処理回路１１５は、画像信号ｆ１、ｆ２、ｆ４、ｆ５について順次現像処理を適用し、現像処理後の画像信号を第２のメモリ制御回路１１７へ出力する。

Ｓ２１０：サーバ装置１１２は画像信号ｆ３に対する現像処理を完了すると、撮像装置１００に現像処理後の画像信号を送信する。この画像信号はＳ２１０で受信用アンテナ１１３を通じて受信回路１１４で受信される。図３では、タイミング３０３で現像処理後の画像信号ｆ３が撮像装置１００の受信回路１１４で受信され始めたことを示している。なお、フローチャートでは便宜上Ｓ２０９の後でサーバ装置１１２から画像信号を受信するように記載しているが、実際には図３に示すように、現像処理回路１１５による現像処理と、サーバ装置１１２からの画像信号ｆ３の受信とは並行して実行されてよい。受信回路１１４は画像信号ｆ３を第２のメモリ制御回路１１７に出力する。

Ｓ２１１：第２のメモリ制御回路１１７は、現像処理回路１１５および受信回路１１４から供給される画像信号に対し、第２のシステム制御部１１６から供給された出力順情報に基づいて撮影順情報を付与する。ここでは、第２のメモリ制御回路１１７は、出力順情報の最初に記述されたフレーム番号（ここでは３）を受信回路１１４から供給された画像信号に対して付与する。また、第２のメモリ制御回路１１７は、出力順情報の２番目以降に記述されたフレーム番号（ここでは１、２、４、５）を現像処理回路１１５から供給される画像信号に対して順次付与する。

撮像素子１０１から出力された順番である撮影順情報を画像信号ｆ１からｆ５に付与することで、画像信号ｆ１からｆ５が記録回路１１９で記録される順序が撮影順と異なっても、記録回路１１９で撮影順に並べ変えることができる。なお、ここでは画像信号に対して第２の信号処理部１０３で撮影順情報を付与するものとした。しかし、第１のメモリ制御回路１０７が出力順情報に基づいて第１の記憶回路１０８から画像信号を読み出した際に撮影順情報を例えば属性情報として画像信号に付与するようにしてもよい。

Ｓ２１２：第２のメモリ制御回路１１７は、現像処理後の画像信号を、供給された順に記録回路１１９に出力する。図３では、画像信号ｆ１からｆ５のうち、画像信号ｆ１に対する現像処理が最初に完了し、タイミング３０５で現像処理回路１１５から第２のメモリ制御回路１１７に供給され始めている。第２のメモリ制御回路１１７は、記録回路１１９に出力中の画像信号がないため、画像信号ｆ１を直ちに記録回路１１９に出力する。記録回路は、画像信号ｆ１を記録装置または記録媒体に記録する。

画像信号ｆ２に対する現像処理が完了する前に受信回路１１４での画像信号ｆ３の受信が始まり、タイミング３０３から第２のメモリ制御回路１１７に画像信号ｆ３が供給される。これに応答して第２のメモリ制御回路１１７は画像信号ｆ３の記録回路１１９への出力を開始する。画像信号ｆ３の出力中に画像信号ｆ２の現像処理が完了し、現像処理回路１１５から第２のメモリ制御回路１１７への画像信号ｆ２の供給が始まる。第２のメモリ制御回路１１７は、画像信号ｆ２を第２の記憶回路１１８に記憶する。その後、画像信号ｆ３の出力が終了すると、第２のメモリ制御回路１１７は第２の記憶回路１１８から画像信号ｆ２を読み出し、記録回路１１９への出力を開始する。その後、画像信号ｆ４、ｆ５は第２の記憶回路１１８に一旦記憶されてから記録回路１１９に順次出力される。

なお、現像処理回路１１５から供給される画像信号の出力中に受信回路１１４でサーバ装置１１２からの画像信号ｆ３の受信が始まった場合、可能であれば第２のメモリ制御回路１１７は画像信号ｆ３の記録を優先させてもよい。具体的には、記録回路１１９において、画像信号の記録を中断し、後で追記することが可能であれば、第２のメモリ制御回路は、記録中の画像信号の残りを第２の記憶回路１１８に記憶しながら、画像信号ｆ３を記録回路１１９に出力してもよい。そして、画像信号ｆ３の記録が終了したら、第２の記憶回路１１８から読み出した画像信号を記録回路１１９に出力し、途中まで記録されている画像信号に追記する。

あるいは、受信回路１１４から画像信号の受信が開始されるまでは、現像処理回路１１５から供給される画像信号を記録回路１１９に出力しながら第２の記憶回路１１８にも記憶するようにしてもよい。そして、受信回路１１４から画像信号の受信が開始されると、第２のメモリ制御回路１１７は記録中であった画像信号の出力を打ち切り、受信回路１１４からの画像信号を記録回路１１９に出力する。そして、第２のメモリ制御回路１１７は、受信回路１１４からの画像信号の出力が完了したら、改めて第２の記憶回路１１８から画像信号を読み出し、最初から出力しなおす。

Ｓ２１３：第２のシステム制御部１１６は、所定の複数フレーム分の画像信号を記録回路１１９に出力すると、第１のシステム制御部１０６に通知する。第１のシステム制御部１０６は、撮像素子１０１から画像処理装置１５０が受信した全ての画像信号について記録回路１１９への出力が完了したか否かを判定する。第１のシステム制御部１０６は、完了したと判定されれば処理を終了し、判定されなければ未処理の画像信号に対してＳ２０２以降の処理を実行する。

なお、ここでは画像処理装置１５０から記録回路１１９に出力する構成について説明したが、記録回路１１９と表示回路１２０に出力してもよい。

なお、本実施形態では、画像処理装置１５０が外部のサーバ装置１１２と通信可能である構成について説明した。しかし、サーバ装置１１２の利用は本発明に必須ではない。サーバ装置１１２を利用しない場合、第１のメモリ制御回路１０７は、出力順情報に従って全ての画像信号を現像処理回路１１５に出力する。この場合も、評価が高い画像信号が優先的に処理され、記録や表示までに要する時間を短縮することが可能である。

図３（ｂ）を用いて、本実施形態で実現される効果について説明する。撮像素子１０１から出力される画像信号を５フレーム単位で評価し、優先的に処理する画像信号を決定する。タイミング４０１で、評価値ｒ１からｒ５の中で最も評価結果が高い評価値ｒ３が得られた画像信号ｆ３を優先的に処理する画像信号として決定し、ネットワーク１１１に送信している。その後、優先的に処理する画像信号として画像信号ｆ７、ｆ１５、ｆ１７、ｆ２１が決定され、順次ネットワーク１１１に送信される。サーバ装置１１２で現像された画像信号は、受信時点でできるだけ早く記録回路に出力したり、表示回路に出力したりするように優先的に処理することができる。

本実施形態の方法を用いないと、第１の記憶回路１０８に記憶した順序で第１の信号処理部１０２から第２の信号処理部１０３に出力されることになる。この場合、図３（ｃ）に示すように、撮影順序に従って記録や表示が行われるため、一律な遅延が生じ、利便性が低下する可能性がある。

本実施形態によれば、第１の信号処理部１０２と第２の信号処理部１０３とを有する画像処理装置１５０において、第１の信号処理部１０２を、撮像素子の出力データレートを第２の信号処理部１０３の処理データレートに適合させるための緩衝回路として用いる。そのため、画像処理装置１５０は、様々な出力レートの撮像素子に対応可能である。また、第１の信号処理部１０２において画像を評価し、蓄積した複数フレーム分の画像信号のうち、評価の高い画像信号を優先的に第１の信号処理部１０２から出力するようにした。そのため、評価の高い画像信号が優先的に第２の信号処理部１０３で処理され、撮影から記録完了もしくは表示までに要する時間を短縮することができる。さらに、評価の高い画像信号について、外部のサーバ装置で処理するようにすれば、第２の信号処理部１０３で処理する場合よりも高品質な処理を適用したり、あるいは処理をより早く完了させることができる。

●（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第１の実施形態において、第１の信号処理部１０２は画像信号を第１の記憶回路１０８に記憶する際、データ量の削減（画像信号の圧縮）を行わなかった。本実施形態では、画像の評価結果に基づいて第１の記憶回路１０８に記憶する画像信号のデータ量を適応的に削減することで、第１の記憶回路１０８の効率的な利用と、画質低下の抑制とを両立させる。

図４は、本発明の第２の実施形態に係る画像処理装置６５０を用いる撮像装置２００の機能ブロック図である。第１の実施形態で説明した撮像装置１００と同様の構成については図１と同じ参照数字を付し、説明を省略する。

図４において、本実施形態の画像処理装置６５０は、外部のサーバ装置との通信に係る構成を有していないが、有していてもよい。また、第１の信号処理部６１２は、第１のメモリ制御回路１０７の前段（撮像素子１０１側）に、フレームメモリ制御回路６０１および符号化回路６０３を有している。

フレームメモリ制御回路６０１は、フレームメモリ６０２への画像信号の書き込み（記憶）およびフレームメモリ６０２からの画像信号読み出しを制御する。フレームメモリ制御回路６０１は、撮像素子１０１から出力される画像信号をフレームメモリ６０２に記憶し、またフレームメモリ６０２に記憶された画像信号を読み出して符号化回路６０３に出力する。

フレームメモリ６０２は、撮像素子１０１から出力される画像信号を所定の複数フレーム分記憶するためのメモリであり、ＤＲＡＭに代表される記憶素子を有する。

符号化回路６０３は、フレームメモリ６０２に記憶された複数フレーム分の画像信号のうち、出力順情報に基づいて選択された画像信号を符号化し、データ量を削減する。符号化回路６０３は、効率的にデータ量を削減するため、非可逆符号化方式によって画像信号を符号化するものとする。量符号化回路６０３は、符号化した画像信号を第１のメモリ制御回路１０７に出力する。符号化回路６０３は、選択されない画像信号については符号化せずに第１のメモリ制御回路１０７に出力する。

また、第２の信号処理部６１３は、現像処理回路１１５の前段に復号回路６０４を有する。復号回路６０４は、第１の信号処理部１０２から供給される画像信号のうち、符号化されている画像信号を復号して現像処理回路１１５に出力する。復号回路６０４は、例えば、第２のシステム制御部１１６から供給される出力順情報に基づいて、復号すべき（あるいは復号すべきでない）画像信号を特定することができる。第１の信号処理部６１２が有する符号化回路６０３と、第２の信号処理部６１３が有する復号回路６０４とは、同じ符号化方式に対応している。なお、復号回路６０４は、符号化されていない画像信号については復号処理を適用せずに出力する。

本実施形態においても、第１の信号処理部６１２は、第１の記憶回路１０８の読み出しデータレートを書き込みデータレートより遅くすることで、撮像素子１０１の出力データレートと第２の信号処理部６１３の処理データレートとの差異を吸収する。一方、フレームメモリ６０２については、読み出しデータレートを書き込みデータレート以上としてもよい。

次に、図５のフローチャートを参照して、画像処理装置６５０の動作について説明する。第１の実施形態と同様、画像処理装置６５０には撮像素子１０１から連続して画像信号が与えられるものとする。第１の実施形態と同じ動作を行う工程には図２と同じ参照数字を付して説明を省略する。

Ｓ７０３：フレームメモリ制御回路６０１は、撮像素子１０１から出力される画像信号をフレームメモリ６０２に順次記憶させる。ここでは、連続する３フレーム分の画像信号をフレームメモリ６０２に記憶するものとする。

図６は、画像処理装置６５０の動作を説明するためのタイミングチャートである。撮像素子１０１からは、６フレーム分の画像信号ｆ１からｆ６が順次出力されている。８０１は１フレーム分の画像信号が入力される期間を示す。また、ｒ１からｒ６は、画像信号ｆ１からｆ６に対して画像評価回路１０４が算出した評価値を示す。フレームメモリ制御回路６０１は、タイミング８０２からフレームメモリ６０２に対する画像信号の書き込みを開始している。本実施形態では一例として、３フレーム分の画像信号について、フレームメモリ６０２への蓄積および画像評価回路１０４による評価値算出が完了するごとに符号化対象の画像信号を決定するものとする。

Ｓ２０４で第１のシステム制御部１０６により、フレームメモリ６０２への記憶と、画像評価回路１０４による評価値の算出が３フレーム分の画像信号について完了したと判定されると、Ｓ７０５に処理が進む。なお、第１のシステム制御部１０６は、撮影が終了している場合など、所定フレーム数分の処理ができない場合にも、処理をＳ７０５に進める。

Ｓ７０５：出力順決定回路１０５は、画像評価回路１０４から出力された評価値に基づいて、フレームメモリ６０２に記憶されている３フレーム分の画像信号について、符号化しない画像信号を決定する。ここでは、出力順決定回路１０５は、画像評価回路１０４によって最も高い評価が得られた画像信号を、符号化しない画像信号として決定するものとする。図６の例では、画像信号ｆ３が符号化しない画像信号として決定されている。

出力順決定回路１０５は、符号化しない画像信号を３フレーム分の画像信号のうち最初に第２の信号処理部１０３に出力する画像信号として記述した出力順情報を生成する。そして、出力順決定回路１０５は、出力順情報をフレームメモリ制御回路６０１、符号化回路６０３、第１のメモリ制御回路１０７、第１のシステム制御部１０６に出力する。フレームメモリ６０２に記憶されている３フレーム分の画像信号のうち、符号化する２フレームの画像信号については、撮影された順に出力順情報に記述する。なお、ここでは、出力順情報の最初に記述された画像信号を符号化しない画像信号として符号化回路６０３が認識するものとしたが、符号化回路６０３には符号化しない画像信号を特定する情報を出力してもよい。

Ｓ７０６：フレームメモリ制御回路６０１は、出力順情報にしたがった順序でフレームメモリ６０２から画像信号を読み出す。図６では、評価結果ｒ３が画像評価回路１０４から出力され、出力順決定回路１０５が出力順情報を出力するタイミング８０３から、画像信号ｆ３がフレームメモリ６０２から読み出されている。なお、フレームメモリ６０２から１フレーム分の画像信号を読み出す期間８０４は、撮像素子１０１からフレームメモリ６０２に１フレーム分の画像信号を書き込む期間８０１と同等である。

Ｓ７０７：符号化回路６０３は、出力順情報に基づいて画像信号を符号化し、第１のメモリ制御回路１０７に出力する。第１のメモリ制御回路１０７は符号化回路６０３が出力する画像信号を順番に第１の記憶回路１０８に記憶する。なお、フレームメモリ６０２から最初に読み出される画像信号ｆ３は、符号化回路６０３に入力されるが、符号化回路６０３は出力順情報に基づいて符号化を行わず、画像信号ｆ３をそのまま第１のメモリ制御回路１０７に出力する。

図６の例では、第１のメモリ制御回路１０７は画像信号ｆ３をタイミング８０５で第１の記憶回路１０８に記憶する。そして、第１のメモリ制御回路１０７はタイミング８０６で、画像信号ｆ３を第１の記憶回路１０８から読み出し、第２の信号処理部１０３に出力し始める。

撮像素子１０１の出力データレートが第２の信号処理部１０３の処理データレートよりも高いため、第１の記憶回路１０８からの読み出しデータレートは書き込みデータレートよりも低くなる。そのため、図６では、第１の記憶回路１０８から１フレーム分の画像信号を読み出す期間８０７が、フレームメモリから１フレーム分の画像信号を読み出す期間８０４よりも長い。図６では、撮像素子１０１の出力データレートが第２の信号処理部１０３の処理データレートの３倍である場合を示している。フレームメモリに記憶する画像信号のフレーム数は、撮像素子１０１の出力データレートと第２の信号処理部１０３の処理データレートとの比率を考慮して決定する。

最初の３フレーム分の画像信号ｆ１からｆ３のうち、符号化回路６０３は画像信号ｆ１、ｆ２を符号化して第１のメモリ制御回路１０７に出力する。第１のメモリ制御回路１０７は、出力順情報にしたがって、第１の記憶回路１０８から画像信号を読み出し、第２の信号処理部１０３に出力する。

なお、図６の例では、第１のメモリ制御回路１０７が画像信号ｆ３を第２の信号処理部１０３に出力し終える前に、フレームメモリに記憶された次の３フレーム分の画像信号ｆ４からｆ６についての出力順情報が生成されている。そのため、メモリ制御回路は、画像信号ｆ３を第２の信号処理部１０３に出力し終えると、その時点で第１の記憶回路１０８への書き込みが開始されている、符号化されていない画像信号ｆ５を優先的に第２の信号処理部１０３に出力している。このように、出力順情報とは異なる順序で第２の信号処理部１０３に画像信号を出力する場合、第１のメモリ制御回路１０７は第１のシステム制御部１０６に対して実際の出力順情報（ｆ３，ｆ５，ｆ１，ｆ２，ｆ４，ｆ６）を通知する。そして、第１のシステム制御部１０６は、第１のメモリ制御回路１０７から通知された出力順情報を第２のシステム制御部１１６に送信する。しかし、出力順の制御を３フレーム単位で固定し、画像信号ｆ１、ｆ２を第２の信号処理部１０３に出力してから、画像信号ｆ５を第２の信号処理部１０３に出力するようにしてもよい。

Ｓ７０８以降は第２の信号処理部１０３における処理である。
Ｓ７０８：復号回路６０４は、第１の信号処理部１０２から出力された複数の画像信号のうち、符号化されている画像信号を復号する。復号回路６０４は、第２のシステム制御部１１６から供給される出力順情報に基づいて、復号しない画像信号を特定することができる。具体的には、復号回路６０４は、出力順情報に記述されている最初の（総項目数／３）フレーム分の画像信号を、復号しない画像信号とする。したがって、ｆ１～ｆ６の６つが記述されている出力順情報を供給された場合、復号回路６０４は最初の２フレーム分の画像信号については復号処理を適用しない。

Ｓ７０９：復号回路６０４は、第１の信号処理部１０２から供給される画像信号に対し、第２のシステム制御部１１６から供給された出力順情報に基づいて撮影順情報を付与する。図６の例では出力順情報（ｆ３，ｆ５，ｆ１，ｆ２，ｆ４，ｆ６）が供給されるため、最初の６フレーム分の画像信号に対して復号回路６０４は出力順情報に応じたフレーム番号を順次付与する。なお、撮影順情報は、第１のメモリ制御回路１０７が第１の記憶回路１０８から画像信号を読み出した際に例えば属性情報として画像信号に付与するようにしてもよい。

Ｓ７１０：現像処理回路１１５は、復号回路６０４から出力された画像信号に対して順次現像処理を適用する。現像処理の内容は第１の実施形態と同様であってよい。
以降は第１の実施形態と同様であるため、説明を省略する。

図７を用いて、本実施形態で実現される効果について説明する。図７（ａ）は本実施形態において、撮像素子１０１から出力された画像信号が第１の記憶回路１０８に蓄積されていく様子を示している。９０１で示した期間は１フレーム分の画像信号が記憶される期間を示している。また９０３は、符号化回路６０３による符号化により、データ量が５０％削減される場合の１フレーム分の画像信号の符号化後のデータ量を示している。ここでは便宜上各フレームの画像信号のデータ量が等しいものとする。９０２は、画像信号が第１の記憶回路１０８に蓄積され続ける際のデータ量の経時変化を示している。

本実施形態では、符号化されない画像信号は第１の記憶回路１０８に実質的に蓄積されない（データレート調整のために記憶されるが、直ちに読み出しが開始されるため）。そのため、第１の記憶回路１０８に蓄積されるのは実質的に、符号化された画像信号のみと見なせる。そのため、第１の記憶回路１０８により多くのフレーム数の画像信号を記憶することが可能になり、連写速度の向上などに寄与する。

一方で、符号化を行わず、撮影順に第１の信号処理部６１２から第２の信号処理部６１３に出力する場合、第１の記憶回路１０８に蓄積されるデータ量の経時変化は図７（ｂ）に示すようになる。１００１は図７（ａ）の９０１と同じく１フレーム分の画像信号が記憶される期間を示す。１００２は、１フレーム分の画像信号のデータ量を示している。符号化を行わないため、１フレームあたりのデータ量が多く、第１の記憶回路１０８に記憶可能なフレーム数が減少する。

第１の記憶回路１０８に記憶されているデータ量が閾値１００４を超えた場合、それ以降は画像信号を符号化することで、１００３に示すように１フレームあたりのデータ量を削減して、記憶可能な最大データ量に達するまでの期間を延ばすことも考えられる。しかしながら、この方法を採用した場合、閾値１００４を超えてからの期間１００５に記憶される画像信号は一律に符号化されるため、非可逆符号化による画質の低下が避けられない。

本実施形態によれば、第１の記憶回路１０８のデータ量は１００６に示すように緩やかに上昇する。さらに、高い評価結果が得られている画像信号については符号化されないため、非可逆符号化による画質劣化の影響を受けることはない。さらに、高い評価結果が得られている画像信号については優先的に現像処理が行われるため、記録や表示に要する時間を短縮することができる。

本実施形態では、所定の複数フレーム分の画像信号ごとに、評価結果が最も高い１フレーム分の画像信号を符号化せず、残りの画像信号を符号化するようにした。しかし、全ての画像信号を符号化するように構成し、評価結果が最も高い画像信号に対しては残りの画像信号よりも画質の低下が小さい符号化を行ってもよい。この場合、評価結果が最も高い画像信号について、第２の信号処理部１０３に出力するデータ量を削減することができるため、図６の期間８０７を短縮することができる。その結果、画像評価の単位とするフレーム数（Ｓ２０４で判定するフレーム数）を減らすことも条件によっては可能となる。この場合、より多くの評価結果が高い画像信号をいち早く記録したり表示したりことが可能になる。

また、本実施形態では、フレームメモリ６０２と第１の記憶回路１０８を独立して設ける構成で説明したが、各々の信号処理ブロックをバス構成にし、フレームメモリ６０２と第１の記憶回路１０８とを共通化してもよい。

本実施形態によれば、第１の信号処理部６１２と第２の信号処理部６１３とを有する画像処理装置６５０において、第１の信号処理部６１２を、撮像素子の出力データレートを第２の信号処理部６１３の処理データレートに適合させるための緩衝回路として用いる。そのため、画像処理装置６５０は、様々な出力レートの撮像素子に対応可能である。また、第１の信号処理部１０２において画像を評価し、蓄積した複数フレーム分の画像信号のうち、評価の高い画像信号については残りの画像信号よりも画質の低下が少ない符号化を行う（あるいは符号化しない）ようにした。そのため、第１の記憶回路１０８を効率的に利用しながら、評価の高い画像信号については符号化による画質の低下を抑制することができる。さらに、評価の高い画像信号については優先的に第１の信号処理部１０２から出力するようにしたので、優先的に第２の信号処理部１０３で処理され、撮影から記録完了もしくは表示までに要する時間を短縮することができる。

（その他の実施形態）
上述の実施形態では、第１の記憶回路１０８、第２の記憶回路１１８、フレームメモリ６０２、送信回路１０９、受信回路１１４、送信用アンテナ１１０、受信用アンテナ１１３を、画像処理装置の構成として説明した。しかし、これらの一部は全部は、画像処理装置の構成でなくてもよい。画像処理装置は少なくとも第１の信号処理部と第２の信号処理部を有せばよい。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…撮像素子、１０２、６１２…第１の信号処理部、１０３、６１３…第２の信号処理部、１０４…画像評価回路、１０５…出力順決定回路、１０６…第１のシステム制御部、１０８…第１の記憶回路、１１５…現像処理回路、１１６…第２のシステム制御部、１１８…第２の記憶回路、１５０、６５０…画像処理装置

Claims (7)

1. 撮像素子から画像信号を受け取る第１の信号処理手段と、
   前記第１の信号処理手段が出力する画像信号に画像処理を行う第２の信号処理手段と、を有する画像処理装置であって、
   前記第１の信号処理手段は、
   画像信号に対する評価値を求める評価手段と、
   所定の複数フレーム分の前記画像信号ごとに、前記評価値に基づいて１フレーム分の画像信号を選択する選択手段と、
   前記選択された画像信号については外部装置を介して前記第２の信号処理手段に出力し、選択されなかった画像信号については外部装置を介さずに前記第２の信号処理手段へ出力するように、前記所定の複数フレーム分の前記画像信号を前記第２の信号処理手段へ出力する順序を制御する制御手段と、を有し、
   前記第２の信号処理手段は、前記第１の信号処理手段が出力した画像信号を受信する受信手段を有し、
   前記第２の信号処理手段は、前記第１の信号処理手段が出力した画像信号のうち、前記受信手段が前記外部装置から受信した画像信号については画像処理を行わない、ことを特徴とする画像処理装置。
2. 前記第２の信号処理手段は、前記第１の信号処理手段から優先的に出力された画像信号について、優先的に記録手段または表示手段に出力することを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の信号処理手段は、前記第１の信号処理手段が出力した画像信号を撮影された順序に並び替えてから記録手段または表示手段に出力することを特徴とする請求項１に記載の画像処理装置。
4. 前記評価値は、露出、合焦度合い、主被写体の状態の１つ以上の観点から、前記画像信号が表す画像の質を評価するための指標であり、
   前記選択手段は、前記評価値に基づいて、最も良好と判定される画像信号を選択する、
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 撮像素子と、
   前記撮像素子の出力する画像信号を処理する、請求項１から４のいずれか１項に記載の画像処理装置と、
   を有することを特徴とする撮像装置。
6. 撮像素子から画像信号を受け取る第１の信号処理手段と、
   前記第１の信号処理手段が出力する画像信号に画像処理を行う第２の信号処理手段とを有する画像処理装置の制御方法であって、
   前記第１の信号処理手段が、
   画像信号に対する評価値を求める評価工程と、
   所定の複数フレーム分の前記画像信号ごとに、前記評価値に基づいて１フレーム分の画像信号を選択する選択工程と、
   前記選択された画像信号については外部装置を介して前記第２の信号処理手段に出力し、選択されなかった画像信号については外部装置を介さずに前記第２の信号処理手段へ出力するように、前記所定の複数フレーム分の画像信号を前記第２の信号処理手段へ出力する順序を制御する制御工程と、
   前記第２の信号処理手段が、前記第１の信号処理手段が出力した画像信号を受信する受信工程と、
   を有し、
   前記第２の信号処理手段は、前記第１の信号処理手段が出力した画像信号のうち、前記外部装置から受信した画像信号については画像処理を行わない、
   ことを特徴とする画像処理装置の制御方法。
7. コンピュータを、請求項１に記載の画像処理装置が有する各手段として機能させるためのプログラム。

Images