JP2020088663A - 撮像装置 - Google Patents

Abstract

【課題】動画から静止画を抜き出しやすいＵＩを提供すること。【解決手段】複数フレームとの画像差分が大きい場合は差分に色づけして切り出し１枚表示、画像差分が小さい場合は差分領域を並べて一覧表示する【選択図】図４

Description

本発明は、固体撮像素子を用いた撮像装置に関する。

近年のデジタルカメラにおいては、連写のコマ速が上がったり、動画の画素数が増えたことにより、連続的に撮影した複数のフレームから任意のフレームを選択する機会が増えている。

カメラ任せで被写体やシーン検出等によりベストショットを選択する機能もあるが、自分で選択したい場合もある。

自分で選択する場合は複数フレームのうち、候補画像を並べて表示し、その中から選択するのが一般的であるが、例えば医療画像では過去画像と最新画像を比較したい場合があり、特許文献１に記載のように過去画像と並べて表示したり、過去画像と最新画像との差分画像を一緒に並べるなどがある。

また、被写体の認識では特許文献２記載のように顔検出を行ない、顔領域を切り出して並べるなどがある。

特開２００８−５３６号公報 特開２０１１−１３０１１３号公報

しかしながら、ＰＣであればモニタを広く使えることもあり、拡大したり並べたりすることは容易だが、カメラ本体では表示領域が小さいこともあり、差分のある部分を拡大したり、色づけしてわかりやすく表示するような画像選択を補助する機能が求められている。

さらに、単に差分領域を表示領域に合わせて収めるだけでなく、着目する被写体と差分領域の関係により表示領域を効率的に使い分けたいというニーズもある。

上記の課題を解決するために、本発明に係る撮像装置は、請求項１に記載のとおり、撮像素子からの画像データを取得する撮像手段と、画像データを表示する表示手段と、複数の画像データの差分を演算する演算手段を有し、予め設定した閾値と比較して画像の差分領域の大小を判定するとともに、差分領域の大小に応じ画像データの表示方法を変更することを特徴とする。

本発明に係る撮像装置によれば、動画から静止画を抜き出す、あるいは複数画像から１枚の静止画を選択する際に、フレーム差分が分かりやすく表示されるため、所望のフレームを取得しやすくなる。

本実施形態の撮像装置の構成 本実施形態の撮像装置のうち、差分値を積分する回路図 第１の実施形態の動作を説明する図 第１の実施形態の動作フロー 第２の実施形態の動作を説明する図 第２の実施形態の動作フロー 第３の実施形態の動作を説明する図 第３の実施形態の動作フロー

以下、本発明を実施するための形態について、図面を参照しながら説明する。

図１において、１００は画像処理装置である。なお、本実施形態では画像処理装置１００の一例としてデジタルカメラの構成を示している。

１０はフォーカスレンズを含む撮影レンズ、１２は絞り機能を備える機械式シャッターである。１４は撮影レンズ１０及びシャッター１２などの光学系から入射される光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ（アナログ／デジタル）変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。１２の機械式シャッター以外にも、１８の撮像素子のリセットタイミングの制御によって、電子シャッタとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。また２０の画像処理回路によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行う。

得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して、ＡＦ（オートフォーカス）処理、ＡＥ（自動露光）処理、ＥＦ（フラッシュ調光）処理を行う。さらに、画像処理回路２０においてはＡＷＢ（オートホワイトバランス）処理も行っている。

さらに、画像処理回路２０は被写体検出回路を含む。被写体検出方法としてはパターンマッチング、特徴点抽出など、公知の方法を適用可能で特に限定されない。また、検出する被写体の例として本実施形態では顔とするが、公知の被写体検出方法を用いて他の被写体（被写体領域）を検出するものであってもよく、検出される被写体は限定されない。本実施形態では被写体検出回路は顔検出回路とし、検出結果の出力として顔領域の座標（領域情報）、目の座標などを出力する。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

２８はＴＦＴ、ＬＣＤ等から成る画像表示部であり、メモリ２０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３１はＦｌａｓｈＲＯＭ等で構成された不揮発性メモリである。システム制御回路５０が実行するプログラムコードは不揮発性メモリ３１に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッター１２を制御する露光制御手段であり、フラッシュ４８と連動することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

５０は画像処理装置１００全体を制御するシステム制御回路である。

６０、６２、６４、６６、７０及び７２は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、ＨＤＲ撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタースイッチＳＷ１で、シャッターボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。

６４はシャッタースイッチＳＷ２で、シャッターボタンの操作完了でＯＮとなる。フラッシュ撮影の場合、ＥＦ（フラッシュプリ発光）処理を行った後に、ＡＥ処理で決定された露光時間分、撮像素子１４を露光させる。

フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御手段４０により遮光することで、撮像素子１４への露光を終了させる。また、撮像素子１４から読み出した信号を記録媒体２００に書き込む記録処理までの一連の処理の動作開始を指示する。より具体的には、Ａ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２での圧縮を行う、などである。

６６は表示切替スイッチで、画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン等がある。またメニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等もある。

７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ７２ともいう。このズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御手段４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。

８６はアルカリ電池の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉイオン電池等の二次電池、ＡＣアダプター等からなる電源手段である。

９０はメモリカードやハードディスク等の記録媒体とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。

１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。

１１０は通信手段でＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能を有する。

１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。

記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。

２１０はメモリカードやハードディスク等の記録媒体である。

上述した画像処理装置１００内の各構成は、ハードで構成しても、その一部あるいは全部をソフトウェアモジュールとして構成しても良い。

図２は本実施形態の撮像装置のうち、差分値を積分する回路図である。

差分を算出するための第１のフレームと第２のフレームを入力画像とし、差分回路２０１にてフレーム差分を演算する。各画素ごとに得た差分値を積分回路２０２にて積分することにより２フレームの差分の積分値を得る。また、差分回路２０１にて得た差分を二値化回路２０３にて二値化し、積分回路２０４にて積分することにより差分がある画素数を取得する。

尚、積分においては全画素の積分をしてもよいが、複数のブロックに分割し、ブロック毎に積分値を取得することによりブロック毎に差分有無判定を行なってもよい。

＜第１の実施形態＞
図３は第１の実施形態の動作を説明する図である。

画像に対し差分領域の締める割合が大きいとき、縮小しすぎると差分を視認しにくい。そのため図３（ａ）のように１枚表示を行ない、差分領域に色づけすることにより人物の動きの差を認識しやすくする。これにより好みのポーズを選択するのに適した表示をする。

逆に、画像に対し差分領域の締める割合が小さいとき、図３（ｂ）のように差分を視認しやすくするために切り出すとともに拡大する。さらに複数フレームの差分を比較するために複数枚表示をすることにより、顔の表情の変化を選ぶ時に適した表示をする。

図４は第１の実施形態の動作フローである。

差分を算出するための第１のフレームと第２のフレームを入力画像とし、フレーム差分検出を行なう（４０１）。予め設定した閾値を用いて、フレーム差分の大小を判定し（４０２）、フレーム差分が大きい場合は差分領域に色づけを行ない（４０３）、差分領域が収まるように切出して（４０４）、１枚表示を行なう（４０５）。

４０２のフレーム差分の大小の判定において、フレーム差分が小さい場合は、差分領域が収まるように切出して（４０６）、画像比較を行ないたい画像が必要枚数揃ったかを判断し（４０７）、必要枚数揃っていれば一覧表示をする（４０８）。４０７にて必要枚数揃っていないと判断した場合は４０６にて必要枚数が揃うまで画像の切り出しを繰り返す。

＜第２の実施形態＞
図５は第２の実施形態の動作を説明する図である。

複数画像の差分情報を得るとともに、目や口などの顔のパーツの配置を考慮したパターンマッチングによる顔検出、及び画像の色輝度情報をもとに領域を区切り主要領域を検出する主被写体検出を用いて、それらの情報の大小関係により動作を変える。

図５（ａ）は顔領域よりも差分領域が大きい例であり、手足を含めた人物全体を把握したいために差分領域が収まるように表示する。あるいは顔領域ではなく主被写体領域が収まるように表示してもよい。

図５（ｂ）は顔領域が差分領域よりも大きい例であり、顔の表情を把握したいために差分領域で切り出す。あるいは顔全体の雰囲気を把握したい場合は差分領域よりもやや大きな領域として顔領域で切り出しをしてもよい。

さらに、シーンによっては差分領域と顔領域が重複しない場合があるが、その場合はそれらを包含するよう広めに領域設定して切り出す。

図６は第２の実施形態の動作フローである。

差分検出を行なう２画像のうち、１画像を用いて顔検出６０１を行なうとともに、主被写体検出６０２を行ない、顔領域と主被写体領域を得る。さらにフレーム差分検出６０３を行なうことにより差分領域を得る。

顔領域と差分領域の比較を行ない（６０４）、顔領域内に差分領域がある場合は切り出し枠を差分領域が収まるように設定し（６０５）、切り出し６０６、表示６０７を行なう。６０４にて顔領域と差分領域の比較を行ない顔領域内に差分領域がない場合は、差分領域と顔領域を包含する領域が収まるように切出し枠を設定し（６０８）、切り出し６０６、表示６０７を行なう。

＜第３の実施形態＞
図７は第３の実施形態の動作を説明する図である。

ユーザーが画像を選択する前の状態を図７（ａ）に示す。図７（ａ）は動画あるいは複数の静止画のうち、特徴的な異なる複数の画像を提示していることを示している。選択肢になり得る画像群のうち、ボールを足で扱っているシーン、走っているシーン、ボールを手で扱っているシーンを特徴的な画像として提示する。その際の画像選択の根拠となるのが画像差分であり、１枚目あるいは特定の画像との差分を選択肢になり得る画像群の画像分繰り返し取得する。それらの差分のうち差分が大きいと判断した画像を候補画像として提示する。ユーザーは複数の候補画像が提示された画面を見て、画像選択の候補として残したい画像を選択する。

ユーザーが画像を選択した後の状態を図７（ｂ）に示す。図７（ｂ）は動画あるいは複数の静止画のうち、似た特徴をもつ複数の画像を提示していることを示している。選択肢になり得る画像群のうち、ユーザーが走っているシーンを選択したことにより、走っているシーンと似た画像を候補画像として並べて提示している。具体的には、ユーザーが選択した画像を基準として差分を取得し、差分の小さい画像を候補画像として提示している。これにより走っているシーンにおいて、表情やポーズの違いで好みの画像を選択しやすい表示を行なっている。

図８は第３の実施形態の動作フローである。

再生画面や編集画面などの画像選択のフローに入ったら、画像差分が大きい画像を候補画像として一覧表示し（８０１）、ユーザーがそれらの候補画像のうち１画像を選択したかを判断し（８０２）、ユーザーが画像選択したと判断したら選択した画像と差分が小さい画像を候補画像として一覧表示する（８０３）。８０２にてユーザーが画像選択していない場合はユーザー選択がされるまで状態を保持する。

１００ 画像処理装置、１０ 撮影レンズ、１２ 機械式シャッター、
１４ 撮像素子、１６ Ａ／Ｄ変換器

Claims (8)

1. 撮像素子からの画像データを取得する撮像手段と、
   画像データを表示する表示手段と、
   複数の画像データの差分を演算する演算手段と、
   を有し、予め設定した閾値と比較して画像の差分領域の大小を判定するとともに、差分領域の大小に応じ画像データの表示方法を変更することを特徴とする撮像装置。
2. 差分領域が大きい場合は表示手段に１枚の画像データを表示し、差分領域が小さい場合は表示手段に複数の画像データを並べて表示することを特徴とする請求項１に記載の撮像装置。
3. 差分領域が大きい場合は表示手段に表示する画像データの差分領域に色づけして強調表示し、差分領域が小さい場合は表示手段に並べる画像データを差分領域を含むように切出して表示することを特徴とする請求項２に記載の撮像装置。
4. 撮像素子からの画像データを取得する撮像手段と、
   画像データを表示する表示手段と、
   複数の画像データの差分を演算する演算手段と、
   を有し、別途検出した着目被写体と差分領域の位置関係により画像データの表示方法を変更することを特徴とする撮像装置。
5. 着目被写体が差分領域に含まれる場合は差分領域を含むように切出して表示し、差分領域が着目被写体に含まれる場合は着目被写体を含むように切出して表示することを特徴とする請求項４に記載の撮像装置。
6. 着目被写体は顔検出により検出した顔であることを特徴とする請求項５に記載の撮像装置。
7. 着目被写体は主被写体検出により検出した主被写体であることを特徴とする請求項５に記載の撮像装置。
8. 撮像素子からの画像データを取得する撮像手段と、
   画像データを表示する表示手段と、
   複数の画像データの差分を演算する演算手段と、
   を有し、複数の画像データを並べて表示する際に、ユーザー選択が無い場合は差分が大きい画像データを並べて表示し、ユーザー選択があった場合は差分が小さい画像データを並べて表示することを特徴とする撮像装置。