JP2020123894A - 撮像装置、撮像方法及び撮像プログラム - Google Patents

Abstract

【課題】撮像画像中の特定の範囲についての画質改善処理を自動化し、特定の範囲を拡大して表示したり記録したりすることができる撮像装置を提供する。【解決手段】撮像装置１は、撮像画像を取得する撮像部２０と、ピントまたは画角を変更するユーザの行為を検出する行為検出部１４と、行為検出部によりピントまたは画角それぞれの調節限界を超えて撮像画像を拡大させようとする行為が検出されると、複数の撮像画像を利用して画質改善を行う画質改善部１１ａと、画質改善がなされた画像の拡大表示が可能な表示制御部１２を具備する。【選択図】図１

Description

本発明は、高解像度の画像の表示及び記録に好適な撮像装置、撮像方法及び撮像プログラムに関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮影機器）は、画像処理を駆使して、様々な撮影機能を備えている。この種の撮影機器においては、ズーム機能を備えているものが多い。ユーザのズーム操作に応答してズームレンズを光軸方向に進退させることで、光学的なズームが可能である。更に、撮像素子による撮像範囲中の一部の画像領域を切り出して出力する電子ズームを可能にした撮影機器も普及している。

また、光学ズーム及び電子ズームの両方の機能を備えた撮影機器においては、光学ズーム処理と電子ズーム処理とを連続的に行うものもある。電子ズームは、撮像範囲の一部を切り出して拡大するものであるので、光学ズームに比べて画質が劣化する。そこで、ユーザのズーム操作によって、先ず光学ズーム処理により高い解像度の画像を取得し、ズーム処理の限界点に到達すると、以後ズーム操作が限界点に維持されている期間、電子ズーム処理に切換えて画像を取得する装置もある。

この装置は、ユーザによる煩雑な表示切換え操作を不要にしながら、表示モードの自動的な切換えを可能にしている。また、画像の切換えを自動化する例として特許文献１の拡大観察装置がある。この装置においては、観察に必要な合成処理を行う際と、所望の部位を探す際とでは必要な画像が異なることから、これらの処理に対応した表示モードに自動的に切換えるようになっている。これにより、ユーザによる煩雑な表示切換え操作を不要にしている。

特開２０１５−１２７７７０号公報

しかしながら、特許文献１の技術等を利用することで、ズーム処理、表示モードの切換え等を自動化することはことは可能であるが、画質劣化を回避できるわけではなく、ユーザが望む画像を取得することができるとは限らないという問題があった。

本発明は、撮像画像中の特定の範囲についての画質改善処理を自動化し、当該特定の範囲を拡大して表示したり記録したりすることができる撮像装置、撮像方法及び撮像プログラムを提供することを目的とする。

本発明の一態様による撮像装置は、撮像画像を取得する撮像部と、ピントまたは画角を変更するユーザの行為を検出する行為検出部と、上記行為検出部により上記ピントまたは画角それぞれの調節限界を超えて撮像画像を拡大させようとする行為が検出されると、複数の撮像画像を利用して画質改善を行う画質改善部と、上記画質改善がなされた画像を拡大表示が可能な表示制御部とを具備する。

本発明の一態様による撮像方法は、撮像画像を取得し、ピントまたは画角を変更するユーザの行為を検出し、上記ピントまたは画角それぞれの調節限界を超えて撮像画像を拡大させようとする行為が検出されると、複数の撮像画像を利用して画質改善を行い、上記画質改善がなされた画像を拡大表示できることを示す表示をする。

本発明の一態様による撮像プログラムは、コンピュータに、撮像画像を取得し、ピントまたは画角を変更するユーザの行為を検出し、上記ピントまたは画角それぞれの調節限界を超えて撮像画像を拡大させようとする行為が検出されると、複数の撮像画像を利用して画質改善を行い、上記画質改善がなされた画像を拡大表示できることを示す表示をする手順を実行させる。

本発明の他の態様による撮像装置は、撮像画像を取得する撮像部と、連続して撮影された複数の撮像画像を利用して画質改善を行う画質改善部と、上記画質改善がなされた画像の取得が可能であることを判定する改善判定部とを具備する。

本発明の他の態様による撮像方法は、撮像画像を取得し、連続して撮影された複数の撮像画像を利用して画質改善処理を行い、上記画質改善処理により画質改善がなされた画像の取得が可能であることを判定する。

本発明の一態様による撮像プログラムは、コンピュータに、撮像画像を取得し、連続して撮影された複数の撮像画像を利用して画質改善処理を行い、上記画質改善処理により画質改善がなされた画像の取得が可能であることを判定する手順を実行させる。

本発明によれば、撮像画像中の特定の範囲についての画質改善処理を自動化し、当該特定の範囲を拡大して表示したり記録したりすることができるという効果を有する。

本発明の第１の実施の形態に係る撮像装置を示すブロック図である。 画素ずらし合成により高解像度画像が得られる原理を説明するための説明図である。 画素ずらし合成により高解像度画像が得られる原理を説明するための説明図である。 撮影の様子を示す説明図である。 図４の撮影によって得られる画像を示す説明図である。 特定行為直後の撮影の様子を示す説明図である。 図６の撮影によって得られる画像を示す説明図である。 実施の形態の動作を説明するためのフローチャートである。 本発明の第２の実施の形態を示すブロック図である。 推論エンジン部７１のネットワーク７２ａを説明するための説明図である。 撮像装置の制御を示すフローチャートである。 図１１中の画質改善判定フローの一例を示すフローチャートである。 外部機器８０の学習処理を示すフローチャートである。 表示部４１における表示例を示す説明図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る撮像装置を示すブロック図である。本実施の形態は、撮影範囲中からユーザが拡大を希望する画像範囲（以下、特定範囲という）を推定し、ユーザが特定範囲の画像の拡大を望んでいることを示すユーザ操作等の行為（以下、特定行為という）を検出すると、特定範囲について画質改善処理を施し、画質改善後の特定範囲の画像（以下、画質改善特定画像という）を拡大表示したり、画質改善特定画像の記録を行うものである。なお、撮影範囲中の特定範囲は、例えば、ズーム操作によって拡大される。そこで、ズーム操作を特定行為としてもよい。また、ユーザが撮像装置を被写体に近づける行為によって特定範囲の画像を拡大することができるので、ユーザが撮像装置を被写体に近づける行為も特定行為としてもよい。

本実施の形態においては、特に、光学ズーム処理による拡大限界又は合焦状態を維持できる最短撮影距離を超えて、特定範囲を拡大させようとするユーザの行為を特定行為として検出する例について説明するが、特定行為の検出はこれに限定されるものではない。

図１において、撮像装置１は、例えばデジタルカメラ等によって構成することができる。撮像装置１は、制御部１０、撮像部２０及び特定範囲推定部３０を備えている。制御部１０及び特定範囲推定部３０は、それぞれ、ＣＰＵやＦＰＧＡ等を用いたプロセッサによって構成されていてもよく、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。制御部１０は、撮像装置１の全体を制御する。

撮像部２０は、光学系２１及びＣＣＤやＣＭＯＳセンサ等の撮像素子２２を備えている。光学系２１は、ズームやフォーカシングのための図示しないレンズ等を備えている。光学系２１は、これらのレンズを駆動する図示しないズーム（変倍）機構、ピント及び絞り機構を備えており、制御部１０によって駆動制御されるようになっている。なお、光学系２１のレンズとしては、撮像部２０に取り付けられた固定のレンズであってもよく、また、交換式のレンズであってもよい。

撮像部２０は、制御部１０に制御されて、光学系２１を介して入射した光学像を撮像素子２２によって光電変換することで、撮像信号（撮像画像）を取得する。なお、撮像素子２２としては、像面位相差法においてデフォーカス量を求めるためのフォーカス制御用の画素を有するものであってもよい。撮像部２０は撮像画像を制御部１０に出力する。

本実施の形態においては、撮像部２０は、変位付与部２３を備えている。変位付与部２３は画素ずらしが可能である。なお、以下の説明では、画素ずらしとは、被写体の同一範囲が撮像素子の異なる画素範囲で撮像されるように、被写体光学像と被写体光学像が結像する撮像素子の撮像面との位置関係がずれることをいう。制御部１０の後述する画像処理部１１は、撮像素子２２の撮像面に光学系２１から入射する光を例えば１／２ピクセルだけずらして得た複数の撮像画像を合成（以下、画素ずらし合成ともいう）することで、高解像度の画像を得ることができる。変位付与部２３は、光学系２１又は撮像素子２２の少なくとも一方を光軸に対して垂直方向に駆動してずらすことで、画素ずらし合成のための複数の撮像画像を撮像素子２２に取得させることができるようになっている。

図２及び図３は画素ずらし合成により高解像度画像が得られる原理を説明するための説明図である。なお、図２及び図３の例は、左斜め上、右斜め上、左斜め下、右斜め下の４方向に画素をずらす例を示しているが、水平方向のみや垂直方向のみに画素ずらしを行う場合でも、高解像度画像が得られる。

図２の上段は撮像部２０における視野範囲中の所定の領域Ｒ１における被写体Ｓ１を示している。被写体Ｓ１は領域Ｒ１の大半を占める高輝度部Ｂ１と高輝度部Ｂ１を斜めに横切る直線上の低輝度部Ｌ１とを有する。図２の下段は、領域Ｒ１に対応する撮像素子２２の撮像面中の画素範囲Ｐｒ１を示しており、画素範囲Ｐｒ１は３×３画素で構成されていることを示している。図２の斜線で示した画素Ｐｌ１は、被写体Ｓ１中の低輝度部Ｌ１に対応した画素を示しており、無地の画素Ｐｂ１は、被写体Ｓ１中の高輝度部Ｂ１に対応した画素を示している。このように、直線上の低輝度部Ｌ１は、画素サイズに応じて階段状に撮影される。

図３は視野範囲Ｒ１の被写体Ｓ１を、矢印に示すように、上及び左方向に１／２画素ずつずらした画素範囲Ｐｒａ、上及び右方向に１／２画素ずつずらした画素範囲Ｐｒｂ、下及び左方向に１／２画素ずつずらした画素範囲Ｐｒｃ、下及び右方向に１／２画素ずつずらした画素範囲Ｐｒｄで撮像することを示している。

図３中の斜線の画素は、低輝度部Ｌ１に対応した画素を示し、無地の画素は高輝度部Ｂ１に対応した画素を示している。また、図３中の砂地模様の画素は、画素ずらしにより低輝度部Ｌ１に対応した画素から高輝度部Ｂ１に対応した画素に変化したことを示している。同一領域Ｒ１に対して１／２画素ずれて撮像が行われる結果、画素範囲Ｐｒａ，Ｐｒｂ，Ｐｒｃ，Ｐｒｄの画素値を合成することで、水平及び垂直方向に２倍の解像度の画像を得ることができる。

図３の画素範囲ＰＲは合成画像を示しており、撮像素子２２の１画素のサイズに、２×２画素の解像度を有する。例えば、領域Ｒ１の左上の１画素（合成後の２×２画素）は、画素範囲Ｐｒａ，Ｐｒｂ，Ｐｒｃ，Ｐｒｄを合成することで得られる。なお、１／２画素ずつ画素ずらしする例を説明したが、１／３画素、１／４画素、・・・等の画素ずらしを採用してもよい。

なお、図２及び図３の例は、同一の領域Ｒ１における被写体Ｓ１に変化がないものとして説明した。画素ずらし合成のためには、同一被写体について画素ずらしを行いながら連続的に複数回撮影する必要がある。このため、画素ずらし合成による画質改善は、風景等のように動きが小さい被写体に対して実施した方がよい。

また、上述した説明では、変位付与部２３によって、画素ずらしを行って撮影する例を説明したが、撮影時に手振れが生じている場合には、変位付与部２３による画素ずらしを行うことなく、視野範囲中の同一領域を撮像する画素範囲がずれる現象、即ち画素ずらしが生じる。そこで、変位付与部２３を省略し、撮影時の手振れによって生じる画素ずらしを利用して、画素ずらし合成を行うようになっていてもよい。

制御部１０は、撮像部２０に撮像素子２２の駆動信号を出力すると共に、撮像部２０からの撮像画像（動画像及び静止画像）を取込む。制御部１０の画像処理部１１は、取込んだ撮像画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

本実施の形態においては、画素ずらし合成等の画質改善処理のために、画像処理部１１には画質改善部１１ａが設けられている。画質改善部１１ａは、撮像部２０からの複数枚の撮像画像を用いて、例えば、画素ずらし合成処理によって、撮像画像の画質改善処理を行う。

制御部１０には記録制御部１３が設けられている。記録制御部１３は、信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部４４に与えて記録させることができる。記録部４４は、所定の記録媒体によって構成されて、制御部１０から与えられた情報を記録すると共に、記録されている情報を制御部１０に出力することができる。記録部４４としては、例えばカードインターフェースを採用することもでき、記録部４４はメモリカード等の記録媒体に画像情報等を記録可能である。また、記録制御部１３は、記録部４４に記録されている情報を読み出して利用させることができる。

また、制御部１０には、表示制御部１２が設けられている。表示制御部１２は、撮像部２０からの撮像画像や記録制御部１３からの再生画像が与えられて、これらの画像表示を表示部４１に対して行うことができる。また、表示制御部１２は、撮像装置１の操作を行うためのメニュー表示等を表示部４１に表示させることもできるようになっている。表示部４１は、例えば撮像装置１の筐体背面に設けられており、ＬＣＤ（液晶表示装置）等の表示画面を有している。

また、表示部４１の表示画面上には、図示しないタッチパネルが設けられていてもよい。タッチパネルは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部１０に供給される。これにより、制御部１０は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

撮像装置１には操作部４２が設けられている。操作部４２は、図示しないレリーズボタン、ファンクションボタン、撮影モード設定、パラメータ操作等の各種スイッチ、ダイヤル、ピント合わせ操作やズーム操作を受け付けるリング部材等を含み、ユーザ操作に基づく操作信号を制御部１０に出力する。制御部１０は、操作部４２からの操作信号に基づいて、撮像部２０を含む各部を制御するようになっている。例えば、制御部１０は、ピント合わせ操作が行われると、光学系２１を制御してピントを変更し、ズーム操作が行われると、光学系２１を制御して画角を変更する。

本実施の形態においては、特定行為を検出するために行為検出部１４が設けられている。行為検出部１４は、画角及びピントの調節限界を超えて、撮像画像を拡大させようとするユーザの行為を特定行為として検出するようになっている。例えば、操作部４２に圧力センサ等を設けることで、操作部４２に対するズーム操作が行われた場合において、ユーザが光学ズーム処理による拡大限界に到達した後においても所定時間拡大ズーム操作を継続したことを検出することが可能である。行為検出部１４は、このユーザの行為（操作）を特定行為として、操作部４２からの操作信号及び圧力センサの出力によって検出することができる。

また、撮像装置１に加速度センサや位置センサ等を含むセンサ部４３を設けてもよい。この場合には、センサ部４３の出力によって、撮像装置１が被写体に近づいているか否かを判定することができる。また、制御部１０は、像面位相差法を採用した測距や、撮像画像からコントラストを判定する山登り方式のフォーカス処理を利用した測距によって、撮像装置１が被写体に近づいていることを判定することができる。行為検出部１４は、被写体までの測距結果と、操作部４２の出力とに基づいて、例えば、ピントの調節限界である最短撮影距離を超えて、撮像装置１を被写体に近づけようとしているユーザの行為を特定行為として検出することができる。

本実施の形態においては、画質改善部１１ａは、行為検出部１４により特定行為が検出されると、画質改善処理を実行するようになっている。即ち、本実施の形態の画像改善処理は、調節限界を超えてでも撮像画像を拡大して表示したり記録したりしたいというユーザの要求時に、拡大画像の画質を向上させるようにするものである。ズームやピント合わせの調節限界を超えた画像の拡大処理は、視野範囲中の一部の画像を切出す処理となる。この場合において、本実施の形態においては、切出す範囲を特定範囲として推定し、当該特定範囲を自動的に拡大処理するようになっている。

このような特定範囲の推定のために、撮像装置１には特定範囲推定部３０が設けられている。特定範囲推定部３０は、シーン判定部３１、良好構図記憶部３２及び改善予測部３３を備えている。シーン判定部３１は、撮像画像に対する画像解析を行って、撮像画像のシーンを判定する。良好構図記憶部３２には、良好な構図と考えられる構図の例が記憶されている。例えば、良好構図記憶部３２には、シーン毎に良好な構図の例が記憶されている。特定範囲推定部３０は、撮像画像のシーンに応じて、良好構図記憶部３２を検索することで、現在の撮像画像について良好と考えられる構図を決定し、当該構図が得られる撮影範囲中の領域を特定範囲と推定する。

特定範囲推定部３０は、撮像画像中に、良好な構図として記憶された画像部分が含まれる場合には、当該画像部分を特定範囲と推定しても良い。また、例えば、特定範囲推定部３０は、公知の手法によって、撮像画像中の対象物を検出し、最も大きい対象物を含む画像部分や画面中央の対象物を含む画像部分や対象物中の最もピントが合っている対象物を含む画像部分等を特定範囲として推定してもよい。

特定範囲推定部３０は、推定した特定範囲の情報を制御部１０に出力する。画質改善部１１ａは、推定された特定範囲について、複数の撮像画像を用いた画素ずらし合成等の画質改善処理を行うようになっている。表示制御部１２は、画質改善処理が施された特定範囲の画像（画質改善特定画像）の部分を表示部４１の表示画面に拡大表示する。また、記録制御部１３は、撮像部２０からの撮像画像を記録すると共に、画質改善特定画像も記録するようになっている。

また、表示制御部１２は、拡大表示の前に、撮像画像中に特定範囲を示す枠表示等を表示するようになっていてもよい。また、表示制御部１２は、画質改善処理を実施することを示す表示を表示するようになっていてもよい。

画質改善判定部ともいえる改善予測部３３は、特定範囲についての画質改善結果を予測することができるようになっている。改善予測部３３の予測結果は制御部１０に与えられる。制御部１０は、改善予測部３３によって十分な画質改善結果が得られないと予測された場合には、画質改善処理に適さない画像であることを示す表示を表示してもよく、また、画質改善部１１ａによる画質改善処理及び表示制御部１２による拡大処理を行わないようにしてもよい。

次に、このように構成された実施の形態の動作について図４から図８を参照して説明する。図４は撮影の様子を示す説明図であり、図５は図４の撮影によって得られる画像を示す説明図である。図６は特定行為直後の撮影の様子を示す説明図であり、図７は図６の撮影によって得られる画像を示す説明図である。図８は実施の形態の動作を説明するためのフローチャートである。

本実施の形態における撮影機器１は、図４に示す筐体１ａ中に図１中の各回路が収納されており、筐体１ａの背面に表示部４１の表示画面４１ａが設けられている。ユーザ５１は、例えば、右手５２で筐体１ａを把持して、表示部４１の表示画面４１ａを見ながら被写体を視野範囲に捉えた状態で撮影を行う。また、筐体１ａの上面には、操作部４２を構成するレリーズスイッチ４２ａ及びダイヤル４２ｂが設けられている。

図８のステップＳ１において、制御部１０は、撮影モードが指定されているか否かを判定する。撮影モードが指定されていない場合には、制御部１０は、次のステップＳ７において、再生モードが指定されているか否かを判定する。撮影モードが指定されている場合には、制御部１０は、ステップＳ２において、画像入力を行う。即ち、制御部１０は、撮像部２０を制御して、ライブビュー画像を取り込む。制御部１０の表示制御部１２は、取り込んだライブビュー画像を表示部４１に与えて表示させる。

図５は、表示部４１の表示画面４１ａに表示されているライブビュー画像６１を示している。ライブビュー画像６１は、近景に町並み、遠景に「富士山」を含む視野範囲の撮像画像を示している。

本実施の形態においては、画像処理部１１は、画質改善処理のために、ライブビュー画像を記録制御部１３に与えて、記録部４４に仮記録させるようになっている。なお、この仮記録では、画質改善処理に必要な枚数のライブビュー画像のみを記録すればよい。

次のステップＳ３において、行為検出部１４は、ユーザの行為を検出する。行為検出部１４は、ズーム操作や撮像装置１を被写体に近づける行為等を検出する。また、行為検出部１４は、光学ズーム処理による拡大限界又は合焦状態を維持できる最短撮影距離を超えて、特定範囲を拡大させようとするユーザの行為を特定行為として検出している。なお、特定範囲については、特定範囲推定部３０により常時検出処理が行われている。

即ち、特定範囲推定部３０には、ライブビュー画像が与えられている。特定範囲推定部３０のシーン判定部３１は、ライブビュー画像に基づいてシーンを判定して、現在のシーンについて良好な構図を良好構図記憶部３２から読み出す。シーン判定部３１は、画像解析によって、ライブビュー画像中から、読み出した構図に対応する構図に対応する部分を特定し、その領域を特定範囲と推定する。シーン判定部３１は、特定範囲の推定結果を制御部１０に出力する。例えば、図５の例では、「富士山」の画像部分が特定範囲であるものと推定される。なお、制御部１０は、ユーザの行為が検出されない場合には、処理をステップＳ５に移行する。

いま、ユーザ５１が図示しないズームリングやズームレバーを操作して、光学ズーム処理によるズーム操作を行うものとする。制御部１０は、ステップＳ１３において、画質改善で対応が必要か否かを判定する（ステップＳ１２）。ユーザ操作によるズーム処理が調節限界に到達していない場合には、画質改善による対応は不要であり、制御部１０は、ユーザ操作に対応した撮影パラメータを設定して、ステップＳ５に移行する。画質改善による対応が必要である場合、即ち、行為検出部１４により特定行為が検出されると、処理はステップＳ１２からステップＳ１４に移行する。

例えば、ユーザ５１が撮影範囲中の特定の部分を比較的大きな拡大率で拡大することを希望する場合がある。図５はユーザ５１が光学ズーム処理による拡大限界までズーム操作を行った状態における撮像画像を示している。しかし、図５の例では、拡大率が十分ではなく、ユーザ５１が十分に拡大して撮影したいであろうと推定される「富士山」の画像部分は、画像からその様子を詳細に確認できる状態ではない。このような場合には、ユーザ５１は、光学ズーム処理の限界を超えてなおズーム操作を継続する。

行為検出部１４は、このようなユーザ５１の操作を特定行為として検出する。なお、ユーザ５１が特定範囲の画質改善処理を行うモードをダイヤル４２ｂ等によって直接指定するようになっていてもよい。

行為検出部１４が特定行為を検出すると、ステップＳ１４において画質改善処理の一例である超解像処理が行われる。

なお、改善予測部３３は、画質改善予測を行って制御部１０に出力している。制御部１０は、改善予測部３３の予測結果により、画質改善が期待できないと判定した場合には、特定行為が検出された場合でも、処理をステップＳ１２からステップＳ５に移行して、画質改善を行わないようになっていてもよい。また、表示制御部１２は、特定範囲についての画質改善処理が可能であると判定された場合には、当該特定範囲を示す枠表示６２をライブビュー画像６１中に表示してもよい。

画質改善部１１ａは、変位付与部２３を制御しながら、特定範囲を含む所定領域について画素ずらしにより得られた複数の撮像画像を用いて、画像ずらし合成処理を行って、解像度を向上させた合成画像である画質改善特定画像を得る。表示制御部１２は、画質改善特定画像を表示部４１に与えて表示画面４１ａに拡大表示させる（ステップＳ１５）。ただし、突然拡大されると困惑する場合があり、拡大できる旨を表示し、ユーザ操作を経てから拡大してもよい。

図６はこの場合においてユーザ５１の撮影の様子を示している。ユーザ５１は、拡大限界を超えてなおズーム操作を継続させるという操作のみを行う。これにより、自動的に推定された特定範囲である「富士山」の画像部分について、画質改善が施されて表示画面４１ａ上に拡大表示される。

図７は表示画面４１ａに表示された画質改善特定画像６５を示している。図７の画質改善特定画像６５は、特定範囲である「富士山」の画像部分が超解像処理されており、図５のライブビュー画像６１との比較から明らかなように画質が改善され、特定範囲における様子を詳細に確認することが可能である。

なお、上記説明では、変位付与部２３による画素ずらしを採用する例を説明したが、手振れによって得た撮像画像を用いて画素ずらし合成を行ってもよい。なお、画素ずらし合成は、画素ずらしのずれ量が複数の方向で同一である必要がある。従って、手振れによる画素ずらしでは、画素ずらし合成に必要な複数の撮像画像の全ての取得にはある程度の時間が必要な場合がある。従って、手振れによって得た撮像画像を用いた画素ずらし合成では、特定範囲の各部の解像度が次第に高くなる画質改善特定画像が得られるものと考えられる。

制御部１０は、ステップＳ５において、撮影操作が行われたか否かを判定する。撮影操作が行われると、制御部１０は、ステップＳ６において、撮像部２０から撮像画像を取得し、取得した撮像画像を画像処理した後、記録制御部１３によって記録部４４に記録する。

また、制御部１０は、ステップＳ１５の次のステップＳ１６において、撮影操作が行われたか否かを判定する。撮影操作が行われると、制御部１０は、ステップＳ１７において、変位付与部２３による画素ずらしを利用して撮像部２０から複数枚の撮像画像を取得し、取得した撮像画像を画素ずらし合成した後、記録制御部１３によって記録部４４に記録する。なお、ステップＳ１７では、画素ずらしにより新たに複数枚の撮像画像を取得して超解像処理する例を説明したが、表示用として既に取得されている画質改善特定画像６５をそのまま記録部４４に記録するようになっていてもよい。

制御部１０は、ステップＳ５，Ｓ１６において撮影操作が行われていないと判定した場合には、処理をステップＳ１に戻す。また、制御部１０は、ステップＳ７において、再生モードが指定されていないと判定した場合にも処理をステップＳ１に戻す。

制御部１０は、ステップＳ７において再生モードが指定されているものと判定すると、次のステップＳ８において、既に記録されている画像を記録部４４から読出して、表示部４１に与えて一覧表示させる。この場合には、制御部１０は、記録されている各コマが画質改善された画像であるか否かを判定してもよい。制御部１０は、次のステップＳ９において、画質改善されていると判定されたコマについて一覧表示中の表示を強調表示する。制御部１０は、画質改善されていると判定されたコマについての再生が指示されると、指定されたコマを拡大して再生表示する（ステップＳ１０）。ただし、突然拡大されると困惑する場合があり、拡大できる旨を表示し、ユーザ操作を経てから拡大してもよい。なお、画質改善されていないコマについては、通常の再生表示を行う。制御部１０は、終了操作が行われたか否かを判定し（ステップＳ１１）、終了操作が行われると処理をステップＳ１に戻し、終了操作が行われない場合には処理をステップＳ８に戻す。

なお、上記説明では、ズーム操作により特定行為を検出する例を説明したが、ピント合わせの調節限界を超えたことにより特定行為を検出してもよい。例えば、ユーザがマクロ撮影を行う場合には、合焦状態を維持した状態で、撮像装置１を、合焦状態を維持できる最短撮影距離まで被写体に近づけようとすることがある。この場合には、行為検出部１４は、ステップＳ３において、このような行為を特定行為として、撮像画像のコントラストの状態や被写体距離等から検出するようになっていてもよい。この場合には、特定範囲についての画質改善処理が可能である場合には当該特定範囲を示す枠表示６２は、ユーザが撮影を希望する特定範囲の被写体に最短撮影距離まで近づいたことも示す表示にもなる。ユーザは枠表示６２が表示された位置において撮像装置１を僅かに前後させることで、特定範囲を合焦させた状態の拡大画像（画質改善特定画像）を得ることができる。

このように構成された実施の形態においては、撮影範囲中から特定範囲を推定し、調節限界を超えて特定範囲の画像を拡大しようとする特定行為を検出すると、特定範囲について画質改善処理を施し、画質改善特定画像を拡大表示したり、記録を行ったりするようになっている。特定行為は、ユーザのズーム操作等によって検出される。これにより、ユーザは、通常のズーム操作を行うのみによって、自分が希望する特定範囲の画像部分が自動的に画質改善されて拡大表示されることになる。これにより、光学ズームのズーム限界を超えた画像を高画質で表示や記録することができる。しかも、ユーザは自分が拡大を希望する画像部分を指定する操作を行うことなく、自動的にその画像部分が推定されて拡大表示されるので、極めて利便性に優れている。

（第２の実施の形態）
図９は本発明の第２の実施の形態を示すブロック図である。図９において図１と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は特定範囲についての画質改善処理によって、画質改善効果が得られるか否かの予測を人工知能（ＡＩ）を用いて推論するものである。また、そのような推論のための推論エンジンの構築を可能にするものである。

図９の撮像装置７０は、被写体を撮像して得た画像を記録する。撮像装置７０としては、デジタルカメラやビデオカメラだけでなく、スマートフォンやタブレット端末に内蔵されるカメラを採用してもよい。撮像装置７０は、後述するように、ライブビュー表示時に推論モデルを利用することができるようになっているが、撮像装置７０は予め搭載されている推論モデルを用いてもよく、また、外部機器８０から推論モデルを取得するようになっていてもよい。

撮像装置７０には通信部７４が設けられている。通信部７４は、制御部１０に制御されて、外部機器８０との間で情報を送受することができるようになっている。通信部７４は、例えば、ブルートゥース（登録商標）等の近距離無線による通信及び例えば、Ｗｉ−Ｆｉ（登録商標）等の無線ＬＡＮによる通信が可能である。なお、通信部７４は、ブルートゥースやＷｉ−Ｆｉに限らず、各種通信方式での通信を採用することが可能である。制御部１０は、通信部７４を介して、外部機器８０から推論モデルの情報を受信することができる。

撮像装置７０には、記録部７３が設けられている。記録部７３は、画像データ記録領域７３ａを有しており、制御部１０は、画像データを画像データ記録領域７３ａに記録するようになっている。また、制御部１０は、記録部７３に記録されている情報を読み出して再生することも可能である。

なお、記録部７３は、種別情報記録領域７３ｂを有している。種別情報記録領域７３ｂには画像データが画素ずらし合成によって合成された画像であるか、通常の画像であるか等の画像種別の情報が記録される。

本実施の形態においては、撮像装置７０には、推論モデルを構成する推論エンジン部７１が設けられている。推論エンジン部７１は、記憶部７２を有しており、記憶部７２にはネットワーク７２ａを構築するための情報が記憶されている。ネットワーク７２ａは、記憶部７２に記録されている設定値を用いて構築されており、機械学習における学習が完了することによって得られるネットワーク、即ち、推論モデルを構成する。

記録制御部１３は、通信部７４を介して、外部機器８０である学習部８１から推論モデルを構成するための情報を受信して、記憶部７２に設定情報を記録することができるようになっていてもよい。

図１０は推論エンジン部７１のネットワーク７２ａを説明するための説明図である。図１０において、所定のネットワークＮ１には入力及び出力に対応する大量の画質改善用の画像ＰＧが教師データとして与えられる。これにより、ネットワークＮ１は、入力に対応する出力が得られるように、ネットワークデザインが決定される。本実施の形態においては、入力として画質改善に用いる連続した複数の画像が用いられ、出力として画質改善可能であるか否かの判定結果が得られる。ネットワークＮ１の決定されたネットワークデザインの情報が記憶部７２に設定情報として記録される。

なお、深層学習（ディープ・ラーニング）」は、ニューラル・ネットワークを用いた「機械学習」の過程を多層構造化したものである。情報を前から後ろに送って判定を行う「順伝搬型ニューラル・ネットワーク」が代表的なものである。これは、最も単純なものでは、Ｎ１個のニューロンで構成される入力層、パラメータで与えられるＮ２個のニューロンで構成される中間層、判別するクラスの数に対応するＮ３個のニューロンで構成される出力層の３層があればよい。そして、入力層と中間層、中間層と出力層の各ニューロンはそれぞれが結合加重で結ばれ、中間層と出力層はバイアス値が加えられることで、論理ゲートの形成が容易である。簡単な判別なら３層でもよいが、中間層を多数にすれば、機械学習の過程において複数の特徴量の組み合わせ方を学習することも可能となる。近年では、９層〜１５２層のものが、学習にかかる時間や判定精度、消費エネルギーの関係から実用的になっている。

機械学習に採用するネットワークＮ１としては、公知の種々のネットワークを採用してもよい。例えば、ＣＮＮ（Convolution Neural Network）を利用したＲ−ＣＮＮ（Regions with CNN features）やＦＣＮ（Fully Convolutional Networks）等を用いてもよい。これは、画像の特徴量を圧縮する、「畳み込み」と呼ばれる処理を伴い、最小限処理で動き、パターン認識に強い。また、より複雑な情報を扱え、順番や順序によって意味合いが変わる情報分析に対応して、情報を双方向に流れる「再帰型ニューラル・ネットワーク」（全結合リカレントニューラルネット）を利用してもよい。

これらの技術の実現のためには、ＣＰＵやＦＰＧＡ（Field Programmable Gate Array）といったこれまでの汎用的な演算処理回路などを使ってもよいが、ニューラル・ネットワークの処理の多くが行列の掛け算であることから、行列計算に特化したＧＰＵ（Graphic Processing Unit）やTensor Processing Unit（TPU）と呼ばれるものが利用される場合もある。近年ではこうした人工知能（ＡＩ）専用ハードの「ニューラル・ネットワーク・プロセッシング・ユニット（ＮＰＵ）」がＣＰＵなどその他の回路とともに集積して組み込み可能に設計され、処理回路の一部になっている場合もある。

また、深層学習に限らず、公知の各種機械学習の手法を採用して推論モデルを取得してもよい。例えば、サポートベクトルマシン、サポートベクトル回帰という手法もある。ここでの学習は、識別器の重み、フィルター係数、オフセットを算出するもので、他には、ロジスティック回帰処理を利用する手法もある。機械に何かを判定させる場合、人間が機械に判定の仕方を教える必要があり、今回の実施例では、画像の判定を、機械学習により導出する手法を採用したが、そのほか、特定の判断を人間が経験則・ヒューリスティクスによって獲得したルールを適応するルールベースの手法を応用して用いてもよい。

外部機器８０は、このようなネットワークデザインの決定を行う学習部８１と大量の学習用データを記録した外部画像データベース（ＤＢ）部８２を有している。学習部８１は通信部８１ｄを有しており、外部画像ＤＢ部８２は通信部８３を有している。通信部８１ｄ，８３は相互に通信が可能である。なお、学習部８１の通信部８１ｄは通信部７４の間でも通信が可能である。

学習部８１は、制御部８１ｇを有しており、制御部８１ｇは、ＣＰＵ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。なお、学習部８１全体が、ＣＰＵ、ＧＰＵ、ＦＰＧＡ等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して学習を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。

外部画像ＤＢ部８２は、画像分類記録部８４を備えている。画像分類記録部８４は、ハードディスクやメモリ媒体等の図示しない記録媒体により構成されており、複数の画像を画像中に含まれる対象物の種類毎に分類して記録する。図９の例では、画像分類記録部８４は、サンプル画像群８５を有しており、サンプル画像群８５には、類似部分が多く画素ずらし合成による画質改善に利用可能な複数の連続画像８６ａ、…が含まれる。また、サンブル画像群８５として、類似部分が少なく画素ずらし合成による画質改善に向かない連続画像８６ｂを保持する。

学習部８１の母集合作成部８１ａは、外部画像ＤＢ部８２から画像を読出して、学習の元となる母集合を作成する。出力設定部８１ｂは、制御部８１ｇに制御されて、推論の結果得られるべき出力を設定して、母集合から推論モデルの生成に用いる教師データを作成する。

即ち、教師データとしては、画質改善に利用できる連続画像と、画質改善に利用できない連続画像とが用いられる。出力としては、入力された連続画像について、画面中の所定領域について画質改善が可能であるか否かを示す情報が信頼性の情報と共に得られるように、教師データが作成される。なお、出力に、特定範囲を示す情報（枠情報）が含まれるようにすることも可能である。
つまりここで得られるのは、同じ対象物に対して、撮像画像を取得する撮像部から得られた連続（厳密に連続でなく、何枚か飛ばしてもよい）して撮影された複数の撮像画像を利用して画質改善を行う画質改善部のために、上記画質改善を行うのに相応しい複数画像の取得が可能であることを判定するための画質改善判定部用の推論モデルとなっている。前述のように、上記改善判定部は、画質改善が可能な複数の画像の組み合わせと、画質改善が不可能な複数の画像の組み合わせを教師データとして学習した推論モデルによって判定する。これは、連続して得られる画像は時間間隔が短いのであまり対象物が変化せず、撮影画像数が多いと、画質改善に使えるものがある確率も高まり、ロジカルに判定する時間によってチャンスを逃す可能性があることから、推論モデルで高速の判定を行っている。もちろん、ロジックベースの判定を補助、介在させてもよい。

入出力モデル化部８１ｃは、大量の教師データにより期待される出力が得られるように、ネットワークデザインを決定し、その設定情報を求める。制御部８１ｂは、この設定情報を通信部８１ｄ，７４を介して撮像装置７０に出力する。こうして、撮像装置７０の推論エンジン部７１が構築される。

次に、このように構成された実施の形態の動作について図１１から図１４を参照して説明する。図１１は撮像装置の制御を示すフローチャートである。図１１において図８と同一の手順には同一符号を付して説明を省略する。図１２は図１１中の画質改善判定フローの一例を示すフローチャートであり、図１３は外部機器８０の学習処理を示すフローチャートである。図１４は表示部４１における表示例を示す説明図である。

本実施の形態においては、制御部１０は、図１１のステップＳ１２において、行為検出部１４により特定行為が検出されて画質改善による対応が必要であると判定した場合には、次のステップＳ４１において、画質改善が可能であるか否かについて画質改善判定処理を実行する。

推論エンジン部７１は、記憶部７２に記憶された情報に基づいて、画質改善が可能であるか否かの判定のためのネットワーク７２ａを構築している。推論エンジン部７１は、ステップＳ４１において、撮像部２０からの動画像（連続画像）が与えられて、入力された動画像中の特定範囲について、例えば、画素ずらし合成による画質改善が可能であるか否かの判定を行って、判定結果を制御部１０に出力する。

また、本実施の形態においては、推論エンジン部７１による画質改善判定処理に代えて、図１２のフローチャートに従った画質改善判定処理を実施してもよい。

図１２のステップＳ２０において、制御部１０は、入力された撮像画像中の特定範囲を対象とする。制御部１０は、画像解析により、時間的に近接した画像、例えば、連続して入力される複数の画像（連続画像）中に特定範囲の画像部分と類似する画像部分が存在するか否かを判定する（ステップＳ２１）。

類似する画像部分が存在する場合には、制御部１０は、次のステップＳ２２において、当該画像に特定範囲の画像部分と１／２画素だけずれた画像部分が存在するか否かを判定する。これにより、制御部１０は、当該画像が画素ずらし合成による画質改善に利用可能であるか否かを判定する。

制御部１０は、画質改善に利用可能である場合には、その画像を用いて特定範囲について画素ずらし合成を行って（ステップＳ２３）、次のステップＳ２４に進む。なお、画像によっては、特定範囲だけでなく、画像全体について画質改善処理を実行するようになっていてもよい。制御部１０は、ステップＳ２２において１／２画素だけずれた画像部分が存在しない画像については画質改善に採用せず処理をステップＳ２４に移行する。

制御部１０は、ステップＳ２４において特定範囲についての画質改善処理が完了したか否かを判定する。画質改善処理が完了していない場合には、制御部１０は、処理をステップＳ２５に移行して次の画像を選択して、処理をステップＳ２１に戻す。以後、ステップＳ２１〜Ｓ２５を繰り返すことで画質改善処理を実行する。

制御部１０は、ステップＳ２４において特定範囲についのて画質改善処理が完了したものと判定すると、次のステップＳ２９において、画質改善可能判定を行うと共に、当該特定範囲の情報を出力する。更に、制御部１０は、画質改善に用いた画像群を教師データ化する。

また、制御部１０は、ステップＳ２１において、複数の連続画像中に類似する画像部分が存在しないものと判定した場合には、これらの画像を用いた画質改善処理はできないので、ステップＳ２６に移行して画質改善に利用可能な画像（補足画像）を検索する。例えば、制御部１０は、通信部７４，８３を介して外部画像ＤＢ部８２にアクセスし、特定範囲の画像部分に類似する画像部分を有する画像の検索を行う。制御部１０は、次のステップＳ２７において、画質改善に利用可能な画像部分を有する連続画像が存在するか否かを判定する。

制御部１０は、画質改善に利用できる連続画像が存在する場合には、これらの連続画像を受信して、受信した連続画像を用いた画質改善を行う。即ち、制御部１０は、受信した連続画像を用いてステップＳ２１〜Ｓ２５の処理を繰り返す。

一方、制御部１０は、ステップＳ２７において、画質改善に利用できる連続画像が存在しないと判定した場合には、画質改善無理判定を行って（ステップＳ２８）、処理をステップＳ３０に移行する。制御部１０は、ステップＳ２１において画質改善に利用できないと判定した連続画像については、画質改善に利用できない連続画像として教師データ化する（ステップＳ３０）。制御部１０は、画質改善に利用できる教師データ及び画質改善に利用できない教師データを、通信部７４，８３を介して外部画像ＤＢ部８２に送信する。

このように、図１２の例によれば、画質改善の判定が可能であると同時に、画質改善判定処理に用いる教師データを作成することが可能である。

図１１のステップＳ４２において、制御部１０は、画質改善可能であると判定されたか否かを判定する。制御部１０は、ステップＳ４１における画質改善判定処理だけでなく、連続画像の各種情報を用いて画質改善可能であるか否かを判定する。例えば、所定値以上の輝度を有していない連続画像については、画質改善不能であると判定してもよい。この場合には、制御部１０は、ステップＳ４６において、例えば絞り等の撮影パラメータを変更して処理をステップＳ１に戻す。制御部１０は、画質改善が可能であると判定した場合には、処理をステップＳ４３に移行して、特定範囲の枠表示を行う。

図１４は表示部４１の表示画面４１ａの表示の変化を示している。図１４の上段は、表示画面４１ａに表示されているライブビュー画像６０を示している。ライブビュー画像６０は、近景に町並み、遠景に「富士山」を含む視野範囲の撮像画像である。制御部１０は、特定範囲について画質改善が可能であると判定すると、推論エンジン部７１から特定範囲の情報が与えられるか又は図１２のフローによって特定範囲の情報を取得することで、枠表示６２を含むライブビュー画像６１を表示する（図１４の中段）。この枠表示６２によって、ユーザは、「富士山」の画像部分について、通常の光学ズームのズーム限界を超えた超解像処理等の画質改善処理が可能であることを認識することができる。

なお、図１１の例では、ユーザが特定行為を行った後に、画質改善が可能であるか否かを判定して枠表示６２を表示する例を説明したが、特定行為を行う前に画質改善が可能な特定範囲について枠表示を表示するようになっていてもよい。

制御部１０は、画質改善が可能な場合には、画質改善を行って画質改善特定画像を自動的に表示画面４１ａに拡大表示してもよいが、拡大表示について事前にユーザに問い合わせてもよい。図１１の例では、制御部１０は、ステップＳ４４において、拡大表示してもよいか否かの確認表示を表示画面４１ａに表示する（図示省略）。これは、突然拡大されると困惑する場合があるという理由からである。ユーザは拡大表示を希望する場合には、そのための操作を行う。すると、制御部１０の表示制御部１２は、ステップＳ４５において、表示画面４１ａ上の例えば全面に図１４の下段に示す画質改善特定画像６５を表示する。

図１１のステップＳ１において撮影モードが指定されていない場合には、制御部１０は、次のステップＳ４においてモデルメンテナンスが指定されているか否かを判定する。モデルメンテナンスが指定されていない場合には、制御部１０は、次のステップＳ７に移行する。モデルメンテナンスが指定されている場合には、制御部１０は、図１３のメンテナンスフローを指示する。

外部機器８０の制御部８１ｇは、撮像装置７０から推論エンジンのメンテナンスの指示を受けると、図１３のステップＳ６０において、教師データ母集合の再設定を行う。制御部８１ｇは母集合の再設定を行った後、複数画像合成と改善度合いについて教師データ化する（ステップＳ６１）。次に、制御部８１ｇは、入出力モデル化部８１ｃによりモデル化を行う。即ち、入出力モデル化部８１ｃは、ステップＳ６２において、教師データを読出して学習を行い、推論モデルを作成する。入出力モデル化部８３ｃは、次のステップＳ６３おいて、練習問題を設定して、作成した推論モデルの検証を行う。入出力モデル化部８１ｃは、連続画像の合成により改善度合いの信頼性が所定の値以上であるか否かを判定する。所定の値以上の場合には、入出力モデル化部８３ｃは、正しく推論モデルが生成されたものと判定して、当該推論モデルを通信部８１ｄを介して撮像装置７０に送信して、記憶部７２に記憶させる（ステップＳ６４）。

入出力モデル化部８１ｃは、信頼性が所定値以上でない場合には、ステップＳ６３から処理をステップＳ６５に移行して、学習母体の再設定等を行った後、処理をステップＳ６２に戻す。

このように本実施の形態においては、第１の実施の形態と同様の効果が得られると共に、画質改善効果が得られるか否かの予測を行うことが可能である。また、この予測を人工知能（ＡＩ）を用いて推論することができると共に、この推論に用いる推論エンジンの構築のための教師データを作成可能である。

上記実施の形態においては、撮像のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

なお、ここで説明した技術のうち、主にフローチャートで説明した制御に関しては、プログラムで設定可能であることが多く、記録媒体や記録部に収められる場合もある。この記録媒体、記録部への記録の仕方は、製品出荷時に記録してもよく、配布された記録媒体を利用してもよく、インターネットを介してダウンロードしたものでもよい。

なお、実施例中で、「部」（セクションやユニット）として記載した部分は、専用の回路や、複数の汎用の回路を組み合わせて構成してもよく、必要に応じて、予めプログラムされたソフトウェアに従って動作を行うマイコン、ＣＰＵなどのプロセッサ、あるいはＦＰＧＡなどシーケンサを組み合わせて構成されてもよい。また、その制御の一部または全部を外部の装置が引き受けるような設計も可能で、この場合、有線や無線の通信回路が介在する。通信は、ブルートゥースやＷｉＦｉ、電話回線などで行えばよく、ＵＳＢなどで行っても良い。専用の回路、汎用の回路や制御部を一体としてＡＳＩＣとして構成してもよい。

１…撮像装置、１０…制御部、１１…画像処理部、１１ａ…画質改善部、１２…表示制御部、１３…記録制御部、１４…行為検出部、２０…撮像部、２１…光学系、２２…撮像素子、２３…変位付与部、３０…特定範囲推定部、３１…シーン判定部、３２…良好構図記憶部、３３…改善予測部、４１…表示部、４２…操作部、４３…センサ部、４４…記録部。

Claims (15)

1. 撮像画像を取得する撮像部と、
   ピントまたは画角を変更するユーザの行為を検出する行為検出部と、
   上記行為検出部により上記ピントまたは画角それぞれの調節限界を超えて撮像画像を拡大させようとする行為が検出されると、複数の撮像画像を利用して画質改善を行う画質改善部と、
   上記画質改善がなされた画像を拡大表示が可能な表示制御部と
   を具備することを特徴とする撮像装置。
2. 上記撮像画像中からユーザが拡大を希望する特定範囲を推定する特定範囲推定部を更に具備し、
   上記画質改善部は、上記特定範囲について画質改善を行う
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記画質改善の効果を判定する改善予測部
   を更に具備することを特徴とする請求項１に記載の撮像装置。
4. 上記特定範囲推定部は、
   構図を記憶する構図記憶部と、
   上記撮像画像のシーンを判定し、判定したシーンについて上記構図記憶部に記憶された構図を参照して、上記特定範囲を判定するシーン判定部と
   を具備することを特徴とする請求項２に記載の撮像装置。
5. 上記行為検出部は、光学ズームのズーム処理の調節限界に到達後に所定時間拡大ズーム操作が行われたことを検出する
   ことを特徴とする請求項１に記載の撮像装置。
6. 上記行為検出部は、ピントの調節限界に到達後に上記撮像部を被写体に近接させる行為を検出する
   ことを特徴とする請求項１に記載の撮像装置。
7. 上記画質改善部は、上記撮像部からの複数の撮像画像に対する画素ずらし合成処理によって画質改善を行う
   ことを特徴とする請求項１に記載の撮像装置。
8. 上記改善予測部は、
   機械学習によって生成された推論モデルを用いて、上記画質改善の効果を判定する
   ことを特徴とする請求項３に記載の撮像装置。
9. 上記推論モデルは、上記画質改善部が画質改善に用いた複数の撮像画像を教師データとして生成される
   ことを特徴とする請求項８に記載の撮像装置。
10. 撮像画像を取得し、
    ピントまたは画角を変更するユーザの行為を検出し、
    上記ピントまたは画角それぞれの調節限界を超えて撮像画像を拡大させようとする行為が検出されると、複数の撮像画像を利用して画質改善を行い、
    上記画質改善がなされた画像を拡大表示できることを示す表示をする
    ことを特徴とする撮像方法。
11. コンピュータに、
    撮像画像を取得し、
    ピントまたは画角を変更するユーザの行為を検出し、
    上記ピントまたは画角それぞれの調節限界を超えて撮像画像を拡大させようとする行為が検出されると、複数の撮像画像を利用して画質改善を行い、
    上記画質改善がなされた画像を拡大表示できることを示す表示をする
    手順を実行させるための撮像プログラム。
12. 撮像画像を取得する撮像部と、
    連続して撮影された複数の撮像画像を利用して画質改善を行う画質改善部と、
    上記画質改善がなされた画像の取得が可能であることを判定する改善判定部と
    を具備することを特徴とする撮像装置。
13. 上記改善判定部は、画質改善が可能な複数の画像の組み合わせと、画質改善が不可能な複数の画像の組み合わせを教師データとして学習した推論モデルによって判定する
    ことを特徴とする請求項１２に記載の撮像装置。
14. 撮像画像を取得し、
    連続して撮影された複数の撮像画像を利用して画質改善処理を行い、
    上記画質改善処理により画質改善がなされた画像の取得が可能であることを判定する
    ことを特徴とする撮像方法。
15. コンピュータに、
    撮像画像を取得し、
    連続して撮影された複数の撮像画像を利用して画質改善処理を行い、
    上記画質改善処理により画質改善がなされた画像の取得が可能であることを判定する
    手順を実行させるための撮像プログラム。

Images