JP5645052B2 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
JP5645052B2
JP5645052B2 JP2010028857A JP2010028857A JP5645052B2 JP 5645052 B2 JP5645052 B2 JP 5645052B2 JP 2010028857 A JP2010028857 A JP 2010028857A JP 2010028857 A JP2010028857 A JP 2010028857A JP 5645052 B2 JP5645052 B2 JP 5645052B2
Authority
JP
Japan
Prior art keywords
image
resolution
unit
processing
support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010028857A
Other languages
English (en)
Other versions
JP2011165045A (ja
Inventor
隼一 古賀
隼一 古賀
正行 田中
正行 田中
正敏 奥富
正敏 奥富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Tokyo Institute of Technology NUC
Original Assignee
Olympus Corp
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Tokyo Institute of Technology NUC filed Critical Olympus Corp
Priority to JP2010028857A priority Critical patent/JP5645052B2/ja
Priority to PCT/JP2011/053433 priority patent/WO2011099647A1/ja
Priority to US13/578,542 priority patent/US8873889B2/en
Publication of JP2011165045A publication Critical patent/JP2011165045A/ja
Application granted granted Critical
Publication of JP5645052B2 publication Critical patent/JP5645052B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)

Description

本発明は、デジタル画像処理技術に関し、特に、複数枚の低解像度画像の位置合わせによる高解像度画像の生成を行う際の低解像度画像群取得支援に用いる画像処理装置に関する。
近年、デジタル画像処理分野では、複数枚の低解像度画像（以下、単に、「低解像度画像群」とも言う。）を使用して高解像度画像を生成する、超解像処理と呼ばれるデジタル画像処理技術が開発されてきた。
既存の超解像処理技術として、例えば、特許文献１や特許文献２に開示されたように、まず、複数枚の低解像度画像間における位置ずれ量をサブピクセル単位で検出し、そして、検出したサブピクセル単位での位置ずれ量をもとに、これら複数枚の低解像度画像を高解像度画像空間上に位置合わせし合成することにより、高解像度画像を生成する画像処理技術がある。
特許第４１２６３７８号 国際公開ＷＯ０４／０６８８６２号パンフレット 特開２００７−２６６６６７号公報 国際公開ＷＯ２００４／０６３９９１号パンフレット 国際公開ＷＯ２００８／１０２８９８号パンフレット
戸田真人・塚田正人・井上晃共著,「レジストレーション誤差を考慮した超解像処理」,ＦＩＴ２００６（第５回情報科学技術フォーラム）,I-027,p.63-64,2006年
上記のように、前述した既存の超解像処理技術を用いて、複数枚の低解像度画像を使用して高解像度画像を生成する際に、低解像度画像間の位置ずれ量をもとに、高解像度画像空間上にこれら複数枚の低解像度画像を位置合わせする必要がある。
このとき、被写体の動き、低解像度画像の使用枚数、動き推定処理や画素選択処理などの影響で、複数枚の低解像度画像を位置合わせした後の高解像度画像空間上の画素密度が不均一になる。このような不均一な画素密度を有する画像データに対して、補間処理が行われている。
しかしながら、補間処理は推定値により高解像度画像空間上の不足している画素を埋めるため、補間処理による高解像度化は、必ずしも正確なものとはならない。
そのため、複数枚の低解像度画像を使用して高解像度画像を生成する際に、つまり、複数枚の低解像度画像に基づく超解像処理により高解像度画像を生成する際に、複数枚の低解像度画像を位置合わせした後の高解像度画像空間上の画素密度が概略均一となるように、複数枚の低解像度画像（低解像度画像群）を取得することが望ましい。
このように、超解像処理により高解像度画像を生成するには、サブピクセル単位でずれた複数枚の低解像度画像をユーザが取得する必要はあるが、ユーザは超解像処理に最適な低解像度画像が十分に得られているか否かを知ることができないという問題点が存在する。
一方、特許文献３には、ユーザが撮影した画像を使用してモザイキング処理や超解像処理により合成画像を生成する際に、適切な撮影量となるように、ユーザのカメラ操作を支援する、「カメラ付き携帯機器、その制御方法及びその撮影支援方法」が開示されている。
特許文献３では、適切な撮影量をユーザへ提示することにより、ユーザのカメラ操作を支援しているが、サブピクセル単位での適切な撮影量をユーザへ提示するものではない。
本発明は、上述のような事情よりなされたものであり、本発明の目的は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置を提供することにある。
本発明は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置に関するものである。本発明の上記目的は、前記複数枚の低解像度画像を入力する画像入力部と、入力された前記複数枚の低解像度画像から、基準画像を選択する基準画像選択部と、入力された前記複数枚の低解像度画像から、前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて、複数の変形画像を生成する変形画像生成部と、前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、前記最適な低解像度画像群が十分に取得されているか否かをユーザが視認するための支援画像を生成する支援画像生成部と、前記支援画像を表示する支援画像表示部とを備え、前記支援画像生成部は、前記高解像度グリッド画像に対し、前記ユーザの視認性を高めるために行われる支援画像生成処理を施すことで、前記支援画像を生成することにより達成される。或いは、前記支援画像生成処理を行うために、前記支援画像生成部は、前記高解像度グリッド画像に対し、画像の欠落画素の強調処理を行う欠落画素強調処理部を備え、前記欠落画素強調処理部により前記欠落画素の強調処理が行われた前記高解像度グリッド画像を前記支援画像とすることによってより効果的に達成される。或いは、前記支援画像生成処理を行うために、前記支援画像生成部は、前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部と、前記補間画像に対し、彩度の強調処理を行う彩度強調処理部とを備え、前記彩度強調処理部により前記彩度の強調処理が行われた前記補間画像を前記支援画像とすることによってより効果的に達成される。或いは、前記支援画像生成処理を行うために、前記支援画像生成部は、前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部と、前記基準画像及び前記変形画像に対して、前記基準画像のエッジ画像及び前記変形画像のエッジ画像を生成する、エッジ画像生成処理部とを備え、前記補間処理部より生成された補間画像を前記支援画像とすると共に、前記エッジ画像生成処理部により生成された前記基準画像のエッジ画像及び前記変形画像のエッジ画像をも前記支援画像とすることによってより効果的に達成される。或いは、前記支援画像生成処理を行うために、前記支援画像生成部は、前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部と、前記基準画像及び前記複数の変形画像に対して、平均画像を生成する、平均画像生成処理部とを備え、前記補間処理部より生成された補間画像を前記支援画像とすると共に、前記平均画像生成処理部により、前記基準画像及び前記複数の変形画像に対して生成された平均画像をも前記支援画像とすることによってより効果的に達成される。
また、本発明の上記目的は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置であって、前記複数枚の低解像度画像を入力する画像入力部と、入力された前記複数枚の低解像度画像から、基準画像を選択する基準画像選択部と、入力された前記複数枚の低解像度画像から、前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて、複数の変形画像を生成する変形画像生成部と、前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、前記最適な低解像度画像群が十分に取得されているか否かをユーザが視認するための支援画像を生成する支援画像生成部と、前記支援画像を表示する支援画像表示部とを備え、前記支援画像生成部は、前記基準画像及び前記変形画像に対して、前記基準画像のエッジ画像及び前記変形画像のエッジ画像を生成する、エッジ画像生成処理部を備えており、前記エッジ画像生成処理部により生成された前記基準画像のエッジ画像及び前記変形画像のエッジ画像を前記支援画像とすることにより達成される。
更に、本発明の上記目的は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置であって、前記複数枚の低解像度画像を入力する画像入力部と、入力された前記複数枚の低解像度画像から、基準画像を選択する基準画像選択部と、入力された前記複数枚の低解像度画像から、前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて、複数の変形画像を生成する変形画像生成部と、前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、前記最適な低解像度画像群が十分に取得されているか否かをユーザが視認するための支援画像を生成する支援画像生成部と、前記支援画像を表示する支援画像表示部とを備え、前記支援画像生成部は、前記基準画像及び前記複数の変形画像に対して、平均画像を生成する、平均画像生成処理部を備えており、前記平均画像生成処理部により、前記基準画像及び前記複数の変形画像に対して生成された平均画像を前記支援画像とすることにより達成される。
また更に、本発明の上記目的は、前記画像処理装置において、前記参照画像の画像情報を選択する基準になるパラメータの閾値を設定するパラメータ設定部と、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記パラメータ設定部における前記パラメータの前記閾値の変更を行う、外部Ｉ／Ｆ制御部とを更に備えることによってより効果的に達成される。或いは、前記画像処理装置において、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記複数参照画像の枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備えることによってより効果的に達成される。或いは、前記画像処理装置において、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記画像入力部の前記複数枚の低解像度画像の入力枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備えることによってより効果的に達成される。或いは、前記画像処理装置において、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記参照画像の選択を行う、外部Ｉ／Ｆ制御部を更に備えることによってより効果的に達成される。或いは、前記複数枚の低解像度画像は、画素情報において少なくとも１種類以上の色チャンネル情報が欠落している画像であってもよい。
本発明では、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、超解像処理の途中において生成された加算画像と重み画像に基づいて生成された高解像度グリッド画像と簡易補間画像に基づいて生成された支援画像をユーザに表示することにより、ユーザが超解像処理に最適な低解像度画像群を取得できるように、ユーザ支援（低解像度画像群取得支援）を行うことが可能となる。
また、本発明では、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、複数の変形画像（基準画像に合致するように画像変形された複数の参照画像）に基づいて生成された複数のエッジ画像と平均化画像を支援画像としてユーザに表示することにより、ユーザが超解像処理に最適な低解像度画像群を取得できるように、ユーザ支援（低解像度画像群取得支援）を行うことが可能となる。
本発明に係る画像処理装置の第１実施形態を示すブロック構成図である。 図１に示す本発明の第１実施形態に係る画像処理装置の処理流れを示すフロー図である。 本発明に係る画像処理装置の加算画像・重み画像生成部の実施形態を示すブロック構成図である。 本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合の加算画像と重み画像を説明するための模式図である。 本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がBayerカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された画像である場合の加算画像と重み画像を説明するための模式図である。 本発明に係る画像処理装置の支援画像生成部の第１実施形態を示すブロック構成図である。 本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がBayerカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された画像である場合に、支援画像表示部に表示された支援画像の例を示す図である。 本発明に係る画像処理装置の第２実施形態を示すブロック構成図である。 図８に示す本発明の第２実施形態に係る画像処理装置の処理流れを示すフロー図である。 本発明に係る画像処理装置の支援画像生成部の第２実施形態を示すブロック構成図である。 本発明に係る画像処理装置の変形画像生成部で生成された変形画像の例を示す図である。
本発明は、複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置に関する。
以下、本発明を実施するための形態について、図面を参照しながら詳細に説明する。
図１は、本発明に係る画像処理装置の第１実施形態（以下、単に「本発明に係る画像処理装置１」、又は「画像処理装置１」とも言う。）を示すブロック構成図である。また、図２は、図１に示す本発明に係る画像処理装置１の処理流れを示すフロー図である。以下、図１及び図２を用いて、画像処理装置１を詳細に説明する。
図１に示すように、画像処理装置１は、画像入力部１００と、第１記憶部１０１と、基準画像選択部１０２と、参照画像選択部１０３と、位置ずれ量算出部１０４と、変形画像生成部１０５と、画像情報選択部１０６、パラメータ設定部１０７と、加算画像・重み画像生成部１０８と、第２記憶部１０９と、高解像度グリッド画像生成部１１０と、支援画像生成部１１２と、支援画像表示部１１３と、外部Ｉ／Ｆ制御部１１４と、再構成処理部１１５と、高解像度画像出力部１１６とから構成される。また、画像処理装置１において、外部Ｉ／Ｆ制御部１１４が、画像入力部１００、基準画像選択部１０２、参照画像選択部１０３、及びパラメータ設定部１０７に対し、必要に応じて、それぞれ制御信号を送ることにより、画像入力部１００、基準画像選択部１０２、参照画像選択部１０３、及びパラメータ設定部１０７での処理を制御することができる。
図１に示すように、画像処理装置１では、まず、画像入力部１００が、複数枚の低解像度画像を入力する（図２のステップＳ１００を参照）。そして、画像入力部１００に入力された複数枚の低解像度画像が、第１記憶部１０１に格納される。また、ユーザの選択により、外部Ｉ／Ｆ制御部１１４を介して、画像入力部１００が、ユーザが選択した所定枚数の低解像度画像を入力することが可能である。
ここで、本発明では、画像入力部１００に入力される複数枚の低解像度画像として、三板方式の固体カラー撮像装置で取得された画像を用いても良く、また、カラーフィルタを用いた単板方式の固体カラー撮像装置で取得された、画素情報において少なくとも１種類以上の色チャンネル情報の欠落している画像を用いても良い。カラーフィルタとして、例えば、Bayerカラーフィルタを用いる。
次に、基準画像選択部１０２が、第１記憶部１０１に格納されている複数枚の低解像度画像から、１枚の基準画像を選択する（図２のステップＳ１１０を参照）。本発明で言う「基準画像」とは、高解像度化する低解像度画像であり、位置ずれ量算出部１０４において位置ずれ量を算出する際の基準となる画像でもある。
本発明では、ユーザが高解像度化したい１枚の低解像度画像を、外部Ｉ／Ｆ制御部１１４を介して、基準画像選択部１０２によって基準画像として選択するようにしている。また、本発明では、基準画像選択部１０２が、所定の評価基準により、第１記憶部１０１に格納されている複数枚の低解像度画像の中から、１枚の基準画像を選択するようにしてもよい。所定の評価基準としては、例えば、画像間の相関や合焦状態を用いることができる。
次に、参照画像選択部１０３が、第１記憶部１０１に格納されている複数枚の低解像度画像から、高解像度化処理（超解像処理）に用いる複数枚の参照画像を選択する（図２のステップＳ１２０を参照）。
つまり、参照画像選択部１０３では、第１記憶部１０１に格納されている複数枚の低解像度画像から、所定枚数の参照画像を選択するようにしており、また、当該所定枚数は、外部Ｉ／Ｆ制御部１１４を介してユーザに任意に設定されることが可能である。
次に、位置ずれ量算出部１０４が、位置ずれ量算出処理（図２のステップＳ１３０を参照）を行うことにより、基準画像選択部１０２により選択された基準画像と、参照画像選択部１０３により選択された各参照画像間の位置関係を、それぞれ算出する。ここで、位置ずれ量算出部１０４で算出された位置関係は、高解像度画像空間上で位置合わせを行うための位置ずれ量となる。
本発明では、高解像度画像空間上に位置合わせを行うためには、基準画像と各参照画像間のサブピクセル単位での位置ずれ量を算出する必要がある。位置ずれ量算出部１０４で行われる位置ずれ量算出処理の一具体例として、例えば、予め、基準画像と各参照画像を補間処理（例えば、バイキュービック法による補間処理）で拡大させておき、そして、拡大された基準画像と各参照画像間のサブピクセル単位での位置ずれ量を、ブロックマッチング法により算出するようにしても良く、又は、特許文献４に開示されたような既存技術により算出するようにしても良い。
なお、位置ずれ量算出部１０４では、低解像度画像からサブピクセル単位での位置ずれ量を算出した場合に、算出されたサブピクセル単位での位置ずれ量を高解像度画像空間上のサブピクセル単位での位置ずれ量に変換する必要がある。
換言すれば、位置ずれ量算出部１０４で算出された位置ずれ量は、高解像度画像空間上のサブピクセル単位での位置ずれ量となる。
次に、変形画像生成部１０５が、変形画像生成処理（図２のステップＳ１４０を参照）を行うことにより、位置ずれ量算出部１０４で算出された位置ずれ量に基づいて、基準画像と合致するように、各参照画像にそれぞれ画像変形を施すことで、複数の変形画像を生成する。
なお、変形画像生成部１０５では、変形画像を生成するために、位置ずれ量算出部１０４で算出された位置ずれ量に基づいて、各参照画像とそれぞれ合致するように、基準画像に画像変形を施すことで、複数の変形画像を生成するようにしても良い。
次に、パラメータ設定部１０７が、パラメータ設定処理（図２のステップＳ１５０を参照）を行うことにより、参照画像の画素を超解像処理に利用するか否かを判断するためのパラメータの閾値を設定する。当該パラメータとして、画像間の類似度や相違度を用いることができる。また、当該パラメータの閾値は、外部Ｉ／Ｆ制御部１１４を介してユーザに任意に設定されることが可能である。
ここで、本発明で用いるパラメータの具体例について説明する。
一例として、基準画像と変形画像（例えば、画像変形を施した参照画像）の位置が対応する画素について求めたＳＳＤ（差分自乗の総和）をパラメータとする。
パラメータとして、画素単位について求めたＳＳＤ（差分自乗の総和）用いた場合に、パラメータ設定部１０７では、画素単位について求めた基準画像と変形画像間のＳＳＤの閾値を設定する。後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＳＳＤが設定された閾値以下であれば、参照画像の画素を超解像処理に利用する画素として選択する。
勿論、本発明では、パラメータとして、画素単位について求めた基準画像と変形画像間のＳＳＤには限らず、基準画像と変形画像の位置が対応するフレーム単位や領域単位について求めたＳＳＤを用いてもよい。
また、本発明では、ＳＳＤだけではなく、ＳＡＤ（差分絶対値の総和）やＮＣＣ（正規化相互相関）といった公知の類似度、相違度をパラメータとして用いるようにしてもよい。
本発明では、位置(i,j)における基準画像の輝度値をＴ(i,j)とし、変形画像（例えば、基準画像と合致するように画像変形された参照画像）の輝度値をＩ(i,j)とした場合に、Ｍピクセル×Ｎピクセルの領域の基準画像と変形画像間のＳＳＤ、ＳＡＤ、ＮＣＣは、下記数１、数２、数３により求められる。
ＳＳＤとＳＡＤは小さな値であるほど、その画像情報は超解像処理にとって望ましい画像情報になる。また、ＮＣＣは大きな値であるほど、その画像情報は超解像処理にとって望ましい画像情報になる。
つまり、本発明では、パラメータとして基準画像と変形画像間のＳＳＤを用いる場合に、後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＳＳＤが、パラメータ設定部１０７で設定されたＳＳＤの閾値以下であれば、参照画像の画素を超解像処理に利用する画素として選択する。
また、本発明では、パラメータとして基準画像と変形画像間のＳＡＤを用いる場合に、後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＳＡＤが、パラメータ設定部１０７で設定されたＳＡＤの閾値以下であれば、参照画像の画素を超解像処理に利用する画素として選択する。
そして、本発明では、パラメータとして基準画像と変形画像間のＮＣＣを用いる場合に、後述する画像情報選択部１０６で行われる画像情報選択処理において、画素単位について求めた基準画像と変形画像間のＮＣＣが、パラメータ設定部１０７で設定されたＮＣＣの閾値以上であれば、参照画像の画素を超解像処理に利用する画素として選択する。
さらに、本発明では、画像間の類似度や相違度だけでなく、パラメータとして、例えば、非特許文献１や特許文献５の公知技術に開示されたように、上記のＩ(i,j)の変形量に基づく基準などを用いてもよい。
次に、画像情報選択部１０６が、画像情報選択処理（図２のステップＳ１６０を参照）を行うことにより、パラメータ設定部１０７で設定されたパラメータの閾値と、基準画像選択部１０２で選択された基準画像と、変形画像生成部１０５で生成された複数の変形画像とに基づいて、複数枚の参照画像から超解像処理に用いる画像情報を選択する。
ここで、パラメータとして基準画像と変形画像間のＳＳＤを用いる場合の画像情報選択部１０６で行われる画像情報選択処理の一具体例について説明する。
画像情報選択部１０６が、まず、画素毎に基準画像と変形画像間のＳＳＤを算出し、次に、算出したＳＳＤがパラメータ設定部１０７で設定されたＳＳＤの閾値以下であれば、その画素位置にある参照画像の画素を超解像処理に用いる画素として選択し、一方、算出したＳＳＤがパラメータ設定部１０７で設定されたＳＳＤの閾値より大きければ、その画素位置にある参照画像の画素を超解像処理に用いる画素として選択しないように、複数枚の参照画像から超解像処理に用いる画像情報（複数の画素）を選択する。
換言すれば、画像情報選択部１０６で選択された画像情報は、超解像処理に利用する画像情報として、複数枚の参照画像から選択された複数の画素で構成された画像情報である。即ち、画像情報選択部１０６で選択された画像情報は、複数の参照画像から選択された複数の画素である。
次に、加算画像・重み画像生成部１０８が、基準画像選択部１０２で選択された基準画像と、位置ずれ量算出部１０４で算出された位置ずれ量と、画像情報選択部１０６で選択された画像情報とに基づき、加算画像と重み画像を生成する（図２のステップＳ１７０を参照）。加算画像・重み画像生成部１０８で生成された加算画像と重み画像は、第２記憶部１０９に格納される。
ここで、加算画像・重み画像生成部１０８の実施形態について詳細に説明する。図３は、本発明に係る画像処理装置の加算画像・重み画像生成部（加算画像・重み画像生成部１０８）の実施形態を示すブロック構成図である。
図３に示すように、加算画像・重み画像生成部１０８は、加算画像を生成する加算画像生成部２００と、重み画像を生成する重み画像生成部２０１とから構成される。
加算画像・重み画像生成部１０８では、まず、加算画像生成部２００が、基準画像選択部で選択された基準画像と、位置ずれ量算出部１０４で算出された位置ずれ量（即ち、高解像度画像空間上のサブピクセル単位での位置ずれ量）と、画像情報選択部１０６により複数枚の参照画像から選択された画像情報をもとに、選択された画像情報の各画素を高解像度画像空間上に配置することにより、加算画像を生成する。ちなみに、加算画像の画素数は高解像度画像空間の画素数と等しい。
次に、重み画像生成部２０１が、基準画像選択部１０２で選択された基準画像と、位置ずれ量算出部１０４で算出された位置ずれ量と、画像情報選択部１０６により複数枚の参照画像から選択された画像情報をもとに、選択された画像情報の各画素に対して重み付けをし、各画素に係る重みを高解像度画像空間上に配置することにより、重み画像を生成する。ちなみに、重み画像の画素数は高解像度画像空間の画素数と等しい。
重み画像生成部２０１で行われる、選択された画像情報の各画素に対する重み付けについて、画素毎に位置ずれ量算出部１０４で算出された位置ずれ量をもとに、対応する画素同士の相関性を再度評価することにより、位置ずれ量の信頼度を判定し、判定された信頼度に応じて、０〜１の重みを設定するようにしても良く、また、位置合わせの基準となる基準画像からの撮影時間に応じて重み付けをするようにしても良い。
なお、加算画像生成部２００では、選択された画像情報の画素を高解像度画像空間上に配置する際に、同じ高解像度画像空間上の位置（画素位置）に、既に別の画素が配置されていた場合に、それらの画素の画素値に、当該画素の画素値を累積加算するようにしている。
また、重み画像生成部２０１では、選択された画像情報の画素に係る重みを高解像度画像空間上に配置する際に、同じ高解像度画像空間上の位置（画素位置）に、既に別の画素に係る重みが配置されていた場合に、それらの画素に係る重みに、当該画素に係る重みを累積加算するようにしている。
このように、加算画像・重み画像生成部１０８で生成された加算画像と重み画像は、使用する低解像度画像の枚数、位置合わせする高解像度画像空間の画素数、選択された画像情報の各画素に係る重み、被写体の動きなどの関係から、画素値が決定された定義画素と画素値が決定されていない未定義画素の混ざった不均一な画像となる。
上述した加算画像・重み画像生成部１０８の実施形態では、加算画像と重み画像を生成する際に、画素値と重みについてそれぞれ累積加算を行っているが、本発明に係る画像処理装置の加算画像・重み画像生成部では、上述した実施形態に限らず、例えば、画素値と重みを高解像度画像空間上に配置する際に、同じ画素位置に、既に画素値又は重みが配置されている場合は、累積加算せずに、当該画素値と当該重みを棄却するように、加算画像と重み画像を生成するようにしても良い。
図４は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合に、加算画像・重み画像生成部１０８で生成された加算画像と重み画像を説明するための模式図である。
図４に示すように、画像入力部１００に入力され、第１記憶部１０１に格納されている複数枚の低解像度画像が三板方式の固体カラー撮像装置で取得された画像である場合に、例えば、基準画像選択部１０２により、フレーム１を基準画像とし、そして、参照画像選択部１０３により、それ以外のフレーム（フレーム２、フレーム３、…）を参照画像とする。
そして、基準画像選択部１０２で選択された基準画像（フレーム１）と、位置ずれ量算出部１０４で算出された高解像度画像空間上のサブピクセル単位での位置ずれ量と、画像情報選択部１０６で選択された画像情報とに基づき、加算画像・重み画像生成部１０８が加算画像と重み画像を生成する。図４では、説明上の便宜のため、ある注目画素を含む小領域について生成された加算画像と重み画像を模式的に示している。
図４に示すように、生成された加算画像は、Ｒ成分画像である加算画像（Ｒ）、Ｇ成分画像である加算画像（Ｇ）、Ｂ成分画像である加算画像（Ｂ）と分けられており、また、生成された重み画像は、Ｒ成分画像である重み画像（Ｒ）、Ｇ成分画像である重み画像（Ｇ）、Ｂ成分画像である重み画像（Ｂ）と分けられる。
そして、図４から分かるように、画像入力部１００に入力された複数枚の低解像度画像は三板方式の固体カラー撮像装置で取得された画像である場合に、加算画像と重み画像における定義画素の位置が、Ｒ成分画像とＧ成分画像とＢ成分画像で同じになっている。
図５は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がBayerカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像である場合に、加算画像・重み画像生成部１０８で生成された加算画像と重み画像を説明するための模式図である。
図５に示すように、画像入力部１００に入力され、第１記憶部１０１に格納されている複数枚の低解像度画像が単板方式の固体カラー撮像装置で取得された画像である場合に、例えば、基準画像選択部１０２により、フレーム１を基準画像とし、そして、参照画像選択部１０３により、それ以外のフレーム（フレーム２、フレーム３、…）を参照画像とする。
そして、基準画像選択部１０２で選択された基準画像（フレーム１）と、位置ずれ量算出部１０４で算出された高解像度画像空間上のサブピクセル単位での位置ずれ量と、画像情報選択部１０６で選択された画像情報とに基づき、加算画像・重み画像生成部１０８が加算画像と重み画像を生成する。図５では、説明上の便宜のため、ある注目画素を含む小領域について生成された加算画像と重み画像を模式的に示している。
図５に示すように、生成された加算画像は、Ｒ成分画像である加算画像（Ｒ）、Ｇ成分画像である加算画像（Ｇ）、Ｂ成分画像である加算画像（Ｂ）と分けられており、また、生成された重み画像は、Ｒ成分画像である重み画像（Ｒ）、Ｇ成分画像である重み画像（Ｇ）、Ｂ成分画像である重み画像（Ｂ）と分けられる。
そして、図５から分かるように、画像入力部１００に入力された複数枚の低解像度画像はBayerカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像である場合に、加算画像と重み画像における定義画素の位置が、Ｒ成分画像とＧ成分画像とＢ成分画像で異なる。
次に、高解像度グリッド画像生成部１１０が、第２記憶部１０９に格納されている加算画像と重み画像を読み出し、読み出した加算画像を読み出した重み画像で除算することにより、高解像度グリッド画像を生成する（図２のステップＳ１８０を参照）。
なお、高解像度グリッド画像生成部１１０では、高解像度グリッド画像を生成する際に、重み画像に未定義画素（つまり、画素値が０である画素）がある場合に、０での除算が発生するため、加算画像を重み画像で除算することを行わずに、直接に、重み画像の未定義画素の画素位置にある高解像度グリッド画像の画素値を０に設定するように、高解像度グリッド画像を生成する。
次に、図６に示す支援画像生成部１１２における簡易補間画像生成部１１１が、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像に対し、簡易補間画像生成処理（図２のステップＳ１９０を参照）を行うことにより、簡易補間画像を生成する。
簡易補間画像生成部１１１で行われる簡易補間画像生成処理とは、高解像度グリッド画像の画素値が０である画素（以下、単に「高解像度グリッド画像の欠落画素」とも言う。）に対し、偽色の出やすい簡易な補間処理を行うことを意味する。ここで、簡易補間画像生成処理で用いられる補間処理は、バイリニア補間処理を利用する。なお、簡易補間画像生成処理で用いられる補間処理は、バイリニア補間処理に限られることがなく、例えば、ニアレストネイバー、バイキュービック等の既存の補間処理方法を用いても良い。
さらに、図１に示されていないが、簡易補間画像生成部１１１が、基準画像選択部１０２から転送されてきた基準画像を、上述したような補間処理により、高解像度画像空間に拡大して得られた画像の高解像度グリッド画像の欠落画素と一致する位置の画素値を用いることで補間しても良い。
なお、高解像度グリッド画像は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像が、カラーフィルタを用いた単板方式の固体カラー撮像装置で取得された色チャンネルの欠落している画像に基づいて生成された加算画像と重み画像から生成された場合に、このような高解像度グリッド画像の欠落画素に対し、簡易補間画像生成部１１１により簡易な補間処理を行うと、補間する値の誤差により、生成された簡易補間画像はＲＧＢのカラーバランスが崩れ偽色が発生する。
図６は、本発明に係る画像処理装置の支援画像生成部の第１実施形態（支援画像生成部１１２）を示すブロック構成図である。
図６に示すように、支援画像生成部１１２は、簡易補間画像を生成する簡易補間画像生成部１１１と、画像のリサイズ処理（例えば、拡大処理）を行うリサイズ処理部３００と、画像の鮮鋭化処理を行う鮮鋭化処理部３０１と、画像の欠落画素に対し強調処理を行う欠落画素強調処理部３０２と、画像における偽色が目立つように彩度の強調処理を行う彩度強調処理部３０３とから構成され、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像と、簡易補間画像に対し、主にユーザの視認性を高めるために行われる支援画像生成処理（図２のステップＳ２００を参照）を施すことにより、支援画像を生成する。
つまり、支援画像生成部１１２で生成された支援画像は、支援画像生成処理が施された高解像度グリッド画像と簡易補間画像を意味する。そして、支援画像生成部１１２で生成された支援画像は、支援画像表示部１１３に表示される。
支援画像生成部１１２では、リサイズ処理部３００が、高解像度グリッド画像と簡易補間画像のリサイズ処理（例えば、拡大処理）を行う。また、鮮鋭化処理部３０１が、高解像度グリッド画像と簡易補間画像の鮮鋭化処理を行う。
さらに、欠落画素強調処理部３０２が、高解像度グリッド画像の欠落画素に対し、強調処理を行う。一具体例として、例えば、高解像度グリッド画像の欠落画素に対し、モルフォロジーのオープニング処理を行うことにより、高解像度グリッド画像の欠落画素を強調処理する。
また更に、彩度強調処理部３０３が、簡易補間画像に対し、その簡易補間画像における偽色が目立つように、彩度の強調処理を行う。
支援画像生成部１１２で行われる支援画像生成処理とは、リサイズ処理部３００で行われる画像処理、鮮鋭化処理部３０１で行われる画像処理、欠落画素強調処理部３０２で行われる画像処理、及び彩度強調処理部３０３で行われる画像処理のうち、少なくとも１つ以上の画像処理を意味する。
具体的に、例えば、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、リサイズ処理部３００で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
また、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、鮮鋭化処理部３０１で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
更に、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、リサイズ処理部３００で行われる画像処理と鮮鋭化処理部３０１で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
また更に、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、リサイズ処理部３００で行われる画像処理と鮮鋭化処理部３０１で行われる画像処理を施した上で、更に、高解像度グリッド画像に対し、欠落画素強調処理部３０２で行われる画像処理を施すと共に、簡易補間画像に対し、彩度強調処理部３０３で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
また、支援画像生成部１１２では、高解像度グリッド画像に対し、欠落画素強調処理部３０２で行われる画像処理を施すと共に、簡易補間画像に対し、彩度強調処理部３０３で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
また、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、リサイズ処理部３００で行われる画像処理を施した上で、更に、高解像度グリッド画像に対し、欠落画素強調処理部３０２で行われる画像処理を施すと共に、簡易補間画像に対し、彩度強調処理部３０３で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
また、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、鮮鋭化処理部３０１で行われる画像処理を施した上で、更に、高解像度グリッド画像に対し、欠落画素強調処理部３０２で行われる画像処理を施すと共に、簡易補間画像に対し、彩度強調処理部３０３で行われる画像処理を施すことで、支援画像を生成するようにしても良い。
さらに、図１に示されていないが、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像と、簡易補間画像生成部１１１で生成された簡易補間画像に対し、何の処理も行わずに、高解像度グリッド画像と簡易補間画像をそのまま支援画像表示部１１３に表示させるようにしても良い。
次に、支援画像表示部１１３が、支援画像生成部１１２で生成された支援画像（支援画像生成処理が施された高解像度グリッド画像と簡易補間画像）を表示する（図２のステップＳ２１０を参照）。なお、支援画像表示部１１３では、支援画像としての高解像度グリッド画像の欠落画素を点滅させながら、その高解像度グリッド画像を表示するようにしても良い。
支援画像表示部１１３に表示された支援画像をユーザが視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されているかが分かる（図２のステップＳ２２０を参照）。
図７は、本発明に係る画像処理装置の画像入力部に入力される複数枚の低解像度画像がBayerカラーフィルタを用いた単板方式の固体カラー撮像装置で取得された画像である場合に、支援画像表示部１１３に表示された支援画像の例を示す図である。
図７（Ａ）は、高解像度画像空間上の画素の充填状態が悪い場合の支援画像としての高解像度グリッド画像と簡易補間画像の例を示しており、また、図７（Ｂ）は、高解像度画像空間上の画素の充填状態が良い場合の支援画像としての高解像度グリッド画像と簡易補間画像の例を示している。
図７に示されたような支援画像としての高解像度グリッド画像をユーザが視認することにより、ユーザは高解像度画像空間上の画素の充填状態を確認することができる。
本発明では、高解像度画像空間上の画素の充填状態が良いことは、高解像度グリッド画像における欠落画素が少ないことを意味する。また、高解像度画像空間上の画素の充填状態が悪いことは、高解像度グリッド画像における欠落画素が多いことを意味する。
また、図７に示されたような支援画像としての簡易補間画像をユーザが視認することにより、簡易補間画像における偽色を観察することができる。
外部Ｉ／Ｆ制御部１１４が、支援画像のユーザ視認結果により、パラメータ設定部１０７で行われる処理、参照画像選択部１０３で行われる処理、及び画像入力部１００で行われる処理のうち、少なくとも１つの処理を制御する。
つまり、本発明に係る画像処理装置では、ユーザが支援画像表示部１１３に表示された支援画像を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていないと判断された場合に（図２のステップＳ２２０のＮＯを参照）、視認した支援画像の状況により、外部Ｉ／Ｆ制御部１１４を介して、
＜１＞図２のステップＳ１５０（パラメータ設定部１０７）に戻って、パラメータの閾値がユーザに設定し直されるように処理、
＜２＞図２のステップＳ１２０（参照画像選択部１０３）に戻って、選択する参照画像の所定枚数がユーザに設定し直されるように処理、及び
＜３＞図２のステップＳ１００（画像入力部１００）に戻って、ユーザに設定された所定枚数の低解像度画像が入力されるように処理のうち、少なくとも１つの処理を行ってから、その後の処理が繰り返される。
具体的には、例えば、支援画像のユーザ視認により高解像度画像空間上の画素の充填状態が悪いと判断された場合、つまり、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていないと判断された場合に、ユーザが外部Ｉ／Ｆ制御部１１４を介して、参照画像の所定枚数を増やすように、参照画像選択部１０３における所定枚数を設定し直す、又は、パラメータ設定部１０７におけるパラメータの閾値を緩める（例えば、パラメータとしてＳＳＤを用いた場合に、ＳＳＤの閾値を大きくする。）。
また、支援画像表示部１１３に表示された支援画像のユーザ視認により、第１記憶部１０１に格納されている低解像度画像の枚数が不足していると判断された場合に、外部Ｉ／Ｆ制御部１１４を介して、画像入力部１００が、ユーザが設定した所定枚数の低解像度画像を入力し、その後、入力されたそれらの低解像度画像が第１記憶部１０１に格納される。
なお、本発明では、加算画像・重み画像生成部１０８で生成された加算画像と重み画像を第２記憶部１０９に順次格納することで、ユーザが選択された参照画像の枚数を変更した場合に、第２記憶部１０９から加算画像と重み画像を読み出すだけで、参照画像の枚数の変更を反映することができる。
一方、本発明に係る画像処理装置では、ユーザが支援画像表示部１１３に表示された支援画像を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていると判断された場合に（図２のステップＳ２２０のＹＥＳを参照）、再構成処理部１１５が、第２記憶部１０９に格納されている加算画像と重み画像を読み出し、読み出した加算画像と重み画像に対し、再構成処理を行うことにより（図２のステップＳ２３０を参照）、高解像度画像を生成する。
再構成処理部１１５で行われる再構成処理は、既存の技術である例えばＭＡＰ法やカラーカーネル回帰といった再構成処理を用いる。
最後に、高解像度画像出力部１１６が、再構成処理部１１５で生成された高解像度画像を出力する。これで、本発明に係る画像処理装置（画像処理装置１）での処理が終了する。
上述した本発明に係る画像処理装置（画像処理装置１）の実施形態では、支援画像生成部１１２では、高解像度グリッド画像と簡易補間画像に対し、支援画像生成処理を施すことで支援画像を生成するようにしているが、本発明はこれに限定されることがなく、例えば、支援画像生成部１１２では、高解像度グリッド画像のみに対し、支援画像生成処理を施すことで支援画像を生成するようにして良く、また、支援画像生成部１１２では、簡易補間画像のみに対し、支援画像生成処理を施すことで支援画像を生成するようにして良い。
また、支援画像生成部１１２で生成された支援画像は、支援画像生成処理が施された高解像度グリッド画像と簡易補間画像である場合に、支援画像表示部１１３が、２つの支援画像の何れか一つを表示するようにしても良い。
本発明の画像処理装置１では、上述したような処理を行うことで、ユーザが超解像処理に最適な低解像度画像群を取得することを支援することが可能になり、つまり、本発明によれば、超解像処理に必要なサブピクセル単位での位置ずれを有する低解像度画像群が十分に得られているので、高画質な高解像度画像を生成することができる。
図８は、本発明に係る画像処理装置の第２実施形態（以下、単に「本発明に係る画像処理装置２」、又は「画像処理装置２」とも言う。）を示すブロック構成図である。また、図９は、図８に示す本発明に係る画像処理装置２の処理流れを示すフロー図である。
図８に示すように、画像処理装置２は、画像入力部１００と、第１記憶部１０１と、基準画像選択部１０２と、参照画像選択部１０３と、位置ずれ量算出部１０４と、変形画像生成部１０５と、画像情報選択部１０６、パラメータ設定部１０７と、加算画像・重み画像生成部１０８と、第２記憶部１０９と、高解像度グリッド画像生成部１１０と、支援画像生成部１１７と、支援画像表示部１１３と、外部Ｉ／Ｆ制御部１１４と、再構成処理部１１５と、高解像度画像出力部１１６とから構成される。また、画像処理装置２において、外部Ｉ／Ｆ制御部１１４が、画像入力部１００、基準画像選択部１０２、参照画像選択部１０３、及びパラメータ設定部１０７に対し、必要に応じて、それぞれ制御信号を送ることにより、画像入力部１００、基準画像選択部１０２、参照画像選択部１０３、及びパラメータ設定部１０７での処理を制御することができる。
図１と図８から分かるように、画像処理装置２が画像処理装置１と異なるのは、支援画像生成部のみが異なっており、画像処理装置１における支援画像生成部１１２は変形画像生成部１０５と接続していないが、画像処理装置２における支援画像生成部１１７は変形画像生成部１０５と接続している。
つまり、画像処理装置１と画像処理装置２の相違点は、画像処理装置１における支援画像生成部１１２で行われる支援画像生成処理（図２のステップＳ２００）と、画像処理装置２における支援画像生成部１１７で行われる支援画像生成処理（図９のステップＳ２０５）が異なることである。
画像処理装置１と画像処理装置２は、支援画像生成部を除いてほかの処理部、つまり、画像入力部１００と、第１記憶部１０１と、基準画像選択部１０２と、参照画像選択部１０３と、位置ずれ量算出部１０４と、変形画像生成部１０５と、画像情報選択部１０６、パラメータ設定部１０７と、加算画像・重み画像生成部１０８と、第２記憶部１０９と、高解像度グリッド画像生成部１１０と、支援画像表示部１１３と、外部Ｉ／Ｆ制御部１１４と、再構成処理部１１５と、高解像度画像出力部１１６は全て同じで、同じ処理を行っているので、画像処理装置２についてそれらの処理部の説明を省略する。
以下、画像処理装置２における支援画像生成部１１７について説明する。図１０は、本発明に係る画像処理装置の支援画像生成部の第２実施形態（支援画像生成部１１７）を示すブロック構成図である。
図１０に示すように、支援画像生成部１１７が、簡易補間画像を生成する簡易補間画像生成部１１１と、画像のリサイズ処理（例えば、拡大処理）を行うリサイズ処理部３００と、画像の鮮鋭化処理を行う鮮鋭化処理部３０１と、画像の欠落画素に対し、強調処理を行う欠落画素強調処理部３０２と、画像における偽色が目立つように、彩度の強調処理を行う彩度強調処理部３０３と、画像のエッジ検出処理を行うエッジ検出部３０４と、複数枚の画像の平均化処理を行う平均化処理部３０５とから構成され、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像と、簡易補間画像と、変形画像生成部１０５で生成された複数の変形画像に対し、主にユーザの視認性を高めるために行われる支援画像生成処理（図９のステップＳ２０５を参照）を施すことにより、支援画像を生成する。
支援画像生成部１１７で生成された支援画像は、支援画像生成処理が施された高解像度グリッド画像と簡易補間画像と、複数の変形画像に基づいて生成された複数のエッジ画像と平均化画像を意味する。そして、支援画像生成部１１７で生成された支援画像は、支援画像表示部１１３に表示される。
図１０に示す支援画像生成部１１７の構成が、図６に示す支援画像生成部１１２の構成と異なるのは、支援画像生成部１１２にエッジ検出部３０４と平均化処理部３０５を備えていないが、支援画像生成部１１７にエッジ検出部３０４と平均化処理部３０５を備えており、また、変形画像生成部１０５がエッジ検出部３０４と平均化処理部３０５に接続している点である。
支援画像生成部１１７における簡易補間画像生成部１１１、リサイズ処理部３００、鮮鋭化処理部３０１、欠落画素強調処理部３０２、及び彩度強調処理部３０３での処理は、支援画像生成部１１２における簡易補間画像生成部１１１、リサイズ処理部３００、鮮鋭化処理部３０１、欠落画素強調処理部３０２、及び彩度強調処理部３０３での処理と同じため、それら処理の説明は省略する。
つまり、支援画像生成部１１７では、高解像度グリッド画像生成部１１０で生成された高解像度グリッド画像と、簡易補間画像に対し、支援画像生成部１１２で行われる支援画像生成処理と同様な処理を行うことにより、支援画像（即ち、支援画像生成処理が施された高解像度グリッド画像と簡易補間画像）を生成する。そして、支援画像生成部１１７で生成された支援画像（即ち、支援画像生成処理が施された高解像度グリッド画像と簡易補間画像）は、支援画像表示部１１３に表示される。
図１１に変形画像生成部１０５で生成された変形画像の具体例を示す。図１１（Ａ）には基準画像選択部１０２で選択された基準画像を示している。また、図１１（Ｂ）は、図１１（Ａ）の基準画像に合致するように画像変形された参照画像（位置合わせに成功した変形画像）を示しており、図１１（Ｃ）は図１１（Ａ）の基準画像に合致するように画像変形された参照画像（位置合わせに失敗した変形画像）を示している。
以下では、説明上の便宜のため、位置合わせに失敗した変形画像を位置合わせに失敗した参照画像とも言い、また、位置合わせに成功した変形画像を位置合わせに成功した参照画像とも言う。
支援画像生成部１１７では、エッジ検出部３０４が、変形画像生成部１０５で生成された複数の変形画像（基準画像に合致するように画像変形された全ての参照画像）に対し、それぞれエッジ検出処理を行うことにより、複数のエッジ画像（変形画像のエッジ画像）を生成する。
また、エッジ検出部３０４が、更に、基準画像に対し、エッジ検出処理を行うことにより、基準画像のエッジ画像を生成するようにして良い。つまり、エッジ検出部３０４は、基準画像及び変形画像に対して、基準画像のエッジ画像及び変形画像のエッジ画像を生成する、エッジ画像生成処理部とも言える。
支援画像表示部１１３では、エッジ検出部３０４で生成された全てのエッジ画像をそれぞれ基準画像にオーバレイ表示する。支援画像表示部１１３において、このようなオーバレイ表示を行うことで、それぞれの変形画像（参照画像）が位置合わせに成功しているか否かの視認性が高まる。
また、支援画像生成部１１７では、平均化処理部３０５が、変形画像生成部１０５で生成された複数の変形画像（基準画像に合致するように画像変形された全ての参照画像）を加算し平均化することにより、平均化画像（以下、平均画像とも言う）を生成する。平均化処理部３０５で生成された平均化画像は、支援画像表示部１１３に表示される。
なお、平均化処理部３０５が、更に、基準画像及び複数の変形画像を加算し平均化することにより、平均画像を生成するようにして良い。つまり、平均化処理部３０５は、基準画像及び複数の変形画像に対して、平均画像を生成する、平均画像生成処理部とも言える。
平均化処理部３０５で行われる平均化処理においても、複数の変形画像が位置合わせに成功していれば、それらの変形画像から得られた平均化画像に大きな変化が生じることはないため、支援画像表示部１１３に表示される平均化画像をユーザが視認することにより、それらの変形画像（参照画像）が位置合わせに成功しているか否かを容易に確認でき、位置合わせの成功と失敗の視認性が高まる。
上述した支援画像生成部１１７の実施形態では、変形画像生成部１０５で生成された全ての変形画像に対し、エッジ検出部３０４で行われるエッジ検出処理と、平均化処理部３０５で行われる平均化処理を行うことにより、複数のエッジ画像と平均化画像を支援画像として生成するようにしているが、支援画像生成部１１７は、その実施形態に限定されることはなく、例えば、変形画像生成部１０５で生成された全ての変形画像に対し、エッジ検出部３０４で行われるエッジ検出処理のみを行うことにより、複数のエッジ画像を支援画像として生成するようにしても良く、また、変形画像生成部１０５で生成された全ての変形画像に対し、平均化処理部３０５で行われる平均化処理のみを行うことにより、平均化画像を支援画像として生成するようにしても良い。
さらに、支援画像生成部１１７では、変形画像生成部１０５で生成された全ての変形画像に対し、何の処理も行わずに、全ての変形画像を支援画像としてそのまま支援画像表示部１１３に表示させるようにしても良い。
画像処理装置２では、支援画像表示部１１３に表示された支援画像が支援画像生成処理を施された高解像度グリッド画像と簡易補間画像である場合に、ユーザがその支援画像を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていないと判断された場合に（図９のステップＳ２２５のＮＯを参照）、画像処理装置１（図２のステップＳ２２０のＮＯの場合）と同じ処理を行う。
そして、画像処理装置２では、支援画像表示部１１３に表示された支援画像が支援画像生成処理を施された高解像度グリッド画像と簡易補間画像である場合に、ユーザがその支援画像を視認することにより、ユーザの満足がいく画質が得られる超解像処理に十分な複数枚の参照画像が選択されていると判断された場合に（図９のステップＳ２２５のＹＥＳを参照）、画像処理装置１（図２のステップＳ２２０のＹＥＳの場合）と同じ処理を行う。
また、位置合わせに成功した参照画像のみを、超解像処理に使用する参照画像として選択することが望ましいことから、画像処理装置２では、支援画像表示部１１３に表示された支援画像が、複数の変形画像に基づいて生成された複数のエッジ画像と平均化画像である場合に、ユーザがそれらの支援画像を視認することにより、全ての参照画像が位置合わせに成功したとユーザに判断された場合に（図９のステップＳ２２５のＹＥＳを参照）、再構成処理部１１５が、第２記憶部１０９に格納されている加算画像と重み画像を読み出し、読み出した加算画像と重み画像に対し、再構成処理を行うことにより（図２のステップＳ２３０を参照）、高解像度画像を生成する。
一方、画像処理装置２では、支援画像表示部１１３に表示された支援画像が、複数の変形画像に基づいて生成された複数のエッジ画像と平均化画像である場合に、ユーザがそれらの支援画像を視認することにより、全ての参照画像が位置合わせに成功したとは言えない、つまり、複数の参照画像に位置合わせに失敗した参照画像が存在するとユーザに判断された場合に（図９のステップＳ２２５のＮＯを参照）、外部Ｉ／Ｆ制御部１１４を介して、図９のステップＳ１２０（参照画像選択部１０３）に戻って、複数の参照画像から位置合わせに成功したとユーザに判断された参照画像のみを参照画像として選択するように、参照画像選択処理が行われる。
本発明の画像処理装置２では、上述したような処理を行うことで、ユーザが超解像処理に最適な低解像度画像群を取得することを支援することが可能になり、つまり、本発明によれば、超解像処理に必要なサブピクセル単位での位置ずれを有する低解像度画像群が十分に得られているので、高画質な高解像度画像を生成することができる。
なお、本発明に係る画像処理装置を、例えば、電子撮像機器（例えば、単板方式の固体カラー撮像装置や三板方式の固体カラー撮像装置などのデジタル撮像装置）や画像システムに実装することができる。
また、本発明に係る画像処理装置は、コンピュータシステムを利用し、ソフトウェア（コンピュータプログラム）により実装されることができ、そして、ＡＳＩＣ（Application Specific Integrated Circuit）、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）などのハードウェアにより実装されることも勿論できる。
画像入力部 １００
第１記憶部 １０１
基準画像選択部 １０２
参照画像選択部 １０３
位置ずれ量算出部 １０４
変形画像生成部 １０５
画像情報選択部 １０６
パラメータ設定部 １０７
加算画像・重み画像生成部 １０８
第２記憶部 １０９
高解像度グリッド画像生成部 １１０
簡易補間画像生成部 １１１
支援画像生成部 １１２，１１７
支援画像表示部 １１３
外部Ｉ／Ｆ制御部 １１４
再構成処理部 １１５
高解像度画像出力部 １１６
加算画像生成部 ２００
重み画像生成部 ２０１
リサイズ処理部 ３００
鮮鋭化処理部 ３０１
欠落画素強調処理部 ３０２
彩度強調処理部 ３０３
エッジ検出部 ３０４
平均化処理部 ３０５

Claims (12)

  1. 複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置であって、
    前記複数枚の低解像度画像を入力する画像入力部と、
    入力された前記複数枚の低解像度画像から、基準画像を選択する基準画像選択部と、
    入力された前記複数枚の低解像度画像から、前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、
    前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、
    前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて、複数の変形画像を生成する変形画像生成部と、
    前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、
    前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、
    前記最適な低解像度画像群が十分に取得されているか否かをユーザが視認するための支援画像を生成する支援画像生成部と、
    前記支援画像を表示する支援画像表示部と、
    を備え、
    前記支援画像生成部は、前記高解像度グリッド画像に対し、前記ユーザの視認性を高めるために行われる支援画像生成処理を施すことで、前記支援画像を生成することを特徴とする画像処理装置。
  2. 前記支援画像生成処理を行うために、前記支援画像生成部は、前記高解像度グリッド画像に対し、画像の欠落画素の強調処理を行う欠落画素強調処理部を備え、
    前記欠落画素強調処理部により前記欠落画素の強調処理が行われた前記高解像度グリッド画像を前記支援画像とする請求項１に記載の画像処理装置。
  3. 前記支援画像生成処理を行うために、
    前記支援画像生成部は、
    前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部と、
    前記補間画像に対し、彩度の強調処理を行う彩度強調処理部とを備え、
    前記彩度強調処理部により前記彩度の強調処理が行われた前記補間画像を前記支援画像とする請求項１に記載の画像処理装置。
  4. 前記支援画像生成処理を行うために、
    前記支援画像生成部は、
    前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部と、
    前記基準画像及び前記変形画像に対して、前記基準画像のエッジ画像及び前記変形画像のエッジ画像を生成する、エッジ画像生成処理部とを備え、
    前記補間処理部より生成された補間画像を前記支援画像とすると共に、前記エッジ画像生成処理部により生成された前記基準画像のエッジ画像及び前記変形画像のエッジ画像をも前記支援画像とする請求項１に記載の画像処理装置。
  5. 前記支援画像生成処理を行うために、
    前記支援画像生成部は、
    前記高解像度グリッド画像に対し、欠落画素の補間処理を行い、補間画像を生成する補間処理部と、
    前記基準画像及び前記複数の変形画像に対して、平均画像を生成する、平均画像生成処理部とを備え、
    前記補間処理部より生成された補間画像を前記支援画像とすると共に、前記平均画像生成処理部により、前記基準画像及び前記複数の変形画像に対して生成された平均画像をも前記支援画像とする請求項１に記載の画像処理装置。
  6. 複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置であって、
    前記複数枚の低解像度画像を入力する画像入力部と、
    入力された前記複数枚の低解像度画像から、基準画像を選択する基準画像選択部と、
    入力された前記複数枚の低解像度画像から、前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、
    前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、
    前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて、複数の変形画像を生成する変形画像生成部と、
    前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、
    前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、
    前記最適な低解像度画像群が十分に取得されているか否かをユーザが視認するための支援画像を生成する支援画像生成部と、
    前記支援画像を表示する支援画像表示部と、
    を備え、
    前記支援画像生成部は、前記基準画像及び前記変形画像に対して、前記基準画像のエッジ画像及び前記変形画像のエッジ画像を生成する、エッジ画像生成処理部を備えており、
    前記エッジ画像生成処理部により生成された前記基準画像のエッジ画像及び前記変形画像のエッジ画像を前記支援画像とすることを特徴とする画像処理装置。
  7. 複数枚の低解像度画像を使用して超解像処理により高解像度画像を生成する際に、ユーザが前記超解像処理に最適な低解像度画像群を取得することを支援するための画像処理装置であって、
    前記複数枚の低解像度画像を入力する画像入力部と、
    入力された前記複数枚の低解像度画像から、基準画像を選択する基準画像選択部と、
    入力された前記複数枚の低解像度画像から、前記超解像処理に利用する複数枚の参照画像を選択する参照画像選択部と、
    前記基準画像と前記各参照画像間の高解像度画像空間上で位置合わせを行うための位置ずれ量をそれぞれ算出する位置ずれ量算出部と、
    前記位置ずれ量と前記基準画像と前記複数の参照画像に基づいて、複数の変形画像を生成する変形画像生成部と、
    前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する加算画像・重み画像生成部と、
    前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する高解像度グリッド画像生成部と、
    前記最適な低解像度画像群が十分に取得されているか否かをユーザが視認するための支援画像を生成する支援画像生成部と、
    前記支援画像を表示する支援画像表示部と、
    を備え、
    前記支援画像生成部は、前記基準画像及び前記複数の変形画像に対して、平均画像を生成する、平均画像生成処理部を備えており、
    前記平均画像生成処理部により、前記基準画像及び前記複数の変形画像に対して生成された平均画像を前記支援画像とすることを特徴とする画像処理装置。
  8. 前記複数枚の低解像度画像は、画素情報において少なくとも１種類以上の色チャンネル情報が欠落している画像である請求項１乃至請求項７の何れか一項に記載の画像処理装置。
  9. 前記画像処理装置において、
    前記参照画像の画像情報を選択する基準になるパラメータの閾値を設定するパラメータ設定部と、
    前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記パラメータ設定部における前記パラメータの前記閾値の変更を行う、外部Ｉ／Ｆ制御部と、
    を更に備える請求項１乃至請求項８の何れか一項に記載の画像処理装置。
  10. 前記画像処理装置において、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記複数参照画像の枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備える請求項１乃至請求項８の何れか一項に記載の画像処理装置。
  11. 前記画像処理装置において、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記画像入力部の前記複数枚の低解像度画像の入力枚数の変更を行う、外部Ｉ／Ｆ制御部を更に備える請求項１乃至請求項８の何れか一項に記載の画像処理装置。
  12. 前記画像処理装置において、前記支援画像表示部に表示された前記支援画像のユーザ視認結果に応じて前記参照画像の選択を行う、外部Ｉ／Ｆ制御部を更に備える請求項１乃至請求項８の何れか一項に記載の画像処理装置。
JP2010028857A 2010-02-12 2010-02-12 画像処理装置 Expired - Fee Related JP5645052B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010028857A JP5645052B2 (ja) 2010-02-12 2010-02-12 画像処理装置
PCT/JP2011/053433 WO2011099647A1 (ja) 2010-02-12 2011-02-10 画像処理装置
US13/578,542 US8873889B2 (en) 2010-02-12 2011-02-10 Image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010028857A JP5645052B2 (ja) 2010-02-12 2010-02-12 画像処理装置

Publications (2)

Publication Number Publication Date
JP2011165045A JP2011165045A (ja) 2011-08-25
JP5645052B2 true JP5645052B2 (ja) 2014-12-24

Family

ID=44367907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010028857A Expired - Fee Related JP5645052B2 (ja) 2010-02-12 2010-02-12 画像処理装置

Country Status (3)

Country Link
US (1) US8873889B2 (ja)
JP (1) JP5645052B2 (ja)
WO (1) WO2011099647A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8839448B2 (en) * 2011-10-18 2014-09-16 Salesforce.Com, Inc. Generation of a human readable output message in a format that is unreadable by a computer-based device
CN104704815B (zh) * 2012-05-23 2018-12-07 杭州阿尔法红外检测技术有限公司 热像摄影装置和热像摄影方法
GB2506686B (en) * 2012-10-08 2016-09-14 Canon Kk Method and device for generating a super-resolution image using an enhanced grid
US9076229B2 (en) * 2012-11-30 2015-07-07 Sharp Laboratories Of America, Inc. Jagged edge reduction using kernel regression
JP6608138B2 (ja) * 2012-12-28 2019-11-20 興和株式会社 画像処理装置、画像処理方法、画像処理プログラム及びそのプログラムを格納した記録媒体
WO2014156669A1 (ja) * 2013-03-29 2014-10-02 コニカミノルタ株式会社 画像処理装置および画像処理方法
GB201313681D0 (en) * 2013-07-31 2014-01-08 Mbda Uk Ltd Image processing
GB201313682D0 (en) 2013-07-31 2013-12-18 Mbda Uk Ltd Method and apparatus for tracking an object
JP6159227B2 (ja) * 2013-10-30 2017-07-05 日立Ｇｅニュークリア・エナジー株式会社 目視検査方法およびその装置
JP5788551B1 (ja) * 2014-03-27 2015-09-30 オリンパス株式会社 画像処理装置および画像処理方法
JP6324155B2 (ja) * 2014-03-27 2018-05-16 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10049432B2 (en) 2014-09-10 2018-08-14 Mitsubishi Electric Corporation Image processing apparatus, image processing method, program and recording medium
JP2019134202A (ja) * 2018-01-29 2019-08-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置および撮像素子の制御方法
JP2019212138A (ja) * 2018-06-07 2019-12-12 コニカミノルタ株式会社 画像処理装置、画像処理方法及びプログラム
US10169852B1 (en) * 2018-07-03 2019-01-01 Nanotronics Imaging, Inc. Systems, devices, and methods for providing feedback on and improving the accuracy of super-resolution imaging

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003280610A1 (en) 2003-01-14 2004-08-10 The Circle For The Promotion Of Science And Engineering Multi-parameter highly-accurate simultaneous estimation method in image sub-pixel matching and multi-parameter highly-accurate simultaneous estimation program
WO2004068862A1 (ja) 2003-01-31 2004-08-12 The Circle For The Promotion Of Science And Engineering 高解像度カラー画像生成方法,高解像度カラー画像生成装置及び高解像度カラー画像生成プログラム
JP4126378B2 (ja) 2005-05-02 2008-07-30 国立大学法人東京工業大学 超解像処理の高速化方法
JP2007266667A (ja) 2006-03-27 2007-10-11 Nec Electronics Corp カメラ付き携帯機器、その制御方法及びその撮影支援方法
JP4837615B2 (ja) 2006-04-11 2011-12-14 パナソニック株式会社 画像処理方法および画像処理装置
JP2008077501A (ja) * 2006-09-22 2008-04-03 Olympus Corp 画像処理装置及び画像処理制御プログラム
JP2008092297A (ja) * 2006-10-02 2008-04-17 Olympus Corp 画像処理装置、画像処理プログラム、画像製造方法、及び記録媒体
JPWO2008102898A1 (ja) 2007-02-19 2010-05-27 国立大学法人東京工業大学 画質改善処理装置、画質改善処理方法及び画質改善処理プログラム
JP4839448B2 (ja) * 2007-03-19 2011-12-21 国立大学法人東京工業大学 複数領域に対応した画質改善処理方法及び画質改善処理プログラム
JP2009124340A (ja) 2007-11-13 2009-06-04 Fujifilm Corp 撮像装置、撮影支援方法、及び撮影支援プログラム
JP4894018B2 (ja) * 2008-02-08 2012-03-07 株式会社Ｊｖｃケンウッド 画像処理装置、画像処理方法、および画像処理プログラム
JP2010108161A (ja) 2008-10-29 2010-05-13 Pioneer Electronic Corp 画像処理装置及び方法、並びにコンピュータプログラム
JP5645051B2 (ja) 2010-02-12 2014-12-24 国立大学法人東京工業大学 画像処理装置
JP2012185808A (ja) * 2011-02-17 2012-09-27 Panasonic Corp 画像処理装置、画像処理方法、及びコンピュータプログラム、並びに撮像装置

Also Published As

Publication number Publication date
US20130084027A1 (en) 2013-04-04
WO2011099647A1 (ja) 2011-08-18
US8873889B2 (en) 2014-10-28
JP2011165045A (ja) 2011-08-25

Similar Documents

Publication Publication Date Title
JP5645052B2 (ja) 画像処理装置
JP5645051B2 (ja) 画像処理装置
JP6102749B2 (ja) 情報処理装置、撮像制御方法、プログラム、デジタル顕微鏡システム、表示制御装置、表示制御方法及びプログラム
JP5365823B2 (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP5500163B2 (ja) 画像処理システム、画像処理方法および画像処理プログラム
JP4814840B2 (ja) 画像処理装置又は画像処理プログラム
US8055101B2 (en) Subpixel registration
JP6553826B1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP6253792B2 (ja) 画像処理装置及び画像処理方法、並びにプログラム及び記録媒体
WO2007142109A1 (ja) 画像高解像度化装置及び画像高解像度化方法並びにプログラム
WO2019008693A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
JP5610245B2 (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP5212046B2 (ja) デジタルカメラおよび画像処理装置並びに画像処理プログラム
WO2015198368A1 (ja) 画像処理装置及び画像処理方法
JP4906930B2 (ja) 表示装置
JP5527035B2 (ja) 画像処理プログラム、画像処理装置および撮像装置
JP5705391B1 (ja) 画像処理装置及び画像処理方法
JP2017022597A (ja) 画像処理装置、その制御方法、および制御プログラム
WO2014077024A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5055571B2 (ja) 画像処理装置、電子カメラ、および画像処理プログラム
JP2016062447A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP7393179B2 (ja) 撮影装置
JP5364887B2 (ja) 画像合成装置、画像合成方法、画像合成プログラム及び記録媒体
JP2011170488A (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び、電子機器
JP2022181027A (ja) 画像処理装置、画像処理方法、撮像装置、およびプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20111122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20111122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141014

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141022

R150 Certificate of patent or registration of utility model

Ref document number: 5645052

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees