JP4241814B2 - 画像補正装置及び方法並びに電子機器 - Google Patents

画像補正装置及び方法並びに電子機器 Download PDF

Info

Publication number
JP4241814B2
JP4241814B2 JP2006329656A JP2006329656A JP4241814B2 JP 4241814 B2 JP4241814 B2 JP 4241814B2 JP 2006329656 A JP2006329656 A JP 2006329656A JP 2006329656 A JP2006329656 A JP 2006329656A JP 4241814 B2 JP4241814 B2 JP 4241814B2
Authority
JP
Japan
Prior art keywords
correction
image
target image
target
blur
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006329656A
Other languages
English (en)
Other versions
JP2008147767A (ja
Inventor
晴雄 畑中
日出人 藤田
晋平 福本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2006329656A priority Critical patent/JP4241814B2/ja
Priority to US11/949,168 priority patent/US7893964B2/en
Publication of JP2008147767A publication Critical patent/JP2008147767A/ja
Application granted granted Critical
Publication of JP4241814B2 publication Critical patent/JP4241814B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/02—Control effected by setting a graduated member on the camera in accordance with indication or reading afforded by a light meter, which may be either separate from or built into camera body
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Image Processing (AREA)

Description

本発明は、対象画像に補正処理を施して補正画像を生成する画像補正装置及び画像補正方法に関する。また、本発明は、そのような画像補正装置を備えた、撮像装置等の電子機器に関する。
手ぶれ補正技術は、撮影時における手ぶれを軽減する技術であり、デジタルスチルカメラ等の撮像装置における差別化技術として重要視されている。手ぶれ補正技術は、補正対象が静止画像であるか動画像であるかに関わらず、手ぶれを検出する要素技術と、その検出結果に基づいて画像を補正する要素技術と、に分けて考えることができる。
手ぶれを検出する方法には、角速度センサや加速度センサ等のセンサを用いる方法と、画像を解析して手ぶれを検出する電子式の方法とがある。画像の補正には、光学系の駆動により補正を行う光学式手ぶれ補正と、画像処理により補正を行う電子式手ぶれ補正とがある。
静止画像に対する手ぶれ補正方法としては、センサで手ぶれを検出しその検出結果に基づいて光学式手ぶれ補正を行う方法と、センサで手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、画像を解析して手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、がある。
これらの内、センサで手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法について説明する。この方法では、撮影中の手ぶれをセンサで検出して手ぶれ情報を作成しておき、撮影後にその手ぶれ情報に基づいて撮影画像に含まれる画像のぶれを低減して補正画像を生成する。この方法に基づく手ぶれ補正は、画像復元式手ぶれ補正とも呼ばれる。画像復元式手ぶれ補正に関する技術として、既に様々な技術が提案されている（例えば、下記特許文献１〜３参照）。
画像復元式手ぶれ補正は、光学系に対する駆動機構が必要とならないため、光学式補正方法と比べて、コスト、サイズ及び消費電力の面でメリットがある一方、補正時間が多くかかるというデメリットがある。補正対象画像の画像サイズにもよるが、１枚の補正対象画像からぶれを低減した１枚の補正画像を得るために、例えば、数秒かかる。
図１０を参照して、この種の画像復元式手ぶれ補正を採用した撮像装置における、補正画像の生成の流れを説明する。この撮像装置には、表示部と補正ボタンが備えられる。再生モードにおいて、ユーザは補正前の撮影画像（原画像）を表示画面で確認した後、必要であれば補正ボタンを押下する。この押下後、撮像装置は手ぶれ補正処理（画像復元処理）を実行開始し、手ぶれ補正処理が完了したら補正画像を表示画面に表示する。
上述したように補正画像を得るための補正時間はかなり長いのであるが、ユーザは、補正画像が表示されるまで待たなければならない。この問題は、ユーザに時間的負担を与え、撮像装置の操作性を悪くするものであるため、改善するための技術開発が急務である。
また、下記特許文献４には、撮影画像の縮小画像を手ぶれ補正して得られる画像を仮表示しておき、その仮表示中に実際の撮影画像に対して手ぶれ補正を行う技術が開示されている。この技術は、ユーザに補正処理時間を意識させないようにすることを目的としている。但し、この技術は、画像復元式手ぶれ補正とは全く異なる、いわゆる加算式手ぶれ補正技術に関するものであるゆえ、撮影直後に補正を行うことしか想定されていない。加算式手ぶれ補正では、シャッタ速度を早くして複数の分割露光画像を連続撮影し、この複数の分割露光画像を加算合成することにより１枚の静止画像を得る。
特開昭６２−１２７９７６号公報 特開２００４−８８５６７号公報 特開２００６−１２９２３６号公報 特開２００６−１８６７６４号公報
上述の如く、画像復元式手ぶれ補正において、ユーザからの補正指示（補正ボタンの押下等）があってから補正画像を得るまでの時間を短縮することは重要である。また、手ぶれ補正処理の実行は電力の消費を伴うが、補正画像を得るまでの時間を短縮するために消費電力の増大を招きうる場合には、その抑制をも留意する必要がある。
そこで本発明は、補正指示を与えてから補正画像が得られるまでの時間の短縮に寄与する画像補正装置及び画像補正方法を提供することを目的とする。また本発明は、その時間を短縮するために必要となる消費電力増大の抑制に寄与することも目的とする。また本発明は、そのような画像補正装置を備えた電子機器を提供することを目的とする。
上記目的を達成するために本発明に係る第１の画像補正装置は、外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、前記補正指示の付与に先立って前記補正画像生成手段に前記ぶれ補正処理を行わせる事前補正制御を実行可能な補正制御手段と、を備え、前記補正制御手段は、前記ぶれ情報に基づいて、前記対象画像に対して前記事前補正制御を行うか否かを決定することを特徴とする。
事前補正制御を実行可能とすることにより、補正指示を与えてから補正画像が得られるまでの時間が短縮される。また、ぶれ情報に基づいて、事前補正制御を行うか否かを決定するようにすることにより、事前補正の実行／不実行が適切に判断され、事前補正に由来する消費電力増大の抑制効果が得られる。
具体的には例えば、第１の画像補正装置において、前記ぶれ情報は、前記対象画像に含まれる画像のぶれの量を特定するぶれ量情報を含み、前記補正制御手段は、前記ぶれ量情報に基づいて、前記対象画像に対して前記事前補正制御を行うか否かを決定する。
また例えば、第１の画像補正装置は、複数の入力画像の夫々を、順次、対象画像として取り扱い、前記補正制御手段は、前記ぶれ量情報にて特定される前記ぶれの量と所定の基準ぶれ量との比較に基づいて、前記対象画像に対して前記事前補正制御を行うか否かを決定し、補正指示がなされた過去の対象画像についての前記ぶれの量に応じて、現在の対象画像に対する前記基準ぶれ量が設定される。
これにより、事前補正に由来する消費電力増大を更に抑制することが可能となる。
また、上記目的を達成するために本発明に係る第２の画像補正装置は、外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、前記補正指示の付与に先立って前記補正画像生成手段に前記ぶれ補正処理を行わせる事前補正制御を実行可能な補正制御手段と、を備え、当該画像補正装置は、複数の入力画像の夫々を、順次、対象画像として取り扱い、前記補正制御手段は、過去の対象画像に対する補正指示の有無の履歴に基づいて、現在の対象画像に対して前記事前補正制御を行うか否かを決定することを特徴とする。
事前補正制御を実行可能とすることにより、補正指示を与えてから補正画像が得られるまでの時間が短縮される。また、上記履歴に基づいて、事前補正制御を行うか否かを決定するようにすることにより、事前補正の実行／不実行が適切に判断され、事前補正に由来する消費電力増大の抑制効果が得られる。
具体的には例えば、第２の画像補正装置において、前記履歴によって、過去の対象画像に対する補正指示の頻度が表され、前記補正制御手段は、前記頻度に基づいて、現在の対象画像に対して前記事前補正制御を行うか否かを決定する。
また、上記目的を達成するために本発明に係る第３の画像補正装置は、外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、前記対象画像の表示手段への表示を制御するとともに、前記対象画像の表示時に前記補正指示が付与された際には生成された前記補正画像を前記表示手段に表示させる表示制御手段と、を備えた画像補正装置において、前記対象画像の表示時に、前記補正指示の付与に先立って前記補正画像生成手段に前記ぶれ補正処理を行わせるための補正制御手段と、を備えたことを特徴とする。
これによっても、補正指示を与えてから補正画像が得られるまでの時間が短縮される。
また、上記目的を達成するために本発明に係る第４の画像補正装置は、外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、夫々が前記対象画像の候補となる複数の対象候補画像を記憶する第１記憶手段と、第２記憶手段と、 前記複数の対象候補画像を順位付けして、前記補正指示の有無に関わらず、順位付けの順番で各対象候補画像を前記対象画像と取り扱って前記補正画像生成手段に前記ぶれ補正処理を実行させ、これによって得られた補正画像を前記第２記憶手段に記憶させる補正制御手段と、を備え、前記補正制御手段は、各対象候補画像についてのぶれ情報に基づいて、前記順位付けを行うことを特徴とする。
これにより、ぶれ情報に基づいて、補正指示が与えられそうな画像から優先的に補正することが可能となる。このため、補正指示を与えてから補正画像が得られるまでの時間の実質的な短縮が見込める。
そして具体的には例えば、第４の画像補正装置は、前記補正指示が与えられた際、その補正指示に従って生成されるべき補正画像が前記第２記憶手段に記憶されているかを検索し、記憶されている場合は、前記第２記憶手段に記憶されている前記補正画像を表示手段に表示させる一方、記憶されていない場合は、前記補正指示後に得られる前記補正画像を前記表示手段に表示させる表示制御手段を、更に備えている。
そして、上記目的を達成するために本発明に係る電子機器は、上記の何れかに記載の画像補正装置と、撮影によって前記対象画像を生成する撮像手段および前記補正画像を表示可能な表示手段の少なくとも一方と、を備えたことを特徴とする。
また、上記目的を達成するために本発明に係る第１の画像補正方法は、外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する画像補正方法において、前記補正指示の付与に先立って前記ぶれ補正処理を行う事前補正を実行可能とし、前記ぶれ情報に基づいて、前記対象画像に対して前記事前補正を行うか否かを決定することを特徴とする。
また、上記目的を達成するために本発明に係る第２の画像補正方法は、外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する画像補正方法において、前記補正指示の付与に先立って前記ぶれ補正処理を行う事前補正を実行可能とし、複数の入力画像の夫々を、順次、対象画像として取り扱い、過去の対象画像に対する補正指示の有無の履歴に基づいて、現在の対象画像に対して前記事前補正を行うか否かを決定することを特徴とする。
また、上記目的を達成するために本発明に係る第３の画像補正方法は、外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成し、前記対象画像の表示手段への表示を制御するとともに、前記対象画像の表示時に前記補正指示が付与された際には生成された前記補正画像を前記表示手段に表示させる画像補正方法において、前記対象画像の表示時に、前記補正指示の付与に先立って前記ぶれ補正処理を実効可能とすることを特徴とする。
また、上記目的を達成するために本発明に係る第４の画像補正方法は、外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する画像補正方法において、夫々が前記対象画像の候補となる複数の対象候補画像を受け、前記複数の対象候補画像を順位付けして、前記補正指示の有無に関わらず、順位付けの順番で各対象候補画像を前記対象画像と取り扱って前記ぶれ補正処理を実行し、各対象候補画像についてのぶれ情報に基づいて、前記順位付けを行うことを特徴とする。
本発明によれば、補正指示を与えてから補正画像が得られるまでの時間の短縮に寄与する画像補正装置及び画像補正方法を提供することができる。
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。
後に第１〜第３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
図１は、本発明の実施の形態に係る撮像装置１の全体ブロック図である。撮像装置１は、静止画像を撮影可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。但し、撮像装置１は、静止画像に対する手ぶれ補正処理に関して特徴的な機能を有しているため、以下、本明細書において特に記述しない限り、静止画像に関する説明を行うものとする。
撮像装置１は、撮像部１１と、ＡＦＥ（Analog Front End）１２と、主制御部１３と、内部メモリ１４と、表示部１５と、記録媒体１６と、操作部１７と、手ぶれ検出部１８と、手ぶれ補正処理部２３と、を備えている。主制御部１３は、表示部１５の表示内容を制御する表示制御手段としての機能をも備え、表示に必要な制御を行う。
図２に撮像部１１の内部構成図を示す。撮像部１１は、ズームレンズ３０及びフォーカスレンズ３１を含む複数枚のレンズを備えて構成される光学系３５と、絞り３２と、撮像素子３３と、ドライバ３４を有している。ズームレンズ３０及びフォーカスレンズ３１は光軸方向に移動可能である。
モータ等から成るドライバ３４は、主制御部１３からの制御信号に基づいて、ズームレンズ３０及びフォーカスレンズ３１の移動を制御し、光学系３５のズーム倍率や焦点距離を制御する。また、ドライバ３４は、主制御部１３からの制御信号に基づいて絞り３２の開度（開口部の大きさ）を制御する。
被写体からの入射光は、光学系３５を構成する各レンズ及び絞り３２を介して、撮像素子３３に入射する。光学系３５を構成する各レンズは、被写体の光学像を撮像素子３３上に結像させる。
撮像素子３３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサからなる。撮像素子３３は、光学系３５及び絞り３２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号をＡＦＥ１２に出力する。より具体的には、撮像素子３３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。蓄えた信号電荷の電荷量に比例した大きさを有する各画素からの電気信号は、タイミングジェネレータ（不図示）からの駆動パルスに従って、後段のＡＦＥ１２に順次出力される。
ＡＦＥ１２は、撮像部１１（撮像素子３３）から出力されるアナログ信号を増幅し、増幅されたアナログ信号をデジタル信号に変換する。ＡＦＥ１２は、このデジタル信号を、順次、主制御部１３に出力する。
主制御部１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を備え、映像信号処理部としても機能する。主制御部１３は、ＡＦＥ１２の出力信号に基づいて、撮像部１１によって撮影された画像（以下、「撮影画像」ともいう）を表す映像信号を生成する。
主制御部１３は、撮影画像中のフォーカス検出領域内のコントラスト量に応じたＡＦ評価値を検出するＡＦ評価値検出部２１、及び、撮影画像の明るさに応じたＡＥ評価値を検出するＡＥ評価値検出部２２を含む。主制御部１３は、ＡＦ評価値に応じて図２のドライバ３４を介してフォーカスレンズ３１の位置を調節することにより、被写体の光学像を撮像素子３３の撮像面に結像させる。また、主制御部１３は、ＡＥ評価値に応じて図２のドライバ３４を介して絞り３２の開度を調節することにより、撮影画像の明るさを制御する。
図１の内部メモリ１４は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等にて形成され、撮像装置１内で生成された各種データを一時的に記憶する。表示部１５は、液晶ディスプレイパネル等から成る表示装置であり、主制御部１３の制御の下、直前のフレームにて撮影された画像や記録媒体１６に記録されている画像などを表示する。記録媒体１６は、ＳＤ（Secure Digital）メモリカード等の不揮発性メモリであり、主制御部１３による制御の下、撮影画像などを記憶する。
操作部１７は、シャッタボタン１７ａ、補正ボタン１７ｂ及び表示画像送りボタン１７ｃ等から成り、外部からの操作を受け付ける。操作部１７に対する操作内容は、主制御部１３に伝達される。シャッタボタン１７ａは、静止画像の撮影を指示するためのボタンである。補正ボタン１７ｂは、手ぶれ補正処理（詳細は後述）の実行を指示するためのボタンである。表示画像送りボタン１７ｃは、表示部１５に表示される画像を変更するためのボタンである。
撮像装置１の動作モードには、静止画像（及び動画像）の撮影が可能な撮影モードと、記録媒体１６に記録された静止画像（及び動画像）を表示部１５に再生表示する再生モードと、が含まれる。操作部１７に対する操作に応じて、各モード間の遷移は実施される。
撮影モードにおいて、撮像部１１は、所定のフレーム周期（例えば、１／６０秒）にて順次撮影を行うが、シャッタボタン１７ａが押下された際、合焦処理を経た後の１枚の撮影画像を表す画像データを、記録媒体１６に格納する（即ち、記憶させる）。
この撮影画像は、手ぶれに起因するぶれを含みうる画像であり、後に補正されうる。このため、以下、撮影時に記録媒体１６に格納される画像データを原画像データと呼び、原画像データにて表される撮影画像を原画像とよぶ。
図３は、記録媒体１６の記憶内容を示す概念図である。記録媒体１６には、シャッタボタン１７ａの押下による撮影回数に応じた個数の画像ファイル２５が格納されている。１つの画像ファイル２５には、１つの原画像データが格納されていると共に該原画像データに関連付けられた付加情報が格納されている。付加情報には、原画像の撮影時における動きベクトルを表す情報、原画像についての手ぶれ量（詳細は後述）を表す情報、原画像の撮影時における光学系３５の焦点距離を表す情報などが含まれる。
各画像ファイル２５には、ファイル名が付されており、異なる画像ファイル２５間でファイル名は異なる。今、第１、第２、第３、・・・、第ｍの原画像がこの順番で撮影され、第１、第２、第３、・・・、第ｍの原画像についての画像ファイル２５に対して、夫々、ファイル名ＦＩＬＥ1、ＦＩＬＥ2、ＦＩＬＥ3、・・・、ＦＩＬＥmが付されているものとする（ｍは、２以上の整数）。ファイル名ＦＩＬＥmに対応する第ｍの原画像は、最新の撮影によって得られた原画像である。
原画像の撮影時における動きベクトルは、図１の手ぶれ検出部１８にて生成される手ぶれ信号に基づいて生成され、それは、原画像に含まれる画像のぶれの量及びぶれの方向を特定する。
［動きベクトルの生成］
１枚の原画像に対応する動きベクトルの生成手法について説明する。手ぶれ検出部１８は、図４に示す如く、角速度センサ１８ａ及び１８ｂから成る。角速度センサ１８ａは、撮像装置１のパン方向（水平方向）の角速度を検出し、角速度センサ１８ｂは、撮像装置１のチルト方向（垂直方向）の角速度を検出する。パン方向とチルト方向は、互いに直交し、且つ、光軸にも直交する。パン方向は画像の水平方向に対応し、チルト方向は画像の垂直方向に対応する。
角速度センサ１８ａは、原画像の撮影開始から撮影終了時点まで、即ち、原画像を撮影するための露光期間中、所定のサンプリング周期（１周期の長さをｄｔで表す）にてパン方向の角速度を計測して、その計測した角速度を表す角速度データを出力する。角速度センサ１８ｂは、同じ露光期間中、所定のサンプリング間隔ｄｔにてチルト方向の角速度を計測し、その計測した角速度を表す角速度データを出力する。
角速度センサ１８ａが出力する角速度データによって表されるパン方向の角速度をθx’にて表し、１つのサンプリング周期ｄｔにおけるパン方向の回転角をθx（単位は［度］）にて表す。そして、このサンプリング周期ｄｔの間、角速度一定で撮像装置１が回転すると仮定すると、下記式（１ａ）が成立する。ここで、ｆは、サンプリング周波数であって、ｆ＝１／ｄｔ（単位は［Ｈｚ］）が成立する。また、角速度センサ１８ｂが出力する角速度データによって表されるチルト方向の角速度をθy’にて表すと共に、１つのサンプリング周期ｄｔにおけるチルト方向の回転角をθy（単位は［度］）にて表し、同様に考えると、下記式（１ｂ）が成立する。
θx＝θx’／ｆ ・・・（１ａ）
θy＝θy’／ｆ ・・・（１ｂ）
ｒ（単位は［ｍｍ］（ミリメートル））を３５ｍｍフィルム換算時における焦点距離とすると、下記式（２ａ）及び（２ｂ）に示す如く、回転角θxによる画像上の水平方向の移動量ｄx及び回転角θyによる画像上の垂直方向の移動量ｄyが求まる。
ｄx＝ｒ・ｔａｎθx ・・・（２ａ）
ｄy＝ｒ・ｔａｎθy ・・・（２ｂ）
ｄx及びｄyは、夫々、３５ｍｍフィルム換算時におけるパン方向（水平方向）及びチルト方向（垂直方向）の手ぶれの大きさを表し、それらの単位は［ｍｍ］である。３５ｍｍフィルム換算時では、画像の横及び縦は３６［ｍｍ］及び２４［ｍｍ］と定まっている。従って、原画像の横の画素数及び縦の画素数を、夫々Ｘ及びＹとし、回転角θxによる水平方向のぶれ量をｘ［画素］、回転角θyによる垂直方向のぶれ量をｙ［画素］にて表すと、下記式（３ａ）及び（３ｂ）が成立する。
ｘ＝ｄx・（Ｘ／３６）＝ｒ・ｔａｎθx・（Ｘ／３６）
＝ｒ・ｔａｎ（θx’／ｆ）・（Ｘ／３６） ・・・（３ａ）
ｙ＝ｄy・（Ｙ／２４）＝ｒ・ｔａｎθy・（Ｙ／２４）
＝ｒ・ｔａｎ（θy’／ｆ）・（Ｙ／２４） ・・・（３ｂ）
式（３ａ）及び（３ｂ）を用いることにより、角速度データを、画像のぶれを表す動きベクトルに変換することができる。動きベクトルは、画像の動きをベクトルとして表現した二次元量であり、１つの動きベクトルの水平成分及び垂直成分は夫々ｘ及びｙで表される。
原画像の露光期間中にサンプリングされる角速度データの数だけ、原画像についての動きベクトルが得られ、得られた動きベクトルの始点と終点を順番に結んでいくことで、画像上の手ぶれの軌跡が得られる。また、動きベクトルの大きさは、その動きベクトルに対応するサンプリング時点における手ぶれの速度を表す。
図５（ａ）に、得られた画像上の手ぶれの軌跡の例を示す。図５（ａ）において、符号ＭＶ1、ＭＶ2、・・・、ＭＶpは、夫々、原画像の露光期間中における１番目、２番目、・・・、ｐ番目の角速度データによって特定される動きベクトルを表す（ｐは２以上の整数）。符号１００は、画像上における動きベクトルＭＶ1の始点を表し、符号１０１は、画像上における動きベクトルＭＶpの終点を表す。画像上において、動きベクトルＭＶ1の終点を動きベクトルＭＶ2の始点に結び、動きベクトルＭＶ2の終点を動きベクトルＭＶ3の終点に結ぶ。同様に、他の動きベクトルも始点と終点を順番に結んでいくことで、始点１００から終点１０１を結ぶ手ぶれの軌跡が得られる。
画像上における始点１００から終点１０１までの距離は、原画像の撮影時に生じた手ぶれ量を表す。この手ぶれ量は、手ぶれに起因して原画像に含まれることになった画像のぶれの量を表す。上記の距離、手ぶれ量及び画像のぶれ量は、何れも、画素を単位として表現される。
他方、シャッタボタン１７ａが押下された際、主制御部１３は、合焦処理を行って合焦レンズ位置を求め、フォーカスレンズ３１の位置を該合焦レンズ位置に配置させてから原画像の撮影を行わせる。例えば、シャッタボタン１７ａが押下された際、フォーカスレンズ３１の位置を所定間隔で移動させながらＡＦ評価値算出部２１を用いて順次ＡＦ評価値を算出し、ＡＦ評価値が最大となるフォーカスレンズ３１の位置を合焦レンズ位置として特定する。合焦レンズ位置が定まれば、自動的に撮像部１１の光学系３５の焦点距離は定まる。この焦点距離は、原画像データと関連付けられつつ、その原画像データが格納された画像ファイル２５に格納される。
角速度センサ１８ａ及び１８ｂが出力する角速度データは、手ぶれ信号として、主制御部１３に送られる。主制御部１３は、この手ぶれ信号と、原画像の撮影時における光学系３５の焦点距離から、動きベクトルを生成する。この際、主制御部１３は、手ぶれ信号と焦点距離以外の、動きベクトルを生成するために必要な情報（Ｘなど）を、既知の情報として参照する。原画像の露光期間中における動きベクトル、即ち、原画像の撮影中における動きベクトルは、原画像データと関連付けられつつ、その原画像データが格納された画像ファイル２５に格納される。また、原画像の露光期間中における動きベクトルに基づいて算出された手ぶれ量も併せて画像ファイル２５に格納される。
尚、原画像について得られた動きベクトルを点広がり関数（Point Spread Function；以下、ＰＳＦと呼ぶ）に変換し、この点広がり関数から手ぶれ量を算出するようにしてもよい。理想的な点像が撮像装置１のぶれによって画像上で描く軌跡（手ぶれの軌跡に対応）にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして一般的に使用される。
動きベクトルをＰＳＦに変換する手法は公知であるため、詳細な説明を割愛する。例えば、上記特許文献３に記載の手法を用いて動きベクトルをＰＳＦに変換すればよい。即ち、動きベクトルに基づいて、ＰＳＦの重みをかける要素（即ち、０ではない有意な重みが付与される要素）を決定する共にそれらの要素にかける重みを決定し、これによってＰＳＦを得る。図５（ｂ）に、得られたＰＳＦを示す。手ぶれの軌跡１０２に沿った、実線四角枠で示される各要素に０ではない有意な重みが付与され、それ以外の要素に対する重みは０とされる。そして、ＰＳＦにおいて、重みがかけられた要素の全てを含む最小の長方形（図５（ｂ）における破線長方形１０３）を求め、その長方形の対角線の長さを手ぶれ量として算出すればよい。ＰＳＦから求められる手ぶれ量も、図５（ａ）の始点１００と終点１０１間の距離に相当する手ぶれ量も、等価である。
再生モードにおいて、本実施形態に係る撮像装置１は、原画像に対して手ぶれ補正処理を実行し、これによって得られた補正画像を表示部１５に表示する機能を備える。手ぶれ補正処理は、図１の手ぶれ補正処理部２３によって実行される。通常、この手ぶれ補正処理は、図１の補正ボタン１７ｂの押下に従って実施されるが、主制御部１３は、「補正ボタン１７ｂの押下に先立って手ぶれ補正処理部２３に手ぶれ補正処理を実行（実行開始）させる事前補正制御」を実行可能である。補正ボタン１７ｂの押下に先立って実行する手ぶれ補正処理を、以下「事前補正」と呼び、事前補正を行う機能を「事前補正機能」と呼ぶ。主制御部１３は、事前補正を含む、手ぶれ補正処理部２３による手ぶれ補正処理の実行を制御する補正制御手段としての機能を備える。
補正画像は、原画像に含まれる画像のぶれが除去或いは低減された画像である。原画像から手ぶれ補正処理によって補正画像を得る手法（画像復元式手ぶれ補正）は公知であるため、詳細な説明を割愛する。例えば、上記特許文献１〜３の何れかに記載の手法を用いればよい。本実施形態の例の場合、或る原画像に対する手ぶれ補正処理は、画像ファイル２５に格納された、その原画像についての動きベクトル（ぶれ情報）に基づいて実行される。この動きベクトルから、例えば特許文献３のように画像劣化関数としてのＰＳＦを生成し、このＰＳＦを用いて原画像をフィルタリングすることにより補正画像が得られる。
以下、この事前補正機能に着目した実施例として、第１〜第３実施例を説明する。或る実施例にて述べた事項は、矛盾なき限り、他の実施例にも適用可能である。尚、本実施形態の説明において、単に「表示」といった場合、それは、表示部１５における表示を指すものとする。
＜＜第１実施例＞＞
まず、第１実施例について説明する。記録媒体１６に格納された全ての原画像に対して事前補正を実施すると、撮像装置１の消費電力の増大を招く。また、事前補正によって得られた多くの補正画像を記憶しておこうとすると必要メモリ容量も増大する。そのため、第１実施例では、表示されている原画像に対して補正指示が与えられるか否かを予測し、補正指示が与えられる確率が高いと判断される場合にのみ事前補正を実施する。補正指示は、補正ボタン１７ｂの押下によって実現される。「補正指示」と「補正ボタン１７ｂの押下」は同意義である。
図６を参照して具体的に説明する。図６は、第１実施例に係る撮像装置１の、再生モードにおける動作のフローチャートである。
撮影モードにおいて、図３に示す如く複数の画像ファイル２５が記録媒体１６に格納された後、再生モードに移行すると（ステップＳ１）、ステップＳ２において、補正確率変数Ｐに０．５が代入される。
続くステップＳ３において、主制御部１３は、記録媒体１６から必要な原画像を読み出し、それを表示部１５に表示させる。再生モードに移行後、初めてステップＳ３に至った場合は、最新の撮影によって得られた原画像が読み出され、表示される。即ち、ファイル名ＦＩＬＥmが付された画像ファイル２５中の原画像データが読み出され、その原画像データによって表される原画像が表示部１５に表示される。
ステップＳ３に続くステップＳ４において、主制御部１３は、事前補正機能が有効となっているかを確認する。事前補正機能は、操作部１７に対する所定操作によって、有効にすることも無効にすることもできる。尚、この場合、操作部１７は、事前補正の実行を禁止又は許可するための指示を受け付ける指示受付手段として機能する。
事前補正機能が無効となっている場合はステップＳ１０に移行して、ユーザによる補正ボタン１７ｂの押下（即ち、補正指示）又は表示画像送り指示を待つことになる。事前補正機能が有効となっている場合はステップＳ５に移行して、主制御部１３は、現在表示している原画像についての手ぶれ量を画像ファイル２５から取得する。ここで取得された手ぶれ量をＬにて表す。手ぶれ量Ｌの単位は、「画素」である。
ステップＳ５に続くステップＳ６において、主制御部１３は、手ぶれ量Ｌと最小手ぶれ量についての閾値ＴＨ１とを比較する。閾値ＴＨ１には、当初、予め定められた初期値（例えば３画素）が設定されている。そして、不等式「Ｌ＞ＴＨ１」が成立する場合はステップＳ７に移行するが、成立しない場合は、事前補正を行うための各ステップをスキップしてステップＳ１０に移行する。手ぶれ量Ｌが閾値ＴＨ１以下の場合は、原画像に含まれる画像のぶれが小さいため、それに手ぶれ補正処理を行っても、視覚的に殆ど補正効果が得られないためである。
ステップＳ７において、主制御部１３は、手ぶれ量Ｌと最大手ぶれ量についての閾値ＴＨ２とを比較する。閾値ＴＨ２は、手ぶれ補正処理部２３による手ぶれ補正処理の能力に応じて予め定められる。但し、ＴＨ２＞ＴＨ１が成立し、例えば、閾値ＴＨ２は１００画素とされる。不等式「Ｌ＜ＴＨ２」が成立する場合はステップＳ８に移行するが、成立しない場合は、事前補正を行うための各ステップをスキップしてステップＳ１０に移行する。手ぶれ量Ｌが閾値ＴＨ２以上の場合は、原画像に含まれる画像のぶれが大きすぎるため、それに手ぶれ補正処理を行っても、有効な手ぶれ補正を実現できないからである。
ステップＳ８において、主制御部１３は、補正確率変数Ｐと閾値ＴＨ３とを比較する。閾値ＴＨ３には、当初、予め定められた初期値（例えば０．５）が設定されている。後述の説明からも明らかとなるが、補正確率変数Ｐは、ユーザが補正ボタン１７ｂを押下して補正画像を表示部１５に表示させる確率を表し、その確率は、過去の補正ボタン１７ｂの押下状況に応じて変化する。不等式「Ｐ≧ＴＨ３」が成立する場合はステップＳ９に移行するが、成立しない場合は、事前補正を行うためのステップＳ９をスキップしてステップＳ１０に移行する。補正確率変数Ｐが閾値ＴＨ３未満の場合は、ユーザが補正ボタン１７ｂを押下する確率が低いと推測されるからである。
尚、操作部１７に対する操作によって、閾値ＴＨ１及びＴＨ３の夫々を、個別に且つ任意に変更することが可能である。但し、閾値ＴＨ１を、閾値ＴＨ２以上の値に設定することはできない。
ステップＳ８からステップＳ９に移行すると、補正ボタン１７ｂが押下されたか否かに関わらず、現在、表示部１５に表示されている原画像に対して事前補正が開始される。つまり、主制御部１３の制御の下、手ぶれ補正処理部２３が、その原画像から補正画像を得るための手ぶれ補正処理の実行を開始する。事前補正の開始後、ステップＳ１０に移行する。
ステップＳ１０において、主制御部１３は、補正ボタン１７ｂが押下されているか否かを確認し、押下されている場合はステップＳ１２に移行して、現在、事前補正を実行中であるか或いは事前補正が終了したかを確認する。即ち、ステップＳ９にて事前補正が開始されており、且つ、その事前補正が行われている最中であるか或いはその事前補正が終了しているかを確認する。事前補正の実行中であるか或いは事前補正が終了している場合は、ステップＳ１２からステップＳ１４に直接移行し、そうでない場合は、ステップＳ１３に移行して、主制御部１３は、現在表示されている原画像に対する手ぶれ補正処理の実行を開始させ、その後、処理はステップＳ１４に移行する。
ステップＳ１４において、主制御部１３は、ステップＳ９又はＳ１３にて開始された手ぶれ補正処理が終了したか否かを確認し、終了していない場合はステップＳ１４の処理を繰り返す一方、終了している場合はステップＳ１５に移行する。手ぶれ補正処理の終了と同時に補正画像が生成され、この補正画像（補正画像を表す補正画像データ）は、一時的に内部メモリ１４に格納される。
内部メモリ１４には、補正画像格納用のメモリ領域が設けられ、本実施例において、そのメモリ領域は、例えば補正画像を１枚分だけ格納可能とされる。従って、新たに補正画像が生成された場合、それより前に生成された補正画像は内部メモリ１４から消去される。勿論、複数枚の補正画像を格納可能なように、補正画像格納用のメモリ領域を大きくしても良い。
ステップＳ１５において、主制御部１３は、内部メモリ１４に一時的に格納された補正画像を表示部１５に表示させる。この後、ステップＳ１６にて、今回表示した原画像に対して補正指示がなされたことを補正確率変数Ｐに反映してから（Ｐを増加させてから）、ステップＳ１７に移行し、ユーザからの指示を待つ。
また、ステップＳ１０において、補正ボタン１７ｂが押下されていないと判断された場合は、ステップＳ１１に移行して、主制御部１３は、表示画像送りボタン１７ｃが押下されているか否かを確認する。表示画像送りボタン１７ｃが押下されていない場合はステップＳ１０に戻るが、表示画像送りボタン１７ｃが押下されている場合は、ステップＳ１８に移行する。この際、事前補正が実行中である場合は、その事前補正は中断される。
ステップＳ１８では、今回表示した原画像に対して補正指示がなされなかった（即ち補正ボタン１７ｂが押下されなかった）ことを補正確率変数Ｐに反映してから（Ｐを減少させてから）ステップＳ３に戻り、現在表示されている原画像と異なる原画像を、新たに表示部１５に表示させる。例えば、ファイル名ＦＩＬＥmに対応する原画像が表示されていた場合は、ファイル名ＦＩＬＥm-1に対応する原画像が新たに表示されるようにする。
ステップＳ１７にて、表示画像送りボタン１７ｃが押下された場合も、ステップＳ３に戻り、現在表示されている補正画像の基となる原画像と異なる原画像（例えば、ファイル名ＦＩＬＥm-1に対応する原画像）を、新たに表示部１５に表示させる。この後、新たに表示された原画像に対して、上述の各ステップの処理が実行されることになる。ステップＳ１７において、再生モードの終了の指示がなされた場合は図６に示す処理を終了する。
このように、記録媒体１６に記憶された複数の原画像の夫々が、順次、手ぶれ補正処理の対象画像として取り扱われ、主制御部１３は、各対象画像に対して事前補正を行うか否かを判断する（ステップＳ６〜Ｓ８参照）。
補正確率変数Ｐについて説明を加える。例えば、確率評価用原画像１０枚中における、補正指示がなされた原画像の枚数をＰAとした場合、Ｐは、Ｐ＝ＰA／１０、にて表される。１０枚の確率評価用原画像は、直近に表示部１５に表示された１０枚の原画像に相当する。従って、補正画像は、確率評価用原画像に含まれない。また、或る１つの原画像が、他の原画像の表示を挟んで２度以上表示された場合、２度目以降に表示された該原画像は、確率評価用原画像に含めない。これは、表示画像送りボタン１７ｃの押下によって（例えば、左右キーの交互押下によって）同一の原画像が何度も表示されうることを考慮したものである。
例えば、「第１、第２、第３、第４、第５、第６の原画像、第６の原画像に対応する補正画像、第７、第８、第７、第８、第９、第１０、第１１の原画像」の順で表示がなされた際、第１１の原画像に対するステップＳ８の処理における確率補正変数Ｐは、第１〜第１０の原画像を１０枚の確率評価用原画像と取り扱って算出され、その値は１／１０となる。尚、確率評価用原画像の枚数を表す１０は、勿論、例示であって、それは１０以外であっても構わない。
上述したように、従来の撮像装置では、図１０に示す如く、補正ボタンが押下されてから手ぶれ補正処理が実行されるため、補正指示から補正画像の表示までの時間が長くかかっていた。一方、本実施例によれば、原画像が表示されると、補正指示がなされる前に、その原画像に対して事前補正が実行される（但し、手ぶれ量Ｌ及び補正確率変数Ｐによっては実行されない）。このため、図７に示す如く、補正画像を得るための待ち時間が大幅に短縮され、操作性が向上する。
また、事前補正によって消費電力の増大が懸念されるが、全ての原画像に対して無条件に事前補正を行うのではなく、補正指示がなされる確率を予想して補正指示が与えられる確率が高いと判断される場合にのみ事前補正を実施する。これにより、消費電力増大の抑制効果が得られる。上述の如く、この判断は、手ぶれ量Ｌと補正確率変数Ｐに基づいて行われる。
ユーザは、通常、原画像のぶれ状態を表示画面で確認した後に、その確認結果に応じて補正指示を出す。このため、ステップＳ６を設けて手ぶれ量Ｌに応じて補正指示がなされるか否かを予測し、事前補正を行うか否かを決定する。また、異常に大きい手ぶれ量に対して手ぶれ補正処理は有効に機能しないこともあるため、ステップＳ７も設ける。
また、直近に表示された原画像に対して頻繁に補正指示がなされていた際、現在表示している原画像に対しても補正指示がなされる可能性が高い。これを考慮し、補正確率変数Ｐを導入して、上述の如く事前補正を行うか否かを決定する。
尚、ステップＳ６、Ｓ７及びＳ８の何れか１つ又は２つのステップを省略することも可能である。例えば、ステップＳ６が省略された場合は、ステップＳ５から直接ステップＳ７に移行することになる。ステップＳ７又はＳ８が省略された場合も同様である。
また、手ぶれ補正処理を実行する際、表示部１５の表示画面上に、補正画像の生成が完了するまでの残り時間（或いは、残り時間の目安）を表す映像（例えば、バー表示）を表示するようにしてもよい。
また、図６のフローチャートでは、原画像が表示された（ステップＳ３）後に、ステップＳ４〜Ｓ８の処理を経て該原画像に対する事前補正が実施される例を示したが、原画像の表示を、ステップＳ４〜Ｓ８の処理の間又はステップＳ９の処理の直後に行うようにしてもよい。つまり、事前補正の対象画像である原画像が表示部１５に表示されるのと同時期に（換言すれば、その原画像の表示に同期して）、事前補正による手ぶれ補正処理が実行開始されればよい（但し、手ぶれ量Ｌ等によっては実行されない）。ここにおける「同時期」は、或る程度の時間的幅を有した概念である。
また、ステップＳ６にて用いる閾値ＴＨ１を、以下のように更新していくことも可能である。今、図６の各ステップの処理が繰り返し実行された後を想定する。この際、例えば、補正指示がなされた直前の原画像についての手ぶれ量Ｌに基づいて閾値ＴＨ１を更新設定する（例えば、閾値ＴＨ１を、その手ぶれ量Ｌから所定値を差し引いた値とする）。また例えば、補正指示がなされた直近の複数の原画像についての手ぶれ量Ｌの平均値に基づいて閾値ＴＨ１を更新設定する（例えば、閾値ＴＨ１を、その平均値から所定値を差し引いた値とする）。
補正指示を施そうと考え始める画像の最低ぶれ量には、個人差がある。例えば、手ぶれ量が２０画素であっても画像のぶれが気にならないユーザも存在する。このようなユーザに対して、閾値ＴＨ１を低く抑えておくと（例えば３画素）、事前補正が無駄に行われて消費電力が浪費される。そこで、上述の如く、過去に表示され且つ補正指示がなされた原画像の手ぶれ量に基づいて、閾値ＴＨ１を更新設定する。これにより、ユーザに合わせた、最適な事前補正の実行／不実行の決定が可能となり、消費電力増大の更なる抑制効果が見込める。
＜＜第２実施例＞＞
ところで、原画像の表示からユーザによる補正指示までの時間が短い場合、事前補正による手ぶれ補正処理が追いつかず、補正指示を与えてから補正画像が表示されるまでに比較的長い時間がかかってしまう。これを改善した実施例として、第２実施例を説明する。
第２実施例では、複数の原画像に対して事前補正を実施しておき、これによって得られた複数の補正画像を一時的に内部メモリ１４に記憶させる。そして、補正ボタン１７ｂの押下に応じて、所望の補正画像の表示を行う。但し、記録媒体１６に格納された全ての原画像に対して事前補正を実施すると、消費電力の増加及び補正画像を一時的に格納するための必要メモリ容量の増大を招くため、近い将来に補正指示がなされる確率が高いと予想される原画像に対して優先的に事前補正を行うようにする。
図８を参照して具体的に説明する。図８は、第２実施例に係る撮像装置１の、再生モードにおける動作のフローチャートである。
撮影モードにおいて、図３に示す如く複数の画像ファイル２５が記録媒体１６に格納された後、再生モードに移行すると（ステップＳ２１）、ステップＳ２２において、主制御部１３は、事前補正機能が有効となっているかを確認する。
事前補正機能が無効となっている場合はステップＳ２４に移行して、ユーザによる補正ボタン１７ｂの押下（即ち、補正指示）又は表示画像送り指示を待つことになる。事前補正機能が有効となっている場合はステップＳ２３に移行して、主制御部１３は、事前補正タスクを起動する。この事前補正タスクは、図８に示すステップＳ２１〜Ｓ３３から成るメインタスクと並行して実行される。
図９に、事前補正タスクの処理のフローチャートを示す。上述したように、第１、第２、第３、・・・、第ｍの原画像がこの順番で撮影され、それらの原画像が記録媒体１６に記録されているものとする（ｍは２以上の整数）。主制御部１３は、ステップＳ４０において、変数Ｌ1〜Ｌmを定義し、第１〜第ｍの原画像についての手ぶれ量を記録媒体１６から取得して、第１〜第ｍの原画像についての手ぶれ量を、それぞれ変数Ｌ1〜Ｌmに代入する。但し、既に手ぶれ補正処理がなされた原画像は除外して考える。そして、各手ぶれ量を表す変数Ｌ1〜Ｌmを閾値ＴＨ１と比較して、閾値ＴＨ１以下の手ぶれ量に対応する変数Ｌiに０を代入する。例えば、第３の原画像についての手ぶれ量が閾値ＴＨ１以下の場合、補正不要と判断して、変数Ｌ3に０を代入する。
第２実施例では、事前補正によって得られた複数の補正画像を一時的に格納するための事前補正画像リストが用意される。事前補正画像リストは、内部メモリ１４（又は記録媒体１６）内に確保された所定メモリサイズのメモリ領域から成り、事前補正によって得られた補正画像を最大格納枚数ＣMAXまで記憶することができる。
主制御部１３は、ステップＳ４０の処理を経て移行するステップＳ５０において、変数Ｌ1〜Ｌmの大きい順に原画像をソートする。例えば、ｍ＝５とし、不等式「Ｌ2＞Ｌ4＞Ｌ1＞Ｌ5＞Ｌ3」が成立する場合、第１〜第５の原画像を、第２、第４、第１、第５及び第３の原画像の順にソートする。
そして、主制御部１３は、事前補正画像リストに１枚以上の補正画像を格納するに足る空き（空きメモリ領域）があるかを確認し、空きがある場合は、ソートされた順番で原画像に対して事前補正を実施する。例えば、ｍ＝５とし、不等式「Ｌ2＞Ｌ4＞Ｌ1＞Ｌ5＞Ｌ3」が成立する場合、第２、第４、第１、第５及び第３の原画像の順番で事前補正を順次実施し、順次得られる補正画像を事前補正画像リストに格納していく。
但し、１枚の補正画像が生成される度に事前補正画像リストに空きがあるかを確認し、空きがない場合、即ち、事前補正画像リストに最大格納枚数ＣMAXの補正画像が格納されている場合は、事前補正タスクを終了する。例えば、ｍ＝５且つＣMAX＝３とし、不等式「Ｌ2＞Ｌ4＞Ｌ1＞Ｌ5＞Ｌ3」が成立する場合、第２、第４及び第１の原画像の順番で事前補正を順次実施することにより順次得られる合計３枚の補正画像が事前補正画像リストに格納されると、第５及び第３の原画像に対する事前補正を行うことなく、事前補正タスクを終了する。
図８に示すメインタスクの説明に戻る。ステップＳ２３にて事前補正タスクが起動された後、ステップＳ２４において、主制御部１３は、記録媒体１６から必要な原画像を読み出し、それを表示部１５に表示させる。再生モードに移行後、初めてステップＳ２４に至った場合は、最新の撮影によって得られた原画像が読み出され、表示される。
ステップＳ２４に続くステップＳ２５において、主制御部１３は、補正ボタン１７ｂが押下されているか否かを確認し、押下されている場合はステップＳ２７に移行して、現在表示されている原画像についての補正画像が事前補正画像リストに登録（格納）されているかを検索する。そして、登録されている場合は（ステップＳ２８のＹ）、その補正画像を事前補正画像リストから読み込んで（ステップＳ３１）、表示部１５に表示させる（ステップＳ３２）。一方、登録されていない場合は（ステップＳ２８のＮ）、主制御部１３は、現在表示されている原画像に対する手ぶれ補正処理の実行を開始させ、それによって補正画像が生成された後に該補正画像を表示部１５に表示させる（ステップＳ２９、Ｓ３０及びＳ３２）。この後、ステップＳ３３にて、ユーザからの指示を待つ。
また、補正画像を事前補正画像リストから読み込んだ場合（ステップＳ３１）、読み込んだ補正画像を事前補正画像リストから削除し、事前補正タスクを再度起動するようにする。
また、ステップＳ２５において、補正ボタン１７ｂが押下されていないと判断された場合は、ステップＳ２６に移行して、主制御部１３は、表示画像送りボタン１７ｃが押下されているか否かを確認する。表示画像送りボタン１７ｃが押下されていない場合はステップＳ２５に戻るが、表示画像送りボタン１７ｃが押下されている場合は、ステップＳ２４に移行して、現在表示されている原画像と異なる原画像を、新たに表示部１５に表示させる。例えば、ファイル名ＦＩＬＥmに対応する原画像が表示されていた場合は、ファイル名ＦＩＬＥm-1に対応する原画像が新たに表示されるようにする。
ステップＳ３３にて、表示画像送りボタン１７ｃが押下された場合も、ステップＳ２４に戻り、現在表示されている補正画像の基となる原画像と異なる原画像（例えば、ファイル名ＦＩＬＥm-1に対応する原画像）を、新たに表示部１５に表示させる。尚、ステップＳ３３において、再生モードの終了の指示がなされた場合は図８及び図９に示す処理を終了する。
本実施例によれば、手ぶれ量が大きく、補正指示が与えられる確率が高いと推測される原画像から優先的に事前補正が実行される。事前補正によって得られた補正画像は事前補正画像リストに一時格納される。そして、補正ボタン１７ｂが押下された際、必要な補正画像が事前補正画像リストに格納されているならば、それを直ちに表示する。このため、補正画像を得るための待ち時間が大幅に短縮され、操作性が向上する。また、補正指示が与えられる確率が高いと推測される原画像から優先的に事前補正が実行されるため、待ち時間の実質的な短縮が見込める。
また、全ての原画像に対して無条件に事前補正を行うのではなく、補正指示が与えられる確率が高いと判断される、所定数以下の原画像だけを事前補正するので、消費電力増大の抑制効果が得られると共に補正画像格納用の必要メモリ容量の増大が抑制される。
＜＜第３実施例＞＞
上述の例では、手ぶれ量のみに基づいて各原画像の順位付け（ソート）を行っているが、この順位付けに原画像の表示順序を考慮するようにしてもよい。このような変形を施した実施例を第３実施例として説明する。第３実施例は、第２実施例の一部を変形した実施例に相当し、特に記述しない部分は、第２実施例と同様である。
表示画像送りボタン１７ｃが、左ボタンと右ボタン（何れも不図示）から成るものとする。そして、現在表示されている原画像が第ｍの原画像である場合、図８のステップＳ２６（又はステップＳ３３）において、左ボタンの押下が確認される度に表示される原画像が、第（ｍ−１）、第（ｍ−２）、第（ｍ−３）・・・の原画像の順番で更新され、右ボタンの押下が確認される度に表示される原画像が、第１、第２、第３・・・の原画像の順番で更新されるものとする。つまり、表示画像送りボタン１７ｃの押下に伴って各原画像が更新表示されていく順番は、各原画像が格納された画像ファイル２５に付されたファイル名の連続番号数値（例えば、Ｆｉｌｅ1における「１」；図３参照）に依存する。
表示画像送りボタン１７ｃの押下によって、より近い将来に表示される原画像に対しては、より早い時期に補正指示が与えられる可能性が高い。そこで、より近い将来に表示される原画像に対して、より大きな重み値を付与する。第ｉの原画像に付与する重み値をＷiで表す。現在表示されている原画像が第ｍの原画像である場合、各重み値は、不等式「Ｗm＞Ｗm-1＞Ｗm-2＞Ｗm-3・・・」及び「Ｗm＞Ｗ1＞Ｗ2＞Ｗ3・・・」を満たすように設定される。
そして、図９のステップＳ５０において、変数Ｌ1〜Ｌmの大きい順に原画像をソートするのではなく、変数Ｗ1・Ｌ1〜Ｗm・Ｌmの大きい順に原画像をソートする。例えば、ｍ＝５とし、不等式「Ｗ2・Ｌ2＞Ｗ4・Ｌ4＞Ｗ1・Ｌ1＞Ｗ5・Ｌ5＞Ｗ3・Ｌ3」が成立する場合、第１〜第５の原画像を、第２、第４、第１、第５及び第３の原画像の順にソートする。
このソート後の事前補正タスクの処理は、第２実施例のそれと同様である。即ち、主制御部１３は、事前補正画像リストに１枚以上の補正画像を格納するに足る空き（空きメモリ領域）があるかを確認し、空きがある場合は、ソートされた順番で原画像に対して事前補正を実施する。上述の例の場合、第２、第４、第１、第５及び第３の原画像の順番で事前補正を順次実施し、順次得られる補正画像を事前補正画像リストに格納していく。但し、事前補正画像リストに空きがない場合は、事前補正タスクを終了する。
本実施例によれば、より近い将来に表示される原画像に対してより早く事前補正が実施されるようになるため、補正画像を得るための待ち時間が、より実質的に短縮される。
＜＜変形等＞＞
上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈６を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
［注釈１］
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。
［注釈２］
手ぶれ検出部１８を角速度センサにて構成する例を上述したが、撮像装置１の加速度を検出する加速度センサ又は撮像装置１の角加速度を検出する角加速度センサにて、手ぶれ検出部１８を形成するようにしてもよい。この場合、加速度センサ又は角加速度センサが検出した加速度又は角加速度によって手ぶれ信号が形成され、この手ぶれ信号と焦点距離に基づいて動きベクトルが算出される。また、撮像装置１の動きを表す別の物理量のデータに基づいて動きベクトルを算出するようにしてもよい。
［注釈３］
撮影時に手ぶれ量そのものを表す情報を画像ファイル２５に格納しておく例を上述したが、本発明はこれに限定されない。つまり、手ぶれ量の算出の基となる情報（動きベクトルや手ぶれ信号）を画像ファイル２５に格納しておき、手ぶれ量を参照する必要がある時に、その情報から手ぶれ量を計算するようにしてもよい。
［注釈４］
撮像装置１内にて手ぶれ補正処理（画像復元処理）を行う例を上述したが、この手ぶれ補正処理を、撮像装置１の外部機器（不図示）にて実施することも可能である。つまり、コンピュータ等の外部機器に、図１に示される、主制御部１３、内部メモリ１４、表示部１５及び手ぶれ補正処理部２３を設け、その外部機器に、記録媒体１６に格納された情報を読み込ませて上記と同様の手ぶれ補正処理を行わせ、これによって補正画像を生成するようにしてもよい。
［注釈５］
また、撮像装置１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１に示される、主制御部１３及び手ぶれ補正処理部２３の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。
ソフトウェアを用いて撮像装置１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。また、主制御部１３及び手ぶれ補正処理部２３にて実現される機能の全部または一部を、プログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
［注釈６］
本実施形態において、図１の手ぶれ補正処理部２３は、原画像に手ぶれ補正処理（ぶれ補正処理）を施して補正画像を生成する補正画像生成手段として機能する。主制御部１３は、この補正画像生成手段の動作を制御する補正制御手段としての機能と、表示部１５の表示内容を制御する表示制御手段としての機能を備える。本発明に係る画像補正装置は、例えば、補正画像生成手段と補正制御手段を含み、更に表示制御手段をも含みうる。
記録媒体１６に格納された複数の原画像の夫々は、画像補正装置に対する入力画像として捉えることができると共に手ぶれ補正処理の対象画像又は対象候補画像として捉えることもできる。
また本発明の適用範囲は撮像装置に限定されない。例えば、携帯電話機、パーソナルコンピュータ等の電子機器（該電子機器は、撮像装置を含む）に広く適用される。
本発明の実施の形態に係る撮像装置の全体ブロック図である。 図１の撮像部の内部構成図である。 図１の記録媒体の記憶内容を示す概念図である。 図１の手ぶれ検出部の内部構成図である。 図１の撮像装置に関する、画像上の手ぶれの軌跡（ａ）及び該軌跡に対応する点広がり関数（ｂ）を表す図である。 本発明の第１実施例に係る撮像装置の、再生モードにおける動作を表すフローチャートである。 本発明の第１実施例に係る撮像装置における、補正画像の生成の流れを表す概念図である。 本発明の第２実施例に係る撮像装置の、再生モードにおける動作（メインタスク）を表すフローチャートである。 本発明の第２実施例に係る撮像装置の、再生モードにおける動作（事前補正タスク）を表すフローチャートである。 従来の撮像装置における、補正画像の生成の流れを表す概念図である。
符号の説明
１ 撮像装置
１１ 撮像部
１２ ＡＦＥ
１３ 主制御部
１４ 内部メモリ
１５ 表示部
１６ 記録媒体
１７ 操作部
１８ 手ぶれ検出部
２３ 手ぶれ補正処理部

Claims (11)

  1. 外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、
    前記補正指示の付与に先立って前記補正画像生成手段に前記ぶれ補正処理を行わせる事前補正制御を実行可能な補正制御手段と、を備え、
    前記補正制御手段は、前記ぶれ情報に基づいて、前記対象画像に対して前記事前補正制御を行うか否かを決定する
    ことを特徴とする画像補正装置。
  2. 前記ぶれ情報は、前記対象画像に含まれる画像のぶれの量を特定するぶれ量情報を含み、
    前記補正制御手段は、前記ぶれ量情報に基づいて、前記対象画像に対して前記事前補正制御を行うか否かを決定する
    ことを特徴とする請求項１に記載の画像補正装置。
  3. 当該画像補正装置は、複数の入力画像の夫々を、順次、対象画像として取り扱い、
    前記補正制御手段は、前記ぶれ量情報にて特定される前記ぶれの量と所定の基準ぶれ量との比較に基づいて、前記対象画像に対して前記事前補正制御を行うか否かを決定し、
    補正指示がなされた過去の対象画像についての前記ぶれの量に応じて、現在の対象画像に対する前記基準ぶれ量が設定される
    ことを特徴とする請求項２に記載の画像補正装置。
  4. 外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、
    前記補正指示の付与に先立って前記補正画像生成手段に前記ぶれ補正処理を行わせる事前補正制御を実行可能な補正制御手段と、を備え、
    当該画像補正装置は、複数の入力画像の夫々を、順次、対象画像として取り扱い、
    前記補正制御手段は、過去の対象画像に対する補正指示の有無の履歴に基づいて、現在の対象画像に対して前記事前補正制御を行うか否かを決定する
    ことを特徴とする画像補正装置。
  5. 外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、
    前記対象画像の表示手段への表示を制御するとともに、前記対象画像の表示時に前記補正指示が付与された際には生成された前記補正画像を前記表示手段に表示させる表示制御手段と、を備えた画像補正装置において、
    前記対象画像の表示時に、前記補正指示の付与に先立って前記補正画像生成手段に前記ぶれ補正処理を行わせるための補正制御手段と、を備えた
    ことを特徴とする画像補正装置。
  6. 外部から当該画像補正装置に与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する補正画像生成手段と、
    夫々が前記対象画像の候補となる複数の対象候補画像を記憶する第１記憶手段と、
    第２記憶手段と、
    前記複数の対象候補画像を順位付けして、前記補正指示の有無に関わらず、順位付けの順番で各対象候補画像を前記対象画像と取り扱って前記補正画像生成手段に前記ぶれ補正処理を実行させ、これによって得られた補正画像を前記第２記憶手段に記憶させる補正制御手段と、を備え、
    前記補正制御手段は、各対象候補画像についてのぶれ情報に基づいて、前記順位付けを行う
    ことを特徴とする画像補正装置。
  7. 請求項１〜請求項６の何れかに記載の画像補正装置と、
    撮影によって前記対象画像を生成する撮像手段および前記補正画像を表示可能な表示手段の少なくとも一方と、を備えた
    ことを特徴とする電子機器。
  8. 外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する画像補正方法において、
    前記補正指示の付与に先立って前記ぶれ補正処理を行う事前補正を実行可能とし、
    前記ぶれ情報に基づいて、前記対象画像に対して前記事前補正を行うか否かを決定する
    ことを特徴とする画像補正方法。
  9. 外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する画像補正方法において、
    前記補正指示の付与に先立って前記ぶれ補正処理を行う事前補正を実行可能とし、
    複数の入力画像の夫々を、順次、対象画像として取り扱い、
    過去の対象画像に対する補正指示の有無の履歴に基づいて、現在の対象画像に対して前記事前補正を行うか否かを決定する
    ことを特徴とする画像補正方法。
  10. 外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成し、
    前記対象画像の表示手段への表示を制御するとともに、前記対象画像の表示時に前記補正指示が付与された際には生成された前記補正画像を前記表示手段に表示させる画像補正方法において、
    前記対象画像の表示時に、前記補正指示の付与に先立って前記ぶれ補正処理を実効可能とする
    ことを特徴とする画像補正方法。
  11. 外部から与えられる補正指示に従って、対象画像についてのぶれ情報に基づき前記対象画像に対してぶれ補正処理を施して補正画像を生成する画像補正方法において、
    夫々が前記対象画像の候補となる複数の対象候補画像を受け、
    前記複数の対象候補画像を順位付けして、前記補正指示の有無に関わらず、順位付けの順番で各対象候補画像を前記対象画像と取り扱って前記ぶれ補正処理を実行し、
    各対象候補画像についてのぶれ情報に基づいて、前記順位付けを行う
    ことを特徴とする画像補正方法。
JP2006329656A 2006-12-06 2006-12-06 画像補正装置及び方法並びに電子機器 Expired - Fee Related JP4241814B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006329656A JP4241814B2 (ja) 2006-12-06 2006-12-06 画像補正装置及び方法並びに電子機器
US11/949,168 US7893964B2 (en) 2006-12-06 2007-12-03 Image correction apparatus, method thereof and electronics device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006329656A JP4241814B2 (ja) 2006-12-06 2006-12-06 画像補正装置及び方法並びに電子機器

Publications (2)

Publication Number Publication Date
JP2008147767A JP2008147767A (ja) 2008-06-26
JP4241814B2 true JP4241814B2 (ja) 2009-03-18

Family

ID=39497504

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006329656A Expired - Fee Related JP4241814B2 (ja) 2006-12-06 2006-12-06 画像補正装置及び方法並びに電子機器

Country Status (2)

Country Link
US (1) US7893964B2 (ja)
JP (1) JP4241814B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009152672A (ja) * 2007-12-18 2009-07-09 Samsung Techwin Co Ltd 記録装置、再生装置、記録方法、再生方法及びプログラム
US20100295957A1 (en) * 2009-05-19 2010-11-25 Sony Ericsson Mobile Communications Ab Method of capturing digital images and image capturing apparatus
US8964044B2 (en) * 2010-12-20 2015-02-24 Samsung Electronics Co., Ltd Image processing apparatus and image processing method
GB2492529B (en) 2011-05-31 2018-01-10 Skype Video stabilisation
GB201116566D0 (en) * 2011-09-26 2011-11-09 Skype Ltd Video stabilisation
GB2497507B (en) 2011-10-14 2014-10-22 Skype Received video stabilisation
JP6442231B2 (ja) * 2014-11-04 2018-12-19 キヤノン株式会社 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP6482250B2 (ja) * 2014-11-20 2019-03-13 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP6995490B2 (ja) * 2017-04-14 2022-01-14 キヤノン株式会社 映像再生装置とその制御方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62127976A (ja) 1985-11-29 1987-06-10 Kyocera Corp 画像記録処理装置
JP3548220B2 (ja) 1994-03-15 2004-07-28 オリンパス株式会社 振動検出装置
US5974201A (en) * 1996-10-01 1999-10-26 Siemens Corporate Research, Inc. Smart image system
JP4006347B2 (ja) * 2002-03-15 2007-11-14 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム
JP2004088567A (ja) 2002-08-28 2004-03-18 Sony Corp 撮像装置および方法、記録媒体、並びにプログラム
JP2006129236A (ja) 2004-10-29 2006-05-18 Sanyo Electric Co Ltd リンギング除去装置およびリンギング除去プログラムを記録したコンピュータ読み取り可能な記録媒体
EP1679884B1 (en) * 2004-12-28 2008-01-23 Seiko Epson Corporation Imaging apparatus and portable device and portable telephone using the same
JP4179279B2 (ja) 2004-12-28 2008-11-12 セイコーエプソン株式会社 撮像装置並びにこれを備えた携帯機器及び携帯電話機
JP2007096405A (ja) * 2005-09-27 2007-04-12 Fujifilm Corp ぶれ方向判定方法および装置ならびにプログラム
KR101310823B1 (ko) * 2006-06-20 2013-09-25 삼성전자주식회사 디지털 촬영장치의 제어방법 및 이 방법을 채용한 디지털촬영장치

Also Published As

Publication number Publication date
US7893964B2 (en) 2011-02-22
JP2008147767A (ja) 2008-06-26
US20080136931A1 (en) 2008-06-12

Similar Documents

Publication Publication Date Title
JP4241814B2 (ja) 画像補正装置及び方法並びに電子機器
US7853134B2 (en) Imaging device with image blurring reduction function
JP4438099B2 (ja) 撮像装置及びそのプログラム
JP6385212B2 (ja) 画像処理装置及び方法、撮像装置、及び画像生成装置
JP5013954B2 (ja) 撮像装置
JP6338424B2 (ja) 画像処理装置およびその制御方法、撮像装置、プログラム
JP4441919B2 (ja) 撮像装置及びそのプログラム
WO2008010559A1 (fr) Appareil d'imagerie
JP4799366B2 (ja) 撮像装置及び画像再生装置
JPWO2012073779A1 (ja) 携帯端末、画像処理方法およびプログラム
JP2008236289A (ja) 撮像装置
JP4614143B2 (ja) 撮像装置及びそのプログラム
JP2006033023A (ja) 撮像装置
JP2007052061A (ja) 撮像装置、合焦動作制御方法および電子情報機器
JP4804310B2 (ja) 撮像装置並びに画像復元方法
JP2008301355A (ja) 撮像装置及びそのプログラム
JP5067475B2 (ja) 撮像装置及びそのプログラム
CN113728613B (zh) 成像元件、摄像装置、成像元件的工作方法及程序
JP5621265B2 (ja) 手ぶれ補正装置、撮像処理方法及びプログラム
JP2010134309A (ja) オートフォーカス装置、オートフォーカス方法及び撮像装置
JP2011205719A (ja) 撮像装置
JP2020188452A (ja) 撮像装置およびその制御方法
JP2011135537A (ja) 撮像装置及び撮像装置の制御方法
JP2010104005A (ja) 撮像装置及びそのプログラム
JP6465553B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081125

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120109

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130109

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140109

Year of fee payment: 5

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140109

Year of fee payment: 5

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees