JP5775620B2 - Image processing apparatus, imaging apparatus, control method, and program - Google Patents
Image processing apparatus, imaging apparatus, control method, and program Download PDFInfo
- Publication number
- JP5775620B2 JP5775620B2 JP2014085881A JP2014085881A JP5775620B2 JP 5775620 B2 JP5775620 B2 JP 5775620B2 JP 2014085881 A JP2014085881 A JP 2014085881A JP 2014085881 A JP2014085881 A JP 2014085881A JP 5775620 B2 JP5775620 B2 JP 5775620B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing
- image data
- frame
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Editing Of Facsimile Originals (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、撮像装置、制御方法及びプログラムに関する。 The present invention relates to an image processing apparatus, an imaging apparatus, a control method, and a program.
画像処理装置（画像処理アプリケーションソフト）を用いて撮像装置で撮像した画像を再生（表示）する際に、撮像時におけるオートフォーカス（ＡＦ）用の測距枠（以下、「ＡＦ枠」とする）を表示する機能が知られている。例えば、画像のピント確認を容易にするために、被写体への合焦に使用したＡＦ枠（以下、「合焦ＡＦ枠」とする）の位置情報を画像（画像データ）に記録しておき、画像の再生時に、合焦ＡＦ枠を表示する技術が提案されている（特許文献１参照）。かかる技術では、合焦ＡＦ枠内の画像を自動的に拡大して表示させることも可能である。 A range-finding frame for autofocus (AF) at the time of imaging (hereinafter referred to as “AF frame”) when reproducing (displaying) an image captured by the imaging apparatus using an image processing apparatus (image processing application software) The function of displaying is known. For example, in order to make it easy to check the focus of the image, the position information of the AF frame used for focusing on the subject (hereinafter referred to as “focus AF frame”) is recorded in the image (image data). A technique for displaying an in-focus AF frame during image reproduction has been proposed (see Patent Document 1). With this technique, it is possible to automatically enlarge and display an image within the focusing AF frame.
一方、撮像装置で撮像した画像には、撮像装置の姿勢の影響で水平方向に傾きが生じることがある。そこで、画像処理の１つとして、撮像した画像を回転させることによって傾きを補正する回転処理が提案されている。 On the other hand, an image captured by the imaging device may be inclined in the horizontal direction due to the influence of the orientation of the imaging device. Therefore, as one of the image processes, a rotation process that corrects the tilt by rotating the captured image has been proposed.
しかしながら、画像の回転処理を行った場合、画像に記録されているＡＦ枠の位置情報をそのまま用いて合焦ＡＦ枠を表示させると、回転処理を行った後の画像において、実際の合焦ＡＦ枠の位置からずれた位置に合焦ＡＦ枠が表示されてしまう。 However, when the rotation processing of the image is performed, if the focusing AF frame is displayed using the position information of the AF frame recorded in the image as it is, the actual focusing AF is performed in the image after the rotation processing. The in-focus AF frame is displayed at a position shifted from the frame position.
図５を参照して、従来技術における課題を具体的に説明する。図５（ａ）は、水平方向に傾きが生じた画像（即ち、回転処理を行う前の画像）ＩＭ１に合焦ＡＦ枠を表示した場合の表示例を示す図である。図５（ａ）において、９つの矩形形状の枠は、撮像時に選択可能なＡＦ枠ＦＬ１を表し、かかる９つの矩形形状の枠のうち太線の矩形形状の枠は、ＡＦ機能による被写体ＯＢ（の顔）への合焦に使用した合焦ＡＦ枠ＦＬ２を表している。 With reference to FIG. 5, the problem in a prior art is demonstrated concretely. FIG. 5A is a diagram illustrating a display example when the in-focus AF frame is displayed on an image IM1 that is inclined in the horizontal direction (that is, an image before the rotation process is performed) IM1. In FIG. 5A, nine rectangular frames represent AF frames FL1 that can be selected at the time of imaging, and among the nine rectangular frames, a thick-lined rectangular frame is a subject OB (of the object OB (of the AF function)). The in-focus AF frame FL2 used for focusing on (face) is shown.
図５（ｂ）は、図５（ａ）に示す画像ＩＭ１に対して被写体ＯＢが水平になるように回転処理を行った後の画像ＩＭ２に合焦ＡＦ枠を表示した場合の表示例を示す図である。図５（ｂ）において、画像ＩＭ３は、回転処理を行った後の画像ＩＭ２から、回転処理を行う前の画像ＩＭ１にはない画像領域を含まないように、画像ＩＭ２の画像領域に内接する領域を切り出した画像である。回転処理を行った後の画像ＩＭ２における被写体ＯＢの位置は、回転処理を行う前の画像ＩＭ１における被写体ＯＢの位置からずれている。また、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、画像ＩＭ２から画像ＩＭ３を切り出す際に切り出された位置情報を用いて画像ＩＭ３に表示される。 FIG. 5B shows a display example when the in-focus AF frame is displayed on the image IM2 after the rotation processing is performed on the image IM1 shown in FIG. 5A so that the subject OB is horizontal. FIG. In FIG. 5B, the image IM3 is an area inscribed in the image area of the image IM2 so as not to include an image area not included in the image IM1 before the rotation process from the image IM2 after the rotation process. It is the image which cut out. The position of the subject OB in the image IM2 after the rotation process is shifted from the position of the subject OB in the image IM1 before the rotation process. Also, the AF frame FL1 and the focusing AF frame FL2 are displayed on the image IM3 using the position information cut out when the image IM3 is cut out from the image IM2.
このように、画像ＩＭ１に記録されている位置情報をそのまま用いてＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２を画像ＩＭ３に表示すると、画像ＩＭ３における被写体ＯＢの顔の位置（実際の合焦ＡＦ枠の位置）からずれた位置に合焦ＡＦ枠ＦＬ２が表示されることになる。 As described above, when the AF frame FL1 and the focusing AF frame FL2 are displayed on the image IM3 using the position information recorded in the image IM1 as they are, the position of the face of the subject OB in the image IM3 (the actual focusing AF frame) is displayed. The in-focus AF frame FL2 is displayed at a position shifted from (position).
本発明は、このような従来技術の課題に鑑みてなされ、回転処理を行った後の画像において、回転処理を行う前の画像における注目部分の位置と同じ位置に注目部分を表示することができる技術を提供することを例示的目的とする。 The present invention has been made in view of the above-described problems of the prior art, and can display an attention portion at the same position as the position of the attention portion in the image before the rotation processing in the image after the rotation processing. It is an exemplary purpose to provide technology.
上記目的を達成するために、本発明の一側面としての画像処理装置は、画像中の表示枠の位置を第１の座標系で特定する情報が記録された画像データの画像処理を行う画像処理装置であって、前記画像データの回転処理を行う第１処理手段と、前記第１処理手段による回転処理による前記画像データの回転に伴って前記表示枠の位置を特定するとともに、当該画像データの回転に応じて前記表示枠を回転する第２処理手段と、を有することを特徴とする。 In order to achieve the above object, an image processing apparatus according to one aspect of the present invention performs image processing of image data in which information for specifying a position of a display frame in an image is recorded in a first coordinate system. A first processing unit that performs rotation processing of the image data; and a position of the display frame as the image data is rotated by the rotation processing by the first processing unit ; a second processing means for rotating the pre-Symbol display frame according to the rotation, and having a.
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。 Further objects and other aspects of the present invention will become apparent from the preferred embodiments described below with reference to the accompanying drawings.
本発明によれば、例えば、回転処理を行った後の画像において、回転処理を行う前の画像における注目部分の位置と同じ位置に注目部分を表示する技術を提供することができる。 According to the present invention, for example, it is possible to provide a technique for displaying an attention portion at the same position as the position of the attention portion in the image before the rotation processing in the image after the rotation processing.
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described with reference to the accompanying drawings. In addition, in each figure, the same reference number is attached | subjected about the same member and the overlapping description is abbreviate | omitted.
図１は、本発明の一側面としての撮像装置１００を示す概略図である。撮像装置１００は、被写体を撮像する撮像装置であって、本実施形態では、デジタルカメラとして具現化される。また、撮像装置１００は、撮像した画像に対応する画像データを、撮像装置１００に接続された外部記憶装置２００に記録すると共に、外部記憶装置２００に記録された画像データに対応する画像を表示（再生）する。
FIG. 1 is a schematic diagram illustrating an imaging apparatus 100 according to one aspect of the present invention. The imaging apparatus 100 is an imaging apparatus that captures an image of a subject, and is embodied as a digital camera in the present embodiment. The imaging apparatus 100 records image data corresponding to the captured image in the
撮像レンズ１０２は、被写体からの光Ｌを撮像素子１０８の撮像面に結像する（即ち、光学像を形成する）。撮像素子１０８は、ＣＣＤやＣＭＯＳ素子（光電変換素子）などで構成され、撮像レンズ１０２、絞り１０４及びシャッタ１０６を介して形成された光学像を電気信号に変換する。Ａ／Ｄ変換部１１０は、撮像素子１０８から出力されるアナログ信号（アナログデータ）をデジタル信号（デジタルデータ）に変換する。タイミング発生部１１２は、メモリ制御部１１８及びシステム制御部１４２の制御下において、撮像素子１０８、Ａ／Ｄ変換部１１０及びＤ／Ａ変換部１１４にクロック信号や制御信号を供給して、それらの動作を制御する。
The
画像処理部１１６は、Ａ／Ｄ変換部１１０から入力されるデータ又はメモリ制御部１１８から入力されるデータに対して種々の処理を行う。例えば、画像処理部１１６は、ホワイトバランス処理、色補正処理、回転処理、撮像素子１０８に付着したゴミを検出するゴミ検出処理、かかるゴミを目立たなくするゴミ消し処理などを行う。なお、回転処理は、回転処理の前の画像データの座標系（第１の座標系）と異なる原点を有する座標系（第２の座標系）を用いて画像データを回転させることによって傾きを補正する処理である。
The image processing unit 116 performs various processes on the data input from the A / D conversion unit 110 or the data input from the
メモリ制御部１１８は、Ａ／Ｄ変換部１１０、タイミング発生部１１２、Ｄ／Ａ変換部１１４、画像処理部１１６、画像表示用メモリ１２０、メモリ１２２及び圧縮／伸張部１２４を制御する。Ａ／Ｄ変換部１１０でＡ／Ｄ変換されたデジタル信号は、画像処理部１１６及びメモリ制御部１１８を介して、或いは、メモリ制御部１１８を介して、画像表示用メモリ１２０又はメモリ１２２に記録される（書き込まれる）。
The
画像表示用メモリ１２０は、表示部１２６に表示される画像に対応する画像データを記憶する。メモリ１２２は、画像データ（例えば、撮像装置１００で撮像した静止画像データや動画像データ）を記憶するメモリであり、所定数の画像データを記憶することが可能な記憶容量を備える。また、メモリ１２２は、画像処理部１１６やシステム制御部１４２の作業領域として使用することもできる。
The
圧縮／伸張部１２４は、メモリ１２２から画像データを読み出して圧縮処理を行い、或いは、メモリ１２２から圧縮された画像データを読み出して伸張処理を行い、かかる処理が行われた後の画像データをメモリ１２２に記録する。
The compression /
表示部１２６は、ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などを含み、Ｄ／Ａ変換部１１４を介して、画像表示用メモリ１２０に記憶された画像データに対応する画像を表示する。また、表示部１２６は、撮像装置１００を制御するための各種メニュー画面（例えば、回転処理を設定するためのメニュー画面など）も表示する。これらのメニュー画面の表示やメニュー画面における設定及び選択は、ユーザが操作部１５２を操作することで行われる。
The
測光センサ１２８は、撮像素子１０８の撮像面と共役に関係付けられた各々の画素の輝度を検出して、システム制御部１４２に入力する。システム制御部１４２では、測光センサ１２８の検出結果に応じた適切な露光量が算出される。露光制御部１３０は、システム制御部１４２で算出された露光量に基づいて、絞り１０４及びシャッタ１０６を制御する。
The
測距センサ１３２は、ユーザが任意に選択した測距点（ＡＦ枠）の距離情報を検出する。但し、測距点は、ユーザが任意に選択するのではなく、測距センサ１３２の検出結果に基づいて、最短距離の被写体に自動的に合焦するように設定することも可能である。測距制御部１３４は、測距センサ１３２の検出結果に基づいて、撮像レンズ１０２のフォーカシングを制御する。
The
ズーム制御部１３６は、ユーザが手動で操作した撮像レンズ１０２のズーミング量（焦点距離）を検出する。また、ズーム制御部１３６は、撮像レンズ１０２のズーミングを自動で行う場合には、撮像レンズ１０２のズーミング量を制御する。ストロボ部１３８は、ＡＦ補助光の投光機能やストロボの調光機能を有する。角速度センサ１４０は、撮像装置１００の水平方向及び垂直方向の振れを検出するセンサであって、手振れ補正処理や縦位置撮像／横位置撮像の判定などに用いられる。
The
システム制御部１４２は、撮像装置１００の全体の動作を制御する。システム制御部１４２は、不揮発性メモリ１４４に格納されたプログラムを実行して、本実施形態の各処理を実行する。不揮発性メモリ１４４は、データを電気的に消去及び記録可能なメモリであって、例えば、ＥＥＰＲＯＭなどを含む。不揮発性メモリ１４４は、システム制御部１４２の動作用の定数やプログラム（後述する種々のフローチャートを実行するためのプログラム）などを格納する。システムメモリ１４６は、例えば、ＲＡＭで構成され、システム制御部１４２の動作用の定数や変数、不揮発性メモリ１４４から読み出したプログラムなどを展開する。
The
出力部１４８は、システム制御部１４２におけるプログラムの実行に応じて、撮像装置１００の動作状態やメッセージ等を文字や画像で表示する表示素子や音声で出力するスピーカを含む。出力部１４８は、シングルショット／連写撮像表示、タイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残記録可能枚数表示などを行う。また、出力部１４８は、シャッタスピード表示、絞り値表示、露出補正表示、電池残量表示、エラー表示、外部記憶装置２００の着脱状態表示なども行う。
The
レリーズボタン１５０は、被写体の撮像を指示するためのボタンであって、第１のスイッチと、第２のスイッチとを含む。第１のスイッチは、レリーズボタン１５０の操作途中（半押し）でＯＮ状態となり、測光処理や測距処理を開始するための信号をシステム制御部１４２に供給する。第２のスイッチは、レリーズボタン１５０の操作完了（全押し）でＯＮ状態となり、露光処理を開始するための信号をシステム制御部１４２に供給する。
The
操作部１５２は、設定ボタン、選択ボタン、表示部１２６に設けられたタッチパネルなどを含み、ユーザの操作を受け付ける（システム制御部１４２に各種の指示を入力する）機能を有する。操作部１５２は、例えば、シングルショット／連写撮像／セルフタイマの切り替え、シャッタスピード、絞り値、露出補正の設定に使用される。
The
電源スイッチ１５４は、撮像装置１００の電源状態を電源ＯＮの状態又は電源ＯＦＦの状態に切り替えるためのスイッチである。電源制御部１５６は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などを含み、電源部１５８における電池の装着の有無、電池の種類、電池の残容量を検出する。また、電源制御部１５６は、電源部１５８における検出結果及びシステム制御部１４２の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、外部記憶装置２００を含む撮像装置１００の各部に供給する。電源部１５８は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池やＬｉ電池などの二次電池、ＡＣアダプターなどを着脱可能に保持して、電圧（直流電圧）を出力する。
The
外部記憶装置２００は、撮像装置１００に着脱可能な記憶媒体であって、ＣＦ（コンパクトフラッシュ（登録商標））カードやＳＤカードなどを含む。メモリ１２２に一時的に記録された画像データは、最終的に、外部記憶装置２００に記録される。
The
以下、撮像装置１００の各種処理（動作）について説明する。まず、図２を参照して、外部記憶装置２００に記録された画像データに対応する画像を回転させる、即ち、撮像装置１００における画像データの回転処理について説明する。外部記憶装置２００に記録された画像データは、撮像装置１００によって生成された画像データであっても他の撮像装置によって生成された画像データであってもよい。但し、かかる画像データ（の画像ヘッダ部）には、画像中の注目部分の位置を特定する（第１の座標系で特定する）情報が記録されているものとする。
Hereinafter, various processes (operations) of the imaging apparatus 100 will be described. First, referring to FIG. 2, an image data rotation process in the imaging apparatus 100 will be described, in which an image corresponding to image data recorded in the
Ｓ２０２において、システム制御部１４２は、外部記憶装置２００に記録されている画像データを画像表示用メモリ１２０に読み込む。この際、システム制御部１４２は、画像表示用メモリ１２０に読み込んだ画像データに対応する画像を表示部１２６に表示する。表示部１２６に表示される画像は、ユーザの操作（例えば、ユーザが操作部１５２を操作して画像切り替えの指示を入力すること）によって切り替えることが可能である。即ち、画像切り替えの指示が入力されると、システム制御部１４２は、外部記憶装置２００から別の画像データを画像表示用メモリ１２０に読み込み、かかる画像データに対応する画像を表示部１２６に表示する。
In S <b> 202, the
Ｓ２０４において、システム制御部１４２は、Ｓ２０２で読み込んだ画像データから、ユーザの操作（例えば、ユーザが操作部１５２を操作して画像選択の指示を入力すること）に応じて、回転処理を行う処理対象の画像データを選択する。
In S <b> 204, the
Ｓ２０６において、システム制御部１４２は、画像処理による画像データの回転量（画像の傾きを補正するために必要な画像データの回転量）を決定する。例えば、システム制御部１４２は、ユーザの操作に応じて、画像データの回転量を決定する。この際、システム制御部１４２は、ユーザが入力した回転量に応じて画像データを回転するように画像処理部１１６に指示し、画像処理部１１６によって回転された画像データに対応する画像を表示部１２６に表示する。従って、ユーザは、入力する画像データの回転量を増減させながら表示部１２６に表示される画像を確認し、画像データの回転量を最終的に決定することが可能である。
In step S <b> 206, the
Ｓ２０８において、システム制御部１４２は、Ｓ２０４で選択した画像データに対してＳ２０６で決定した回転量で回転処理を行うように画像処理部１１６に指示し、画像処理部１１６において画像データの回転処理が行われる。なお、画像データの回転処理は、当業界で周知の回転処理アルゴリズムで実現できるため、ここでの詳細な説明は省略する。
In step S208, the
Ｓ２１０において、システム制御部１４２は、Ｓ２０４で選択された画像データから画像中の注目部分の位置を特定する情報を取得する。ここで、注目部分は、例えば、オートフォーカス用の測距枠（ＡＦ枠）に相当する部分、顔検出処理によって検出された被写体の顔（目、鼻、口等も含む）に相当する部分、ゴミ検出処理によって検出された撮像素子１０８に付着したゴミに相当する部分などである。なお、ＡＦ枠は、画像データを生成する際に選択可能であったＡＦ枠及び画像データを生成する際に被写体への合焦に使用されたＡＦ枠（合焦ＡＦ枠）の少なくとも一方を含む。
In S210, the
Ｓ２１２において、システム制御部１４２は、回転処理（Ｓ２０８）の前後において、注目部分の位置を特定する情報によって特定される注目部分の画像が一致するように、Ｓ２０６で決定した回転量に応じて注目部分の位置を特定する情報を変更する。
In S212, the
Ｓ２１２について具体的に説明する。ここでは、注目部分が画像データを生成する際に選択可能であったＡＦ枠や画像データを生成する際に被写体への合焦に使用された合焦ＡＦ枠である場合について考える。ＡＦ枠は、図５（ａ）及び図５（ｂ）に示したように、一般に、矩形形状を有する。従って、本実施形態では、注目部分、即ち、ＡＦ枠の位置を特定する情報は、ＡＦ枠の位置及び大きさを表すために、ＡＦ枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標を含む。なお、ＡＦ枠の位置を特定する情報は、ＡＦ枠内（測距枠内）に含まれる１点（例えば、矩形形状の４つの頂点のうちの１つの頂点や矩形形状の中心点など）の位置を表す１つの座標であってもよい。但し、この場合には、かかる１つの座標を基準として矩形形状を表すための情報が画像データに記録されている必要がある。また、図５（ａ）及び図５（ｂ）に示すように、画像データを生成する際に撮像装置で選択可能であるＡＦ枠として９つのＡＦ枠がある場合には、かかる９つのＡＦ枠のそれぞれについて上述した４つの頂点のそれぞれの位置を表す４つの座標を含むことになる。 S212 will be specifically described. Here, consider a case where the target portion is an AF frame that can be selected when generating image data or a focusing AF frame that is used for focusing on a subject when generating image data. As shown in FIG. 5A and FIG. 5B, the AF frame generally has a rectangular shape. Therefore, in the present embodiment, the information for specifying the position of interest, that is, the position of the AF frame, represents the position of each of the four vertices of the rectangular shape of the AF frame in order to represent the position and size of the AF frame. Contains one coordinate. The information for specifying the position of the AF frame is one point included in the AF frame (in the distance measurement frame) (for example, one of the four rectangular vertices or the center point of the rectangular shape). One coordinate representing the position may be used. However, in this case, information for representing a rectangular shape on the basis of such one coordinate needs to be recorded in the image data. Also, as shown in FIGS. 5A and 5B, when there are nine AF frames that can be selected by the imaging apparatus when generating image data, the nine AF frames are selected. The four coordinates representing the positions of the four vertices described above for each of the above are included.
システム制御部１４２は、上述した４つの頂点のそれぞれの位置を表す４つの座標を取得し（Ｓ２１０）、画像処理部１１６による画像データの回転処理と同じ処理によって、注目部分の位置を特定する情報である４つの座標を変更する。これにより、回転処理を行った後の画像にＡＦ枠を表示したとしても、実際のＡＦ枠の位置（回転処理を行う前の画像におけるＡＦ枠の位置）にＡＦ枠を表示することが可能となる。
The
Ｓ２１４において、システム制御部１４２は、Ｓ２１２で変更した注目部分の位置を特定する情報を画像データ（の画像ヘッダ部）に記録する。
In S214, the
なお、本実施形態では、注目部分であるＡＦ枠の位置を特定する情報がＡＦ枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標であり、かかる４つの座標のそれぞれがＳ２０６で決定した回転量に応じて変更されて画像データに記録される。従って、回転処理が行われた後の画像にＳ２１４で記録された４つの座標を用いてＡＦ枠を表示すると、図３（ａ）のようになる。図３（ａ）は、図５（ａ）に示す画像ＩＭ１に対して被写体ＯＢが水平になるように回転処理を行った後の画像ＩＭ５にＡＦ枠ＦＬ１及び合焦ＡＦ枠ＦＬ２を表示した場合の表示例を示す図である。図３（ａ）において、画像ＩＭ６は、回転処理を行った後の画像ＩＭ５から、回転処理を行う前の画像ＩＭ１にはない画像領域を含まないように、画像ＩＭ５の画像領域に内接する領域を切り出した画像である。なお、画像を切り出す際には、画像の切り出しに応じて、画像データに記録されている注目部分の位置を特定する情報もシフトさせる。図３（ａ）に示すように、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、Ｓ２０６で決定された回転量に応じて変更された４つの座標を用いて画像ＩＭ５に表示される。従って、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、実際の位置（回転処理を行う前の画像におけるＡＦ枠の位置）に、回転量に応じて回転された状態で表示されている。 In the present embodiment, the information specifying the position of the AF frame that is the target portion is the four coordinates representing the positions of the four vertices of the rectangular shape of the AF frame, and each of the four coordinates is S206. It is changed according to the determined rotation amount and recorded in the image data. Accordingly, when the AF frame is displayed using the four coordinates recorded in S214 on the image after the rotation processing, the result is as shown in FIG. FIG. 3A shows a case where the AF frame FL1 and the in-focus AF frame FL2 are displayed on the image IM5 after the rotation processing is performed so that the subject OB is horizontal with respect to the image IM1 shown in FIG. It is a figure which shows the example of a display. In FIG. 3A, an image IM6 is an area inscribed in the image area of the image IM5 so as not to include an image area not included in the image IM1 before the rotation process from the image IM5 after the rotation process. It is the image which cut out. When the image is cut out, information for specifying the position of the target portion recorded in the image data is also shifted in accordance with the cutting out of the image. As shown in FIG. 3A, the AF frame FL1 and the focusing AF frame FL2 are displayed on the image IM5 using four coordinates changed according to the rotation amount determined in S206. Accordingly, the AF frame FL1 and the in-focus AF frame FL2 are displayed in a state of being rotated according to the rotation amount at the actual position (the position of the AF frame in the image before the rotation process).
一方、ＡＦ枠の位置を特定する情報がＡＦ枠内に含まれる１点の位置を表す１つの座標である場合には、かかる１つの座標のみがＳ２０６で決定した回転量に応じて変更されて画像データに記録される。従って、回転処理が行われた後の画像にＳ２１４で記録された１つの座標と、画像データに記録されている１つの座標を基準として矩形形状を表すための情報とを用いてＡＦ枠を表示すると、図３（ｂ）のようになる。図３（ｂ）は、図５（ａ）に示す画像ＩＭ１に対して被写体ＯＢが水平になるように回転処理を行った後の画像ＩＭ７にＡＦ枠ＦＬ１及び合焦ＡＦ枠ＦＬ２を表示した場合の表示例を示す図である。図３（ｂ）において、画像ＩＭ８は、回転処理を行った後の画像ＩＭ７から、回転処理を行う前の画像ＩＭ１にはない画像領域を含まないように、画像ＩＭ７の画像領域に内接する領域を切り出した画像である。図３（ｂ）に示すように、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、Ｓ２０６で決定された回転量に応じて変更された１つの座標と、１つの座標を基準として矩形形状を表すための情報とを用いて画像ＩＭ７に表示される。従って、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は、実際の位置（回転処理を行う前の画像におけるＡＦ枠の位置）に表示されている。但し、１つの座標を基準として矩形形状を表すための情報は回転処理（回転量）に応じて変更していないため、ＡＦ枠ＦＬ１や合焦ＡＦ枠ＦＬ２は回転されていない状態で画像ＩＭ７に表示され、違和感のある表示となる。そこで、ＡＦ枠も回転させた状態で回転処理を行った後の画像に表示させるために、Ｓ２１６において、システム制御部１４２は、Ｓ２０６で決定した回転量を画像データ（の画像ヘッダ部）に記録する。これにより、Ｓ２０６で決定した回転量に応じてＡＦ枠を回転させて表示することが可能となる。なお、ＡＦ枠の位置を特定する情報がＡＦ枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標である場合、上述したように、Ｓ２１４で記録された４つの座標を用いてＡＦ枠を回転させた状態で表示することが可能である。従って、Ｓ２０６で決定した回転量を画像データに記録する、即ち、Ｓ２１６を行う必要はない。
On the other hand, when the information specifying the position of the AF frame is one coordinate representing the position of one point included in the AF frame, only that one coordinate is changed according to the rotation amount determined in S206. Recorded in image data. Therefore, the AF frame is displayed using one coordinate recorded in S214 on the image after the rotation processing and information for representing a rectangular shape with reference to one coordinate recorded in the image data. Then, it becomes like FIG.3 (b). FIG. 3B shows a case where the AF frame FL1 and the in-focus AF frame FL2 are displayed on the image IM7 after the rotation processing is performed so that the subject OB is horizontal with respect to the image IM1 shown in FIG. It is a figure which shows the example of a display. In FIG. 3B, the image IM8 is an area inscribed in the image area of the image IM7 so as not to include an image area not included in the image IM1 before the rotation process from the image IM7 after the rotation process. It is the image which cut out. As shown in FIG. 3B, the AF frame FL1 and the in-focus AF frame FL2 represent a rectangular shape based on one coordinate changed according to the rotation amount determined in S206 and one coordinate. Are displayed on the image IM7. Therefore, the AF frame FL1 and the focusing AF frame FL2 are displayed at the actual positions (the positions of the AF frames in the image before the rotation process is performed). However, since the information for representing the rectangular shape on the basis of one coordinate is not changed according to the rotation process (rotation amount), the AF frame FL1 and the focusing AF frame FL2 are not rotated in the image IM7. Displayed, and the display becomes uncomfortable. Therefore, in order to display the image after the rotation processing with the AF frame also rotated, in S216, the
Ｓ２１８において、システム制御部１４２は、Ｓ２１２で変更した注目部分の位置を特定する情報（及びＳ２０６で決定した回転量）が記録された画像データを外部記憶装置２００に記録する。
In S218, the
なお、本実施形態では、外部記憶装置２００に記録されている画像データに対して回転処理を行う場合について説明したが、これに限定されるものではない。例えば、外部記憶装置２００に画像データを記録する前に回転処理を行う構成であってもよい。この場合、角速度センサ１４０の検出結果を用いて画像データの回転量を決定し、上述したように、画像データの回転量に応じて注目部分の位置を特定する情報を変更して画像データに記録する。
In the present embodiment, the case where the rotation process is performed on the image data recorded in the
次に、図４を参照して、外部記憶装置２００に記憶された画像データを読み込んで、かかる画像データに対応する画像を表示部１２６に表示する、即ち、撮像装置１００における表示制御処理について説明する。
Next, referring to FIG. 4, image data stored in the
Ｓ４０２において、システム制御部１４２は、外部記憶装置２００に記録されている画像データを画像表示用メモリ１２０に読み込む。
In S <b> 402, the
Ｓ４０４において、システム制御部１４２は、画像中の注目部分（例えば、ＡＦ枠）を表示する機能が設定されているか否かを判定する。画像中の注目部分を表示する機能の設定は、ユーザが操作部１５２を操作することで行われる。画像中の注目部分を表示する機能が設定されると、例えば、注目部分表示機能フラグが有効となり、システム制御部１４２は、注目部分表示機能フラグを参照することで、画像中の注目部分を表示する機能が設定されているか否かを判定することができる。画像中の注目部分を表示する機能が設定されている場合には、Ｓ４０６に移行し、画像中の注目部分を表示する機能が設定されていない場合には、Ｓ４１０に移行する。
In step S404, the
Ｓ４０６において、システム制御部１４２は、Ｓ４０２で読み込んだ画像データから、注目部分の位置を特定する情報を取得する。この際、画像データの回転量やその他の情報（例えば、１つの座標を基準として矩形形状を表すための情報）が画像データに記録されている場合には、これらも取得する。
In step S406, the
Ｓ４０８において、システム制御部１４２は、Ｓ４０６で取得した注目部分の位置を特定する情報に基づいて、注目部分表示用データ（例えば、注目部分である矩形形状のＡＦ枠を示すデータ）を生成して画像データ（の画像イメージ部）に記録する。この際、Ｓ４０６で画像データの回転量やその他の情報も取得している場合には、注目部分の位置を特定する情報、回転量及びその他の情報に基づいて、注目部分表示用データを生成する。
In S408, the
Ｓ４１０において、システム制御部１４２は、表示部１２６に画像を表示する。この際、画像中の注目部分を表示する機能が設定されていない場合には、Ｓ４０２で読み出した画像データに対応する画像をそのまま表示する（即ち、注目部分は表示しない）。一方、画像中の注目部分を表示する機能が設定されている場合には、Ｓ４０２で読み出した画像データに対応する画像を表示すると共に、かかる画像にＳ４０８で記録された注目部分表示用データに対応する注目部分を表示する。この場合、画像データに対して回転処理が行われていたとしても、上述したように、画像データに記録されている注目部分の位置を特定する情報は画像データの回転量に応じて変更されている。従って、図３（ａ）に示したように、回転処理が行われた後の画像に対して、注目部分を、実際の位置に、画像データの回転量に応じて回転させた状態で表示させることができる。
In step S <b> 410, the
Ｓ４１２において、システム制御部１４２は、Ｓ４１０で表示された画像において、注目部分の画像の拡大が指示されたか否かを判定する。なお、注目部分の画像の拡大の指示は、ユーザが操作部１５２を操作することで行われる。注目部分の画像の拡大が指示されていない場合には、表示制御処理を終了する。一方、注目部分の画像の拡大が指示されている場合には、Ｓ４１４において、システム制御部１４２は、注目部分の画像を拡大して表示する。注目部分の画像を拡大する拡大方法には、当業界で周知のいかなる拡大方法も適用できるため、ここでの詳細な説明は省略する。
In step S <b> 412, the
なお、注目部分が撮像素子１０８に付着したゴミに相当する部分である場合には、Ｓ４１２においてゴミ消し処理が指示されたか否かを判定し、Ｓ４１４においてゴミ消し処理を行うようにすることも可能である。
If the target portion is a portion corresponding to dust attached to the
このように、本実施形態の撮像装置１００によれば、画像データの回転処理を行う場合に、画像データに記録されている注目部分の位置を特定する情報も画像データの回転量に応じて変更する。これにより、画像処理を行った後の画像において、回転処理を行う前の画像における注目部分の位置と同じ位置に注目部分を表示することができる。 As described above, according to the imaging apparatus 100 of the present embodiment, when image data rotation processing is performed, the information for specifying the position of the target portion recorded in the image data is also changed according to the rotation amount of the image data. To do. Thereby, in the image after performing the image processing, the attention portion can be displayed at the same position as the position of the attention portion in the image before the rotation processing.
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) for realizing the functions of the above-described embodiments is supplied to a system or apparatus via a network or various recording media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program. It is a process to be executed.
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、本実施形態では、撮像装置における画像データの回転処理について説明したが、これに限定されるものではない。例えば、パーソナルコンピュータ（ＰＣ）などの画像処理装置（画像処理アプリケーションソフト）において、本発明を実現することもできる。 As mentioned above, although preferable embodiment of this invention was described, it cannot be overemphasized that this invention is not limited to these embodiment, A various deformation | transformation and change are possible within the range of the summary. For example, in the present embodiment, the image data rotation processing in the imaging apparatus has been described, but the present invention is not limited to this. For example, the present invention can be realized in an image processing apparatus (image processing application software) such as a personal computer (PC).
１００：撮像装置 １１６：画像処理部 １４２：システム制御部 100: Imaging device 116: Image processing unit 142: System control unit
Claims (20)
前記画像データの回転処理を行う第１処理手段と、
前記第１処理手段による回転処理による前記画像データの回転に伴って前記表示枠の位置を特定するとともに、当該画像データの回転に応じて前記表示枠を回転する第２処理手段と、
を有することを特徴とする画像処理装置。 An image processing apparatus that performs image processing of image data in which information for specifying the position of a display frame in an image is recorded in a first coordinate system,
First processing means for performing rotation processing of the image data;
Thereby specifying the position of the display frame in accordance with rotation of the image data by the rotation processing by the first processing means, second processing means for rotating the pre-Symbol display frame according to the rotation of the image data,
An image processing apparatus comprising:
前記表示枠の位置は、前記画像データを生成する際に前記撮像装置で選択可能であったオートフォーカス用の測距枠に相当する位置及び前記画像データを生成する際に前記撮像装置によって被写体への合焦に使用されたオートフォーカス用の測距枠に相当する位置の少なくとも一方を含むことを特徴とする請求項１に記載の画像処理装置。 The image data is generated by an imaging device,
The position of the display frame is a position corresponding to a focus frame for autofocus that can be selected by the imaging device when the image data is generated, and a subject by the imaging device when the image data is generated. The image processing apparatus according to claim 1, comprising at least one of positions corresponding to an autofocus distance measurement frame used for focusing.
前記表示枠の位置を特定する複数の座標位置の情報は、前記測距枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標を含み、
前記第２処理手段は、前記４つの座標が前記回転処理の前の画像中で表す位置と前記４つの座標が前記回転処理の後の画像中で表す位置とが一致するように、前記４つの座標を変更することを特徴とする請求項２に記載の画像処理装置。 The ranging frame has a rectangular shape,
The information of the plurality of coordinate positions specifying the position of the display frame includes four coordinates representing the positions of the four vertices of the rectangular shape of the distance measurement frame,
The second processing means may be configured so that the position represented by the four coordinates in the image before the rotation process coincides with the position represented by the four coordinates in the image after the rotation process. The image processing apparatus according to claim 2, wherein the coordinates are changed.
前記表示枠の位置を特定する複数の座標位置の情報は、前記測距枠内に含まれる１点の位置を表す１つの座標を含み、
前記第２処理手段は、前記１つの座標が前記回転処理の前の画像中で表す位置と前記１つの座標が前記回転処理の後の画像中で表す位置とが一致するように、前記１つの座標を変更し、
前記回転処理が行われた後の画像データに対応する画像を表示手段に表示する際に、前記第２処理手段によって変更された前記１つの座標と、前記１つの座標を基準として前記矩形形状を表すための情報とを用いて前記画像に前記測距枠を表示する表示制御手段を更に有することを特徴とする請求項２に記載の画像処理装置。 The ranging frame has a rectangular shape,
The information of the plurality of coordinate positions specifying the position of the display frame includes one coordinate representing the position of one point included in the distance measurement frame,
The second processing means may be configured so that the position represented by the one coordinate in the image before the rotation process coincides with the position represented by the one coordinate in the image after the rotation process. Change the coordinates,
When the image corresponding to the image data after the rotation processing is displayed on the display means, the one coordinate changed by the second processing means and the rectangular shape on the basis of the one coordinate. The image processing apparatus according to claim 2, further comprising display control means for displaying the distance measurement frame on the image using information for representing.
前記表示枠は、前記撮像装置の撮像素子に付着したゴミに相当する位置であることを特徴とする請求項１に記載の画像処理装置。 The image data is generated by an imaging device,
The image processing apparatus according to claim 1, wherein the display frame is a position corresponding to dust attached to an imaging element of the imaging apparatus.
前記撮像手段で生成された前記画像データの画像処理を行う請求項１乃至９のうちいずれか１項に記載の画像処理装置と、
を有することを特徴とする撮像装置。 Imaging means for imaging a subject and generating image data;
The image processing apparatus according to any one of claims 1 to 9, wherein the image processing of the image data generated by the imaging unit is performed.
An imaging device comprising:
第１処理手段が、前記画像データの回転処理を行う第１処理ステップと、
第２処理手段が、前記第１処理ステップでの回転処理による前記画像データの回転に伴って前記表示枠の位置を特定するとともに、当該画像データの回転に応じて前記表示枠を回転する第２処理ステップと、
を有することを特徴とする制御方法。 A control method of an image processing apparatus that performs image processing of image data in which information for specifying a position of a display frame in an image is specified in a first coordinate system,
A first processing step in which a first processing means performs a rotation process of the image data;
Together with the second processing unit, to identify the position of the display frame in accordance with rotation of the image data by the rotation processing in the first processing step, the rotating front Symbol display frame according to the rotation of the image data Two processing steps;
A control method characterized by comprising:
前記表示枠の位置は、前記画像データを生成する際に前記撮像装置で選択可能であったオートフォーカス用の測距枠に相当する位置及び前記画像データを生成する際に前記撮像装置によって被写体への合焦に使用されたオートフォーカス用の測距枠に相当する位置の少なくとも一方を含むことを特徴とする請求項１１に記載の制御方法。 The image data is generated by an imaging device,
The position of the display frame is a position corresponding to a focus frame for autofocus that can be selected by the imaging device when the image data is generated, and a subject by the imaging device when the image data is generated. The control method according to claim 11, comprising at least one of positions corresponding to an autofocus distance measurement frame used for focusing.
前記表示枠の位置を特定する複数の座標位置の情報は、前記測距枠の矩形形状の４つの頂点のそれぞれの位置を表す４つの座標を含み、
前記第２処理ステップでは、前記４つの座標が前記回転処理の前の画像中で表す位置と前記４つの座標が前記回転処理の後の画像中で表す位置とが一致するように、前記４つの座標を変更することを特徴とする請求項１２に記載の制御方法。 The ranging frame has a rectangular shape,
The information of the plurality of coordinate positions specifying the position of the display frame includes four coordinates representing the positions of the four vertices of the rectangular shape of the distance measurement frame,
In the second processing step, the four coordinates are such that the position represented by the four coordinates in the image before the rotation process coincides with the position represented by the four coordinates in the image after the rotation process. The control method according to claim 12, wherein the coordinates are changed.
前記表示枠の位置を特定する複数の座標位置の情報は、前記測距枠内に含まれる１点の位置を表す１つの座標を含み、
前記第２処理ステップでは、前記１つの座標が前記回転処理の前の画像中で表す位置と前記１つの座標が前記回転処理の後の画像中で表す位置とが一致するように、前記１つの座標を変更し、
表示制御手段が、前記回転処理が行われた後の画像データに対応する画像を表示手段に表示する際に、前記第２処理ステップで変更された前記１つの座標と、前記１つの座標を基準として前記矩形形状を表すための情報とを用いて前記画像に前記測距枠を表示する表示制御ステップを更に有することを特徴とする請求項１２に記載の制御方法。 The ranging frame has a rectangular shape,
The information of the plurality of coordinate positions specifying the position of the display frame includes one coordinate representing the position of one point included in the distance measurement frame,
In the second processing step, the position of the one coordinate indicated in the image before the rotation process and the position of the one coordinate indicated in the image after the rotation process coincide with each other. Change the coordinates,
When the display control means displays an image corresponding to the image data after the rotation processing on the display means, the one coordinate changed in the second processing step and the one coordinate as a reference The control method according to claim 12, further comprising: a display control step of displaying the distance measuring frame on the image using information for representing the rectangular shape.
前記表示枠は、前記撮像装置の撮像素子に付着したゴミに相当する位置であることを特徴とする請求項１１に記載の制御方法。 The image data is generated by an imaging device,
The control method according to claim 11, wherein the display frame is a position corresponding to dust attached to an imaging element of the imaging device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014085881A JP5775620B2 (en) | 2014-04-17 | 2014-04-17 | Image processing apparatus, imaging apparatus, control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014085881A JP5775620B2 (en) | 2014-04-17 | 2014-04-17 | Image processing apparatus, imaging apparatus, control method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010024832A Division JP5529568B2 (en) | 2010-02-05 | 2010-02-05 | Image processing apparatus, imaging apparatus, control method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014140252A JP2014140252A (en) | 2014-07-31 |
| JP5775620B2 true JP5775620B2 (en) | 2015-09-09 |
Family
ID=51416678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014085881A Expired - Fee Related JP5775620B2 (en) | 2014-04-17 | 2014-04-17 | Image processing apparatus, imaging apparatus, control method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5775620B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008003335A (en) * | 2006-06-23 | 2008-01-10 | Casio Comput Co Ltd | Imaging apparatus, focus control method, focus control program |
| JP4989385B2 (en) * | 2007-09-12 | 2012-08-01 | キヤノン株式会社 | Imaging apparatus, control method thereof, and program |
| JP5020894B2 (en) * | 2008-06-10 | 2012-09-05 | キヤノン株式会社 | Image processing apparatus, control method, and program |
-
2014
- 2014-04-17 JP JP2014085881A patent/JP5775620B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014140252A (en) | 2014-07-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5020894B2 (en) | Image processing apparatus, control method, and program | |
| JP5570316B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP5450984B2 (en) | Information processing apparatus, imaging apparatus, control method, and program | |
| US9774782B2 (en) | Image pickup apparatus and image pickup method | |
| JP6518409B2 (en) | Imaging apparatus and imaging method | |
| JP2007201539A (en) | Digital camera | |
| JP5529568B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| US9621799B2 (en) | Imaging apparatus | |
| JP5775620B2 (en) | Image processing apparatus, imaging apparatus, control method, and program | |
| KR20130024021A (en) | Digital photographing apparatus and control method thereof | |
| JP2016134686A (en) | Imaging apparatus and imaging method | |
| JP6395156B2 (en) | Imaging apparatus and imaging method | |
| JP5882794B2 (en) | Imaging device | |
| JP2009159394A (en) | Electronic equipment | |
| JP2012231362A (en) | Digital camera | |
| US20160057350A1 (en) | Imaging apparatus, image processing method, and non-transitory computer-readable medium | |
| JP2014165517A (en) | Image pickup device and control method therefor | |
| JP6611478B2 (en) | Imaging apparatus, recording control method, and program | |
| JP2017055268A (en) | Imaging device, control method and program for imaging device | |
| JP5274223B2 (en) | Imaging apparatus and control method thereof | |
| JP2018125785A (en) | Imaging apparatus, control method of imaging apparatus, and program | |
| JP2012165087A (en) | Electronic camera | |
| JP2009232408A (en) | Image pickup device | |
| JP2011049739A (en) | Imaging device and control method thereof, and program | |
| JP2010114565A (en) | Imaging apparatus and method of controlling the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140519 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140519 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150225 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150302 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150430 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150605 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150703 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5775620 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |