JP2009278598A - Image processing apparatus, control method of the same, and storage medium - Google Patents
Image processing apparatus, control method of the same, and storage medium Download PDFInfo
- Publication number
- JP2009278598A JP2009278598A JP2008130760A JP2008130760A JP2009278598A JP 2009278598 A JP2009278598 A JP 2009278598A JP 2008130760 A JP2008130760 A JP 2008130760A JP 2008130760 A JP2008130760 A JP 2008130760A JP 2009278598 A JP2009278598 A JP 2009278598A
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- image data
- face
- face area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、画像を記憶し、再生するための画像処理装置およびその制御方法およびプログラムに関する。 The present invention relates to an image processing apparatus for storing and reproducing an image, and a control method and program thereof.
従来、デジタルカメラで撮影した画像を印刷して複数の人に配布することが一般的によく行われている。その際、ユーザはデジタルカメラを操作して、どの画像を何枚印刷するかをＤＰＯＦ（Ｄｉｇｉｔａｌ Ｐｒｉｎｔ Ｏｒｄｅｒ Ｆｏｒｍａｔ）のような規格に則って記録メディアに記録することで、印刷指定を行う（例えば特許文献１参照）。 Conventionally, it is common to print images taken with a digital camera and distribute them to a plurality of people. At that time, the user operates the digital camera to make print designation by recording which images are to be printed on a recording medium in accordance with a standard such as DPOF (Digital Print Order Format) (for example, patents). Reference 1).
また、被写体に顔が含まれている画像の場合に、検出された顔の個数を印刷枚数として自動的に指定することができる（例えば特許文献２参照）。
画像を印刷して複数の人に配布する場合、その人物が画像に含まれていても写り具合によっては、配る必要がないことがある。例えば、画像の中で小さく写っている場合や、目を瞑っている場合、顔がうつむいている場合など何らかの理由で、撮影者やその人物が写り具合を気に入らない場合である。 When an image is printed and distributed to a plurality of people, even if the person is included in the image, it may not be necessary to distribute it depending on the appearance of the image. For example, when the photographer or the person does not like the image for some reason, such as when the image appears small, when the eyes are meditated, or when the face is depressed.
このような場合、ユーザは画像を印刷するたびに、各画像について人物毎に写り具合を詳細に確認して印刷枚数を指定しなければならず、非常に手間がかかっていた。 In such a case, every time the user prints an image, the user has to check the details of each image for each person and specify the number of prints, which is very troublesome.
そこで、本発明は上記問題点を鑑みてなされたものであり、画像に含まれる人物について、部分的にその評価を設定し、保持することを目的とする。 Therefore, the present invention has been made in view of the above problems, and an object thereof is to partially set and hold an evaluation of a person included in an image.
上記課題を解決するために本願発明の１つは、 画像データから顔領域を抽出する抽出手段と、前記抽出手段により抽出された顔領域に対して任意の評価を設定する設定手段と、前記設定手段により設定された前記顔領域の評価を前記画像データと対応付けて記憶する記憶手段とを備え、前記記憶手段は前記画像データを複数の顔領域の評価と対応付けて記憶することが可能であり、前記画像データに対応付けられた顔領域の評価をカウントするカウント手段と、前記画像データを出力処理する際の出力量を前記カウント手段によるカウント結果にしたがって決定する決定手段とを更に備えたことを特徴とする画像処理装置を提供する。 In order to solve the above-described problem, one of the present invention includes an extraction unit that extracts a face area from image data, a setting unit that sets an arbitrary evaluation for the face area extracted by the extraction unit, and the setting Storage means for storing the evaluation of the face area set by the means in association with the image data, and the storage means can store the image data in association with the evaluation of a plurality of face areas. A counting unit that counts the evaluation of the face area associated with the image data; and a determination unit that determines an output amount when the image data is output according to a count result by the counting unit. An image processing apparatus is provided.
本発明によれば、画像に含まれる人物に関する部分的な評価を用いて、印刷出力や表示出力等の出力処理の対象となる画像を簡単に選択できるようになる。 According to the present invention, it is possible to easily select an image to be subjected to output processing such as print output or display output by using partial evaluation regarding a person included in the image.
以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。 The best mode for carrying out the present invention will be described below in detail with reference to the accompanying drawings.
（第１の実施形態）
本実施の形態では、デジタルカメラを例として用いることにより本発明を実現する場合について説明する。
(First embodiment)
In this embodiment, a case where the present invention is realized by using a digital camera as an example will be described.
図１は本実施形態に係るデジタルカメラ１００の回路構成を示すブロック図である。同図において、１０１は撮影レンズ、１０２は撮影レンズ１０１のズーム倍率の変更やフォーカス調節を行う撮影レンズ駆動部である。１０３は撮影レンズ１０１によって生成された被写体像を光電変換して電子的な画像データを生成する撮像素子である。１０４は撮像素子１０３で得た画像信号に所定の処理を施すことにより画像データを生成したり、画像データに対して表示したり編集したり保存するために変換する等の画像処理を行うデータ処理部である。１０５は画像データを一時的に記憶する一次メモリである。１０６は撮影レンズ１０１の撮影領域の被写体距離を測定する距離測定部である。１０７は画像データ等の情報を表示する表示部、１０８はデジタルカメラ１００の各種設定を行うための操作部である。１０９はデジタルカメラ１００の各種の動作の制御を行う中央演算素子（ＣＰＵ）、１１０は画像データおよび画像データに付随する情報などを保存する保存メモリである。保存メモリ１１０はデジタルカメラ１００から着脱可能な記録メディアも含む。
FIG. 1 is a block diagram showing a circuit configuration of a
図２は本実施形態に係るデジタルカメラ１００の背面図であり、同図において、２０１は前述した表示部１０７に含まれ、たとえば表示パネルなどで構成される表示画面である。２０２は表示画面２０１に表示されたカーソル等を上下左右に動かす、もしくは表示された画像の領域の位置を上下左右に動かして位置を指定するための十字キーである。２０６、２０７、２０８、２０９はそれぞれ上、下、左、右への移動を指示するボタンである。本実施形態では上下左右の位置を指定するボタンを個別に設けて説明しているが、１つのボタンで上下左右および斜めも含む自由な方向に位置を指定できるポインティングデバイスやマルチコントローラであっても良い。２０３はメニュー画面を表示パネル２０１に表示するもしくは非表示にするよう指示するためのメニューボタンである。２０４は表示画面２０１に表示されたメニューや機能を選択する場合等、操作内容に応じて選択中の内容の決定を指示するためのセットボタンである。２１２は他の操作ボタンと組み合わせて用いることで機能指定を入力するためのファンクションボタンである。２０５はデジタルカメラの動作を切り替えるものであり、画像を撮影するための撮影モードと画像を再生表示するための再生モードのいずれかを選択するためのモード切替スイッチである。
FIG. 2 is a rear view of the
図３は本実施形態に係るデジタルカメラ１００の上面図であり、同図において、３０１は電源スイッチである。３０２は画像を撮影するためのシャッターボタンである。３０３は図２におけるモード切替スイッチに応じてその機能が切り替わる多機能レバー（ズームレバーともいう。）である。多機能レバー３０３は、モード切替スイッチ２０５が撮影モードの場合は撮影される被写体の拡大や縮小を調整の指示を入力するためのものである。また、モード切替スイッチが再生モードの場合は、表示パネル２０１に表示される画像の拡大または縮小を調整し、さらに複数画像表示と一画像表示を切替える指示を入力するためのものである。本実施形態では表示画像の拡大または縮小の表示の調整を１つの多機能レバー３０３で実現するものとして説明しているが、これに限らず、縮小ボタンと拡大ボタンを個別に設けても良い。これら十字キー２０２、メニューボタン２０３、セットボタン２０４、モード切替スイッチ２０５、ファンクションボタン２１２、電源ボタン３０１、シャッターボタン３０２、多機能レバー３０３は図１の操作部１０８に含まれる。
FIG. 3 is a top view of the
次に、本実施形態に係るデジタルカメラ１００を使って、顔を含む画像の部分領域を指定し、評価（レイティング）を設定する動作について説明する。
Next, an operation of specifying a partial region of an image including a face and setting evaluation (rating) using the
デジタルカメラの電源ボタン３０１を押下してモード切替スイッチ２０５を再生モードにすると、表示パネル２０１には撮影日時が最新の画像が１つ表示される。そして、メニューボタン２０３を押下すると再生モード用の初期メニュー画面が表示される。表示パネル２０１に表示する対象となる画像は通常は保存メモリ１１０に保存された画像すべてであるが、所定の条件を満たす画像だけを抽出して表示することもできる。例えば、ユーザは十字キー２０２を押下することによって初期メニュー画面の項目を移動して、画像の部分レイティング設定を指示する。さらに「抽出」機能を選択することによって画像を絞り込んで表示パネル２０１に表示させることができる。表示パネル２０１は「抽出」機能が選択されている状態を示し、この状態でセットボタン２０４が押下されると「抽出」機能の条件を設定するための画面に切り替わる。ユーザは抽出条件を変更する場合は左キー２０６および右キー２０８を押下することによって設定値を選択し、セットボタン２０４を押下することによって設定値を決定、更新することができる。抽出条件の設定値としては、例えば、「全て」、「全ての顔」や「特定の顔」などがある。
When the
次に本実施形態のデジタルカメラ１００において、画像の顔領域に関してＯＫ（第１の評価）やＮＧ（第２の評価）などの評価を示すフラグを任意に設定し、画像ファイルに関連づけて記録する手順を図４のフローチャート図を参照して説明する。本フローチャートの動作は、上述のようにして、ユーザの操作に応答して、表示パネル２０１に表示されたメニュー画面上で「抽出」機能の条件が入力されると開始する。
Next, in the
ステップＳ４０１においてＣＰＵ１０９は「抽出」機能において設定された抽出条件の設定値を参照する。
In step S401, the
そして、ステップＳ４０２においてＣＰＵ１０９は、ステップＳ４０１で参照された設定値が「全ての顔」であるかどうかを判定する。
In step S402, the
ステップＳ４０２で設定値が「全ての顔」であると判定された場合、ステップＳ４０７においてＣＰＵ１０９は保存メモリ１１０に保存された画像に対して顔認識処理を実行し、顔の含まれる画像から顔領域画像を抽出する。周知の顔認識技術としては、例えば、特開２００４−３１７６９９号公報に開示されているように、目、鼻、口のパターン情報に基づいてパターンマッチングを行ったり、画像内の肌色画素を検出することにより画像に含まれる顔領域を認識する技術がある。
If it is determined in step S402 that the setting value is “all faces”, in step S407, the
ステップＳ４２４においてＣＰＵ１０９は、ステップＳ４０７で抽出された顔領域画像を表示パネル２０１の画像表示エリアに表示させる。画像表示エリア全体に顔領域画像を表示すれば、画像の顔部分が大きく表示されることになるので、ユーザは人物の顔の詳細を確認し易くなる。１つの画像に複数の顔領域が含まれている場合には、顔領域画像を１つずつ表示パネル２０１に表示して十字キー２０２の操作に応答して、顔領域画像を順に送り表示する。なお、１つの画像に複数の顔領域が含まれている場合には、画面を分割して複数の顔領域画像を一度に画像表示エリアに表示するようにしてもよい。
In step S424, the
ステップＳ４２５においてＣＰＵ１０９は、ユーザの入力操作に応答して、画像表示エリアに表示された顔領域に対してフラグを設定する。図５にフラグ設定画面５０１の一例を示す。ユーザは十字キー２０２を押下することによって「ＯＫ」５０２または「ＮＧ」５０３へカーソルを移動し、セットボタン２０４を押下することで、画像表示エリア５０５に表示された顔領域のフラグの値を決定する。１つの画像に複数の顔領域が含まれている場合には、それぞれの顔領域画像を順に表示し、顔領域画像毎にフラグを設定する。また「ＯＫ」または「ＮＧ」のいずれでもない場合は、「キャンセル」５０４を指定することにより何も設定しなくてもよい。そして、画像ファイルには、顔領域の座標と当該顔領域に設定されたフラグが関連付けて記録される。なお、顔領域およびフラグの情報は画像ファイルに付加して保存されてもよいし、顔領域及びフラグ情報と画像ファイルは別に保存され、対応付けられるように記録してもよい。
In step S425, the
ステップＳ４０２で設定値が「全ての顔」でないと判定された場合、ステップＳ４０８においてＣＰＵ１０９は抽出条件の設定値が「特定の顔」であるかどうかを判定する。
When it is determined in step S402 that the setting value is not “all faces”, in step S408, the
ステップＳ４０８で設定値が「特定の顔」であると判定された場合、ステップＳ４１０においてＣＰＵ１０９は保存メモリ１１０に保存された画像を読み出し、表示パネル２０１に一覧表示する。この時、画像を複数表示とすることで、ユーザはより早く目的の顔を含む画像を探し出すことができる。ユーザの選択操作に応答して、ＣＰＵ１０９は画像を選択する。そして、ＣＰＵ１０９は、選択された画像を表示パネル２０１に表示させる。そして、ステップＳ４１１においてＣＰＵ１０９は、選択された画像に対して顔認識処理を実行し、顔領域を抽出する。抽出された顔領域が１つであれば、それを指定し、複数あればユーザの選択指示に応答して、いずれかを抽出対象となる顔領域として指定する。
When it is determined in step S408 that the setting value is “specific face”, in step S410, the
ステップＳ４１２においてＣＰＵ１０９は、ステップＳ４１１で指定された顔領域を解析し、その特徴量を「特定の顔」の特徴量として設定する。ここで、「特定の顔」として設定された顔領域の特徴量や顔領域の画像などの情報は、保存メモリ１１０に保存される。
In step S412, the
ステップＳ４０９においてＣＰＵ１０９は、保存メモリ１１０に保存された画像に対して顔認識処理を実行し、ステップＳ４１２で保存メモリ１１０に保存された特定の顔領域の特徴量と一致する顔を含む画像から、顔領域画像を抽出する。そして、ステップＳ４２４およびステップＳ４２５と同様の処理を順に実行する。
In step S409, the
なお、上述したステップＳ４１０〜ステップＳ４１２の処理の代わりに、以前にステップＳ４１２にて保存メモリ１１０に保存された顔領域画像を表示パネル２０１に一覧表示し、その中から選択された顔領域画像を特定の顔として設定するようにしてもよい。また、この場合、保存メモリ１１０に保存された画像が削除された場合は、それと対応する顔領域の情報も保存メモリ１１０から削除するようにしてもよい。これによって、ユーザが存在しない画像に対する抽出条件を設定してしまう手間を省くとともに、保存メモリ１１０の記憶容量を有効に利用できる。
Instead of the processing in steps S410 to S412, the face area images previously stored in the
ステップＳ４０８で抽出条件の設定値が「特定の顔」でないと判定された場合、ステップＳ４０４においてＣＰＵ１０９は抽出条件の設定値が「全て」であると判断して、保存メモリ１１０に保存された画像全てを読出す。そして、ＣＰＵ１０９は、読み出された画像を表示パネル２０１に順に表示させる。本実施形態では撮影日時が最新の画像から順に表示パネル２０１に表示される。画像が表示パネル２０１に１枚表示された状態で多機能レバー３０３や十字キー２０２が画像の拡大表示方向に操作されることによって、画像に含まれる特定の部分領域が拡大されて表示パネル２０１の画像表示エリアに表示される。例えば、ユーザが多機能レバー３０３を時計回り方向に一度引く（回転させる）操作を行うと、これに応答して画像の部分領域が拡大して表示される。拡大表示された画像の部分領域の中心は拡大表示する前の画像の中心と同一であり、拡大率はあらかじめ定められた固定値である。さらに多機能レバー３０３を時計回りに引く（回転させる）操作があると、それに応答して上記一定の拡大率に基づいてさらに画像を拡大し、拡大された画像の部分領域が表示パネル２０１に表示される。また、拡大された画像の部分領域が表示パネル２０１に表示された状態で十字キー２０２が押下されると、それに応答して、固定値として定められているグリッド間隔値分だけ表示パネル２０１に表示される画像の部分領域を移動することができる。
If it is determined in step S408 that the extraction condition setting value is not “specific face”, the
一方、多機能レバー３０３を反時計回り方向に一度引く（回転させる）操作を行うと、これに応答して画像が縮小して表示され、複数枚表示に切り替わる。この時の表示枚数はあらかじめ固定値として定められている。図６はこの時の複数表示させた状態を示しており、顔を含む画像６０１や顔を含まない画像６０２が混在して表示パネル２０１に表示されている。多機能レバー３０３は引いても（回転させても）レバー自体が元に戻るような操作性を提供しているのでレバーを引く操作は繰り返し可能である。
On the other hand, when the
このように多機能レバー３０３や十字キー２０２を操作をすることで、画像表示エリアに表示される画像の表示サイズを変更したり、画像の表示位置を変更したりすることができる。
By operating the
ステップＳ４０５においてＣＰＵ１０９は、上記のようにして画像表示エリアに表示されている画像の表示範囲を、画像の部分領域として指定する。本実施形態では、ＣＰＵ１０９は、セットボタン２０４の押下操作を受けたときに画像表示エリアに表示されていた画像の表示範囲の座標を取得し、部分領域として指定する。
In step S405, the
ステップＳ４０６においてＣＰＵ１０９は、ユーザの入力操作に応答して、ステップＳ４０５で指定された部分領域に対してフラグを設定する。なお、１つの画像に対して複数の部分領域を指定し、それぞれにフラグを設定することもできる。そして、画像ファイルには、部分領域の座標と当該部分領域に設定されたフラグが関連付けて記録される。なお、部分領域およびフラグの情報は画像ファイルに付加して保存されてもよいし、部分領域及びフラグ情報と画像ファイルは別に保存され、関連付けて記録されるようにしてもよい。
In step S406, the
なお、上記では、ステップＳ４０７やステップＳ４０９で抽出された顔領域をフラグ設定の対象とする場合について説明した。さらに、抽出された顔領域について、ステップＳ４０５と同様にしてさらに部分領域を指定し、フラグ設定の対象領域としてもよい。 In the above description, the case where the face area extracted in step S407 or step S409 is set as a flag setting target has been described. Further, for the extracted face area, a partial area may be further designated in the same manner as in step S405, and may be set as a flag setting target area.
また、上記では、ステップＳ４０７やステップＳ４０９で画像から顔領域を抽出し、顔領域画像を画像表示エリアに表示する場合について説明した。これに限らず、ステップＳ４０７やステップＳ４０９で顔領域を抽出できた画像の全体を画像表示エリアに表示し、ステップＳ４０５と同様にして部分領域を指定し、フラグ設定の対象領域とするようにしてもよい。この場合、「全て」の画像を抽出対象とする場合に比べて、画像の数が少なくなるので、フラグの設定を行うための画像を取捨選択する手間を省くことができる。図７に顔領域を抽出できた画像を表示パネル２０１に複数表示した例を示す。
In the above description, the face area is extracted from the image in step S407 and step S409, and the face area image is displayed in the image display area. Not limited to this, the entire image from which the face area can be extracted in step S407 or step S409 is displayed in the image display area, and the partial area is designated in the same manner as in step S405 so as to be the target area for flag setting. Also good. In this case, since the number of images is reduced as compared with the case where “all” images are to be extracted, it is possible to save the trouble of selecting images for setting a flag. FIG. 7 shows an example in which a plurality of images from which face areas can be extracted are displayed on the
また、上記では、ステップＳ４２４では抽出された顔領域画像だけを表示パネル２０１の画像表示エリアに表示する場合について説明した。これに限らず、図８に示すように画像の全体を表示パネル２０１の画像表示エリアに表示し、その中で顔領域を強調表示するようにしてもよい。図８では顔領域を枠で囲んで強調表示している。この枠で囲まれた顔領域がフラグ設定の対象領域となる。これにより、ユーザは画像の全体における顔領域を確認しながら、顔領域を評価することができる。
In the above description, the case where only the extracted face area image is displayed in the image display area of the
また、上記では、フラグの設定をユーザの入力操作に応答して行う場合について説明した。これに限らず、顔認識処理を用いて顔領域が笑顔であるか否かをさらに検知し、検知結果が笑顔を示せば「ＯＫ」を設定するというように、自動的にフラグを設定するようにしてもよい。 In the above description, the flag is set in response to a user input operation. In addition to this, it is further detected whether or not the face area is smiling using face recognition processing, and a flag is automatically set so that “OK” is set if the detection result indicates a smile. It may be.
次に本実施形態のデジタルカメラ１００において、画像に含まれる人物について部分的な評価が設定され、保持された画像を出力処理する手順を図１１のフローチャート図を参照して説明する。本フローチャートの動作は、ユーザの操作に応答して、表示パネルに表示されたメニュー画面上で、出力処理の指示が入力されると開始する。
Next, in the
ステップＳ１１００においてＣＰＵ１０９は、指示された出力処理の種類が写真印刷であるか否かを判定する。
In step S1100, the
ステップＳ１１００で出力処理の種類が写真印刷であると判定された場合、ステップＳ１１０１においてＣＰＵ１０９は、ユーザの操作に応答して、写真印刷の印刷枚数の条件を選択する。条件としては、各画像の印刷枚数を「画像に含まれるＯＫの数」または「画像に含まれる人物の総数からＮＧの数を引いた数」のいずれかを選択する。
If it is determined in step S1100 that the type of output processing is photo printing, in step S1101, the
ステップＳ１１０２においてＣＰＵ１０９は、ステップＳ１１０１で選択された条件にしたがい、各画像の印刷枚数をＤＰＯＦファイルに格納する。ここで、ＤＰＯＦファイルは各画像ファイルとともに保存メモリ１１０に保存される。ＤＰＯＦファイルは各画像ファイルに対する印刷指定情報である。この印刷指定情報には、印刷対象となる画像ファイルの識別情報と印刷枚数が含まれる。画像ファイルの識別情報は、保存メモリ１１０に保存された画像ファイルを一意に識別可能な情報であり、具体的には、画像ファイルのファイル名等である。
In step S1102, the
ステップＳ１１０１で選択された条件が「画像に含まれるＯＫの数」である場合、ＣＰＵ１０９は各画像ファイルのフラグを参照し、ＯＫが設定されているフラグの数をカウントする。そして、カウント結果を当該画像ファイルの印刷枚数として決定し、ＤＰＯＦファイルに格納する。したがって、画像ファイルに含まれるＯＫの数が“０”の場合には、印刷枚数が“０”となるため、当該画像ファイルは印刷されないこととなる。
If the condition selected in step S1101 is “the number of OK included in the image”, the
一方、ステップＳ１１０１で選択された条件が「画像に含まれる人物の総数からＮＧの数を引いた数」である場合、ＣＰＵ１０９は、まず各画像ファイルに対して顔認識処理を実行し、画像に含まれる人物の総数をカウントする。次に各画像ファイルのフラグを参照し、ＮＧが設定されているフラグの数をカウントする。そして、画像に含まれる人物の総数からＮＧが設定されているフラグの数を引いた結果を当該画像ファイルの印刷枚数として決定し、ＤＰＯＦファイルに格納する。
On the other hand, when the condition selected in step S1101 is “the number of persons included in the image minus the number of NGs”, the
そして、印刷装置は、デジタルカメラ１００の保存メモリ１１０に保存された画像ファイルおよびＤＰＯＦファイルを読み出し、印刷出力を実行する。以上のようにして、画像ファイルを写真印刷して人に配布する場合に、ユーザの手間をかけることなく、写り映えのよい写真を必要な枚数だけ印刷することができるようになる。
Then, the printing apparatus reads the image file and DPOF file stored in the
ステップＳ１１００にて指示された出力処理の種類が写真印刷でないと判定された場合、ステップＳ１１１０においてＣＰＵ１０９は、指示された出力処理の種類がスライドショー再生であるか否かを判定する。
If it is determined in step S1100 that the type of output processing instructed is not photo printing, the
ステップＳ１１１０にて指示された出力処理の種類がスライドショー再生であると判定された場合、ステップＳ１１１１においてＣＰＵ１０９は、ユーザの操作に応答して各画像の再生時間の条件を選択する。条件としては「画像に含まれるＯＫの数に比例する」または「画像に含まれる人物の総数からＮＧの数を引いた数に比例する」のいずれかを選択する。
If it is determined in step S1110 that the type of output processing instructed is slideshow playback, the
ステップＳ１１１２においてＣＰＵ１０９は、ステップＳ１１０１で選択された条件にしたがい、各画像の再生時間をスライドショー管理ファイルに格納する。ここで、スライドショー管理ファイルは各画像ファイルとともに保存メモリ１１０に保存される。スライドショー管理ファイルには、再生対象となる画像ファイルの識別情報と、各画像ファイルの再生順序、各画像ファイルの再生時間が含まれる。
In step S <b> 1112, the
ステップＳ１１１１で選択された条件が「画像に含まれるＯＫの数に比例する」である場合、ＣＰＵ１０９は各画像ファイルのフラグを参照し、ＯＫが設定されているフラグの数をカウントする。そして、カウント値と所定の再生時間との積を当該画像ファイルの再生時間として決定し、スライドショー管理ファイルに格納する。所定の再生時間はユーザが任意に設定できるようにしてもよいし、予めデジタルカメラ１００に固定で設定されていてもよい。したがって、画像ファイルに含まれるＯＫの数が“０”の場合には、再生時間が“０”となるため、当該画像ファイルは再生されないこととなる。
If the condition selected in step S1111 is “proportional to the number of OK included in the image”, the
一方、ステップＳ１１１１で選択された条件が「画像に含まれる人物の総数からＮＧの数を引いた数に比例する」である場合、ＣＰＵ１０９は、まず各画像ファイルに対して顔認識処理を実行し、画像に含まれる人物の総数をカウントする。次に各画像ファイルのフラグを参照し、ＮＧが設定されているフラグの数をカウントする。そして、画像に含まれる人物の総数からＮＧが設定されているフラグの数を引いた値と所定の再生時間との積を当該画像ファイルの再生時間として決定し、スライドショー管理ファイルに格納する。
On the other hand, when the condition selected in step S1111 is “proportional to the total number of persons included in the image minus the number of NG”, the
そして、デジタルカメラ１００はスライドショー管理ファイルを参照し、保存メモリ１１０に保存された画像ファイルを順に読出して、設定された再生時間だけ表示部１０７に表示させる。以上のようにして、ユーザに手間をかけることなく、写り映えのよい画像をより長く再生させることができるようになる。
The
なお、本実施形態では、画像に含まれる人物の総数とＮＧフラグの数との差分やＯＫフラグの数を用いて出力量を決定する場合について説明した。これに限らず、ＮＧフラグの数やＯＫフラグの数をそれぞれ所定値と比較し、比較結果に応じて出力量を決定するようにしてもよい。例えば、ＯＫフラグの数が所定値より大きければ所定量を出力し、そうでなければ出力しないようにすることや、ＮＧフラグの数が所定値より大きければ出力せず、そうでなければ所定量を出力する。あるいは、ＯＫフラグの数がＮＧフラグの数より大きければ、所定量を出力することが考えられる。 In the present embodiment, the case where the output amount is determined using the difference between the total number of persons included in the image and the number of NG flags or the number of OK flags has been described. Not limited to this, the number of NG flags and the number of OK flags may be compared with predetermined values, respectively, and the output amount may be determined according to the comparison result. For example, if the number of OK flags is larger than a predetermined value, a predetermined amount is output, otherwise it is not output, or if the number of NG flags is larger than a predetermined value, it is not output. Is output. Alternatively, if the number of OK flags is larger than the number of NG flags, a predetermined amount may be output.
以上のように本実施形態によれば、画像に含まれる人物に関する部分的な評価を用いて、印刷出力や表示出力等の出力処理の対象となる画像を簡単に選択できるようになる。 As described above, according to the present embodiment, it is possible to easily select an image to be subjected to output processing such as print output or display output using partial evaluation regarding a person included in the image.
また、本実施形態によれば、画像に含まれる人物に関する部分的な評価を用いて、印刷出力の場合の印刷枚数や表示出力の場合の表示時間等のような出力量の設定を簡単に決定できるようになる。 Further, according to the present embodiment, setting of the output amount such as the number of prints in the case of print output, the display time in the case of display output, and the like is easily determined by using partial evaluation regarding a person included in the image. become able to.
（第２の実施形態）
本実施形態では、第１の実施形態のデジタルカメラの代わりに、画像を管理するためのアプリケーションソフトウェアをインストールしたコンピュータ装置を用いて本願発明を実現する場合について説明する。以下、第１の実施形態と同様の部分については説明を省略し、本実施形態に特有の部分について詳細に説明する。
(Second Embodiment)
In the present embodiment, a case will be described in which the present invention is implemented using a computer device in which application software for managing images is installed instead of the digital camera of the first embodiment. Hereinafter, description of the same parts as those of the first embodiment will be omitted, and parts unique to the present embodiment will be described in detail.
図９は、本実施形態に係る画像管理システムの概略を示すブロック図である。９０１は光学像を電気信号に変換し、所定の画像処理を施した後デジタル情報として記録可能な画像入力装置である。この画像入力装置９０１は、例えば静止画や動画を撮影し、画像データとして記録可能なデジタルカメラや、原稿を読み取って画像データとして出力可能なスキャナなどである。また、画像データを記憶した記憶媒体から画像データを読み出して出力可能な各種記憶媒体のドライバであってもよい。
FIG. 9 is a block diagram showing an outline of the image management system according to the present embodiment.
９０２はパーソナルコンピュータ（ＰＣ）、９０３は画像入力装置９０１からＰＣ９０２へ、画像データを転送するためのデータ転送用インタフェース（Ｉ／Ｆ）である。データ転送用Ｉ／Ｆ９０３としては、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＩＥＥＥ１３９４に代表される有線インタフェースや、ＩｒＤＡ、Ｂｌｕｅｔｏｏｔｈに代表される無線系インタフェースなどを用いることができる。
画像データは、画像入力装置９０１からデータ転送用Ｉ／Ｆ９０３を介してＰＣ９０２に転送され、ハードディスクドライブ（ＨＤＤ）に記憶される。ＰＣ９０２には、画像管理アプリケーションソフトウェアがインストールされており、これを起動することによって、ハードディスクに記憶された画像データに対して、その顔領域の評価を設定したり、保持したりすることができる。
The image data is transferred from the
図１０は、ＰＣ９０２を実現するための情報処理装置の構成を示すブロック図である。情報処理装置は、ＣＲＴディスプレイ１００１、ＶＲＡＭ１００２、ＢＭＵ１００３、キーボード１００４、ＰＤ１００５、ＣＰＵ１００６、ＲＯＭ１００７、ＲＡＭ１００８、ＨＤＤ１００９、ＦＤＤ１０１０、ネットワークＩ／Ｆ１０１１を有する。
FIG. 10 is a block diagram illustrating a configuration of an information processing device for realizing the
ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ１００１には、画像や画像管理アプリケーションソフトウェアのメニュー画面が表示される。ディスプレイ１００１は、第１の実施形態における表示部１０７と対応する。ＶＲＡＭ１００２には、ディスプレイ１００１に表示するための画像が描画される。このＶＲＡＭ１００２に描画された画像は、所定の規定に従ってディスプレイ１００１に転送され、これによりディスプレイ１００１に画像が表示されることとなる。ＢＭＵ（ビットムーブユニット）１００３は、メモリ間のデータ転送や、メモリと各Ｉ／Ｏデバイスとの間のデータ転送を制御する。キーボード１００４は、ユーザの指示を入力するための各種キーを有する。ＰＤ（ポインティングデバイス）１００５は、例えば、ディスプレイ１００１に表示されたアイコンやメニュー画面の項目に対するユーザの指示を入力するために使用される。キーボード１００４やＰＤ１００５は第１の実施形態における十字キー２０２やメニューボタン２０３、セットボタン２０４、ファンクションボタン２１２、多機能レバー３０３と対応する。ＣＰＵ１００６は、ＲＯＭ１００７やＨＤＤ１００９に格納された制御プログラムに基づいて、各デバイスを制御する。ＣＰＵ１００６は第１の実施形態におけるＣＰＵ１０９と対応する。ＲＯＭ１００７は、各種制御プログラムやデータを保存する。ＲＡＭ１００８は、ＣＰＵ１００６のワーク領域、エラー処理時のデータの退避領域、制御プログラムのロード領域等を有する。ＨＤＤ１００９は、オペレーティングシステム（ＯＳ）や画像管理アプリケーションソフトウェア、画像データなどを格納する。ＨＤＤ１００９は第１の実施形態における保存メモリ１１０と対応する。ネットワークＩ／Ｆ１０１１は、他の情報処理装置やプリンタ等とネットワークを介して通信を行う。ＣＰＵバス１０１２は、アドレスバス、データバス及びコントロールバスを含む。ＣＰＵ１００６に対する制御プログラムの提供は、ＲＯＭ１００７、ＨＤＤ１００９から行うこともできるし、ネットワークＩ／Ｆ１０１１を介してネットワーク経由で他の情報処理装置等から行うこともできる。
A CRT (Cathode Ray Tube)
第１の実施形態において図４で示したフローは、ＰＣ９０２においてＣＰＵ１００６がＯＳや画像管理アプリケーションソフトウェアを起動し、それらにしたがって動作することで実現できる。
The flow shown in FIG. 4 in the first embodiment can be realized by the CPU 1006 starting up the OS and image management application software in the
なお、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施の形態の機能を実現するプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。 In addition, the objective of this invention is achieved by performing the following processes. That is, a storage medium storing a program code for realizing the functions of the above-described embodiments is supplied to a system or apparatus, and a program code (or CPU or MPU) of the system or apparatus is stored in the storage medium. Is a process of reading.
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code and the storage medium storing the program code constitute the present invention.
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。 Moreover, the following can be used as a storage medium for supplying the program code. For example, floppy (registered trademark) disk, hard disk, magneto-optical disk, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD + RW, magnetic tape, nonvolatile memory card, ROM or the like. Alternatively, the program code may be downloaded via a network.
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。 Further, the present invention includes a case where the function of the above-described embodiment is realized by executing the program code read by the computer. In addition, an OS (operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments are realized by the processing. Cases are also included.
更に、前述した実施の形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。 Furthermore, the present invention includes a case where the functions of the above-described embodiment are realized by the following processing. That is, the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.
１００ デジタルカメラ
１０１ 撮影レンズ
１０２ 撮影レンズ駆動部
１０３ 撮像素子
１０４ 信号処理部
１０５ 一次メモリ
１０６ 距離測定部
１０７ 表示部
１０８ 操作部
１０９ ＣＰＵ
１１０ 保存メモリ
DESCRIPTION OF
110 Storage memory
Claims (6)
前記抽出手段により抽出された顔領域に対して任意の評価を設定する設定手段と、
前記設定手段により設定された前記顔領域の評価を前記画像データと対応付けて記憶する記憶手段とを備え、
前記記憶手段は前記画像データを複数の顔領域の評価と対応付けて記憶することが可能であり、前記画像データに対応付けられた顔領域の評価をカウントするカウント手段と、
前記画像データを出力処理する際の出力量を前記カウント手段によるカウント結果にしたがって決定する決定手段とを更に備えたことを特徴とする画像処理装置。 Extracting means for extracting a face region from image data;
Setting means for setting an arbitrary evaluation for the face area extracted by the extracting means;
Storage means for storing the evaluation of the face area set by the setting means in association with the image data;
The storage means can store the image data in association with evaluation of a plurality of face areas, and count means for counting the evaluation of face areas associated with the image data;
An image processing apparatus, further comprising: a determining unit that determines an output amount when the image data is output according to a count result by the counting unit.
前記決定手段は前記カウント手段によりカウントされた前記第１の評価の数、あるいは前記顔領域の総数と前記第２の評価の数との差分、あるいは前記第１の評価の数と前記第２の評価の数との比較結果、前記第１または２の評価の数のうちいずれか一方と所定値との比較結果のうち少なくとも１つにしたがって前記画像データを出力処理する際の出力量を決定することを特徴とする請求項１記載の画像処理装置。 The evaluation includes a first evaluation and a second evaluation that are different from each other, and the counting means also counts the total number of face regions extracted by the extracting means,
The determination means is the number of the first evaluations counted by the counting means, or the difference between the total number of the face regions and the number of the second evaluations, or the number of the first evaluations and the second evaluation The output amount when the image data is output is determined according to at least one of the comparison result with the number of evaluations and the comparison result between one of the first or second evaluation numbers and a predetermined value. The image processing apparatus according to claim 1.
前記設定手段は、前記表示手段により前記画面に表示された顔領域の画像に関する、ユーザの入力操作に応答して前記評価を設定することを特徴とする請求項１または２に記載の画像処理装置。 Further comprising display means for displaying an image of the face area extracted by the extracting means on a screen;
The image processing apparatus according to claim 1, wherein the setting unit sets the evaluation in response to a user input operation regarding an image of a face area displayed on the screen by the display unit. .
前記設定手段は、前記検知手段による検知結果にしたがって前記評価を設定することを特徴とする請求項１乃至３に記載の画像処理装置。 A detection means for detecting whether or not the face area extracted by the extraction means is a smile;
The image processing apparatus according to claim 1, wherein the setting unit sets the evaluation according to a detection result by the detection unit.
前記抽出された顔領域に対して任意の評価を設定するステップと、
前記設定された前記顔領域の評価を前記画像データと対応付けて記憶するステップと、
前記画像データは複数の顔領域の評価と対応付けて記憶されることが可能であり、前記画像データに対応付けられた顔領域の評価をカウントするステップと、
前記画像データを出力処理する際の出力量を前記カウント結果にしたがって決定するステップとを備えたことを特徴とする画像処理装置の制御方法。 Extracting a face region from the image data;
Setting an arbitrary evaluation on the extracted face area;
Storing the set evaluation of the face area in association with the image data;
The image data can be stored in association with evaluation of a plurality of face areas, and counting the evaluation of face areas associated with the image data;
And a step of determining an output amount when the image data is output according to the count result.
画像データから顔領域を抽出するステップと、
前記抽出された顔領域に対して任意の評価を設定するステップと、
前記設定された前記顔領域の評価を前記画像データと対応付けて記憶するステップと、
前記画像データは複数の顔領域の評価と対応付けて記憶されることが可能であり、前記画像データに対応付けられた顔領域の評価をカウントするステップと、
前記画像データを出力処理する際の出力量を前記カウント結果にしたがって決定するステップとを実行させるためのプログラム。 On the computer,
Extracting a face region from the image data;
Setting an arbitrary evaluation on the extracted face area;
Storing the set evaluation of the face area in association with the image data;
The image data can be stored in association with evaluation of a plurality of face areas, and counting the evaluation of face areas associated with the image data;
And a step of determining an output amount when the image data is output according to the count result.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008130760A JP5171387B2 (en) | 2008-05-19 | 2008-05-19 | Image processing apparatus, control method therefor, and program |
| CN2009101353743A CN101588452B (en) | 2008-04-24 | 2009-04-24 | Image taking apparatus, image processing device and management method |
| US12/429,505 US8711265B2 (en) | 2008-04-24 | 2009-04-24 | Image processing apparatus, control method for the same, and storage medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008130760A JP5171387B2 (en) | 2008-05-19 | 2008-05-19 | Image processing apparatus, control method therefor, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009278598A true JP2009278598A (en) | 2009-11-26 |
| JP5171387B2 JP5171387B2 (en) | 2013-03-27 |
Family
ID=41372493
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008130760A Expired - Fee Related JP5171387B2 (en) | 2008-04-24 | 2008-05-19 | Image processing apparatus, control method therefor, and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5171387B2 (en) |
| CN (1) | CN101588452B (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009290336A (en) * | 2008-05-27 | 2009-12-10 | Sony Corp | Image reproducing device, image reproducing method, and program |
| JP2012133459A (en) * | 2010-12-20 | 2012-07-12 | Nikon Corp | Apparatus, method and program for estimating image, and computer-readable recording medium storing the program |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101739210B (en) * | 2009-12-21 | 2012-08-08 | 无锡中星微电子有限公司 | Reminding method for image browsing and device thereof |
| JP5483012B2 (en) * | 2010-03-25 | 2014-05-07 | ソニー株式会社 | TV with videophone function |
| JP5906023B2 (en) | 2011-04-28 | 2016-04-20 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| JP5882599B2 (en) | 2011-04-28 | 2016-03-09 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| JP5762114B2 (en) | 2011-04-28 | 2015-08-12 | キヤノン株式会社 | Imaging apparatus and control method thereof |
| CN102708841B (en) * | 2012-04-16 | 2015-04-29 | 广东威创视讯科技股份有限公司 | Signal window-opening method and device |
| CN107608508B (en) * | 2012-12-19 | 2021-07-16 | 联想(北京)有限公司 | Information processing method and electronic equipment |
| JP2015177221A (en) * | 2014-03-13 | 2015-10-05 | オリンパス株式会社 | Imaging apparatus, imaging method, data recording device, and program |
| CN104320700A (en) * | 2014-10-27 | 2015-01-28 | 无锡天脉聚源传媒科技有限公司 | Method and device for marking regions in video |
| JP6452409B2 (en) * | 2014-11-28 | 2019-01-16 | キヤノン株式会社 | Image display device and image display method |
| JP7242232B2 (en) * | 2018-09-28 | 2023-03-20 | キヤノン株式会社 | Information processing device, information processing method, and program |
| JP7252729B2 (en) * | 2018-10-18 | 2023-04-05 | キヤノン株式会社 | Image processing device, image processing method |
| CN111240543B (en) * | 2020-01-03 | 2023-08-22 | 腾讯科技（深圳）有限公司 | Comment method, comment device, computer equipment and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003141512A (en) * | 2001-11-06 | 2003-05-16 | Konica Corp | Face imaging system and image processing method |
| JP2007036603A (en) * | 2005-07-26 | 2007-02-08 | Noritsu Koki Co Ltd | Print preparation device |
| JP2007208732A (en) * | 2006-02-02 | 2007-08-16 | Fujifilm Corp | Method for recording print specifying information and digital camera |
| JP2008052402A (en) * | 2006-08-23 | 2008-03-06 | Konica Minolta Holdings Inc | Print creation system and print creation method |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4712661B2 (en) * | 2006-09-22 | 2011-06-29 | オリンパスイメージング株式会社 | Imaging device |
-
2008
- 2008-05-19 JP JP2008130760A patent/JP5171387B2/en not_active Expired - Fee Related
-
2009
- 2009-04-24 CN CN2009101353743A patent/CN101588452B/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003141512A (en) * | 2001-11-06 | 2003-05-16 | Konica Corp | Face imaging system and image processing method |
| JP2007036603A (en) * | 2005-07-26 | 2007-02-08 | Noritsu Koki Co Ltd | Print preparation device |
| JP2007208732A (en) * | 2006-02-02 | 2007-08-16 | Fujifilm Corp | Method for recording print specifying information and digital camera |
| JP2008052402A (en) * | 2006-08-23 | 2008-03-06 | Konica Minolta Holdings Inc | Print creation system and print creation method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009290336A (en) * | 2008-05-27 | 2009-12-10 | Sony Corp | Image reproducing device, image reproducing method, and program |
| JP2012133459A (en) * | 2010-12-20 | 2012-07-12 | Nikon Corp | Apparatus, method and program for estimating image, and computer-readable recording medium storing the program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5171387B2 (en) | 2013-03-27 |
| CN101588452A (en) | 2009-11-25 |
| CN101588452B (en) | 2011-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5171387B2 (en) | Image processing apparatus, control method therefor, and program | |
| US8711265B2 (en) | Image processing apparatus, control method for the same, and storage medium | |
| US7308158B2 (en) | Imaging method and system | |
| US7084916B2 (en) | Digital camera having an improved user interface | |
| JP2008191799A (en) | Portable device | |
| JP2008187381A (en) | Image device, image-editing method, and program | |
| JP3841046B2 (en) | Image display device and print system | |
| JP2008236454A (en) | Multifunction printer, print system, and still image print program | |
| EP1812906B1 (en) | Screen edit apparatus, screen edit method, and screen edit program | |
| JP2008244997A (en) | Image processing system | |
| JP5336759B2 (en) | Image output apparatus and image output method | |
| JP4974966B2 (en) | Image editing apparatus, control method therefor, and program | |
| US7812977B2 (en) | Image-processing system, image-processing method, and product of image-processing program for displaying an image individually or as a composite image | |
| JP2005096301A (en) | Image output device, image correction method, image adjustment method, program and recording medium | |
| JP5020882B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP2011160292A (en) | Image processing apparatus, and image processing method | |
| JP5575173B2 (en) | Image editing apparatus, control method therefor, and program | |
| JP5645878B2 (en) | Image processing apparatus, control method therefor, and program | |
| JP2006227903A (en) | Print controller, print control method, print control program and storage medium | |
| JP4605345B2 (en) | Image processing method and apparatus | |
| JP2005045650A (en) | Image extracting device and image extracting method | |
| JP2012019475A (en) | Image edition processing device, electronic camera, image edition processing program | |
| JP2009021733A (en) | Image file generating device, and image file generation program | |
| JP2008210347A (en) | Image editing device, method, and program | |
| JP2001111947A (en) | Recorder, image processing unit, display device, recording method, display method and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100201 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20100630 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110519 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120516 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120522 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120718 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121225 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160111 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |