JP4663699B2 - 画像表示装置、及び画像表示方法 - Google Patents

画像表示装置、及び画像表示方法 Download PDF

Info

Publication number
JP4663699B2
JP4663699B2 JP2007251632A JP2007251632A JP4663699B2 JP 4663699 B2 JP4663699 B2 JP 4663699B2 JP 2007251632 A JP2007251632 A JP 2007251632A JP 2007251632 A JP2007251632 A JP 2007251632A JP 4663699 B2 JP4663699 B2 JP 4663699B2
Authority
JP
Japan
Prior art keywords
image
face
images
eyes
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007251632A
Other languages
English (en)
Other versions
JP2009086703A (ja
JP2009086703A5 (ja
Inventor
雅子 末廣
征和 西嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2007251632A priority Critical patent/JP4663699B2/ja
Priority to US12/205,494 priority patent/US8290276B2/en
Publication of JP2009086703A publication Critical patent/JP2009086703A/ja
Publication of JP2009086703A5 publication Critical patent/JP2009086703A5/ja
Application granted granted Critical
Publication of JP4663699B2 publication Critical patent/JP4663699B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/02Affine transformations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像表示装置、画像表示方法、及び画像表示プログラムにかかり、特に、デジタルカメラ等の撮影装置によって撮影された撮影画像を表示する画像表示装置に関する。
デジタルカメラ等の撮影装置による撮影の多くは、被写体として人物を撮影する機会が多い。また、再生時には、撮影装置による撮影によって得られる撮影画像中の被写体となった人物の顔を大きくして見るために、画像全体を表示して顔位置をズームアップしてから見る、といった煩雑な操作を行い、複数の画像を閲覧する際には、煩雑な操作を繰り返して行う必要があった。
そこで、撮影画像を調整して表示することが考えられるが、撮影画像を調整する際の画像に写っている人物の顔の検出等に関係する技術としては、例えば、特許文献1〜3に記載の技術が提案されている。
特許文献1に記載の技術では、身体の構成部分の位置関係に基づいて画像の向きを判定することが提案されており、さらには身体の構成部分の位置関係として両目の位置関係から画像の向きを判定することが提案されている。
また、特許文献2に記載の技術では、被撮影者の顔画像を撮影する顔画像撮影装置において、入力された顔画像から顔の横幅を測定し、この測定した顔横幅測定値と適性な顔の横幅である目標顔横幅値との比率を求め、それをズーム比率として設定し、この設定したズーム比率に基づき、入力された顔画像に対しズーミング処理を行なうことにより一定の大きさの顔画像を取得することが提案されている。
さらに、特許文献3に記載の技術では、顔認識技術によってこの画像に写っている人物の顔領域や両目の位置等の検出を行うと共に、顔領域の傾き角度を算出して、検出された顔領域等の画像の一部領域を切り出し、画像の一部領域を拡大・縮小して出力することが提案されている。また、顔領域の傾き角度に基づいて顔領域の回転処理を行うことが提案されている。
特開平8−138024号公報 特開2000−292852号公報 特開2006−293782号公報
しかしながら、特許文献1や特許文献2に記載の技術では、画面内に表示させる顔の位置を一定に保つことを重視しておらず、画像を閲覧するユーザの視線が画像毎に移動してしまい、改善の余地がある。
また、特許文献3に記載の技術では、顔全体の領域が画面中央に大きく表示されるため、特許文献1、2に記載の技術に比べると比較的ユーザの視線を一定に保つことができるが、多くのユーザが注視する被写体の目の位置は重視していないので、厳密にユーザの視線を一点に集中することができない、という問題がある。
本発明は、上記問題を解決すべく成されたもので、画像を閲覧する際に視線を保ったまま閲覧できるようにすることを目的とする。
上記目的を達成するために請求項1に記載の画像表示装置は、複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出手段と、目を含む矩形領域の中心位置を算出することによって前記抽出手段によって抽出された顔画像群の各画像の目の位置を算出する算出手段と、前記算出手段によって算出された目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理手段と、前記画像処理手段によって処理された画像を表示する表示手段と、を備えることを特徴としている。
請求項1に記載の発明によれば、抽出手段では、複数の画像から顔が含まれている画像が抽出されて顔画像群とされる。例えば、既知の技術を適用して画像から顔を検出して、抽出する。
算出手段では、目を含む矩形領域の中心位置を算出することによって抽出手段によって抽出された顔画像群の各画像の目の位置が算出される。例えば、予め定めたパターンと比較することによって目の領域を検出して目の位置を算出する。
画像処理手段では、算出手段によって算出された目の位置が全ての画像において所定位置(例えば、表示する画面の中央位置等や前の画像の目の位置と同じ位置等)になるように、顔画像群の各画像に対して画像処理が行われる。画像処理としては、例えば、請求項17に記載の発明のように、画像の拡大、縮小、移動、及び回転を含む画像処理を行うことによって画像が所定位置になるように画像処理を行う。
そして、表示手段では、画像処理手段によって処理された画像が表示される。すなわち、画像処理手段によって画像に含まれる人物の目の位置が所定位置になるように画像処理が行われた画像が表示される。従って、人物が写っている画像を閲覧する際には、被写体の目の位置は重視するが、表示手段に表示される画像の目の位置が所定位置であるため、画像を閲覧する際に視線を一定に保ったまま閲覧できる。
ここで、本発明は、請求項2に記載の発明のように、複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出手段と、瞳を検出する瞳検出手段を含み、前記瞳検出手段によって検出された瞳の位置を目の位置として算出することによって前記抽出手段によって抽出された顔画像群の各画像の目の位置を算出し、前記瞳検出手段によって瞳が検出できない場合に、目を含む矩形領域の中心位置を目の位置として算出する算出手段と、前記算出手段によって算出された目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理手段と、前記画像処理手段によって処理された画像を表示する表示手段と、を備えるようにしてもよいし、請求項3に記載の発明のように、複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出手段と、前記抽出手段によって抽出された顔画像群の各画像の目の位置を算出する算出手段と、前記算出手段によって算出された目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理手段と、前回表示された画像と顔の類似度が高い順を所定の順序として、前記画像処理手段によって処理された画像を前記所定の順序で表示する表示手段と、を備えるようにしてもよいし、請求項4に記載の発明のように、複数の画像から顔が含まれている画像を抽出して顔画像群とすると共に、前記顔画像群の中に最も多く含まれる人物、または先頭画像で一番顔面積が大きく写っている人物の何れかを含む画像を抽出する抽出手段と、前記抽出手段によって抽出された顔画像群の各画像の目の位置を算出する算出手段と、前記算出手段によって算出された目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理手段と、前記画像処理手段によって処理された画像を表示する表示手段と、を備えるようにしてもよいし、請求項5に記載の発明のように、複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出手段と、前記抽出手段によって抽出された顔画像群の各画像の目の位置を算出する算出手段と、前記算出手段によって算出された目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理手段と、前記画像処理手段によって処理された画像を表示する表示手段と、を備え、前記画像処理手段が、画像中の垂直方向を回転軸とした顔の回転を推定し、推定した両目の距離から正面を向いた場合の両目の距離を推定して、両目の距離が予め定めた目標距離となるように画像処理を行うようにしてもよい。
なお、抽出手段及び算出手段は、請求項に記載の発明のように、抽出手段が、左右の目を含む顔が含まれている画像を抽出し、算出手段が、左右の目の位置を算出するようにしてもよい。
また、請求項3〜5の何れか1項に記載の算出手段は、請求項に記載の発明のように、目を含む矩形領域の中心位置を算出するようにしてもよいし、請求項に記載の発明のように、瞳を検出する瞳検出手段を含み、瞳検出手段によって検出された瞳の位置を目の位置として算出するようにしてもよい。このとき、瞳検出手段によって瞳が検出できない場合には、請求項に記載の発明のように、目を含む矩形領域の中心位置を目の位置として算出するようにしてもよい。
また、請求項1〜9の何れか1項に記載の発明は、請求項10に記載の発明のように、表示手段に表示する画像を選択する選択手段を更に備えるようにしてもよいし、請求項1、請求項2、請求項4、または請求項5に記載の発明は、請求項11に記載の発明のように、表示手段が、所定の順序(例えば、撮影日時順等)で画像を表示するようにしてもよい。
また、請求項11の表示手段は、請求項12に記載の発明のように、所定の順序として、前回表示された画像と顔の類似度が高い順に表示するようにしてもよい。
また、請求項1、請求項2、請求項3、又は請求項5の抽出手段は、請求項13に記載の発明のように、特定の人物を含む画像を更に抽出するようにしてもよいし、請求項14に記載の発明のように、前記顔画像群の中に最も多く含まれる人物、または先頭画像で一番顔面積が大きく写っている人物の何れかを前記特定の人物として選択して抽出するようにしてもよい。
また、請求項1、請求項2、請求項3、又は請求項5の抽出手段は、請求項15に記載の発明のように、特定の角度の顔を含む画像を更に抽出するようにしてもよい。
さらに、請求項1〜4の何れか1項の画像処理手段は、請求項16に記載の発明のように、画像中の垂直方向を回転軸とした顔の回転を推定し、推定した両目の距離から正面を向いた場合の両目の距離を推定して、両目の距離が予め定めた目標距離となるように画像処理を行うようにしてもよい。
請求項18に記載の画像表示方法は、複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出ステップと、目を含む矩形領域の中心位置を算出することによって前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出する算出ステップと、前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、前記画像処理ステップで処理した画像を表示する表示ステップと、を含むことを特徴としている。
請求項18に記載の発明によれば、抽出ステップでは、複数の画像から顔が含まれている画像を抽出して顔画像群とする。例えば、既知の技術を適用して画像から顔を検出して、抽出する。
算出ステップでは、目を含む矩形領域の中心位置を算出することによって抽出ステップで抽出した顔画像群の各画像の目の位置を算出する。例えば、予め定めたパターンと比較することによって目の領域を検出して目の位置を算出する。
画像処理ステップでは、算出ステップで算出した目の位置が全ての画像において所定位置(例えば、表示する画面の中央位置等や前の画像の目の位置と同じ位置等)になるように画像に対して画像処理を行す。画像処理としては、例えば、請求項34に記載の発明のように、画像の拡大、縮小、移動、及び回転を含む画像処理を行うことによって画像が所定位置になるように画像処理を行う。
そして、表示ステップでは、画像処理ステップで処理した画像を表示する。すなわち、画像処理ステップにおいて画像に含まれる人物の目の位置が所定位置になるように画像処理を行った画像を表示する。従って、人物が写っている画像を閲覧する際には、被写体の目の位置は重視するが、表示手段に表示される画像の目の位置が所定位置であるため、画像を閲覧する際に視線を一定に保ったまま閲覧できる。
ここで、本発明は、請求項19に記載の発明のように、複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出ステップと、瞳を検出して瞳の位置を目の位置として算出することによって前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出し、瞳が検出できない場合に、目を含む矩形領域の中心位置を目の位置として算出する算出ステップと、前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、前記画像処理ステップで処理した画像を表示する表示ステップと、を含むようにしてもよいし、請求項20に記載の発明のように、複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出ステップと、前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出する算出ステップと、前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、前回表示された画像と顔の類似度が高い順を所定の順序として、前記画像処理ステップで処理した画像を前記所定の順序で表示する表示ステップと、を含むようにしてもよいし、請求項21に記載の発明のように、複数の画像から顔が含まれている画像を抽出して顔画像群とすると共に、前記顔画像群の中に最も多く含まれる人物、または先頭画像で一番顔面積が大きく写っている人物の何れかを含む画像を抽出する抽出ステップと、前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出する算出ステップと、前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、前記画像処理ステップで処理した画像を表示する表示ステップと、を含むようにしてもよいし、請求項22に記載の発明のように、複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出ステップと、前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出する算出ステップと、前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、前記画像処理ステップで処理した画像を表示する表示ステップと、を含み、前記画像処理ステップが、画像中の垂直方向を回転軸とした顔の回転を推定し、推定した両目の距離から正面を向いた場合の両目の距離を推定して、両目の距離が予め定めた目標距離となるように画像処理を行うようにしてもよい。
なお、抽出ステップ及び算出ステップは、請求項23に記載の発明のように、抽出ステップでは、左右の目を含む顔が含まれている画像を抽出し、算出ステップでは、左右の目の位置を算出するようにしてもよい。
また、請求項20〜22の何れか1項の算出ステップは、請求項24に記載の発明のように、目を含む矩形領域の中心位置を算出するようにしてもよいし、請求項25に記載の発明のように、瞳を検出して瞳の位置を目の位置として算出するようにしてもよい。このとき、瞳が検出できない場合には、請求項26に記載の発明のように、目を含む矩形領域の中心位置を目の位置として算出するようにしてもよい。
また、請求項18〜28の何れか1項の発明は、請求項27に記載の発明のように、表示ステップで表示する画像を選択する選択ステップを更に備えるようにしてもよいし、請求項18、請求項19、請求項21、または請求項22の発明は、請求項28に記載の発明のように、表示ステップが、所定の順序(例えば、撮影日時順等)で画像を表示するようにしてもよい。
また、請求項28の表示ステップは、請求項29に記載の発明のように、所定の順序として、前回表示された画像と顔の類似度が高い順に表示するようにしてもよい。
また、請求項18、請求項19、請求項20、又は請求項22の抽出ステップは、請求項30に記載の発明のように、特定の人物を含む画像を更に抽出するようにしてもよいし、請求項31に記載の発明のように、顔画像群の中に最も多く含まれる人物、または先頭画像で一番顔面積が大きく写っている人物の何れかを前記特定の人物として選択して抽出するようにしてもよい。
また、請求項18、請求項19、請求項20、又は請求項22の抽出ステップは、請求項32に記載の発明のように、特定の角度の顔を含む画像を更に抽出するようにしてもよい。
さらに、請求項18〜21の何れか1項の画像処理ステップは、請求項33に記載の発明のように、画像中の垂直方向を回転軸とした顔の回転を推定し、推定した両目の距離から正面を向いた場合の両目の距離を推定して、両目の距離が予め定めた目標距離となるように画像処理を行うようにしてもよい。
以上説明したように本発明によれば、目の位置が所定位置に表示されるので、画像を閲覧する際に視線を一定に保ったまま閲覧できる、という効果がある。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。なお、本実施の形態は、本発明をデジタルカメラに適用したものである。
(第1実施形態)
図1は、本発明の第1実施形態に係わるデジタルカメラの概略構成を示すブロック図である。
図1に示すように、本発明の第1実施形態に係わるデジタルカメラ10は、撮影レンズ12を備えている。撮影レンズ12の光軸後方には、絞り14、赤外線カットフィルタや光学ローパスフィルタ等を含むフィルタ16、及び電荷結合素子(以下、「CCD」という。)18が順に配設されており、撮影レンズ12によって被写体像がCCD18に結像される。
撮影レンズ12はレンズ駆動部20によって撮影レンズ12の位置が調整されることによって焦点調整が行われ、絞り14は絞り駆動部22によって開口量が調整されることによってCCD18への露光量が調整され、CCD18はCCD駆動部24によって電荷の蓄積が調整される。レンズ駆動部20、絞り駆動部22、及びCCD駆動部24は、CPU26に接続されており、CPU26によってそれぞれ制御される。
また、CCD18の出力端は、アナログ信号処理部28に接続され、アナログ信号処理部28によってCCD18から入力されたアナログ信号に対して各種アナログ信号処理が行われる。
アナログ信号処理部28の出力端には、アナログ/デジタル変換(A/D)30が接続されており、アナログ信号処理部28から入力されたアナログ信号がデジタル信号に変換される。
A/D30の出力端はバス32に接続されており、バス32には、CPU26、メモリ制御部34、積算部36、デジタル信号処理部38、圧縮伸張処理部40、外部メモリ制御部42、表示制御部44、顔検出装置46、及び画像処理部48が接続されており、CPU26に接続された操作部50へのユーザの操作に応じてCPU26よってそれぞれ制御される。
メモリ制御部34には、メインメモリ52が接続され、撮影によって得られる画像データを一時記憶すると共に、画像データに対して各種処理を行う際の作業領域として機能する。
積算部36は、デジタル信号に変換された画像データをR(赤)、G(緑)、B(青)の各色毎に積算し各積算値をデジタル信号処理部38に出力する。
デジタル信号処理部38は、積算部36によって処理された画像データに対して各種デジタル信号処理(例えば、ゲイン補正、ホワイトバランス補正等)を行う。
圧縮伸張処理部40は、各種デジタル信号処理された画像データ等に対して所定の圧縮処理(例えば、JPEG形式の圧縮処理等)を行う。
外部メモリ制御部42は、圧縮伸張処理部40によって圧縮された画像データ等の外部の記憶媒体54への記憶や、記憶媒体54に記憶された画像データの読み出し等を制御する。
表示制御部44は、撮影画像によって得られる画像データに基づく撮影画像の表示部56への表示や撮影時のスルー画像の表示部56への表示を制御する。例えば、表示制御部44は、操作部50へのユーザの操作に応じて撮影画像を表示するように制御したり、撮影時のスルー画像を表示するように制御する。
顔検出装置46は、撮影によって得られる画像データに基づいて、被写体に人の顔が存在するか否かを検出して、顔領域を検出する。顔検出装置46によって、顔領域の検出は、例えば、公知の方法を用いて、予め人の肌色に対応する、色差信号(クロマ信号)の範囲を決定しておき、撮像画像情報の各画素の色差信号が、当該範囲内にあるか否かを判定することにより肌色の領域の有無を判定し、撮像画像情報により示される被写体に対する肌色を有する領域の割合が予め定められた大きさ以上であれば、当該肌色を有する領域を肌色領域として抽出する。次いで、抽出した肌色領域内の予め定められた位置範囲内に目、鼻、口、眉などの肌色でないパターンが含まれるか否かを判定し、これらのパターンが含まれている場合に、該肌色領域を顔の領域であるものと判定することができる。
また、顔検出装置46は、検出した顔領域に対して目領域を検出する。目領域の検出は、既知の瞳検出方法等を適用することができる。例えば、予め定めたパターンとの比較によって目領域を検出するようにしてもよい。
画像処理部48は、撮影によって得られる画像データに対して表示部56に表示するための画像処理等の各種画像処理を施す。本実施形態では、撮影画像中の人物の目の位置が所定位置(例えば、画面中央等)になるように、撮影画像に対して拡大、縮小、移動、回転等の画像処理を行う。
ここで、本発明の第1実施形態に係わるデジタルカメラ10で撮影することによって得られる撮影画像を表示部56に表示する際の表示方法について説明する。
ここでは、撮影によって得られる撮影画像群が、例えば、図2(A)に示すような場合を例に挙げて説明する。
まず、本実施形態では、撮影画像群の各撮影画像に対して顔検出装置46によって顔検出を行って、人の顔が存在する撮影画像を抽出して絞り込む(図2(B))。
絞り込んだ人の顔が存在する撮影画像について、各撮影画像から顔の目の領域を顔検出装置46によって検出し、両目ともに写っている撮影画像を抽出する。なお、目の領域の算出は、目を含む矩形の中心位置であってもよいし、瞳検出手段を持っている場合には、瞳の位置としてもよい。この時、瞳を検出できなかった場合に、目を含む矩形の中心位置を用いるようにしてもよい。
次に、両目ともに写っている撮影画像を抽出し(図2(C))、抽出した撮影画像の内の特定画像の中から、最初に表示すべき特定の顔の左目及び右目を画面上の所定の位置(例えば、画面中央部等)に表示し、次以降の顔画像は、特定画像を表示した際の左目、右目の表示位置と同じ位置に左目、右目がそれぞれ表示されるように、表示位置、大きさ、回転角度等を画像処理部48で調整し、調整した撮影画像を表示部56に表示するように表示制御部44が制御する(図2(D))。すなわち、前の顔の右目の位置が画面座標上の(XR、YR)、左目が(XL、YL)であった場合には、以降の画像も常に右目が(XR、YR)、左目が(XL、YL)となるように画像を調整して表示する。なお、最初に表示する撮影画像の左右の目の位置は、当該撮影画像をそのまま表示するようにしてもよいし、予め定めた画面中央付近等になるように画像処理を行って表示するようにしてもよい。
続いて、上述のように構成された本発明の第1実施形態に係わるデジタルカメラ10で撮影することによって得られる撮影画像を表示する際の表示処理について詳細に説明する。図3は、本発明の第1実施形態に係わるデジタルカメラ10で撮影画像を表示する際の処理の一例を示すフローチャートである。なお、図3の表示処理は、操作部50の操作によって予め定めた撮影画像の表示モードが指示された場合等に開始する。
まず、ステップ100では、撮影画像群に対して顔検出装置46によって顔検出が行われてステップ102へ移行する。例えば、公知の方法を用いて、予め人の肌色に対応する、色差信号(クロマ信号)の範囲を決定しておき、撮像画像情報の各画素の色差信号が、当該範囲内にあるか否かを判定することにより肌色の領域の有無を判定し、撮像画像情報により示される被写体に対する肌色を有する領域の割合が予め定められた大きさ以上であれば、当該肌色を有する領域を肌色領域として抽出する。次いで、抽出した肌色領域内の予め定められた位置範囲内に目、鼻、口、眉などの肌色でないパターンが含まれるか否かを判定し、これらのパターンが含まれている場合に、該肌色領域を顔の領域であるものと判定することができる。なお、撮影時に既に顔検出済みで、画像データにタグ等によって顔情報が記録されている場合には、当該処理を省略するようにしてもよい。
ステップ102では、顔検出装置46による顔検出の結果、人の顔が存在する撮影画像がないか否かがCPU26によって判定され、該判定が肯定された場合にはステップ104へ移行し、否定された場合にはステップ106へ移行する。
ステップ104では、撮影画像群内に人の顔が存在しない場合には、通常表示が行われて一連の表示処理を終了する。なお、通常表示は、操作部50の操作、例えば、矢印キー等のボタン操作に応じた撮影画像を表示部56に表示する等の通常の表示処理を行う。
一方、ステップ106では、顔検出装置46によって顔検出された撮影画像が撮影画像群から絞り込まれてステップ108へ移行する。
ステップ108では、各撮影画像の目領域が顔検出装置46によって検出されてステップ110へ移行する。目領域の検出は、例えば、予め定めたパターンとの比較等によって目領域を検出することができる。
ステップ110では、ステップ108の目領域の検出によって両目が検出された撮影画像が撮影画像群から抽出されてステップ112へ移行する。
ステップ112では、特定画像の左目及び右目が所定位置(例えば、表示部56の画面中央位置等)になるように画像処理部48によって画像処理が行われて表示部56に表示されてステップ114へ移行する。この時、画像処理部48によって撮影画像を適宜拡大するようにしてもよい。なお、ステップ112で表示する特定画像や、特定画像中の表示すべき顔画像は、操作部50の操作によってユーザが指示するようにしてもよいし、撮影日時等に応じて自動選択するようにしてもよい。
ステップ114では、次の顔画像表示指示がされたか否かCPU26によって判定される。該判定は、操作部50の操作等によって次の顔画像表示指示がなされたか否かを判定し、該判定が否定された場合にはステップ116へ移行し、肯定された場合にはステップ118へ移行する。なお、当該ステップは、自動的に次の顔画像があるか否かを判定するようにしてもよい。
ステップ116では、デジタルカメラ10の他の機能の実行指示が操作部50の操作等によって行われたか否かがCPU26によって判定され、該判定が肯定された場合には一連の処理を終了して他の機能を実施する処理を行い、否定された場合にはステップ114に戻って上述の処理が繰り返される。
一方、ステップ118では、左目及び右目が前回表示した顔画像と同位置になるように次の撮影画像が画像処理部48によって調整されて表示されステップ120へ移行する。
ステップ120では、表示終了か否かCPU26によって判定される。該判定は、操作部50に他の機能の実行指示等が操作されたか否かや、電源スイッチがオフされたか否か等を判定し、該判定が否定された場合にはステップ114に戻って上述の処理が繰り返され、肯定された場合には一連の表示処理を終了する。
すなわち、本発明の第1実施形態に係わるデジタルカメラ10では、撮影画像を表示する際に、人物が写っている撮影画像を抽出して、人物の目の位置を同位置にして表示するので、閲覧するユーザの視線を一定のままコマ送りやスライドショーを行って閲覧することができる。
また、特にスライドショーなどで、画面の切り替わりにクロスフェード(2つの画像を順次切り替える際に途中でオーバーラップして表示する技術)を用いれば、目の位置を中心として切り換えるため、モーフィング(ある物体から別の物体へと自然に変形する映像)のような効果を得ることができる。
(第2実施形態)
次に本発明の第2実施形態に係わるデジタルカメラについて説明する。なお、デジタルカメラの構成は第1実施形態と同一で、撮影画像の表示方法が異なるのみであるため、差異のみを説明する。
第1実施形態では、撮影画像群から人物の顔が写っている撮影画像を絞り込んで、各撮影画像について人物の目が同一位置となるように表示するようにしたが、本実施形態では、表示する顔画像が同一人物を抽出して表示するようにしたものである。
詳細には、撮影によって得られる撮影画像群が、例えば、図4(A)に示すような場合、撮影画像群の各撮影画像に対して顔検出装置46によって顔検出を行って、人の顔が存在する撮影画像を抽出すると共に、ある特定の人物が写っている撮影画像を絞り込む(図4(B))。特定の人物の検出は、例えば、顔領域の相関等を算出して顔の類似度を用いて同一人物を判定するようにしてもよいし、撮影画像にタグ等によって予めコメントなどが記録されている場合には、これを用いて同一人物を判定するようにしてもよい。
次に、絞り込んだ撮影画像に対して、第1実施形態と同様に、顔の目の領域を顔検出装置46によって検出する。なお、目の領域の算出は、目を含む矩形の中心位置であってもよいし、瞳検出手段を持っている場合には、瞳の位置としてもよい。この時、瞳を検出できなかった場合に、目を含む矩形の中心位置を用いるようにしてもよい。
そして、各撮影画像内の特定の人物の両目が写っている撮影画像を抽出し(図4(C))、抽出した撮影画像の内の特定画像の中から、最初に表示すべき特定の顔の左目及び右目を画面の所定の位置(例えば、画面中央部等)に表示し、次以降の顔画像は、特定画像を表示した際の左目、右目の表示位置と同じ位置に左目、右目がそれぞれ表示されるように、撮影画像の表示位置、大きさ、回転角度等を画像処理部48で調整し、調整した撮影画像を表示部56に表示するように表示制御部44が制御する(図4(D))。
続いて、本発明の第2実施形態に係わるデジタルカメラで撮影することによって得られる撮影画像を表示する際の処理について説明する。図5は、本発明の第2実施形態に係わるデジタルカメラで撮影画像を表示する際の処理の一例を示すフローチャートである。なお、図5の表示処理は、操作部50の操作によって予め定めた撮影画像の表示モードが指示された場合等に開始する。また、第1実施形態と同一処理については同一符号を付して説明する。
まず、ステップ100では、撮影画像群に対して顔検出装置46によって顔検出が行われてステップ102へ移行する。例えば、公知の方法を用いて、予め人の肌色に対応する、色差信号(クロマ信号)の範囲を決定しておき、撮像画像情報の各画素の色差信号が、当該範囲内にあるか否かを判定することにより肌色の領域の有無を判定し、撮像画像情報により示される被写体に対する肌色を有する領域の割合が予め定められた大きさ以上であれば、当該肌色を有する領域を肌色領域として抽出する。次いで、抽出した肌色領域内の予め定められた位置範囲内に目、鼻、口、眉などの肌色でないパターンが含まれるか否かを判定し、これらのパターンが含まれている場合に、該肌色領域を顔の領域であるものと判定することができる。なお、撮影時に既に顔検出済みで、画像データにタグ等によって顔情報が記録されている場合には、当該処理を省略するようにしてもよい。
ステップ102では、顔検出装置46による顔検出の結果、人の顔が存在する撮影画像がないか否かがCPU26によって判定され、該判定が肯定された場合にはステップ104へ移行し、否定された場合にはステップ105へ移行する。
ステップ104では、撮影画像群内に人の顔が存在しない場合には、通常表示が行われて一連の表示処理を終了する。なお、通常表示は、操作部50の操作、例えば、矢印キー等のボタン操作に応じた撮影画像を表示部56に表示する等の通常の表示処理を行う。
一方、ステップ105では、顔検出装置46によって顔検出された撮影画像の中から特定人物の撮影画像のみが抽出されてステップ108へ移行する。特定人物の抽出は、例えば、検出した顔領域の相関係数等を求めることによって顔の類似度を算出して特定人物か否かを判定し抽出することができる。なお、特定人物の選択は、操作部50の操作によってユーザが指定するようにしてもよいし、撮影画像群の中に最も多く含まれる人物や先頭撮影画像で一番顔面積が大きく写っている人物を自動的に抽出して選択するようにしてもよい。
ステップ108では、各撮影画像の目領域が顔検出装置46によって検出されてステップ110へ移行する。目領域の検出は、例えば、予め定めたパターンとの比較等によって目領域を検出することができる。
ステップ110では、ステップ108の目領域の検出によって両目が検出された撮影画像が撮影画像群から抽出されてステップ112へ移行する。
ステップ112では、特定画像の左目及び右目が所定位置(例えば、表示部56の画面中央位置等)になるように画像処理部48によって画像処理が行われて表示部56に表示されてステップ114へ移行する。この時、画像処理部48によって撮影画像を適宜拡大するようにしてもよい。なお、ステップ112で表示する特定画像や、特定画像中の表示すべき顔画像は、操作部50の操作によってユーザが指示するようにしてもよいし、撮影日時等に応じて自動選択するようにしてもよい。
ステップ114では、次の顔画像表示指示がされたか否かCPU26によって判定される。該判定は、操作部50の操作等によって次の顔画像表示指示がなされたか否かを判定し、該判定が否定された場合にはステップ116へ移行し、肯定された場合にはステップ118へ移行する。なお、当該ステップは、自動的に次の顔画像があるか否かを判定するようにしてもよい。
ステップ116では、デジタルカメラの他の機能の実行指示が操作部50の操作等によって行われたか否かがCPU26によって判定され、該判定が肯定された場合には一連の処理を終了して他の機能を実施する処理を行い、否定された場合にはステップ114に戻って上述の処理が繰り返される。
一方、ステップ118では、左目及び右目が前回表示した顔画像と同位置になるように次の撮影画像が画像処理部48によって調整されて表示されステップ120へ移行する。なお、次に表示する撮影画像は、撮影日時順で表示するようにしてもよいし、顔の類似度が高い順に表示するようにしてもよい。
ステップ120では、表示終了か否かCPU26によって判定される。該判定は、操作部50に他の機能の実行指示等が操作されたか否かや、電源スイッチがオフされたか否か等を判定し、該判定が否定された場合にはステップ114に戻って上述の処理が繰り返され、肯定された場合には一連の表示処理を終了する。
すなわち、本実施形態では、撮影画像群の中から同一人物のみを抽出して表示するため、第1実施形態よりもさらに切り替わりが自然となる。また、長期間撮り貯めた撮影画像を日付順に並べて表示すれば、ある人物の成長過程などを感じ取りながら見ることができ、より見る楽しみ、さらには撮り続ける楽しみを増やすことができる。
(第3実施形態)
次に本発明の第3実施形態に係わるデジタルカメラについて説明する。なお、デジタルカメラの構成は第1実施形態と同一で、撮影画像の表示方法が異なるのみであるため、差異のみを説明する。
第1実施形態では、撮影画像群から人物の顔が写っている撮影画像を絞り込んで、各撮影画像について人物の目が同一位置となるように表示するようにしたが、本実施形態では、第1実施形態に対して、さらに顔の角度が特定角度の画像のみを表示するようにしたものである。
詳細には、撮影によって得られる撮影画像群が、例えば、図6(A)に示すような場合、撮影画像群の各撮影画像に対して顔検出装置46によって顔検出を行って、人の顔が存在する撮影画像を抽出すると共に、ある特定の角度の顔が写っている撮影画像を絞り込む(図6(B))。どの角度の顔の撮影画像を絞り込むかは、操作部50の操作によってユーザが選択するようにしてもよいし、撮影画像群に最も多く含まれる角度を自動で選択するようにしてもよい。なお、顔の角度の検出は、目、鼻、口等の顔領域に対する位置関係や顔領域の傾き等から検出することが可能である。
次に、絞り込んだ撮影画像に対して、第1実施形態と同様に、顔の目の領域を顔検出装置46によって検出する。なお、目の領域の算出は、目を含む矩形の中心位置であってもよいし、瞳検出手段を持っている場合には、瞳の位置としてもよい。この時、瞳を検出できなかった場合に、目を含む矩形の中心位置を用いるようにしてもよい。
そして、各撮影画像内の特定の顔角度の人物の両目が写っている撮影画像を抽出し(図6(C))、抽出した撮影画像の内の特定画像の中から、最初に表示すべき特定の顔の左目及び右目を画面状の所定の位置(例えば、画面中央部等)に表示し、次以降の顔画像は、特定画像を表示した際の左目、右目の表示位置と同じ位置に左目、右目がそれぞれ表示されるように、撮影画像の表示位置、大きさ、回転角度等を画像処理部48で調整し、調整した撮影画像を表示部56に表示するように表示制御部44が制御する(図6(D))。
続いて、本発明の第3実施形態に係わるデジタルカメラで撮影することによって得られる撮影画像を表示する際の処理について説明する。図7は、本発明の第3実施形態に係わるデジタルカメラで撮影画像を表示する際の処理の一例を示すフローチャートである。なお、図7の表示処理は、操作部50の操作によって予め定めた撮影画像の表示モードが指示された場合等に開始する。また、第1実施形態と同一処理については同一符号を付して説明する。
まず、ステップ100では、撮影画像群に対して顔検出装置46によって顔検出が行われてステップ102へ移行する。例えば、公知の方法を用いて、予め人の肌色に対応する、色差信号(クロマ信号)の範囲を決定しておき、撮像画像情報の各画素の色差信号が、当該範囲内にあるか否かを判定することにより肌色の領域の有無を判定し、撮像画像情報により示される被写体に対する肌色を有する領域の割合が予め定められた大きさ以上であれば、当該肌色を有する領域を肌色領域として抽出する。次いで、抽出した肌色領域内の予め定められた位置範囲内に目、鼻、口、眉などの肌色でないパターンが含まれるか否かを判定し、これらのパターンが含まれている場合に、該肌色領域を顔の領域であるものと判定することができる。なお、撮影時に既に顔検出済みで、画像データにタグ等によって顔情報が記録されている場合には、当該処理を省略するようにしてもよい。
ステップ102では、顔検出装置46による顔検出の結果、人の顔が存在する撮影画像がないか否かがCPU26によって判定され、該判定が肯定された場合にはステップ104へ移行し、否定された場合にはステップ107へ移行する。
ステップ104では、撮影画像群内に人の顔が存在しない場合には、通常表示が行われて一連の表示処理を終了する。なお、通常表示は、操作部50の操作、例えば、矢印キー等のボタン操作に応じた撮影画像を表示部56に表示する等の通常の表示処理を行う。
一方、ステップ107では、顔検出装置46によって顔検出された撮影画像の中から特定の顔角度の撮影画像のみが抽出されてステップ108へ移行する。顔の角度の検出は、例えば、検出した顔領域に対する目、鼻、口等の位置関係や顔領域の傾き等から検出することができる。なお、特定の顔角度の選択は、操作部50の操作によってユーザが選択するようにしてもよいし、撮影画像群に最も多く含まれる角度を自動で選択するようにしてもよい。
ステップ108では、各撮影画像の目領域が顔検出装置46によって検出されてステップ110へ移行する。目領域の検出は、例えば、予め定めたパターンとの比較等によって目領域を検出することができる。
ステップ110では、ステップ108の目領域の検出によって両目が検出された撮影画像が撮影画像群から抽出されてステップ112へ移行する。
ステップ112では、特定画像の左目及び右目が所定位置(例えば、表示部56の画面中央位置等)になるように画像処理部48によって画像処理が行われて表示部56に表示されてステップ114へ移行する。この時、画像処理部48によって撮影画像を適宜拡大するようにしてもよい。なお、ステップ112で表示する特定画像や、特定画像中の表示すべき顔画像は、操作部50の操作によってユーザが指示するようにしてもよいし、撮影日時等に応じて自動選択するようにしてもよい。
ステップ114では、次の顔画像表示指示がされたか否かCPU26によって判定される。該判定は、操作部50の操作等によって次の顔画像表示指示がなされたか否かを判定し、該判定が否定された場合にはステップ116へ移行し、肯定された場合にはステップ118へ移行する。なお、当該ステップは、自動的に次の顔画像があるか否かを判定するようにしてもよい。
ステップ116では、デジタルカメラの他の機能の実行指示が操作部50の操作等によって行われたか否かがCPU26によって判定され、該判定が肯定された場合には一連の処理を終了して他の機能を実施する処理を行い、否定された場合にはステップ114に戻って上述の処理が繰り返される。
一方、ステップ118では、左目及び右目が前回表示した顔画像と同位置になるように次の撮影画像が画像処理部48によって調整されて表示されステップ120へ移行する。なお、次に表示する撮影画像は、撮影日時順で表示するようにしてもよいし、顔の類似度が高い順に表示するようにしてもよい。
ステップ120では、表示終了か否かCPU26によって判定される。該判定は、操作部50に他の機能の実行指示等が操作されたか否かや、電源スイッチがオフされたか否か等を判定し、該判定が否定された場合にはステップ114に戻って上述の処理が繰り返され、肯定された場合には一連の表示処理を終了する。
すなわち、本実施形態では、撮影画像群の中から特定の顔の角度の撮影画像のみを抽出して表示するため、第1実施形態及び第2実施形態よりもさらにモーフィングに近い効果を持たせることができる。
なお、上記の各実施形態では、特定の画像を表示してから、次の撮影画像を表示する際に、特定の撮影画像の目の位置が同位置になるように次の撮影画像を画像処理して表示するため、特定の撮影画像の両目の間隔をd1、次の撮影画像の両目の間隔をd2とすると、顔画像をd1/d2倍に拡大して表示するようにしたが、例えば、図8(A)、(B)のように特定の撮影画像(図8(A))に対して次の撮影画像(図8(B))の顔の垂直方向を回転軸として角度がθ度回転している場合には、第1〜第3実施形態を適用すると、特定の撮影画像(図8(C))に対して次の撮影画像(図8(D))が不自然に拡大されてしまうので、顔の角度を算出すると共に、顔が正面を向いていた場合の両目の幅を類推し、各撮影画像の顔の両目の幅が類推した幅になるように画像処理を行って表示するようにしてもよい。例えば、図8の場合では、次の撮影画像を表示する際に、(d1×cosθ)/d2倍する。これによって、図8(E)、(F)に示すように、不自然に顔の大きさがばらつくことがなくなる。これによって、両目の位置は厳密には合わなくなるが、顔の大きさの変化に比べて両目の幅の変化は微小であるため、見る人の感じる違和感は小さくなる。このとき、顔が回転している撮影画像を表示する際には、斜めに移っている顔の手前側にある目を前の撮影画像の目の位置に合わせるようにしてもよいし、逆側の目の位置に合わせるようにしてもよいし、あるいは両目の中心を合わせるようにしてもよい。また、垂直方向を回転軸とした顔の回転角度の検出は、例えば、顔領域に対する目、鼻、口等の位置バランス等から類推することによって判定することが可能である。
また、上記の各実施形態では、撮影画像群に対して顔画像を検出するようにしたが、これに限るものではなく、各撮影画像毎に顔検出するようにしてもよい。例えば、第1実施形態は、図9に示すフローチャートに示すように表示処理を行うようにしてもよい。
すなわち、ステップ200では、再生画像選択が行われてステップ202へ移行する。再生画像選択は、ユーザの操作部50の操作によって選択するようにしてもよいし、撮影順等に応じて自動的に選択するようにしてもよい。
ステップ202では、顔検出装置46によって顔検出が行われてステップ204へ移行する。例えば、公知の方法を用いて、予め人の肌色に対応する、色差信号(クロマ信号)の範囲を決定しておき、撮像画像情報の各画素の色差信号が、当該範囲内にあるか否かを判定することにより肌色の領域の有無を判定し、撮像画像情報により示される被写体に対する肌色を有する領域の割合が予め定められた大きさ以上であれば、当該肌色を有する領域を肌色領域として抽出する。次いで、抽出した肌色領域内の予め定められた位置範囲内に目、鼻、口、眉などの肌色でないパターンが含まれるか否かを判定し、これらのパターンが含まれている場合に、該肌色領域を顔の領域であるものと判定することができる。なお、撮影時に既に顔検出済みで、画像データにタグ等によって顔情報が記録されている場合には、当該処理を省略するようにしてもよい。
ステップ204では、撮影画像中に検出した顔数nが0より多い(n>0)か否かCPU26によって判定され、該判定が否定された場合にはステップ206へ移行し、肯定された場合にはステップ208へ移行する。
ステップ206では、撮影画像群内に人の顔が存在しない場合には、通常表示が行われて一連の表示処理を終了する。なお、通常表示は、操作部50の操作、例えば、矢印キー等のボタン操作に応じた撮影画像を表示部56に表示する等の通常の表示処理を行う。
一方、ステップ208では、再生する顔画像が選択されてステップ210へ移行する。再生する顔画像の選択は、ユーザが操作部50の操作によって選択するようにしてもよいし、撮影画像の予め定められた位置から自動的に選択するようにしてもよい。
ステップ210では、撮影画像の目領域が顔検出装置46によって検出されてステップ212へ移行する。目領域の検出は、例えば、予め定めたパターンとの比較等によって目領域を検出することができる。
ステップ212では、ステップ210の目領域の位置が顔検出装置46によって検出されてステップ214へ移行する。
ステップ214では、左目及び右目が所定位置(例えば、表示部56の画面中央位置等)になるように画像処理部48によって画像処理が行われて表示部56に表示されてステップ216へ移行する。この時、画像処理部48によって撮影画像を適宜拡大するようにしてもよい。
ステップ216では、顔数nがn−1とされてステップ218へ移行し、顔数n>0か否かがCPU26によって判定され、該判定が肯定された場合にはステップ208へ戻って撮影画像中の表示していない顔がなくなるまで上述の処理が繰り返され、ステップ21の判定が否定された場合にはステップ220へ移行する。
ステップ220では、次の表示する撮影画像があるか否かCPU26によって判定され、該判定が否定された場合にはステップ222へ移行し、肯定された場合には一連の表示処理を終了する。
ステップ222では、表示終了か否かCPU26によって判定される。該判定は、操作部50に他の機能の実行指示等が操作されたか否かや、電源スイッチがオフされたか否か等を判定し、該判定が否定された場合にはステップ200に戻って上述の処理が繰り返され、肯定された場合には一連の表示処理を終了する。
このように表示処理を行うようにしても、目の位置が常に一定のままコマ送りやスライドショーを行うことができる。また、スライドショーなどで、画面の切り替わりにクロスフェード(2つの画像を順次切り替える際に途中でオーバーラップして表示する技術)を用いれば、目の位置を中心として切り換えるため、モーフィング(ある物体から別の物体へと自然に変形する映像)のような効果を得ることができる。
なお、上記の各実施形態は、それぞれ別々に説明したが、これに限るものではなく、適宜組み合わせるようにしてもよい。例えば、それぞれ別々のモードとして、操作部50で各表示モード選択可能なようにしてもよい。
本発明の第1実施形態に係わるデジタルカメラの概略構成を示すブロック図である。 本発明の第1実施形態に係わるデジタルカメラで撮影することによって得られる撮影画像を表示部に表示する際の表示方法について説明するための図である。 本発明の第1実施形態に係わるデジタルカメラで撮影画像を表示する際の処理の一例を示すフローチャートである。 本発明の第2実施形態に係わるデジタルカメラで撮影することによって得られる撮影画像を表示部に表示する際の表示方法について説明するための図である。 本発明の第2実施形態に係わるデジタルカメラで撮影画像を表示する際の処理の一例を示すフローチャートである。 本発明の第3実施形態に係わるデジタルカメラで撮影することによって得られる撮影画像を表示部に表示する際の表示方法について説明するための図である。 本発明の第3実施形態に係わるデジタルカメラで撮影画像を表示する際の処理の一例を示すフローチャートである。 変形例の表示方法を説明するための図である。 変形例の表示処理の一例を示すフローチャートである。
符号の説明
10 デジタルカメラ
26 CPU
44 表示制御部
46 顔検出装置
48 画像処理部
56 表示部

Claims (34)

  1. 複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出手段と、
    目を含む矩形領域の中心位置を算出することによって前記抽出手段によって抽出された顔画像群の各画像の目の位置を算出する算出手段と、
    前記算出手段によって算出された目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理手段と、
    前記画像処理手段によって処理された画像を表示する表示手段と、
    を備えた画像表示装置。
  2. 複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出手段と、
    瞳を検出する瞳検出手段を含み、前記瞳検出手段によって検出された瞳の位置を目の位置として算出することによって前記抽出手段によって抽出された顔画像群の各画像の目の位置を算出し、前記瞳検出手段によって瞳が検出できない場合に、目を含む矩形領域の中心位置を目の位置として算出する算出手段と、
    前記算出手段によって算出された目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理手段と、
    前記画像処理手段によって処理された画像を表示する表示手段と、
    を備えた画像表示装置。
  3. 複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出手段と、
    前記抽出手段によって抽出された顔画像群の各画像の目の位置を算出する算出手段と、
    前記算出手段によって算出された目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理手段と、
    前回表示された画像と顔の類似度が高い順を所定の順序として、前記画像処理手段によって処理された画像を前記所定の順序で表示する表示手段と、
    を備えた画像表示装置。
  4. 複数の画像から顔が含まれている画像を抽出して顔画像群とすると共に、前記顔画像群の中に最も多く含まれる人物、または先頭画像で一番顔面積が大きく写っている人物の何れかを含む画像を抽出する抽出手段と、
    前記抽出手段によって抽出された顔画像群の各画像の目の位置を算出する算出手段と、
    前記算出手段によって算出された目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理手段と、
    前記画像処理手段によって処理された画像を表示する表示手段と、
    を備えた画像表示装置。
  5. 複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出手段と、
    前記抽出手段によって抽出された顔画像群の各画像の目の位置を算出する算出手段と、
    前記算出手段によって算出された目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理手段と、
    前記画像処理手段によって処理された画像を表示する表示手段と、
    を備え、
    前記画像処理手段が、画像中の垂直方向を回転軸とした顔の回転を推定し、推定した両目の距離から正面を向いた場合の両目の距離を推定して、両目の距離が予め定めた目標距離となるように画像処理を行う画像表示装置。
  6. 前記抽出手段は、左右の目を含む顔が含まれている画像を抽出し、前記算出手段は、左右の目の位置を算出することを特徴とする請求項1〜5の何れか1項に記載の画像表示装置。
  7. 前記算出手段は、目を含む矩形領域の中心位置を算出することを特徴とする請求項3〜5の何れか1項に記載の画像表示装置。
  8. 前記算出手段は、瞳を検出する瞳検出手段を含み、前記瞳検出手段によって検出された瞳の位置を目の位置として算出することを特徴とする請求項3〜5の何れか1項に記載の画像表示装置。
  9. 前記算出手段は、前記瞳検出手段によって瞳が検出できない場合に、目を含む矩形領域の中心位置を目の位置として算出することを特徴とする請求項8に記載の画像表示装置。
  10. 前記表示手段に表示する画像を選択する選択手段を更に備えることを特徴とする請求項1〜9の何れか1項に記載の画像表示装置。
  11. 前記表示手段は、所定の順序で画像を表示することを特徴とする請求項1、請求項2、請求項4、または請求項5に記載の画像表示装置。
  12. 前記表示手段は、前記所定の順序として、前回表示された画像と顔の類似度が高い順に表示することを特徴とする請求項11に記載の画像表示装置。
  13. 前記抽出手段は、特定の人物を含む画像を更に抽出することを特徴とする請求項1、請求項2、請求項3、又は請求項5に記載の画像表示装置。
  14. 前記抽出手段は、前記顔画像群の中に最も多く含まれる人物、または先頭画像で一番顔面積が大きく写っている人物の何れかを前記特定の人物として選択して抽出することを特徴とする請求項13に記載の画像表示装置。
  15. 前記抽出手段は、特定の角度の顔を含む画像を更に抽出することを特徴とする請求項1、請求項2、請求項3、又は請求項5に記載の画像表示装置。
  16. 前記画像処理手段は、画像中の垂直方向を回転軸とした顔の回転を推定し、推定した両目の距離から正面を向いた場合の両目の距離を推定して、両目の距離が予め定めた目標距離となるように画像処理を行うことを特徴とする請求項1〜4の何れか1項に記載の画像表示装置。
  17. 前記画像処理手段は、画像の拡大、縮小、移動、及び回転を含む画像処理を行うことを特徴とする請求項1〜16の何れか1項に記載の画像表示装置。
  18. 複数の画像から左右の目を含む顔が含まれている画像を抽出して顔画像群とする抽出ステップと、
    目を含む矩形領域の中心位置を算出することによって前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出する算出ステップと、
    前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、
    前記画像処理ステップで処理した画像を表示する表示ステップと、
    を含む画像表示方法。
  19. 複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出ステップと、
    瞳を検出して瞳の位置を目の位置として算出することによって前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出し、瞳が検出できない場合に、目を含む矩形領域の中心位置を目の位置として算出する算出ステップと、
    前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、
    前記画像処理ステップで処理した画像を表示する表示ステップと、
    を含む画像表示方法。
  20. 複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出ステップと、
    前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出する算出ステップと、
    前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、
    前回表示された画像と顔の類似度が高い順を所定の順序として、前記画像処理ステップで処理した画像を前記所定の順序で表示する表示ステップと、
    を含む画像表示方法。
  21. 複数の画像から顔が含まれている画像を抽出して顔画像群とすると共に、前記顔画像群の中に最も多く含まれる人物、または先頭画像で一番顔面積が大きく写っている人物の何れかを含む画像を抽出する抽出ステップと、
    前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出する算出ステップと、
    前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、
    前記画像処理ステップで処理した画像を表示する表示ステップと、
    を含む画像表示方法。
  22. 複数の画像から顔が含まれている画像を抽出して顔画像群とする抽出ステップと、
    前記抽出ステップで抽出した顔画像群の各画像の目の位置を算出する算出ステップと、
    前記算出ステップで算出した目の位置が全ての画像において所定位置になるように、前記顔画像群の各画像に対して画像処理を行う画像処理ステップと、
    前記画像処理ステップで処理した画像を表示する表示ステップと、
    を含み、
    前記画像処理ステップが、画像中の垂直方向を回転軸とした顔の回転を推定し、推定した両目の距離から正面を向いた場合の両目の距離を推定して、両目の距離が予め定めた目標距離となるように画像処理を行う画像表示方法。
  23. 前記抽出ステップは、左右の目を含む顔が含まれている画像を抽出し、前記算出ステップは、左右の目の位置を算出することを特徴とする請求項18〜22の何れか1項に記載の画像表示方法。
  24. 前記算出ステップは、目を含む矩形領域の中心位置を算出することを特徴とする請求項20〜22の何れか1項に記載の画像表示方法。
  25. 前記算出ステップは、瞳を検出して瞳の位置を目の位置として算出することを特徴とする請求項20〜22の何れか1項に記載の画像表示方法。
  26. 前記算出ステップは、瞳が検出できない場合に、目を含む矩形領域の中心位置を目の位置として算出することを特徴とする請求項25に記載の画像表示方法。
  27. 前記表示ステップで表示する画像を選択する選択ステップを更に含むことを特徴とする請求項18〜28の何れか1項に記載の画像表示方法。
  28. 前記表示ステップは、所定の順序で画像を表示することを特徴とする請求項18、請求項19、請求項21、または請求項22に記載の画像表示方法。
  29. 前記表示ステップは、前記所定の順序として、前回表示された画像と顔の類似度が高い順に表示することを特徴とする請求項28に記載の画像表示方法。
  30. 前記抽出ステップは、特定の人物を含む画像を更に抽出することを特徴とする請求項18、請求項19、請求項20、又は請求項22に記載の画像表示方法。
  31. 前記抽出ステップは、前記顔画像群の中に最も多く含まれる人物、または先頭画像で一番顔面積が大きく写っている人物の何れかを前記特定の人物として選択して抽出することを特徴とする請求項30に記載の画像表示方法。
  32. 前記抽出ステップは、特定の角度の顔を含む画像を更に抽出することを特徴とする請求項18、請求項19、請求項20、又は請求項22に記載の画像表示方法。
  33. 前記画像処理ステップは、画像中の垂直方向を回転軸とした顔の回転を推定し、推定した両目の距離から正面を向いた場合の両目の距離を推定して、両目の距離が予め定めた目標距離となるように画像処理を行うことを特徴とする請求項18〜21の何れか1項に記載の画像表示方法。
  34. 前記画像処理ステップは、画像の拡大、縮小、移動、及び回転を含む画像処理を行うことを特徴とする請求項19〜33の何れか1項に記載の画像表示方法。
JP2007251632A 2007-09-27 2007-09-27 画像表示装置、及び画像表示方法 Active JP4663699B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007251632A JP4663699B2 (ja) 2007-09-27 2007-09-27 画像表示装置、及び画像表示方法
US12/205,494 US8290276B2 (en) 2007-09-27 2008-09-05 Image display device, image display method and storage medium storing image display program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007251632A JP4663699B2 (ja) 2007-09-27 2007-09-27 画像表示装置、及び画像表示方法

Publications (3)

Publication Number Publication Date
JP2009086703A JP2009086703A (ja) 2009-04-23
JP2009086703A5 JP2009086703A5 (ja) 2010-10-14
JP4663699B2 true JP4663699B2 (ja) 2011-04-06

Family

ID=40508464

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007251632A Active JP4663699B2 (ja) 2007-09-27 2007-09-27 画像表示装置、及び画像表示方法

Country Status (2)

Country Link
US (1) US8290276B2 (ja)
JP (1) JP4663699B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4560805B2 (ja) * 2008-02-29 2010-10-13 カシオ計算機株式会社 撮像装置及びそのプログラム
JP2011181996A (ja) * 2010-02-26 2011-09-15 Casio Computer Co Ltd 表示順序決定装置、画像表示装置及びプログラム
CN101986346B (zh) * 2010-11-01 2012-08-08 华为终端有限公司 人脸图像处理方法及装置
JP5625844B2 (ja) * 2010-12-09 2014-11-19 ソニー株式会社 撮像方法、および撮像システム
US8744119B2 (en) * 2011-01-12 2014-06-03 Gary S. Shuster Graphic data alteration to enhance online privacy
JP5751898B2 (ja) * 2011-04-05 2015-07-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム及び記憶媒体
JP2012244526A (ja) * 2011-05-23 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
KR20140082454A (ko) * 2012-12-24 2014-07-02 삼성전자주식회사 카메라 장치 및 상기 카메라 장치의 촬영 방법
CN105320919A (zh) * 2014-07-28 2016-02-10 中兴通讯股份有限公司 人眼定位方法及装置
CN105578020B (zh) * 2014-10-14 2020-04-03 深圳富泰宏精密工业有限公司 自拍***及方法
CN111263063A (zh) * 2020-02-17 2020-06-09 深圳传音控股股份有限公司 拍摄图像的方法、装置及设备
CN112040316B (zh) * 2020-08-26 2022-05-20 深圳创维-Rgb电子有限公司 视频图像显示方法、装置、多媒体设备以及存储介质
TWI768913B (zh) * 2021-05-20 2022-06-21 國立中正大學 眼睛中心定位方法及其定位系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156775A (ja) * 1998-11-19 2000-06-06 Toshiba Corp 撮影機と画像生成方法
JP2005244571A (ja) * 2004-02-26 2005-09-08 Fuji Photo Film Co Ltd トリミング処理方法および装置並びにプログラム
JP2006293782A (ja) * 2005-04-12 2006-10-26 Fuji Photo Film Co Ltd 画像処理装置及び画像処理プログラム
JP2007174589A (ja) * 2005-12-26 2007-07-05 Hitachi Kokusai Electric Inc サムネイル作成プログラム
JP2008305342A (ja) * 2007-06-11 2008-12-18 Sony Corp 画像処理装置、画像表示装置、撮像装置、これらの処理方法およびプログラム

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714665B1 (en) * 1994-09-02 2004-03-30 Sarnoff Corporation Fully automated iris recognition system utilizing wide and narrow fields of view
JPH08138024A (ja) 1994-11-04 1996-05-31 Konica Corp 画像の向き判定方法
AU3039297A (en) * 1996-06-06 1998-01-05 British Telecommunications Public Limited Company Personal identification
JP2918499B2 (ja) * 1996-09-17 1999-07-12 株式会社エイ・ティ・アール人間情報通信研究所 顔画像情報変換方法および顔画像情報変換装置
US6044168A (en) * 1996-11-25 2000-03-28 Texas Instruments Incorporated Model based faced coding and decoding using feature detection and eigenface coding
JP3436473B2 (ja) * 1997-06-20 2003-08-11 シャープ株式会社 画像処理装置
US6064752A (en) * 1997-11-04 2000-05-16 Sensar, Inc. Method and apparatus for positioning subjects before a single camera
US6631208B1 (en) * 1998-05-29 2003-10-07 Fuji Photo Film Co., Ltd. Image processing method
US6134339A (en) * 1998-09-17 2000-10-17 Eastman Kodak Company Method and apparatus for determining the position of eyes and for correcting eye-defects in a captured frame
US6853854B1 (en) * 1998-09-18 2005-02-08 Q Step Technologies, Llc Noninvasive measurement system
JP2000292852A (ja) 1999-04-02 2000-10-20 Toshiba Corp 顔画像撮影装置
JP3768735B2 (ja) * 1999-07-07 2006-04-19 三菱電機株式会社 顔画像処理装置
US7106887B2 (en) * 2000-04-13 2006-09-12 Fuji Photo Film Co., Ltd. Image processing method using conditions corresponding to an identified person
JP4469476B2 (ja) * 2000-08-09 2010-05-26 パナソニック株式会社 眼位置検出方法および眼位置検出装置
JP3983469B2 (ja) * 2000-11-14 2007-09-26 富士フイルム株式会社 画像処理装置、方法及び記録媒体
US6920237B2 (en) * 2000-12-19 2005-07-19 Eastman Kodak Company Digital image processing method and computer program product for detecting human irises in an image
EP1229734A1 (en) * 2001-01-31 2002-08-07 GRETAG IMAGING Trading AG Automatic colour defect correction
US7092554B2 (en) * 2001-05-01 2006-08-15 Eastman Kodak Company Method for detecting eye and mouth positions in a digital image
US7197165B2 (en) * 2002-02-04 2007-03-27 Canon Kabushiki Kaisha Eye tracking using image data
WO2004049242A2 (en) * 2002-11-26 2004-06-10 Digimarc Id Systems Systems and methods for managing and detecting fraud in image databases used with identification documents
JP4162503B2 (ja) * 2003-01-31 2008-10-08 富士通株式会社 眼の状態判定装置、眼の状態判定方法及びコンピュータプログラム
CN1599406A (zh) * 2003-09-09 2005-03-23 富士胶片株式会社 图像处理方法和装置及其程序
US7660482B2 (en) * 2004-06-23 2010-02-09 Seiko Epson Corporation Method and apparatus for converting a photo to a caricature image
GB0426523D0 (en) * 2004-12-02 2005-01-05 British Telecomm Video processing
CN101120379B (zh) * 2005-02-17 2010-12-08 富士通株式会社 图像处理方法和图像处理***
US8131013B2 (en) * 2005-12-28 2012-03-06 Kao Corporation Method and detecting system for positions of facial parts
US8265392B2 (en) * 2006-02-07 2012-09-11 Qualcomm Incorporated Inter-mode region-of-interest video object segmentation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000156775A (ja) * 1998-11-19 2000-06-06 Toshiba Corp 撮影機と画像生成方法
JP2005244571A (ja) * 2004-02-26 2005-09-08 Fuji Photo Film Co Ltd トリミング処理方法および装置並びにプログラム
JP2006293782A (ja) * 2005-04-12 2006-10-26 Fuji Photo Film Co Ltd 画像処理装置及び画像処理プログラム
JP2007174589A (ja) * 2005-12-26 2007-07-05 Hitachi Kokusai Electric Inc サムネイル作成プログラム
JP2008305342A (ja) * 2007-06-11 2008-12-18 Sony Corp 画像処理装置、画像表示装置、撮像装置、これらの処理方法およびプログラム

Also Published As

Publication number Publication date
US20090087097A1 (en) 2009-04-02
JP2009086703A (ja) 2009-04-23
US8290276B2 (en) 2012-10-16

Similar Documents

Publication Publication Date Title
JP4663699B2 (ja) 画像表示装置、及び画像表示方法
US8385607B2 (en) Imaging apparatus, image processing apparatus, image processing method and computer program
KR101795601B1 (ko) 영상 처리 장치, 영상 처리 방법, 및 컴퓨터 판독가능 저장매체
US8587658B2 (en) Imaging device, image display device, and program with intruding object detection
US7995106B2 (en) Imaging apparatus with human extraction and voice analysis and control method thereof
TWI406564B (zh) 攝影裝置及攝影方法
US8159561B2 (en) Digital camera with feature extraction device
JP4852652B2 (ja) 電子ズーム装置、電子ズーム方法、及びプログラム
US8786749B2 (en) Digital photographing apparatus for displaying an icon corresponding to a subject feature and method of controlling the same
JP2009514266A (ja) 画像処理装置及び該装置の画像処理方法、電子カメラ並びに画像処理プログラム
JP2007013768A (ja) 撮像装置
JP2010508571A (ja) 顔検出と肌の色合いの情報を用いたデジタル画像処理
JP5050465B2 (ja) 撮像装置、撮影制御方法、およびプログラム
JP2005086516A (ja) 撮像装置、印刷装置、画像処理装置およびプログラム
JP3971240B2 (ja) アドバイス機能付きカメラ
JP2007251429A (ja) 動画撮影装置及びズーム調整方法
JP2005020446A (ja) 画像撮影装置及びプログラム
JP2010199720A (ja) デジタルカメラ
JP5142825B2 (ja) 画像表示装置及び画像表示方法
JP2008245093A (ja) デジタルカメラ、デジタルカメラの制御方法及び制御プログラム
JP2009089220A (ja) 撮像装置
JP2011135527A (ja) デジタルカメラ
EP2200275B1 (en) Method and apparatus of displaying portrait on a display
JP4632417B2 (ja) 撮像装置、及びその制御方法
JP2011193066A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100830

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20100830

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20100914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110105

R150 Certificate of patent or registration of utility model

Ref document number: 4663699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250