JP2013074461A - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2013074461A
JP2013074461A JP2011211967A JP2011211967A JP2013074461A JP 2013074461 A JP2013074461 A JP 2013074461A JP 2011211967 A JP2011211967 A JP 2011211967A JP 2011211967 A JP2011211967 A JP 2011211967A JP 2013074461 A JP2013074461 A JP 2013074461A
Authority
JP
Japan
Prior art keywords
similarity
identification information
unit
image
similarities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011211967A
Other languages
English (en)
Other versions
JP2013074461A5 (ja
Inventor
Shigeto Suzuki
茂人 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2011211967A priority Critical patent/JP2013074461A/ja
Priority to US13/615,338 priority patent/US8989504B2/en
Priority to CN2012103639535A priority patent/CN103037157A/zh
Publication of JP2013074461A publication Critical patent/JP2013074461A/ja
Publication of JP2013074461A5 publication Critical patent/JP2013074461A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00336Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing pattern recognition, e.g. of a face or a geographic feature
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Collating Specific Patterns (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】経時的変化を伴う個体であっても、当該特定の個体の識別を適正に行う。
【解決手段】撮像装置100であって、画像に含まれる個体の情報と登録されている識別用情報との類似度を算出する類似度算出部53と、類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する情報登録部8と、複数の類似度の経時的変化に基づいて、新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する類似度判定部56と、一の類似度が相対的に低下したと判定された場合に、登録されている前記識別用情報を更新すべき旨を報知する表示部7と、を備えている。
【選択図】図1

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。
従来、予め登録されている登録データと新たに撮像された顔領域に対応する特徴点のデータとに基づいて、顔領域が認識対象であるか否かを判定する技術が開示されている(例えば、特許文献1参照)。
特開2007−282119号公報
しかしながら、上記特許文献1の技術にあっては、登録されている登録データが被写体の子供時代の顔等の場合、成長により被写体の顔が変化してしまい、登録データを基準とすると同一の人物として認識されない虞があった。
そこで、本発明の課題は、経時的変化を伴う個体であっても、当該特定の個体の識別を適正に行うことができる画像処理装置、画像処理方法及びプログラムを提供することである。
上記課題を解決するため、本発明の画像処理装置は、
特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段と、画像を取得する取得手段と、前記取得手段により取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する算出手段と、前記算出手段により前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する記憶手段と、前記記憶手段に記憶される複数の類似度の経時的変化に基づいて、前記算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段と、前記第1判定手段により前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知する報知手段と、を備えたことを特徴としている。
また、本発明の画像処理方法は、
特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を備える画像処理装置を用いた画像処理方法であって、画像を取得する処理と、取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する処理と、前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する処理と、記憶される複数の類似度の経時的変化に基づいて、新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する処理と、前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知する処理と、を含むことを特徴としている。
また、本発明のプログラムは、
特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を備える画像処理装置のコンピュータを、画像を取得する取得手段、前記取得手段により取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する算出手段、前記算出手段により前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶させる記憶制御手段、前記記憶制御手段により記憶される複数の類似度の経時的変化に基づいて、前記算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段、前記第1判定手段により前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知させる報知制御手段、として機能させることを特徴としている。
本発明によれば、経時的変化を伴う個体であっても、当該特定の個体の識別を適正に行うことができる。
本発明を適用した一実施形態の撮像装置の概略構成を示すブロック図である。 図1の撮像装置に記憶されている識別用情報管理テーブルの一例を模式的に示す図である。 図1の撮像装置に記憶されている類似度履歴テーブルの一例を模式的に示す図である。 図1の撮像装置による識別用情報更新処理に係る動作の一例を示すフローチャートである。 図4の識別用情報更新処理の続きを示すフローチャートである。 図4の識別用情報更新処理を説明するための図である。 図4の識別用情報更新処理に係る類似度の経時的変化を示す図である。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の撮像装置100の概略構成を示すブロック図である。
本実施形態の撮像装置100は、取得された画像に含まれる個体の情報と特定の個体を識別するための識別用情報との類似度を算出し、類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する。また、撮像装置100は、複数の類似度の経時的変化に基づいて、新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定し、一の類似度が相対的に低下したと判定された場合に、登録されている識別用情報を更新すべき旨を報知する。
具体的には、図1に示すように、撮像装置100は、撮像部1と、撮像制御部2と、画像データ生成部3と、メモリ4と、画像処理部5と、表示制御部6と、表示部7と、情報登録部8と、記録媒体制御部9と、操作入力部10と、中央制御部11とを備えている。
撮像部1は、撮像手段として、被写体(例えば、ヒトの顔等)を撮像してフレーム画像を生成する。即ち、撮像部1は、図示は省略するが、例えば、ズームレンズやフォーカスレンズ等の複数のレンズから構成されたレンズ部と、このレンズ部を通過する光の量を調整する絞りと、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部の各種レンズを通過した光学像を二次元の画像信号に変換する電子撮像部を備えている。
また、撮像部1は、図示は省略するが、被写体の撮像の際に、ズームレンズを光軸方向に移動させるズーム駆動部、フォーカスレンズを光軸方向に移動させる合焦駆動部等を備えていても良い。
撮像制御部2は、撮像部1による被写体の撮像を制御する。即ち、撮像制御部2は、図示は省略するが、タイミング発生器、ドライバなどを備えている。そして、撮像制御部2は、タイミング発生器、ドライバにより電子撮像部を走査駆動して、所定周期毎に光学像を電子撮像部により二次元の画像信号に変換させ、当該電子撮像部の撮像領域から1画面分ずつフレーム画像を読み出して画像データ生成部3に出力させる。
なお、撮像制御部2は、レンズ部のフォーカスレンズに代えて、電子撮像部を光軸方向に移動させてレンズ部の合焦位置を調整するようにしても良い。
また、撮像制御部2は、AF(自動合焦処理)に加えて、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体を撮像する際の条件の調整制御を行っても良い。
画像データ生成部3は、電子撮像部から転送されたフレーム画像のアナログ値の信号に対してRGBの各色成分毎に適宜ゲイン調整した後に、サンプルホールド回路(図示略)でサンプルホールドしてA/D変換器(図示略)でデジタルデータに変換し、カラープロセス回路(図示略)で画素補間処理及びγ補正処理を含むカラープロセス処理を行った後、デジタル値の輝度信号Y及び色差信号Cb,Cr(YUVデータ)を生成する。
カラープロセス回路から出力される輝度信号Y及び色差信号Cb,Crは、図示しないDMAコントローラを介して、バッファメモリとして使用されるメモリ4にDMA転送される。
メモリ4は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、画像処理部5や中央制御部11等によって処理されるデータ等を一時記憶する。
画像処理部5は、画像取得部51と、個体検出部52と、類似度算出部53と、期間判定部54と、閾値判定部55と、類似度判定部56と、第1生成部57と、第2生成部58とを具備している。
なお、画像処理部5の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
画像取得部51は、識別用情報更新処理(後述)の処理対象となる画像を取得する。
即ち、画像取得部51は、識別用情報更新処理の処理対象の画像として、撮像部1により撮像された画像の画像データを取得する。具体的には、画像取得部51は、撮像部1による被写体の撮像によって画像データ生成部3により逐次生成された各フレーム画像の画像データ(YUVデータ)を、メモリ4から逐次取得する。
ここで、画像取得部51は、画像を取得する取得手段を構成している。
個体検出部52は、処理対象の画像に含まれる個体を検出する。
即ち、個体検出部52は、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の画像認識技術を利用して、画像取得部51により取得された各フレーム画像からヒトや動物等の被写体(個体)が含まれる特定領域(例えば、顔領域S(図6(a)参照)等)を検出する。具体的には、個体検出部52は、例えば、各フレーム画像の画像データに対して所定の顔検出処理を施して、当該フレーム画像からヒトや動物等の個体の顔領域Sを検出する。
なお、顔検出処理やエッジ検出処理や特徴抽出処理は、公知の技術であるので、ここでは詳細な説明を省略する。
ここで、個体検出部52は、画像取得部51により取得された画像に含まれる個体を検出する検出手段を構成している。
類似度算出部53は、処理対象の画像に含まれる個体の情報と識別用情報との類似度を算出する。
即ち、類似度算出部53は、画像取得部51により取得されたフレーム画像から個体検出部52により検出された個体の特定領域(例えば、顔領域S)の情報と情報登録部8の識別用情報管理テーブルT1(図2(a)等参照)に登録されている識別用情報との類似度を算出する。具体的には、類似度算出部53は、例えば、識別用情報管理テーブルT1から各特定の個体毎の識別用情報を取得して、当該識別用情報の各々と個体検出部52により検出された個体の顔領域Sとを照合して、所定の演算式に従って類似度を百分率で算出する。そして、類似度算出部53は、算出された複数の類似度の中で、所定の閾値(例えば、60%等)以上で、且つ、最も良い類似度を、個体検出部52により検出された個体の情報と識別用情報との類似度として算出する。
この結果、個体検出部52により検出された個体は、類似度算出部53により算出された最も良い類似度の値を示す識別用情報(例えば、例えば、「識別用情報A1」等)に対応する特定の個体(例えば、「Aさん」等)として識別される。
ここで、類似度算出部53は、画像取得部51により取得された画像に含まれる個体の情報と情報登録部8に登録されている識別用情報との類似度を算出する算出手段を構成している。
期間判定部54は、類似度算出部53により新たに算出された一の類似度に係る記録用画像P(図6(a)参照)が識別用情報の登録日時から所定期間内に撮像された画像であるか否かを判定する。
即ち、期間判定部54は、類似度算出部53により新たに算出された一の類似度と関連付けられている所定の日時情報(例えば、撮像日時情報)に基づいて、当該一の類似度に係る記録用画像Pが識別用情報の登録日時から所定期間(例えば、2年間等)内に撮像された画像であるか否かを判定する。具体的には、期間判定部54は、類似度算出部53により新たに一の類似度が算出された場合に、情報登録部8の類似度履歴テーブルT2(図3参照)を参照して、当該一の類似度と対応付けて記憶されている記録用画像Pの撮像日時に係る撮像日時情報を取得する。また、期間判定部54は、情報登録部8の識別用情報管理テーブルT1を参照して、当該一の類似度に対応する特定の個体(例えば、「Aさん」)に係る識別用情報(例えば、「識別用情報A1」等)の登録日時に係る登録日時情報を取得する。そして、期間判定部54は、記録用画像Pの撮像日時と識別用情報の登録日時とを比較して、当該記録用画像Pが識別用情報の登録日時から所定期間内に撮像されたか否かを判定する。
なお、期間判定部54は、類似度履歴テーブルT2を利用して撮像日時情報を取得するようにしたが、撮像日時情報の取得方法は一例であってこれに限られるものではなく、例えば、類似度算出部53により類似度が算出された画像のExif情報を参照して撮像日時情報を取得するようにしても良い。
ここで、期間判定部54は、類似度算出部53により新たに算出された一の類似度と関連付けられている所定の日時情報に基づいて、当該一の類似度に係る画像が識別用情報の登録日時から所定期間内に撮像された画像であるか否かを判定する第3判定手段を構成している。
閾値判定部55は、類似度が所定の判定値以下であるか否かを判定する。
即ち、閾値判定部55は、類似度算出部53により新たに算出された一の類似度が所定の判定値以下であるか否かを判定する。具体的には、期間判定部54により記録用画像Pが識別用情報の登録日時から所定期間内に撮像されたと判定された場合に、閾値判定部55は、当該記録用画像Pに係る最新の類似度が所定の判定値(例えば、70%等)以下であるか否かを判定する。
なお、所定の判定値として例示する「70%」は、一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、所定の判定値は、ユーザによる操作入力部10の所定操作に基づいてユーザ所望の値を設定可能に構成されても良いし、識別用情報管理テーブルT1に登録されている登録日時を基準として、当該登録日時からの経過期間に応じて自動的に逐次減少させるようにしても良い。
ここで、閾値判定部55は、類似度算出部53により算出された一の類似度が所定の判定値以下であるか否かを判定する第2判定手段を構成している。
類似度判定部56は、類似度が相対的に低下したか否かを判定する。
即ち、類似度判定部56は、情報登録部8の類似度履歴テーブルT2に記憶される複数の類似度の経時的変化に基づいて、類似度算出部53により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する。具体的には、類似度判定部56は、類似度算出部53により新たに一の類似度が算出された場合に、類似度履歴テーブルT2を参照して、当該一の類似度及び他の所定数の類似度の各々と対応付けて記憶されている画像の撮像日時に係る撮像日時情報をそれぞれ取得する。そして、類似度判定部56は、取得された複数の撮像日時情報に基づいて、複数の類似度の経時的変化を特定した後、当該経時的変化に基づいて、一の類似度が他の所定数の類似度を基準として相対的に低下したか否かを判定する。
ここで、複数の類似度の経時的変化とは、当該複数の類似度の撮像日時の経過に従った相対的な変化の傾向のことであり、撮像タイミングが所定数(例えば、一つ)前の少なくとも一の類似度と比較判定されることで特定される。また、複数の類似度の経時的変化は、例えば、複数の類似度が撮像日時の経過に従って相対的に低下(減少)する傾向となったり、相対的に増加する傾向となる。
そして、類似度判定部56は、複数の類似度が撮像日時の経過に従って相対的に低下する傾向にあるか否かを判定する。
具体的には、類似度判定部56は、例えば、複数の類似度のうち、類似度算出部53により算出された一の類似度及び当該一の類似度に対して撮像日時が直近の所定数(例えば、3つ等)の類似度が、各々の類似度の撮像日時が一つ前の類似度よりも低下したか否かに応じて、複数の類似度が相対的に低下する傾向にあるか否かを判定する。即ち、類似度判定部56は、各々の類似度が一つ前の類似度よりも低下したと判定された場合に、複数の類似度が相対的に低下する傾向にあると判定し、その一方で、類似度判定部56は、各々の類似度が一つ前の類似度よりも低下していないと判定された場合に、複数の類似度が相対的に低下する傾向にないと判定する。
また、類似度判定部56は、例えば、類似度算出部53により算出された一の類似度が当該一の類似度に対して撮像日時が一つ前の類似度よりも低下し、且つ、当該一の類似度に対して撮像日時が直近の所定数(例えば、5つ等)の類似度のうち、特定数(例えば、3つ等)の類似度が各々の類似度の撮像日時が一つ前の類似度よりも低下したか否かに応じて、複数の類似度が相対的に低下する傾向にあるか否かを判定する。即ち、類似度判定部56は、一の類似度が一つ前の類似度よりも低下し、且つ、特定数の類似度が各々の類似度の一つ前の類似度よりも低下したと判定された場合に、複数の類似度が相対的に低下する傾向にあると判定し、その一方で、類似度判定部56は、一の類似度が一つ前の類似度よりも低下していない、又は、特定数の類似度が各々の類似度の一つ前の類似度よりも低下していないと判定された場合に、複数の類似度が相対的に低下する傾向にないと判定する。
なお、上記した複数の類似度が相対的に低下する傾向であるか否かの判定手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。
その後、類似度判定部56は、複数の類似度が撮像日時の経過に従って相対的に低下する傾向にあるか否かの判定結果に応じて、一の類似度が当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する。
即ち、類似度判定部56は、複数の類似度が相対的に低下する傾向にあると判定された場合に、一の類似度が当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したと判定し、その一方で、複数の類似度が相対的に低下する傾向にないと判定された場合に、一の類似度が当該一の類似度以外の他の所定数の類似度を基準として相対的に低下していないと判定する。
また、類似度判定部56は、期間判定部54により一の類似度に係る画像が所定期間(例えば、2年間等)内に撮像された画像でないと判定された場合に、一の類似度が当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定しても良い。
さらに、類似度判定部56は、閾値判定部55により一の類似度が所定の判定値(例えば、70%等)以下であると判定された場合に、一の類似度が当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定しても良い。
なお、類似度判定部56は、類似度算出部53により新たに算出された一の類似度が類似度履歴テーブルT2に記憶される前に、当該一の類似度を取得して、相対的に低下したか否かを判定しても良い。
このように、類似度判定部56は、情報登録部8の類似度履歴テーブルT2に記憶される複数の類似度の経時的変化に基づいて、類似度算出部53により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段を構成している。
第1生成部57は、識別用情報をユーザによる操作入力部10の所定操作に基づいて更新する場合に、特定の個体を識別するための識別用情報を新たに生成する。
即ち、第1生成部57は、表示部7に複数の類似度及び特定の個体の画像が対応付けて表示されている状態で、ユーザによる操作入力部10の所定操作に基づいて指定された特定の個体の画像を基準として、識別用情報(例えば、「Aさん」の「識別用情報A1」等)を新たに生成する。具体的には、第1生成部57は、ユーザによる操作入力部10の所定操作に基づいて特定の個体の画像が指定されると、情報登録部8の類似度履歴テーブルT2を参照して、当該特定の個体の画像と対応する特定領域データ(例えば、顔領域データAn等)を取得して、当該特定領域データを識別用情報(例えば、「識別用情報A2」等)として特定する。
なお、特定の個体の画像は、ユーザによる操作入力部10の所定操作に基づいて複数指定されても良く、かかる場合には、第1生成部57は、指定された複数の特定の個体の画像に対応する特定領域データを複数取得して、これら複数の特定領域データに基づいて、一の特定領域データを特定しても良い。即ち、第1生成部57は、取得された複数の特定領域データの中で、類似度が代表値(例えば、中央値や平均値や最頻値等)を示す何れか一の特定領域データを特定しても良いし、複数の特定領域データの重み付けを所定条件に従って変更して併合することで一の特定領域データを生成しても良い。
ここで、第1生成部57は、表示部7に対応付けて表示されている複数の類似度及び特定の個体の画像の中で、ユーザによる操作入力部10の所定操作に基づいて指定された特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成する第1生成手段を構成している。
第2生成部58は、識別用情報を自動的に更新する場合に、特定の個体を識別するための識別用情報を新たに生成する。
即ち、第2生成部58は、類似度判定部56により一の類似度が相対的に低下したと判定された場合に、当該一の類似度に係る画像に含まれる特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報(例えば、「Aさん」の「識別用情報A1」等)を新たに生成する。具体的には、第2生成部58は、情報登録部8の類似度履歴テーブルT2を参照して、当該一の類似度と対応付けて記憶されている特定領域データ(例えば、顔領域データAn等)を取得して、当該特定領域データを識別用情報(例えば、「識別用情報A2」等)として特定する。
このとき、第2生成部58は、一の類似度と対応付けられている特定領域データの他に、当該一の類似度に近い(即ち、例えば、差が5%以内程度等の)類似度と対応付けられている特定領域データを所定数取得して、これら複数の特定領域データに基づいて、一の特定領域データを特定しても良い。即ち、第2生成部58は、取得された複数の特定領域データの中で、類似度が代表値(例えば、中央値や平均値や最頻値等)を示す何れか一の特定領域データを特定しても良いし、複数の特定領域データの重み付けを所定条件に従って変更して併合することで一の特定領域データを生成しても良い。
ここで、第2生成部58は、識別用情報を自動的に更新する場合、類似度判定部56により相対的に低下したと判定された一の類似度に係る画像に含まれる特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成する第2生成手段を構成している。
表示制御部6は、メモリ4に一時的に記憶されている表示用の画像データを読み出して表示部7に表示させる制御を行う。
具体的には、表示制御部6は、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、中央制御部11の制御下にてメモリ4から読み出されてVRAM(図示略)に記憶されている輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから定期的に読み出して、これらのデータを元にビデオ信号を発生して表示部7に出力する。
表示部7は、例えば、液晶表示パネルであり、表示制御部6からのビデオ信号に基づいて電子撮像部により撮像された画像などを表示画面に表示する。具体的には、表示部7は、静止画撮像モードや動画撮像モードにて、撮像部1及び撮像制御部2による被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示部7は、静止画として記録される画像(レックビュー画像)を表示したり、動画として記録中の画像を表示する。
また、表示部7は、報知手段として、類似度判定部56により一の類似度が相対的に低下したと判定された場合に、情報登録部8の識別用情報管理テーブルT1に登録されている識別用情報を更新すべき旨を報知する。
具体的には、表示制御部6は、識別用情報の更新を指示する所定の更新指示画面G1(図6(b)参照)に係る画面データを生成して、当該画面データを表示部7に出力して所定の更新指示画面G1を表示させる。その後、ユーザによる操作入力部10の所定操作に基づいて識別用情報の更新が指示されると、表示制御部6は、識別用情報をユーザによる操作入力部10の所定操作に基づいて更新するか、或いは、自動的に更新するかを指定するための所定の更新動作指定画面G2(図6(c)参照)に係る画面データを生成して、当該画面データを表示部7に出力して所定の更新動作指定画面G2を表示させる。
また、表示部7に所定の更新動作指定画面G2が表示された状態で、識別用情報をユーザによる操作入力部10の所定操作に基づいて更新すること(手動更新)が指定されると、表示制御部6は、表示制御手段として、情報登録部8の類似度履歴テーブルT2に記憶されている複数の類似度と当該類似度の各々に係る画像に含まれる特定の個体の画像とを対応付けて表示部7に表示させる。具体的には、表示制御部6は、類似度履歴テーブルT2を参照して、更新対象となる特定の個体(例えば、「Aさん」等)について、所定数の類似度と当該類似度の各々に対応する特定領域データに係る特定の個体の画像(例えば、顔画像等)とを対応付けて所定の順序(例えば、撮像日時順等)で表示部7に表示させる。
なお、表示制御部6は、類似度履歴テーブルT2に記憶されている所定数の類似度及び特定の個体の画像の全てを表示対象としても良いし、現在の日時から所定期間(例えば、3ヶ月等)内に撮像された画像に係るもののみを表示対象としても良い。
なお、識別用情報を更新すべき旨の報知の態様として、表示部7による所定の更新指示画面G1の表示を例示したが、一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、識別用情報を更新すべき旨の報知の態様は、人の五感、特に、視覚、聴覚、触覚等によって当該識別用情報の更新タイミングを把握、認識させることができる方法であれば如何なる態様であっても良く、例えば、識別用情報を更新すべき旨を音(音声など)や振動により報知するようにしても良い。
情報登録部8は、識別用情報管理テーブルT1(図2(a)及び図2(c)参照)と、類似度履歴テーブルT2(図3参照)を記憶している。
識別用情報管理テーブルT1は、特定の個体毎に、当該個体を識別するための識別用情報を管理するためのテーブルである。具体的には、識別用情報管理テーブルT1は、特定の個体の識別用情報と、この識別用情報の当該識別用情報管理テーブルT1への登録日時に係る登録日時情報とを対応付けて記憶している。
例えば、図2(a)に示すように、識別用情報管理テーブルT1は、特定の個体の名称としての「Aさん」と、識別用情報としての「識別用情報A1」(図2(b)参照)と、登録日時情報としての「2008/12/24」とが対応付けられ、また、特定の個体の名称としての「Bさん」と、識別用情報としての「識別用情報B」と、登録日時情報としての「2009/7/7」とが対応付けられ、また、特定の個体の名称としての「Cさん」と、識別用情報としての「識別用情報C」と、登録日時情報としての「2010/5/5」とが対応付けられている。
識別用情報は、例えば、ヒトや動物等の個体の顔を識別するための特徴情報を含んでいる。特徴情報としては、例えば、目、鼻、口等に相当する顔パーツの情報や所定角度ごとに撮影されたヒトや動物等の顔画像(図2(b)参照)が挙げられるが、ヒトや動物等の個体の顔を識別するための情報であればこれらに限定されることなく如何なる情報であってもよい。
ここで、情報登録部8は、特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を構成している。
また、情報登録部8は、第1生成部57や第2生成部58により識別用情報が新たに生成された場合には、識別用情報管理テーブルT1に登録済みの識別用情報(例えば、「Aさん」の「識別用情報A1」等)を新たに生成された識別用情報(例えば、「識別用情報A2」等)により更新する(図2(c)参照)。このとき、情報登録部8は、第1生成部57や第2生成部58により新たに識別用情報が生成された日時を登録日時として、当該識別用情報と対応付けて識別用情報管理テーブルT1に登録する。
即ち、情報登録部8は、例えば、図2(c)に示すように、識別用情報管理テーブルT1の特定の個体の名称としての「Aさん」に対応する識別用情報と登録日時の各カラムを、新たに生成された識別用情報としての「識別用情報A2」(図2(d)参照)と、登録日時情報としての「20011/6/1」により更新する。
なお、登録日時情報に係る登録日時としては、例えば、特定の個体が含まれる画像が撮像された日時を利用しても良い。
また、上記した識別用情報管理テーブルT1は、一例であってこれに限られるものではなく、当該テーブルに記憶される各種情報の種類等は適宜任意に変更可能である。
類似度履歴テーブルT2は、特定の個体の特定領域と識別用情報との類似度の履歴を管理するためのテーブルである。具体的には、類似度履歴テーブルT2は、類似度算出部53により算出された何れかの特定の個体の特定領域(例えば、顔領域等)に係る類似度と、所定の日時情報とを関連付けて記憶している。また、類似度履歴テーブルT2は、識別用情報管理テーブルT1に識別用情報が登録されている全ての特定の個体について、各特定の個体が含まれる画像の撮像日時に係る撮像日時情報、類似度算出部53により算出された類似度及び類似度の判定対象となった特定領域に係る特定領域データを時系列で一括して記憶している。
例えば、図3に示すように、類似度履歴テーブルT2は、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2008/12/24」と、類似度100(%)と、特定領域データとしての「顔領域データA1」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2009/1/1」と、類似度95(%)と、特定領域データとしての「顔領域データA2」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2009/2/3」と、類似度65(%)と、特定領域データとしての「顔領域データA3」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2009/3/23」と、類似度93(%)と、特定領域データとしての「顔領域データA4」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2009/5/5」と、類似度94(%)と、特定領域データとしての「顔領域データA5」とが対応付けられ、また、特定の個体の名称としての「Bさん」と、撮像日時情報としての「2009/7/7」と、類似度100(%)と、特定領域データとしての「顔領域データB1」とが対応付けられている。
また、類似度履歴テーブルT2は、一部分のデータを省略するが、上記と同様に、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2011/1/3」と、類似度80(%)と、特定領域データとしての「顔領域データAn−5」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2011/3/3」と、類似度73(%)と、特定領域データとしての「顔領域データAn−4」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2011/3/5」と、類似度74(%)と、特定領域データとしての「顔領域データAn−3」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2011/5/5」と、類似度72(%)と、特定領域データとしての「顔領域データAn−2」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2011/5/15」と、類似度71(%)と、特定領域データとしての「顔領域データAn−1」とが対応付けられ、また、特定の個体の名称としての「Aさん」と、撮像日時情報としての「2011/6/1」と、類似度68(%)と、特定領域データとしての「顔領域データAn」とが対応付けられている(n:自然数)。
なお、上記の類似度履歴テーブルT2にあっては、類似度を特定の個体が含まれる画像の撮像日時と関連付けて記憶しているが、類似度の当該類似度履歴テーブルT2へ登録された日時を利用しても良い。
また、上記した類似度履歴テーブルT2は、一例であってこれに限られるものではなく、当該テーブルに記憶される各種情報の種類等は適宜任意に変更可能である。
さらに、類似度履歴テーブルT2を利用して、類似度と所定の日時情報(撮像日時情報)とを対応付けて記憶するようにしたが、必ずしも類似度履歴テーブルT2を利用する必要はなく、類似度と所定の日時情報とを関連付けて逐次記憶可能な構成であれば如何なる構成であっても良い。
ここで、情報登録部8は、類似度算出部53により類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する記憶手段を構成している。
記録媒体制御部9は、記録媒体Mが着脱自在に構成され、装着された記録媒体Mからのデータの読み出しや記録媒体Mに対するデータの書き込みを制御する。
即ち、記録媒体制御部9は、画像処理部5の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式等)で符号化された記録用の画像データを記録媒体Mに記録させる。
なお、記録媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
操作入力部10は、当該撮像装置100の所定操作を行うためのものである。具体的には、操作入力部10は、被写体の撮像指示に係るシャッタボタン、撮像モードや機能等の選択指示に係る選択決定ボタン、ズーム量の調整指示に係るズームボタン等(何れも図示略)の操作部を備え、当該操作部の各ボタンの操作に応じて所定の操作信号を中央制御部11に出力する。
中央制御部11は、撮像装置100の各部を制御するものである。具体的には、中央制御部11は、図示は省略するが、CPU(Central Processing Unit)等を備え、撮像装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
次に、撮像装置100による識別用情報更新処理について、図4〜図6を参照して説明する。
図4及び図5は、識別用情報更新処理に係る動作の一例を示すフローチャートである。また、図6(a)は、識別用情報更新処理に係る記録用画像Pの一例を模式的に示す図である。また、図6(b)及び図6(c)は、識別用情報更新処理に係る表示画面の一例を模式的に示す図である。図7は、特定の個体としての「Aさん」に係る識別用情報との類似度の経時的変化を示す図である。
識別用情報更新処理は、ユーザによる操作入力部10の選択決定ボタンの所定操作に基づいて、メニュー画面に表示された複数の動作モードの中から識別用情報更新モードが選択指示された場合に、中央制御部11の制御下にて当該撮像装置100の各部により実行される処理である。
なお、以下の識別用情報更新処理は、現在の日時が2011年6月1日であるとして説明する。即ち、識別用情報更新処理の実行前の状態にて、識別用情報管理テーブルT1には、特定の個体「Aさん」の識別用情報として、2008年12月24日に登録された「識別用情報A1」が記憶され、また、特定の個体「Bさん」の識別用情報として、2009年7月7日に登録された「識別用情報B」が記憶され、また、特定の個体「Cさん」の識別用情報として、2010年5月5日に登録された「識別用情報C」が記憶されているものとする。
図4に示すように、先ず、撮像制御部2は、撮像部1による被写体の撮像を開始させる(ステップS1)。即ち、撮像制御部2は、レンズ部を通過した光学像を所定周期毎に電子撮像部により二次元の画像信号(RGB画像データ)に変換させ、画像データ生成部3は、電子撮像部から出力されて入力される二次元の画像信号を所定周期毎にデジタルの画像信号に変換して各フレーム画像のYUVデータを生成する。画像データ生成部3により生成された各フレーム画像のYUVデータは、順次メモリ4に出力され、当該メモリ4に格納される。
次に、画像処理部5の画像取得部51は、メモリ4に格納されている各フレーム画像の画像データの中から、処理対象となるフレーム画像の画像データを逐次取得する(ステップS2)。続けて、個体検出部52は、画像取得部51により取得されたフレーム画像の画像データに対して所定の顔検出処理を施して、当該フレーム画像からヒトや動物等の個体の顔領域Sを検出する(ステップS3;図6(a)参照)。
そして、個体検出部52は、顔検出処理の結果に応じて、顔領域Sの検出に成功したか否かを判定する(ステップS4)。ここで、顔領域Sの検出に成功していないと判定されると(ステップS4;NO)、画像処理部5は、処理をステップS2に戻し、それ以降の処理を実行する。
ステップS4にて、顔領域Sの検出に成功したと判定されると(ステップS4;YES)、類似度算出部53は、識別用情報管理テーブルT1の識別用情報を利用して、個体検出部52により検出された個体との類似度を算出する(ステップS5)。具体的には、類似度算出部53は、識別用情報管理テーブルT1から各特定の個体毎の識別用情報を取得し、当該識別用情報の各々と個体検出部52により検出された個体の顔領域Sとを照合して、所定の演算式に従って類似度を百分率で算出する。そして、類似度算出部53は、算出された複数の類似度の中で、所定の閾値(例えば、60%等)以上で、且つ、最も良い類似度を、個体検出部52により検出された個体と識別用情報との類似度として算出する。
当該識別用情報更新処理では、例えば、「Aさん」の「識別用情報A1」との類似度が最も良い値を示し、特定の個体として「Aさん」が識別されたものとする。
続けて、類似度算出部53は、類似度の算出結果に応じて、特定の個体の識別に成功したか否かを判定する(ステップS6)。具体的には、類似度算出部53は、算出された複数の類似度のうち、少なくとも一の類似度が所定の閾値(例えば、60%等)以上となっているか否かに応じて、特定の個体の識別に成功したか否かを判定する。
ステップS6にて、特定の個体の識別に成功したと判定されると(ステップS6;YES)、ユーザによる操作入力部10のシャッタボタンの所定操作に基づいて、撮像制御部2は、撮像部1に被写体の記録用画像Pを撮像させる(ステップS7)。
具体的には、撮像制御部2は、検出済の顔領域S(顔検出枠W;図6(a)等参照)をAFエリアやAEエリアとする自動合焦処理(AF)や自動露出処理(AE)等の被写体の撮像条件の調整制御を行って、被写体の光学像を電子撮像部に撮像させる。画像データ生成部3は、電子撮像部から転送された被写体の記録用画像PのYUVデータを生成する。画像データ生成部3により生成された記録用画像PのYUVデータは、画像処理部5に出力されて、画像処理部5の符号化部により所定の圧縮形式(例えば、JPEG形式等)で符号化された後、記録媒体制御部9の制御下にて、記録媒体Mに記録される。
一方、ステップS6にて、特定の個体の識別に成功していないと判定されると(ステップS6;NO)、中央制御部11のCPUは、ステップS7〜S21の各処理をスキップして、処理をステップS22(図5参照)に移行する。
なお、ステップS22の処理の詳細については後述する。
ステップS7における被写体の記録用画像Pの撮像後、情報登録部8は、当該記録用画像Pの撮像日時に係る撮像日時情報(例えば、「2011/6/1」等)と、類似度算出部53により算出された最新の類似度(例えば、「類似度68(%)」等)と特定領域データ(例えば、「顔領域データAn」等)とを対応付けて類似度履歴テーブルT2に記憶する(ステップS8)。
次に、期間判定部54は、記録用画像Pが識別用情報の登録日時から所定期間内に撮像されたか否かを判定する(ステップS9)。具体的には、期間判定部54は、類似度履歴テーブルT2から、最新の類似度と対応付けて記憶されている記録用画像Pの撮像日時に係る撮像日時情報を取得するとともに、識別用情報管理テーブルT1から、最新の類似度に対応する特定の個体の識別用情報(例えば、「Aさん」の「識別用情報A1」等)の登録日時に係る登録日時情報(例えば、「2008/12/24」等)を取得する。そして、期間判定部54は、記録用画像Pの撮像日時と識別用情報の登録日時とを比較して、当該記録用画像Pが識別用情報の登録日時から所定期間(例えば、2年間等)内に撮像されたか否かを判定する。
ステップS9にて、記録用画像Pが識別用情報の登録日時から所定期間内に撮像されたと判定されると(ステップS9;YES)、中央制御部11のCPUは、ステップS10〜S21の各処理をスキップして、処理をステップS22(図5参照;詳細後述)に移行する。
例えば、図7に示すように、類似度が所定の判定値以下の65(%)に低下した場合、撮像日時「2009/2/3」が識別用情報の登録日時「2008/12/24」から所定期間経過していないため、特定の個体の成長により見た目が経時的に変化したのではなく、例えば、髪型の変更等の何らかの要因により例外的に類似度が低下し、現状では当該登録済みの識別用情報を更新する必要がないこととなる。
一方、ステップS9にて、記録用画像Pが識別用情報の登録日時から所定期間内に撮像されていないと判定されると(ステップS9;NO)、閾値判定部55は、類似度算出部53により算出された最新の類似度が所定の判定値(例えば、70%等)以下であるか否かを判定する(ステップS10)。
ここで、最新の類似度が所定の判定値以下であると判定されると(ステップS10;YES)、図5に示すように、類似度判定部56は、類似度履歴テーブルT2を参照して、複数の類似度の経時的変化を特定する(ステップS11)。具体的には、類似度判定部56は、類似度履歴テーブルT2から、最新の類似度及び当該最新の類似度に対して撮像日時が直近の他の所定数の類似度の各々と対応付けられている画像の撮像日時に係る撮像日時情報を取得する。そして、類似度判定部56は、取得された撮像日時情報に基づいて、複数の類似度について、撮像タイミングが所定数(例えば、一つ)前の類似度と比較判定することで、複数の類似度の撮像日時の経過に従った相対的な変化の傾向を複数の類似度の経時的変化として特定する。
一方、ステップS10にて、最新の類似度が所定の判定値以下でないと判定されると(ステップS10;NO)、中央制御部11のCPUは、ステップS11〜S21の各処理をスキップして、処理をステップS22(図5参照;詳細後述)に移行する。
図5に示すように、ステップS11における複数の類似度の経時的変化の特定後、類似度判定部56は、当該複数の類似度の経時的変化に基づいて、複数の類似度が撮像日時の経過に従って相対的に低下する傾向にあるか否かを判定する(ステップS12)。即ち、類似度判定部56は、最新の類似度が当該最新の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する上で、複数の類似度が撮像日時の経過に従って相対的に低下する傾向にあるか否かを判定する。
具体的には、類似度判定部56は、類似度履歴テーブルT2を参照して、例えば、特定の個体としての「Aさん」に係る複数の類似度のうち、最新の類似度(例えば、類似度68(%)等)及び当該最新の類似度に対して撮像日時が直近の所定数(例えば、3つ等)の類似度(例えば、類似度71、72、74(%)等)が、各々の類似度の撮像日時が一つ前の類似度よりも低下したか否かに応じて、複数の類似度が相対的に低下する傾向にあるか否かを判定する(図7参照)。
ステップS12にて、複数の類似度が撮像日時の経過に従って相対的に低下する傾向にあると判定されると(ステップS12;YES)、表示制御部6は、識別用情報の更新を指示する所定の更新指示画面G1(図6(b)参照)に係る画面データを生成して、当該画面データを表示部7に出力して所定の更新指示画面G1を表示させる(ステップS13)。例えば、表示制御部6は、更新指示画面G1内の所定位置に、更新対象となる特定の個体の識別用情報の更新を指示する旨のメッセージ(例えば、「Aさんの識別用情報を更新して下さい。」等)と、ユーザにより選択可能な更新を指示するボタン(例えば、「する」等)及び未更新を指示するボタン(例えば、「しない」等)とが配置された画面データを生成して、当該画面データを表示部7に出力する。
一方、ステップS12にて、複数の類似度が撮像日時の経過に従って相対的に低下する傾向にないと判定されると(ステップS12;NO)、中央制御部11のCPUは、ステップS13〜S21の各処理をスキップして、処理をステップS22(詳細後述)に移行する。
次に、中央制御部11のCPUは、ユーザによる操作入力部10の所定操作に基づいて、識別用情報の更新指示が入力されたか否かを判定する(ステップS14)。具体的には、中央制御部11のCPUは、ユーザによる操作入力部10の所定操作に基づいて、更新指示画面G1内の更新を指示するボタン(例えば、「する」等)が選択され、操作入力部10から出力された当該選択に係る指示信号が入力されるか否かに応じて、識別用情報の更新指示が入力されたか否かを判定する。
ステップS14にて、識別用情報の更新指示が入力されたと判定されると(ステップS14;YES)、表示制御部6は、識別用情報の更新動作の内容を指定するための所定の更新動作指定画面G2(図6(c)参照)に係る画面データを生成して、当該画面データを表示部7に出力して所定の更新動作指定画面G2を表示させる(ステップS15)。例えば、表示制御部6は、更新動作指定画面G2内の所定位置に、識別用情報の自動更新を指示するボタン(例えば、「自動更新」等)と、識別用情報のユーザによる操作入力部10の所定操作に基づいた手動更新を指示するボタン(例えば、「手動更新」等)とが配置された画面データを生成して、当該画面データを表示部7に出力する。
一方、ステップS14にて、識別用情報の更新指示が入力されていないと判定されると(ステップS14;NO)、中央制御部11のCPUは、ステップS15〜S21の各処理をスキップして、処理をステップS22(詳細後述)に移行する。
ステップS15における更新動作指定画面G2の表示後、中央制御部11のCPUは、ユーザによる操作入力部10の所定操作に基づいて指定された更新動作の内容に応じて処理を分岐させる(ステップS16)。具体的には、中央制御部11のCPUは、ユーザにより識別用情報の自動更新が指示された場合(ステップS16;自動更新)、処理をステップS17に移行させ、一方、ユーザにより識別用情報の手動更新が指示された場合(ステップS16;手動更新)、処理をステップS19に移行させる。
<自動更新>
ステップS16にて、更新動作指定画面G2内の自動更新を指示するボタン(例えば、「自動更新」等)がユーザによる操作入力部10の所定操作に基づいて選択され、操作入力部10から出力された選択指示信号が中央制御部11のCPUに入力されると、当該CPUは、ユーザにより識別用情報の自動更新が指示されたと判断する(ステップS16;自動更新)。
すると、中央制御部11のCPUは、画像処理部5の第2生成部58に、最新の類似度に係る画像に含まれる特定の個体の特定領域データを基準として、識別用情報を新たに生成させる(ステップS17)。具体的には、第2生成部58は、情報登録部8の類似度履歴テーブルT2から、特定の個体(例えば、「Aさん」等)に係る最新の類似度と対応付けて記憶されている特定領域データ(例えば、顔領域データAn等)を取得して、当該特定領域データを識別用情報(例えば、「識別用情報A2」等)として特定する。
その後、中央制御部11のCPUは、処理をステップS21に移行させる(詳細後述)。
<手動更新>
ステップS16にて、更新動作指定画面G2内の手動更新を指示するボタン(例えば、「手動更新」等)がユーザによる操作入力部10の所定操作に基づいて選択され、操作入力部10から出力された選択指示信号が中央制御部11のCPUに入力されると、当該CPUは、ユーザにより識別用情報の手動更新が指示されたと判断する(ステップS16;手動更新)。
すると、中央制御部11のCPUは、表示制御部6に情報登録部8の類似度履歴テーブルT2を参照させて、表示制御部6は、更新対象となる特定の個体(例えば、「Aさん」等)について、当該類似度履歴テーブルT2に記憶されている所定数の類似度と特定領域データに係る特定の個体の画像とを対応付けて表示部7に表示させる(ステップS18)。
次に、中央制御部11のCPUは、表示部7に表示されている所定数の特定の個体の画像の中で、ユーザによる操作入力部10の所定操作に基づいて何れか一の特定の個体の画像を指定する指示が入力されたか否かを判定する(ステップS19)。
ここで、何れか一の特定の個体の画像を指定する指示が入力されていないと判定されると(ステップS19;NO)、中央制御部11のCPUは、処理をステップS18に戻し、ステップS19にて、何れか一の特定の個体の画像を指定する指示が入力されたと判定(ステップS19;YES)されるまで、それ以降の処理を逐次実行する。
そして、ステップS19にて、何れか一の特定の個体の画像を指定する指示が入力されたと判定されると(ステップS19;YES)、中央制御部11のCPUは、画像処理部5の第1生成部57に、ユーザにより指定された特定の個体の画像に対応する特定領域データを基準として、識別用情報を新たに生成させる(ステップS20)。具体的には、第1生成部57は、情報登録部8の類似度履歴テーブルT2から、指定された特定の個体の画像と対応する特定領域データ(例えば、顔領域データAn等)を取得して、当該特定領域データを識別用情報(例えば、「識別用情報A2」等)として特定する。
その後、中央制御部11のCPUは、処理をステップS21に移行させる(詳細後述)。
ステップS21にて、情報登録部8は、識別用情報管理テーブルT1に登録済みの識別用情報を、第1生成部57や第2生成部58により新たに生成された識別用情報により更新する(ステップS21)。
具体的には、情報登録部8は、第1生成部57や第2生成部58により新たに識別用情報(例えば、「識別用情報A2」等)が生成された日時を登録日時として、識別用情報管理テーブルT1に登録されている識別用情報(例えば、「Aさん」の「識別用情報A1」等)を新たに生成された識別用情報により更新する(図2(c)参照)。
次に、中央制御部11のCPUは、ユーザによる操作入力部10の所定操作に基づいて、識別用情報更新処理の終了指示が入力されたか否かを判定する(ステップS22)。
ここで、終了指示が入力されていないと判定されると(ステップS22;NO)、中央制御部11のCPUは、処理をステップS2(図4参照)に戻し、それ以降の処理を逐次実行する。
一方、ステップS22にて、終了指示が入力されたと判定されると(ステップS22;YES)、中央制御部11のCPUは、識別用情報更新処理を終了させる。
以上のように、本実施形態の撮像装置100によれば、撮像部1により撮像された画像から検出された個体の情報と特定の個体(例えば、ヒトや動物等の個体の顔)を識別するための識別用情報(例えば、「識別用情報A1」等)との類似度を算出し、類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶していき、複数の類似度の経時的変化に基づいて、新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したと判定された場合に、登録されている識別用情報を更新すべき旨を報知するので、成長により見た目が経時的に変化する特定の個体を今後適正に識別することができなくなる虞があることをユーザに認識させることができる。そして、登録済みの識別用情報を新たな識別用情報(例えば、「識別用情報A2」等)で更新することで、今後は新たな識別用情報を利用して当該特定の個体の識別を適正に行うことができる。
具体的には、表示部7は、識別用情報をユーザによる操作入力部10の所定操作に基づいて更新するか、或いは、自動的に更新するかを指定するための所定の指定画面を表示することで、識別用情報の更新動作の内容をユーザが操作入力部10の所定操作に基づいて選択可能となり、当該ユーザ所望の更新動作を行わせることができる。
ここで、識別用情報をユーザによる操作入力部10の所定操作に基づいて更新する場合、複数の類似度と当該類似度の各々に係る画像に含まれる特定の個体の画像とを対応付けて表示部7に表示して、ユーザによる操作部の所定操作に基づいて指定された特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報(例えば、「識別用情報A2」等)を新たに生成するので、ユーザ所望の特定の個体の画像を基準として新たな識別用情報を生成して、当該新たな識別用情報により登録済みの識別用情報(例えば、「識別用情報A1」等)を更新することができる。
また、識別用情報を自動的に更新する場合、他の所定数の類似度を基準として相対的に低下したと判定された一の類似度に係る画像に含まれる特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成するので、登録されている識別用情報と最も類似せず、現在の特定の個体に最も類似している最新の類似度に係る特定の個体の画像を基準として新たな識別用情報(例えば、「識別用情報A2」等)を生成して、当該新たな識別用情報により登録済みの識別用情報(例えば、「識別用情報A1」等)を更新することができる。
さらに、撮像された画像の撮像日時に係る撮像日時情報に基づいて複数の類似度の経時的変化を特定し、当該複数の類似度の経時的変化に基づいて、新たに算出された一の類似度が相対的に低下したか否かを適正に判定することができる。具体的には、複数の類似度の経時的変化として、当該複数の類似度の撮像日時の経過に従った相対的な変化の傾向を特定し、当該複数の類似度が相対的に低下する傾向にあるか否かに応じて一の類似度が相対的に低下したか否かを適正に判定することができる。
このとき、複数の類似度のうち、新たに算出された一の類似度及び当該一の類似度に対して撮像日時が直近の所定数の類似度が、各々の類似度の一つ前の類似度よりも低下したか否かや、或いは、新たに算出された一の類似度が当該一の類似度に対して撮像日時が一つ前の類似度よりも低下し、且つ、当該一の類似度に対して撮像日時が直近の所定数の類似度のうち、特定数の類似度が各々の類似度の一つ前の類似度よりも低下したか否か等に応じて、複数の類似度が相対的に低下する傾向にあるか否かを判定することができる。
従って、見た目が経時的に変化する特定の個体の経時的変化を考慮して、登録済みの識別用情報の更新タイミング、即ち、登録済みの識別用情報を更新すべき旨の報知タイミングを適正に特定することができる。
また、新たに算出された一の類似度が所定の判定値以下であると判定された場合に、一の類似度が他の所定数の類似度を基準として相対的に低下したか否かを判定するので、登録されている識別用情報との類似度が十分に高い場合には、当該登録済みの識別用情報を更新する必要がなく、登録済みの識別用情報を更新すべき旨の報知タイミングの特定のために行われる、一の類似度が相対的に低下したか否かの判定処理の回数を減少させることができる。
さらに、新たに算出された一の類似度に係る画像が識別用情報の登録日時から所定期間内に撮像された画像でないと判定された場合に、一の類似度が他の所定数の類似度を基準として相対的に低下したか否かを判定するので、識別用情報の登録日時から所定期間内に撮像された画像では、特定の個体の成長により見た目が経時的に変化したのではなく、例えば、髪型の変更等の何らかの要因により例外的に類似度が低下し、登録済みの識別用情報との類似度は未だ十分に高いと考えられる。このため、当該登録済みの識別用情報を更新する必要がないと想定して、登録済みの識別用情報を更新すべき旨の報知タイミングの特定のために行われる、一の類似度が相対的に低下したか否かの判定処理の回数を減少させることができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態の識別用情報更新処理にあっては、期間判定部54による記録用画像Pが識別用情報の登録日時から所定期間内に撮像されたか否かの判定後に、閾値判定部55による当該記録用画像Pに係る一の類似度が所定の判定値以下であるか否かの判定を行うようにしたが、これらの判定処理の順序は一例であってこれに限られるものではなく、順序を逆、即ち、閾値判定部55による判定処理の後に期間判定部54による判定処理を行うようにしても良い。
また、上記実施形態にあっては、新たに算出された一の類似度が所定の判定値以下であるか否かを判定するようにしたが、当該判定を行うか否かは適宜任意に変更可能である。即ち、撮像装置100は、必ずしも閾値判定部55を具備する必要はなく、一の類似度が他の所定数の類似度を基準として相対的に低下したか否かを判定可能であれば如何なる構成であっても良い。
同様に、新たに算出された一の類似度に係る画像が識別用情報の登録日時から所定期間内に撮像された画像であるか否かを判定するようにしたが、当該判定を行うか否かは適宜任意に変更可能である。即ち、撮像装置100は、必ずしも期間判定部54を具備する必要はなく、一の類似度が他の所定数の類似度を基準として相対的に低下したか否かを判定可能であれば如何なる構成であっても良い。
また、上記実施形態にあっては、新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したと判定された場合に、登録されている識別用情報を更新すべき旨を報知するようにしたが、当該報知を行うことなく、特定の個体を識別するための識別用情報を新たに生成して、登録済みの識別用情報を自動的に更新するようにしても良い。
さらに、撮像装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。また、画像処理装置として、撮像装置100を例示したが、これに限られるものではなく、本発明に係る画像処理を実行可能なものであれば如何なる構成であっても良い。例えば、画像処理装置とは独立して構成された撮像装置(図示略)を玄関等の出入り口や通路等に配置して、この撮像装置により生成された画像データを画像処理装置が取得して、当該画像処理装置が、画像データに基づいて通行者(特定の人物)の識別を行うような防犯システム(監視システム)に適用しても良い。
加えて、上記実施形態にあっては、取得手段、算出手段、記憶手段、第1判定手段、報知手段としての機能を、中央制御部11の制御下にて、画像処理部5、表示部7及び情報登録部8が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部11によって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、算出処理ルーチン、記憶制御処理ルーチン、第1判定処理ルーチン、報知制御処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部11のCPUを、画像を取得する取得手段として機能させるようにしても良い。また、算出処理ルーチンにより中央制御部11のCPUを、取得手段により取得された画像に含まれる個体の情報と登録手段に登録されている識別用情報との類似度を算出する算出手段として機能させるようにしても良い。また、記憶制御処理ルーチンにより中央制御部11のCPUを、算出手段により類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶させる記憶制御手段として機能させるようにしても良い。また、第1判定処理ルーチンにより中央制御部11のCPUを、記憶制御手段により記憶される複数の類似度の経時的変化に基づいて、算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段として機能させるようにしても良い。また、報知制御処理ルーチンにより中央制御部11のCPUを、第1判定手段により一の類似度が相対的に低下したと判定された場合に、登録手段に登録されている識別用情報を更新すべき旨を報知させる報知制御手段として機能させるようにしても良い。
これにより、例えば、買い換えや交換等された新しい撮像装置100に対して、上記のプログラムや情報登録部8に登録されているテーブルT1、T2等を書き換えるだけで、即ち、各種のデータや機能を引き継ぐことで、上記実施形態と同等の機能を実現することができる。
同様に、第2判定手段、第3判定手段、表示制御手段、第1生成手段、第2生成手段、検出手段についても、中央制御部11のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段と、
画像を取得する取得手段と、
前記取得手段により取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する算出手段と、
前記算出手段により前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する記憶手段と、
前記記憶手段に記憶される複数の類似度の経時的変化に基づいて、前記算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段と、
前記第1判定手段により前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知する報知手段と、
を備えたことを特徴とする画像処理装置。
<請求項2>
前記記憶手段は、前記画像に係る前記類似度と当該画像の撮像日時に係る撮像日時情報とを対応付けて記憶し、
前記第1判定手段は、更に、
前記撮像日時情報に基づいて前記複数の類似度の経時的変化を特定し、当該複数の類似度の経時的変化に基づいて、前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項1に記載の画像処理装置。
<請求項3>
前記第1判定手段は、更に、
前記複数の類似度の経時的変化として、当該複数の類似度の前記撮像日時の経過に従った相対的な変化の傾向を特定し、当該複数の類似度が相対的に低下する傾向にあるか否かに応じて前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項2に記載の画像処理装置。
<請求項4>
前記第1判定手段は、更に、
前記複数の類似度のうち、前記算出手段により算出された前記一の類似度及び当該一の類似度に対して前記撮像日時が直近の所定数の類似度が、各々の類似度の一つ前の類似度よりも低下したか否かに応じて、前記複数の類似度が相対的に低下する傾向にあるか否かを判定することを特徴とする請求項3に記載の画像処理装置。
<請求項5>
前記第1判定手段は、更に、
前記算出手段により算出された前記一の類似度が当該一の類似度に対して前記撮像日時が一つ前の類似度よりも低下し、且つ、当該一の類似度に対して前記撮像日時が直近の所定数の類似度のうち、特定数の類似度が各々の類似度の一つ前の類似度よりも低下したか否かに応じて、前記複数の類似度が相対的に低下する傾向にあるか否かを判定することを特徴とする請求項3に記載の画像処理装置。
<請求項6>
前記算出手段により算出された前記一の類似度が所定の判定値以下であるか否かを判定する第2判定手段を更に備え、
前記第1判定手段は、
前記第2判定手段により前記一の類似度が所定の判定値以下であると判定された場合に、前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
<請求項7>
前記算出手段により新たに算出された一の類似度と関連付けられている前記所定の日時情報に基づいて、当該一の類似度に係る画像が前記識別用情報の登録日時から所定期間内に撮像された画像であるか否かを判定する第3判定手段を更に備え、
前記第1判定手段は、
前記第3判定手段により前記画像が前記所定期間内に撮像された画像でないと判定された場合に、前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。
<請求項8>
前記報知手段は、
前記識別用情報をユーザによる操作部の所定操作に基づいて更新するか、或いは、自動的に更新するかを指定するための所定の指定画面を表示する表示手段を有することを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
<請求項9>
前記識別用情報をユーザによる操作部の所定操作に基づいて更新する場合、前記記憶手段に記憶されている複数の類似度と当該類似度の各々に係る画像に含まれる特定の個体の画像とを対応付けて表示手段に表示させる表示制御手段と、
前記表示手段に対応付けて表示されている前記複数の類似度及び特定の個体の画像の中で、ユーザによる操作部の所定操作に基づいて指定された前記特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成する第1生成手段とを更に備え、
前記登録手段は、
前記第1生成手段による前記識別用情報の生成日時を前記登録日時として、当該識別用情報と対応付けて登録することを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
<請求項10>
前記識別用情報を自動的に更新する場合、前記第1判定手段により相対的に低下したと判定された前記一の類似度に係る画像に含まれる特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成する第2生成手段を更に備え、
前記登録手段は、
前記第2生成手段による前記識別用情報の生成日時を前記登録日時として、当該識別用情報と対応付けて登録することを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
<請求項11>
前記取得手段により取得された画像に含まれる個体を検出する検出手段を更に備え、
前記算出手段は、
前記検出手段により前記画像から検出された個体と前記識別用情報との類似度を算出することを特徴とする請求項1〜10の何れか一項に記載の画像処理装置。
<請求項12>
前記特定の個体は、ヒト及び動物のうち、少なくとも一方の各個体の顔であることを特徴とする請求項1〜11の何れか一項に記載の画像処理装置。
<請求項13>
被写体を撮像する撮像手段を更に備え、
前記取得手段は、
前記撮像手段により撮像された画像を取得することを特徴とする請求項1〜12の何れか一項に記載の画像処理装置。
<請求項14>
特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を備える画像処理装置を用いた画像処理方法であって、
画像を取得する処理と、
取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する処理と、
前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する処理と、
記憶される複数の類似度の経時的変化に基づいて、新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する処理と、
前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知する処理と、
を含むことを特徴とする画像処理方法。
<請求項15>
特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を備える画像処理装置のコンピュータを、
画像を取得する取得手段、
前記取得手段により取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する算出手段、
前記算出手段により前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶させる記憶制御手段、
前記記憶制御手段により記憶される複数の類似度の経時的変化に基づいて、前記算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段、
前記第1判定手段により前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知させる報知制御手段、
として機能させることを特徴とするプログラム。
100 撮像装置
1 撮像部
2 撮像制御部
5 画像処理部
51 画像取得部
52 個体検出部
53 類似度算出部
54 期間判定部
55 閾値判定部
56 類似度判定部
57 第1生成部
58 第2生成部
6 表示制御部
7 表示部
8 情報登録部
T1 識別用情報管理テーブル
T2 類似度履歴テーブル

Claims (15)

  1. 特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段と、
    画像を取得する取得手段と、
    前記取得手段により取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する算出手段と、
    前記算出手段により前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する記憶手段と、
    前記記憶手段に記憶される複数の類似度の経時的変化に基づいて、前記算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段と、
    前記第1判定手段により前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知する報知手段と、
    を備えたことを特徴とする画像処理装置。
  2. 前記記憶手段は、前記画像に係る前記類似度と当該画像の撮像日時に係る撮像日時情報とを対応付けて記憶し、
    前記第1判定手段は、更に、
    前記撮像日時情報に基づいて前記複数の類似度の経時的変化を特定し、当該複数の類似度の経時的変化に基づいて、前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記第1判定手段は、更に、
    前記複数の類似度の経時的変化として、当該複数の類似度の前記撮像日時の経過に従った相対的な変化の傾向を特定し、当該複数の類似度が相対的に低下する傾向にあるか否かに応じて前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項2に記載の画像処理装置。
  4. 前記第1判定手段は、更に、
    前記複数の類似度のうち、前記算出手段により算出された前記一の類似度及び当該一の類似度に対して前記撮像日時が直近の所定数の類似度が、各々の類似度の一つ前の類似度よりも低下したか否かに応じて、前記複数の類似度が相対的に低下する傾向にあるか否かを判定することを特徴とする請求項3に記載の画像処理装置。
  5. 前記第1判定手段は、更に、
    前記算出手段により算出された前記一の類似度が当該一の類似度に対して前記撮像日時が一つ前の類似度よりも低下し、且つ、当該一の類似度に対して前記撮像日時が直近の所定数の類似度のうち、特定数の類似度が各々の類似度の一つ前の類似度よりも低下したか否かに応じて、前記複数の類似度が相対的に低下する傾向にあるか否かを判定することを特徴とする請求項3に記載の画像処理装置。
  6. 前記算出手段により算出された前記一の類似度が所定の判定値以下であるか否かを判定する第2判定手段を更に備え、
    前記第1判定手段は、
    前記第2判定手段により前記一の類似度が所定の判定値以下であると判定された場合に、前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
  7. 前記算出手段により新たに算出された一の類似度と関連付けられている前記所定の日時情報に基づいて、当該一の類似度に係る画像が前記識別用情報の登録日時から所定期間内に撮像された画像であるか否かを判定する第3判定手段を更に備え、
    前記第1判定手段は、
    前記第3判定手段により前記画像が前記所定期間内に撮像された画像でないと判定された場合に、前記一の類似度が相対的に低下したか否かを判定することを特徴とする請求項1〜6の何れか一項に記載の画像処理装置。
  8. 前記報知手段は、
    前記識別用情報をユーザによる操作部の所定操作に基づいて更新するか、或いは、自動的に更新するかを指定するための所定の指定画面を表示する表示手段を有することを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
  9. 前記識別用情報をユーザによる操作部の所定操作に基づいて更新する場合、前記記憶手段に記憶されている複数の類似度と当該類似度の各々に係る画像に含まれる特定の個体の画像とを対応付けて表示手段に表示させる表示制御手段と、
    前記表示手段に対応付けて表示されている前記複数の類似度及び特定の個体の画像の中で、ユーザによる操作部の所定操作に基づいて指定された前記特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成する第1生成手段とを更に備え、
    前記登録手段は、
    前記第1生成手段による前記識別用情報の生成日時を前記登録日時として、当該識別用情報と対応付けて登録することを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
  10. 前記識別用情報を自動的に更新する場合、前記第1判定手段により相対的に低下したと判定された前記一の類似度に係る画像に含まれる特定の個体の画像を基準として、当該特定の個体を識別するための識別用情報を新たに生成する第2生成手段を更に備え、
    前記登録手段は、
    前記第2生成手段による前記識別用情報の生成日時を前記登録日時として、当該識別用情報と対応付けて登録することを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
  11. 前記取得手段により取得された画像に含まれる個体を検出する検出手段を更に備え、
    前記算出手段は、
    前記検出手段により前記画像から検出された個体と前記識別用情報との類似度を算出することを特徴とする請求項1〜10の何れか一項に記載の画像処理装置。
  12. 前記特定の個体は、ヒト及び動物のうち、少なくとも一方の各個体の顔であることを特徴とする請求項1〜11の何れか一項に記載の画像処理装置。
  13. 被写体を撮像する撮像手段を更に備え、
    前記取得手段は、
    前記撮像手段により撮像された画像を取得することを特徴とする請求項1〜12の何れか一項に記載の画像処理装置。
  14. 特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を備える画像処理装置を用いた画像処理方法であって、
    画像を取得する処理と、
    取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する処理と、
    前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶する処理と、
    記憶される複数の類似度の経時的変化に基づいて、新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する処理と、
    前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知する処理と、
    を含むことを特徴とする画像処理方法。
  15. 特定の個体を識別するための識別用情報と当該識別用情報の登録日時に係る登録日時情報とを対応付けて登録する登録手段を備える画像処理装置のコンピュータを、
    画像を取得する取得手段、
    前記取得手段により取得された画像に含まれる個体の情報と前記登録手段に登録されている前記識別用情報との類似度を算出する算出手段、
    前記算出手段により前記類似度が算出される毎に、当該類似度を所定の日時情報と関連付けて逐次記憶させる記憶制御手段、
    前記記憶制御手段により記憶される複数の類似度の経時的変化に基づいて、前記算出手段により新たに算出された一の類似度が、当該一の類似度以外の他の所定数の類似度を基準として相対的に低下したか否かを判定する第1判定手段、
    前記第1判定手段により前記一の類似度が相対的に低下したと判定された場合に、前記登録手段に登録されている前記識別用情報を更新すべき旨を報知させる報知制御手段、
    として機能させることを特徴とするプログラム。
JP2011211967A 2011-09-28 2011-09-28 画像処理装置、画像処理方法及びプログラム Pending JP2013074461A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2011211967A JP2013074461A (ja) 2011-09-28 2011-09-28 画像処理装置、画像処理方法及びプログラム
US13/615,338 US8989504B2 (en) 2011-09-28 2012-09-13 Image processing device that renews identification information of specific subject
CN2012103639535A CN103037157A (zh) 2011-09-28 2012-09-26 图像处理装置以及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011211967A JP2013074461A (ja) 2011-09-28 2011-09-28 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2013074461A true JP2013074461A (ja) 2013-04-22
JP2013074461A5 JP2013074461A5 (ja) 2014-11-06

Family

ID=47911363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011211967A Pending JP2013074461A (ja) 2011-09-28 2011-09-28 画像処理装置、画像処理方法及びプログラム

Country Status (3)

Country Link
US (1) US8989504B2 (ja)
JP (1) JP2013074461A (ja)
CN (1) CN103037157A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015036895A (ja) * 2013-08-13 2015-02-23 Kddi株式会社 更新装置、方法及びプログラム
JP2016225938A (ja) * 2015-06-03 2016-12-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN112990144A (zh) * 2021-04-30 2021-06-18 德鲁动力科技(成都)有限公司 一种用于行人重识别的数据增强方法及***

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5954106B2 (ja) * 2012-10-22 2016-07-20 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
JP6070936B2 (ja) * 2013-01-31 2017-02-01 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 情報処理装置、情報処理方法及びプログラム
JP6268960B2 (ja) * 2013-11-15 2018-01-31 オムロン株式会社 画像認識装置及び画像認識装置に対するデータ登録方法
JP6149015B2 (ja) * 2014-09-10 2017-06-14 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6569263B2 (ja) * 2015-03-27 2019-09-04 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2018207571A1 (ja) * 2017-05-09 2018-11-15 株式会社ディー・ディー・エス 認証情報処理プログラム及び認証情報処理装置
CN109145679B (zh) * 2017-06-15 2020-05-12 杭州海康威视数字技术股份有限公司 一种发出预警信息的方法、装置及***
JP6648769B2 (ja) 2018-01-12 2020-02-14 日本電気株式会社 顔認証装置
WO2019198850A1 (ko) * 2018-04-13 2019-10-17 라인플러스 주식회사 사람의 얼굴을 이용한 동물 형상의 아바타를 생성하는 방법 및 시스템
JP6658795B2 (ja) * 2018-05-11 2020-03-04 セイコーエプソン株式会社 機械学習装置、撮影時期推定装置、機械学習プログラムおよび写真データの生産方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11174026A (ja) * 1997-12-09 1999-07-02 Fujitsu Ltd 強誘電体材料の疲労寿命試験方法及び試験装置
JP2004157602A (ja) * 2002-11-01 2004-06-03 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置
JP2008079680A (ja) * 2006-09-26 2008-04-10 Hitachi Software Eng Co Ltd 生体情報認証装置及び生体情報による個人認証方法
JP2008102770A (ja) * 2006-10-19 2008-05-01 Sankyo Kk 生体認証装置
JP2008216042A (ja) * 2007-03-05 2008-09-18 Omron Corp 校正支援装置、校正支援方法、プログラム、および記録媒体
JP2009110147A (ja) * 2007-10-29 2009-05-21 Victor Co Of Japan Ltd 画像処理装置およびその方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4772379B2 (ja) * 2005-05-26 2011-09-14 株式会社東芝 人物検索装置、人物検索方法および入退場管理システム
JP2007282119A (ja) 2006-04-11 2007-10-25 Nikon Corp 電子カメラおよび画像処理装置
JP4456617B2 (ja) * 2007-04-16 2010-04-28 富士通株式会社 類似分析装置、画像表示装置、および画像表示プログラム
JP4720880B2 (ja) * 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2011053781A (ja) * 2009-08-31 2011-03-17 Seiko Epson Corp 画像データベース作成装置、画像検索装置、画像データベース作成方法および画像検索方法
JP5669082B2 (ja) * 2010-04-19 2015-02-12 パナソニックIpマネジメント株式会社 照合装置
JP5316906B2 (ja) * 2010-09-29 2013-10-16 オムロン株式会社 情報処理装置および方法、並びにプログラム
DE102012216191A1 (de) * 2011-09-14 2013-03-14 Hitachi Information & Communication Engineering, Ltd. Authentifizierungssystem

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11174026A (ja) * 1997-12-09 1999-07-02 Fujitsu Ltd 強誘電体材料の疲労寿命試験方法及び試験装置
JP2004157602A (ja) * 2002-11-01 2004-06-03 Toshiba Corp 人物認識装置、人物認識方法および通行制御装置
JP2008079680A (ja) * 2006-09-26 2008-04-10 Hitachi Software Eng Co Ltd 生体情報認証装置及び生体情報による個人認証方法
JP2008102770A (ja) * 2006-10-19 2008-05-01 Sankyo Kk 生体認証装置
JP2008216042A (ja) * 2007-03-05 2008-09-18 Omron Corp 校正支援装置、校正支援方法、プログラム、および記録媒体
JP2009110147A (ja) * 2007-10-29 2009-05-21 Victor Co Of Japan Ltd 画像処理装置およびその方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015036895A (ja) * 2013-08-13 2015-02-23 Kddi株式会社 更新装置、方法及びプログラム
JP2016225938A (ja) * 2015-06-03 2016-12-28 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
US10607427B2 (en) 2015-06-03 2020-03-31 Sony Corporation Information processing device, information processing method, and program for recognizing a user
CN112990144A (zh) * 2021-04-30 2021-06-18 德鲁动力科技(成都)有限公司 一种用于行人重识别的数据增强方法及***

Also Published As

Publication number Publication date
CN103037157A (zh) 2013-04-10
US8989504B2 (en) 2015-03-24
US20130077874A1 (en) 2013-03-28

Similar Documents

Publication Publication Date Title
JP2013074461A (ja) 画像処理装置、画像処理方法及びプログラム
US8218833B2 (en) Image capturing apparatus, method of determining presence or absence of image area, and recording medium
US8077216B2 (en) Image pickup apparatus with a human face detecting function, method and program product for detecting a human face
US9092659B2 (en) Subject determination apparatus that determines whether or not subject is specific subject
JP2010239467A (ja) 画像選択装置、画像選択方法及びプログラム
JP5966778B2 (ja) 撮像装置、撮像方法及びプログラム
JP2010165012A (ja) 撮像装置、画像検索方法及びプログラム
JP2010171797A (ja) 撮像装置及びプログラム
JP5510287B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP5655668B2 (ja) 撮像装置、画像処理方法及びプログラム
JP4895205B2 (ja) 画像処理装置及びそのプログラム
JP5272797B2 (ja) デジタルカメラ
JP2012070222A (ja) 撮像装置、撮像方法、及び撮像プログラム
JP2012060292A (ja) 画像処理装置、画像選択方法、及び、プログラム
JP5002311B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、及び記憶媒体
JP5740934B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP5807695B2 (ja) 被写体検出装置、被写体検出方法及びプログラム
JP5434096B2 (ja) デジタルカメラ
JP5918998B2 (ja) 画像処理装置、撮像装置、制御方法、及びプログラム
JP2014044525A (ja) 被写体認識装置及びその制御方法、撮像装置、表示装置、並びにプログラム
JP2012160212A (ja) 画像データの識別方法及び撮像装置、プログラム、及び記憶媒体
JP2010226485A (ja) 画像加工装置およびデジタルカメラ
JP2010004357A (ja) 撮像装置及び撮像方法
JP5881932B2 (ja) 顔画像データ生成装置、顔画像データ生成方法及びプログラム
JP2015029178A (ja) 撮像装置、撮像方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140922

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20140925

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20141117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150324

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150525

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150818