JP5055939B2 - デジタルカメラ - Google Patents

デジタルカメラ Download PDF

Info

Publication number
JP5055939B2
JP5055939B2 JP2006279248A JP2006279248A JP5055939B2 JP 5055939 B2 JP5055939 B2 JP 5055939B2 JP 2006279248 A JP2006279248 A JP 2006279248A JP 2006279248 A JP2006279248 A JP 2006279248A JP 5055939 B2 JP5055939 B2 JP 5055939B2
Authority
JP
Japan
Prior art keywords
image
subject
digital camera
information
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006279248A
Other languages
English (en)
Other versions
JP2008099038A (ja
Inventor
巧 河原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2006279248A priority Critical patent/JP5055939B2/ja
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to EP10192083.3A priority patent/EP2309722B1/en
Priority to EP20100192082 priority patent/EP2309721A1/en
Priority to US11/905,587 priority patent/US7973824B2/en
Priority to EP07253899A priority patent/EP1912432B1/en
Priority to CN200710180761XA priority patent/CN101163207B/zh
Publication of JP2008099038A publication Critical patent/JP2008099038A/ja
Priority to US13/067,298 priority patent/US8379103B2/en
Application granted granted Critical
Publication of JP5055939B2 publication Critical patent/JP5055939B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3245Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of image modifying data, e.g. handwritten addenda, highlights or augmented reality information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、撮像素子からの間引き読み出しによって得られるスルー画像から人物などの主要な被写体を検出し、自動焦点(AF)制御などの撮影支援機能を実現するための処理に供する機能を備えたデジタルカメラに関する。
デジタルカメラを用いた撮影を支援する機能として、予め設定された想定被写体領域あるいは利用者が操作パネルに設けられたボタンなどを操作して指定したエリアに捉えられた画像に基づいて自動焦点(AF)制御機構を制御する技術が提案されている。
また更に、撮影に先立って、利用者がフレーミングを決めている過程において得られるスルー画像を解析することにより、人間の顔を表す画像の特徴を備えた領域を検出し、検出した領域の画像データに基づいて、被写体として検出された人間の顔に焦点を合わせるようにAF制御機構を制御する技術が提案され、実用化されている。
この顔検出技術を適用することにより、フレームの中央などに予め設けられた焦点調整エリアに主要な被写体があるか否かにかかわらず、被写体に焦点を確実に合わせることが可能となり、自由なフレーミングでの撮影を実現することができる。
一方、撮影画像から人物の顔の特徴点を抽出し、登録された人物の特徴点との一致度に基づいて、撮影画像に被写体として捉えられた個人の顔を識別する技術も提案されている(特許文献1参照)。
また一方、デジタルカメラに備えられる撮像素子の高画素化に伴い、撮影画像の画質は著しく向上しており、例えば、撮影画像の一部分を拡大表示しても十分に鑑賞に堪える画像が得られるようになっている。
そして、このようなデジタルカメラの良好な画質を生かす機能の一つとして、デジタルカメラに備えられている液晶表示部あるいはケーブルなどで接続されたプロジェクタなどに撮影画像の所望の一部を拡大表示させる機能が提供されている。
このような拡大表示機能に対応するために、上述したような想定被写体領域や利用者による指定エリアの画像に基づいてAF制御を行うデジタルカメラでは、想定被写体領域や指定エリアを示す情報を、撮影された静止画像(以下、撮影画像と称する)やこの撮影画像に対応するサムネイル画像および撮影日時などに関するタグ情報とともに記憶媒体に記録されている(特許文献2、3参照)。このように、想定被写体領域や指定エリアを示す情報を撮影にかかわる情報の一部として撮影画像と関連して記録しておくことにより、撮影後の拡大表示機能との連携が図られている。
特開平6−259534号公報 特開2004−193977号公報 特開2003−125251号公報
ところで、上述した特許文献2の技術では、撮影される画像は、想定被写体領域に主要な被写体が捉えられていることを前提としているため、例えば、想定被写体領域に被写体を捉えておいてレリーズボタンを半押ししてフォーカスをあわせ、その後、被写体の画面での位置をずらした構図で撮影した場合などには全く対応することができない。一方、特許文献3の技術では、所望の位置にある指定エリアについてAF制御を実行することが可能であるが、そのためには、利用者は撮影中にAFカーソルを操作して指定エリアを決定する必要がある。
これに対して、顔検出技術を適用したデジタルカメラでは、日常的に主要な被写体となる可能性が高い人物の顔がフレーム上のどこにあっても確実にAF制御を行うことができ、極めて自由度の高いフレーミングで、しかも、煩雑な操作なしで良好な撮影を行うことができる。
しかしながら、従来は、顔検出で得られた情報は、専らAF制御などの撮影処理に供されており、撮影画像の取得後のために用意された機能(例えば、上述した拡大表示機能を含むスライドショー機能など)との連携は図られていなかった。
また一方、画像記録のための記憶媒体の大容量化が進むについて、一般的なデジタルカメラの利用者が撮影する画像の枚数が非常に多くなってきている。
このため、例えば、撮影日時などに加えて、撮影された被写体ごとなど、様々な視点に基づいて、膨大な数の撮影画像を自動的にファイリングする技術も要望されている。
例えば、上述した顔認識技術を撮影画像について適用すれば、それぞれの被写体が写っている画像を抽出することが可能であり、所望の被写体が写っているか否かによって撮影画像を取捨選択したり、撮影画像を被写体ごとにファイリングしたりすることが可能となる。
しかしながら、上述したように、近年のデジタルカメラによって撮影される画像データは極めて大きいため、撮影画像において人物の顔に対応する領域を検出する場合には、撮影画像を構成する画素数に応じた時間が必要となる。
本発明は、撮影時に被写体検出で得られた情報を画像の取得後にも利用可能なデジタルカメラを提供することを目的とする。
本件開示の第1のデジタルカメラにおいて、撮像素子は、被写体を撮影し、撮影画像を生成する。検出手段は、撮像素子から取り込まれるスルー画像から少なくとも一つの被写体像の特徴部位を検出する。抽出手段は、検出手段によって検出された少なくとも一つの被写体像の特徴部位の前記スルー画像上の第1の位置情報を抽出する。位置情報変換手段は、抽出手段によって抽出された第1の位置情報を、撮影画像のサイズと、前記スルー画像のサイズと、に基づいて第2の位置情報に変換する。表示制御手段は、位置情報変換手段によって変換された第2の位置情報により特定される、前記被写体像の特徴部位を表示部に表示させる。
本件開示の第2のデジタルカメラにおいて、抽出手段は、第1の位置情報として被写体の位置と広がりに関する情報を抽出する
本件開示の第3のデジタルカメラにおいて、検出手段は、人物の顔を表す画像に現れる特徴に基づいて、スルー画像に捉えられた人物の顔が画面において占める領域を検出する顔検出手段を備え、抽出手段は、顔検出手段によって検出された領域の位置および大きさを示す位置情報を前記第1の位置情報の一部として抽出する。
本件開示の第4のデジタルカメラにおいて、抽出手段は、顔検出手段によって検出された各領域において、少なくとも一つの被写体の顔それぞれを表す画像において眼および口を含む特徴部分の配置を示す配置情報を前記第1の位置情報の一部として抽出する。
本件開示の第5のデジタルカメラにおいて、抽出手段は、検出手段によって検出された被写体像の特徴部位を含む矩形枠に対応する領域の左上の点に対応するスルー画像における画素位置および矩形領域の大きさを画素単位で示す情報を第1の位置情報の一部として抽出する。
本件開示の第6のデジタルカメラにおいて、記録制御手段は、第1の位置情報を、前記撮影画像に対応するタグ情報の一部として記録する。
本件開示の第7のデジタルカメラにおいて、記録制御手段に含まれる基準保持手段は、検出手段によって検出される少なくとも一つの被写体の重要度を判別するために予め登録された判断基準を保持する。重要度評価手段は、抽出手段によって抽出された第1の位置情報と判断基準とに基づいて、各被写体の重要度を評価する。並べ替え手段は、重要度評価手段による評価結果で示される重要度に従って各第1の位置情報を並べ替えて、タグ情報の記録処理に供する。
上述したように、本発明によれば、撮影の過程で得られる被写体検出にかかわる第1の位置情報を、撮影画像の再生によるスライドショーやファイリング作業の際に活用することができる。
例えば、スライドショー機能との連携を図ることにより、1枚の撮影画像に捉えられた複数の被写体に次々にズーミングして表示するといった多彩な再生機能を実現することができる。また、画像ファイリング処理との連携を図ることにより、例えば、被写体の判別のために行う顔認識処理において注目すべき領域を限定し、顔認識処理に要する時間を大幅に短縮することができる。
以下、図面に基づいて、本発明の実施形態について詳細に説明する。
(第1の実施形態)
図1に、本発明にかかわるデジタルカメラの実施形態を示す。
図1に示したデジタルカメラにおいて、画像の撮影の際に撮影光学系21によって撮像素子22上に結像された光は、この撮像素子22によってその強度に応じた電気信号に変換され、更に、アナログ/デジタル(A/D)変換器23によってデジタルデータに変換されてメモリ24に保持される。
また、撮影に先立つフレーミングの際には、撮像素子22から定期的に(毎秒30〜60フレーム程度)間引き読み出しが行われ、この画像信号をA/D変換器23によってデジタル化した上でメモリ24を介して画像処理部25の補間処理部31による補間処理に供することにより、いわゆるスルー画像が形成される。
このスルー画像は、表示処理部(図示せず)を介して液晶表示部(図示せず)に渡されて、利用者にフレーミングのための情報を提供する処理に供されるとともに、顔検出処理部32によるスルー画像に捉えられた人物の顔を検出する処理に供される。そして、この顔検出処理部32による検出結果に基づいて、撮影制御部28により自動焦点(AF)制御機構29の制御が行われて、スルー画像に捉えられた人物の顔に自動的に撮影光学系21の焦点が合わせられている。
また、上述した顔検出処理部32による顔検出処理の過程において抽出される情報は、図1に示した被写体情報収集部33に渡され、後述するようにして、被写体としての顔の特徴に関する被写体情報として収集され、被写体情報保持部36を介してタグ情報作成部34に渡される。
利用者がレリーズボタン(図示せず)を操作して入力した撮影指示は、上述した撮影制御部28を介して撮像素子22および画像処理部25に伝えられ、これに応じて、撮像素子22を構成する全ての画素の出力に対応する画像信号がメモリ24に格納され、この画像信号を補間処理部31の処理に供することにより、1フレームの撮影画像を表す画像データが得られる。このようにして得られた画像データは、画像圧縮処理部35により圧縮され、記録処理部26を介して記憶媒体27に記録される。
このとき、撮影制御部28からの指示に応じて、例えば、最後にタグ情報保持部36に保持された被写体情報がタグ情報作成部34に渡され、後述するタグ情報作成処理に供される。そして、作成されたタグ情報が、画像圧縮処理部35によって圧縮された画像データとともに記録処理部26に渡され、SDカードなどの記憶媒体27に記録される。
以下、顔検出結果を利用する場合を例にとって、被写体情報を作成してタグ情報の一部として記録するための機能について詳細に説明する。
図2に、タグ情報作成にかかわる各部の詳細構成を示す。また、図3に、タグ情報の例を示す。更に、図4に、タグ情報記録動作を表す流れ図を示す。
図2に示した被写体情報収集部33において、位置情報収集部41および特徴情報収集部42は、顔検出処理部32による処理の過程で検出された顔を表す画像それぞれの画面における位置に関する位置情報と検出された顔に対応する画像において顔における特徴部分である目や鼻、口などの配置に関する特徴情報とをそれぞれ収集する(図4のステップ301)。
位置情報収集部41は、例えば、図3(a)に太い破線で示すような検出された顔に対応する画像の範囲に対応する枠1,2の左上の画素の座標(X1、Y1)、(X2、Y2)およびこの枠のサイズ(P1×Q1、P2×Q2)を位置情報として収集することができる(図3(b)参照)。また、特徴情報収集部42は、顔検出処理部32から、例えば、図3(a)に示した枠1、2に対応する顔検出処理において得られた眼や鼻、口などを表す画像がスルー画像において占める位置を示す座標(Ex、Ey)、(Nx、Ny)を特徴情報として収集することができる(図3(b)参照)。
また、図2に示した被写体情報収集部33において、設定情報収集部43は、撮影制御部28から顔検出処理部32による検出結果を用いたAF制御が適用されているか否かを示す情報や、顔検出処理部32に供されるスルー画像のサイズなどを含む設定情報を収集し(図3(b)参照)、収集した設定情報を被写体情報の一部としてタグ情報作成部34に渡す。
位置情報収集部41および特徴情報収集部42による収集処理は、撮影が実行されるまで、例えば、顔検出処理部32によって顔検出処理が行われるごとに実行され、収集された位置情報および特徴情報は、順次に被写体情報保持部36に渡されて保持される。このとき、被写体情報保持部36により、新たに受け取った位置情報および特徴情報を用いて古い位置情報および特徴情報を上書きしていくことにより、被写体情報保持部36の内容は最新の被写体情報に保たれる。
図2に示した撮影制御部28から撮影処理が実行された旨が作成制御部46を介して通知されたときに(図4のステップ302の肯定判定)、図2に示したタグ情報作成部34に備えられたソート処理部44は、被写体情報保持部36に保持された被写体情報を、優先条件保持部45に保持された条件に従って並べ替える(図4のステップ303)。
図2に示した優先条件保持部45は、例えば、顔検出結果それぞれの重要性を判定するための条件として、「顔として検出された画像の大きさが大きい順に重要度が高いと判断する」などの条件を保持している。この場合に、ソート処理部44は、被写体情報保持部36に保持された各顔検出結果に対応する位置情報を参照し、サイズの大きい順にこれらの位置情報および対応する特徴情報を並べ替える。
また、顔検出処理部32において、登録済みの顔の特徴との一致度に基づく顔認識が行われている場合には、この認識結果を示す特徴情報(図3(b)参照)の有無に基づいて、被写体情報に含まれる各位置情報および対応する特徴情報のソート処理を行うことも可能である。
このようにして、優先条件に従って被写体情報をソートした後に、作成制御部46からの指示に応じて、選択読出部47は、予めタグ情報の容量に応じて、被写体情報保持部36から適切なデータ量の被写体情報を読み出して(図4のステップ304)、被写体情報合成部48に渡す。例えば、選択読出部47により、被写体情報に含まれる設定情報を読み出した後に、上述したタグ情報の容量に応じて決定された閾値に読み出した被写体情報のデータ量の総和が到達するまで、優先度の高い順に位置情報および特徴情報を読み出していくことにより、重要な被写体に対応する位置情報および特徴情報を優先的にタグ情報作成処理に供することができる。
このようにして読み出された被写体情報は、図2に示した被写体情報合成部48に渡され、この被写体情報合成部48により、撮影制御部28から渡される撮影制御にかかわる撮影情報(撮影日時、ストロボ使用の有無など)に付加され、図3(b)に示すようなタグ情報が形成される(図4のステップ305)。
このようにして、撮影画像に捉えられた被写体に関する被写体情報を含むタグ情報が作成され、このタグ情報が、記録処理部26に画像圧縮処理部35によって得られた圧縮画像データに関連付けられて、記憶媒体27に記録される(ステップ306)。
上述したようにして撮影画像に対応する圧縮画像データに関連付けて被写体情報を含むタグ情報を記録することにより、撮影制御に用いられた顔検出に関する情報を、スライドショー機能や画像ファイル処理などの撮影後の処理に渡すことができる。
なお、図2に示した位置情報収集部41によって、スルー画像における画素位置を示す座標として収集される位置情報を、撮像素子22の全画素の出力を用いて形成される撮像画像における座標に変換した後に被写体情報保持部36に渡し、スライドショー機能などの際に同様の座標変換処理を省略することも可能である。
また、図2に示した選択読出部47によって読み出された位置情報についてのみ上述した座標値の変換処理を行い、撮影画像における位置を示す座標を撮影情報との合成処理に供することもできる。
その一方、スルー画像のサイズとサムネイル画像のサイズとが一致している場合には、顔検出結果それぞれに対応する位置情報として、スルー画像における座標をそのまま利用することにより、サムネイル画像を利用した処理において座標値をそのまま利用可能であるという利点がある。
また、被写体情報として記録する情報としては、顔検出機能で得られた検出結果に限らず、スルー画像を解析することにより、被写体として考えられるさまざまな物体の像に現れる特徴をもつ画像データの一部を、被写体の像を表す画像データとして検出する機能で得られた検出結果を利用することもできる。
また、スルー画像の代わりに、撮影によって得られた撮影画像そのものあるいはこの撮影画像を縮小して得られるサムネイル画像などの縮小画像を顔検出処理部32の処理に供し、得られた顔検出結果を含む被写体情報をタグ情報の一部として記録することも可能である。
以下に、上述した被写体情報をスライドショー機能で利用する方法について述べる。
スライドショーでは、図5に示すように、SDカードなどの記憶媒体27に記録された圧縮画像データが、スライドショー処理部56からの指示に応じてカードリーダ51を介して読み出され、画像圧縮伸長処理部52によって伸長された後にメモリ53を介して表示処理部54の処理に供され、表示部55によって利用者に提供される。
例えば、圧縮画像データを記憶媒体27から読み出す際に、図5に示したスライドショー制御部62からの指示に応じて、被写体情報読出部61により、対応するタグ情報に含まれる被写体情報が読み出され、スライドショー制御部62に渡される。
このようにして読み出された被写体情報は、スライドショー制御部62を介してズーミング処理部64に渡され、これに応じて、被写体情報に含まれるスルー画像サイズと撮影画像サイズとの比に基づいて位置情報の変換が行われ、得られた座標およびサイズで示される画面上の領域を拡大表示する旨が表示処理部54に指示される。これにより、例えば、多数の人物が捉えられた撮影画像について、各々の人物の顔を次々にズーム表示するといった多彩な機能を実現することができる。
ここで、上述した被写体情報に含まれる位置情報は、撮影画像の取得直前のスルー画像において顔検出機能によって検出された顔位置を示しているので、撮影画像における顔位置とは厳密には一致しない可能性もある。しかしながら、撮影画像の取得直前のスルー画像のフレーミングと撮影画像のフレーミングとはほぼ一致しているので、上述したような人物の顔を拡大表示する処理に適用するには、直前のスルー画像における顔位置で十分である。その一方、高画素化が進んだ近年のデジタルカメラでは、画像データのサイズが極めて大きいため、撮影画像を表す画像データから人物の顔を表す部分を探索するために要する時間は長くなる傾向にある。したがって、上述したようにして、撮影の際に得られた被写体情報を利用することにより、このような探索処理を省略したことによる利点は非常に大きい。
なお、被写体情報に含まれる設定情報により、サムネイル画像とスルー画像のサイズが一致していることが示されている場合は、記憶媒体27からサムネイル画像を次々に読み出して簡易動画として表示する際に、サムネイル画像の読出と並行して対応する被写体情報を読み出し、各顔検出結果に対応する位置情報として得られたスルー画像における座標をそのまま簡易動画処理部65に渡すことにより、サムネイル画像を用いた簡易動画機能(ピクトモーション機能)における顔位置強調などに利用することができる。
また、上述したようにして記録された被写体情報を画像ファイリングシステムで利用することも可能である。
図6に、本発明にかかわる画像ファイリングシステムの構成を示す。
なお、図6に示す構成要素のうち、図5に示した各部と同等のものについては、図5に示した符号を付して示し、その説明を省略する。
図6に示した画像ファイリングシステムにおいて、圧縮画像データの読出とともに被写体情報読出部61によって読み出された被写体情報は、ファイリング制御部66を介して顔認識処理部67に渡され、メモリ53から被写体の顔の部分に対応する画像データを読み込む処理に供される。
この被写体情報には、顔検出機能によって検出された顔の位置を示す位置情報が含まれているので、この位置情報に基づいて、被写体の顔の部分に対応する画像データをメモリ53から読み出すことにより、顔認識処理部67において、顔認識処理を適用する領域を特定する処理を省略し、顔認識処理に要する時間を短縮することができる。
上述したように、被写体情報に含まれている位置情報で示される顔位置と撮影画像における顔位置とは厳密には一致しない場合もあるが、顔認識処理を適用する領域を絞り込む目的では、この不一致が問題となることはない。
その一方、撮影画像を表すサイズの大きな画像データ(例えば、800万画素の画像データ)から改めて顔認識を行うべき領域を探索する処理は非常に時間がかかるので、この探索処理を省略できることによって得られる利点は非常に大きく、顔認識処理部67による顔認識処理を格段に高速化することが可能である。更に、被写体情報に含まれる特徴情報を利用することにより、主要な特徴部分の検出処理の高速化を図ることも可能である。
このようにして得られた顔認識結果に基づいて、ファイリング制御部66により、撮影画像を表す画像データを分類することにより、例えば、顔認識のためのデータベースに特徴値が登録された個人ごとに画像ファイル58に作成したフォルダに格納することができる。
このように、撮影の際に得られた被写体情報を利用することにより、被写体ごとに画像データを分類してファイリングするといった多様なファイリング処理を現実的な処理時間で実現することができる。
なお、図3(b)に示したように、撮影の際にスルー画像に関する解析処理で得られていた顔認識処理結果が被写体情報に含まれている場合は、被写体情報に含まれている認識結果をそのまま顔認識処理部67の認識結果にしても良いし、メモリ53に格納された撮影画像の該当領域について改めて解析処理を実行することで顔認識精度を向上することもできる。
以上に説明したように、本発明にかかわるデジタルカメラでは、撮影の際に得られた被写体に関する被写体情報を撮影された画像データに関する処理における利用に供することが可能である。
これにより、例えば、スライドショー機能における拡大表示や被写体ごとの画像ファイリングなど様々な機能において、拡大すべき領域や認識すべき被写体が存在する領域などを絞り込むための処理を不要とし、これらの機能を極めてスピーディに実現することができる。
デジタルカメラを用いて撮影された画像の品質は年々向上しており、そのようとも大きく広がっていることを考えれば、撮影時の機能と撮影後の表示機能やファイリング機能との連携を図ることを可能とした本発明の特徴は、デジタルカメラに限らず様々な映像情報分野において極めて有用である。
本発明にかかわるデジタルカメラの実施形態を示す図である。 タグ情報作成にかかわる各部の詳細構成を示す図である。 タグ情報の例を示す図である。 タグ情報記録動作を表す流れ図である。 スライドショー機能における利用方法の説明図である。 本発明にかかわる画像ファイリングシステムの構成を示す図である。
符号の説明
21…撮影光学系、22…撮像素子、23…アナログ/デジタル(A/D)変換器、24、53…メモリ、25…画像処理部、26…記録処理部、27…記憶媒体、28…撮影制御部、29…オートフォーカス(AF)機構、31…補間処理部、32…顔検出処理部、33…被写体情報収集部、34…タグ情報作成部、35…画像圧縮処理部、36…被写体情報保持部、41…位置情報収集部、42…特徴情報収集部、43…設定情報収集部、44…ソート処理部、45…優先条件保持部、46…作成制御部、47…選択読出部、48…被写体情報合成部、51…カードリーダ、52…画像圧縮伸長処理部、54…表示処理部、55…表示部、56…スライドショー処理部、57…ファイリング処理部、58…画像ファイル、61…被写体情報読出部、62…スライドショー制御部、63…ズーミング処理部、65…簡易動画処理部、66…ファイリング制御部、67…顔認識処理部。

Claims (7)

  1. 被写体を撮影し、撮影画像を生成する撮像素子と、
    前記撮像素子から逐次取り込まれるスルー画像から少なくとも一つの被写体像の特徴部位をそれぞれ検出する検出手段と、
    前記検出手段によって検出された少なくとも一つの被写体像の特徴部位の、前記スルー画像上の位置を示す第1の位置情報をそれぞれ抽出する抽出手段と、
    前記撮影の直前に取り込まれたスルー画像に対応して前記抽出手段によって抽出された第1の位置情報を、撮影画像のサイズと、前記スルー画像のサイズと、に基づいて前記撮影画像上の位置を示す第2の位置情報に変換する位置情報変換手段と、
    前記位置情報変換手段によって変換された第2の位置情報により特定される、前記被写体像の特徴部位を拡大して表示部に表示させる表示制御手段と、
    を備えたことを特徴とするデジタルカメラ。
  2. 請求項1に記載のデジタルカメラにおいて、
    前記抽出手段は、第1の位置情報として被写体の位置と広がりに関する情報を抽出する
    ことを特徴とするデジタルカメラ。
  3. 請求項1または請求項2に記載のデジタルカメラにおいて、
    前記検出手段は、人物の顔を表す画像に現れる特徴に基づいて、前記スルー画像に捉えられた人物の顔が画面において占める領域を検出する顔検出手段を備え、
    前記抽出手段は、
    前記顔検出手段によって検出された領域の位置および大きさを示す位置情報を前記第1の位置情報の一部として抽出する
    ことを特徴とするデジタルカメラ。
  4. 請求項3に記載のデジタルカメラにおいて、
    前記抽出手段は、前記顔検出手段によって検出された各領域において、前記少なくとも一つの被写体の顔それぞれを表す画像において眼および口を含む特徴部分の配置を示す配置情報を前記第1の位置情報の一部として抽出する
    ことを特徴とするデジタルカメラ。
  5. 請求項1乃至請求項4のいずれか一項に記載のデジタルカメラにおいて、
    前記抽出手段は、前記検出手段によって検出された被写体像の特徴部位を含む矩形枠に対応する領域の左上の点に対応する前記スルー画像における画素位置および前記矩形領域の大きさを画素単位で示す情報を前記第1の位置情報の一部として抽出する
    ことを特徴とするデジタルカメラ。
  6. 請求項1乃至請求項5のいずれか一項に記載のデジタルカメラにおいて、
    前記第1の位置情報を、前記撮影画像に対応するタグ情報の一部として記録する記録制御手段を備えた
    ことを特徴とするデジタルカメラ。
  7. 請求項6に記載のデジタルカメラにおいて、
    前記記録制御手段は、
    前記検出手段によって検出される少なくとも一つの被写体の重要度を判別するために予め登録された判断基準を保持する基準保持手段と、
    前記抽出手段によって抽出された第1の位置情報と前記判断基準とに基づいて、前記各被写体の重要度を評価する重要度評価手段と、
    前記重要度評価手段による評価結果で示される重要度に従って前記各第1の位置情報を並べ替えて、タグ情報の記録処理に供する並べ替え手段とを備えた
    ことを特徴とするデジタルカメラ。

JP2006279248A 2006-10-12 2006-10-12 デジタルカメラ Expired - Fee Related JP5055939B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2006279248A JP5055939B2 (ja) 2006-10-12 2006-10-12 デジタルカメラ
EP20100192082 EP2309721A1 (en) 2006-10-12 2007-10-02 Digital camera
US11/905,587 US7973824B2 (en) 2006-10-12 2007-10-02 Digital camera that uses object detection information at the time of shooting for processing image data after acquisition of an image
EP07253899A EP1912432B1 (en) 2006-10-12 2007-10-02 Digital camera
EP10192083.3A EP2309722B1 (en) 2006-10-12 2007-10-02 Digital camera
CN200710180761XA CN101163207B (zh) 2006-10-12 2007-10-12 数码相机
US13/067,298 US8379103B2 (en) 2006-10-12 2011-05-23 Digital camera that uses object detection information at the time of shooting for processing image data after acquisition of an image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006279248A JP5055939B2 (ja) 2006-10-12 2006-10-12 デジタルカメラ

Publications (2)

Publication Number Publication Date
JP2008099038A JP2008099038A (ja) 2008-04-24
JP5055939B2 true JP5055939B2 (ja) 2012-10-24

Family

ID=38941927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006279248A Expired - Fee Related JP5055939B2 (ja) 2006-10-12 2006-10-12 デジタルカメラ

Country Status (4)

Country Link
US (2) US7973824B2 (ja)
EP (3) EP2309722B1 (ja)
JP (1) JP5055939B2 (ja)
CN (1) CN101163207B (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5249359B2 (ja) * 2008-03-14 2013-07-31 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも1台のカメラによって生成された画像を表示するための方法及びシステム
CN103402070B (zh) 2008-05-19 2017-07-07 日立麦克赛尔株式会社 记录再现装置及方法
JP2010028596A (ja) 2008-07-23 2010-02-04 Hitachi Ltd 撮像装置
KR101469544B1 (ko) * 2008-09-26 2014-12-05 삼성전자주식회사 영상 처리 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP4911165B2 (ja) * 2008-12-12 2012-04-04 カシオ計算機株式会社 撮像装置、顔検出方法及びプログラム
KR101532294B1 (ko) * 2008-12-18 2015-07-01 삼성전자주식회사 자동 태깅 장치 및 방법
JP5231263B2 (ja) * 2009-01-07 2013-07-10 オリンパスイメージング株式会社 撮像装置および撮像装置用プログラム
JP2010258885A (ja) * 2009-04-27 2010-11-11 Ricoh Co Ltd 撮像装置及び画像処理方法
KR101598632B1 (ko) * 2009-10-01 2016-02-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 이동 단말기 및 그의 태그 편집 방법
JP5593990B2 (ja) * 2010-09-08 2014-09-24 リコーイメージング株式会社 撮像システムおよび画素信号読出し方法
JP5178797B2 (ja) * 2010-09-13 2013-04-10 キヤノン株式会社 表示制御装置及び表示制御方法
JP4940345B2 (ja) * 2010-10-29 2012-05-30 株式会社東芝 電子機器及び画像処理方法
JP5853458B2 (ja) * 2011-07-21 2016-02-09 ソニー株式会社 マーク情報記録装置及びマーク情報提示装置
US10230908B2 (en) * 2012-01-12 2019-03-12 Mission Infrared Electro Optics Technology Co., Ltd Thermal imaging device and thermal image photographing method
JP2015118585A (ja) 2013-12-19 2015-06-25 カシオ計算機株式会社 表示装置、データ処理装置及びプログラム
JP5951061B2 (ja) * 2015-03-02 2016-07-13 日立マクセル株式会社 記録再生装置
US10372989B2 (en) * 2015-10-30 2019-08-06 Canon Kabushiki Kaisha Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor
JP6776532B2 (ja) * 2015-12-24 2020-10-28 株式会社ニコン 画像処理装置、撮像装置、電子機器及び画像処理プログラム
CN110191369A (zh) * 2019-06-06 2019-08-30 广州酷狗计算机科技有限公司 图像截取方法、装置、设备及存储介质
JP7315006B2 (ja) * 2019-08-08 2023-07-26 オムロン株式会社 モニタリング装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06259534A (ja) 1993-03-03 1994-09-16 Toshiba Corp 人物認証装置
JP4073156B2 (ja) * 1999-07-14 2008-04-09 富士フイルム株式会社 画像検索装置
US6940545B1 (en) * 2000-02-28 2005-09-06 Eastman Kodak Company Face detecting camera and method
JP2003125251A (ja) 2001-10-16 2003-04-25 Minolta Co Ltd デジタルカメラおよび再生プログラム
JP4011471B2 (ja) * 2002-12-11 2007-11-21 富士フイルム株式会社 デジタルカメラ
US20040223649A1 (en) * 2003-05-07 2004-11-11 Eastman Kodak Company Composite imaging method and system
JP2005012307A (ja) * 2003-06-17 2005-01-13 Minolta Co Ltd 撮像装置
US7526193B2 (en) * 2003-07-15 2009-04-28 Omron Corporation Object determining device and imaging apparatus
JP4307301B2 (ja) * 2003-07-31 2009-08-05 キヤノン株式会社 画像処理装置およびその方法
US20050024516A1 (en) * 2003-07-31 2005-02-03 Robert Fish Digital camera
US7453506B2 (en) * 2003-08-25 2008-11-18 Fujifilm Corporation Digital camera having a specified portion preview section
JP4569471B2 (ja) 2003-09-26 2010-10-27 株式会社ニコン 電子画像蓄積方法、電子画像蓄積装置、及び電子画像蓄積システム
JP4441853B2 (ja) * 2003-11-12 2010-03-31 ノーリツ鋼機株式会社 濃度補正のための顔選別方法及びこの方法を実施する装置
JP4371219B2 (ja) 2004-05-07 2009-11-25 株式会社ニコン デジタルカメラ
JP2005323015A (ja) * 2004-05-07 2005-11-17 Nikon Gijutsu Kobo:Kk デジタルカメラ
US20050248681A1 (en) 2004-05-07 2005-11-10 Nikon Corporation Digital camera
US7634106B2 (en) * 2004-09-22 2009-12-15 Fujifilm Corporation Synthesized image generation method, synthesized image generation apparatus, and synthesized image generation program
JP4639837B2 (ja) * 2005-02-15 2011-02-23 株式会社ニコン 電子カメラ
US20060182433A1 (en) * 2005-02-15 2006-08-17 Nikon Corporation Electronic camera
JP4577113B2 (ja) 2005-06-22 2010-11-10 オムロン株式会社 対象決定装置、撮像装置および監視装置

Also Published As

Publication number Publication date
EP2309721A1 (en) 2011-04-13
JP2008099038A (ja) 2008-04-24
EP2309722A1 (en) 2011-04-13
EP1912432B1 (en) 2011-11-23
EP2309722B1 (en) 2013-11-20
EP1912432A1 (en) 2008-04-16
CN101163207A (zh) 2008-04-16
CN101163207B (zh) 2012-02-29
US20110228125A1 (en) 2011-09-22
US7973824B2 (en) 2011-07-05
US8379103B2 (en) 2013-02-19
US20080218595A1 (en) 2008-09-11

Similar Documents

Publication Publication Date Title
JP5055939B2 (ja) デジタルカメラ
US7835550B2 (en) Face image recording apparatus, image sensing apparatus and methods of controlling same
US20060119714A1 (en) Data processor and data processing method
US8532345B2 (en) Camera and image recording program product
JP5299912B2 (ja) 撮像装置及び画像ファイルのデータ構造
US7903164B2 (en) Image capturing apparatus, an image capturing method and a machine readable medium storing thereon a computer program for capturing an image of a range wider than an image capture designation range
JP4432886B2 (ja) 電子カメラ
JP2008165701A (ja) 画像処理装置、電子機器、画像処理方法、及び、プログラム
KR20100070727A (ko) 자동 태깅 장치 및 방법
JP5050465B2 (ja) 撮像装置、撮影制御方法、およびプログラム
JP2006094082A (ja) 画像撮影装置およびプログラム
JP5181841B2 (ja) 撮影装置、撮影制御プログラム、並びに画像再生装置、画像再生プログラム
JP2005323015A (ja) デジタルカメラ
JP4371219B2 (ja) デジタルカメラ
JP5366676B2 (ja) 撮像装置及びその制御方法とプログラム、記憶媒体
JP2013165413A (ja) 画像表示装置
JP4636024B2 (ja) 撮像装置
JP4379191B2 (ja) 電子カメラおよび画像処理プログラム
JP5267645B2 (ja) 撮像装置、撮影制御方法、およびプログラム
JP4842232B2 (ja) 撮影装置及び画像再生装置
JP2010039795A (ja) 認識用データ生成装置及び電子カメラ、認識用データ生成プログラム、並びに認識用データ生成方法
JP5040964B2 (ja) デジタルカメラ
KR101477535B1 (ko) 이미지 검색 방법 및 장치, 이를 이용한 디지털 촬영 장치
JP2012029119A (ja) 表示制御装置、カメラ、および、表示装置
JP2006253804A (ja) 撮影装置及び撮影方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120703

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120716

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5055939

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150810

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees