JP6866210B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP6866210B2 JP6866210B2 JP2017072560A JP2017072560A JP6866210B2 JP 6866210 B2 JP6866210 B2 JP 6866210B2 JP 2017072560 A JP2017072560 A JP 2017072560A JP 2017072560 A JP2017072560 A JP 2017072560A JP 6866210 B2 JP6866210 B2 JP 6866210B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- subject
- stored
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
Description
本発明の目的は、順次取得される画像に対して特定の被写体を追尾して撮影し、記録する場合に、さらに当該被写体が認識されるより前に当該被写体が撮影されている画像も記録できるようにすることにある。
第1実施形態による画像処理装置及び画像処理方法について図面を用いて説明する。図1は、本実施形態による画像処理装置を示すブロック図である。ここでは、本実施形態による画像処理装置101が、動画像や静止画像を取得し得る電子カメラ、即ち、デジタルカメラである場合を例に説明するが、これに限定されるものではない。例えば、画像処理装置101は、デジタルビデオカメラであってもよいし、携帯情報端末の機能と携帯電話機の機能とを併せ持つ電子機器であるスマートフォンであってもよい。また、画像処理装置101は、例えば、タブレット端末、携帯情報端末(PDA:Personal Digital Assistant)等であってもよい。
画像処理装置101は、表示部201、VRAM(Video RAM)202、BMU(Bit Move Unit)203、操作部204、撮像部107、及び、CPU(Central Processing Unit)206を備えている。画像処理装置101は、ROM(Read Only Memory)207、RAM(Random Access Memory)208、及び、フラッシュメモリ209を更に備えている。画像処理装置101は、メモリカードI/F(メモリカードインターフェース)210、ネットワークI/F(ネットワークインターフェース、NET I/F)211、及び、バス212を更に備えている。画像処理装置101には、上述したように撮像光学系108が備えられる。上述したように、撮像光学系108は、画像処理装置101から着脱不能であってもよいし、着脱可能であってもよい。メモリカードI/F210は、画像処理装置101に備えられた不図示のメモリカードスロットに備えられている。メモリカードスロットには、メモリカード205が装着され得る。メモリカードI/F210を介してメモリカード205に対して画像データ等の書き込みや読み出し等が行われる。
ステップS301において、CPU206は、撮像部107を用いて動画像の撮像が開始されるように各々の機能ブロックを制御する。撮像を開始するタイミングは、例えば、画像処理装置101の電源がON状態になった際とすることができる。撮像を開始するタイミングは、これに限定されるものではない。例えば、表示部201に画像を表示することが可能になった段階で、撮像を開始するようにしてもよい。撮像部107によって取得される画像データ、即ち、動画像を構成する各々のフレームは、バッファメモリ105に順次保存される。上述したように、バッファメモリ105は、リングバッファとして用いられる。従って、バッファメモリ105に空き容量がなくなった際には、古い画像データが新しい画像データによって順次上書きされていく。
第2実施形態による画像処理装置及び画像処理方法について図面を用いて説明する。図4は、本実施形態による画像処理装置を示すブロック図である。図1乃至図3に示す第1実施形態による画像処理装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。
まず、ステップS501からステップS503までは、図3を用いて上述したステップS301からステップS303までと同様であるため、説明を省略する。
ステップS505は、図3を用いて上述したステップS304と同様であるため、説明を省略する。
第3実施形態による画像処理装置及び画像処理方法について図面を用いて説明する。図6は、本実施形態による画像処理装置を示すブロック図である。
ステップS701からステップS704は、図3を用いて上述したステップS301からステップS304と同様であるため、説明を省略する。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上記実施形態の一部を適宜組み合わせてもよい。
また、上記実施形態では、対象の被写体が追尾されている間の画像803、806を記憶部106に記憶する場合を例に説明したが、これに限定されるものではない。例えば、図8(d)に示すように、対象の被写体が認証された時点801以降、対象の被写体が追尾されていない間も含む画像826を記憶部106に記憶するようにし、対象の被写体が追尾されている間は、当該被写体が含まれていることを示す情報等を含むメタデータ827を関連付けて記憶してもよい。また、対象の被写体が認証された時点801でバッファメモリ105に格納されていた画像823を記憶部106に記憶し、対象の被写体を追尾できた間は、当該被写体が含まれていることを示す情報等を含むメタデータ824を関連付けて記憶するようにすればよい。そして、このように記録された画像826、823から、メタデータ827、824にしたがって対象の被写体が追尾されている間の画像を抽出して再生することで、ユーザは対象の被写体が写っている部分の画像を見ることができる。
102…不揮発性メモリ
103…認証部
104…追尾部
105…バッファメモリ
106…記憶部
107…撮像部
108…レンズ
Claims (11)
- 画像を順次取得する取得部と、
前記取得部により順次取得される画像から対象の被写体を認識する被写体認識部と、
前記取得部により順次取得される画像に対して、前記被写体認識部により認識された前記対象の被写体の追尾処理を行う追尾部と、
前記取得部により順次取得される画像を第1の記憶部に記憶するよう制御する記憶制御部とを備え、
前記記憶制御部は前記第1の記憶部の空き容量にしたがって、前記取得部により取得される新しい画像によって、前記第1の記憶部に記憶されている古い画像を順次上書きするよう制御し、 前記追尾部は、更に、前記取得部により順次取得される画像から前記被写体認識部によって前記対象の被写体が認識されるより前に前記取得部により取得され、前記第1の記憶部に格納されている格納画像のうち前記被写体認識部により前記対象の被写体が認識された時点を始点として時間軸を遡るように、前記対象の被写体の追尾処理を行い、 前記記憶制御部は、前記取得部により順次取得される画像のうち前記追尾部により前記対象の被写体が追尾される画像、及び、前記格納画像のうち前記追尾部によって前記対象の被写体が追尾された画像を含むファイルを生成し、前記第1の記憶部とは異なる第2の記憶部に記憶するように制御することを特徴とする画像処理装置。 - 前記記憶制御部は、前記取得部により順次取得される画像から前記被写体認識部によって前記対象の被写体が認識されるより前に前記取得部により取得され、前記第1の記憶部に格納されている画像のうち、前記対象の被写体が追尾できる時点より前の所定時間分の画像をも含む前記ファイルを生成し、前記第2の記憶部に記憶するよう制御することを特徴とする請求項1に記載の画像処理装置。
- 前記記憶制御部は、前記取得部により順次取得される画像のうち前記追尾部により前記対象の被写体が追尾できる時点より後の所定時間分の画像をも含む前記ファイルを生成し、前記第2の記憶部に記憶することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記被写体認識部は、予め登録された顔画像に基づいて前記対象の被写体を認識することを特徴とする請求項1から3のいずれか1項に記載の画像処理装置。
- 前記追尾部は、前記被写体認識部によって認識された前記対象の被写体の軌跡の延長線上に位置する物体であって、且つ、所定の条件を満たす物体を追尾することを特徴とする請求項1から4のいずれか1項に記載の画像処理装置。
- 前記追尾部は、前記被写体認識部によって認識された前記対象の被写体に対しての位置の差異及び形状の差異が所定程度以内である物体を追尾することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
- 録画スイッチを更に有し、
前記記憶制御部は、前記録画スイッチがオン状態の際に、前記画像を含むファイルを生成し、前記第2の記憶部への記憶を行うことを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。 - 画像を保存するか否かを指示するための指示部を更に備え、
画像を保存しない指示が前記指示部においてなされた場合には、前記記憶制御部は、前記画像を前記第2の記憶部から消去するよう制御することを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。 - 前記取得部は、撮像部を用いて画像を順次取得することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 画像を順次取得するステップと、
前記取得するステップにおいて順次取得される画像から対象の被写体を認識するステップと、
前記取得するステップにおいて順次取得される画像に対して、前記認識するステップにおいて認識された前記対象の被写体の追尾処理を行うステップと、
前記取得するステップにおいて順次取得される画像を第1の記憶部に記憶するよう制御するステップと、
を備え、
前記制御するステップは、前記第1の記憶部の空き容量にしたがって、前記取得するステップにより取得される新しい画像によって、前記第1の記憶部に記憶されている古い画像を順次上書きするよう制御するステップを含み、
前記追尾処理を行うステップは、前記順次取得される画像から前記対象の被写体が認識されるより前に取得され、前記第1の記憶部に格納されている格納画像のうち前記認識するステップにより前記対象の被写体が認識された時点を始点として時間軸を遡るように、前記対象の被写体の追尾処理を行うステップを含み、
前記制御するステップは、前記順次取得される画像のうち前記対象の被写体が追尾される画像、及び、前記格納画像のうち前記対象の被写体が追尾された画像を含むファイルを生成し、前記第1の記憶部とは異なる第2の記憶部に記憶するステップを含む
ことを特徴とする画像処理方法。 - コンピュータに、
画像を順次取得するステップと、
前記取得するステップにおいて順次取得される画像から対象の被写体を認識するステップと、
前記取得するステップにおいて順次取得される画像に対して、前記認識するステップにおいて認識された前記対象の被写体の追尾処理を行うステップと、
前記取得するステップにおいて順次取得される画像を第1の記憶部に記憶するよう制御するステップと、
を備え、
前記制御するステップは、前記第1の記憶部の空き容量にしたがって、前記取得するステップにより取得される新しい画像によって、前記第1の記憶部に記憶されている古い画像を順次上書きするよう制御するステップを含み、
前記追尾処理を行うステップは、前記順次取得される画像から前記対象の被写体が認識されるより前に取得され、前記第1の記憶部に格納されている格納画像のうち前記認識するステップにより前記対象の被写体が認識された時点を始点として時間軸を遡るように、前記対象の被写体の追尾処理を行うステップを含み、
前記制御するステップは、前記順次取得される画像のうち前記対象の被写体が追尾される画像、及び、前記格納画像のうち前記対象の被写体が追尾された画像を含むファイルを生成し、前記第1の記憶部とは異なる第2の記憶部に記憶するステップを含む、
画像処理方法を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017072560A JP6866210B2 (ja) | 2017-03-31 | 2017-03-31 | 画像処理装置、画像処理方法及びプログラム |
US15/935,282 US10839198B2 (en) | 2017-03-31 | 2018-03-26 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017072560A JP6866210B2 (ja) | 2017-03-31 | 2017-03-31 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018174494A JP2018174494A (ja) | 2018-11-08 |
JP6866210B2 true JP6866210B2 (ja) | 2021-04-28 |
Family
ID=63669480
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017072560A Active JP6866210B2 (ja) | 2017-03-31 | 2017-03-31 | 画像処理装置、画像処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10839198B2 (ja) |
JP (1) | JP6866210B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111524159A (zh) * | 2019-02-01 | 2020-08-11 | 北京京东尚科信息技术有限公司 | 图像处理方法和设备、存储介质和处理器 |
US11250296B2 (en) * | 2019-07-24 | 2022-02-15 | Nvidia Corporation | Automatic generation of ground truth data for training or retraining machine learning models |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2983407B2 (ja) * | 1993-03-31 | 1999-11-29 | 三菱電機株式会社 | 画像追尾装置 |
US7230621B2 (en) * | 2002-02-19 | 2007-06-12 | Adams Jr William O | Three-dimensional imaging system and methods |
JP4626425B2 (ja) * | 2005-07-11 | 2011-02-09 | 富士フイルム株式会社 | 撮像装置、撮像方法及び撮像プログラム |
JP4765732B2 (ja) * | 2006-04-06 | 2011-09-07 | オムロン株式会社 | 動画編集装置 |
US7783077B2 (en) * | 2006-12-01 | 2010-08-24 | The Boeing Company | Eye gaze tracker system and method |
US7756296B2 (en) * | 2007-03-27 | 2010-07-13 | Mitsubishi Electric Research Laboratories, Inc. | Method for tracking objects in videos using forward and backward tracking |
JP4983558B2 (ja) * | 2007-11-13 | 2012-07-25 | マツダ株式会社 | 車両用運転支援装置 |
WO2011141991A1 (ja) * | 2010-05-10 | 2011-11-17 | 富士通株式会社 | 画像処理装置および画像処理プログラム |
KR101165422B1 (ko) * | 2011-11-29 | 2012-07-13 | 한국바이오시스템(주) | 감시 카메라를 이용하여 인식 불가라고 판정된 피사체를 추적 감시하는 보안 시스템 및 이를 이용한 보안 서비스 제공 방법 |
JP2017097510A (ja) * | 2015-11-20 | 2017-06-01 | ソニー株式会社 | 画像処理装置と画像処理方法およびプログラム |
-
2017
- 2017-03-31 JP JP2017072560A patent/JP6866210B2/ja active Active
-
2018
- 2018-03-26 US US15/935,282 patent/US10839198B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10839198B2 (en) | 2020-11-17 |
JP2018174494A (ja) | 2018-11-08 |
US20180285627A1 (en) | 2018-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4717539B2 (ja) | 撮像装置及び撮像方法 | |
EP2053843B1 (en) | Camera and Image Recording Program Product | |
JP6103948B2 (ja) | 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム | |
CN111383224A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN111669495B (zh) | 拍照方法、拍照装置和电子设备 | |
JP6866210B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9646647B2 (en) | Content management apparatus, recording apparatus, operation apparatus, content management system, and control methods thereof | |
JP6214762B2 (ja) | 画像検索システム、検索画面表示方法 | |
KR101983481B1 (ko) | 전자 디바이스 및 접속 방법 | |
CN103685935A (zh) | 用于控制相机图像捕捉的方法和设备 | |
JP6210634B2 (ja) | 画像検索システム | |
JP6939242B2 (ja) | 撮像装置、撮像方法 | |
JP2017037375A (ja) | 撮像装置及びその制御方法 | |
JP4199535B2 (ja) | 画像情報処理装置、画像情報処理プログラム、および、プログラム記録媒体 | |
US9756238B2 (en) | Image capturing apparatus for performing authentication of a photographer and organizing image data for each photographer and control method thereof | |
JP6039325B2 (ja) | 撮像装置、電子機器、およびタッチパネルの制御方法 | |
US10321089B2 (en) | Image preproduction apparatus, method for controlling the same, and recording medium | |
JP2015231169A (ja) | 撮像装置 | |
US11457137B2 (en) | Electronic apparatus and control method for electronic apparatus | |
JP6818482B2 (ja) | 情報処理装置及びその制御方法、並びにプログラム | |
JP6335064B2 (ja) | 撮像装置、撮像装置の制御方法およびコンピュータプログラム | |
JP2014203119A (ja) | 入力装置、入力処理方法及びプログラム | |
JP6390075B2 (ja) | 画像処理装置、電子カメラ及び画像処理プログラム | |
JP4383974B2 (ja) | 撮像装置及び画像データ管理方法 | |
JP2019017074A (ja) | 電子機器及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20171214 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20180126 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200324 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210309 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210407 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6866210 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |