JP4924606B2 - 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置 - Google Patents
被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置 Download PDFInfo
- Publication number
- JP4924606B2 JP4924606B2 JP2008513191A JP2008513191A JP4924606B2 JP 4924606 B2 JP4924606 B2 JP 4924606B2 JP 2008513191 A JP2008513191 A JP 2008513191A JP 2008513191 A JP2008513191 A JP 2008513191A JP 4924606 B2 JP4924606 B2 JP 4924606B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- binary mask
- input
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000605 extraction Methods 0.000 title claims description 165
- 238000000034 method Methods 0.000 title claims description 76
- 238000004590 computer program Methods 0.000 title claims description 66
- 239000000203 mixture Substances 0.000 title claims description 20
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000005484 gravity Effects 0.000 claims description 47
- 238000011156 evaluation Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 238000001308 synthesis method Methods 0.000 claims 1
- 238000007781 pre-processing Methods 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 4
- 238000003786 synthesis reaction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Processing Of Color Television Signals (AREA)
Description
本発明の第2の態様による被写体抽出方法は、請求項1に記載の被写体抽出方法において、前記第2画像の濃度平均値、または濃度中央値を前記所定の閾値として、前記2値マスク画像を生成する。
本発明の第3の態様による被写体抽出方法は、請求項1または2に記載の被写体抽出方法において、前記輝度成分と色差成分とからなる色空間は、YCbCr色空間である。
本発明の第4の態様によると、請求項1または2に記載の被写体抽出方法において、前記輝度成分と色差成分とからなる色空間は、YIQ色空間である。
本発明の第5の態様による被写体抽出方法は、請求項1〜4のいずれか一項に記載の被写体抽出方法において、前記所定の評価値は、前記輝度画像の2値マスク画像の重心周りの慣性モーメント、および前記色差画像の2値マスク画像の重心周りの慣性モーメントである。
本発明の第6の態様による被写体抽出方法は、請求項1〜4のいずれか一項に記載の被写体抽出方法において、前記所定の評価値は、前記輝度画像内における白色の領域の面積を前記輝度画像の2値マスク画像の重心周りの慣性モーメントで除算することにより算出される値、および前記色差画像内における白色の領域の面積を前記色差画像の2値マスク画像の重心周りの慣性モーメントで除算することにより算出される値である。
本発明の第7の態様による被写体抽出方法は、請求項1〜6のいずれか一項に記載の被写体抽出方法において、前記処理前画像と前記被写体抽出用の2値マスク画像との論理積により得られる画像を前記被写体画像とする。
本発明の第8の態様による被写体追跡方法は、請求項1〜7のいずれか一項に記載の被写体抽出方法を使用して入力画像の各フレームから背景領域を除去し、前記入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成し、テンプレート画像と、前記入力被写体画像との類似度に基づいて、前記入力画像におけるフレーム間での被写体像の動きを追跡する。
本発明の第9の態様による被写体追跡方法は、請求項1〜7のいずれか一項に記載の被写体抽出方法を使用してテンプレート画像から背景領域を除去し、前記テンプレート画像内に含まれる被写体像のみを抽出したテンプレート被写体画像を生成し、請求項1〜7のいずれか一項に記載の被写体抽出方法を使用して入力画像の各フレームから背景領域を除去し、前記入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成し、前記テンプレート被写体画像と、前記入力被写体画像との類似度に基づいて、前記入力画像におけるフレーム間での被写体像の動きを追跡する。
本発明の第10の態様による被写体追跡方法は、請求項9に記載の被写体追跡方法において、前記テンプレート画像はRGB色空間により表される画像であり、前記テンプレート画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、前記輝度画像と前記色差画像とを、それぞれの画像の濃度平均値、または濃度中央値を閾値として2値化して2値マスク画像を生成し、前記輝度画像の2値マスク画像と前記色差画像の2値マスク画像の中から所定の評価値を用いて選択した1つの2値マスク画像をテンプレート用の2値マスク画像として選択し、前記テンプレート画像と前記テンプレート用の2値マスク画像との論理積により得られる画像を前記テンプレート被写体画像とする。
本発明の第11の態様による被写体追跡方法は、請求項10に記載の被写体追跡方法において、前記入力画像はRGB色空間により表される画像であり、前記入力画像に基づいて、前記テンプレート用の2値マスク画像として選択した2値マスク画像と同じ成分からなる成分画像を生成し、前記成分画像を前記成分画像の濃度平均値、または濃度中央値を閾値として2値化して入力画像用の2値マスク画像を生成し、前記入力画像と前記入力画像用の2値マスク画像との論理積により得られる画像を前記入力被写体画像とする。
本発明の第12の態様による被写体追跡方法は、請求項11に記載の被写体追跡方法において、前記テンプレート用の2値マスク画像の重心を中心とした前記テンプレート被写体画像の慣性モーメントを前記テンプレート被写体画像の特徴量とし、前記入力画像用の2値マスク画像内に設定した所定領域内の重心を中心とした前記入力被写体画像の慣性モーメントを前記入力被写体画像の特徴量とし、前記テンプレート被写体画像の特徴量、および前記入力被写体画像の特徴量に基づいて、前記テンプレート被写体画像と前記入力被写体画像との類似度を演算する。
本発明の第13の態様による被写体合成方法は、請求項1〜7のいずれか一項に記載の被写体抽出方法を使用して第1の画像から抽出した被写体像の前記第1の画像における抽出位置を特定し、請求項1〜7のいずれか一項に記載の被写体抽出方法を使用して第2の画像から被写体像のみを抽出した被写体画像を生成し、前記第1の画像における前記被写体像の抽出位置に、前記第2の画像から生成した前記被写体画像を合成する。
本発明の第14の態様による被写体抽出コンピュータプログラムは、コンピュータで実行される被写体抽出コンピュータプログラムであって、前記被写体抽出コンピュータプログラムにより前記コンピュータは、RGB色空間により表される第1画像に所定の画像処理を施した第2画像を所定の閾値を用いて2値化して被写体抽出用の2値マスク画像を生成する2値マスク画像生成手順と、第1画像と前記被写体抽出用の2値マスク画像とに基づいて、前記第1画像から背景領域を除去して前記第1画像内に含まれる被写体像を抽出した被写体画像を生成する被写体画像生成手順とを実行し、前記2値マスク画像生成手順は、前記第1画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、前記輝度画像と前記色差画像とをそれぞれ前記第2画像として前記2値マスク画像を生成し、前記輝度画像の2値マスク画像と前記色差画像の2値マスク画像の中から所定の評価値を用いて選択した1つの2値マスク画像を前記被写体抽出用の2値マスク画像とする。
本発明の第15の態様による被写体抽出コンピュータプログラムは、請求項14に記載の被写体抽出コンピュータプログラムにおいて、前記2値マスク画像生成手順は、前記第2画像の濃度平均値、または濃度中央値を前記所定の閾値として、前記2値マスク画像を生成する。
本発明の第16の態様による被写体抽出コンピュータプログラムは、請求項14に記載の被写体抽出コンピュータプログラムにおいて、前記輝度成分と色差成分とからなる色空間は、YCbCr色空間である。
本発明の第17の態様による被写体抽出コンピュータプログラムは、請求項14に記載の被写体抽出コンピュータプログラムにおいて、前記輝度成分と色差成分とからなる色空間は、YIQ色空間である。
本発明の第18の態様による被写体抽出コンピュータプログラムは、請求項14〜17のいずれか一項に記載の被写体抽出コンピュータプログラムにおいて、前記所定の評価値は、前記輝度画像の2値マスク画像の重心周りの慣性モーメント、および前記色差画像の2値マスク画像の重心周りの慣性モーメントである。
本発明の第19の態様による被写体抽出コンピュータプログラムは、請求項14〜17のいずれか一項に記載の被写体抽出コンピュータプログラムにおいて、前記所定の評価値は、前記輝度画像内における白色の領域の面積を前記輝度画像の2値マスク画像の重心周りの慣性モーメントで除算することにより算出される値、および前記色差画像内における白色の領域の面積を前記色差画像の2値マスク画像の重心周りの慣性モーメントで除算することにより算出される値である。
本発明の第20の態様による被写体抽出コンピュータプログラムは、請求項14〜19のいずれか一項に記載の被写体抽出コンピュータプログラムにおいて、前記被写体画像生成手順は、前記第1画像と前記被写体抽出用の2値マスク画像との論理積により得られる画像を前記被写体画像とする。
本発明の第21の態様による被写体追跡コンピュータプログラムは、コンピュータで実行される被写体追跡コンピュータプログラムであって、前記被写体追跡コンピュータプログラムにより前記コンピュータは、請求項14〜20のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、入力画像の各フレームから背景領域を除去して前記入力画像内に含まれる被写体像を抽出した入力被写体画像を生成する入力被写体画像生成手順と、テンプレート画像と、前記入力被写体画像との類似度に基づいて、前記入力画像におけるフレーム間での被写体像の動きを追跡する被写体追跡手順とを実行する。
本発明の第22の態様による被写体追跡コンピュータプログラムは、コンピュータで実行される被写体追跡コンピュータプログラムであって、前記被写体追跡コンピュータプログラムにより前記コンピュータは、請求項14〜20のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、RGB色空間により表されるテンプレート画像から背景領域を除去して前記テンプレート画像内に含まれる被写体像を抽出したテンプレート被写体画像を生成するテンプレート被写体画像生成手順と、請求項14〜20のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、入力画像の各フレームから背景領域を除去して前記入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成する入力被写体画像生成手順と、前記テンプレート被写体画像と、前記入力被写体画像との類似度に基づいて、前記入力画像におけるフレーム間での被写体像の動きを追跡する被写体追跡手順とを実行し、前記テンプレート被写体画像生成手順は、前記テンプレート画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、前記輝度画像と前記色差画像とを、それぞれの画像の濃度平均値、または濃度中央値を閾値として2値化して2値マスク画像を生成し、前記輝度画像の2値マスク画像と前記色差画像の2値マスク画像の中から所定の評価値を用いて選択した1つの2値マスク画像をテンプレート用の2値マスク画像として選択し、前記テンプレート画像と前記テンプレート用の2値マスク画像との論理積により得られる画像を前記テンプレート被写体画像とする。
本発明の第23の態様による被写体追跡コンピュータプログラムは、請求項22に記載の被写体追跡コンピュータプログラムにおいて、前記入力画像はRGB色空間により表される画像であり、前記入力被写体画像生成手順は、前記入力画像に基づいて、前記テンプレート用の2値マスク画像として選択した2値マスク画像と同じ成分からなる成分画像を生成し、前記成分画像を前記成分画像の濃度平均値、または濃度中央値を閾値として2値化して入力画像用の2値マスク画像を生成し、前記入力画像と前記入力画像用の2値マスク画像との論理積により得られる画像を前記入力被写体画像とする。
本発明の第24の態様による被写体追跡コンピュータプログラムは、請求項23に記載の被写体追跡コンピュータプログラムにおいて、前記被写体追跡手順は、前記テンプレート用の2値マスク画像の重心を中心とした前記テンプレート被写体画像の慣性モーメントを前記テンプレート被写体画像の特徴量とし、前記入力画像用の2値マスク画像内に設定した所定領域内の重心を中心とした前記入力被写体画像の慣性モーメントを前記入力被写体画像の特徴量とし、前記テンプレート被写体画像の特徴量、および前記入力被写体画像の特徴量に基づいて、前記テンプレート被写体画像と前記入力被写体画像との類似度を演算する。
本発明の第25の態様による画像合成コンピュータプログラムは、コンピュータで実行される画像合成コンピュータプログラムであって、前記画像合成コンピュータプログラムにより前記コンピュータは、請求項14〜20のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、第1の画像から抽出した被写体像の前記第1の画像における抽出位置を特定する特定手順と、請求項14〜20のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、第2の画像から被写体像のみを抽出した被写体画像を生成する被写体画像生成手順と、前記第1の画像における前記被写体像の抽出位置に、前記第2の画像から生成した前記被写体画像を合成する合成手順とを実行する。
本発明の第26の態様による被写体抽出装置は、請求項14〜20のいずれか一項に記載の被写体抽出コンピュータプログラムを実行するプログラム実行部を備える。
本発明の第27の態様による被写体追跡装置は、請求項21〜24のいずれか一項に記載の被写体追跡コンピュータプログラムを実行するプログラム実行部を備える。
本発明の第28の態様による画像合成装置は、請求項25に記載の画像合成コンピュータプログラムを実行するプログラム実行部を備える。
Y = 0.299R+0.587G+0.114B ・・・(1)
Cb=−0.169R−0.332G+0.500B ・・・(2)
Cr= 0.500R−0.419G−0.081B ・・・(3)
(1)追跡対象とする被写体像を含む画像から処理画像としてのテンプレート画像を抽出し、テンプレート画像をY画像、Cb画像、Cr画像の各成分画像に変換した後、各成分画像をそれぞれの濃度中央値を閾値として2値化した。そして、Y画像の2値マスク画像、Cb画像の2値マスク画像、Cr画像の2値マスク画像のうち、重心周りの慣性モーメントが最小となる2値マスク画像を被写体抽出用の2値マスク画像として選択するようにした。これによって、重心周りの慣性モーメントが最小となる2値マスク画像においては、重心周りに白い領域がまとまって集中しており、被写体像は画像の重心付近に存在していることが多いことを加味して、被写体を抽出するために最適な2値マスク画像を選択することができる。
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
(1)上述した実施の形態では、RGB表色系で表されているテンプレート画像、および入力画像を、YCbCr色空間における輝度成分からなる輝度画像と色差成分からなる色差画像とに変換する例について説明した。しかしながら、YIQ色空間における輝度成分からなる輝度画像と色差成分からなる色差画像とに変換するようにしてもよい。
評価値=白エリア面積/重心周りの慣性モーメント ・・・(4)
日本国特許出願2006年第125202号(2006年4月28日出願)
Claims (28)
- RGB色空間により表される第1画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、
前記輝度画像と前記色差画像とをそれぞれ前記第2画像として、所定の閾値を用いて前記第2画像を2値化して被写体抽出用の2値マスク画像を生成し、
前記輝度画像の2値マスク画像と前記色差画像の2値マスク画像の中から所定の評価値を用いて選択した1つの2値マスク画像を前記被写体抽出用の2値マスク画像とし、
前記第1画像と前記被写体抽出用の2値マスク画像とに基づいて、前記第1画像から背景領域を除去して前記第1画像内に含まれる被写体像を抽出した被写体画像を生成する被写体抽出方法。 - 請求項1に記載の被写体抽出方法において、
前記第2画像の濃度平均値、または濃度中央値を前記所定の閾値として、前記2値マスク画像を生成する被写体抽出方法。 - 請求項1または2に記載の被写体抽出方法において、
前記輝度成分と色差成分とからなる色空間は、YCbCr色空間である被写体抽出方法。 - 請求項1または2に記載の被写体抽出方法において、
前記輝度成分と色差成分とからなる色空間は、YIQ色空間である被写体抽出方法。 - 請求項1〜4のいずれか一項に記載の被写体抽出方法において、
前記所定の評価値は、前記輝度画像の2値マスク画像の重心周りの慣性モーメント、および前記色差画像の2値マスク画像の重心周りの慣性モーメントである被写体抽出方法。 - 請求項1〜4のいずれか一項に記載の被写体抽出方法において、
前記所定の評価値は、前記輝度画像内における白色の領域の面積を前記輝度画像の2値マスク画像の重心周りの慣性モーメントで除算することにより算出される値、および前記色差画像内における白色の領域の面積を前記色差画像の2値マスク画像の重心周りの慣性モーメントで除算することにより算出される値である被写体抽出方法。 - 請求項1〜6のいずれか一項に記載の被写体抽出方法において、
前記第1画像と前記被写体抽出用の2値マスク画像との論理積により得られる画像を前記被写体画像とする被写体抽出方法。 - 請求項1〜7のいずれか一項に記載の被写体抽出方法を使用して入力画像の各フレームから背景領域を除去し、前記入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成し、
テンプレート画像と、前記入力被写体画像との類似度に基づいて、前記入力画像におけるフレーム間での被写体像の動きを追跡する被写体追跡方法。 - 請求項1〜7のいずれか一項に記載の被写体抽出方法を使用してテンプレート画像から背景領域を除去し、前記テンプレート画像内に含まれる被写体像のみを抽出したテンプレート被写体画像を生成し、
請求項1〜7のいずれか一項に記載の被写体抽出方法を使用して入力画像の各フレームから背景領域を除去し、前記入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成し、
前記テンプレート被写体画像と、前記入力被写体画像との類似度に基づいて、前記入力画像におけるフレーム間での被写体像の動きを追跡する被写体追跡方法。 - 請求項9に記載の被写体追跡方法において、
前記テンプレート画像はRGB色空間により表される画像であり、
前記テンプレート画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、
前記輝度画像と前記色差画像とを、それぞれの画像の濃度平均値、または濃度中央値を閾値として2値化して2値マスク画像を生成し、
前記輝度画像の2値マスク画像と前記色差画像の2値マスク画像の中から所定の評価値を用いて選択した1つの2値マスク画像をテンプレート用の2値マスク画像として選択し、
前記テンプレート画像と前記テンプレート用の2値マスク画像との論理積により得られる画像を前記テンプレート被写体画像とする被写体追跡方法。 - 請求項10に記載の被写体追跡方法において、
前記入力画像はRGB色空間により表される画像であり、
前記入力画像に基づいて、前記テンプレート用の2値マスク画像として選択した2値マスク画像と同じ成分からなる成分画像を生成し、
前記成分画像を前記成分画像の濃度平均値、または濃度中央値を閾値として2値化して入力画像用の2値マスク画像を生成し、
前記入力画像と前記入力画像用の2値マスク画像との論理積により得られる画像を前記入力被写体画像とする被写体追跡方法。 - 請求項11に記載の被写体追跡方法において、
前記テンプレート用の2値マスク画像の重心を中心とした前記テンプレート被写体画像の慣性モーメントを前記テンプレート被写体画像の特徴量とし、前記入力画像用の2値マスク画像内に設定した所定領域内の重心を中心とした前記入力被写体画像の慣性モーメントを前記入力被写体画像の特徴量とし、
前記テンプレート被写体画像の特徴量、および前記入力被写体画像の特徴量に基づいて、前記テンプレート被写体画像と前記入力被写体画像との類似度を演算する被写体追跡方法。 - 請求項1〜7のいずれか一項に記載の被写体抽出方法を使用して第1の画像から抽出した被写体像の前記第1の画像における抽出位置を特定し、
請求項1〜7のいずれか一項に記載の被写体抽出方法を使用して第2の画像から被写体像のみを抽出した被写体画像を生成し、
前記第1の画像における前記被写体像の抽出位置に、前記第2の画像から生成した前記被写体画像を合成する画像合成方法。 - コンピュータで実行される被写体抽出コンピュータプログラムであって、
前記被写体抽出コンピュータプログラムにより前記コンピュータは、
RGB色空間により表される第1画像に所定の画像処理を施した第2画像を所定の閾値を用いて2値化して被写体抽出用の2値マスク画像を生成する2値マスク画像生成手順と、
第1画像と前記被写体抽出用の2値マスク画像とに基づいて、前記第1画像から背景領域を除去して前記第1画像内に含まれる被写体像を抽出した被写体画像を生成する被写体画像生成手順とを実行し、/
前記2値マスク画像生成手順は、
前記第1画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、
前記輝度画像と前記色差画像とをそれぞれ前記第2画像として前記2値マスク画像を生成し、前記輝度画像の2値マスク画像と前記色差画像の2値マスク画像の中から所定の評価値を用いて選択した1つの2値マスク画像を前記被写体抽出用の2値マスク画像とする。 - 請求項14に記載の被写体抽出コンピュータプログラムにおいて、
前記2値マスク画像生成手順は、前記第2画像の濃度平均値、または濃度中央値を前記所定の閾値として、前記2値マスク画像を生成する。 - 請求項14に記載の被写体抽出コンピュータプログラムにおいて、
前記輝度成分と色差成分とからなる色空間は、YCbCr色空間である。 - 請求項14に記載の被写体抽出コンピュータプログラムにおいて、
前記輝度成分と色差成分とからなる色空間は、YIQ色空間である。 - 請求項14〜17のいずれか一項に記載の被写体抽出コンピュータプログラムにおいて、
前記所定の評価値は、前記輝度画像の2値マスク画像の重心周りの慣性モーメント、および前記色差画像の2値マスク画像の重心周りの慣性モーメントである。 - 請求項14〜17のいずれか一項に記載の被写体抽出コンピュータプログラムにおいて、
前記所定の評価値は、前記輝度画像内における白色の領域の面積を前記輝度画像の2値マスク画像の重心周りの慣性モーメントで除算することにより算出される値、および前記色差画像内における白色の領域の面積を前記色差画像の2値マスク画像の重心周りの慣性モーメントで除算することにより算出される値である。 - 請求項14〜19のいずれか一項に記載の被写体抽出コンピュータプログラムにおいて、
前記被写体画像生成手順は、前記第1画像と前記被写体抽出用の2値マスク画像との論理積により得られる画像を前記被写体画像とする。 - コンピュータで実行される被写体追跡コンピュータプログラムであって、
前記被写体追跡コンピュータプログラムにより前記コンピュータは、
請求項14〜20のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、入力画像の各フレームから背景領域を除去して前記入力画像内に含まれる被写体像を抽出した入力被写体画像を生成する入力被写体画像生成手順と、
テンプレート画像と、前記入力被写体画像との類似度に基づいて、前記入力画像におけるフレーム間での被写体像の動きを追跡する被写体追跡手順とを実行する。 - コンピュータで実行される被写体追跡コンピュータプログラムであって、
前記被写体追跡コンピュータプログラムにより前記コンピュータは、
請求項14〜20のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、RGB色空間により表されるテンプレート画像から背景領域を除去して前記テンプレート画像内に含まれる被写体像を抽出したテンプレート被写体画像を生成するテンプレート被写体画像生成手順と、
請求項14〜20のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、入力画像の各フレームから背景領域を除去して前記入力画像内に含まれる被写体像のみを抽出した入力被写体画像を生成する入力被写体画像生成手順と、
前記テンプレート被写体画像と、前記入力被写体画像との類似度に基づいて、前記入力画像におけるフレーム間での被写体像の動きを追跡する被写体追跡手順とを実行し、
前記テンプレート被写体画像生成手順は、
前記テンプレート画像に基づいて、輝度成分からなる輝度画像と色差成分からなる色差画像とを生成し、
前記輝度画像と前記色差画像とを、それぞれの画像の濃度平均値、または濃度中央値を閾値として2値化して2値マスク画像を生成し、
前記輝度画像の2値マスク画像と前記色差画像の2値マスク画像の中から所定の評価値を用いて選択した1つの2値マスク画像をテンプレート用の2値マスク画像として選択し、
前記テンプレート画像と前記テンプレート用の2値マスク画像との論理積により得られる画像を前記テンプレート被写体画像とする。 - 請求項22に記載の被写体追跡コンピュータプログラムにおいて、
前記入力画像はRGB色空間により表される画像であり、
前記入力被写体画像生成手順は、
前記入力画像に基づいて、前記テンプレート用の2値マスク画像として選択した2値マスク画像と同じ成分からなる成分画像を生成し、
前記成分画像を前記成分画像の濃度平均値、または濃度中央値を閾値として2値化して入力画像用の2値マスク画像を生成し、
前記入力画像と前記入力画像用の2値マスク画像との論理積により得られる画像を前記入力被写体画像とする。 - 請求項23に記載の被写体追跡コンピュータプログラムにおいて、
前記被写体追跡手順は、
前記テンプレート用の2値マスク画像の重心を中心とした前記テンプレート被写体画像の慣性モーメントを前記テンプレート被写体画像の特徴量とし、前記入力画像用の2値マスク画像内に設定した所定領域内の重心を中心とした前記入力被写体画像の慣性モーメントを前記入力被写体画像の特徴量とし、
前記テンプレート被写体画像の特徴量、および前記入力被写体画像の特徴量に基づいて、前記テンプレート被写体画像と前記入力被写体画像との類似度を演算する。 - コンピュータで実行される画像合成コンピュータプログラムであって、
前記画像合成コンピュータプログラムにより前記コンピュータは、
請求項14〜20のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、第1の画像から抽出した被写体像の前記第1の画像における抽出位置を特定する特定手順と、
請求項14〜20のいずれか一項に記載の被写体抽出コンピュータプログラムを実行して、第2の画像から被写体像のみを抽出した被写体画像を生成する被写体画像生成手順と、
前記第1の画像における前記被写体像の抽出位置に、前記第2の画像から生成した前記被写体画像を合成する合成手順とを実行する。 - 被写体抽出装置は、
請求項14〜20のいずれか一項に記載の被写体抽出コンピュータプログラムを実行するプログラム実行部を備える。 - 被写体追跡装置は、
請求項21〜24のいずれか一項に記載の被写体追跡コンピュータプログラムを実行するプログラム実行部を備える。 - 画像合成装置は、
請求項25に記載の画像合成コンピュータプログラムを実行するプログラム実行部を備える。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008513191A JP4924606B2 (ja) | 2006-04-28 | 2007-04-23 | 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006125202 | 2006-04-28 | ||
JP2006125202 | 2006-04-28 | ||
JP2008513191A JP4924606B2 (ja) | 2006-04-28 | 2007-04-23 | 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置 |
PCT/JP2007/058739 WO2007125866A1 (ja) | 2006-04-28 | 2007-04-23 | 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2007125866A1 JPWO2007125866A1 (ja) | 2009-09-10 |
JP4924606B2 true JP4924606B2 (ja) | 2012-04-25 |
Family
ID=38655390
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008513191A Expired - Fee Related JP4924606B2 (ja) | 2006-04-28 | 2007-04-23 | 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8254630B2 (ja) |
EP (1) | EP2015251B1 (ja) |
JP (1) | JP4924606B2 (ja) |
AT (1) | ATE543159T1 (ja) |
WO (1) | WO2007125866A1 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009141475A (ja) * | 2007-12-04 | 2009-06-25 | Nikon Corp | カメラ |
JP5012477B2 (ja) * | 2007-12-12 | 2012-08-29 | 株式会社ニコン | 部分画像抽出方法および部分画像抽出装置 |
US8682056B2 (en) * | 2008-06-30 | 2014-03-25 | Ncr Corporation | Media identification |
JP5178441B2 (ja) * | 2008-10-14 | 2013-04-10 | 三洋電機株式会社 | 電子カメラ |
US8320662B2 (en) * | 2009-01-07 | 2012-11-27 | National Instruments Corporation | Distinguishing colors of illuminated objects using machine vision |
JP5656370B2 (ja) * | 2009-07-01 | 2015-01-21 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
JP5246078B2 (ja) * | 2009-07-10 | 2013-07-24 | 株式会社ニコン | 被写***置特定用プログラム、およびカメラ |
US8509482B2 (en) * | 2009-12-21 | 2013-08-13 | Canon Kabushiki Kaisha | Subject tracking apparatus, subject region extraction apparatus, and control methods therefor |
JP5240305B2 (ja) * | 2010-03-19 | 2013-07-17 | 株式会社ニコン | 被写体特定用プログラム、およびカメラ |
US8531733B2 (en) * | 2010-04-06 | 2013-09-10 | Xerox Corporation | Image processing system with electronic book reader mode |
JP2012039210A (ja) * | 2010-08-04 | 2012-02-23 | Nikon Corp | 被写体特定用プログラム、およびカメラ |
JP5691617B2 (ja) * | 2011-02-21 | 2015-04-01 | 株式会社ニコン | 被写体特定装置、および被写体追尾装置 |
US8873841B2 (en) * | 2011-04-21 | 2014-10-28 | Nokia Corporation | Methods and apparatuses for facilitating gesture recognition |
US8983176B2 (en) | 2013-01-02 | 2015-03-17 | International Business Machines Corporation | Image selection and masking using imported depth information |
US9183620B2 (en) | 2013-11-21 | 2015-11-10 | International Business Machines Corporation | Automated tilt and shift optimization |
US9449234B2 (en) | 2014-03-31 | 2016-09-20 | International Business Machines Corporation | Displaying relative motion of objects in an image |
US9196027B2 (en) | 2014-03-31 | 2015-11-24 | International Business Machines Corporation | Automatic focus stacking of captured images |
US9300857B2 (en) | 2014-04-09 | 2016-03-29 | International Business Machines Corporation | Real-time sharpening of raw digital images |
CN110832495A (zh) * | 2018-07-13 | 2020-02-21 | 深圳市大疆创新科技有限公司 | 波浪识别方法、装置、计算机可读存储介质和无人飞行器 |
DE102019119138B4 (de) * | 2019-07-15 | 2022-01-20 | Deutsche Post Ag | Bestimmen einer Verteil- und/oder Sortierinformation zum automatisierten Verteilen und/oder Sortieren einer Sendung |
CN113111883B (zh) * | 2021-03-23 | 2023-06-06 | 浙江大华技术股份有限公司 | 车牌检测方法、电子设备及存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0898184A (ja) * | 1994-09-28 | 1996-04-12 | Nec Corp | 人物動き領域検出装置 |
JPH11224327A (ja) * | 1998-02-09 | 1999-08-17 | Fujitsu Ltd | ディジタル画像処理装置 |
JP2002190029A (ja) * | 2000-12-21 | 2002-07-05 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
JP2003216955A (ja) * | 2002-01-23 | 2003-07-31 | Sharp Corp | ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体 |
JP2004159211A (ja) * | 2002-11-08 | 2004-06-03 | Pentax Corp | デジタルカメラおよび画像生成方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07306483A (ja) | 1994-05-12 | 1995-11-21 | Fuji Photo Film Co Ltd | 撮影画面の顔領域検出方法 |
US6690822B1 (en) * | 2000-10-20 | 2004-02-10 | Eastman Kodak Company | Method for detecting skin color in a digital image |
US6952286B2 (en) * | 2000-12-07 | 2005-10-04 | Eastman Kodak Company | Doubleprint photofinishing service with the second print having subject content-based modifications |
US7319780B2 (en) * | 2002-11-25 | 2008-01-15 | Eastman Kodak Company | Imaging method and system for health monitoring and personal security |
US7430335B2 (en) * | 2003-08-13 | 2008-09-30 | Apple Inc | Pre-processing method and system for data reduction of video sequences and bit rate reduction of compressed video sequences using spatial filtering |
JP2005293334A (ja) | 2004-04-01 | 2005-10-20 | Nikon Corp | テンプレートマッチング装置 |
CA2568633C (en) * | 2004-10-15 | 2008-04-01 | Oren Halpern | A system and a method for improving the captured images of digital still cameras |
JP2006125202A (ja) | 2004-10-26 | 2006-05-18 | Toyota Motor Corp | 筒内直噴内燃機関用の燃料噴射弁 |
JP2006157817A (ja) | 2004-12-01 | 2006-06-15 | Nikon Corp | デジタルカメラ、画像処理システム及び画像処理プログラム |
US8355595B2 (en) * | 2007-05-15 | 2013-01-15 | Xerox Corporation | Contrast enhancement methods and apparatuses |
US7916905B2 (en) * | 2009-02-02 | 2011-03-29 | Kabushiki Kaisha Toshiba | System and method for image facial area detection employing skin tones |
-
2007
- 2007-04-23 JP JP2008513191A patent/JP4924606B2/ja not_active Expired - Fee Related
- 2007-04-23 AT AT07742174T patent/ATE543159T1/de active
- 2007-04-23 WO PCT/JP2007/058739 patent/WO2007125866A1/ja active Application Filing
- 2007-04-23 EP EP07742174A patent/EP2015251B1/en active Active
- 2007-04-23 US US12/226,663 patent/US8254630B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0898184A (ja) * | 1994-09-28 | 1996-04-12 | Nec Corp | 人物動き領域検出装置 |
JPH11224327A (ja) * | 1998-02-09 | 1999-08-17 | Fujitsu Ltd | ディジタル画像処理装置 |
JP2002190029A (ja) * | 2000-12-21 | 2002-07-05 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
JP2003216955A (ja) * | 2002-01-23 | 2003-07-31 | Sharp Corp | ジェスチャ認識方法、ジェスチャ認識装置、対話装置及びジェスチャ認識プログラムを記録した記録媒体 |
JP2004159211A (ja) * | 2002-11-08 | 2004-06-03 | Pentax Corp | デジタルカメラおよび画像生成方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2015251B1 (en) | 2012-01-25 |
US8254630B2 (en) | 2012-08-28 |
US20090141937A1 (en) | 2009-06-04 |
JPWO2007125866A1 (ja) | 2009-09-10 |
ATE543159T1 (de) | 2012-02-15 |
WO2007125866A1 (ja) | 2007-11-08 |
EP2015251A1 (en) | 2009-01-14 |
EP2015251A4 (en) | 2010-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4924606B2 (ja) | 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置 | |
KR101324268B1 (ko) | 화상 식별 방법 및 촬상장치 | |
KR101223046B1 (ko) | 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법 | |
JP4848965B2 (ja) | 撮像装置 | |
JP5246078B2 (ja) | 被写***置特定用プログラム、およびカメラ | |
JP4798236B2 (ja) | 撮像装置、画像処理方法及びプログラム | |
US8558942B2 (en) | Focusing measurement device, focusing measurement method, and program | |
US8830359B2 (en) | Image processing apparatus, imaging apparatus, and computer readable medium | |
JP2009123081A (ja) | 顔検出方法及び撮影装置 | |
JP5504990B2 (ja) | 撮像装置、画像処理装置及びプログラム | |
JP4565273B2 (ja) | 被写体追跡装置、およびカメラ | |
WO2012014946A1 (ja) | 画像処理装置、および画像処理プログラム | |
JP2012175361A (ja) | 被写体特定装置、および被写体追尾装置 | |
JP5012477B2 (ja) | 部分画像抽出方法および部分画像抽出装置 | |
JP5509621B2 (ja) | 画像処理装置、カメラおよびプログラム | |
JP4534750B2 (ja) | 画像処理装置および画像処理プログラム | |
JP5539565B2 (ja) | 撮像装置及び被写体追跡方法 | |
US8675958B2 (en) | Subject determination method, computer program product for determining subject, and camera | |
JP5247419B2 (ja) | 撮像装置および被写体追跡方法 | |
JP2005004287A (ja) | 顔画像検出装置およびその制御方法 | |
JP2014153517A (ja) | 画像処理装置および画像処理方法、プログラム並びに記憶媒体 | |
JP5092958B2 (ja) | 画像処理装置、及び、プログラム | |
JP2017118341A (ja) | 画像処理装置、撮像装置、電子機器及び画像処理プログラム | |
JP6331363B2 (ja) | 被写体特定装置、撮像装置およびプログラム | |
JP2011254145A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120123 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4924606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150217 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |