JP2006318364A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2006318364A JP2006318364A JP2005142521A JP2005142521A JP2006318364A JP 2006318364 A JP2006318364 A JP 2006318364A JP 2005142521 A JP2005142521 A JP 2005142521A JP 2005142521 A JP2005142521 A JP 2005142521A JP 2006318364 A JP2006318364 A JP 2006318364A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- imaging
- resolution
- imaging operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Editing Of Facsimile Originals (AREA)
Abstract
【課題】 撮像素子での処理動作を工夫し、これに画像処理回路での処理を組み合わせることによって、効率よく顔検出処理を行う。
【解決手段】 撮像素子12は、全画素領域から素子の持つ解像度より低解像度で撮像することのできる解像度変換撮像動作と、全画素領域のうち一部の領域に限定して撮像動作を実施する部分撮像動作とを実施でき、画像処理回路16は、撮像素子12の解像度変換撮像動作によって得られた異なる時間の解像度変換撮像画像から移動物体が存在する可能性のある領域を検出する移動物体検出機能部161と、この移動物体検出機能部161によって検出された領域に対し撮像素子12による部分撮像動作によって得られた部分画像データを対象として、人物の顔らしい領域を検出する顔検出機能部162とを有している。【選択図】 図1
【解決手段】 撮像素子12は、全画素領域から素子の持つ解像度より低解像度で撮像することのできる解像度変換撮像動作と、全画素領域のうち一部の領域に限定して撮像動作を実施する部分撮像動作とを実施でき、画像処理回路16は、撮像素子12の解像度変換撮像動作によって得られた異なる時間の解像度変換撮像画像から移動物体が存在する可能性のある領域を検出する移動物体検出機能部161と、この移動物体検出機能部161によって検出された領域に対し撮像素子12による部分撮像動作によって得られた部分画像データを対象として、人物の顔らしい領域を検出する顔検出機能部162とを有している。【選択図】 図1
Description
本発明は、撮像画像から人物の顔を検出する画像処理装置に関する。
従来から、顔検出装置あるいは顔認識装置(顔照合装置)に関する種々の技術が提案されている。
例えば、特許文献1に記載の人物認識装置は、CCDカメラにより撮影された画像信号に関して前フレームとの差分を取り、その差分がしきい値決定部及び比較部によりある程度以上であると検出されたときにその部分を動き物体と認識し、その認識した動き物体の最上部を検出し、この最上部を基準として顔画像のあるべき画像エリアを特定し、その特定した画像エリアに、顔特徴である眉毛、目、口などの横エッジが検出された場合に顔と特定するようになっている。
また、上記の顔認識技術、すなわち、顔特徴である眉毛、目、口などの横エッジが検出されたか否かによって顔と認識する技術に関しては、例えば特許文献2にも記載されている。また、顔の部分の特徴として、目、鼻、口、目じりの皺の模様などに関する特徴を利用して顔を認識する技術も提案されている(例えば、特許文献3参照)。
また、画像中の動きのある対象物の占める領域を効率良く認識する技術も提案されている(例えば、特許文献4参照)。この特許文献4に記載の技術は、動きのある対象物を撮影した画像を複数のブロックに分割し、時間的に前後する少なくとも2フレーム分の画像の各ブロックの画素データに基づいて動きが発生しているブロックを検出して対象物に相当する動領域を検出し、続いてこの検出された動領域に対してあらかじめ規定されている対象物の形状モデルを当てはめてその内部に含まれる領域を対象物の推定領域として認識し、これによって画像中に占める動きのある対象物の領域を認識するようになっている。
また、状況に応じて、適切な処理負荷で画像処理を行うことが可能な画像処理方法も提案されている(例えば、特許文献5参照)。この画像処理方法は、映像を用いた双方向アウェアネスシステム等の映像通信システムに利用される画像処理方法であって、ユーザが双方向アウェアネスシステム機能を利用しているときは低解像度画像を選択し、会議室機能を利用しているときには高解像度画面を選択するようになっている。
特許第3088880号公報
特許第3025133号公報
特開2002−150288号公報
特開10−275237号公報
特開2002−158982号公報
上記従来技術によれば、撮影画像から動きのある領域を検出し、その領域から顔画像を検出することが可能である。しかし、上記従来技術はいずれも、撮像素子によって撮影された画像に基づき、その後の処理を工夫することで顔を検出する技術であって、画像データを取得するための撮像素子での処理動作については特に考慮されていない。すなわち、上記従来技術はいずれも、撮像素子によって撮影された全画素データを画像処理回路に出力し、画像処理回路側において、得られた画像データに種々の処理を施すことによって顔を検出している。
ところで、撮影画像から動きのある領域を検出するためには、撮像素子において高速処理が必要となる。この場合、撮影画像から動きのある領域を検出する処理は、撮像素子で撮影された全画素の情報を全て読み出して処理する必要はなく、ある程度間引いたような情報によっておおよその当たりをつけるような粗い処理でもよい。これに対して、動きのある領域を検出後、その領域から顔画像を検出するための処理は、その領域の撮像画素の全画素について情報を読み出して、細かく処理をする必要がある。このような処理方法によれば、全画素読み出しが不要であるため、撮像素子での高速処理が可能であるとともに、この読み出した情報を一旦保存するメモリの容量も節約することが可能となる。
本発明はかかる点に着目して創案されたもので、その目的は、撮像素子での処理動作を工夫し、これに画像処理回路での処理を組み合わせることによって、効率よく顔検出処理を行うことができる画像処理装置を提供することにある。
本発明の画像処理装置は、撮影レンズと、撮像素子と、撮像素子駆動回路と、撮像処理出力信号をデジタル化するAD変換回路と、デジタル化された画像データを一時的に蓄えるメモリと、蓄えられた画像データに対して演算処理を実施することができる画像処理回路とからなる画像処理装置であって、前記撮像素子は、全画素領域から素子の持つ解像度より低解像度で撮像することのできる解像度変換撮像動作、及び全画素領域のうち一部の領域に限定して撮像動作を実施する部分撮像動作を実施でき、前記画像処理回路は、前記撮像素子の解像度変換撮像動作によって得られた異なる時間の解像度変換撮像画像から移動物体が存在する可能性のある領域を検出する移動物体検出機能と、この移動物体検出機能によって検出された領域に対し前記撮像素子による部分撮像動作によって得られた部分画像データを対象として、人物の顔らしい領域を検出する顔検出機能とを有することを特徴としている。
すなわち、本発明の画像処理装置は、撮像素子であるイメージセンサを種々の動作状態で使用して、異なる画像サイズ、異なる撮影範囲で撮影することに対応している。すなわち、顔の存在位置をおおよそ当たりをつけて少ない画素数の画像データを顔検出機能部に送ることによって、効率良く顔検出処理が実施可能となり、全体としての処理を高速化することが可能となる。なお、本発明の画像処理装置は、検出するべき人物が静止していないことを前提としているため、写真や印刷物等の純粋な静止画像には対応していない。あくまでも実世界に存在する人物をカメラで撮影する場合に対応している。この場合、本発明の画像処理装置は、広い領域を撮影するカメラを用いて、人物が画面全体としては小さく撮影されるような場合の顔検出処理に特に有効である。
ここで、前記解像度変換撮像動作機能としては、一定間隔で間引いて限定した画素に対して撮像動作を実施する間引き撮像動作とすることができる。または、近傍の複数画素の出力を加算して1画素としてまとめて読み出す平均加算読み出し動作とすることもできる。なお、このような間引き撮像動作や平均加算読み出し動作を実現するために、本発明では撮像素子としてCMOS(Complementary Metal-Oxide Semiconductor )センサを使用している。CMOSセンサを用いた撮像素子では、上記のような間引き撮像動作や平均加算読み出し動作が可能である。ただし、撮像素子としては、1画素単位で情報の読み出しを制御できるイメージセンサであればよく、CMOSセンサに限定されるものではない。
また、前記移動物体検出機能の検出動作としては、フレーム間差分を用いることが可能である。または、水平及び垂直方向の累積加算の時間差分を用いることも可能である。
本発明の画像処理装置によれば、顔の存在位置をおおよそ当たりをつけて少ない画素数の画像データを顔検出処理に送ることによって、効率良く顔検出処理を実施することができ、全体としての処理を高速化することができる。また、本発明の画像処理装置は、広い領域を撮影するカメラを用いて、人物が画面全体としては小さく撮影されるような場合の顔検出処理に特に有効である。
以下、本発明の実施の形態について、図面を参照して説明する。
<実施形態1>
図1は、本発明の実施形態1に係る画像処理装置1Aの全体構成を示す機能ブロック図である。
図1は、本発明の実施形態1に係る画像処理装置1Aの全体構成を示す機能ブロック図である。
本実施形態1の画像処理装置1Aは、撮影レンズ11、撮像素子12、撮像素子駆動回路13、撮像素子12からのアナログの撮像処理出力信号をデジタルデータに変換するA/D変換回路14A、デジタル化された画像データを一時的に蓄えるメモリ15A、蓄えられた画像データに対して演算処理を実施する画像処理回路16、撮像素子駆動回路13及び画像処理回路16を制御する制御回路17から構成されている。
撮像素子12は、本実施形態1ではCMOSセンサによって構成されている。CMOSセンサは、特定の画素を指定して読み出すことが可能である。従って、本実施形態1では、画像処理回路6での処理動作と連動して、全画素領域から素子の持つ解像度より低解像度で撮像する解像度変換撮像動作、及び全画素領域のうち一部の領域に限定して撮像する部分撮像動作を実施するようになっている。
また、画像処理回路16は、異なる時間の解像度変換撮像画像から移動物体が存在する可能性のある領域を検出する移動物体検出機能部161、及びこの移動物体検出機能部161によって検出された領域に対し撮像素子12による部分撮像動作によって得られた部分画像データを対象として、人物の顔らしい領域を検出する顔検出機能部162を備えている。
メモリ15Aは、撮像素子12の解像度変換撮像動作によって変換された解像度変換画像、及び部分撮像動作によって得られた部分撮影画像を保存する。なお、本実施形態1では、メモリ15Aは、2フレーム分の解像度変換画像を保存できるように、第1フレームメモリ151と第2フレームメモリ152とを備えている。
ここで、撮像素子12についてより具体的に説明する。
撮像素子12は、顔検出用の画像処理に用いられる画素数より多くの画素数を持っている。例えば、SXGA(Super eXtended Graphics Array)(1280×1024ピクセル)の解像度を有しており、基本的には全画素をスキャンして素子の持つ全ての情報を読み取ることができるようになっている。
また、撮像素子12は、上記したように、画像内の全画素数より少ない部分画像(例えばQVGA(Quarter Video Graphics Array)(320×240ピクセルの解像度)を撮像する部分撮像動作と、全画素領域から素子の持つ解像度より低解像度で撮像する解像度変換撮像動作とを実施する。
制御部17は、画像処理回路16の移動物体検出機能部161の検出動作、及び顔検出機能部162による検出動作と、撮像素子12による部分撮像動作、及び解像度変換撮像動作とを連動させて制御するブロックである。
ここで、撮像素子12による解像度変換撮像動作の具体例について説明する。
ここで、撮像素子12による解像度変換撮像動作の具体例について説明する。
(具体例1)
具体例1では、撮像素子12は、制御部17による撮像素子駆動回路13の駆動制御により、一定画素おきに間引いて画素を撮像する解像度変換撮像動作を実施し、その出力を読み出すことができるようになっている。すなわち、具体例1の解像度変換撮像動作は、一定間隔で間引いて限定した画素に対して撮像動作を実施する間引き撮像動作である。この場合、上記の全画素をスキャンして読み取る場合と画角は同一となるが、解像度が異なっている。また、間引くことで、読み出す画素数も少なくなり、その意味で高速読み出しが可能となっている。
具体例1では、撮像素子12は、制御部17による撮像素子駆動回路13の駆動制御により、一定画素おきに間引いて画素を撮像する解像度変換撮像動作を実施し、その出力を読み出すことができるようになっている。すなわち、具体例1の解像度変換撮像動作は、一定間隔で間引いて限定した画素に対して撮像動作を実施する間引き撮像動作である。この場合、上記の全画素をスキャンして読み取る場合と画角は同一となるが、解像度が異なっている。また、間引くことで、読み出す画素数も少なくなり、その意味で高速読み出しが可能となっている。
図2は、具体例1の解像度変換撮像動作(間引き撮像動作)を示す説明図である。ただし、図2は、撮像素子12を構成する各画素の一部を拡大して示した図である。
この具体例1では、全画素の読み取りに対し、水平方向及び垂直方向共に4画素ごとに1画素(図中、黒丸で示す)の出力を読み出している。すなわち、間の3画素分を間引きながら読み出している。これにより、解像度は、全画素読み取りの場合に比べて1/16の低解像度となる。具体的には、1280×1024ピクセルの解像度が、320×256ピクセルの解像度に低下している。なお、図2はあくまで一つの具体例であり、間引く間隔はこれに限定されるものではない。
(具体例2)
具体例2では、撮像素子12は、撮像素子駆動回路13による駆動制御により、近傍の複数画素の出力を加算して1画素としてまとめて読み出す平均加算読み出し動作(撮像度変換撮像動作)を実施し、その出力を読み出すことができるようになっている。この場合も、上記の全画素をスキャンして読み取る場合と画角は同一となるが、解像度が異なっている。また、近傍の複数画素の出力を加算して1画素としてまとめることで、読み出す画素数も少なくなり、その意味で高速読み出しが可能となっている。
具体例2では、撮像素子12は、撮像素子駆動回路13による駆動制御により、近傍の複数画素の出力を加算して1画素としてまとめて読み出す平均加算読み出し動作(撮像度変換撮像動作)を実施し、その出力を読み出すことができるようになっている。この場合も、上記の全画素をスキャンして読み取る場合と画角は同一となるが、解像度が異なっている。また、近傍の複数画素の出力を加算して1画素としてまとめることで、読み出す画素数も少なくなり、その意味で高速読み出しが可能となっている。
図3は、具体例2の解像度変換撮像動作(平均加算読み出し動作)を示す説明図である。ただし、図3は、撮像素子12を構成する各画素の一部を拡大して示した図である。
この具体例2では、近傍の4×4画素の出力を加算して1つの画素データとして出力している。これにより、解像度は、全画素読み取りの場合に比べて1/16の低解像度となる。具体的には、1280×1024ピクセルの解像度が、320×256ピクセルの解像度に低下している。なお、図3はあくまで一つの具体例であり、加算する近傍の画素数はこれに限定されるものではない。例えば、3×3画素の出力を加算して1つの画素データとして出力してもよい。
次に、上記構成の画像処理装置1Aにおいて、上記具体例1,2のいずれかの解像度変換撮像動作を利用した解像度変換画像の時間差分による移動体検出処理及び顔検出(顔認識)処理について、図4に示す模式図を参照して説明する。
例えば、図示しない入力部より移動体検出処理モードの指示が入力されると、制御部17は、撮像素子駆動回路13を駆動制御することにより、撮像素子12に上記具体例1,2のいずれかの解像度変換撮像動作を実施させる。これにより、撮像素子12は、図4(a)に示す撮影対象画像(SXGA画像)に対し、図4(b)に示す低解像度の解像度変換読出し画像を出力し、A/D変換回路14にてデジタルの画像データに変換した後、画像処理回路16に入力する。画像処理回路16は、受け取った画像データを、部分画像用(低解像度用)のメモリ15Aの例えば第1フレームメモリ151に一旦保存する(図4(c)参照)。
移動体検出処理モードでは、上記の処理を1秒間に例えば30回繰り返す。すなわち、1秒間に30フレームの画像を撮像し、それぞれのフレーム画像について上記の処理を行う。ただし、フレームごとのメモリ15Aへの保存は、第1フレームメモリ151及び第2フレームメモリ152に交互に上書きしながら順次保存する。これにより、第1フレームメモリ151と第2フレームメモリ152には、時間の異なる(すなわち、前後2つのフレームの)画像データが保存されることになる(図4(c)参照)。
一方、画像処理回路16の移動体検出機能部161では、制御部17からの制御により、第1フレームメモリ151に保存されている画像データと第2フレームメモリ152に保存されている画像データとを比較して、フレーム間差分を演算する。そして、2つのフレーム間の同じ位置の画素の差が、特定の閾値以上の部分(画素)を1とし、それ以外の部分(画素)を0とする2値化処理を行う。そして、2値化されたデータから、値1の画素を最も多く含むようにQVGA画素数の部分領域101を決定する(図4(d)参照)。すなわち、この部分領域101が、移動物体の存在する可能性のある領域となる。
部分領域101が決定されると、制御部17は、撮像素子駆動回路13を駆動制御することにより、撮像素子12に、決定した部分領域101を撮像対象とする部分撮像動作を実施させる(図4(e)参照)。すなわち、撮像素子12は、図4(e)に示す撮影対象画像(SXGA画像)の部分領域101を撮像し、図4(f)に示す部分画像を出力し、A/D変換回路14にてデジタルの画像データに変換した後、画像処理回路16に入力する。
一方、画像処理回路16の顔検出機能部162は、制御部17からの制御により、受け取った部分画像の画像データから、顔検出アルゴリズムを用いて顔検出を行う(図4(g)参照)。そして、検出した顔の個数(ただし、0個も含む)と位置、及び大きさの情報を、図示しない後段に接続された装置に出力する。ここで、顔検出アルゴリズムについては、従来、種々の手法が提案されており、そのいずれの手法を用いてもよいため、詳細な説明は省略するが、一例を挙げると、顔らしい濃淡変化(眉、目、鼻、口等の濃淡変化)を検出することによって顔を検出すること(顔と認識すること)が可能である。
<実施形態2>
図5は、本発明の実施形態2に係る画像処理装置1Bの全体構成を示す機能ブロック図である。
図5は、本発明の実施形態2に係る画像処理装置1Bの全体構成を示す機能ブロック図である。
本実施形態2の画像処理装置1Bは、撮影レンズ11、撮像素子12、撮像素子駆動回路13、水平/垂直累積加算機能を有するA/D変換回路14B、デジタル化された画像データを一時的に蓄えるメモリ15B、蓄えられた画像データに対して演算処理を実施する画像処理回路16、撮像素子駆動回路13及び画像処理回路16を制御する制御回路17から構成されている。
ここで、撮像素子12の構成は、上記実施形態1と同様であり、具体例1及び具体例2で説明した解像度変換撮像動作と、部分撮像動作とを実施する。
また、画像処理回路16の構成も、上記実施形態1と基本的に同じであり、異なる時間の解像度変換撮像画像から移動物体が存在する可能性のある領域を検出する移動物体検出機能部161、及びこの移動物体検出機能部161によって検出された領域を対象として、撮像素子12の部分撮像動作によって得られる部分画像データを対象として、人物の顔らしい領域を検出する顔検出機能部162を備えている。ただし、移動物体検出機能部161の検出動作は上記実施形態1とは若干異なっているが、これについては後述する。
また、A/D変換回路14Bの有する水平累積加算機能は、同一行(水平方向)の全画素データの値を累積加算する機能であり、垂直累積加算機能は、同一列(垂直方向)の全画素データの値を累積加算する機能である。A/D変換回路14Bは、これらの機能によって累積加算された同一行の全画素データの累積加算値、及び同一列の全画素データの累積加算値をそれぞれデジタルデータに変換して、画像処理回路16に出力する。なお、これらの累積加算機能は、後述する画像処理回路16の移動物体検出機能部161による検出処理時に実行され、顔検出機能部162の検出処理時には実行されない。
メモリ15Bは、本実施形態2では、同一行の累積加算値を全行について保存する第1及び第2垂直ラインメモリ154,155と、同一列の累積加算値を全列について保存する第1及び第2水平ラインメモリ156,157とを備えている。
次に、上記構成の画像処理装置1Bにおいて、上記具体例1,2のいずれかの解像度変換撮像動作を利用した解像度変換画像の時間差分による移動体検出処理及び顔検出(顔認識)処理について、図6に示す模式図を参照して説明する。
例えば、図示しない入力部より移動体検出処理モードの指示が入力されると、制御部17は、撮像素子駆動回路13を駆動制御することにより、撮像素子12に上記具体例1,2のいずれかの解像度変換撮像動作を実施させる。これにより、撮像素子12は、図6(a)に示す撮影対象画像(SXGA画像)に対し、図6(b)に示す低解像度の解像度変換読出し画像を出力する。A/D変換回路14Bでは、水平累積加算機能により、図6(b)に示す画像データの同一行(水平方向)の全画素データの値を累積加算し、この累積加算値をデジタルデータに変換して、画像処理回路16に出力するとともに、垂直累積加算機能により、図16(b)に示す画像データの同一列(垂直方向)の全画素データの値を累積加算し、その累積加算値をデジタルデータに変換して、画像処理回路16に出力する。画像処理回路16は、受け取った同一行の累積加算値を全行について例えば第1垂直ラインメモリ154に保存し、同一列の累積加算値を全列について例えば第1水平ライン156に保存する(図16(c)参照)。
移動体検出処理モードでは、上記の処理を1秒間に例えば30回繰り返す。すなわち、1秒間に30フレームの画像を撮像し、それぞれのフレーム画像について上記の処理を行う。ただし、フレームごとの同一行の累積加算値の垂直ラインメモリへの保存は、第1垂直ラインメモリ154及び第2垂直ラインメモリ155に交互に上書きしながら保存し、フレームごとの同一列の累積加算値の水平ラインメモリへの保存は、第1水平ラインメモリ156及び第2水平ラインメモリ157に交互に上書きしながら保存する。これにより、第1垂直ラインメモリ154と第2垂直ラインメモリ155、及び第1水平ラインメモリ156と第2水平ラインメモリ157には、時間の異なる(すなわち、前後2つのフレームの)画像データの累積加算値が保存されることになる。
一方、画像処理回路16の移動体検出機能部161では、制御部17からの制御により、第1垂直ラインメモリ154に保存されている各行の累積加算値と第2垂直ラインメモリ155に保存されている各行の累積加算値とを比較して、水平方向のライン間差分を演算するとともに、第1水平ラインメモリ156に保存されている各列の累積加算値と第2水平ラインメモリ157に保存されている各列の累積加算値とを比較して、垂直方向のライン間差分を演算する。そして、水平方向の2つのライン間の同じ行の累積加算値の差、及び垂直方向の2つのライン間の同じ列の累積加算値の差が、それぞれ特定の閾値以上の部分(行及び/または列)を1とし、それ以外の部分(行及び/または列)を0とする2値化処理を行う。そして、2値化されたデータから、値1の行及び/または列を最も多く含むようにQVGA画素数の部分領域201を決定する(図6(d)参照)。すなわち、この部分領域201が、移動物体の存在する可能性のある領域となる。
部分領域201が決定されると、制御部17は、撮像素子駆動回路13を駆動制御することにより、撮像素子12に、決定した部分領域201を撮像対象とする部分撮像動作を実施させる(図6(e)参照)。すなわち、撮像素子12は、図6(e)に示す撮影対象画像(SXGA画像)の部分領域201を撮像し、図6(f)に示す部分画像を出力し、A/D変換回路14にてデジタルの画像データに変換した後、画像処理回路16に入力する。
一方、画像処理回路16の顔検出機能部162は、制御部17からの制御により、受け取った部分画像の画像データから、顔検出アルゴリズムを用いて顔検出を行う(図6(g)参照)。そして、検出した顔の個数(ただし、0個も含む)と位置、及び大きさの情報を、図示しない後段に接続された装置に出力する。ここで、顔検出アルゴリズムについては、従来、種々の手法が提案されており、そのいずれの手法を用いてもよいため、詳細な説明は省略する。
本発明の画像処理装置は、監視カメラ等による個人認証に活用できるとともに、テレビジョン受像機や、DVDレコーダ等の再生装置に搭載することによって、リモコン操作に関連した新たな機能を付加することができる。
1A,1B 画像処理装置
11 撮像レンズ
12 撮像素子
13 撮像素子駆動回路
14A,14B A/D変換回路
15A メモリ(フレームメモリ)
15B メモリ
151 第1フレームメモリ
152 第2フレームメモリ
154 第1垂直ラインメモリ
155 第2垂直ラインメモリ
156 第1水平ラインメモリ
157 第2水平ラインメモリ
16 画像処理回路
161 移動物体検出機能部
162 顔検出機能部
17 制御部
11 撮像レンズ
12 撮像素子
13 撮像素子駆動回路
14A,14B A/D変換回路
15A メモリ(フレームメモリ)
15B メモリ
151 第1フレームメモリ
152 第2フレームメモリ
154 第1垂直ラインメモリ
155 第2垂直ラインメモリ
156 第1水平ラインメモリ
157 第2水平ラインメモリ
16 画像処理回路
161 移動物体検出機能部
162 顔検出機能部
17 制御部
Claims (7)
- 撮影レンズと、撮像素子と、撮像素子駆動回路と、撮像処理出力信号をデジタル化するAD変換回路と、デジタル化された画像データを一時的に蓄えるメモリと、蓄えられた画像データに対して演算処理を実施することができる画像処理回路とからなる画像処理装置であって、
前記撮像素子はCMOSイメージセンサからなり、全画素領域から素子の持つ解像度より低解像度で撮像することのできる解像度変換撮像動作、及び全画素領域のうち一部の領域に限定して撮像動作を実施する部分撮像動作を実施でき、
前記画像処理回路は、前記撮像素子の解像度変換撮像動作機能によって得られた異なる時間の解像度変換撮像画像から移動物体が存在する可能性のある領域を検出する移動物体検出機能と、この移動物体検出機能によって検出された領域に対し前記撮像素子による部分撮像動作によって得られた部分画像データを対象として、人物の顔らしい領域を検出する顔検出機能とを有しており、
前記解像度変換撮像動作機能は、近傍の複数画素の出力を加算して1画素としてまとめて読み出す平均加算読み出し動作を実施し、
前記移動物体検出機能は、水平及び垂直方向の累積加算の時間差分を用いることを特徴とする画像処理装置。 - 撮影レンズと、撮像素子と、撮像素子駆動回路と、撮像処理出力信号をデジタル化するAD変換回路と、デジタル化された画像データを一時的に蓄えるメモリと、蓄えられた画像データに対して演算処理を実施することができる画像処理回路とからなる画像処理装置であって、
前記撮像素子は、全画素領域から素子の持つ解像度より低解像度で撮像することのできる解像度変換撮像動作と、全画素領域のうち一部の領域に限定して撮像動作を実施する部分撮像動作とを実施でき、
前記画像処理回路は、前記撮像素子の解像度変換撮像動作によって得られた異なる時間の解像度変換撮像画像から移動物体が存在する可能性のある領域を検出する移動物体検出機能と、この移動物体検出機能によって検出された領域に対し前記撮像素子による部分撮像動作によって得られた部分画像データを対象として、人物の顔らしい領域を検出する顔検出機能とを有することを特徴とする画像処理装置。 - 前記解像度変換撮像動作機能は、一定間隔で間引いて限定した画素に対して撮像動作を実施する間引き撮像動作であることを特徴とする請求項2に記載の画像処理装置。
- 前記解像度変換撮像動作機能は、近傍の複数画素の出力を加算して1画素としてまとめて読み出す平均加算読み出し動作であることを特徴とする請求項2に記載の画像処理装置。
- 前記撮像素子がCMOSイメージセンサによって構成されていることを特徴とする請求項2ないし請求項4のいずれかに記載の画像処理装置。
- 前記移動物体検出機能は、フレーム間差分を用いることを特徴とする請求項2ないし請求項5のいずれかに記載の画像処理装置。
- 前記移動物体検出機能は、水平及び垂直方向の累積加算の時間差分を用いることを特徴とする請求項2ないし請求項4に記載の画像処理装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005142521A JP2006318364A (ja) | 2005-05-16 | 2005-05-16 | 画像処理装置 |
US11/435,322 US20060274177A1 (en) | 2005-05-16 | 2006-05-16 | Image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005142521A JP2006318364A (ja) | 2005-05-16 | 2005-05-16 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006318364A true JP2006318364A (ja) | 2006-11-24 |
Family
ID=37493734
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005142521A Pending JP2006318364A (ja) | 2005-05-16 | 2005-05-16 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20060274177A1 (ja) |
JP (1) | JP2006318364A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010130087A (ja) * | 2008-11-25 | 2010-06-10 | Canon Inc | 監視システム及び監視方法 |
KR101332659B1 (ko) * | 2007-02-23 | 2013-11-26 | 엘지디스플레이 주식회사 | 이미지센서 내장형 액정표시장치 |
JP2015198367A (ja) * | 2014-04-01 | 2015-11-09 | キヤノン株式会社 | 撮像装置及び画像処理システム |
WO2016043461A1 (en) * | 2014-09-16 | 2016-03-24 | Samsung Electronics Co., Ltd. | Image photographing apparatus and image photographing method thereof |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8760517B2 (en) | 2010-09-27 | 2014-06-24 | Apple Inc. | Polarized images for security |
KR101660215B1 (ko) * | 2011-05-12 | 2016-09-26 | 애플 인크. | 존재 감지 |
US20120287031A1 (en) | 2011-05-12 | 2012-11-15 | Apple Inc. | Presence sensing |
CN103996292A (zh) * | 2014-05-29 | 2014-08-20 | 南京新奕天科技有限公司 | 一种基于角点匹配的运动车辆跟踪方法 |
CN105208377B (zh) * | 2015-09-14 | 2018-09-11 | 北京奇虎科技有限公司 | 图像处理方法及装置 |
EP3681145B1 (en) * | 2017-09-06 | 2024-03-20 | Sony Semiconductor Solutions Corporation | Solid-state imaging device, control method and drive method therefor, and electronic equipment |
US10817594B2 (en) | 2017-09-28 | 2020-10-27 | Apple Inc. | Wearable electronic device having a light field camera usable to perform bioauthentication from a dorsal side of a forearm near a wrist |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6917377B2 (en) * | 2000-02-04 | 2005-07-12 | Olympus Optical Co., Ltd. | Microscope system |
US20050104958A1 (en) * | 2003-11-13 | 2005-05-19 | Geoffrey Egnal | Active camera video-based surveillance systems and methods |
-
2005
- 2005-05-16 JP JP2005142521A patent/JP2006318364A/ja active Pending
-
2006
- 2006-05-16 US US11/435,322 patent/US20060274177A1/en not_active Abandoned
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101332659B1 (ko) * | 2007-02-23 | 2013-11-26 | 엘지디스플레이 주식회사 | 이미지센서 내장형 액정표시장치 |
JP2010130087A (ja) * | 2008-11-25 | 2010-06-10 | Canon Inc | 監視システム及び監視方法 |
US8437504B2 (en) | 2008-11-25 | 2013-05-07 | Canon Kabushiki Kaisha | Imaging system and imaging method |
US8792681B2 (en) | 2008-11-25 | 2014-07-29 | Canon Kabushiki Kaisha | Imaging system and imaging method |
JP2015198367A (ja) * | 2014-04-01 | 2015-11-09 | キヤノン株式会社 | 撮像装置及び画像処理システム |
US10536679B2 (en) | 2014-04-01 | 2020-01-14 | Canon Kabushiki Kaisha | Imaging apparatus and image processing system having stacked structure |
WO2016043461A1 (en) * | 2014-09-16 | 2016-03-24 | Samsung Electronics Co., Ltd. | Image photographing apparatus and image photographing method thereof |
AU2015318973B2 (en) * | 2014-09-16 | 2018-01-18 | Samsung Electronics Co., Ltd. | Image photographing apparatus and image photographing method thereof |
Also Published As
Publication number | Publication date |
---|---|
US20060274177A1 (en) | 2006-12-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006318364A (ja) | 画像処理装置 | |
JP5390943B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5274216B2 (ja) | 監視システム及び監視方法 | |
US20030142209A1 (en) | Moving object monitoring surveillance apparatus | |
JP6049448B2 (ja) | 被写体領域追跡装置、その制御方法及びプログラム | |
US20080166052A1 (en) | Face condition determining device and imaging device | |
JP4540705B2 (ja) | 画像処理方法、画像処理システム、撮像装置、画像処理装置及びコンピュータプログラム | |
JP2007067560A (ja) | 撮像装置及びその制御方法、コンピュータプログラム及び記録媒体 | |
JP4952920B2 (ja) | 被写体判定装置、被写体判定方法及びそのプログラム | |
JP2007281555A (ja) | 撮像装置 | |
JP2008171108A (ja) | 顔状況判定処理装置および撮像装置 | |
JP4271378B2 (ja) | 撮像装置 | |
KR20140041206A (ko) | 프라이버시 마스크 생성하는 감시 카메라 및 감시 카메라의 제어 방법 | |
JP4894708B2 (ja) | 撮像装置 | |
KR101325002B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 기록 매체 | |
JP4973341B2 (ja) | ナンバープレート読取装置 | |
JP2009105559A (ja) | 撮影画像からの認識対象検出処理方法およびカメラ付き携帯型電子機器 | |
JP2008131572A (ja) | 監視カメラ装置および監視カメラの撮影方法 | |
JP2007251532A (ja) | 撮像装置及び顔領域抽出方法 | |
JP5471425B2 (ja) | 撮像装置、撮像制御プログラム及び撮像方法 | |
US8675958B2 (en) | Subject determination method, computer program product for determining subject, and camera | |
JP3481515B2 (ja) | 監視装置 | |
JP2007249526A (ja) | 撮像装置及びその顔領域抽出方法 | |
JP2008172606A (ja) | 固体撮像装置及びカメラシステム | |
JP2015080048A (ja) | カメラ装置、監視システム、これに用いるプログラム、及び撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20060823 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080328 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080422 |