JP5338978B2 - 画像処理装置および画像処理プログラム - Google Patents
画像処理装置および画像処理プログラム Download PDFInfo
- Publication number
- JP5338978B2 JP5338978B2 JP2012514622A JP2012514622A JP5338978B2 JP 5338978 B2 JP5338978 B2 JP 5338978B2 JP 2012514622 A JP2012514622 A JP 2012514622A JP 2012514622 A JP2012514622 A JP 2012514622A JP 5338978 B2 JP5338978 B2 JP 5338978B2
- Authority
- JP
- Japan
- Prior art keywords
- interest
- region
- contour
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
Description
本発明は、デジタルカメラにより得られる画像データを処理する画像処理装置および画像処理プログラムに係わる。
従来より、移動する被写体を追尾する機能を備えるデジタルカメラ(または、電子カメラ)が知られている。このようなデジタルカメラは、例えば、ユーザが所望する被写体が動く場合であっても、その被写体を追尾してフォーカスを保持することができる。
従来技術として、無彩色を含む複数の色成分領域を持つ動領域の検出・追尾を安定的に行う動領域自動追尾装置が知られている。この動領域自動追尾装置は、動領域検出手段、色特徴抽出手段、色領域再構成手段、色特徴・位置情報登録手段、色特徴マッチング動物体検出手段、カメラ制御部を備える。動領域検出手段は、撮像された時間的に異なる複数フレームからフレーム間差分処理で複数の動領域を検出する。色特徴抽出手段は、各動領域を小領域に分割し、動物体の面積が所定割合以上を占める小領域の色特徴を抽出する。色領域再構成手段は、抽出された色特徴から、検出した動領域を複数の色領域からなる動領域として再構成する。色特徴・位置情報登録手段は、再構成された動領域の色特徴と位置を登録する。色特徴マッチング動物体検出手段は、登録された色特徴と位置とから新たな動領域を検出するとともに当該動領域を色特徴・位置情報登録手段に出力する。カメラ制御部は、新たな動領域からCCDカメラ2の制御条件を決定して追尾処理を行う。(例えば、特許文献1)
また、関連技術として、複数個の粒状物体が接触した画像から種々形状の各粒状物体を分離する方法が知られている。この方法によれば、撮像装置により撮像された薬剤の画像は二値化される。デジタル画像解析判定手段は、二値画像において薬剤に対応する塊領域の輪郭線の近傍部位に複数個の参照点を分散して配置した後、互いに他の参照点同士を連結した連結線分を生成したときにどの連結線分も塊領域の外を通らない参照点の組合せを1つのグループとしてすべての参照点にグループを対応付けるグループ化を行い、参照点のグループと二値画像内における薬剤の画像領域である個別領域とを一対一に対応付けることにより、薬剤に関する検査項目を検査する。(例えば、特許文献2)
さらに、他の関連技術として、正確に細菌を判定する形状判定方法が知られている。この方法は、撮像した画像から形状判定を行う検査対象物の領域を抽出し、前記検査対象物の輪郭を算出し、前記検査対象物の中心線を算出し、前記中心線の形状から前記検査対象物の曲がり部分を検出し、前記曲がり部分を除く領域の前記検査対象物の太さを、前記輪郭算出工程で算出した輪郭から算出し、前記太さの平均値を算出し、前記太さのばらつき度合いを算出し、前記中心線の長さから前記検査対象物の長さを算出し、前記太さ平均値と、前記太さばらつき度合いと、前記検査対象物の長さから前記検査対象物の形状を判定する。(例えば、特許文献3)
従来の技術においては、画像データ上に同一または類似の色成分を有する複数の領域が存在する場合、各領域を適切に認識できないことがある。例えば、追尾対象の第1の被写体および追尾対象でない第2の被写体がデジタルカメラで撮像される場合を考える。ここで、第1および第2の被写体の色が互いに類似しているものとする。そして、動体追尾装置は、デジタルカメラで得られた画像データの色成分を利用して、第1の被写体を追尾するものとする。この場合、第1および第2の被写体に対応する色領域が画像データ上で重なり合うと、1つの色領域が検出されることとなり、第1の被写体を第2の被写体から識別して追尾することは困難である。また、第1および第2の被写体に対応する色領域が画像データ上でいったん重なり合った後に分離すると、動体追尾装置は、以降、誤って第2の被写体を追尾してしまうおそれがある。
なお、上述した関連技術においては、被写体の形状または大きさが既知である場合が想定されている。すなわち、被写体の形状が未知である場合は、目標物体を正しく追尾できないことがある。
本発明の課題は、画像データを利用する動体追尾において、追尾対象の物体に対応する画像領域を精度よく検出することである。
本発明の1つの態様に係る画像処理装置は、第1の画像フレームにおいて、注目点を含み且つ所定の条件を満たす注目領域を抽出する抽出部と、前記注目領域の幅が狭い部分で、前記注目領域を、前記注目点を含む第1の部分領域および前記注目点を含まない第2の部分領域に分割する分割部と、前記第1の部分領域内の所定の画素を、第2の画像フレームの注目点として指定する指定部、を有する。
開示の装置または方法によれば、画像データを利用する動体追尾において、追尾対象の物体に対応する画像領域を精度よく検出できる。
図1は、実施形態の画像処理装置を含むデジタルカメラ1の構成を示す図である。デジタルカメラ(電子カメラ)1は、画像入力部11、制御部12、動体追尾部13、出力部14を備える。
画像入力部11は、例えば、CCDセンサまたはCMOSセンサ等の撮像素子を含み、撮影によって画像データを生成する。このとき、画像入力部11は、所定の時間間隔で画像データを取得する。すなわち、画像入力部11は、撮影時刻の異なる画像データを次々と生成して出力する。この時間間隔は、特に限定されるものではないが、例えば、30フレーム/秒程度である。また、画像入力部11は、制御部12からのフォーカス指示に従って焦点距離を調節する機能を備えている。なお、画像入力部11は、画像データを一時的に保存する画像メモリを備えてもよい。
制御部12は、デジタルカメラ1の動作を制御する。すなわち、制御部12は、動体追尾部13を起動すると共に、画像入力部11から出力される画像データを動体追尾部13に転送して動体追尾処理を依頼する。そして、制御部12は、動体追尾部13による追尾結果に基づいて、画像入力部11に対してフォーカス指示を送る。また、制御部12は、画像入力部11により得られる画像データおよび動体追尾部13による追尾結果を出力部14に送信する。
なお、制御部12は、他の制御動作も実行する。例えば、制御部12は、ユーザインタフェースを提供し、ユーザからの指示に従ってデジタルカメラ1の動作を制御する。さらに、制御部12は、デジタルカメラ1が備える各種センサを利用して、デジタルカメラ1の動作を制御するようにしてもよい。
出力部14は、例えば液晶ディスプレイであり、画像入力部11により得られる画像データを表示する。このとき、出力部14は、画像入力部11により得られる画像データに動体追尾部13による追尾結果を重ねて表示することができる。なお、画像入力部11により得られる画像データに追尾結果を表す画像データを合成する処理は、制御部12により実行されてもよいし、出力部14により実行されてもよい。また、出力部14は、タッチパネル素子を利用して、ユーザの指示を受け付ける機能を提供するようにしてもよい。出力部14に表示される画像データは、画像入力部11により得られた画像データであるが、この画像データが実際に撮影された画像データとして記憶されなくても良い。すなわち、出力部14は、画像入力部11により得られた画像データをファインダ画像として表示できる。
動体追尾部13は、画像入力部11から出力される画像データを利用して、動体追尾処理を実行する。すなわち、動体追尾部13は、画像処理装置により実現される。ここで、画像処理装置は、例えば、動体追尾手順を記述した画像処理プログラムを実行するプロセッサを含む1または複数の半導体チップにより実現される。或いは、画像処理装置は、動体追尾手順を実現するハードウェア回路により実現されてもよい。さらに、画像処理装置は、ハードウェアおよびソフトウェアを含んでもよい。
図2は、デジタルカメラ1による動体追尾について説明する図である。ここでは、画像入力部11により時刻T、T+1、T+2において撮影が行われ、画像フレームn、n+1、n+2が生成される。このとき、出力部14は、画像フレームn、n+1、n+2を順番に表示する。また、各画像フレームには、被写体Aおよび物体Bに対応する画像領域が形成されている。この例では、被写体Aは動体であり、物体Bは非動体である。
ユーザは、例えば、出力部14に表示される画像を見ながら、フォーカスしたい被写体を指定するものとする。ここでは、ユーザは、被写体Aを選択するものとする。そして、被写体Aを選択するユーザ指示は、制御部12により受け付けられる。そうすると、制御部12は、このユーザ指示に応じて、画像入力部11に対してフォーカス指示を与える。これにより、画像入力部11は、被写体Aに対応する焦点距離で次の撮影を行う。また、制御部12は、出力部14に対して、フォーカスマークの表示を指示する。これにより、出力部14により表示される画像において、被写体Aに重ねてフォーカスマーク31が表示される。
動体追尾部13は、画像入力部11から出力される画像データを利用して、ユーザにより指定された被写体Aを追尾する。このとき、動体追尾部13は、各画像フレームn、n+1、n+2において、それぞれ被写体Aに対応する画像領域を検出する。そして、動体追尾部13による追尾結果は、制御部12に送られる。
制御部12は、上述したように、動体追尾部13による追尾結果に応じて画像入力部11へフォーカス指示を送ると共に、その追尾結果を出力部14に通知する。これにより、画像入力部11は、被写体Aが動いている場合であっても、被写体Aに対するフォーカスを維持しながら撮影動作を継続することができる。また、出力部14により表示される画像において、フォーカスマーク31の表示位置は、被写体Aの動きに応じて制御される。すなわち、図2に示すように、被写体Aに対応する画像領域にフォーカスマーク31が重ねて表示される状態が維持される。
図3は、実施形態の画像処理方法を示すフローチャートである。このフローチャートの処理は、動体追尾部13により実行される。また、このフローチャートの処理は、画像入力部11により得られる各画像フレームに対して実行される。
ステップS1においては、領域抽出処理が実行される。すなわち、動体追尾部13は、入力画像フレームにおいて、所定の条件を満たす画像領域を抽出する。なお、領域抽出処理は、例えば、公知の方法を利用して実現してもよい。
ステップS2においては、物体範囲判別処理が実行される。すなわち、動体追尾部13は、ステップS1で抽出された画像領域から、追尾対象物体の画像領域を判別する。
ステップS1の領域抽出処理は、例えば、所定の色成分を有する画像領域を抽出する。ここで、図2に示す被写体Aおよび物体Bに対応する画像領域の色成分が互いに類似しているものとする。この場合、ステップS1において、被写体Aに対応する画像領域を抽出しようとすると、被写体Aに対応する画像領域および物体Bに対応する画像領域の双方が抽出される。そうすると、ステップS2の物体範囲判別処理は、ステップS1で抽出された画像領域から、追尾対象物体である被写体Aに対応する画像領域の範囲を判別する。
ステップS1の領域抽出処理は、例えば、所定の色成分を有する画像領域を抽出する。ここで、図2に示す被写体Aおよび物体Bに対応する画像領域の色成分が互いに類似しているものとする。この場合、ステップS1において、被写体Aに対応する画像領域を抽出しようとすると、被写体Aに対応する画像領域および物体Bに対応する画像領域の双方が抽出される。そうすると、ステップS2の物体範囲判別処理は、ステップS1で抽出された画像領域から、追尾対象物体である被写体Aに対応する画像領域の範囲を判別する。
動体追尾部13は、上述の画像処理方法を提供するために、抽出部21、分割部22、指定部23を備える。また、動体追尾部13は、図示しないが、画像フレームを一時的に格納するメモリ、および抽出部21、分割部22、指定部23が画像処理のための作業領域として使用するメモリを備えている。
抽出部21は、入力画像フレームにおいて、注目点を含み且つ所定の条件を満たす注目領域を抽出する。注目点は、後で詳しく説明するが、直前の画像フレームにおいて指定された画素(または、座標)である。ただし、注目点の初期値は、例えば、ユーザにより指定される。ユーザは、出力部14に表示される画像を見ながら、フォーカスしたい被写体を指定することができる。この場合、注目点の初期値として、ユーザにより指定された被写体に対応する画像領域の中心(または、重心)が使用される。
「所定の条件」は、この例では、画素の特徴量により表わされる。画素の特長量としては、例えば、輝度成分および/または色差成分が使用される。そして、抽出部21は、注目点の画素と同じまたは類似する特徴量を有する画素を抽出する。一例として、画素の輝度成分が0〜255で表わされるときに、注目点の画素の輝度成分が「210」であるものとする。この場合、抽出部21は、例えば、入力画像フレームにおいて、輝度成分の値が200から220の範囲にある画素を抽出する。また一例として、画素の色成分がRGBのそれぞれについて0〜255で表わされるときに、注目点の画素のR成分が「100」、G成分が「140」、B成分が「85」であるものとする。この場合、抽出部21は、例えば、入力画像フレームにおいて、R成分の値が90から110の範囲、G成分が130から150の範囲、B成分が75から95の範囲の3つの条件を満たす画素を抽出する。また一例として、画素の色成分が輝度、彩度、色相の3成分から表されるときに、同様に各成分の範囲を決めて、その範囲の条件を満たす画素を抽出するようにしてもよい。
このとき、抽出部21は、注目点を含む連続する画像領域を抽出する。したがって、抽出部21は、例えば、以下の手順により注目領域を抽出する。
(1)注目点画素の特徴量を検出する。
(2)注目点の隣接画素(上、下、右、左)の特徴量と、注目点画素の特徴量との差分が閾値よりも小さければ、その隣接画素を注目領域に属する画素として抽出する。
(3)上記手順(2)により抽出された画素の隣接画素について、上記手順(2)と同様の抽出処理を行う。
(4)入力画像フレーム全域に渡って上記手順(2)〜(3)の処理を実行する。
(1)注目点画素の特徴量を検出する。
(2)注目点の隣接画素(上、下、右、左)の特徴量と、注目点画素の特徴量との差分が閾値よりも小さければ、その隣接画素を注目領域に属する画素として抽出する。
(3)上記手順(2)により抽出された画素の隣接画素について、上記手順(2)と同様の抽出処理を行う。
(4)入力画像フレーム全域に渡って上記手順(2)〜(3)の処理を実行する。
上記手順(1)〜(4)により、入力画像フレームにおいて、注目点画素と類似する特徴量を有する連続した画素領域(すなわち、注目領域)が抽出される。なお、注目領域の抽出は、特に限定されるものではないが、公知の方法により実現することができる。
図4は、抽出部21により抽出された注目領域の一例を示す図である。図4において、★印は、注目点を表している。また、斜線で描かれている領域は、抽出部21により抽出された注目領域を表している。この例では、注目領域32は、注目点を含む四角形領域32a、大きな四角形領域32b、および四角形領域32a、32b間を接続する接続領域32cを含んでいる。なお、接続領域32cの幅(図4においては、高さ)は、注目領域32の他の領域(すなわち、四角形領域32a、32b)と比較して、狭くなっている。
ここで、追尾対象物体としての被写体が移動し、画像フレーム上で、追尾対象物体に対応する画像領域が、他の物体に対応する画像領域に接近して接するまたは重なる状況について考える。一例として、図2において、被写体Aに対応する画像領域および物体Bに対応する画像領域の色成分が互いに類似しているものとする。そして、注目点は、被写体Aの画像領域内に配置されているものとする。なお、以下の説明では、被写体Aに対応する画像領域を「画像領域A」と呼び、物体Bに対応する画像領域を「画像領域B」と呼ぶことにする。
この場合、図2に示す画像フレームn、n+1においては、注目領域として画像領域Aが抽出される。すなわち、画像領域Aおよび画像領域Bが互いに離れた位置に配置されているので、抽出部21は、画像領域Bを抽出することなく、画像領域Aのみを抽出することができる。
ところが、画像フレームn+2においては、画像領域Aおよび画像領域Bが互いに接している。そうすると、抽出部21は、注目領域として、画像領域Aおよび画像領域Bを抽出する。このとき、画像領域Aおよび画像領域Bが互いに接する領域の幅は、一般に、注目領域の他の領域(すなわち、画像領域Aまたは画像領域B)の幅と比較して狭くなる。換言すれば、注目領域において幅が狭い領域が存在する場合は、注目領域が、追尾対象物体に対応する画像領域および他の物体に対応する画像領域を含んでいる可能性が高い。さらに、この注目領域を、幅が狭い部分で分割すれば、追尾対象物体に対応する画像領域および他の物体に対応する画像領域が互いに分離されることになる。
動体追尾部13の分割部22は、上述の画像領域の分割を実行する。すなわち、分割部22は、注目領域の幅が狭い部分で、その注目領域を、注目点を含む第1の部分領域および注目点を含まない第2の部分領域に分割する。例えば、図4に示す注目領域32が抽出されている場合には、「注目領域の幅が狭い部分」は、接続領域32cに相当する。そうすると、分割部22は、注目領域32を接続領域32cにおいて分割することにより、四角形領域32aおよび四角形領域32bを生成する。ここで、注目点は、四角形領域32aに配置されている。よって、この場合、分割部22は、四角形領域32aを、追尾対象物体に対応する画像領域(あるいは、追尾対象物体の一部に対応する画像領域)と判定する。このように、分割部22は、入力画像フレームにおいて、追尾対象に対応する画像領域を検出する。以下、このようにして検出される追尾対象に対応する画像領域を「追尾対象領域」と呼ぶことがある。
指定部23は、分割部22により特定された第1の部分領域内の所定の画素を、次の画像フレームの注目点として指定する。図4に示す例では、指定部23は、四角形領域32a内の所定の画素を、次の画像フレームの注目点として指定する。このとき、指定部23は、例えば、四角形領域32aの中心画素(または、重心画素)を、次の画像フレームに対する画像処理おいて使用する注目点として指定する。
このように、指定部23は、入力画像フレームにおいて検出される追尾対象領域内の所定の画素を、次の画像フレームで使用する注目点として指定する。このとき、画像入力部11は、短い時間間隔で時系列に画像フレームを生成する。このため、追尾対象としての被写体が動いている場合であっても、連続する2枚の画像フレーム間で、その被写体の画像領域の位置の差異は小さい。したがって、各画像フレームにおいて次の画像フレームのための注目点として指定される画素は、次の画像フレームにおいて追尾対象領域内に配置される可能性が高い。
動体追尾部13は、各画像フレームに対して上述の処理を実行する。すなわち、動体追尾部13は、直前の画像フレームに対する処理により指定された注目点を利用して、入力画像フレームにおいて追尾対象領域を検出し、さらに、新たに検出した追尾対象領域に基づいて次の画像フレームの注目点を指定する。したがって、動体追尾部13は、各画像フレームにおいて追尾対象領域を検出することができる。すなわち、動体の追尾が実現される。
このように、動体追尾部13は、各画像フレームにおいて追尾対象領域を検出し、検出した追尾対象領域を追尾結果として制御部12に通知する。ここで、動体追尾部13は、追尾結果を出力する出力部を備える。すなわち、出力部は、各画像フレームについて分割部22により検出される追尾対象領域を、順次、制御部12に通知する。そうすると、制御部12は、通知された追尾対象領域に対応する被写体に焦点を合わせるためのフォーカス指示を画像入力部11に与える。これにより、画像入力部11は、追尾対象としての被写体が動いている場合であっても、その被写体に対するフォーカスを維持しながら撮影動作を継続することができる。
なお、動体追尾部13の分割部22が注目領域から追尾対象の画像領域を検出する方法は、特に限定されるものではなく、いくつかの手順が考えられる。以下では、第1の実施形態および第2の実施形態について説明する。
<第1の実施形態>
図5A〜図5Gは、動体追尾方法の実施例について説明する図である。ここでは、直前の画像フレームに対する画像処理により、入力画像フレームに対する注目点が指定されているものとする。入力画像フレームに対する注目点は、図5Aにおいては、★印で表わされている。また、入力画像フレームにおいて、抽出部21により注目領域32が抽出されている。注目領域32は、例えば、注目点の画素と同じまたは類似の色成分を有する画像領域として抽出される。なお、以下の説明においても、図4と同様に、注目領域32は、四角形領域32a、32b、接続領域32cにより形成されているものとする。
図5A〜図5Gは、動体追尾方法の実施例について説明する図である。ここでは、直前の画像フレームに対する画像処理により、入力画像フレームに対する注目点が指定されているものとする。入力画像フレームに対する注目点は、図5Aにおいては、★印で表わされている。また、入力画像フレームにおいて、抽出部21により注目領域32が抽出されている。注目領域32は、例えば、注目点の画素と同じまたは類似の色成分を有する画像領域として抽出される。なお、以下の説明においても、図4と同様に、注目領域32は、四角形領域32a、32b、接続領域32cにより形成されているものとする。
分割部22は、まず、図5Aに示すように、注目領域32の輪郭上で、注目点から最も近い地点の画素を抽出する。以下の説明では、このようにして抽出される画素を「探索開始画素」と呼ぶことにする。探索開始画素は、例えば、注目点から上方向、右上方向、右方向、右下方向、下方向、左下方向、左方向、左上方向に向かってそれぞれ注目領域32の端部画素(すなわち、輪郭画素)を探索したときに、注目点からの距離が最小となる端部画素を選択することで検出される。図5Aに示す例では、探索開始画素P1が検出されている。
分割部22は、第1回目の輪郭探索を行う。すなわち、分割部22は、図5Bに示すように、探索開始画素P1から注目領域32の輪郭上の各画素を抽出する。このとき、輪郭探索は、例えば、探索開始画素P1からスタートして反時計回りに注目領域32の外周を辿って探索開始画素P1に戻る経路により実現される。あるいは、時計回りに注目領域32の外周を辿る経路であってもよい。これにより、注目領域32の輪郭が検出される。なお、以下の説明では、第1回目の輪郭探索で得られる輪郭を「輪郭1」と呼ぶ。また、第i回目の輪郭探索で得られる輪郭を「輪郭i」と呼ぶことがある。
続いて、分割部22は、第2回目の輪郭探索を行う。すなわち、分割部22は、図5Bに示す輪郭1の内側に隣接する各画素を抽出する。このとき、探索開始画素P2は、例えば、第1回目の輪郭探索と同じ方法で決定される。あるいは、第2回目の探索開始画素P2として、第1回目の輪郭探索における探索開始画素P1から見て注目領域の内側方向に隣接する画素が選択されてもよい。これにより、図5Cに示すように、輪郭2が検出される。
さらに、分割部22は、第3回目の輪郭探索を行う。すなわち、分割部22は、図5Cに示す輪郭2の内側に隣接する各画素を抽出する。このとき、探索開始画素P3は、例えば、第2回目の輪郭探索と同様の方法で決定される。この例では、図5Dに示すように、第3回目の輪郭探索における探索開始画素P3は、注目点画素と一致している。
第3回目の輪郭探索においては、上述したように、図5Cに示す輪郭2の内側に隣接する各画素が抽出される。ところが、図5Cに示すように、接続領域32cにおいては、四角形領域32aから四角形領域32bへ向かう輪郭2および四角形領域32bから四角形領域32aへ向かう輪郭2が互いに接しており、輪郭2の「内側」に画素は存在しない。したがって、探索開始画素P3から輪郭探索を開始すると、輪郭3は、図5Dに示すように、四角形領域32bにまで伸びることなく、四角形領域32a内の画素を抽出しながら探索開始画素P3に戻ることになる。
この後、分割部22は、探索開始画素を抽出できなくなるまで、上述の輪郭探索を繰り返し実行する。すなわち、分割部22は、第4回目の輪郭探索として、図5Dに示す輪郭3の内側に隣接する各画素を抽出する。この例では、図5Eに示す探索開始画素P4から輪郭探索が行われ、輪郭4が検出される。さらに、分割部22は、第5回目の輪郭探索として、図5Eに示す輪郭4の内側に隣接する各画素を抽出する。この例では、図5Fに示す探索開始画素P5から輪郭探索が行われ、輪郭5が検出される。
ここで、図5Fに示す輪郭5の「内側」には、画素は存在しない。このため、分割部22は、輪郭5の内側に隣接する画素を抽出することはできず、また、次の輪郭探索のための探索開始画素を抽出することもできない。そうすると、分割部22は、輪郭探索を終了する。
続いて、分割部22は、最後の輪郭探索において使用した探索開始画素を基準画素Rとして、追尾対象領域を作成する。この例では、第5回目の輪郭探索で使用された図5Fに示す検索開始画素P5が基準画素Rとして指定される。このとき、基準画素Rは、追尾対象物体の代表位置座標に相当する。
追尾対象領域は、上述の基準画素Rを中心として、輪郭探索の得られた輪郭の数に対応する画素範囲に相当する。この実施例では、第1〜第5回目の輪郭探索により輪郭1〜5が得られている。したがって、図5Gに示すように、基準画素Rの周りに周辺画素領域X1〜X5を生成することで、追尾対象領域が作成される。
周辺領域X1は、基準画素Rに隣接する画素を抽出することにより得られる。また、周辺領域X2は、周辺領域X1の外側に隣接する画素を抽出することにより得られる。同様に、周辺領域X3、X4、X5は、それぞれ、周辺領域X2、X3、X4の外側に隣接する画素を抽出することにより得られる。
このように、分割部22は、図5Gに示す追尾対象領域を作成する。ここで、この追尾対象領域は、注目領域32の一部である四角形領域32aに一致(または、ほぼ一致)する。このため、注目領域32から追尾対象領域を作成する処理は、実質的に、注目領域32を、四角形領域32aとその他の領域に分割する処理に相当する。或いは、注目領域32から追尾対象領域を作成する処理は、実質的に、注目領域32から、四角形領域32aを抽出する処理に相当する。
上述のようにして追尾対象領域が作成されると、指定部23は、次の画像フレームのための注目点を指定する。このとき、指定部23は、追尾対象領域を作成するために使用した基準画素Rを、次の画像フレームのための注目点として指定する。すなわち、分割部22が最後に探索した輪郭5のための探索開始画素P5が、次の画像フレームのための注目点として指定される。
図6は、図5A〜図5Gに示す画像フレームの次の画像フレームを示す図である。図6において、★印で表わされる注目点は、図5Gに示す基準画素R(すなわち、探索開始画素P5)と同じ位置である。
動体追尾部13は、この注目点を基準として、注目領域を抽出する。図6に示す実施例では、注目領域33が抽出されている。また、注目領域33は、四角形領域33a、四角形領域33b、接続領域33cにより形成されている。
さらに、動体追尾部13は、注目領域33に対して輪郭探索を実行することにより、追尾対象領域を作成する。このとき、注目点は、四角形領域33aに配置されている。したがって、図5A〜図5Gに示す実施例と同様に、注目領域33から四角形領域33aを抽出することにより、追尾対象領域が特定される。
ここで、四角形領域33bは、図5Aに示す四角形領域32bと同じ位置に配置されている。この場合、四角形領域32b、33bは、静止している物体に対応する画像領域と考えられる。一方、四角形領域33aは、図5Aに示す四角形領域32aに対して、少しだけ右下方向に移動している。この場合、四角形領域32a、33aは、動いている物体に対応する画像領域と考えられる。
このように、実施形態の画像処理方法によれば、追尾対象領域として、図5A〜図5Gに示す画像フレームにおいて四角形領域32aが検出され、図6に示す次の画像フレームにおいて四角形領域33aが検出される。すなわち、動体の追尾が実現される。
また、実施形態の画像処理方法によれば、画像フレーム上で追尾対象領域が他の物体に対応する領域に重なる場合には、注目領域の狭い部分でその注目領域を分割することで、追尾対象領域が検出される。よって、追尾対象物体が動いても、追尾対象物体の代表位置および追尾対象領域を安定して検出できる。さらに、実施形態の画像処理方法によれば、追尾対象物体の大きさ及び形状について制限はなく、任意の大きさ及び形状の物体を追尾することができる。
図7は、第1の実施形態の画像処理方法を示すフローチャートである。このフローチャートの処理は、各画像フレームに対して動体追尾部13により実行される。
ステップS11において、抽出部21は、指定されている注目点に基づいて注目領域を抽出する。入力画像フレームの注目点は、直前の画像フレームに対するステップS20の処理により指定される。また、抽出部21は、注目領域として抽出した各画素に「1」を割り当て、画像フレーム内の他の画素に「0」を割り当てることにより、画像フレームを2値化する。なお、動体追尾が開始された直後の最初の入力画像フレームに対しては、注目点は、例えば、ユーザからの指示に基づいて与えられる。
ステップS11において、抽出部21は、指定されている注目点に基づいて注目領域を抽出する。入力画像フレームの注目点は、直前の画像フレームに対するステップS20の処理により指定される。また、抽出部21は、注目領域として抽出した各画素に「1」を割り当て、画像フレーム内の他の画素に「0」を割り当てることにより、画像フレームを2値化する。なお、動体追尾が開始された直後の最初の入力画像フレームに対しては、注目点は、例えば、ユーザからの指示に基づいて与えられる。
ステップS12において、抽出部21は、注目領域の大きさを検出する。この実施例では、上述の2値化画像フレームにおいて、「1」が割り当てられている画素の数をカウントすることで注目領域の大きさが検出される。そして。注目領域の大きさがゼロでなければ、処理はステップS13に移行する。一方、注目領域の大きさがゼロのときは、処理はステップS21に移行する。なお、注目領域が所定の閾値サイズよりも小さいときに処理がステップS21に移行するようにしてもよい。
ステップS13において、分割部22は、輪郭カウンタを初期化する。すなわち、輪郭カウンタにゼロが設定される。なお、輪郭カウンタは、図5A〜図5Fを参照しながら説明した輪郭探索で検出される輪郭の数をカウントするための変数である。
ステップS14において、分割部14は、注目領域の輪郭上で、注目点に最も近い画素を「探索開始画素」として抽出する。図5Aに示す例では、探索開始画素P1が抽出される。
ステップS15において、分割部22は、探索開始画素が抽出されたか否か判定する。なお、ステップS14が実行された直後にステップS15が実行されるときは、ステップS15の判定は「Yes」となる。
ステップS16において、分割部22は、輪郭カウンタをインクリメントする。続いてステップS17において、分割部22は、探索開始画素から注目領域の輪郭を辿る輪郭探索を実行し、注目領域の輪郭上に位置する各画素の画素データを「1」から「0」に更新する。すなわち、ステップS17は、実質的に、注目領域の外周端の画素を除去する処理に相当する。なお、探索開始画素は、ステップS14またはS18で抽出される。
ステップS18において、分割部22は、次の輪郭探索の探索開始画素として、直前の輪郭探索で使用した探索開始画素の内側に隣接する画素をサーチする。このサーチにおいて対応する画素が抽出されたか否かは、ステップS15により判定される。このとき、次の輪郭探索の探索開始画素が抽出されると、分割部22は、ステップS16〜S18を実行する。一方、次の輪郭探索の探索開始画素が抽出されなければ、処理はステップS19に移行する。
このように、分割部22は、輪郭探索を実行する毎に、次の輪郭探索の探索開始画素をサーチする。そして、分割部22は、次の輪郭探索の探索開始画素を抽出できなくなるまで、ステップS16〜S18の処理を繰り返し実行する。このとき、輪郭探索が実行されるごとに、輪郭カウンタは1ずつインクリメントされる。図5A〜図5Fに示す例では、5回目の輪郭探索が実行された時点で、次の輪郭探索の探索開始画素が抽出されなくなっている。よって、この場合、輪郭カウンタは「5」までカウントアップされる。
ステップS15〜S18のループ処理において、次の輪郭探索の探索開始画素が抽出されなければ、ステップS19が実行される。ステップS19において、分割部22は、最後の輪郭探索の探索開始画素を中心として、追尾対象領域を検出する。このとき、探索開始画素から上方向、右上方向、右方向、右下方向、下方向、左下方向、左方向、左上方向にそれぞれ輪郭カウンタが示す画素数だけ広がる領域が、追尾対象領域と判定される。図5Gに示す例では、第5回目の輪郭探索の探索開始画素P5を基準として周辺領域X1〜X5を設けることで、追尾対象領域が作成されている。
ステップS20において、指定部23は、最後の輪郭探索の探索開始画素を、次の画像フレームの注目点として指定する。ステップS20で指定される注目点は、次の画像フレームに対して図7に示す画像処理が実行されるときに、ステップS11で注目領域を抽出する際に使用される。
ステップS21は、注目領域が適切に抽出されなかったときに実行される。ステップS21において、抽出部21は、追尾対象領域の抽出に失敗した旨を表すエラーメッセージを出力する。このエラーメッセージは、制御部12に送られる。制御部12は、例えば、所定数以上の連続する画像フレームにおいて上記エラーメッセージを受信すると、動体追尾が失敗したと判定する。この場合、例えば、画像入力部11は自動焦点制御を中止し、出力部14はフォーカスマークの表示を停止する。
<第2の実施形態>
第2の実施形態の画像処理方法においても、第1の実施形態と同様に、入力画像フレームから注目領域が抽出され、その注目領域の外周から内側方向に向かって順番に輪郭が検出される。このとき、各輪郭探索で検出される輪郭上の画素数がカウントされる。
第2の実施形態の画像処理方法においても、第1の実施形態と同様に、入力画像フレームから注目領域が抽出され、その注目領域の外周から内側方向に向かって順番に輪郭が検出される。このとき、各輪郭探索で検出される輪郭上の画素数がカウントされる。
例えば、図5Aに示すように、入力画像フレームにおいて注目領域32が抽出され、探索開始画素P1が指定されたものとする。この場合、分割部22は、第1の実施形態と同様に、図5Bに示す輪郭1を検出する。このとき、第2の実施形態においては、分割部22は、輪郭1の画素数C(1)をカウントする。この実施例では、C(1)=121である。なお、輪郭の画素数は、実質的には、その輪郭の「長さ」を表す。
続いて、分割部22は、第1の実施形態と同様に、第2回目の輪郭探索を実行し、図5Cに示す輪郭2を検出する。このとき、分割部22は、輪郭2の画素数C(2)をカウントする。この実施例では、C(2)=113である。
さらに、分割部22は、画素数C(1)と画素数C(2)との比率が、所定の閾値Tを超えているか否かを判定する。即ち「C(1)/C(2) > T」或いは「C(2) < C(1)/T」が満たされているか否かが判定される。閾値Tは、特に限定されるものではないが、例えば「3」である。
この実施例では、上述のように、C(1)=121、C(2)=113である。よって、閾値Tが「3」であるものとすると、上記条件は満足していない。この場合、分割部22は、第1の実施形態と同様に、さらに輪郭探索を実行する。
分割部22は、第1の実施形態と同様に、第3回目の輪郭探索を実行し、図5Dに示す輪郭3を検出する。このとき、分割部22は、輪郭3の画素数C(3)をカウントする。この実施例では、C(3)=19である。
さらに、分割部22は、画素数C(2)と画素数C(3)との比率が、閾値Tを超えているか否かを判定する。この実施例では、C(2)=113、C(3)=19である。よって、閾値Tが「3」であるものとすると、上記条件は満たされている。そうすると、分割部22は、さらなる輪郭探索を行うことなく、追尾対象物体に対応する領域を検出する処理に移る。
このように、分割部22は、輪郭iを検出する毎に、直前の輪郭探索で検出された画素数C(i-1)と今回の輪郭探索で検出された画素数C(i)との比率が、所定の条件を満たすか否かを判定する。この判定の意味は、次の通りである。
画素数C(i-1)と画素数C(i)との比率が「1」に近く、閾値T(=3)よりも小さいときは、輪郭i−1および輪郭iが類似している。例えば、図5Bに示す輪郭1および図5Cに示す輪郭2に注目すると、「C(1)/C(2)」は約1.07であり、閾値Tよりも小さい。このとき、輪郭1および輪郭2は、互いに類似している。具体的には、輪郭1および輪郭2は、いずれも、四角形領域32a、32b双方を含む範囲の形状を表している。
これに対して、画素数C(i-1)と画素数C(i)との比率が閾値Tよりも大きいときは、輪郭i−1および輪郭iが互いに大きく異なっている。例えば、図5Cに示す輪郭2および図5Dに示す輪郭3に注目すると、「C(2)/C(3)」は約5.95であり、閾値Tよりも大きい。このとき、輪郭2は、四角形領域32a、32b双方を含む範囲の形状を表している。一方、輪郭3は、四角形領域32aの形状を表している。
このように、注目領域に対して外周端から内側方向に向かって順番に輪郭iを検出していく手順において「C(i-1)/C(i)」が閾値Tを超えると、その注目領域の一部が切り離されたと考えられる。図5A〜図5Dに示す例では、変数i=3において注目領域32から四角形領域32aが抽出され、四角形領域32bが取り残されている。このように、第2の実施形態の画像処理方法は、輪郭iを検出する毎に画素数の比率「C(i-1)/C(i)」を算出し、その比率に応じて注目領域から追尾対象領域が抽出されたか否かを検出する。
閾値Tは、上述のように、輪郭i−1から輪郭iへ移行する際に注目領域の分割が発生するか否かを判定するために使用される。ここで、注目領域の分割が発生しない場合であって、比率「C(i-1)/C(i)」が最大となるのは、例えば、図5E〜図5Fに示すケースである。このとき、図5Eに示す輪郭4の画素数C(4)は「12」であり、図5Fに示す輪郭5の画素数C(5)は「4」である。すなわち、比率C(4)/C(5)=3である。換言すれば、注目領域の分割が発生しないケースでは、画素数の比率は3以下となる。したがって、画素数の比率が「3」よりも大きい場合は、注目領域の分割が発生していると考えられる。
第2の実施形態では、上述の理由で閾値T=3としているが、他の方法で閾値Tを決定するようにしてもよい。例えば、実験またはシミュレーションによって閾値Tの最適値を決定するようにしてもよい。なお、閾値Tが小さ過ぎると(すなわち、閾値Tが1に近いと)、例えば、図5B〜図5Cにおいて、四角形領域32a、32b双方を含む領域を1つの追尾対象領域と判定してしまうおそれがある。この場合、追尾対象が四角形領域32aから四角形領域32bに移ってしまうおそれがある。一方、閾値Tが大きすぎると、例えば、図5C〜図5Dにおいて、四角形領域32aが抽出されない。この場合、動体の追尾に失敗するおそれがある。
また、例えば、上記説明の通り、注目領域の分割が発生しないケースでは、比率は「1」に近くなる。従って、分割が発生しないケースでは、輪郭i−1から輪郭iへ移行する際の比率の変化はほぼ同様に推移する。これに対して、分割が発生すると、輪郭i−1から輪郭iへ移行する際の比率の変化は、分割が発生していない時の変化とは異なり、変化幅が大きい。そこで、注目領域の外周から内側方向に向かって順番に輪郭を検出した結果として各周ごとに得られる、比率「C(i-1)/C(i)」の変化率を算出し、その変化率が最大であった時のiで、注目領域の分割が発生していると見なしても良い。この場合には、最大であった変化率がTに相当することになる。
分割部22は、上述のようにして輪郭画素数の比率が閾値Tを超えたときは、最後に探索した輪郭の内側領域、および探索した輪郭の数に応じて、追尾対象領域を抽出する。例えば、図5A〜図5Dに示す実施例において、輪郭1〜3が探索されたものとする。そして、輪郭3が探索されたときに、輪郭2、3間の画素数の比率が閾値Tを超えたものとする。この場合、最後に探索された輪郭3の内側に、図8に示す選択領域34が得られる。
続いて、分割部22は、選択領域34の周囲に外周領域Y3、Y2、Y1を形成することによって、追尾対象領域を作成する。外周領域Y3は、選択領域34に隣接する画素を抽出することにより得られる。また、外周領域Y2は、外周領域Y3の外側に隣接する画素を抽出することにより得られる。同様に、外周領域Y1は、外周領域Y2の外側に隣接する画素を抽出することにより得られる。
また、分割部22は、注目領域32の中で外周領域Y1〜Y3の外側に接している画素列を「注目領域32の幅が狭い部分」と判定する。図8に示す例では、外周領域Y1の外側に接している切断領域35が「注目領域32の幅が狭い部分」と判定される。
ここで、選択領域34は、注目領域32の四角形領域32aの中央領域に相当する。また、外周領域Y1〜Y3は、それぞれ、輪郭1〜3に相当する。したがって、選択領域34および外周領域Y1〜Y3により形成される追尾対象領域は、四角形領域32aと一致する。
さらに、分割部22は、注目領域32を切断領域35において分割する。これにより、注目領域32は、四角形領域32a(選択領域34および外周領域Y1〜Y3)および他の領域(四角形領域32b、接続領域32c)に分割される。ここで、注目点は、四角形領域32aに配置されている。したがって、分割部22は、注目領域32を切断領域35で分割することにより得られる2つの領域のうち、注目点を含む四角形領域32a(選択領域34および外周領域Y1〜Y3)を、追尾対象領域として抽出する。
この後、指定部23は、第1の実施形態と同様に、次の画像フレームのための注目点を指定する。このとき、指定部23は、追尾対象領域として抽出された領域の中心または重心を、次の画像フレームのための注目点として指定する。図8に示す例では、四角形領域32a(または、選択領域34)の中心または重心が、次の画像フレームのための注目点として指定される。
図9は、第2の実施形態の画像処理方法を示すフローチャートである。このフローチャートの処理は、第1の実施形態と同様に、各画像フレームに対して動体追尾部13により実行される。
ステップS31〜S32は、第1の実施形態のステップS11〜S12と同じである。すなわち、抽出部21により注目領域が抽出される。ステップS33において、分割部22は、輪郭カウンタを初期化すると共に、「前回輪郭画素数」を初期化する。前回輪郭画素数は、前回の輪郭探索で検出された輪郭の画素数を表す。
ステップS34は、第1の実施形態のステップS14と同じである。すなわち、探索開始画素が抽出される。
ステップS35〜S39では、第1の実施形態のステップS15〜S18に類似した処理が実行される。ただし、ステップS37では、分割部22は、探索対象の輪郭上の各画素の画素データを「0」に更新すると共に、その輪郭の画素数をカウントする。また、ステップS38では、分割部22は、ステップS37で新たにカウントした輪郭画素数と前回輪郭画素数との比率が所定の条件を満たしているか否かを判定する。この実施例で使用する条件は、「輪郭画素数<(前回輪郭画素数/3)」である。そして、画素数の比率が上記条件を満たしていたときは、処理はステップS41へ移行する。一方、画素数の比率が上記条件を満たしていなければ、ステップS39で次の輪郭探索の探索開始画素をサーチした後に、処理はステップS35に戻る。
ステップS35〜S39では、第1の実施形態のステップS15〜S18に類似した処理が実行される。ただし、ステップS37では、分割部22は、探索対象の輪郭上の各画素の画素データを「0」に更新すると共に、その輪郭の画素数をカウントする。また、ステップS38では、分割部22は、ステップS37で新たにカウントした輪郭画素数と前回輪郭画素数との比率が所定の条件を満たしているか否かを判定する。この実施例で使用する条件は、「輪郭画素数<(前回輪郭画素数/3)」である。そして、画素数の比率が上記条件を満たしていたときは、処理はステップS41へ移行する。一方、画素数の比率が上記条件を満たしていなければ、ステップS39で次の輪郭探索の探索開始画素をサーチした後に、処理はステップS35に戻る。
このように、分割部22は、新たにカウントした輪郭画素数と前回輪郭画素数との比率が所定の条件を満たすまで、ステップS35〜S39の処理を繰り返し実行する。このとき、輪郭探索が実行されるごとに、輪郭カウンタは1ずつインクリメントされる。図5A〜図5Dに示す例では、第3回目の輪郭探索が実行された時点で、比率C(2)/C(3)が閾値Tよりも大きくなっている。したがって、この場合、輪郭カウンタは「3」までカウントアップされる。なお、ステップS38で「No」と判定されると、次の輪郭の画素数をカウントするために、今回の輪郭探索で得られた輪郭画素数が前回輪郭画素数に設定される。
新たにカウントした輪郭画素数と前回輪郭画素数との比率が上述の条件を満たすことなく、ステップS35で「No」と判定されたときは、処理はステップS40へ移行する。このような状況は、例えば、図2に示す画像フレームnにおいて発生し得る。画像フレームnにおいては、追尾対象領域(画像領域A)が、類似する色成分を有する他の領域(画像領域B)に接していない。この場合、この追尾対象領域の外周端から内側方向に向かって順番に輪郭を探索したときに、輪郭画素数の減少率は緩やかであり、ステップS38の条件を満たすことはない。そうすると、輪郭は徐々に小さくなってゆき、最終的に輪郭開始画素を検出できなくなるので、ステップS35において「No」と判定される。そうすると、分割部22は、ステップS40において、ステップS31で抽出された注目領域を追尾対象領域と判定する。
ステップS35〜S39の処理ループにおいて、輪郭画素数の減少率が閾値よりも大きくなると、ステップS41〜S44が実行される。ステップS41〜S43において、分割部22は、輪郭カウンタがゼロになるまで、輪郭カウンタをカウントダウンする毎に外周領域を抽出する。このとき、外周領域は、最後に探索された輪郭の内側領域を囲むように抽出される。図5A〜図5Dに示すでは、輪郭カウンタは3までカウントアップされている。したがって、図8に示すように、外周領域Y1〜Y3が抽出される。
ステップS44において、分割部22は、最後に抽出した外周領域と接している部分で注目領域を分割する。図8に示す例では、最後に抽出された外周領域Y1に接する切断領域35において注目領域32が分割される。そして、分割部22は、この分割により得られる2つの部分領域のうち、注目点を含む部分領域を追尾対象領域と判定する。
ステップS45において、指定部23は、第1の実施形態と同様に、次の画像フレームの注目点を指定する。このとき、第2の実施形態の指定部23は、ステップS44で追尾対象領域と判定された領域の中心を、次の画像フレームの注目点として指定する。ただし、ステップS40が実行されたときは(すなわち、注目領域が分割されなかったときは)、最後の輪郭探索の探索開始画素が次の画像フレームの注目点として指定される。
なお、注目領域が適切に抽出されなかったときは(ステップS32:Yes)、第1の実施形態のステップS21と同様に、ステップS46においてエラー処理が行われる。
<その他>
上述の実施例では、画像フレーム上で追尾対象物体と他の物体とが少しだけ重なっており、注目領域の細い部分でその注目領域を分割することで追尾対象領域が抽出される。実施形態の画像処理方法によれば、画像フレーム上で追尾対象物体の近傍に類似する色成分を有する他の物体が存在しない場合においても、追尾対象領域は検出される。このような場合は、例えば、図9のステップS40において、注目領域全体が追尾対象領域と判定される。また、画像フレーム上で追尾対象物体および上述の他の物体が互いに大きく重なる場合には、両者の境界付近に「影」が存在することが多い。このため、両者の境界付近に異なる色領域が形成され、結果として、追尾対象領域と他の物体に対応する領域との間で注目領域は細くなる。したがって、追尾対象物体および上述の他の物体が互いに大きく重なる場合であっても、追尾対象領域を抽出可能である。
上述の実施例では、画像フレーム上で追尾対象物体と他の物体とが少しだけ重なっており、注目領域の細い部分でその注目領域を分割することで追尾対象領域が抽出される。実施形態の画像処理方法によれば、画像フレーム上で追尾対象物体の近傍に類似する色成分を有する他の物体が存在しない場合においても、追尾対象領域は検出される。このような場合は、例えば、図9のステップS40において、注目領域全体が追尾対象領域と判定される。また、画像フレーム上で追尾対象物体および上述の他の物体が互いに大きく重なる場合には、両者の境界付近に「影」が存在することが多い。このため、両者の境界付近に異なる色領域が形成され、結果として、追尾対象領域と他の物体に対応する領域との間で注目領域は細くなる。したがって、追尾対象物体および上述の他の物体が互いに大きく重なる場合であっても、追尾対象領域を抽出可能である。
また、上述の実施例における動体追尾部13の処理として、以下の処理を加えることも考えられる。すなわち、i番目の画像において所定の色成分を有する画像領域を抽出する際に、iよりも前の撮影時間に撮影された画像として、例えばi−1番目の画像における注目領域の大きさに応じて、i番目の画像全体を縮小することが考えられる。そして、縮小後のi番目の画像を利用して画像領域を抽出するようにすることが考えられる。このような処理を加えることで、動体追尾部13による画像領域を抽出する処理では、より小さな画像から所定の色成分を有する画像領域を抽出すればよいので、抽出処理に掛かる時間を短縮化させることが可能になる。
また、上述の実施例では、実施形態に係る画像処理装置は、デジタルカメラ内に設けられているが、デジタルカメラの外部に設けられてもよい。すなわち、実施形態に係る画像処理装置は、例えば、サーバコンピュータに設けられる。この場合、デジタルカメラから出力される画像データはサーバコンピュータへ送信される。そうすると、サーバコンピュータは、動体追尾処理を実行し、その結果をデジタルカメラへ返送する。そして、デジタルカメラは、サーバコンピュータから受信した追尾結果に応じて、例えば、焦点距離を制御する。
<ハードウェア構成>
図10は、各実施形態の画像処理装置のハードウェア構成を示す図である。図10において、CPU101は、メモリ103を利用して画像処理プログラムを実行する。記憶装置102は、画像処理プログラムを格納する。なお、記憶装置102は、外部記憶装置であってもよい。メモリ103は、例えば半導体メモリであり、RAM領域およびROM領域を含んで構成される。また、メモリ103は、例えば、画像フレームを一時的に格納するために使用されてもよい。このように、実施形態の画像処理装置は、プロセッサおよびメモリを含むコンピュータ(または、プロセッサシステム)により実現される。
図10は、各実施形態の画像処理装置のハードウェア構成を示す図である。図10において、CPU101は、メモリ103を利用して画像処理プログラムを実行する。記憶装置102は、画像処理プログラムを格納する。なお、記憶装置102は、外部記憶装置であってもよい。メモリ103は、例えば半導体メモリであり、RAM領域およびROM領域を含んで構成される。また、メモリ103は、例えば、画像フレームを一時的に格納するために使用されてもよい。このように、実施形態の画像処理装置は、プロセッサおよびメモリを含むコンピュータ(または、プロセッサシステム)により実現される。
読み取り装置104は、CPU101の指示に従って可搬型記録媒体105にアクセスする。可搬型記録媒体105は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース106は、CPU101の指示に従って、ネットワークを介してデータを送受信する。入出力装置107は、この実施例では、表示装置、ユーザからの指示を受け付けるデバイス等に相当する。ただし、実施形態の画像処理装置は、通信インタフェース106および/または入出力装置107を含まなくてもよい。
実施形態に係わる画像処理プログラムは、例えば、下記の形態で提供される。
(1)記憶装置102に予めインストールされている。
(2)可搬型記録媒体105により提供される。
(3)プログラムサーバ110からダウンロードする。
そして、上記構成のコンピュータで画像処理プログラムを実行することにより、実施形態に係わる動体追尾部13(すなわち、抽出部21、分割部22、指定部23)の少なくとも一部が実現される。
(1)記憶装置102に予めインストールされている。
(2)可搬型記録媒体105により提供される。
(3)プログラムサーバ110からダウンロードする。
そして、上記構成のコンピュータで画像処理プログラムを実行することにより、実施形態に係わる動体追尾部13(すなわち、抽出部21、分割部22、指定部23)の少なくとも一部が実現される。
Claims (5)
- 第1の画像フレームにおいて、注目点を含み且つ所定の条件を満たす注目領域を抽出する抽出部と、
前記注目領域の幅が狭い部分で、前記注目領域を、前記注目点を含む第1の部分領域および前記注目点を含まない第2の部分領域に分割する分割部と、
前記第1の部分領域内の所定の画素を、第2の画像フレームの注目点として指定する指定部、
を有する画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記分割部は、前記注目点の位置に応じて決まる探索開始画素から前記注目領域の輪郭を探索する輪郭探索処理を、前記注目領域の外周から内側方向に向かって順番に、新たな輪郭を探索できなくなるまで実行し、最後に探索した輪郭のための探索開始画素の位置に基づいて前記第1の部分領域を検出する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記分割部は、前記注目領域の外周から内側方向に向かって順番に、前記注目点の位置に応じて決まる探索開始画素から前記注目領域の輪郭探索を開始して2以上の輪郭を探索する輪郭探索処理において、各輪郭の画素数をカウントし、前記画素数の変化が所定の条件を満たしたときの輪郭に基づいて前記第1の部分領域を検出する
ことを特徴とする画像処理装置。 - コンピュータに、
第1の画像フレームにおいて、注目点を含み且つ所定の条件を満たす注目領域を抽出する工程、
前記注目領域の幅が狭い部分で、前記注目領域を、前記注目点を含む第1の部分領域および前記注目点を含まない第2の部分領域に分割する工程、
前記第1の部分領域内の所定の画素を、第2の画像フレームの注目点として指定する工程、
を実行させることを特徴とする画像処理プログラム。 - 画像入力部と、
前記画像入力部による生成された第1の画像フレームにおいて、注目点を含み且つ所定の条件を満たす注目領域を抽出する抽出部と、
前記注目領域の幅が狭い部分で、前記注目領域を、前記注目点を含む第1の部分領域および前記注目点を含まない第2の部分領域に分割する分割部と、
前記第1の部分領域内の所定の画素を、前記画像入力部により生成される第2の画像フレームの注目点として指定する指定部と、
前記第1の部分領域に基づいて前記画像入力部を制御する制御部、
を有するデジタルカメラ。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2010/057903 WO2011141990A1 (ja) | 2010-05-10 | 2010-05-10 | 画像処理装置および画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011141990A1 JPWO2011141990A1 (ja) | 2013-07-22 |
JP5338978B2 true JP5338978B2 (ja) | 2013-11-13 |
Family
ID=44914059
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012514622A Active JP5338978B2 (ja) | 2010-05-10 | 2010-05-10 | 画像処理装置および画像処理プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9709874B2 (ja) |
JP (1) | JP5338978B2 (ja) |
WO (1) | WO2011141990A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105513546B (zh) * | 2016-03-02 | 2018-09-11 | 京东方科技集团股份有限公司 | 背光调节方法及装置、显示装置 |
JP6463712B2 (ja) * | 2016-09-15 | 2019-02-06 | 株式会社Subaru | 目標捜索装置、目標捜索方法及び目標捜索プログラム |
TWI666933B (zh) * | 2018-04-02 | 2019-07-21 | 緯創資通股份有限公司 | 物件監控方法及其運算裝置 |
JP7286558B2 (ja) * | 2020-01-07 | 2023-06-05 | 株式会社エビデント | 検査方法、コンピュータ読取可能記録媒体、及び、標準板 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07154666A (ja) * | 1993-11-26 | 1995-06-16 | Victor Co Of Japan Ltd | ビデオカメラ |
JPH11114860A (ja) * | 1997-10-20 | 1999-04-27 | Yamaha Motor Co Ltd | 認識方法及びピッキング装置 |
JP2004096402A (ja) * | 2002-08-30 | 2004-03-25 | Nec Corp | 物体追跡装置、物体追跡方法および物体追跡プログラム |
JP2008113423A (ja) * | 2006-10-03 | 2008-05-15 | Nikon Corp | 追尾装置、撮像装置、および追尾方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5631697A (en) * | 1991-11-27 | 1997-05-20 | Hitachi, Ltd. | Video camera capable of automatic target tracking |
JPH11136664A (ja) | 1997-10-29 | 1999-05-21 | Matsushita Electric Ind Co Ltd | 動物体自動追尾装置 |
JP4187448B2 (ja) * | 2002-03-07 | 2008-11-26 | 富士通マイクロエレクトロニクス株式会社 | 画像における移動体追跡方法及び装置 |
JP4217876B2 (ja) * | 2002-12-20 | 2009-02-04 | 財団法人生産技術研究奨励会 | 画像における移動物体の追跡方法及び装置 |
JP4300809B2 (ja) | 2003-01-28 | 2009-07-22 | パナソニック電工株式会社 | 粒状物体の検査装置およびその検査方法 |
WO2008001575A1 (fr) * | 2006-06-28 | 2008-01-03 | Nikon Corporation | Dispositif de localisation, dispositif de mise au point automatique et appareil photographique |
EP1909229B1 (en) | 2006-10-03 | 2014-02-19 | Nikon Corporation | Tracking device and image-capturing apparatus |
JP2008298706A (ja) | 2007-06-04 | 2008-12-11 | Panasonic Corp | 形状判定方法 |
-
2010
- 2010-05-10 JP JP2012514622A patent/JP5338978B2/ja active Active
- 2010-05-10 WO PCT/JP2010/057903 patent/WO2011141990A1/ja active Application Filing
-
2012
- 2012-11-02 US US13/667,259 patent/US9709874B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07154666A (ja) * | 1993-11-26 | 1995-06-16 | Victor Co Of Japan Ltd | ビデオカメラ |
JPH11114860A (ja) * | 1997-10-20 | 1999-04-27 | Yamaha Motor Co Ltd | 認識方法及びピッキング装置 |
JP2004096402A (ja) * | 2002-08-30 | 2004-03-25 | Nec Corp | 物体追跡装置、物体追跡方法および物体追跡プログラム |
JP2008113423A (ja) * | 2006-10-03 | 2008-05-15 | Nikon Corp | 追尾装置、撮像装置、および追尾方法 |
Also Published As
Publication number | Publication date |
---|---|
US9709874B2 (en) | 2017-07-18 |
WO2011141990A1 (ja) | 2011-11-17 |
JPWO2011141990A1 (ja) | 2013-07-22 |
US20130057701A1 (en) | 2013-03-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105830009B (zh) | 用于视频处理的方法和设备 | |
US9600732B2 (en) | Image display apparatus and image display method | |
JP2014153813A5 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5699432B2 (ja) | 画像処理装置 | |
JP2011029737A (ja) | 監視映像検索装置及び監視システム | |
JP6494418B2 (ja) | 画像解析装置、画像解析方法、およびプログラム | |
JP7223079B2 (ja) | 画像処理装置およびその制御方法、ならびに撮像装置 | |
JP5456175B2 (ja) | 映像監視装置 | |
JP2005309746A (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
JP5338978B2 (ja) | 画像処理装置および画像処理プログラム | |
JP2016046642A (ja) | 情報処理システム、情報処理方法及びプログラム | |
JP2017125974A (ja) | 表示装置、表示方法及びプログラム | |
JP2012073997A (ja) | 物体追尾装置、物体追尾方法およびそのプログラム | |
JP2010198559A (ja) | 画像処理装置、画像処理方法、および、画像処理プログラム | |
JP6579727B1 (ja) | 動体検出装置、動体検出方法、動体検出プログラム | |
JP2014099087A (ja) | 特徴点検出装置およびプログラム | |
JP4198536B2 (ja) | 物体撮影装置、物体撮影方法及び物体撮影プログラム | |
JP2003006654A (ja) | 動画像における移動体の特徴量抽出方法と自動追跡方法及びそれらの装置、並びに、それらの方法の実行プログラムとこの実行プログラムを記録した記録媒体 | |
JP2019096062A (ja) | 物体追跡装置、物体追跡方法、および、物体追跡プログラム | |
JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
CN108428241A (zh) | 高清视频中移动目标的运动轨迹捕获方法 | |
JPH09181953A (ja) | 自動追尾装置 | |
JP2004240909A (ja) | 画像処理装置及び画像処理方法 | |
JP6774915B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP6853031B2 (ja) | 情報処理装置、情報処理システム、情報処理方法、及び、プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5338978 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |