JP5463269B2 - 特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム - Google Patents
特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム Download PDFInfo
- Publication number
- JP5463269B2 JP5463269B2 JP2010261716A JP2010261716A JP5463269B2 JP 5463269 B2 JP5463269 B2 JP 5463269B2 JP 2010261716 A JP2010261716 A JP 2010261716A JP 2010261716 A JP2010261716 A JP 2010261716A JP 5463269 B2 JP5463269 B2 JP 5463269B2
- Authority
- JP
- Japan
- Prior art keywords
- feature
- rectangle
- graphic
- edge
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
特許文献1、2の発明では、処理能力の限られた端末上で高速に矩形領域を検出するため、微小領域のフィルタを用いて画像中のエッジを探索する。エッジの探索方向と直行する方向にエッジを追跡することで辺候補を検出し、辺候補の組み合わせが矩形領域を表すかどうかを評価する方法が示されている。
従来技術の課題点について、図20を参照して説明する。図20は、従来技術について説明するための図である。
従来技術においては、画像中に、目的の矩形領域(2001)とは別な矩形様の形状(2002)が存在した場合や、目的の矩形の近傍に強いエッジ成分を持つ直線(2004)が存在した場合に、これを誤って辺候補もしくは矩形候補として検出してしまう問題があった。これにより、誤った矩形領域(2003,2005)を検出してしまい、対象の図形領域の検出の精度が低下する問題があった。
以下、本発明に係る第1実施形態について説明する。第1実施形態に係る画像検出システムでは、画像中における検出対象の図形画像として、矩形の図形画像を検出する。なお、本発明に係る画像検出システムの検出対象の図形は、矩形に限らず、円等であってもよいが、本実施形態では、以下、矩形である例を用いて説明する。
本実施形態に係る画像検出システムでは、対象とする画像に対して、予め決められた所定の特徴(以下、描画特徴という)を有する矩形の図形(以下、特徴矩形図形C10という)を描画し、この特徴矩形図形C10を含む画像を撮像する。
矩形の図形に対応する領域を検出する場合、本実施形態に係る画像検出システムは、撮影により得た画像データに基づき、矩形の図形に類似する特徴を有する矩形候補を検出し、この矩形候補が、特徴矩形図形が有する描画特徴を有するか否かを判断する。なお、本発明に係る画像検出システムは、撮影により得た画像データに基づき特徴矩形図形を検出するものに限られない。例えば、特徴矩形図形の付加された画像データ(静止画)や映像データ(動画)をネットワークを通じて矩形検出装置300に配信する構成であってもよい。また、外部装置が特徴矩形図形の付加された画像を素材として利用して画像を作成し、これをネットワークを通じて矩形検出装置300に配信する構成であってもよい。
画像検出システムは、矩形候補が有する特徴量と特徴矩形図形が有する描画特徴との類似度を評価することにより、矩形候補が特徴矩形図形であることの確からしさを判定する。
矩形に持たせる描画特徴は、矩形図形内における位置エリアに応じて画素値が異なる。例えば、矩形図形の4辺を複数個所で分割した各辺上の分割位置、各辺におけるエッジの内側と外側、画素のチャネルに応じた画素値を、所定の数値系列に従って変化させることにより、所定の特徴を持つように構成する。なお、当該明細書において、位置エリアとは、図形内における任意の位置(点)やエリア(範囲)のうち少なくとも一方の概念を表わすものである。
上述の通り、各辺上の分割位置を変更することで、境界(この場合は辺)に対し平行な方向での位置エリアを変更することができる。また、エッジの内側と外側に分けることで、境界(辺)に対し垂直な方向での位置エリアを変更することができる。
特徴量の類似性評価は、検出した矩形候補の各辺上の分割位置、辺のエッジの内側と外側、画素のチャネルに応じて取得した画素値を並べた系列と、所定の数値系列との相関計算により行う。
以下、図面とともに具体的に説明する。
図1は、本発明に係る画像検出システムの構成の一例を説明するための図である。
図1に示す通り、本実施形態に係る画像検出システム1は、特徴図形付加装置である矩形付加装置100と、画像表示装置200と、携帯端末400に内蔵された特徴図形検出装置である矩形検出装置300から構成される。
矩形検出装置300は、携帯電話やカメラ等の携帯端末400に内蔵されており、このカメラが撮影した画像データに基づき、撮像された画像の中から描画特徴を有する矩形の図形を検出する。
本実施形態に係る矩形付加装置100は、特徴量生成手段101と、矩形パターン生成手段102と、矩形付加手段103と、記憶部104とを含む。この矩形付加装置100は、矩形付加対象画像C11の画像データを、有線、無線、あるいはネットワークを介して外部装置から入力し、矩形付加画像C12を出力する。
特徴量生成手段101は、埋め込み系列生成手段111を備える。
この埋め込み系列生成手段111は、矩形を特徴付ける所定の数値系列を生成し、描画特徴量情報D11として生成した数値系列を出力する。この数値系列は、特徴図形内の位置エリアに応じて予め決められている特徴を示す複数の数値の系列である。
本実施形態に係る矩形検出装置300は、エッジ検出手段である辺候補検出手段301と、矩形候補算出手段302と、矩形特徴量計算手段303と、矩形特徴量評価手段304とを含む。この矩形検出装置300は、例えば、携帯端末400に搭載されているカメラによって撮影された画像データを、矩形検出対象画像C14の画像データとして入力する。この携帯端末400に搭載されているカメラは、画像表示装置200に表示された矩形付加画像C12を撮像して、この矩形画像検出画像C14の画像データを矩形検出装置300に出力する。
この矩形検出装置300は、入力する矩形画像検出画像C14に基づき、描画特徴を有する特徴矩形図形C10に類似する矩形の画像を検出する矩形検出処理を行う。矩形検出装置300は、矩形検出処理の結果を示す矩形検出結果C15を出力する。
この矩形特徴量評価手段304は、例えば、矩形特徴量D33と描画特徴量との類似性を示す評価値を算出し、両者が類似している範囲として予め決められている閾値範囲内に評価値が入っているか否かを判断する。
算出した評価値が閾値範囲内に入っていれば、矩形特徴量評価手段304は、この矩形特徴量D33を有する矩形候補D32が検出対象であることを示す矩形検出結果C15(結果:矩形検出あり)を例えば外部出力装置に出力する。本実施形態において、矩形特徴量評価手段304は、矩形検出結果C15(結果:矩形検出あり)として、検出対象であると判定された矩形候補D22と、この矩形候補D22に対応する矩形検出対象画像C14の画像データとを出力する。
本実施形態に係る矩形特徴量計算手段303は、エッジ追跡手段331と、画素値取得手段332と、特徴量計算手段333を含む。この矩形特徴量計算手段303は、矩形特徴量候補算出手段302から矩形候補D32を示す情報と、携帯端末400のカメラから矩形検出対象画像C14の画像データとを入力する。この矩形特徴量計算手段103は、この矩形候補D32を示す情報と矩形検出対象画像C14の画像データに基づき、矩形候補D32の特徴を示す矩形特徴量D33を生成し、この矩形特徴量D33を、矩形特徴量評価手段304に出力する。
分割位置計算手段3332は、得られた変換パラメータを用いてエッジ座標を変換し、辺上の分割位置を計算する。
辺検出系列計算手段3333は、検出した辺上の各点の画素値を分割位置毎に蓄積し、辺に対する辺検出系列を計算する。
検出系列統合手段3334は、辺毎の辺検出系列を統合し、矩形全体の検出系列を算出する。
本実施形態に係る矩形特徴量評価手段304は、埋め込み特徴量計算手段341と、特徴量類似度計算手段342と、特徴量類似度比較手段343とを含む。
この矩形特徴量評価手段304は、矩形特徴量D33として、特徴量計算手段333の検出系列統合手段3334が出力する検出系列D39を入力し、矩形検出結果D40を出力する。
特徴量類似度計算手段342は、各矩形候補から得られた検出系列と埋め込み系列の類似度D42を計算する。
特徴量類似度比較手段343は、各矩形候補に対して得られた類似度を比較し、最も適切な矩形を決定する。
図8に示す通り、矩形付加装置100は、矩形付加対象画像C12の画像データを入力する(ステップST1)。この工程を、以下、矩形付加対象画像入力ステップという。
次いで、矩形付加装置100は、矩形付加対象画像C14の画像データに対し、所定の描画特徴を持つ特徴矩形画像を付加し、矩形付加画像C12を生成する(ステップST2)。この工程を、以下、特徴量生成ステップという。
そして、矩形付加装置100の矩形パターン生成手段102は、特徴量生成ステップST2において特徴量生成手段101(埋め込み系列生成手段111)が生成した特徴量情報D11である数値系列に従い、矩形の辺上の分割位置や画素チャネルに応じた画素値を決定し、決定した画素値によって表わされる特徴矩形図形を示す特徴図形パターンを生成する(ステップST3)。この工程を、以下、矩形パターン生成ステップという。
次いで、矩形付加装置100の矩形付加手段103が、矩形パターン生成手段102により生成された矩形パターンD12に従って矩形付加対象画像C11に特徴矩形図形C10を描画する(ステップST4)。この工程を、以下、矩形付加ステップという。
次に、図9を参照して、図8に示すステップST2の特徴量生成ステップについて詳細に説明する。図9は、本実施形態に係る矩形付加装置100による特徴量生成ステップの一例を説明するための図である。
本実施例の特徴量生成ステップST2では、埋め込み系列生成手段111が、矩形を特徴付ける所定の数値系列を生成する。
なお、4辺全体に対応する数値系列の長さLは、各辺の分割数をそれぞれN1、N2、N3、N4とすると、以下に示す式(2)で表わすことができる。
疑似乱数列を用いる場合、埋め込み系列生成手段111は、例えば、疑似乱数のシード値を矩形検出装置300と共有しておけばよい。この共有とは、例えば、同じ擬似乱数のシード値を、埋め込み系列生成手段111と矩形検出装置300の記憶部に予め記憶させておくことをいう。
あらかじめ、矩形検出装置300と共有する数値列を用いる場合には、例えば、{1,−1,1,−1・・・}と示すように、1,−1を繰り返すような数値列を用いてもよい。
生成した数値列を、矩形が持つべき特徴量情報とする。
次に、矩形パターン生成ステップについて詳細に説明する。
矩形パターン生成ステップST3では、矩形パターン生成手段102が、特徴量生成ステップST2において特徴量生成手段101(埋め込み系列生成手段111)が生成した特徴量情報D11である数値系列に従い、矩形の辺上の分割位置や画素チャネルに応じた画素値を決定し、決定した画素値によって表わされる特徴矩形図形を示す特徴図形パターンを生成する。
始めに、矩形パターン生成手段102は、特徴量生成ステップST2で埋め込み系列生成手段111が生成した数値系列miを、矩形の各辺上の分割位置、辺のエッジの内側と外側、画素のチャネルに対応付けるよう、順に並べる。
図9に示す通り、矩形パターン生成手段102は、特徴矩形図形の辺図形Pを辺図形Pの長手方向に分割数Nで分割し、この辺図形Pを特徴矩形図形の辺の短手方向に内側と外側それぞれ分割して、N×2のエッジ領域P1〜PN×2を決定する。
また、図10に通り、例えば(m1,m2,m3)は、Yチャネルの値に対応する値がm1、Cbチャネルの値に対応する値がm2、Crチャネルの値に対応する値がm3であることを表している。
次いで、矩形パターン生成手段102は、矩形の各位置(エッジ領域)に対応付けられた数値系列の値に従い、その位置の画素値を決定する。具体的には、矩形パターン生成手段102が、エッジの内側と外側に対しそれぞれ基準の画素値を設定し、その値に数値系列の値を重みづけ加算することで画素値を決定する。
Y,Cb,Crの3チャネルを用いる場合を例に以下に説明する。
矩形パターン生成手段102は、エッジの内側に対するY,Cb,Crの基準値を、それぞれ、以下の(6)に示す値とする。
矩形パターン生成手段102は、上記のように矩形パターンを生成することで、特徴矩形図形が数値系列で表現される所定の特徴を持つようになすことができる。
矩形付加ステップST4では、矩形付加手段103が、矩形パターン生成手段102が生成した矩形パターンに従って矩形付加対象画像C11に特徴矩形図形C10を描画する。矩形付加手段103による矩形の描画は、例えば次のような手順で実現できる。
ここで、特徴矩形図形C10の各辺は、あらかじめ決められた画素の幅として内側辺の幅Winと外側辺の幅Woutを持つものとし、図11の様な形状を有する。また、各辺や縁の内側、外側と言った場合は、この内側辺(白色部分)と外側辺(黒色部分)の境界に対する内側、外側を指す。つまり、特徴矩形図形C11は、枠上の矩形図形であって、その内側が白色かつ外側が黒色の模様を持つ。
STEP401:
矩形付加手段103は、矩形付加対象画像C11上の画素を1つ選択する。
STEP402:
矩形付加手段103は、選択した画素の座標が描画したい矩形の辺上にあるかどうかを判定する。
STEP403:
矩形付加手段103は、選択した画素の座標が矩形の辺上にない場合、矩形付加画像の当該座標の画素値として、矩形付加対象画像の画素の値を出力し、STEP406に進む
STEP404:
矩形付加手段103は、選択した画素の座標が矩形の辺上にある場合、画素の座標に対応する矩形上の辺の分割位置および内側、外側の種別を計算する。
矩形付加手段103は、矩形付加画像の当該座標の画素値として、矩形パターンの中のSTEP404で得られた位置の画素の値を出力する
STEP406:
矩形付加手段103は、矩形付加対象画像C11の全ての画素を走査するまで、STEP401〜405を繰り返す。なお、矩形付加手段103による矩形の描画はこの他にも、例えば直線を描画するブレゼンハムアルゴリズムを用い、描画する画素の位置に対応する矩形パターン上の位置に応じて画素値を設定するようにしてもよい。
また、矩形付加手段103は、矩形付加対象画像の全体が、矩形付加画像C12上で、内側辺の内側に収まるように、拡大縮小処理を行いながら矩形付加を行うようにしてもよい。
例えば、矩形パターンの中のSTEP404で得られた位置の画素の値をx、矩形付加対象画像の画素の値yとして、出力する画素値zは、以下の式(14)で表わすことができる。
ここで、αの値は0〜1.0の値をとり、α=0の場合は矩形付加対象画像の画素値yをzとして、α〜1.0の場合は矩形パターンの画素値xをzとして、α=0.5の場合は矩形付加対象画像と矩形パターンを50%ずつ混合した画素値をzとして出力する。
画像出力ステップST5において、矩形付加手段103は、矩形付加ステップST4で生成した矩形付加画像C12を処理の結果として画像表示装置200に出力する。
矩形パターン生成手段102による矩形パターンの画素値の決定方法について、以下説明する。
記憶部104は、矩形パターン生成ステップST3で用いる、エッジの内側に対するY,Cb,Crの基準値Cin [Y]、Cin [Cb]、Cin [Cr]、およびエッジの外側に対するY,Cb,Crの基準値Cout [Y]、Cout [Cb]、Cout [Cr]について、前述の矩形パターン生成ステップST3の説明で示した考え方によって矩形パターン生成手段102が決定する画素値を、それぞれあらかじめ保存しておくものであってもよい。この場合、矩形パターン生成手段102は、矩形パターン生成ステップST3において、記憶部104を参照して矩形パターンを構成する画素値を決定する。
具体的には、矩形パターン生成手段102は、例えば、数値系列が−wmax,・・・,+wmaxの値をとり、埋め込みの強さα=βで、画素値のとりうる範囲がcmin,・・・,cmaxである場合、内側と外側の基準値Cin、Coutの値を、以下の式(15)に示すように決定してもよい。
例えば、cmin=0、cmax=255で、α=β=8、wmax=1であれば、Cin=247、Cout=8となる。
ここで、Y,Cb,CrとR,G,Bの色空間の変換係数が、以下の式(16)に示す場合を例に説明する。
次に、図12を参照して、本実施形態に係る矩形検出装置300による矩形検出処理の一例について説明する。図12は、本実施形態に係る矩形検出装置300による矩形検出処理の一例について説明するためのフローチャートである。
図12は、矩形検出装置300による矩形検出処理の手順を示すフローチャートである。
図12に示す通り、矩形検出装置300は、矩形検出の対象である矩形検出対象画像C14の画像データを入力する(ステップST11)。この工程を、以下、矩形検出対象画像入力ステップという。
次いで、矩形検出装置300の辺候補検出手段301は、矩形検出対象画像C14を解析し、矩形の縁を検出する(ステップST12)。この工程を、以下、辺候補検出ステップという。
辺候補検出手段301は、辺候補となる直線を検出することで矩形における縁の検出を行う。
辺候補検出手段301による辺候補となる直線の検出には、例えば、特許文献1や参考文献1の手法を用いて行うことで高速な検出が可能である。
STEP1201:
辺候補検出手段301は、矩形検出対象画像C14における画像中心点を探索開始点とする。
ここで、探索開始点としては、画像中心点以外の、例えば、画像の中心付近における中心点以外の座標であってもよい。また例えば、複数のフレーム画像からなる映像に対する矩形検出の場合には、直前のフレームで検出された矩形の中心付近の座標、例えば矩形の頂点の重心点や、矩形の対角線の交点を辺候補検出手段301が求め、これを探索開始点として用いてもよい。
辺候補検出手段301は、上下左右の各探索方向に探索位置を移動する。
STEP1203:
辺候補検出手段301は、探索位置の周囲の領域にエッジ検出フィルタを適用し、探索位置がエッジ成分を持つかどうかを判定する。
STEP1204:
辺候補検出手段301は、エッジ成分を持つと判断した場合、そのときの探索位置をエッジ追跡開始点とする。
辺候補検出手段301は、探索方向と直行する方向(例えば、探索方向が上方向の場合は左右の方向)にエッジ追跡位置を移動する。
STEP1206:
辺候補検出手段301は、エッジ追跡位置の近傍の各点に対し、周囲の領域にエッジ検出フィルタを適用し、エッジ追跡位置の近傍点のいずれかがエッジ成分を持つかどうかを判定する。
STEP1207:
辺候補検出手段301は、エッジ成分を持つと判断した場合は、近傍点の中で最もエッジ成分の強い点をエッジ追跡位置としSTEP1205〜1206を繰り返す。エッジ成分を持たないと判断した場合、辺候補検出手段301は、直前のエッジ追跡位置を辺の端点として記憶する。
辺候補検出手段301は、STEP1205〜1207を、エッジ追跡開始点から見た辺の両方向(例えば、探索方向が上方向の場合は左右の方向) について行い、辺の両側の端点を得る。
辺候補検出手段301は、探索位置が画像の端に到達していなければ、STEP1202に戻り処理を繰り返す。
この結果、辺候補検出手段301は、辺候補を表す情報として、
・)当該辺候補のエッジをはじめに検出したエッジ追跡開始点、
・)当該辺候補の追跡を終了した両側の端点座標、)
・当該辺候補を検出した探索方向を、辺候補の数だけ得る。
ここで示した辺候補検出の例は一例であり、矩形検出対象画像中の直線成分を検出する方法であればこれ以外の方法を用いてもかまわない。例えば、辺候補検出手段301は、ハフ変換(参考文献5参照)を利用して直線の検出を行ってもかまわない。
<参考文献5>:高木幹雄監修, 新編画像解析ハンドブック, pp.1254-1258, ISBN4-
13-061119-4, 東京大学出版会(2004).
矩形候補算出ステップST13では、矩形候補算出手段302が、辺候補検出ステップST12において得られた辺候補の中から、矩形を構成する可能性のある組み合わせを決定する。矩形候補の算出には、例えば、特許文献2や参考文献1の手法を用いて行うことで高速な算出が可能である。
STEP1301:
矩形候補算出手段302は、上下左右の各探索方向で検出された辺候補から1つずつ、計4つの辺候補を選択する。
STEP1302:
4つの辺候補を各々表す直線が構成する矩形を矩形候補とし、直線の交点を4点求める。
STEP1303:
矩形候補算出手段302は、交点を矩形の推定頂点座標とし、矩形候補の4辺の長さを算出する。
STEP1304:
矩形候補算出手段302は、4つの辺候補の端点座標から4つの辺候補の長さを算出する。
矩形候補算出手段302は、STEP1303で求めた矩形候補の4辺の長さに対するSTEP1304で求めた4つの辺候補の長さの割合を算出し、これを矩形評価値とする。ただし、辺候補の長さが矩形候補の辺の長さよりも長い場合は次のいずれかの方法をとるようにしてもよい
・矩形候補算出手段302は、辺候補の長さと矩形候補の辺の長さの差分を、矩形候補の辺の長さから減じた値を辺候補の長さとして用いる。
・矩形候補算出手段302は、得られた割合の逆数を矩形評価値とする
STEP1306:
矩形候補算出手段302は、矩形評価値が所定の閾値以下の物を棄却する。
すなわち、矩形が鮮明に撮影できる環境で矩形検出装置300を利用する場合、辺候補検出ステップST12において、矩形候補算出手段302は、正解の矩形候補について実際の辺の端点まで辺をたどることができる。この場合、矩形評価値が1に近づくため、矩形候補算出手段302が、矩形評価値の閾値として1に近い値を用いることにより、検出される矩形候補が少なくなり、以降の処理の計算処理時間を短くすることができる。
一方、矩形が鮮明に撮影できない環境で矩形検出装置を利用する場合、辺候補検出ステップST12において、矩形候補算出手段302は、正解の矩形候補に対しても実際の辺の途中までしか辺をたどれない。あるいは、実際の辺を超過して辺をたどってしまったりする場合が生じる。このため、矩形候補算出手段302は、小さめの閾値を設定し、正解の矩形候補の取りこぼしが起こらないようにしてもよい。具体的な閾値の値は、例えば0.5〜0.95程度の値の範囲で実験的に定めればよい。
・対応する4つの辺候補
・STEP1302、1303で得られた矩形の推定頂点座標
を、矩形候補の数だけ得る。
ここで示した矩形候補算出の例は一例であり、矩形検出対象画像中の矩形を検出する方法であればこれ以外の方法を用いてもかまわない。
矩形特徴量計算ステップST14において、矩形特徴量計算手段303は、矩形候補算出ステップST13で得られた矩形候補に対し、当該矩形候補が目的とする矩形領域であるかを評価するための矩形特徴量を計算する。この矩形特徴量計算手段303は、矩形特徴量計算ステップST14において、エッジ追跡ステップST141、画素値取得ステップST142、特徴量計算ステップST143を順に実施する。
エッジ追跡ステップST141において、エッジ追跡手段331は、矩形候補に含まれる4つの辺候補の各々に対し、辺を構成するエッジを辺と平行な方向に走査し、辺上の各点におけるエッジ座標を検出する。
STEP1411:
エッジ追跡手段331は、対象とする辺候補上の任意の点をエッジ追跡現在位置として設定する。エッジ追跡現在位置は、例えば、辺候補検出ステップST12において対象とする辺候補のエッジをはじめに検出したエッジ追跡開始点の座標を用いてもよい。また、辺候補検出ステップST12において対象とする辺候補の追跡を終了した端点の座標を用いてもよい。
STEP1412:
エッジ追跡手段331は、エッジ追跡現在位置の座標をエッジ座標として出力する。
STEP1413:
エッジ追跡手段331は、対象とする辺候補と平行な方向にエッジ追跡現在位置を移動する。エッジ追跡現在位置の移動の方向は、例えば、辺候補検出ステップST12において対象とする辺候補を検出した際の探索方向と直行する方向(例えば、探索方向が上方向の場合は左右の方向)であってもよい。また例えば、辺候補検出ステップST12において対象とする辺候補の追跡を終了した両側の端点座標から算出した、対象とする辺候補の傾きの方向であってもよい。
エッジ追跡手段331は、エッジ追跡現在位置の近傍の各点に対し、周囲の領域にエッジ検出フィルタを適用し、エッジ追跡現在位置の近傍点のいずれかがエッジ成分を持つかどうかを判定する。
STEP1415:
エッジ追跡手段331は、エッジ成分を持つと判断した場合、近傍点の中で最もエッジ成分の強い点をエッジ追跡現在位置とし、STEP1412に戻る。エッジ追跡手段331は、エッジ成分を持たないと判断した場合、処理を終了する。エッジ追跡の開始点を辺候補の端点以外に定めた場合、エッジ追跡手段331は、STEP1412〜1415の処理を、エッジ追跡の開始点から辺の両方向について行う。
STEP1416:
エッジ追跡手段331は、STEP1411〜1415の各手順を、矩形候補に含まれる4つの辺候補に対して各々適用し、4つの辺候補上の各点に対応するエッジ座標を出力する。
図13は、エッジ追跡の一例を説明するための図である。図14は、エッジ検出フィルタの一例を説明するための図である。
図13に示す例では、エッジ追跡手段331が、エッジ追跡現在位置を中心にした近傍位置の各々を注目座標とする。
近傍位置は、例えば、エッジ追跡現在位置に対し、エッジ追跡現在位置の移動の方向と直行する方向に幅Wピクセルの範囲で設定してもよい。
図13では、エッジ追跡現在位置q1に対し、W=5として、エッジ追跡の方向Yqと直行する左右のXq方向に、5×1画素の範囲を、近傍位置の範囲Q1として設定した例を示している。
注目画素1402の場合、エッジ追跡手段331は、計算範囲1403に対してエッジ検出フィルタ係数1401との積和演算により、以下(18)に示すように、重み付き和を求める。
このエッジ追跡手段331は、近傍位置の各注目座標に対してエッジ強度を算出し、最も大きな値を持つ注目画素を決定する。さらに、エッジ追跡手段331は、この値があらかじめ定められた所定の閾値を超えている場合に、注目座標がエッジ成分を持つと判定する。
エッジ追跡手段331は、このような方法でエッジ成分を持つ画素を判断することで、例えば、図11のように矩形が描画されている場合に、白い内側の辺と黒い外側の辺の境界位置の座標が得られることになる。
また、ここではエッジ検出フィルタ係数として3×3の大きさのものを用いたが、これ以外の大きさであってもよい。
例えば、図14のエッジ検出フィルタ係数1401の別な例である重み付き和の計画例1404であるエッジ検出フィルタ係数1405のように3×1の大きさであってもよい。
なお、辺候補検出ステップST12において、特許文献1の手法を用いている場合は、エッジ追跡手段331は、エッジ追跡ステップST141においてエッジ追跡を行う代わりに、辺候補検出ステップST12におけるエッジ追跡時に追跡したエッジ座標を記録しておき、それを出力に用いてもかまわない。
画素値取得ステップST142では、画素値取得手段332が、エッジ追跡ステップST141で得られたエッジ座標に対し、辺候補のエッジの内側と外側の各点の画素値を矩形検出対象画像から取得する。
STEP1421:
画素値取得手段332は、エッジ追跡ステップST141で得られたエッジ座標に対し、辺候補と直行する方向に1〜n画素離れた点までの座標値を求める。
画素値取得手段332は、辺候補と直行する方向として、例えば、辺候補検出ステップST12において対象とする辺候補を検出した際の探索方向としてもよい。また、画素値取得手段332は、例えば、辺候補検出ステップST12において対象とする辺候補の追跡を終了した両側の端点座標から算出した、対象とする辺候補の傾きと直行する方向であってもよい。
画素値取得手段332は、エッジ座標に対し、辺候補検出時の探索方向に離れた座標の画素値を、辺の外側の画素値として取得し、出力する。図15では、n=2とした場合の例を示しており、エッジ座標1501に対し、辺の外側の画素1502の2画素の画素値を取得し出力する。図15は、画素値取得手段332による画像取得の一例を説明するための図である。
画素値取得手段332は、エッジ座標に対し、辺候補検出時の探索方向と逆方向に離れた座標の画素値を、辺の内側の画素値として取得し、出力する。図15では、同様に、エッジ座標1501に対し、辺の内側の画素1503の2画素の画素値を取得し出力する。
このようにエッジ座標の外側と内側の画素の画素値を取得することで、例えば図12のように矩形が描画されている場合に、黒い外側の辺の部分の画素値がエッジ座標の外側の画素値として、また、白い内側の辺の部分の画素値がエッジ座標の内側の画素値として取得されることになる。
上述のエッジ追跡ステップST141で述べたエッジ追跡の方法は、高速にエッジ座標を追跡することができるとともに、正確にエッジ座標を判定することができるため、エッジの内側と外側の画素値をそれぞれ取得するのに適している。
nの値は、矩形描画の時点で描画する矩形の太さと矩形検出対象画像の撮影環境や撮影サイズなどの条件に合わせて決定する。ここでは、対象とする画素の範囲nの値を2とした例を示した。しかしこれに限られず、これ以外の値、例えば1や3であってもよいことは言うまでもない。
特徴量計算ステップST143では、特徴量計算手段333が、取得した画素値を蓄積し、辺に対する特徴量を計算し、各辺の特徴量を統合した矩形特徴量を計算する。
具体的には以下の手順で矩形特徴量を計算する。
STEP1431(変換パラメータ計算ステップ):
変換パラメータ計算手段3331は、矩形候補算出ステップST13で得られた矩形候補に対し、矩形候補の辺上の座標を矩形の分割位置を表す座標値に変換するための変換パラメータを計算する。これは、矩形候補の頂点座標の分割位置を表す座標系における長方形の頂点座標に写す射影変換行列を計算することで求められる。
矩形候補算出ステップST13で得られた矩形候補が、図16の矩形候補1601であるとし、その頂点座標(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)をそれぞれ、分割位置を表す座標系における長方形1602の頂点、(0,0)、(4,0)、(0,4)、(4,4)に移す射影変換パラメータは、以下の通り計算することができる。つまり、変換パラメータ計算手段3331は、例えば参考文献6などに記載の射影変換を表す以下の関係式(19)に4つの頂点座標を代入して得られる方程式を解き、行列Hを求めることで計算することができる。
<参考文献6>「ディジタル画像処理」, CG-ARTS 協会, ISBN4-906665-47-0
ここでは分割数N=4としたが、この値は任意の自然数であればこれ以外の値であってもよいことは言うまでもない。
分割位置計算手段3332は、STEP1431において変換パラメータ計算手段3331により得られた変換パラメータを用いて、エッジ追跡手段331で得られたエッジ座標を変換し、辺上の分割位置を計算する。
分割位置の計算の具体例を図16を用いて説明する。
例えば、エッジ追跡手段331で得られたエッジ座標が、座標(xE,yE)(図16中の1603)であるとする。これをSTEP1431で得られた変換パラメータを用い分割位置を表す座標値に変換し、座標(ξ1,η1)、(図16中の1604)を得る。
辺検出系列計算手段3333は、STEP1432で得られた分割位置を用いて、検出した辺上の各点の画素値を分割位置毎に蓄積し、辺に対する検出系列を計算する。
図17は、画素値の分割位置毎の蓄積説明図である。図17に示す通り、矩形候補の下辺上で得られたエッジ座標x1〜x13が、STEP1432でそれぞれ、ξ1〜ξ13へと変換され、図で示す分割位置に分類されている状態を表している。
また、画素値取得手段332において、辺の内側、及び外側に対して画素値として各々Y,Cb,Crの各値が取得されている場合の例を示している。
次に、辺検出系列計算手段3333は、各分割位置に分類された各画素値の平均値を各々求める。すなわち、辺検出系列計算手段3333は、
検出系列統合手段3334は、STEP1433で得られた辺検出系列を統合し、矩形候補全体に対する検出系列を求める。
検出系列統合手段3334は、辺検出系列の統合について、矩形付加装置100における矩形パターン生成ステップST3で用いた数値系列と各辺上の位置との対応関係に基づき行われる。
例えば、矩形の上辺の辺検出系列が図18のように得られているとき、矩形パターン生成ステップST3での数値系列m={mi|1≦i≦L}と各辺上の位置が、図10に示すような例で表されているならば、検出系列d={di|1≦i≦L}と辺検出系列の関係を、以下、式(25)に示す。
なお、検出系列の要素と各辺上の位置との対応付けは、矩形パターン生成ステップST3での数値系列と各辺上の位置との対応関係と共通であればどの様な対応付けであってもよい。
矩形特徴量評価ステップST15では、矩形特徴量評価手段304が、矩形特徴量計算ステップST14で計算した矩形特徴量と、所定の特徴量との類似性を評価し、最も適切な矩形を決定する。
矩形特徴量評価ステップST15において、矩形特徴量評価手段304は、埋め込み特徴量計算ステップST151、特徴量類似度計算ステップ152、特徴量類似度比較ステップ153を、順に実施する。
埋め込み特徴量計算ステップST152では、埋め込み特徴量計算手段341が、矩形付加装置100における矩形付加手順の、特徴量生成ステップST2と同様の手順により、目的の矩形が持っているべき特徴量情報として所定の数値系列を計算し、これを埋め込み系列とする。
数値系列の計算に必要な各種のパラメータは、矩形付加装置100と矩形検出装置300とで共有しておく。共有するパラメータの具体例としては、例えば、以下の様なものがある。
・矩形の各辺を分割する分割数N1;N2;N3;N4
・特徴量として用いる画素値のチャネル数c
・辺のエッジの内側と外側の2通り
・数値系列の生成に用いる疑似乱数列の生成方法および鍵パラメータ
・数値系列として用いる数列そのもの
埋め込み特徴量計算手段341は、埋め込み特徴量計算ステップST151の結果として、特徴量生成ステップST2と同様の数値列{mi|1≦i≦L}を埋め込み系列として生成する。ここで、Lは数値列の長さである。
特徴量類似度計算ステップST152では、特徴量類似度計算手段342が、特徴量計算手段333で求められた検出系列と、埋め込み特徴量計算ステップST151で求められた埋め込み系列との間の類似度を計算する。
一般に画像処理において、特徴量の間の類似性の尺度として様々な方法が存在し、矩形検出装置300においてもそれらの類似性の尺度を用いて類似度を計算することができる。
以下、特徴量計算手段333で求められた検出系列をd={di|1≦i≦L}、埋め込み特徴量計算ステップST151で求められた埋め込み系列をm={mi|1≦i≦L}と表す。
<参考文献7>: 岡藍子、和田俊和、「劣化の影響を受けにくい画像間相違度に関する研究」、画像の認識・理解シンポジウム(MIRU2010) OS4-2,pp.683-690 (2010/7)
また例えば、特徴量類似度計算手段342は、類似度の計算において、以下に示すような、dおよびmの各要素をあらかじめ平均0、分散1となるように正規化した数列d´、m´を用いて相関値演算を行うことで、正規分布からのずれの大きさを考慮した評価指標ρを求めこれを類似度として用いてもよい。これを用いると類似度の大きさをfalse positiveの大きさに基づいた絶対値として評価することができる。
参考文献3にあるような検出信頼性の評価基準が揃えられ、誤検出の可能性を排除したより精度の高い矩形の検出が可能である。
特徴量類似度比較ステップST153では、特徴量類似度比較手段343が、矩形候補算出ステップST13で選ばれた各矩形候補1,・・・nに対して、それぞれ特徴量類似度計算ステップST153で求めた類似度ρi,・・・,ρnを比較し、最も適切な矩形候補iresultを決定する。
例えば、特徴量類似度比較手段343は、類似度ρが特徴量類似度計算ステップST153で示したような相関値を用いている場合、ρの値が大きいほど類似していることを表しているため、ρが最大となる矩形候補iを最も適切な矩形候補として決定することができる。
また、特徴量類似度比較手段343は、以下の式(29)に示す最大の類似度ρresult=ρiresultが、所定の閾値を越えているかどうかを判断し、所定の閾値を越えていない場合には適切な矩形が検出できなかったものと判断するようにしても良い。
すなわち、前記の正規分布からのずれの大きさを考慮した評価指標ρを類似度として用いるようにした場合には、参考文献3にあるように、目的の特徴を持たない矩形を誤って検出してしまう確率(false positive) が、目標値(例えば、10−2未満や10−7未満))となるように、閾値を定めてもよい。false positiveの確率の目標値は、目的の特報を持たない矩形(ノイズ成分) を除外するのに必要な基準を決定すればよい。
矩形検出結果出力ステップST16では、特徴量類似度比較手段343が、特徴量類似度比較ステップST145で決定した矩形候補について、これを矩形検出装置300の検出結果として出力する。特徴量類似度比較手段343による検出結果の出力の仕方は、検出した矩形を識別できる情報であればどの様な形式でもかまわない。
また、これらの情報を記憶装置に保存したうえで、記憶装置上の保存位置を検出結果として出力するようにしても構わない。
第2実施形態では、第1実施形態における特徴量類似度比較ステップST153の処理のバリエーションについて説明する。
特徴量類似度比較ステップST153の一つの処理例は、各矩形候補1,・・・nに対して、それぞれ特徴量類似度計算ステップST152で求めた類似度ρ1,・・・ρnについて、矩形候補算出ステップST13で用いた矩形評価値と組み合わせて評価を行うものである。
このf(ρi,ri)としては、例えば、式(30)に示す重み付き和や式(31)に示す重み付き積であってもよい。
なお、重み付き積の場合で、ρi,riのとりうる値の範囲は0〜1の場合にはαとβの大小関係を逆にする必要があることは言うまでもない。
例えば、特徴量類似度比較手段343は、類似度ρiが所定の閾値を超えている矩形候補iの中で、直前の処理フレームでの矩形検出結果の矩形と最も類似しているものを適切な矩形候補として決定するようにしてもよい。直前の処理フレームでの矩形検出結果の矩形との類似性は、例えば特許文献3に示されている様な矩形の特徴量を、直前の処理フレームでの矩形検出結果の矩形と現在の処理フレームでの矩形候補についてそれぞれ算出し、特徴量類似度比較手段343がその特徴量を比較することで判定してもよい。
<特許文献3>:特開2008−117228 矩形追跡方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体
所定の関数として重み付け和や重み付け積を用いてもよいことは言うまでもない。
さらに、これらの処理例を組み合わせて用いてもかまわないことは言うまでもない。
第1実施形態では、矩形パターン生成ステップST3および特徴量計算ステップST2の辺検出系列計算ステップにおいて、辺の内側と外側の画素の平均値をそれぞれ個別に扱って矩形パターンの生成および検出系列の計算を行う例を示したが、下記のように内側と外側の画素値の差分値を用いるようにしてもよい。以下に具体的に説明する。
矩形付加装置100においては、まず、特徴量計算ステップST2においては、長さL=c(N1+N2+N3+N4)の数値系列を生成する。
矩形パターン生成ステップST3においては、矩形パターン生成手段102が、数値系列を4辺の各位置およびチャネルに対応付ける。辺上の位置xにおけるY,Cb,Crに対応付けられた数値系列を、それぞれ、以下に示すw[Y](x)、w[Cb](x)、w[Cr](x)であるとする。
矩形パターン生成手段102は、辺上の位置xにおける内側点の画素値と外側点の画素値がそれぞれ異なる符号で変化する様に値を決定する。すなわち、位置xにおける数値系列の値w[Y](x)、w[Cb](x)、w[Cr](x)に応じて変化する(相関をもつ)様に値を決定する。
矩形パターン生成手段102は、辺上の位置xにおける内側点のY,Cb,Cr の画素値Zin [Y](x)、Zin [Cb](x)、Zin [Cr](x)を、それぞれ、以下の式(33)に示す。
矩形検出装置300の特徴量計算手段333は、特徴量計算ステップST143のSTEP1433(辺検出系列計算ステップ)において、検出系列dを、辺の内側点の平均値と外側点の平均値の差分で求めるようにする。すなわち、特徴量計算手段333は、検出系列dを、以下の式(35)のように定める。
上述の第1実施形態にでは、検出系列統合手段3334において、特徴量計算ステップST143のSTEP1434(辺検出系列統合ステップ) の様に矩形全体の検出系列を統合してから特徴量の比較を行うような例を示した。しかし、本発明はこれに限られず、検出系列統合手段3334は、矩形候補の辺毎に辺検出系列計算手段3333で得られた検出系列を用い、特徴量類似度計算手段342において、埋め込み系列の当該辺の部分列との類似度計算を行って、辺毎の類似度を求め、これを用いて矩形特徴量評価を行ってもよい。
また、例えば、辺毎の特徴量の類似度の計算と、矩形全体に統合した特徴量の類似度の計算を組み合わせて処理するようにしてもよい。
なお、ここで、類似度の値が大きいほど類似していることを表す場合を例にとったが、値が小さいほど類似していることを表す場合は、所定の閾値を上回る辺を含む場合に当該矩形候補を棄却するようになすべきことは言うまでもない。
第5実施形態では、矩形の特徴量に用いる色空間のバリエーションについて説明する。
第1実施形態の特徴量計算ステップST143では、画素値取得手段332で画素値をY,Cb,Crの色空間で取得することを例に記載しているが、矩形パターン生成ステップST3で用いられる色空間と関連付けられていれば、これ以外の色空間を用いてもかまわない。
一つの例としては、例えば、矩形パターン生成ステップST3において、R,G,BのBチャネルを用い矩形パターンを生成し、特徴量計算ステップST143では、Y,Cb,CrのCbチャネルを用いて矩形特徴量の計算を行ってもよい。これは、BチャネルとCbチャネルとは互いに相関が大きく、Bチャネルに与えられた変動がCbチャネルでも容易に観測することができるからである。
第6実施形態では、複数の矩形を多重に付加し、各矩形を候補として検出し、各矩形に対する特徴量を多重の矩形全体に対する特徴量として統合することで、目的の矩形領域をより精度よく検出する例を示す。
本実施例の矩形付加装置100では、第1実施形態に係る矩形付加装置100における特徴量生成ステップST2、矩形パターン生成ステップST3をそれぞれ複数回実行し、矩形付加ステップST4において、大きさのわずかに異なる複数の矩形を多重に描画するようにする。
図19の矩形付加画像1901では、矩形を3重に付加した例を示しており、各矩形が所定の特徴を持つようになされている。
本実施形態に係る矩形検出装置300では、第1実施形態の矩形検出装置300における矩形候補算出ステップST13の後に、複数の矩形候補の中から、互いに近傍に存在する矩形の組を決定し、多重矩形候補とする。
・矩形の4頂点の重心間の距離が、所定の閾値未満である
・矩形の4辺の長さの比が所定の値の範囲内である、もしくは差が所定の閾値未満である
ことを条件として判断を行ってもよい。
上下左右の各方向で検出された辺を、それぞれ検出された順に並べ、E上、E下、E左、E右を、式(37)に示す通りとする。
矩形付加装置で多重に付加した矩形の多重度k に応じ、上下左右の各方向でm 個の連続した辺を抽出し、C上、C下、C左、C右、とする。
これら、C上、C下、C左、C右については、式(38)が成り立つ。
上下左右の順番の揃った辺から構成されるk個の矩形R1,R2,・・・,Rkを構成し、これらの組を多重矩形の候補とする。
検出した辺の条件に当てはまるもの全て、すなわち任意のi,j,k,lの組み合わせについて、STEP1202´から1203´を繰り返す本実施例の矩形検出装置では、第1実施形態の矩形検出装置300における矩形特徴量計算ステップST14において、得られた多重矩形候補の各矩形について矩形特徴量を計算し、さらに特徴量として得られたk種類の検出系列を並べて多重矩形に対する検出系列として出力し、矩形特徴量評価ステップST15において、多重矩形に対する検出系列全体について矩形付加装置100において付与した所定の特徴量との類似度を比較することにより目的の多重矩形を決定する。
第1実施形態では、矩形の各辺をそれぞれN1、N2、N3、N4分割し、特徴量計算ステップST143のSTEP1431(変換パラメータ計算ステップ)およびSTEP1432(分割位置計算ステップ)で、射影変換パラメータを用いて辺上のエッジ座標を矩形の分割位置を表す座標に変換するように構成したが、処理を簡略化するため、次の様な変換を行うこともできる。
すなわち、矩形候補の両端の頂点の座標がx1,x2(ただしx1<x2)、辺上のエッジ座標がxe、辺の分割数がNであるとき、求める分割位置n(1≦n≦N)を、以下の式(40)で求めてもよい。
これらの変換により分割位置を判断するようにすることで、若干の誤差を伴うが、より高速な分割位置の計算が可能となる。
第1実施形態の特徴量計算ステップST143において、各分割位置毎の画素値の平均値から直接検出系列dを求める代わりに、各分割位置毎の画素値を周波数変換したものを検出系列として用いるようにしてもよい。
この場合、矩形付加装置100では矩形パターン生成ステップST3 において、win [Y](x)、win [Cb](x)、win [Cr](x),wout [Y](x)、wout [Cb](x)、wout [Cr](x)を定める際、いったん、周波数係数値の系列ξin [Y](w)、ξin [Cb](w)、ξin [Cr](w),ξout [Y](w)、ξout [Cb](w)、ξout [Cr](w)を求め、それぞれ周波数wで逆周波数変換したのちに矩形パターン生成を行う。
矩形検出装置300は、特徴量計算ステップST143において、以下の(43)を位置iで周波数変換したのちに検出系列を求める。
特徴量を周波数領域での系列として定める際は、画像のノイズの生じやすい周波数帯域(例えば低周波数成分や高周波数成分)を避け、中周波数成分のみを用いるようにしてもよい。
第1実施形態では、矩形検出装置300におけるエッジ成分の判定において、エッジ成分を持つと判定される閾値を超えるように、矩形付加装置100の矩形パターン生成手段102において、エッジ内外の基準値の間に差を持つよう矩形パターンを生成していた。
これに対し、矩形付加対象画像C11の特徴図形を付加する内側位置が十分な高い輝度、もしくは低い輝度を持っている画像の場合には、矩形パターン生成手段102においては、エッジ内外の基準値の差を考慮せず独立に設定する構成であってもよい。つまり、矩形付加装置100の矩形パターン生成手段102が矩形パターンを生成し、矩形付加手段103において矩形付加対象画像C11に矩形パターンを付加する際に、矩形付加対象画像C11自体の画素値成分でエッジが構成されるようにしてもよい。
このようにすることで、矩形付加対象画像C11自体の画素値成分でエッジが構成されるようにすることができ、描画する矩形をより目立ちにくくすることができる。
第1実施形態に係る矩形検出装置300において特徴量計算ステップST143のSTEP1433(辺検出系列計算ステップ)において、分割位置毎の画素値の平均値を求める代わりに、特徴量計算ステップST143のSTEP1431(変換パラメータ計算ステップ)において逆射影変換のパラメータを求め、STEP1432(分割位置計算ステップ)において分割位置の座標に対応する矩形検出対象画像空間上の座標を求め、STEP1433(辺検出系列計算ステップ)において得られた座標の近傍のエッジ座標を持つエッジ検出点の画素値から補完計算を行って当該分割位置に対応する画素値を決定するようにしてもよい。
第1実施形態では、4辺をもつ矩形を対象に例を示したが、他の図形形状であっても同様に行うことができる。
例えば、1辺のみの線分を検出する場合は、矩形付加装置100と同様の線分付加装置において、特徴量生成手段101と同様の手順で生成した特徴量に基づき、矩形パターン生成手段102を1辺の線分のみに適用した線分パターン生成手段を用いて線分パターンを生成し、対象の画像に特徴を持たせた線分を描画し、矩形検出装置300と同様の線分検出装置において、矩形候補算出ステップST13を省略し、辺候補から直接特徴量を算出し、所定の特徴量との類似度を計算して比較するようになすことで対応ができる。このとき、辺の分割位置は、辺の両端点からの距離の割合によって決定することができ、辺の内側、外側の位置は対象画像中の上下あるいは左右方向や、画像の中心点の様な所定の点を定め、その点に近い側と遠い側などを用いて定義することができる。
このとき、円の周囲の分割位置は、例えば円の中心からの角度によって決定することができ、また円形候補の抽出は、参考文献2の手法を適用することで行うことができる。
以上のように本発明は任意の図形形状に対する図形付加装置、図形付加方法、図形検出装置、図形検出方法としても適用することができる。
その他の実施例を下記に説明する。
矩形付加装置100の入力である矩形付加対象画像や、矩形検出装置300の入力である矩形検出対象画像が、複数のフレーム画像からなる映像であってもかまわない。
図1では、矩形検出装置300が携帯端末に内蔵されて動作する例を記載しているが、矩形検出装置300を別な端末、例えばデジタルカメラ、パソコン、サーバといった装置に搭載するようにしてもよい。
例えば、計算処理を高速に行うために市街地距離やチェス盤距離を用いてもよい。
本発明の図形付加装置を用いて図形を画像に対し付加し、本発明の図形検出装置を用いて目的の図形を検出することで、目的の図形領域とは別な類似の図形(例えば矩形を検出するときに類似の矩形領域)が存在した場合や、目的の図形の近傍に強いエッジ成分を持つ直線が存在した場合にも、図形領域の誤検出を防止することができる。また、目的の図形を精度よく検出することができる。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Claims (10)
- 特徴図形を付加する対象である対象画像データを入力し、当該特徴図形が付与されている画像から前記特徴図形を検出するため前記対象画像データに前記特徴図形を付加する特徴図形付加方法において、
前記対象画像データに付与する図形に応じて予め決められており、前記図形内における位置エリアに応じて画素値が異なる特徴量を決定し、当該特徴量を示す特徴量情報を出力する特徴量生成ステップと、
入力する特徴量情報に基づき、前記予め決められている特徴量を含む画素値によって特徴図形を表わす特徴図形パターンを生成し、この特徴図形パターンを示す情報を出力する特徴図形パターン生成ステップと、
前記対象画像データに対して前記特徴図形パターンを付与して特徴図形付加画像を作成し、当該特徴図形付与画像の画像データを出力する矩形付加ステップと、
を備えることを特徴とする特徴図形付加方法。 - 前記特徴量生成ステップにおいて、
前記特徴図形内の位置に応じて予め決められている特徴を示す複数の数値の系列により、前記特徴量を決定することを特徴とする請求項1に記載の特徴図形付加方法。 - 前記特徴量生成ステップと前記特徴図形パターン生成ステップとを複数回行って、複数の特徴図形パターンを生成し、
前記矩形付加ステップにおいて、
図形が互いに近接していると認められる範囲として予め決められている近接範囲内において、前記複数の特徴図形パターンを前記対象画像データに付与して、前記特徴図形付加画像を作成することを特徴とする請求項1あるいは2に記載の特徴図形付加方法。 - 特徴図形が付加されている画像の特徴図形検出対象画像データを入力し、前記特徴図形検出対象画像データから前記特徴図形を検出する特徴図形検出方法において、
図形の縁に対応するエッジ候補領域を前記特徴図形検出対象画像データから検出するエッジ検出ステップと、
前記エッジ候補領域に隣接するエッジ近傍領域と前記エッジ候補領域とに含まれる画素の画素値を取得する画素値取得ステップと、
前記取得した画素値に基づき、前記エッジ候補領域により示される図形の特徴量を求める特徴量計算ステップと、
予め決められている前記特徴図形の特徴量と、前記エッジ候補領域により示される図形の特徴量との類似性を示す評価値を算出し、前記エッジ候補領域により示される図形と前記特徴図形とが類似するか否かを前記評価値に基づき判断する特徴量評価ステップと
を備えることを特徴とする特徴図形検出方法。 - 前記画素値取得ステップにおいて、
前記エッジ候補領域により示される枠形状の図形の内側の縁の画素値および外側の縁の画素値、あるいは、前記エッジ候補領域により示される図形内の位置に応じて予め決められている位置の画素値を取得することを特徴とする請求項4に記載の特徴図形検出方法。 - 前記特徴量計算ステップにおいて、
前記エッジ候補領域により示される枠形状の図形の内側の縁の画素値および外側の縁の画素値、あるいは、前記エッジ候補領域により示される図形内の位置に応じて予め決められている位置の画素値に基づき、前記エッジ候補領域により示される図形の特徴を示す複数の数値を含む検出系列を求め、
前記特徴量評価ステップにおいて、
予め決められている前記特徴図形の特徴量として、前記特徴図形内の位置に応じて予め決められている特徴を示す複数の数値を含む数値系列と前記検出系列との類似度を、相関値により表わして前記評価値を算出する
ことを特徴とする請求項5に記載の特徴図形検出方法。 - 前記特徴量計算ステップにおいて、
図形が互いに近接していると認められる範囲として予め決められている近接範囲内に存在する前記エッジ候補領域により示される複数の図形について、それぞれ、前記取得した画素値に基づき特徴量を求め、
前記特徴量評価ステップにおいて、
予め決められている組み合わせに応じた複数の前記特徴図形の特徴量と、前記エッジ候補領域により示される複数の図形の特徴量との類似性を示す評価値を算出する
ことを特徴とする請求項4から6のいずれか一項に記載の特徴図形検出方法。 - 特徴図形を付加する対象である対象画像データを入力し、当該特徴図形が付与されている画像から前記特徴図形を検出するため前記対象画像データに前記特徴図形を付加する特徴図形付加装置において、
前記対象画像データに付与する図形に応じて予め決められており、前記図形内における位置エリアに応じて画素値が異なる特徴量を決定し、当該特徴量を示す特徴量情報を出力する特徴量生成手段と、
入力する特徴量情報に基づき、前記予め決められている特徴量を有する特徴図形を表わす特徴図形パターンを生成し、この特徴図形パターンを示す情報を出力する特徴図形パターン生成手段と、
前記対象画像データに対して前記特徴図形パターンを付与して特徴図形付加画像を作成し、当該特徴図形付与画像の画像データを出力する矩形付加手段と
を備えることを特徴とする特徴図形付加装置。 - 特徴図形が付加されている画像の特徴図形検出対象画像データを入力し、前記特徴図形検出対象画像データから前記特徴図形を検出する特徴図形検出装置において、
図形の縁に対応するエッジ候補領域を前記特徴図形検出対象画像データから検出する縁検出手段と、
前記エッジ候補領域に隣接するエッジ近傍領域と前記エッジ候補領域とに含まれる画素の画素値を取得する画素値取得手段と、
前記取得した画素値に基づき、前記エッジ候補領域により示される図形の特徴量を求める特徴量計算手段と、
予め決められている前記特徴図形の特徴量と、前記エッジ候補領域により示される図形の特徴量との類似性を示す評価値を算出し、前記エッジ候補領域により示される図形と前記特徴図形と類似するか否かを前記評価値に基づき判断する特徴量評価手段と、
を備えることを特徴とする特徴図形検出装置。 - コンピュータに
請求項1から3に記載の特徴図形付加方法あるいは請求項4から7に記載の特徴図形検出方法のうち、いずれか一項に記載のステップを実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010261716A JP5463269B2 (ja) | 2010-11-24 | 2010-11-24 | 特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010261716A JP5463269B2 (ja) | 2010-11-24 | 2010-11-24 | 特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012114665A JP2012114665A (ja) | 2012-06-14 |
JP5463269B2 true JP5463269B2 (ja) | 2014-04-09 |
Family
ID=46498395
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010261716A Expired - Fee Related JP5463269B2 (ja) | 2010-11-24 | 2010-11-24 | 特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5463269B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104240228B (zh) * | 2013-06-24 | 2017-10-24 | 阿里巴巴集团控股有限公司 | 一种应用于网站的特定图片的检测方法及装置 |
CN109285105B (zh) * | 2018-09-05 | 2023-08-11 | 北京字节跳动网络技术有限公司 | 水印检测方法、装置、计算机设备和存储介质 |
CN109242776B (zh) * | 2018-09-11 | 2023-04-07 | 江苏君英天达人工智能研究院有限公司 | 一种基于视觉***的双车道线检测方法 |
CN110007068B (zh) * | 2019-03-25 | 2022-07-08 | 桂林优利特医疗电子有限公司 | 一种尿液漏滴检测方法 |
US11557108B2 (en) | 2019-04-10 | 2023-01-17 | Rakuten Group, Inc. | Polygon detection device, polygon detection method, and polygon detection program |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4020093B2 (ja) * | 2004-03-24 | 2007-12-12 | 日本電信電話株式会社 | 縁検出方法及び装置及びプログラム及び記憶媒体及び枠検出方法及び装置及びプログラム及び記憶媒体 |
JP4525519B2 (ja) * | 2005-08-18 | 2010-08-18 | 日本電信電話株式会社 | 四辺形評価方法及び装置及びプログラム |
JP4986934B2 (ja) * | 2008-05-29 | 2012-07-25 | 日本電信電話株式会社 | 図形領域抽出装置、図形領域抽出方法、プログラム、及び記録媒体 |
-
2010
- 2010-11-24 JP JP2010261716A patent/JP5463269B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012114665A (ja) | 2012-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200374600A1 (en) | Method for Embedding Advertisement in Video and Computer Device | |
US8718324B2 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
US8126268B2 (en) | Edge-guided morphological closing in segmentation of video sequences | |
US9632678B2 (en) | Image processing apparatus, image processing method, and program | |
JP5729464B2 (ja) | 位置情報付加装置、位置情報付加方法及び位置情報付加用コンピュータプログラムならびに位置検出装置 | |
CN106529573A (zh) | 一种结合三维点云分割和局部特征匹配的实时物体检测方法 | |
US20140044361A1 (en) | Device and method for analyzing the correlation between an image and another image or between an image and a video | |
WO2019071976A1 (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
KR20170018042A (ko) | 규칙 기반 비디오 중요도 분석 | |
JP5463269B2 (ja) | 特徴図形付加方法、特徴図形検出方法、特徴図形付加装置、特徴図形検出装置、およびプログラム | |
US10249029B2 (en) | Reconstruction of missing regions of images | |
US8983199B2 (en) | Apparatus and method for generating image feature data | |
JP2011160379A (ja) | 画像処理装置および方法、並びにプログラム | |
CN111160291B (zh) | 基于深度信息与cnn的人眼检测方法 | |
US9401027B2 (en) | Method and apparatus for scene segmentation from focal stack images | |
KR20140035273A (ko) | 화상 처리장치, 화상 처리프로그램을 기록한 컴퓨터-리더블 기록매체, 및 화상 처리방법 | |
WO2018230294A1 (ja) | 動画像処理装置、表示装置、動画像処理方法、および制御プログラム | |
CN106407978B (zh) | 一种结合似物度的无约束视频中显著物体检测方法 | |
US20150199996A1 (en) | Method and apparatus for indexing a video stream | |
Zhao et al. | Efficient image decolorization with a multimodal contrast-preserving measure | |
KR101753360B1 (ko) | 시점 변화에 강인한 특징점 정합 방법 | |
US20100040304A1 (en) | Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program | |
JP2005071344A (ja) | 画像処理方法、画像処理装置及び画像処理プログラムを記録した記録媒体 | |
CN108960247A (zh) | 图像显著性检测方法、装置以及电子设备 | |
CN104298961B (zh) | 基于口型识别的视频编排方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130123 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130605 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140114 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5463269 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |