JP5425045B2 - オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム - Google Patents
オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム Download PDFInfo
- Publication number
- JP5425045B2 JP5425045B2 JP2010273002A JP2010273002A JP5425045B2 JP 5425045 B2 JP5425045 B2 JP 5425045B2 JP 2010273002 A JP2010273002 A JP 2010273002A JP 2010273002 A JP2010273002 A JP 2010273002A JP 5425045 B2 JP5425045 B2 JP 5425045B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- scene
- scene configuration
- straight line
- inclination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
そこで、画像中から辺候補となる線分を多数検出し、それら線分の組み合わせについて、矩形を成す辺の接続関係や矩形の隅形状といった、複数の評価値を組み合わせて、総合的に評価を行い、画像内の看板等の矩形のオブジェクトを検出するものがある。
本発明は、上述したような問題点に鑑みてなされたものであり、予め決められた抽出対象であるオブジェクトを画像から検出する際、画像内に表わされた被写体の構図を背景のシーンに基づき推定して前景となるオブジェクトを検出することで、オブジェクトの検出精度を高めることができるオブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラムを提供することを目的とする。
以下、本発明の一実施形態によるオブジェクト検出システムについて図1を参照して説明する。
図1は、本実施形態によるオブジェクト検出システムの構成の一例を示すブロック図である。
図1に示す通り、オブジェクト検出システムは、画像撮影端末100と、オブジェクト検出装置200と、データベース300とを備える。
この画像撮影端末100は、オブジェクト検出(シーン推定)処理を行う対象画像を撮影し、この対象画像の画像データをオブジェクト検出装置200にネットワークを介して送信する。このオブジェクト検出装置200は、入力する対象画像の画像データに基づき、画面の構成において前景となるオブジェクトを検出する。また、オブジェクト検出装置200は、このオブジェクトの画像特徴量を算出する。
オブジェクト検出装置200は、このコンテンツ提供テーブルを参照して、算出しておいたオブジェクトの画像特徴量に対応するコンテンツ情報を取得する。このオブジェクト検出装置200は、取得したコンテンツ情報を画像撮影端末100にネットワークを介して送信する。
このように、本実施形態に係るオブジェクト検出システムは、画像撮影端末100が撮影した画像内のオブジェクトを検出し、当該オブジェクトに対応付けられているコンテンツ情報を画像撮影端末100に配信するシステムである。
図2は、オブジェクト検出装置200の構成の一例を示すブロック図である。図3は、オブジェクト検出装置200によるオブジェクト検出方法の一例を示すフローチャートである。
図2に示す通り、このオブジェクト検出装置200は、シーン構成基本直線検出処理部(線画像検出手段)201と、シーン構成推定処理部(傾き情報算出手段、シーン構成判定手段)202と、前景領域決定処理部(オブジェクト検出手段)203とを含む。
図3に示す通り、本実施形態に係るオブジェクト検出方法は、線画像検出ステップST1と、傾き情報算出ステップST2と、シーン構成判定ステップST3と、オブジェクト検出ステップST4と、画像特徴量算出ステップST5と、コンテンツ情報取得ステップST6とを備える。各ステップについては、以下説明する。
シーン構成基本直線検出処理部201は、入力された対象画像の中から線状の画像領域を抽出する。本実施形態において、シーン構成基本直線検出処理部201は、線状の画像領域として、画像内の直線部分を抽出し、この直線部分の画像内における位置を示す直線情報を取得する。このシーン構成基本直線検出処理部201は、例えば、文献1にあるような確率的Hough変換などの手法を用いて、入力された撮影画像中の直線部分の検出をおこなう。
<文献1> オライリー・ジャパン出版 松田晃一訳 p.157-158 2010年2月発行
このシーン構成基本直線検出処理部201は、例えば天井と壁の境界線などのようなシーン構成基本直線を、想定される撮影シーンにあわせて選択することが望ましい。
ここでは、建物内の通路をなど面で囲まれた場所を対象とした入力される撮影画像におけるシーン構成基本直線について説明する。
図4には、オブジェクト検出装置200がオブジェクトを検出する対象のオブジェクト検出対象シーン301を示す。オブジェクト検出対象シーン301には、被写体である立体構造物として、建物内の通路が表わされている。このオブジェクト検出対象シーン301は、この通路を構成する複数のシーン構成面を含む風景である。
具体的にいうと、このオブジェクト検出対象シーン301は、建物内の通路を、地面に垂直な2つのシーン構成面である平面Aと平面C、および地面に水平な2つのシーン構成面である天井Bと床Dで形成されているシーン(風景)である。
例えば、向かって右側(紙面右側)の地面に垂直な平面Cと天井Bで構成されるシーン構成を撮影している場合(ケース1)と、向かって左側(紙面左側)の地面に垂直な平面Aと天井Bで構成されているシーン構成を撮影している場合(ケース2)に分類することができる。つまり、オブジェクト検出対象シーン301を撮影する視点(ユーザの撮影位置)に応じて撮影されるシーン構成面が異なるため、画像内に含まれるシーン構成面の種類(天井、右壁、左壁等)を、画像内の構図や撮影位置に応じて分類することができる。
また、天井と壁の境目に該当する直線が分断されて検出されている場合、長さが短くなっている場合もありえるので、シーン構成基本直線検出処理部201は、各直線の傾きをベクトル量子化しヒストグラムを算出する。そして、シーン構成基本直線検出処理部201は、一番多い傾きを向いた直線群を天井と壁の境目に該当するシーン構成基本直線としてもよい。
また、通路が狭く、天井と左右両側の壁も画像に撮影されることが想定される場合、天井と壁の境目に該当するシーン構成基本直線が2本あると考えられるので、シーン構成基本直線検出処理部201は、画像上で長さの長い上位2本の直線をシーン構成基本直線として抽出してもよい。
はじめに、シーン面基本構成モデル204の一例について説明する。シーン面基本構成モデル204は、例えば、図5で示すようなシーンを想定するための構成モデルのデータである。なお、このシーン面基本構成モデル204は、オブジェクト検出装置200が備えるデータベース205に格納されている。
ケース1は、向かって右側(紙面右側)の地面に垂直な平面Aと天井Bで構成されているシーン構成である。
ケース2は、向かって左側(紙面左側)の地面に垂直な平面Cと天井Bで構成されているシーン構成である。
ケース1:オブジェクト検出対象画像401内において、シーン構成基本直線302の傾きα302が0度〜60度である。なお、傾きα302とは、垂直方向の基準ラインを0度とした場合、この基準ラインから左周りに+、右周りに−の値である。
ケース2:オブジェクト検出対象画像402内において、シーン構成基本直線303の傾きα303が−60度〜0度である。なお、傾きα303とは、垂直方向の基準ラインを0度とした場合、この基準ラインから左周りに+、右周りに−の値である。
なお、図5(a)、(b)に示す通り、画像の左下を原点O、横軸をx軸、縦軸をy軸と設定している。
なお、シーン構成情報とは、ケース1、2のような画像が撮像される際の視点に応じて複数用意される情報であって、例えば、視点の位置を示す情報や、当該視点から撮影した際に映し出されるシーン構成面の種類(天井、右壁、左壁等)を示す情報であってもよい。
また、シーン構成基本線情報とは、シーン構成と判定するためのシーン構成基本直線の傾きの範囲を示す情報であって、ケース1の場合、シーン構成基本直線302の傾きα302が0度〜60度の範囲であると規定されている。なお、シーン構成基本線情報は、シーン構成基本直線の傾きの範囲に限定されず、このシーン構成基本直線の位置範囲を規定するものであってもよい。
ここで、シーン構成基本直線検出処理部201は、シーン構成基本直線として、画像上の一番長い直線を選択した場合、その傾きをもとに、上記のどのケースに適合するか比較をおこなう場合について説明する。
例えば、シーン構成基本直線検出処理部201に入力するオブジェクト検出対象の画像が、図6(a)に示すようなオブジェクト検出対象画像501であったとする。図6(a)は、画像撮影端末100からオブジェクト検出装置200が受信する画像の一例であるオブジェクト検出対象画像501であって、シーン構成基本直線検出処理部201によって検出された直線を示す。
この場合、シーン構成基本直線検出処理部201は、一番長い直線として、直線503を検出する。次いで、シーン構成推定処理部202は、オブジェクト検出対象画像501内における直線503の傾きを算出し、この傾きを示す傾き情報を取得する。
そして、シーン構成推定処理部202は、シーン面基本構成モデル204を参照して、直線503の傾き情報に基づき、このオブジェクト検出対象画像501がどのケースに該当するか否かを判断する。本実施形態において、シーン構成推定処理部202は、ケース2であると判定される。
具体的に説明すると、シーン構成推定処理部202は、直線503の傾きα503を検出し、この傾きα503が−60度〜0度であると判定する。よって、シーン構成推定処理部202は、傾きが−60度〜0度である場合シーン2に該当すると定義されているシーン面基本構成モデル204を参照して、傾き情報が示す傾きと対応するシーン構成情報を取得し、オブジェクト検出対象画像501がケース2に該当すると判定する。
上記のように、シーン構成面推定処理部202は、シーン構成基本直線から撮影されたシーンを構成する面の位置関係を推定する。
(オブジェクト検出ステップST4)
オブジェクト検出対象シーン301のように、地面に垂直な平面Aおよび平面Cがシーン構図において前景であると予めわかっている場合、前景領域決定処理部203は、シーン構成面推定処理部202において推定したシーン構成面の位置関係をもとに、前景領域を決定する。つまり、前景領域決定処理部203は、シーン構成面推定処理部202によって判定された画像内のシーン構成面の位置関係に応じて予め決められた画面内のシーン構成毎に視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、シーン構図情報が示す画面内のシーン構成においてシーン構成面の前景となるオブジェクト画像領域を検出する。
また、オブジェクト検出対象画像502において、壁上にあるオブジェクトが所望の物体の場合、前景領域決定処理部203は、まず領域504を前景領域の初期値として設定し、その後、文献3や文献4に記載のGraphcutやGrabcutの手法をもとに領域分割をおこない、色などを目印に所望の物体を抽出してもよい。
<文献3> Y. Boykov and M.-P. Jolly: “Interactive graph cuts for optimal boundary & region segmentation of objects in n-d images”, ICCV2001, 01, p. 105 (2001).
<文献4> C. Rother, V. Kolmogorv, A. Blake,““GrabCut”:Interactive Foreground Extraction Using Iterated Graph Cuts,” ACM Trans. Graphics (SIGGRAPH ’04), vol.23, no.3, pp.309-314, 2004.
(画像特徴量算出ステップST5)
コンテンツ決定処理部206は、前景領域決定処理部203によって決定された前景画像に対応する画像領域の画像特徴量を算出する。このコンテンツ決定処理部206は、例えば、前景画像に対応する画像領域から文字や図計を検出する画像処理を行い、この前景画像に対応する画像領域内における検出された文字や図形等の位置を取得する。
コンテンツ決定処理部206は、データベース300内のコンテンツ提供テーブルを参照して、画像特徴量算出ステップにおいて算出された画像特徴量に対応するコンテンツ情報を取得する。
このコンテンツ決定処理部206は、取得したコンテンツ情報を画像撮像端末100に送信する。
具体的には、シーン面基本構成モデル204をあらかじめオブジェクト検出装置200に記憶しておき、入力する画像中の直線情報と記憶している面基本構成モデルとの照合を行うことにより、比較的近い面基本構成モデルを選択し、シーンの面構成を推定する。
また、入力する画像中から看板領域を抽出することができるようになれば、店舗検索サービス等を精度良く実現することが可能となる。店舗検索サービスは、後述の図7に示すようなシステムで実現することができ、店舗の看板画像を登録画像とし、登録画像とその登録画像に対応する付加情報とをあわせてデータベース上に保持する。画像撮影端末により撮影された撮影画像中の看板領域とデータベース上に保持している登録画像との類似性の判断をおこない、類似性が認められた前記データベースに保持している登録画像を特定し、特定した登録画像に対応付けて、店舗情報などの付加情報を画像撮影端末へ返信する登録画像決定部とをそなえることを特徴とする。
次に、本発明に係る第2実施形態について説明する。
図7は、店舗情報検索システムの構成の一例を示すブロック図である。図7に示す店舗情報検索システムは、画像撮影端末1100と、サーバ1200と、データベース1300とを備える。本実施形態において、店舗情報検索システムは、撮影画像内から店舗の看板をオブジェクトとして検出し、この看板に対応する店舗情報をコンテンツ情報として画像撮影端末1100に配信するシステムである。
サーバ1200は、画像撮影端末1100から受信した撮影画像の画像データを検索キーとして、登録された店舗の看板画像を検索するための登録看板画像テーブルを格納しているデータベース1300との照合処理を行う。なお、サーバ1200は、オブジェクト検出装置200と同様の構成を有し、撮影画像の画像データからオブジェクトとして3次元空間において矩形の画像領域を、看板に相当する画像領域として検出する。このサーバ1200は、この看板に相当する画像領域の画像特徴量を算出し、登録看板画像テーブルを参照して、この特徴量と対応付けられている店舗情報を取得する。
この登録看板画像テーブルは、予め決められたオブジェクトの画像特徴量を示すオブジェクト特徴量として、看板に記載されている文字や画像を示すオブジェクト情報と、当該オブジェクトに関連するコンテンツを示すコンテンツ情報として、看板により特定される店舗を示す店舗情報とを対応付けるテーブルである。
画像撮影端末1100あるいは任意のカメラが、店舗を特定することが可能な四角形(矩形)の看板を撮影し、撮影した画像データをデータベース作成装置に出力する。このデータベース作成装置は、撮影した画像中から看板にあたる四角形領域を抽出する。なお、この看板にあたる四角形領域の抽出は、手作業であってもよいし、画像領域分割法等を用いてもよい。
データベース作成装置は、この抽出した看板にあたる矩形画像領域を登録看板画像データとして登録看板画像テーブルに書き込んでもよい。また、データベース作成装置は、この看板にあたる矩形画像領域からOCR等の技術を用いて抽出した文字のみをオブジェクト情報として登録看板画像テーブルに書き込んでもよく、手作業により指定された看板内の図形のみを抽出してオブジェクト情報として登録看板画像テーブルに書き込んでもよい。
また、データベース作成装置は、このオブジェクト情報に対応するコンテンツ情報として、店舗の開店時間や推薦商品等などの店舗情報を対応付けて、登録看板画像テーブルに書き込む。
本実施形態において、サーバ1200は、店舗を特定するため、四角形の看板が写っている看板画像を対象画像から抽出し、この抽出した看板画像を検索キーとして、データベース1300に格納されている登録看板画像テーブルとの照合処理を行い、看板画像に対応する店舗情報を取得する。
看板領域抽出処理部1201は、図2に示したオブジェクト検出装置200と同様、シーン構成基本直線検出処理部201と、シーン構成推定処理202と、前景領域決定処理203とを含む。
画像撮影端末1100が、天井と壁に垂直に吊り下げられている看板を撮影する場合、撮影位置によって背景が大きく変化するため、看板領域の特定が照合の精度を保つのに重要となる。そこで、ここでは、天井と壁に垂直に吊り下げられている看板を撮影する場合を主に想定しながら説明する。
最初に、シーン構成基本直線検出処理部201が、画像撮影端末1100から入力される画像データに基づき、撮影画像の中から線状の画像領域として、例えば、直線を抽出する。なお、ここでは、直線として説明するが、画像のゆがみ等により、厳密に直線でない場合であっても、これらの誤差を許容する範囲内で直線と判定される線状の画像が相当する。
このシーン構成基本直線検出処理部201は、文献1にあるような確率的Hough変換などの手法を用いて、入力する撮影画像の中の直線部分に対応する画像領域を検出する。
ケース11は、図4に示すオブジェクト検出対象シーン301において向かって右側(紙面右側)の地面に垂直な平面Cと天井Bで構成されるシーン構成である。
図8(b)は、シーン面基本構成モデル204において規定されているケース12のシーンについて説明するための図である。図8(b)は、ケース12の構図で撮影された画像602を示す。
ケース12は、図4に示すオブジェクト検出対象シーン301において向かって左側(紙面左側)の地面に垂直な平面Aと天井Bで構成されているシーン構成である。
図8(c)は、シーン面基本構成モデル204において規定されているケース13のシーンについて説明するための図である。図8(c)は、ケース13の構図で撮影された画像603を示す。
ケース13は、図4に示すオブジェクト検出対象シーン301において天井Bと左右両方の地面に垂直な平面Aと平面Cで構成されるシーン構成である。
ケース11は、シーン構成基本直線604の傾きα604が45度〜90度であり、かつy切片が0から画像y軸方向のサイズである場合のシーン構成をいう。なお、傾きα604とは、垂直方向の基準ラインであるy軸から左周りに−、右周りに+の値である。
ケース12は、シーン構成基本直線605の傾きα605が−45度〜−90度であり、かつy切片は、0から画像のy軸方向のサイズである場合のシーン構成をいう。なお、傾きα605とは、垂直方向の基準ラインであるy軸を0度とした場合、この基準ラインから左周りに−、右周りに+の値である。
ケース13は、シーン構成基本直線606の傾きが0〜45度であり、かつシーン構成基本直線606のy切片が画像yサイズよりマイナスの値であって、シーン構成基本直線607の傾きが0〜−45度であり、かつシーン構成基本直線607のy切片が画像yサイズより大きい場合のシーン構成をいう。
なお、シーン構成基本直線606、607のy切片とは、シーン構成基本直線606、607をそれぞれ伸ばしてy軸と交わる点のy座標の値をいう。よって、図8(c)に示す通り、シーン構成基本直線606のy切片は、y座標のマイナスの値となる。また、シーン構成基本直線607のy切片は、画像603のy座標の値よりも大きくなる。
なお、シーン構成情報とは、ケース11〜13のような画像が撮像される際の視点に応じて複数用意される情報であって、例えば、視点の位置を示す情報や、当該視点から撮影した際に映し出されるシーン構成面の種類(天井、右壁、左壁等)を示す情報であってもよい。
また、シーン構成基本線情報とは、シーン構成と判定するためのシーン構成基本直線の傾きの範囲を示す情報であって、ケース11の場合、シーン構成基本直線604の傾きα604が45度〜90度であると規定されており、また、シーン構成基本直線604のy切片が0から画像y軸方向のサイズまでの範囲であると規定されている。
ここで、図9を参照して、具体的に説明する。
図9(a)は、撮影画像の一例である撮影画像701を示す図である。
図9(b)は、撮影画像の一例である撮影画像702を示す図である。
図9(c)は、撮影画像の一例である撮影画像703を示す図である。
図9(d)は、撮影画像の一例である撮影画像704を示す図である。
図9(e)は、撮影画像の一例である撮影画像705を示す図である。
具体的には、シーン構成基本直線検出処理部201は、入力するオブジェクト検出対象の画像701から、一番長い直線として、直線706を検出する。なお、この場合、直線706は、途中で分断されているが、伸ばすことにより重複するため、1本の直線として取り扱われる。そして、シーン構成推定処理部202が、オブジェクト検出対象の画像701内における直線706の傾きとy切片を算出し、この傾きを示す傾き情報とx切片を示す位置情報を取得する。
そして、シーン構成推定処理部202は、シーン面基本構成モデル204を参照して、直線706の傾き情報と位置情報に基づき、この画像701がどのケースに該当するか否かを判断する。本実施形態において、シーン構成推定処理部202は、ケース12であると判定される。
上記のように、シーン面基本構成モデル204は、シーン構成基本直線に基づき、撮影されたシーンを構成する面の位置関係を推定する。
(オブジェクト検出ステップ)
まず、前景領域決定処理部203は、撮影画像の中から看板が含まれる看板候補領域を選択する。ここで、前景領域決定処理部203は、画素情報を利用して、セグメンテーションをおこない、画像中央を含む領域を看板が含まれる領域として選択してもよい。また、前景領域決定処理部203は、シーン構成推定処理部202により推定された面の構成情報から看板領域を推定してもよい。
<文献2> オライリー・ジャパン出版 松田晃一訳 p.301‐303 2010年2月発行
また、上記シーン構成推定処理部202により推定された面の構成情報から看板領域を推定する手法を利用してもよい。例えば、図10に示す画像801、802のように、シーン構成基本直線が看板で分断されている場合がある。図10(a)は、ケース11のシーン構成の画像801を示す。図10(b)は、ケース12のシーン構成の画像802を示す。なお、画像801、802は、シーン構成基本直線検出処理部201によって抽出された直線のみを示す画像である。
ここで、天井から吊り下げられている看板なら、そのシーン構成基本直線上に撮像されていると推定し、シーン構成基本直線を含む領域805を看板が含まれる領域(看板候補領域)として選択するように、前景領域決定処理部203に対して予め設定しておく。
ここで、天井から吊り下げられている看板なら、そのシーン構成基本直線上に撮像されていると推定し、シーン構成基本直線を含む領域808を看板が含まれる領域(看板候補領域)として選択するように、前景領域決定処理部203に対して予め設定しておく。
例えば、図10の画像802に示すように、直線806、807が検出された場合、図11のオブジェクトパターン901,902,903に示すように、看板にあたる四辺形のテンプレートを複数用意する。
照合処理部1202は、上述のデータベース作成処理において作成された登録看板画像(登録看板画像テーブルにおけるオブジェクト情報)と同じ形に、看板領域抽出処理にて検出された領域を変形する。例にあるような、100ピクセル×100ピクセルのサイズで登録されている場合、照合処理部1202は、同じサイズに変形する。次に、照合処理部1202は、データベース上の看板画像との照合をおこなう。マッチングの方法は、何を用いても良く、例えば、正規化相関などの方法がある。
照合処理部1202は、照合によりマッチした登録看板画像とセットで登録看板画像テーブルにおいて記憶されている店舗情報をユーザへ返信する。
このように、画像情報のみを用いて検索をおこなうことが可能となるため、GPS(Global Positioning System)情報といった位置情報を得られない場合でも所望の店舗情報を検索することができる。また、どのような位置から撮影をおこなっても、精度高く検索をおこなうことが可能となる。つまり検索キーとなる入力画像に、撮影位置や角度といった制約を設けることなく、ユーザに負担をかけることなく自然な形での撮影でも検索をおこなうことができるサービスを提供できる。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
Claims (4)
- 入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出ステップと、
前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出ステップと、
2次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出ステップにおいて算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定ステップと、
前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出ステップと
を備えることを特徴とするオブジェクト検出方法。 - 前記オブジェクト画像領域の画像特徴量を算出する画像特徴量算出ステップと、
予め決められたオブジェクトの画像特徴量を示すオブジェクト情報と、当該オブジェクトに関連するコンテンツを示すコンテンツ情報とを対応付けるコンテンツ提供テーブルを参照して、前記画像特徴量算出ステップにおいて算出された前記画像特徴量に対応する前記コンテンツ情報を取得するコンテンツ情報取得ステップとをさらに備えることを特徴とする請求項1に記載のオブジェクト検出方法。 - 入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出手段と、
前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出手段と、
2次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出手段によって算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定手段と、
前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出手段と
を備えることを特徴とするオブジェクト検出装置。 - コンピュータに、
入力する画像データに基づき、当該入力画像内において線状の画像領域を検出する線画像検出手順、
前記検出された線状の画像領域が示す線画像の前記入力画面内における傾きを示す傾き情報を算出する傾き情報算出手順、
2次元の画像内で表わされている立体構造物を構成する複数の構成面の位置関係を前記立体構造物を見る視点毎に表わすシーン構成情報と、当該立体構造物を構成する複数の構成面同士の接線であるシーン構成基本線の前記入力画像内における傾きを示すシーン構成基本線情報とを対応づけるシーン構成判定テーブルを参照して、前記傾き情報算出手順において算出された傾き情報が示す傾きと対応するシーン構成情報を取得するシーン構成判定手順、
前記構成面の位置関係に応じて予め決められた画面内のシーン構成毎に前記視点に合わせたオブジェクトの形状を示すオブジェクトパターンデータを参照して、前記シーン構成情報が示す画面内のシーン構成において前記構成面の前景となるオブジェクト画像領域を検出するオブジェクト検出手順
を実行させるためのオブジェクト検出プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010273002A JP5425045B2 (ja) | 2010-12-07 | 2010-12-07 | オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010273002A JP5425045B2 (ja) | 2010-12-07 | 2010-12-07 | オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012123567A JP2012123567A (ja) | 2012-06-28 |
JP5425045B2 true JP5425045B2 (ja) | 2014-02-26 |
Family
ID=46504948
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010273002A Expired - Fee Related JP5425045B2 (ja) | 2010-12-07 | 2010-12-07 | オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5425045B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5735071B2 (ja) * | 2013-09-27 | 2015-06-17 | 株式会社ダスキン | 情報検索装置、情報検索方法、及び情報検索プログラム |
JP6775555B2 (ja) * | 2018-08-30 | 2020-10-28 | ヤフー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010086268A (ja) * | 2008-09-30 | 2010-04-15 | Mazda Motor Corp | 車両用表示体認識装置 |
-
2010
- 2010-12-07 JP JP2010273002A patent/JP5425045B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012123567A (ja) | 2012-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11887247B2 (en) | Visual localization | |
US9799139B2 (en) | Accurate image alignment to a 3D model | |
US9525862B2 (en) | Method for estimating a camera motion and for determining a three-dimensional model of a real environment | |
US10659750B2 (en) | Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images | |
Kaminsky et al. | Alignment of 3D point clouds to overhead images | |
US11521311B1 (en) | Collaborative disparity decomposition | |
Criminisi | Single-view metrology: Algorithms and applications | |
KR101396346B1 (ko) | 다수의 2차원 실사 영상들을 이용하여 3차원 영상을생성하는 방법 및 장치 | |
WO2016029939A1 (en) | Method and system for determining at least one image feature in at least one image | |
Elibol et al. | A new global alignment approach for underwater optical mapping | |
JP2011526029A (ja) | 街路レベル画像の3d建物モデルへの位置合わせ | |
WO2014147863A1 (ja) | 三次元情報計測・表示装置、三次元情報計測・表示方法及びプログラム | |
US20150138193A1 (en) | Method and device for panorama-based inter-viewpoint walkthrough, and machine readable medium | |
CN110363179B (zh) | 地图获取方法、装置、电子设备以及存储介质 | |
Recky et al. | Façade segmentation in a multi-view scenario | |
Kroepfl et al. | Efficiently locating photographs in many panoramas | |
JP5425045B2 (ja) | オブジェクト検出方法、オブジェクト検出装置およびオブジェクト検出プログラム | |
JP6579659B2 (ja) | 光源推定装置及びプログラム | |
JP2022516298A (ja) | 対象物を3d再構築するための方法 | |
Nguyen et al. | Modelling of 3d objects using unconstrained and uncalibrated images taken with a handheld camera | |
Guan et al. | Estimation of camera pose with respect to terrestrial LiDAR data | |
Hwang et al. | 3D modeling and accuracy assessment-a case study of photosynth | |
JP7286388B2 (ja) | 位置推定システム、位置推定装置、位置推定方法、及びプログラム | |
McClean et al. | Single image augmented reality using planar structures in urban environments | |
JP7504614B2 (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130122 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130605 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130726 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131107 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131126 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5425045 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |