JP6597795B2 - 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム - Google Patents
画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム Download PDFInfo
- Publication number
- JP6597795B2 JP6597795B2 JP2017556027A JP2017556027A JP6597795B2 JP 6597795 B2 JP6597795 B2 JP 6597795B2 JP 2017556027 A JP2017556027 A JP 2017556027A JP 2017556027 A JP2017556027 A JP 2017556027A JP 6597795 B2 JP6597795 B2 JP 6597795B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- unit
- image
- vertex
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
Description
まず、図1〜3を用いて、ブロックマッチング処理による測距方法の概略について説明する。
図1は、撮像部から物体までの距離を導き出す原理を説明する図である。図1を参照しながら、ステレオマッチング処理により、ステレオカメラから物体に対する視差を導出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。
次に、図2および3を用いて、ブロックマッチング処理による測距方法について説明する。
以下、図4〜25を用いて、本実施の形態の具体的な説明をする。ここでは、ブロックマッチング処理を行う物体認識装置1が自動車に搭載される場合を例に説明する。
図4は、実施の形態に係る機器制御システムを車両に搭載した例を示す図である。図4を参照しながら、本実施の形態の機器制御システム60を搭載した車両70について説明する。図4のうち、図4(a)は、機器制御システム60を搭載した車両70の側面図であり、図4(b)は、車両70の正面図である。
図5は、実施の形態に係る物体認識装置の外観の一例を示す図である。図5に示すように、物体認識装置1は、上述のように、本体部2と、本体部2に固定された撮像部10aと、撮像部10bとを備えている。撮像部10a、10bは、本体部2に対して平行等位に配置された一対の円筒形状のカメラで構成されている。また、説明の便宜上、図5に示す撮像部10aを「右」のカメラと称し、撮像部10bを「左」のカメラと称する場合がある。
図6は、実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。図6を参照しながら、物体認識装置1のハードウェア構成について説明する。
図7は、実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。まず、図7を参照しながら、物体認識装置1の要部の機能ブロックの構成および動作について説明する。
(2)物体の面を検出する処理については、画角(物体認識装置1に対する物体までの角度)によって物体の形状が変わることがなく、どの距離でも同じ特徴を有するので同じアルゴリズムで画像処理が可能となる。
(4)物体の面を検出する処理については、横軸を基準画像Iaのx軸としているで、斜めの部分の特徴を検出しやすい。
図25は、実施の形態に係る視差値導出部のブロックマッチング処理の動作の一例を示すフローチャートである。図25を参照しながら、物体認識装置1の視差値導出部3のブロックマッチング処理の動作の流れについて説明する。
視差値導出部3の画像取得部100bは、左のカメラ(撮像部10b)により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップS2−1へ移行する。
視差値導出部3の画像取得部100aは、右のカメラ(撮像部10a)により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップS2−2へ移行する。
視差値導出部3の変換部200bは、撮像部10bにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップS3−1へ移行する。
視差値導出部3の変換部200aは、撮像部10aにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップS3−2へ移行する。
変換部200bは、ステップS2−1において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における比較画像Ibとして出力する。これによって、ブロックマッチング処理において視差値を求めるための比較対象となる画像を得る。そして、ステップS4へ移行する。
変換部200aは、ステップS2−2において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における基準画像Iaとして出力する。これによって、ブロックマッチング処理において視差値を求めるための基準となる画像を得る。そして、ステップS4へ移行する。
視差値導出部3の視差値演算処理部300のコスト算出部301は、基準画像Iaにおける基準画素p(x,y)の輝度値、および、基準画素p(x,y)に基づく比較画像Ibにおけるエピポーラ線EL上で、基準画素p(x,y)の位置に相当する画素からシフト量dでシフトすることにより特定される、対応画素の候補画素q(x+d,y)の各輝度値に基づいて、各候補画素q(x+d,y)のコスト値C(p,d)を算出することにより取得する。具体的には、コスト算出部301は、ブロックマッチング処理により、基準画像Iaの基準画素pを中心とする所定領域である基準領域pbと、比較画像Ibの候補画素qを中心とする候補領域qb(大きさは基準領域pbと同一)との非類似度をコスト値Cとして算出する。そして、ステップS5へ進む。
視差値導出部3の視差値演算処理部300の決定部302は、コスト算出部301により算出されたコスト値Cの最小値に対応するシフト量dを、コスト値Cの算出の対象となった基準画像Iaの画素についての視差値dpとして決定する。そして、視差値導出部3の視差値演算処理部300の第1生成部303は、決定部302により決定された視差値dpに基づいて、基準画像Iaの各画素の輝度値を、その画素に対応する視差値dpで表した画像である視差画像を生成する。第1生成部303は、生成した視差画像を、認識処理部5に出力する。
図26は、実施の形態に係る認識処理部の物体認識処理の動作の一例を示すフローチャートである。図26を参照しながら、物体認識装置1の認識処理部5の物体認識処理の動作の流れについて説明する。
第2生成部500は、視差値演算処理部300から視差画像を入力し、視差値導出部3から基準画像Iaを入力し、V−Disparityマップ、U−Disparityマップ、およびReal U−Disparityマップ等を生成する。第2生成部500の第3生成部501は、視差値演算処理部300から入力した視差画像から路面を検出するために、V−DisparityマップであるVマップVMを生成する。第2生成部500の第4生成部502は、VマップVMで検出された路面より上方に位置する情報のみを利用して、物体を認識するために、U−DisparityマップであるUマップUMを生成する。第2生成部500の第5生成部503は、第4生成部502により生成されたUマップUMから、横軸を実際の距離に変換したReal U−DisparityマップであるリアルUマップRMを生成する。そして、ステップS12へ移行する。
入力部511は、第2生成部500により入力された基準画像Iaおよび視差画像、ならびに、第2生成部500により生成されたVマップVM、UマップUM、UマップUM_H、およびリアルUマップRMを入力する。領域抽出部513は、入力部511から出力された入力情報のうちリアルUマップRMから、画素値の塊である孤立領域を抽出する。領域抽出部513は、抽出した孤立領域ごとに、その孤立領域に関する情報である認識領域情報を生成し、ここでは、例えば、ラベリング処理の識別情報、およびリアルUマップRM上における孤立領域の位置および大きさの情報を認識領域情報に含める。領域抽出部513は、生成した認識領域情報を、平滑化部514に送る。そして、ステップS13へ移行する。
平滑化部514は、領域抽出部513により抽出された孤立領域に対して、リアルUマップRM上に存在するノイズおよび視差分散等を緩和するための平滑化を行う。平滑化部514による孤立領域に対する画素値の埋め込みによって、元々の孤立領域の1画素分の周囲の画素に画素値が埋め込まれた状態となる。以降、元々の孤立領域に対して画素値が埋め込まれた領域を併せた領域を新たな孤立領域として扱う。平滑化部514は、リアルUマップRM上における、この新たな孤立領域の位置および大きさの情報を認識領域情報に含めて、輪郭抽出部515に送る。そして、ステップS14へ移行する。
輪郭抽出部515は、平滑化部514により平滑化された孤立領域の輪郭を形成する画素について、隣接する画素同士の方向ベクトル(輪郭ベクトル)を特定することにより輪郭を抽出する。輪郭ベクトルが特定された結果、孤立領域の輪郭を形成する画素に対して、輪郭ベクトルを示す番号(情報)が割り当てられる。輪郭抽出部515は、孤立領域の輪郭を形成する画素に割り当てられた輪郭ベクトルを示す情報を認識領域情報に含めて、背面検出部516に送る。そして、ステップS15へ移行する。
背面検出部516は、輪郭抽出部515により輪郭が抽出された孤立領域の背面の位置、および側面の位置(背面と側面との境界を示す頂点の位置)を検出する。背面検出部516は、孤立領域について検出した背面および側面(左側面および右側面)の位置の情報を認識領域情報に含めて、第1判定部517に送る。そして、ステップS16へ移行する。
第1判定部517は、背面検出部516により検出された背面が正しく検出されているか否か、すなわち、背面の妥当性の判定を行う。そして、ステップS17へ移行する。
第1判定部517は、背面検出部516により検出された背面が正しく検出されているか否か、すなわち、背面の妥当性の判定の結果を認識領域情報に含める。第1判定部517は、背面が正しく検出されていると判定した場合(ステップS17:Yes)、認識領域情報をカット部518に送り、ステップS18へ移行する。一方、第1判定部517は、背面が正しく検出されていないと判定した場合(ステップS17:No)、認識領域情報を枠作成部519に送り、ステップS27へ移行する。
カット部518は、第1判定部517により背面に妥当性があると判定された場合に、第1判定部517から受け取った認識領域情報が示す孤立領域のうち、不要と考えられる領域(カット領域)をカット(削除)する。カット部518は、リアルUマップRM上における、カット後の新たな孤立領域の位置および大きさの情報を認識領域情報に含めて、枠作成部519に送る。そして、ステップS19へ移行する。
枠作成部519は、領域抽出部513により抽出され、平滑化部514、輪郭抽出部515、背面検出部516、およびカット部518によりそれぞれ平滑化され、輪郭が抽出され、背面および側面が検出され、不要な部分がカット(削除)されたリアルUマップRM上の孤立領域を用いて、視差画像(または基準画像Ia)における孤立領域に対応する物体の領域(認識領域)に枠を作成する。枠作成部519は、視差画像(または基準画像Ia)で作成した枠の情報を認識領域情報に含めて、第2面検出部520に送る。そして、ステップS20へ移行する。
選択部521は、第1判定部517により、孤立領域の背面が正しく検出されていると判定された場合、背面検出部516により検出された2つの側面のうちどちらを側面として採用するかを選択する。選択部521は、選択した側面の情報を認識領域情報に含めて、第2判定部522に送る。そして、ステップS21へ移行する。
第2判定部522は、選択部521により選択された側面以外の領域の幅(図22に示す幅W2)が、認識領域全体の幅(図22に示す幅W1)の例えば90[%]以下であるか否かを判定する。そして、ステップS22へ移行する。
幅W2が幅W1の90[%]以下である場合(ステップS22:Yes)、ステップS23へ移行し、幅W2が幅W1の90[%]より大きい場合(ステップS22:No)、ステップS24へ移行する。
第2判定部522は、幅W2が幅W1の90[%]以下であると判定した場合、認識領域の物体は、背面および側面を認識できる物体(車両)であると判定する。第2判定部522は、判定結果を認識領域情報に含めて、決定部529に送る。
第3判定部523は、選択部521により選択されなかったもう一方の側面以外の領域の幅(図22に示す幅W3)が、認識領域全体の幅(図22に示す幅W1)の例えば90[%]より大きいか否かを判定する。そして、ステップS25へ移行する。
幅W3が幅W1の90[%]より大きい場合(ステップS25:Yes)、ステップS26へ移行し、幅W3が幅W1の90[%]以下である場合(ステップS25:No)、ステップS29へ移行する。
第3判定部523は、幅W3が幅W1の90[%]より大きいと判定した場合、認識領域の物体が、背面のみが認識できる物体(車両)であると判定する。第3判定部523は、判定結果を認識領域情報に含めて、決定部529に送る。
枠作成部519は、領域抽出部513により抽出され、平滑化部514、輪郭抽出部515、および背面検出部516によりそれぞれ平滑化され、輪郭が抽出され、背面および側面が検出されたリアルUマップRM上の孤立領域を用いて、視差画像(または基準画像Ia)における孤立領域に対応する物体の領域(認識領域)に枠を作成する。枠作成部519は、視差画像(または基準画像Ia)で作成した枠の情報を認識領域情報に含めて、第2面検出部520に送る。そして、ステップS28へ移行する。
頂点検出部524は、第1判定部517により孤立領域の背面が正しく検出されていないと判定された場合、リアルUマップRMにおいて、枠作成部519から受け取った認識領域情報が示す孤立領域のうち、最も近い点(頂点)を検出する。頂点検出部524は、検出した頂点の情報を認識領域情報に含めて、第4判定部525に送る。
第4判定部525は、視差画像Ipにおいて、孤立領域に対応する物体の領域(認識領域)における中央エリアに、頂点に対応する位置が含まれるか否かを判定する。ここで、第4判定部525は、ステップS25で、第3判定部523により、図22において、幅W3が幅W1の90[%]以下であると判定された場合、選択部521により選択されなかったもう一方の側面と背面との境界を示す点を頂点とする。また、第4判定部525は、ステップS28で、頂点検出部524により検出された頂点P(図23(a)参照)を頂点とする。そして、ステップS30へ移行する。
中央エリアに頂点に対応する位置が含まれない場合(ステップS30:No)、ステップS31へ移行し、中央エリアに頂点に対応する位置が含まれる場合(ステップS30:Yes)、ステップS35へ移行する。
第4判定部525は、判定結果を認識領域情報に含めて、第5判定部526に送る。第5判定部526は、第4判定部525により中央エリアに頂点に対応する位置が含まないと判定された場合、孤立領域が示す物体が側面物体であるか否かを判定する。具体的には、第5判定部526は、孤立領域(認識領域)が、上述の(表5)に例として示す条件をすべて満たすか否かを判定する。そして、ステップS32へ移行する。
孤立領域(認識領域)が、上述の(表5)に示す条件をすべて満たす(側面が検出された)場合(ステップS32:Yes)、ステップS33へ移行し、上述の(表5)に示す条件のうち少なくともいずれかを満たさない(側面が検出されない)場合(ステップS32:No)、ステップS34へ移行する。
第5判定部526は、孤立領域(認識領域)が、上述の(表5)に示す条件をすべて満たす場合、その孤立領域(認識領域)が示す物体は側面物体であると判定する。第5判定部526は、判定結果を認識領域情報に含めて、決定部529に送る。
第5判定部526は、孤立領域(認識領域)が、上述の(表5)に示す条件のうち少なくともいずれかを満たさない場合、その孤立領域(認識領域)が示す物体は側面物体ではなく、かつ2面物体でもない物体(その他の物体)であると判定する。第5判定部526は、判定結果を認識領域情報に含めて、決定部529に送る。
第4判定部525は、判定結果を認識領域情報に含めて、第6判定部527に送る。第6判定部527は、第4判定部525により中央エリアに頂点に対応する位置が含まれていると判定された場合、孤立領域が示す物体が2面物体であるか否かを判定する。具体的には、第6判定部527は、孤立領域が、上述の(表6)に例として示す条件をすべて満たすか否かを判定する。そして、ステップS36へ移行する。
孤立領域が、上述の(表6)に示す条件をすべて満たす(2面物体であると判定された)場合(ステップS36:Yes)、ステップS37へ移行し、上述の(表6)に示す条件のうち少なくともいずれかを満たさない(2面物体ではないと判定された)場合(ステップS36:No)、ステップS34へ移行する。
算出部528は、第6判定部527により判定された2面物体の2つの面(左面および右面)の面角度および距離をそれぞれ算出する。算出部528は、算出した左面および右面それぞれの面角度および距離の情報を認識領域情報に含めて、決定部529に送る。そして、ステップS38へ移行する。
決定部529は、第6判定部527により孤立領域が示す物体が2面物体であると判定された場合、算出部528により算出された2面の面角度のうち、面角度が小さい方の面(図23(a)の紙面視において水平に近い方の面)を主面として決定する。決定部529は、決定した主面の情報を認識領域情報に含めて、出力部530に送る。そして、ステップS39へ移行する。
トラッキング部540は、クラスタリング処理部510により認識された物体に関する情報である認識領域情報に基づいて、その物体を棄却したり、追跡処理をしたりするトラッキング処理を実行する。
2 本体部
3 視差値導出部
4 通信線
5 認識処理部
6 車両制御装置
7 ステアリングホイール
8 ブレーキペダル
10a、10b 撮像部
11a、11b 撮像レンズ
12a、12b 絞り
13a、13b 画像センサ
20a、20b 信号変換部
21a、21b CDS
22a、22b AGC
23a、23b ADC
24a、24b フレームメモリ
30 画像処理部
31 FPGA
32 CPU
33 ROM
34 RAM
35 I/F
39 バスライン
51 FPGA
52 CPU
53 ROM
54 RAM
55 I/F
58 CANI/F
59 バスライン
60 機器制御システム
70 車両
100a、100b 画像取得部
200a、200b 変換部
300 視差値演算処理部
301 コスト算出部
302 決定部
303 第1生成部
500 第2生成部
501 第3生成部
502 第4生成部
503 第5生成部
510 クラスタリング処理部
511 入力部
512 第1面検出部
513 領域抽出部
514 平滑化部
515 輪郭抽出部
516 背面検出部
517 第1判定部
518 カット部
519 枠作成部
520 第2面検出部
521 選択部
522 第2判定部
523 第3判定部
524 頂点検出部
525 第4判定部
526 第5判定部
527 第6判定部
528 算出部
529 決定部
530 出力部
540 トラッキング部
600 路面
600a 路面部
601 電柱
601a 電柱部
602 車
602a 車部
611 左ガードレール
611a〜611c 左ガードレール部
612 右ガードレール
612a〜612c 右ガードレール部
613 車
613a〜613c 車部
614 車
614a〜614c 車部
621〜624 孤立領域
B 基線長
C コスト値
ch カット高さ
cw カット幅
d シフト量
DF 検出領域
DF1〜DF4 検出枠
DF1a、DF4a 検出枠
diff 差
dsp_diff 距離差
dp 視差値
dp1〜dp4 背面位置
E 物体
EL エピポーラ線
f 焦点距離
Ia 基準画像
Ib 比較画像
Ip、Ip1 視差画像
len 奥行き
p 基準画素
P 頂点
PA1、PA2 出っ張り領域
pb 基準領域
q 候補画素
qb 候補領域
RM リアルUマップ
S、Sa、Sb 点
UM、UM1 Uマップ
UM_H Uマップ
VM Vマップ
w_b 幅
w_c 幅
W1、W2、W3 幅
xa1〜xa4 左位置
xb1〜xb4 右位置
xc4 頂点位置
x1 左側面位置
x2 右側面位置
Z 距離
Claims (13)
- 画像処理装置であって、
物体に対する距離情報から、前記画像処理装置の移動方向に直交する方向の実距離と、前記移動方向に対応する距離値とを関連付けた前記距離値の頻度分布を示す第1頻度画像を生成する第1生成手段と、
前記第1頻度画像から前記物体を示す第1領域を抽出する第1抽出手段と、
前記第1領域の輪郭の輪郭方向を抽出する第2抽出手段と、
前記第2抽出手段により抽出された前記輪郭方向のうち前記移動方向と交差する該輪郭方向に基づいて、前記第1領域における前記画像処理装置に対向する面としての第1面を検出する面検出手段と、
前記第1面の境界を示す第1頂点を検出する第1頂点検出手段と、
少なくとも前記第1面および前記第1頂点に基づいて、前記第1領域で示される前記物体が有する面の中から主面を決定する決定手段と、
を備えた画像処理装置。 - 前記面検出手段は、前記第1領域における前記輪郭方向に基づいて、前記第1面の両端に接続する2つの第2面を検出し、
前記第1頂点検出手段は、前記第1面と、2つの前記第2面それぞれとの境界を示す点を前記第1頂点として検出し、
前記第1面が、前記画像処理装置に対向する面であるか否かを判定する第1判定手段と、
前記第1判定手段により、前記第1面が前記画像処理装置に対向する面であると判定された場合、前記距離情報としての距離画像での前記第1領域に対応する第2領域における2つの前記第2面のうち、前記距離画像の中心に近い位置の前記第2面を選択する選択手段と、
前記選択手段により選択された前記第2面に対応する前記第1頂点から、前記第2領域の中心へ向かう方向での該第2領域の端までの幅が、前記第2領域全体の幅の所定割合以下である場合、前記第2領域が示す物体は前記第1面および前記第2面を有する物体であると判定する第2判定手段と、
を、さらに備え、
前記決定手段は、前記第2判定手段により、前記第2領域が示す物体が前記第1面および前記第2面を有する物体であると判定された場合、該第1面を前記物体の前記主面であると決定する請求項1に記載の画像処理装置。 - 前記第1判定手段により、前記第1面が前記画像処理装置に対向する面であると判定された場合、前記選択手段により選択された前記第2面ではない他方の第2面に対応する前記第1頂点から、前記第2領域の中心へ向かう方向での該第2領域の端までの幅が、前記第2領域全体の幅の所定割合より大きいである場合、前記第2領域が示す物体は前記第1面のみを有する物体であると判定する第3判定手段と、
を、さらに備え、
前記決定手段は、前記第3判定手段により、前記第2領域が示す物体が前記第1面のみを有する物体であると判定された場合、該第1面を前記物体の前記主面であると決定する請求項2に記載の画像処理装置。 - 前記第1判定手段により、前記第1面が前記画像処理装置に対向する面であると判定された場合、前記選択手段により選択された前記第2面ではない他方の第2面に対応する前記第1頂点から、前記第2領域の中心へ向かう方向での該第2領域の端までの幅が、前記第2領域全体の幅の所定割合より大きいか否かを判定する第3判定手段と、
前記第3判定手段により、前記他方の第2面に対応する前記第1頂点から、前記第2領域の中心へ向かう方向での該第2領域の端までの幅が、前記第2領域全体の幅の所定割合以下であると判定された場合、該第1頂点を第2頂点として、前記第2領域での前記第2頂点の位置を判定する第4判定手段と、
を、さらに備え、
前記決定手段は、前記第4判定手段により判定された前記第2領域での前記第2頂点の位置に基づいて、前記第1領域で示される前記物体の前記主面を決定する請求項2に記載の画像処理装置。 - 前記第1判定手段により、前記第1面が前記画像処理装置に対向する面でないと判定された場合、前記第1領域のうち前記画像処理装置に最も近い点を第2頂点として検出する第2頂点検出手段と、
前記第2領域に対応する前記第2頂点の位置を判定する第4判定手段と、
を、さらに備え、
前記決定手段は、前記第4判定手段により判定された前記第2領域での前記第2頂点の位置に基づいて、前記第1領域で示される前記物体の主面を決定する請求項2に記載の画像処理装置。 - 前記距離情報としての距離画像から、前記距離画像の横方向と、前記画像処理装置の移動方向に対応する距離値とを関連付けた前記距離値の頻度分布を示す第2頻度画像を生成する第2生成手段を、さらに備え、
前記第4判定手段により、前記第2領域において前記第2頂点が所定範囲外に位置すると判定された場合、前記第2頻度画像における前記第1領域に対応する第3領域に含まれる距離値に基づいて、該第1領域が示す物体が側面物体であるか否かを判定する第5判定手段を、さらに備えた請求項4または5に記載の画像処理装置。 - 前記第4判定手段により、前記第2領域において前記第2頂点が所定範囲内に位置すると判定された場合、前記第1領域の前記第2頂点を境界として接する2つの面が共に少なくとも所定の幅以上である場合、該第1領域が示す物体が該2つの面を有すると判定する第6判定手段と、
前記第6判定手段により、前記第1領域が示す物体が前記2つの面を有すると判定された場合、該2つの面の角度を算出する算出手段と、
を、さらに備え、
前記決定手段は、前記2つの面の角度に基づいて、該2つの面のうち一方の面を前記主面として決定する請求項4〜6のいずれか一項に記載の画像処理装置。 - 前記第2抽出手段は、前記第1領域の輪郭を形成する画素について、隣接する画素同士の方向を特定し、該方向を前記輪郭方向として抽出する請求項1〜7のいずれか一項に記載の画像処理装置。
- 前記第2抽出手段は、前記第1領域をスキャンする方向に基づいて、該第1領域の前記輪郭方向を抽出する順番を変える請求項1〜8のいずれか一項に記載の画像処理装置。
- 被写体を撮像することにより第1撮像画像を得る第1撮像手段と、
前記第1撮像手段の位置とは異なる位置に配置され、前記被写体を撮像することにより第2撮像画像を得る第2撮像手段と、
前記第1撮像画像および前記第2撮像画像から前記被写体に対して求めた距離値に基づいて、前記距離情報を生成する第3生成手段と、
請求項1〜9のいずれか一項に記載の画像処理装置と、
を備えた物体認識装置。 - 請求項10に記載の物体認識装置と、
前記第1抽出手段により抽出された前記第1領域について、少なくとも前記決定手段により決定された前記主面に基づいて、制御対象を制御する制御装置と、
を備えた機器制御システム。 - 画像処理装置の画像処理方法であって、
物体に対する距離情報から、前記画像処理装置の移動方向に直交する方向の実距離と、前記移動方向に対応する距離値とを関連付けた前記距離値の頻度分布を示す頻度画像を生成する生成ステップと、
前記頻度画像から前記物体を示す特定の領域を抽出する第1抽出ステップと、
前記特定の領域の輪郭の輪郭方向を抽出する第2抽出ステップと、
抽出した前記輪郭方向のうち前記移動方向と交差する該輪郭方向に基づいて、前記特定の領域における前記画像処理装置に対向する面としての特定の面を検出する面検出ステップと、
前記特定の面の境界を示す頂点を検出する頂点検出ステップと、
少なくとも前記特定の面および前記頂点に基づいて、前記特定の領域で示される前記物体が有する面の中から主面を決定する決定ステップと、
を有する画像処理方法。 - コンピュータを、
物体に対する距離情報から、画像処理装置の移動方向に直交する方向の実距離と、前記移動方向に対応する距離値とを関連付けた前記距離値の頻度分布を示す頻度画像を生成する生成手段と、
前記頻度画像から前記物体を示す特定の領域を抽出する第1抽出手段と、
前記特定の領域の輪郭の輪郭方向を抽出する第2抽出手段と、
前記第2抽出手段により抽出された前記輪郭方向のうち前記移動方向と交差する該輪郭方向に基づいて、前記特定の領域における前記画像処理装置に対向する面としての特定の面を検出する面検出手段と、
前記特定の面の境界を示す頂点を検出する頂点検出手段と、
少なくとも前記特定の面および前記頂点に基づいて、前記特定の領域で示される前記物体が有する面の中から主面を決定する決定手段と、
して機能させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015243531 | 2015-12-14 | ||
JP2015243531 | 2015-12-14 | ||
PCT/JP2016/086772 WO2017104574A1 (ja) | 2015-12-14 | 2016-12-09 | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2017104574A1 JPWO2017104574A1 (ja) | 2018-08-30 |
JP6597795B2 true JP6597795B2 (ja) | 2019-10-30 |
Family
ID=59056597
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017556027A Active JP6597795B2 (ja) | 2015-12-14 | 2016-12-09 | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US10776637B2 (ja) |
EP (1) | EP3392830B1 (ja) |
JP (1) | JP6597795B2 (ja) |
WO (1) | WO2017104574A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6601506B2 (ja) * | 2015-12-28 | 2019-11-06 | 株式会社リコー | 画像処理装置、物体認識装置、機器制御システム、画像処理方法、画像処理プログラム及び車両 |
JP6660751B2 (ja) * | 2016-02-04 | 2020-03-11 | 日立オートモティブシステムズ株式会社 | 撮像装置 |
JP7152880B2 (ja) * | 2018-05-31 | 2022-10-13 | 株式会社Soken | 測距装置、測距システムおよび測距方法 |
CN109522871B (zh) * | 2018-12-04 | 2022-07-12 | 北京大生在线科技有限公司 | 一种基于随机森林的人脸轮廓定位方法及*** |
KR20200132468A (ko) * | 2019-05-17 | 2020-11-25 | 삼성전자주식회사 | 첨단 운전자 지원 장치 및 이의 객체를 검출하는 방법 |
JP2020190438A (ja) | 2019-05-20 | 2020-11-26 | 株式会社リコー | 計測装置および計測システム |
JP2021125741A (ja) * | 2020-02-03 | 2021-08-30 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置、プログラム |
CN112257723B (zh) * | 2020-10-26 | 2022-09-27 | 武汉中海庭数据技术有限公司 | 一种护栏提取的置信度评估方法及*** |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02171977A (ja) | 1988-12-26 | 1990-07-03 | Ricoh Co Ltd | 線分と接触した文字の切出し方法 |
JP2003067729A (ja) * | 2001-08-27 | 2003-03-07 | Mitsubishi Heavy Ind Ltd | 車輌検知方法及び装置 |
JP2007199766A (ja) | 2006-01-23 | 2007-08-09 | Advanced Telecommunication Research Institute International | 顔画像記録装置 |
JP4567630B2 (ja) * | 2006-05-26 | 2010-10-20 | 富士通株式会社 | 車種判別プログラムおよび車種判別装置 |
JP5316805B2 (ja) | 2009-03-16 | 2013-10-16 | 株式会社リコー | 車載カメラ装置の画像調整装置及び車載カメラ装置 |
JP2010250651A (ja) * | 2009-04-17 | 2010-11-04 | Toyota Motor Corp | 車両検出装置 |
JP5376313B2 (ja) | 2009-09-03 | 2013-12-25 | 株式会社リコー | 画像処理装置及び画像撮像装置 |
JP5371725B2 (ja) * | 2009-12-16 | 2013-12-18 | 富士重工業株式会社 | 物体検出装置 |
JP5664152B2 (ja) | 2009-12-25 | 2015-02-04 | 株式会社リコー | 撮像装置、車載用撮像システム及び物体識別装置 |
JP6274557B2 (ja) * | 2013-02-18 | 2018-02-07 | 株式会社リコー | 移動面情報検出装置、及びこれを用いた移動体機器制御システム並びに移動面情報検出用プログラム |
CN104217208B (zh) * | 2013-06-03 | 2018-01-16 | 株式会社理光 | 目标检测方法和装置 |
JP2015004620A (ja) | 2013-06-21 | 2015-01-08 | パナソニックIpマネジメント株式会社 | 情報処理装置、情報処理システム、情報処理方法、情報処理プログラム、及び情報記憶媒体 |
JP6398347B2 (ja) | 2013-08-15 | 2018-10-03 | 株式会社リコー | 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム |
JP6151150B2 (ja) * | 2013-10-07 | 2017-06-21 | 日立オートモティブシステムズ株式会社 | 物体検出装置及びそれを用いた車両 |
US9269018B2 (en) * | 2014-01-14 | 2016-02-23 | Microsoft Technology Licensing, Llc | Stereo image processing using contours |
JP6519262B2 (ja) | 2014-04-10 | 2019-05-29 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
JP2016001170A (ja) | 2014-05-19 | 2016-01-07 | 株式会社リコー | 処理装置、処理プログラム、及び、処理方法 |
JP2016001464A (ja) | 2014-05-19 | 2016-01-07 | 株式会社リコー | 処理装置、処理システム、処理プログラム、及び、処理方法 |
JP6417729B2 (ja) | 2014-06-09 | 2018-11-07 | 株式会社リコー | 画像処理装置、画像処理方法、プログラム、視差データの生産方法、機器制御システム |
JP6550881B2 (ja) | 2014-07-14 | 2019-07-31 | 株式会社リコー | 立体物検出装置、立体物検出方法、立体物検出プログラム、及び移動体機器制御システム |
US20160019429A1 (en) | 2014-07-17 | 2016-01-21 | Tomoko Ishigaki | Image processing apparatus, solid object detection method, solid object detection program, and moving object control system |
US9726604B2 (en) | 2014-11-12 | 2017-08-08 | Ricoh Company, Ltd. | Adhering detection apparatus, adhering substance detection method, storage medium, and device control system for controlling vehicle-mounted devices |
-
2016
- 2016-12-09 WO PCT/JP2016/086772 patent/WO2017104574A1/ja active Application Filing
- 2016-12-09 EP EP16875554.4A patent/EP3392830B1/en active Active
- 2016-12-09 JP JP2017556027A patent/JP6597795B2/ja active Active
-
2018
- 2018-06-05 US US16/000,081 patent/US10776637B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2017104574A1 (ja) | 2017-06-22 |
JPWO2017104574A1 (ja) | 2018-08-30 |
EP3392830A4 (en) | 2019-01-02 |
US20180285661A1 (en) | 2018-10-04 |
EP3392830B1 (en) | 2023-09-06 |
US10776637B2 (en) | 2020-09-15 |
EP3392830A1 (en) | 2018-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6597795B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6795027B2 (ja) | 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム | |
JP6614247B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6597792B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6547841B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
CN109997148B (zh) | 信息处理装置、成像装置、设备控制***、移动对象、信息处理方法和计算机可读记录介质 | |
JP6516012B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP2017151535A (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6572696B2 (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP2016152027A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6992356B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
JP2017167970A (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
JP6701905B2 (ja) | 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム | |
JP7047291B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム | |
WO2018097269A1 (en) | Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium | |
JP2019160251A (ja) | 画像処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム | |
JP6515547B2 (ja) | 視差値導出装置、機器制御システム、移動体、ロボット、視差値生産方法、及びプログラム | |
JP6943092B2 (ja) | 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム | |
JP6701738B2 (ja) | 視差値導出装置、視差値導出方法及びプログラム | |
JP2018045328A (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180329 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190916 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6597795 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |