JP6382525B2 - Object identification method and object identification device - Google Patents
Object identification method and object identification device Download PDFInfo
- Publication number
- JP6382525B2 JP6382525B2 JP2014023632A JP2014023632A JP6382525B2 JP 6382525 B2 JP6382525 B2 JP 6382525B2 JP 2014023632 A JP2014023632 A JP 2014023632A JP 2014023632 A JP2014023632 A JP 2014023632A JP 6382525 B2 JP6382525 B2 JP 6382525B2
- Authority
- JP
- Japan
- Prior art keywords
- point
- group
- point cloud
- information
- positional relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Traffic Control Systems (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Length Measuring Devices By Optical Means (AREA)
Description
本発明は、物体の種別を識別する識別装置において実施される物体識別方法、および物体識別装置に関する。 The present invention relates to an object identification method implemented in an identification device for identifying the type of an object, and an object identification device.
上記の物体識別方法として、多数の三次元座標(点群情報)が含まれる領域を分割することで得られる各領域において、各領域中に含まれる三次元座標の配置に従って領域毎のグループサイズを求め、このグループサイズとモデルとを用いて物体種別を判定するものが知られている(例えば、特許文献1参照)。 As the above object identification method, in each region obtained by dividing a region including a large number of three-dimensional coordinates (point cloud information), the group size for each region is set according to the arrangement of the three-dimensional coordinates included in each region. There is known a method for determining an object type using this group size and model (see, for example, Patent Document 1).
しかしながら、上記物体識別方法では、グループサイズとモデルとを用いるだけであるため、領域毎のグループサイズが同一の場合、同一の種別であると判定してしまい、例えば、歩行者と広告旗とを誤判定してしまう虞があった。 However, since the object identification method only uses the group size and the model, if the group size for each region is the same, it is determined that they are the same type. There was a risk of misjudgment.
そこで、このような問題点を鑑み、物体の種別を識別する識別装置において実施される物体識別方法において、より精度よく物体の種別を識別できるようにすることを本発明の目的とする。 Therefore, in view of such problems, an object of the present invention is to make it possible to identify an object type with higher accuracy in an object identification method implemented in an identification apparatus for identifying an object type.
本発明の物体識別方法においては、物体表面のある点における三次元位置を示す点情報を物体表面の異なる位置毎に多数備えた点群情報に基づいて物体の種別を識別する識別装置において実施される方法であって、点群情報取得工程にて、何らかの物体についての点群情報を取得する。そして、グループ対応付け工程にて、点群情報が含まれる仮想的な三次元領域を予め設定された大きさである複数の区分領域に分割し、各区分領域に含まれる複数の点情報をそれぞれ点群グループとして対応付ける(S210)。 The object identification method according to the present invention is implemented in an identification apparatus that identifies the type of an object based on point group information including a large number of point information indicating a three-dimensional position at a certain point on the object surface for each different position on the object surface. In the point cloud information acquisition step, point cloud information about a certain object is acquired. Then, in the group association step, the virtual three-dimensional area including the point cloud information is divided into a plurality of divided areas having a preset size, and the plurality of point information included in each divided area is respectively Corresponding as a point cloud group (S210).
また、グループ位置サイズ設定工程にて、点群グループに含まれる各点情報の位置関係に基づいて、点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定する。そして、位置関係演算工程にて、点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する。 Also, in the group position size setting step, based on the positional relationship of each point information included in the point cloud group, the position and size as the point cloud group are determined for a plurality of point cloud groups among all the point cloud groups. Set. Then, in the positional relationship calculation step, the positional relationship between a plurality of point group groups for which positions as point cloud groups are set is calculated.
さらに、種別推定工程にて、点群グループとしてのサイズおよび点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて物体の種別を推定する。 Further, in the type estimation step, the type of the object is estimated using the size as the point cloud group and the positional relationship between the point cloud groups, and a model prepared in advance corresponding to the type of the object.
このような物体識別方法によれば、点群グループとしてのサイズだけでなく、点群グループ間の位置関係も加味して物体の種別を推定するので、より精度よく物体の種別を識別することができる。 According to such an object identification method, since the type of an object is estimated in consideration of not only the size as a point cloud group but also the positional relationship between the point cloud groups, the type of the object can be identified more accurately. it can.
なお、本発明においては、点群グループの全てについて位置およびサイズを求める必要はなく、少なくとも複数の点群グループについて位置およびサイズを求めればよい。また、本発明においては、物体識別方法を、コンピュータによる処理として実現するための物体識別プログラムとしてもよいし、物体識別方法を実施する物体識別装置としてもよい。 In the present invention, it is not necessary to obtain the position and size for all of the point group groups, and the position and size may be obtained for at least a plurality of point group groups. In the present invention, the object identification method may be an object identification program for realizing the processing by a computer, or may be an object identification device that implements the object identification method.
また、各請求項の記載は、可能な限りにおいて任意に組み合わせることができる。この際、発明の目的を達成できる範囲内において一部構成を除外してもよい。 Further, the descriptions in the claims can be arbitrarily combined as much as possible. At this time, a part of the configuration may be excluded within a range in which the object of the invention can be achieved.
以下に本発明にかかる実施の形態を図面と共に説明する。
[第1実施形態]
[本実施形態の構成]
本発明が適用された物体識別装置1は、例えば乗用車等の車両に搭載されており、物体表面のある点における三次元位置を示す点情報を物体表面の異なる位置毎に多数備えた点群情報(クラスタ)に基づいて物体の種別を識別する機能を有する。物体識別装置1は、図1に示すように、処理部10と、レーザレーダ20と、車両制御部30とを備えている。
Embodiments according to the present invention will be described below with reference to the drawings.
[First Embodiment]
[Configuration of this embodiment]
The object identification device 1 to which the present invention is applied is mounted on a vehicle such as a passenger car, for example, and includes point group information including a large number of point information indicating a three-dimensional position at a certain point on the object surface for each different position on the object surface. It has a function of identifying the type of an object based on (cluster). As illustrated in FIG. 1, the object identification device 1 includes a processing unit 10, a laser radar 20, and a vehicle control unit 30.
レーザレーダ20は、所定の照射領域に対してレーザ光を照射し、この反射光を受光した方向と時間とに基づいて反射点の三次元位置を測定する。
ここで、レーザレーダ20は、照射領域内にレーザ光を照射する際に、照射領域内においてレーザ光を間欠的に発光させつつ水平方向に走査する作動を鉛直方向の複数列(レイヤ)について繰り返すことで、照射範囲内の全域から物体表面の三次元位置(三次元座標)を示す多数の点情報を得る。このような多数の点情報は、処理部10に送られる。
The laser radar 20 irradiates a predetermined irradiation area with laser light, and measures the three-dimensional position of the reflection point based on the direction and time when the reflected light is received.
Here, when the laser radar 20 irradiates the irradiation region with laser light, the laser radar 20 repeats the operation of scanning in the horizontal direction while intermittently emitting the laser light within the irradiation region for a plurality of vertical rows. Thus, a large amount of point information indicating the three-dimensional position (three-dimensional coordinates) of the object surface is obtained from the entire irradiation range. Such a large number of point information is sent to the processing unit 10.
なお、本実施形態においては、レーザレーダ20が水平方向に1回走査を行うことによるレーザ照射位置の軌跡を「ライン」ともいう。
処理部10は、CPU11と、ROMやRAM等のメモリ12とを備えたコンピュータとして構成されている。CPU11は、メモリ12内に格納されたプログラムに従って、後述する物体識別処理等の各種処理を実行する。処理部10は、このような処理を実行することによって物体の識別を行い、得られた識別結果を車両制御部30に送る。
In the present embodiment, the locus of the laser irradiation position when the laser radar 20 scans once in the horizontal direction is also referred to as a “line”.
The processing unit 10 is configured as a computer including a CPU 11 and a memory 12 such as a ROM or a RAM. The CPU 11 executes various processes such as an object identification process to be described later according to a program stored in the memory 12. The processing unit 10 identifies the object by executing such processing, and sends the obtained identification result to the vehicle control unit 30.
ここで、メモリ12には、物体の種別が歩行者である場合に対応する識別モデル13が記録されている。識別モデル13には、2ライン分の点情報だけから物体の識別を行うための2ラインモデル、3ライン分の点情報から物体の識別を行うための3ラインモデル等、NLライン分の点情報に対応したNLラインモデルまで、多数のモデルが記録されている。 Here, in the memory 12, an identification model 13 corresponding to a case where the object type is a pedestrian is recorded. The identification model 13 includes points for N L lines, such as a two-line model for identifying an object only from point information for two lines, a three-line model for identifying an object from point information for three lines, and the like. Many models are recorded up to the N L line model corresponding to the information.
なお、識別モデル13としては、点群グループとしてのサイズおよび点群グループ間の位置関係(詳細は後述する。)に対応する値(“特徴量”、ベクトル値)を基に予め学習したモデルが記録されており、このモデルと、同様に算出された特徴量と、を用いて、物体の種別が歩行者であるか否かが識別できるよう設定されている。 The identification model 13 is a model that has been learned in advance based on values (“features”, vector values) corresponding to the size as a point cloud group and the positional relationship between the point cloud groups (details will be described later). It is recorded, and it is set so that it can be identified whether or not the type of the object is a pedestrian using this model and the feature amount calculated in the same manner.
車両制御部30は、物体の識別結果を受けて車両の制御を行う。例えば、車両制御部30は、車両の進行方向に歩行者が検出された場合、自車両の制動を行う等の走行支援を行う。 The vehicle control unit 30 receives the object identification result and controls the vehicle. For example, when a pedestrian is detected in the traveling direction of the vehicle, the vehicle control unit 30 performs traveling support such as braking the host vehicle.
[本実施形態の処理]
このように構成された物体識別装置1において、処理部10(CPU11)は、図2に示す物体識別処理を実施する。物体識別処理は、例えば車両の電源が投入されると開始される処理であり、その後、一定周期毎(例えば100ms毎)に繰り返し実施される処理である。
[Process of this embodiment]
In the object identification device 1 configured as described above, the processing unit 10 (CPU 11) performs the object identification process shown in FIG. The object identification process is a process that is started when the vehicle is turned on, for example, and is then repeatedly performed at regular intervals (for example, every 100 ms).
物体識別処理では、図2に示すように、まず、点群データをレーザレーダ20から取得する(S110)。ここで、点群データとは、レーザレーダ20にて得られた全ての点情報を示す。 In the object identification process, as shown in FIG. 2, first, point cloud data is acquired from the laser radar 20 (S110). Here, the point cloud data indicates all point information obtained by the laser radar 20.
続いて、点群データのクラスタリングを行う(S120)。クラスタリングとはデータを近いもの同士ラベル付けしてまとまり毎に分割することであり、例えば三次元座標間の距離が基準値よりも小さな点を互いに関連付けて1つの物体とする処理を示す。この処理によって、点群データが物体毎にそれぞれクラスタとして区分される。 Subsequently, clustering of point cloud data is performed (S120). Clustering is a process of labeling data that are close to each other and dividing the data into groups. For example, clustering indicates a process in which points having a distance between three-dimensional coordinates smaller than a reference value are associated with each other to form one object. By this processing, the point cloud data is divided into clusters for each object.
なお、それぞれのクラスタにはクラスタ番号nが1からNC(NCは区分されたクラスタの個数)までの順に割り振られる。また、クラスタリングにおける手法は上記手法に限られることなく、種々の手法を採用することができる。 Each cluster is assigned with an order of cluster number n from 1 to N C (N C is the number of divided clusters). Further, the method for clustering is not limited to the above method, and various methods can be adopted.
続いて、n=1に設定し(S130)、設定したnの値に対応するクラスタを選択する(S140)。すなわち、選択したクラスタについての処理を実施できるように、このクラスタに関する点情報を読み出す。 Subsequently, n = 1 is set (S130), and a cluster corresponding to the set value of n is selected (S140). That is, the point information regarding this cluster is read so that the process about the selected cluster can be implemented.
そして、ライン数のカウントを行う(S150)。ここで、クラスタには図3(a)に示すように、多数の点情報が含まれており、この点情報は、図3(b)に示すように水平方向に並ぶ多数の点情報(1ライン分の点情報)が複数備えられて構成されている。 Then, the number of lines is counted (S150). Here, as shown in FIG. 3A, the cluster includes a large number of point information, and this point information includes a large number of point information (1) arranged in the horizontal direction as shown in FIG. A plurality of point information for a line).
すなわち、前述のようにレーザレーダ20は水平方向に複数回走査を行うことによって点情報を得るため、クラスタの座標の並び方を調べることで、クラスタに何回分の走査による点情報が含まれるか、つまりライン数を検出することができる。なお、クラスタにおけるライン数は、物体の高さや物体までの距離に応じて変化する。 That is, as described above, the laser radar 20 obtains point information by scanning a plurality of times in the horizontal direction. Therefore, by checking how the coordinates of the clusters are arranged, how many points of scanning information are included in the cluster, That is, the number of lines can be detected. Note that the number of lines in the cluster varies depending on the height of the object and the distance to the object.
続いて、選択中のクラスタが歩行者らしいか否かを判定する(S160)。この処理は、確実に歩行者でない物体については直ちに歩行者でないものと判定し、歩行者である可能性がある程度高いものについて後述する詳細な処理を用いて判定することによって、総合的な処理負荷を軽減するための処理である。 Subsequently, it is determined whether or not the selected cluster is a pedestrian (S160). In this process, it is determined that an object that is not a pedestrian is not a pedestrian immediately, and an object that has a high possibility of being a pedestrian is determined using a detailed process that will be described later. This is a process for reducing the problem.
例えば、この処理では、図4に示すように、各軸の座標値が最大となる点情報の座標値と各軸の座標値が最小となる点情報の座標値とを用いて外接直方体を特定する。そして、この外接直方体の幅Wn、奥行きDn、高さHnを求める。 For example, in this process, as shown in FIG. 4, a circumscribed cuboid is specified using the coordinate value of the point information where the coordinate value of each axis is the maximum and the coordinate value of the point information where the coordinate value of each axis is the minimum. To do. Then, the width W n , depth D n , and height H n of the circumscribed cuboid are obtained.
この大きさをクラスタのサイズ(点情報が分布する領域の広さ)とする。また、クラスタの移動速度等についても求める。そして、クラスタのサイズやクラスタの移動速度が予め準備された歩行者のもの一致または類似するか否かによって、クラスタが歩行者らしいか否かを判定すればよい。 This size is defined as the size of the cluster (the size of the area where the point information is distributed). The cluster moving speed is also obtained. Then, whether or not the cluster is likely to be a pedestrian may be determined based on whether the size of the cluster or the moving speed of the cluster matches or is similar to that of a pedestrian prepared in advance.
クラスタが歩行者らしくなければ(S160:NO)、後述するS330の処理に移行する。また、クラスタが歩行者らしければ(S160:YES)、点群データの分割処理を実施する(S210)。 If the cluster does not look like a pedestrian (S160: NO), the process proceeds to S330 described later. If the cluster looks like a pedestrian (S160: YES), the point cloud data is divided (S210).
点群データの分割処理は、クラスタが含まれる仮想的な三次元領域を予め設定された大きさである複数の区分領域に分割し、各区分領域に含まれる複数の点情報をそれぞれ点群グループとして対応付ける処理である。 The point cloud data is divided into a virtual three-dimensional area including a cluster divided into a plurality of divided areas having a predetermined size, and a plurality of pieces of point information included in each divided area are respectively converted into point group groups. Associating processing.
本実施形態においては、クラスタに含まれるライン数と一致する数の区分領域に分割する。例えば、図3(b)に示すように、クラスタに含まれるライン数が4である場合、各ラインの点情報が別々の区分領域に含まれるように、4つの領域に分割する。そして、それぞれの区分領域に含まれる点情報を点群グループとして対応付ける。 In this embodiment, it is divided into a number of segmented regions that match the number of lines included in the cluster. For example, as shown in FIG. 3B, when the number of lines included in the cluster is 4, it is divided into four regions so that the point information of each line is included in separate partitioned regions. Then, the point information included in each segmented area is associated as a point cloud group.
n番目のクラスタのi番目ラインについて、点群グループPCDn(i)に含まれる点情報は、次式で定義される。 For the i-th line of the n-th cluster, the point information included in the point cloud group PCD n (i) is defined by the following equation.
ただし、上記式中のNLnは区分領域の数を示し、kは抽出するライン(i番目のライン)を示す。
続いて、各点群グループの位置サイズ情報計算処理を実施する(S220)。この処理では、点群グループに含まれる各点情報の位置関係に基づいて、点群グループとしての位置およびサイズを、それぞれの点群グループについて設定する。
However, NLn in the above formula indicates the number of segmented regions, and k indicates a line to be extracted (i-th line).
Subsequently, position size information calculation processing of each point cloud group is performed (S220). In this process, the position and size as a point cloud group are set for each point cloud group based on the positional relationship of each piece of point information included in the point cloud group.
詳細には、図5に示すように、まず、各点群グループにおける点情報を取得する(S410)。この処理では、前述のPCDn(i)を読み出す。続いて、区分領域毎に、含まれる点情報の座標値について、水平方向の標準偏差StdXn(i)および奥行き方向の標準偏差StdYn(i)を求める(S420)。 Specifically, as shown in FIG. 5, first, point information in each point cloud group is acquired (S410). In this process, the aforementioned PCD n (i) is read. Subsequently, for each segmented region, a horizontal standard deviation StdX n (i) and a depth standard deviation StdY n (i) are obtained for the coordinate values of the included point information (S420).
続いて、これらの標準偏差の値を利用して点群グループのサイズを算出する(S430)。この処理では、点群グループの幅BWn(i)、点群グループの奥行きBDn(i)を次式で求める。 Subsequently, the size of the point group is calculated using these standard deviation values (S430). In this process, the width BW n (i) of the point group and the depth BD n (i) of the point group are obtained by the following equations.
ここで、上記式中のαxおよびαyは、所定の係数である。
この処理によると、図6に示すように、点群グループとしてのサイズが点情報の分散度合に応じて決定される。つまり、点情報が広範囲に分散していれば、点群グループとしてのサイズが大きくなり、点情報が分散していなければ、点群グループとしてのサイズが小さくなることを示している。
Here, αx and αy in the above formula are predetermined coefficients.
According to this processing, as shown in FIG. 6, the size as the point cloud group is determined according to the degree of dispersion of the point information. That is, if the point information is distributed over a wide range, the size as the point cloud group increases, and if the point information is not distributed, the size as the point cloud group decreases.
このように点情報の標準偏差を用いて点群グループのサイズを算出する手法は、点群グループに含まれる点情報の数が少ない場合であっても比較的高精度にサイズを求めることができる手法である。 As described above, the method for calculating the size of the point group using the standard deviation of the point information can obtain the size with relatively high accuracy even when the number of point information included in the point group is small. It is a technique.
続いて、点群グループの位置を抽出する(S440)。この処理では区分領域の鉛直方向の長さをBHとし、点群グループの幅BWn(i)と点群グループの奥行きBDn(i)とから得られる矩形を特定するための位置を求める。 Subsequently, the position of the point cloud group is extracted (S440). In this process, the vertical length of the segmented region is set as BH, and a position for specifying a rectangle obtained from the point group group width BW n (i) and the point group group depth BD n (i) is obtained.
上記式では矩形を特定するための位置をL、R、T、Bと表現している。L、R、T、Bについては以下、「矩形座標」ともいう。そして、点群の重心(mx,my)を求める。 In the above formula, the positions for specifying the rectangle are expressed as L, R, T, and B. Hereinafter, L, R, T, and B are also referred to as “rectangular coordinates”. Then, the center of gravity (mx, my) of the point group is obtained.
続いて、点群グループの幅BWn(i)と点群グループの奥行きBDn(i)とを用いて、矩形座標L、R、T、Bを求める。ただし、矩形の頂点の座標は、(L,T)、(R,T)、(L,B)、(R,B)の4点となる。 Subsequently, rectangular coordinates L, R, T, and B are obtained using the point group group width BW n (i) and the point group group depth BD n (i). However, the coordinates of the vertices of the rectangle are four points (L, T), (R, T), (L, B), and (R, B).
なお、上記S410〜S440の処理は、区分領域毎に実施される。このような処理が終了すると、各点群グループの位置サイズ情報計算処理を終了する。
続いて、図2に戻り、各点群グループ間の相対位置情報計算処理を実施する(S230)。この処理では、点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する。
In addition, the process of said S410-S440 is implemented for every division area. When such processing ends, the position size information calculation processing for each point cloud group ends.
Subsequently, returning to FIG. 2, a relative position information calculation process between the point group groups is performed (S230). In this process, a positional relationship between a plurality of point group groups in which positions as point cloud groups are set is calculated.
各点群グループ間の相対位置情報計算処理では、図7に示すように、まず、各点群グループにおける矩形座標を取得する(S460)。そして、隣接するグループ間での端角度を計算する(S470)。 In the relative position information calculation processing between each point group, as shown in FIG. 7, first, rectangular coordinates in each point group are obtained (S460). Then, an end angle between adjacent groups is calculated (S470).
この処理では、図8に示すように、ある点群グループにおける矩形座標をそれぞれ基準位置として、この基準位置および鉛直方向下側に隣接する点群グループにおける対応する基準位置を結ぶ直線と、区分領域の底面(水平面)に対する垂線(鉛直線)との角度を演算し、それぞれの角度を基準位置毎に求める。 In this process, as shown in FIG. 8, with rectangular coordinates in a certain point group group as reference positions, straight lines connecting the reference positions and corresponding reference positions in point group groups adjacent to the lower side in the vertical direction, The angle with the perpendicular (vertical line) with respect to the bottom surface (horizontal plane) is calculated, and each angle is obtained for each reference position.
ここで、上記の矩形座標L、R、T、Bは、矩形上の点を特定するものではなく、矩形を構成する辺の位置を特定するための座標となる。このように辺を基準位置とする場合には、基準位置同士(辺同士)を結ぶ直線は、これらの辺に直交するもの(何れかの座標軸に平行なもの)とし、この直線と垂線との角度を求めるとよい。 Here, the above-described rectangular coordinates L, R, T, and B do not specify a point on the rectangle, but are coordinates for specifying the positions of the sides constituting the rectangle. In this way, when the side is set as the reference position, the straight line connecting the reference positions (sides) is orthogonal to these sides (parallel to any coordinate axis), and the straight line and the perpendicular Find the angle.
なお、本実施形態では、矩形座標L、R、T、Bを用いて上記の角度を求めているが、矩形における頂点の座標を基準位置として上記の角度を求めてもよい。
この処理によって得られた各角度の値を本処理での相対位置情報とする。このような処理が終了すると、各点群グループ間の相対位置情報計算処理を終了する。
In the present embodiment, the angle is obtained using the rectangular coordinates L, R, T, and B. However, the angle may be obtained using the coordinates of the vertex in the rectangle as a reference position.
The value of each angle obtained by this processing is used as relative position information in this processing. When such processing ends, the relative position information calculation processing between the point group groups ends.
続いて、図2に戻り、識別モデルの選定を行う(S250)。この処理では、S150の処理にて得られたライン数に対応するモデルを選択する。
そして、特徴量を計算する(S260)。この処理では、点群グループのサイズと相対位置情報とを特徴量(複数次元のベクトル値)に形式を変換する。
Subsequently, returning to FIG. 2, the identification model is selected (S250). In this process, a model corresponding to the number of lines obtained in the process of S150 is selected.
Then, the feature amount is calculated (S260). In this process, the size of the point group and the relative position information are converted into feature quantities (multi-dimensional vector values).
続いて、この特徴量とモデルとを用いて識別スコアを算出し、識別スコアがモデルに対応して設定された閾値を超えたか否かを判定する(S310)。識別スコアが閾値を超えていれば(S310:YES)、識別結果が歩行者である旨をメモリ12において記録させる(S320)。 Subsequently, an identification score is calculated using the feature amount and the model, and it is determined whether or not the identification score exceeds a threshold set corresponding to the model (S310). If the identification score exceeds the threshold value (S310: YES), the fact that the identification result is a pedestrian is recorded in the memory 12 (S320).
また、識別スコアが閾値を超えていなければ(S310:NO)、識別結果が歩行者でない旨をメモリ12において記録させる(S320)。続いて、クラスタの選択番号であるnをインクリメントし(S340)、この選択番号nとクラスタ数NCとを比較する(S350)。 If the identification score does not exceed the threshold (S310: NO), the fact that the identification result is not a pedestrian is recorded in the memory 12 (S320). Then, n is incremented is the selection number of the cluster (S340), which compares the selection number n and the number of clusters N C (S350).
クラスタの選択番号nがクラスタ数NCを超えていなければ(S350:NO)、S140の処理に戻る。また、クラスタの選択番号nがクラスタ数NCを超えていれば(S350:YES)、物体識別処理を終了する。 If the cluster selection number n does not exceed the number of clusters N C (S350: NO), the process returns to S140. If the cluster selection number n exceeds the cluster number N C (S350: YES), the object identification process is terminated.
[本実施形態による効果]
本発明の物体識別装置1においては、物体表面のある点における三次元位置を示す点情報を物体表面の異なる位置毎に多数備えた点群情報(クラスタ)に基づいて物体の種別を識別する装置であって、処理部10は、何らかの物体についての点群情報を取得する(S140)。そして、点群情報が含まれる仮想的な三次元領域を予め設定された大きさである複数の区分領域に分割し、各区分領域に含まれる複数の点情報をそれぞれ点群グループとして対応付ける(S210)。
[Effects of this embodiment]
In the object identification device 1 of the present invention, a device for identifying the type of an object based on point group information (cluster) having a large number of point information indicating a three-dimensional position at a certain point on the object surface for each different position on the object surface And the process part 10 acquires the point cloud information about a certain object (S140). Then, the virtual three-dimensional area including the point group information is divided into a plurality of divided areas having a preset size, and the plurality of point information included in each of the divided areas is associated as a point group group (S210). ).
また、処理部10は、点群グループに含まれる各点情報の位置関係に基づいて、点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定する(S220)。そして、処理部10は、点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する(S230)。 Further, the processing unit 10 sets the position and size as the point cloud group for a plurality of point cloud groups among all the point cloud groups based on the positional relationship of the point information included in the point cloud group ( S220). And the process part 10 calculates the positional relationship between the several point group groups in which the position as a point group group was set (S230).
さらに、処理部10は、点群グループとしてのサイズおよび点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて物体の種別を推定する(S260、S310、S320、S330)。 Furthermore, the processing unit 10 estimates the type of the object using the size as the point cloud group and the positional relationship between the point cloud groups and a model prepared in advance corresponding to the type of the object (S260, S310). , S320, S330).
このような物体識別装置1によれば、点群グループとしてのサイズだけでなく、点群グループ間の位置関係も加味して物体の種別を推定するので、より精度よく物体の種別を識別することができる。 According to such an object identification device 1, since the type of an object is estimated in consideration of not only the size as a point cloud group but also the positional relationship between the point cloud groups, the type of the object can be identified more accurately. Can do.
なお、本発明においては、点群グループの全てについて位置およびサイズを求める必要はなく、少なくとも複数の点群グループについて位置およびサイズを求めればよい。
また、上記物体識別装置1において処理部10は、点群情報に基づいて、仮想的な三次元領域の水平方向に並ぶ複数の点情報にて構成されるラインの数を求め、ラインの数を仮想的な三次元領域の鉛直方向の分割数とする。
In the present invention, it is not necessary to obtain the position and size for all of the point group groups, and the position and size may be obtained for at least a plurality of point group groups.
Further, in the object identification device 1, the processing unit 10 obtains the number of lines constituted by a plurality of pieces of point information arranged in the horizontal direction of the virtual three-dimensional region based on the point cloud information, and calculates the number of lines. The number of vertical divisions of the virtual three-dimensional area is used.
このような物体識別装置1によれば、レーザ光等を水平方向の複数列に渡って走査することによって点情報を得る構成である場合、この走査によるライン数を鉛直方向の分割数とするので、過不足ない数で三次元領域を分割することができる。 According to such an object identification device 1, when the point information is obtained by scanning a laser beam or the like across a plurality of horizontal rows, the number of lines obtained by this scanning is set as the number of divisions in the vertical direction. It is possible to divide a three-dimensional region by a number that is not excessive or insufficient.
さらに、上記物体識別装置1において処理部10は、点群情報に含まれるラインの数毎に予め物体の種別に対応して準備された複数のモデルから、ラインの数に対応するモデルを選択し、点群グループとしてのサイズおよび点群グループ間の位置関係と、選択されたモデルと、を用いて物体の種別を推定する。 Further, in the object identification device 1, the processing unit 10 selects a model corresponding to the number of lines from a plurality of models prepared in advance corresponding to the type of object for each number of lines included in the point cloud information. The type of the object is estimated using the size as the point cloud group, the positional relationship between the point cloud groups, and the selected model.
このような物体識別装置1によれば、点群情報に含まれるラインの数に対応して準備されたモデルを選択することができるので、ラインの数が少ない場合でも精度よく物体の識別を行うことができる。 According to such an object identification device 1, since a model prepared corresponding to the number of lines included in the point cloud information can be selected, the object can be identified accurately even when the number of lines is small. be able to.
また、上記物体識別装置1において処理部10は、点群グループとしてのサイズを、点群グループに含まれる点情報における座標値の標準偏差を用いて設定する。
このような物体識別装置1によれば、点群グループとしてのサイズを点情報における座標値の標準偏差を用いて設定するので、ノイズ等の影響により座標値がかけ離れた点情報が存在したとしても、このような点情報の影響を軽減することができる。
Further, in the object identification device 1, the processing unit 10 sets the size as the point cloud group using the standard deviation of the coordinate values in the point information included in the point cloud group.
According to such an object identification device 1, since the size as the point cloud group is set using the standard deviation of the coordinate values in the point information, even if there is point information whose coordinate values are far apart due to the influence of noise or the like. The influence of such point information can be reduced.
また、上記物体識別装置1において処理部10は、点群グループに含まれる各点情報の位置関係に応じて点情報の少なくとも一部が包含されるように多角形または多角柱を配置し、該多角形または多角柱における1または複数の基準位置を点群グループの位置として設定する。 Further, in the object identification device 1, the processing unit 10 arranges a polygon or a polygonal column so that at least a part of the point information is included according to the positional relationship of the point information included in the point cloud group, One or a plurality of reference positions in the polygon or polygonal column are set as the position of the point group.
このような物体識別装置1によれば、点情報の位置関係に応じた多角形または多角柱における基準位置を利用するので、多角形または多角柱によって物体の概ねの外形を特定することができる。したがって、物体の外形に従って物体を識別することができる。 According to such an object identification device 1, since the reference position in the polygon or the polygonal column corresponding to the positional relationship of the point information is used, the general outline of the object can be specified by the polygon or the polygonal column. Therefore, the object can be identified according to the outer shape of the object.
さらに、上記物体識別装置1において処理部10は、点群グループ間の位置関係として、ある点群グループにおける基準位置および他の点群グループにおける対応する基準位置を結ぶ直線と、多角形または多角柱の底面に対する垂線との角度を演算する。 Further, in the object identification device 1, the processing unit 10 determines, as a positional relationship between the point group groups, a straight line connecting a reference position in a certain point group group and a corresponding reference position in another point group group, and a polygon or polygonal column. The angle with the perpendicular to the bottom surface of is calculated.
このような物体識別装置1によれば、ある基準位置について角度を演算するので、外形の位置がどの程度変化するかを考慮して物体の識別を行うことができる。
また、上記物体識別装置1において処理部10は、多角形または多角柱について複数の基準位置についての角度を演算する。
According to such an object identification device 1, since the angle is calculated with respect to a certain reference position, the object can be identified in consideration of how much the position of the outer shape changes.
Further, in the object identification device 1, the processing unit 10 calculates angles for a plurality of reference positions for a polygon or a polygonal column.
このような物体識別装置1によれば、複数の基準位置について角度を演算するので、より精密に物体の外形を推定することができる。よって物体の識別精度を向上させることができる。 According to such an object identification device 1, since the angle is calculated for a plurality of reference positions, the outer shape of the object can be estimated more precisely. Therefore, the object identification accuracy can be improved.
[第2実施形態]
上記第1実施形態において、点群データの分割処理(S210)では、クラスタを構成するライン毎に点群グループを生成したが、例えば、予め設定された分割数でクラスタにおいて点情報が存在する領域を分割するようにしてもよい。この場合、例えば図9に示す点群データの分割処理を実施するとよい。
[Second Embodiment]
In the first embodiment, in the point group data division process (S210), a point group group is generated for each line constituting the cluster. For example, an area where point information exists in the cluster with a preset number of divisions. May be divided. In this case, for example, the point cloud data dividing process shown in FIG. 9 may be performed.
図9に示す点群データの分割処理では、まず、外接直方体のサイズを取得する(S610)。外接直方体のサイズは下記のように定義される。 In the process of dividing the point cloud data shown in FIG. 9, first, the size of the circumscribed cuboid is acquired (S610). The size of the circumscribed cuboid is defined as follows.
この処理では、各軸(水平、奥行き、鉛直の各軸)においてクラスタの最も外側に位置する点情報の座標に基づいて、これらの座標に接する外接直方体の幅Wn、奥行きDn、高さHnを求める(図4参照)。 In this process, based on the coordinates of point information located on the outermost side of the cluster in each axis (each axis of horizontal, depth, and vertical), the width W n , the depth D n , and the height of the circumscribed cuboid that touches these coordinates H n is obtained (see FIG. 4).
続いて、区分領域サイズを計算する(S620)。区分領域の1つ1つについて、水平方向のサイズをBWn、鉛直方向のサイズをBHnとし、以下のように求める。 Subsequently, the segmented area size is calculated (S620). For each segmented region, the horizontal size is BW n and the vertical size is BH n, which is obtained as follows.
なお、Nwは水平分割数、NHは鉛直分割数であり、それぞれ予め設定された値である。つまり、S620の処理ではクラスタを構成する領域(外接直方体)を、図10に示すように、同形状の直方体の区分領域に分割する。 Nw is the number of horizontal divisions and NH is the number of vertical divisions, which are preset values. That is, in the process of S620, the area (circumscribed rectangular parallelepiped) constituting the cluster is divided into rectangular parallelepiped divided areas as shown in FIG.
続いて、各区分領域に点情報を対応付け(S630)、点群データの分割処理を終了する。ここで、水平方向にi番目、鉛直方向にj番目の区分領域に対応する点情報PCDn(i,j)は、以下のように定義できる。 Subsequently, point information is associated with each segmented region (S630), and the point cloud data dividing process is terminated. Here, the point information PCDn (i, j) corresponding to the i-th segment area in the horizontal direction and the j-th segment area in the vertical direction can be defined as follows.
なお、上記式中のLnはクラスタにおける左端座標であり、Tnはクラスタにおける上端座標である。
また、上記の例においては、水平方向においてもクラスタを構成する領域を分割したが、図11に示すように、鉛直方向のみに分割してもよい。この場合、S620の処理においては下記式を用いて区分領域を設定すればよい。
In the above formula, L n is the left end coordinate in the cluster, and T n is the upper end coordinate in the cluster.
In the above example, the area constituting the cluster is also divided in the horizontal direction, but may be divided only in the vertical direction as shown in FIG. In this case, in the process of S620, the segment area may be set using the following formula.
また、S630の処理においては、下記式を用いて各区分領域に点情報を対応付ければよい。 In the processing of S630, the point information may be associated with each segmented area using the following formula.
このようにしても上記の実施形態と同様の効果が得られる。また、演算に必要なる処理時間を従来構成よりも短縮することができる。
[第3実施形態]
上記第1実施形態において、各点群グループの位置サイズ情報計算処理(S220)では、点群グループを構成する点情報の標準偏差を用いて点群グループのサイズを求めたが、これらの点情報の外接直方体から点群グループのサイズを求めてもよい。詳細には、図12に示す位置サイズ情報計算処理のように、まず、前述の処理と同様に各点群グループにおける点情報を取得し(S410)、外接矩形の基準位置を算出する(S440)。
Even if it does in this way, the effect similar to said embodiment is acquired. Moreover, the processing time required for the calculation can be shortened compared to the conventional configuration.
[Third Embodiment]
In the first embodiment, in the position size information calculation process (S220) of each point cloud group, the size of the point cloud group is obtained using the standard deviation of the point information constituting the point cloud group. The size of the point cloud group may be obtained from the circumscribed rectangular parallelepiped. Specifically, as in the position size information calculation process shown in FIG. 12, first, the point information in each point cloud group is acquired in the same manner as described above (S410), and the reference position of the circumscribed rectangle is calculated (S440). .
外接矩形は、図13に示すように、点群グループを構成する点情報のうちの最も外側の点に接する外接直方体を平面に投影したものであり、下記式によって求められる。 As shown in FIG. 13, the circumscribed rectangle is obtained by projecting a circumscribed cuboid that touches the outermost point of the point information constituting the point group to a plane, and is obtained by the following equation.
そして、下記式によって点群グループにおける水平方向のサイズBWn、鉛直方向のサイズBHnを求める。 Then, the horizontal size BW n and the vertical size BH n in the point cloud group are obtained by the following equations.
このようにしても上記の実施形態と同様の効果が得られる。
[第4実施形態]
第1実施形態においては、相対位置情報計算処理において隣接する点群グループとの角度を相対位置情報として求めたが、各点群グループにおける座標のずれを相対位置情報としてよい。
Even if it does in this way, the effect similar to said embodiment is acquired.
[Fourth Embodiment]
In the first embodiment, in the relative position information calculation process, the angle with the adjacent point group is obtained as the relative position information, but a coordinate shift in each point group group may be used as the relative position information.
このようにする場合、前述の基準位置のずれを相対位置情報として採用してもよいし、これから述べるように中心座標(重心座標)のずれを相対位置情報としてもよい。
中心座標のずれを相対位置情報とする場合には、図14に示す相対位置情報計算処理を実施するとよい。図14に示す相対位置情報計算処理では、まず、前述のように各点群グループにおける矩形座標を取得する(S460)。
In this case, the deviation of the reference position described above may be adopted as the relative position information, and the deviation of the center coordinates (center of gravity coordinates) may be used as the relative position information as described below.
When the shift of the center coordinate is used as the relative position information, the relative position information calculation process shown in FIG. 14 may be performed. In the relative position information calculation process shown in FIG. 14, first, the rectangular coordinates in each point group are acquired as described above (S460).
前述のように矩形座標を得る。 Obtain rectangular coordinates as described above.
続いて、中心座標を計算する(S480)。この処理では、x軸(水平方向)の中心座標cx、およびy軸(奥行き方向)の中心座標cyを下記式を用いて求める。 Subsequently, center coordinates are calculated (S480). In this process, the center coordinate cx of the x axis (horizontal direction) and the center coordinate cy of the y axis (depth direction) are obtained using the following equations.
なお、中心座標(cx,cy)に換えて、前述した重心座標(mx,my)を用いてもよい。
そして、隣接する点群グループ間の中心座標の差分を計算する(S490)。なお、図15に示すように、x軸の中心座標差分をdx、y軸の中心座標差分をdyとする。
Note that the above-described barycentric coordinates (mx, my) may be used instead of the center coordinates (cx, cy).
And the difference of the center coordinate between adjacent point group groups is calculated (S490). As shown in FIG. 15, the center coordinate difference on the x axis is dx, and the center coordinate difference on the y axis is dy.
これらの値を相対位置情報としてメモリ12に記録させる。このような処理が終了すると、相対位置情報計算処理を終了する。
なお、中心座標差分ではなく、中心座標間の距離δを相対位置情報として求めてもよい。
These values are recorded in the memory 12 as relative position information. When such processing ends, the relative position information calculation processing ends.
Instead of the center coordinate difference, the distance δ between the center coordinates may be obtained as the relative position information.
ただし、上記式において、pは点群グループの中心座標を示す。
また、中心座標差分の標準偏差を相対位置情報としてもよい。すなわち、図16に示すように、図14のS490の処理に換えて、中心座標差分の標準偏差を計算してもよい(S500)。
In the above formula, p represents the center coordinate of the point group.
The standard deviation of the center coordinate difference may be used as the relative position information. That is, as shown in FIG. 16, instead of the process of S490 of FIG. 14, the standard deviation of the center coordinate difference may be calculated (S500).
中心座標差分の標準偏差は、下記式にて求めることができる。 The standard deviation of the central coordinate difference can be obtained by the following formula.
このようにすれば、図17に示すように、例えば歩行者と広告旗とを識別する際に、各点群グループのサイズについては概ね同様となるが、中心座標の標準偏差については広告旗のほうが大きくなるため、歩行者と広告旗とを良好に識別することができることがわかる。 In this way, as shown in FIG. 17, for example, when identifying a pedestrian and an advertising flag, the size of each point group is substantially the same, but the standard deviation of the center coordinates is Since it becomes larger, it turns out that a pedestrian and an advertising flag can be distinguished favorably.
このような第4実施形態の物体識別装置によれば、処理部10が、点群グループに含まれる各点情報の位置関係に基づく重心位置を点群グループの位置として設定するので、重心位置においてどの程度の傾き(重心位置のずれ)があるかを認識することができる。よって、適切に物体を識別することができる。 According to such an object identification device of the fourth embodiment, the processing unit 10 sets the position of the center of gravity based on the positional relationship of each piece of point information included in the point group as the position of the point group. It can be recognized how much inclination (displacement of the center of gravity position) exists. Therefore, an object can be appropriately identified.
また、上記物体識別装置において処理部10は、点群グループ間の位置関係として、重心位置の標準偏差を演算する。
このような物体識別装置によれば、多数の点群グループについての重心位置のばらつきを低次元で表すことができるので、演算を簡素な処理で行うことができる。
In the object identification device, the processing unit 10 calculates the standard deviation of the center of gravity position as the positional relationship between the point cloud groups.
According to such an object identification device, it is possible to represent the variation in the center of gravity of a large number of point group groups with a low dimension, and therefore, the calculation can be performed with a simple process.
また、中心座標差分同士の差分の標準偏差(隣接する点群グループにおける重心位置の差分の標準偏差)を相対位置情報としてもよい。すなわち、中心座標同士の差分(x軸の中心座標差分をdx、y軸の中心座標差分をdy)を用いて、これらの差分の標準偏差を下記式で求めることができる。 Further, the standard deviation of the difference between the central coordinate differences (standard deviation of the difference between the center of gravity positions in adjacent point group groups) may be used as the relative position information. That is, using the difference between the center coordinates (the x-axis center coordinate difference is dx and the y-axis center coordinate difference is dy), the standard deviation of these differences can be obtained by the following equation.
このような物体識別装置によれば、重心位置の差分(ずれ量)のばらつきを考慮して物体を識別することができるので、物体の識別精度をより向上させることができる。
[その他の実施形態]
本発明は、上記の実施形態によって何ら限定して解釈されない。また、上記の実施形態の構成の一部を、課題を解決できる限りにおいて省略した態様も本発明の実施形態である。また、上記の複数の実施形態を適宜組み合わせて構成される態様も本発明の実施形態である。また、特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない限度において考え得るあらゆる態様も本発明の実施形態である。また、上記の実施形態の説明で用いる符号を特許請求の範囲にも適宜使用しているが、各請求項に係る発明の理解を容易にする目的で使用しており、各請求項に係る発明の技術的範囲を限定する意図ではない。
According to such an object identification device, an object can be identified in consideration of the variation in the difference (deviation amount) in the center of gravity position, so that the object identification accuracy can be further improved.
[Other Embodiments]
The present invention is not construed as being limited by the above embodiment. Moreover, the aspect which abbreviate | omitted a part of structure of said embodiment as long as the subject could be solved is also embodiment of this invention. An aspect configured by appropriately combining the above-described plurality of embodiments is also an embodiment of the present invention. Moreover, all the aspects which can be considered in the limit which does not deviate from the essence of the invention specified only by the wording described in the claims are embodiments of the present invention. Further, the reference numerals used in the description of the above embodiments are also used in the claims as appropriate, but they are used for the purpose of facilitating the understanding of the invention according to each claim, and the invention according to each claim. It is not intended to limit the technical scope of
例えば、上記実施形態においては、歩行者か歩行者でないかの判定を行ったが、他の物体や複数の物体についての判定を行ってもよい。例えば、歩行者、自動車、自転車についてのモデルを準備しておき、物体が歩行者、自動車、自転車であるか、或いはこれら以外であるかについての識別を行ってもよい。 For example, in the above embodiment, it is determined whether the person is a pedestrian or a pedestrian, but a determination may be made for other objects or a plurality of objects. For example, models for pedestrians, automobiles, and bicycles may be prepared, and identification as to whether the object is a pedestrian, automobile, bicycle, or other than these may be performed.
また、上記実施形態において「点情報の少なくとも一部が包含される多角形または多角柱」として、座標値の標準偏差によって求められた矩形を利用したが、例えば、点群グループに含まれる各点情報が内接または外接するような多角形または多角柱等であってもよい。 Further, in the above embodiment, as the “polygon or polygonal column including at least a part of the point information”, a rectangle obtained by the standard deviation of the coordinate value is used. For example, each point included in the point cloud group It may be a polygon or a polygonal column in which information is inscribed or circumscribed.
また、上記実施形態においては、座標値の標準偏差を利用したが、標準偏差に限らず、座標値の分散、或いは分散度合(散らばりの程度、散らばり方、例えば、歪度、尖度等)を利用してもよい。 In the above embodiment, the standard deviation of the coordinate values is used, but not limited to the standard deviation, the variance of the coordinate values or the degree of dispersion (the degree of dispersion, the manner of dispersion, for example, skewness, kurtosis, etc.). May be used.
さらに、上記第1実施形態では、レーザ光が照射されたライン数で領域を分割するよう構成したが、例えば、予めレーザレーダ20等のセンサ仕様に基づくレーザ光の照射領域をレイヤ総数(区分領域の数)NLnとして、レイヤ(1ライン分の点情報)毎に点群グループを構成するようにしてもよい。このようにする場合、クラスタを構成する各レイヤには、データが存在しないレイヤがある可能性があるが、データが存在しないレイヤについては、値を全て0とする、いわゆるゼロ埋めを行うことで処理を進めればよい。 Further, in the first embodiment, the area is divided by the number of lines irradiated with the laser light. For example, the irradiation area of the laser light based on the sensor specifications of the laser radar 20 or the like in advance is set as the total number of layers (segmented area). The point group may be configured for each layer (point information for one line) as NLn. In this case, there is a possibility that there is a layer in which no data exists in each layer constituting the cluster. However, for a layer in which no data exists, so-called zero padding is performed by setting all values to 0. You just need to proceed.
このようにしても、第1実施形態と同様の効果が得られる。
また、上記実施形態では、クラスタに含まれるライン数に応じて識別モデル13を選択するよう構成したが、クラスタ(つまり物体)までの距離に応じて識別モデル13を選択するようにしてもよい。すなわち、物体までの距離が近くなるにつれてクラスタに含まれるライン数が増える傾向があるため、このようにしても上記実施形態と同様の効果が得られる。
Even if it does in this way, the effect similar to 1st Embodiment is acquired.
In the above embodiment, the identification model 13 is selected according to the number of lines included in the cluster. However, the identification model 13 may be selected according to the distance to the cluster (that is, the object). That is, since the number of lines included in the cluster tends to increase as the distance to the object becomes shorter, the same effect as in the above embodiment can be obtained even in this way.
[実施形態の構成と本発明の手段との対応関係]
上記実施形態において物体識別処理は本発明でいう物体識別方法に相当する。また、上記実施形態でのクラスタは本発明でいう点群情報に相当する。
[Correspondence between Configuration of Embodiment and Means of Present Invention]
In the above embodiment, the object identification process corresponds to the object identification method referred to in the present invention. Moreover, the cluster in the said embodiment is corresponded to the point cloud information said by this invention.
さらに、上記実施形態において処理部10が実行する処理のうち、S140の処理は本発明でいう点群情報取得工程に相当し、上記実施形態におけるS150の処理は本発明でいうライン抽出工程に相当する。また、上記実施形態におけるS210の処理は本発明でいうグループ対応付け工程に相当し、上記実施形態におけるS220の処理は本発明でいうグループ位置サイズ設定工程に相当する。 Further, among the processes executed by the processing unit 10 in the above embodiment, the process in S140 corresponds to the point cloud information acquisition process in the present invention, and the process in S150 in the above embodiment corresponds to the line extraction process in the present invention. To do. In addition, the process of S210 in the above embodiment corresponds to the group association process referred to in the present invention, and the process of S220 in the above embodiment corresponds to the group position size setting process referred to in the present invention.
さらに、上記実施形態におけるS230の処理は本発明でいう位置関係演算工程に相当し、上記実施形態におけるS250の処理は本発明でいうモデル選択工程に相当する。また、上記実施形態におけるS260、S310、S320、S330の処理は本発明でいう種別推定工程に相当する。 Furthermore, the process of S230 in the above embodiment corresponds to the positional relationship calculation process referred to in the present invention, and the process of S250 in the above embodiment corresponds to the model selection process referred to in the present invention. In addition, the processing of S260, S310, S320, and S330 in the above embodiment corresponds to the type estimation step in the present invention.
1…物体識別装置、10…処理部、11…CPU、12…メモリ、13…識別モデル、20…レーザレーダ、30…車両制御部。 DESCRIPTION OF SYMBOLS 1 ... Object identification apparatus, 10 ... Processing part, 11 ... CPU, 12 ... Memory, 13 ... Identification model, 20 ... Laser radar, 30 ... Vehicle control part.
Claims (19)
何らかの物体についての点群情報を取得する点群情報取得工程(S140)と、
前記点群情報に基づいて、水平方向に並ぶ複数の点情報にて構成されるライン及び前記ラインの数を抽出するライン抽出工程(S150)と、
前記点群情報に含まれる複数の点情報のうち同じラインに含まれる複数の点情報をそれぞれ複数の点群グループとして対応付けるグループ対応付け工程(S210)と、
前記点群グループに含まれる各点情報の位置関係に基づいて、前記点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定するグループ位置サイズ設定工程(S220)と、
前記点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する位置関係演算工程(S230)と、
前記点群情報に含まれるラインの数毎に予め物体の種別に対応して準備された複数のモデルから、前記ライン抽出工程にて求められたラインの数に対応するモデルを選択するモデル選択工程(S250)と、
前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、前記選択されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、
を実施することを特徴とする物体識別方法。An object identification method implemented in an identification apparatus (1) for identifying the type of an object based on point group information having a large number of point information indicating a three-dimensional position at a point on the object surface for each different position on the object surface There,
A point cloud information acquisition step (S140) for acquiring point cloud information about any object;
A line extraction step (S150) for extracting lines composed of a plurality of pieces of point information arranged in the horizontal direction and the number of the lines based on the point group information;
A group association step (S210) for associating a plurality of point information included in the same line among a plurality of point information included in the point group information as a plurality of point group groups,
A group position size setting step for setting the position and size of the point cloud group for a plurality of point cloud groups among all the point cloud groups based on the positional relationship of each piece of point information included in the point cloud group ( S220)
A positional relationship calculation step (S230) for calculating a positional relationship between a plurality of point group groups in which the position as the point cloud group is set;
A model selection step of selecting a model corresponding to the number of lines obtained in the line extraction step from a plurality of models prepared in advance corresponding to the type of object for each number of lines included in the point cloud information (S250),
A type estimation step (S260, S310, S320, S330) for estimating the type of the object using the size as the point cloud group and the positional relationship between the point cloud groups, and the selected model;
The object identification method characterized by implementing.
前記グループ位置サイズ設定工程では、前記点群グループとしてのサイズを、前記点群グループに含まれる点情報における座標値の分散度合を用いて設定すること
を特徴とする物体識別方法。 The object identification method according to claim 1 ,
In the group position size setting step, the size as the point cloud group is set using a degree of dispersion of coordinate values in point information included in the point cloud group.
何らかの物体についての点群情報を取得する点群情報取得工程(S140)と、 A point cloud information acquisition step (S140) for acquiring point cloud information about any object;
前記点群情報に含まれる複数の点情報を複数の点群グループとして対応付けるグループ対応付け工程(S210)と、 A group association step (S210) for associating a plurality of point information included in the point group information as a plurality of point group groups;
前記点群グループに含まれる各点情報の位置関係に基づいて、前記点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定するグループ位置サイズ設定工程(S220)と、 A group position size setting step for setting the position and size of the point cloud group for a plurality of point cloud groups among all the point cloud groups based on the positional relationship of each piece of point information included in the point cloud group ( S220)
前記点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する位置関係演算工程(S230)と、 A positional relationship calculation step (S230) for calculating a positional relationship between a plurality of point group groups in which the position as the point cloud group is set;
前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、 A type estimation step of estimating the type of the object using the size as the point group and the positional relationship between the point group groups and a model prepared in advance corresponding to the type of the object (S260, S310, S320, S330),
を実施し、 Carried out
前記グループ位置サイズ設定工程では、前記点群グループとしてのサイズを、前記点群グループに含まれる点情報における座標値の分散度合を用いて設定すること In the group position size setting step, the size as the point cloud group is set using the degree of dispersion of coordinate values in the point information included in the point cloud group.
を特徴とする物体識別方法。 An object identification method characterized by the above.
前記点群情報に基づいて、水平方向に並ぶ複数の点情報にて構成されるラインを抽出するライン抽出工程(S150)、
を実施し、
前記グループ対応付け工程では、同じラインに含まれる複数の点情報をそれぞれ前記点群グループとして対応付けること
を特徴とする物体識別方法。 The object identifying method according to claim 3 , wherein
A line extraction step (S150) for extracting a line composed of a plurality of pieces of point information arranged in the horizontal direction based on the point group information;
Carried out
In the group associating step, a plurality of point information included in the same line is associated as the point cloud group, respectively.
前記グループ位置サイズ設定工程では、前記点群グループに含まれる各点情報の位置関係に基づく重心位置を前記点群グループの位置として設定すること
を特徴とする物体識別方法。 In the object identification method according to any one of claims 1 to 4,
In the group position size setting step, the center of gravity position based on the positional relationship of each piece of point information included in the point cloud group is set as the position of the point cloud group.
前記位置関係演算工程では、前記点群グループ間の位置関係として、前記重心位置の分散度合を演算すること
を特徴とする物体識別方法。 The object identification method according to claim 5,
In the positional relationship calculation step, the degree of dispersion of the centroid position is calculated as the positional relationship between the point group groups.
前記位置関係演算工程では、前記点群グループ間の位置関係として、隣接する点群グループにおける重心位置の差分の分散度合を演算すること
を特徴とする物体識別方法。 The object identification method according to claim 5,
In the positional relationship calculation step, as a positional relationship between the point group groups, a degree of dispersion of a difference between centroid positions in adjacent point group groups is calculated.
前記グループ位置サイズ設定工程では、前記点群グループに含まれる各点情報の位置関係に応じて前記点情報の少なくとも一部が包含されるように多角形または多角柱を配置し、該多角形または多角柱に対応する1または複数の基準位置を前記点群グループの位置として設定すること
を特徴とする物体識別方法。 In the object identification method according to any one of claims 1 to 4,
In the group position size setting step, a polygon or a polygonal column is arranged so that at least a part of the point information is included according to the positional relationship of each piece of point information included in the point cloud group. One or more reference positions corresponding to a polygonal column are set as the position of the point group.
何らかの物体についての点群情報を取得する点群情報取得工程(S140)と、 A point cloud information acquisition step (S140) for acquiring point cloud information about any object;
前記点群情報に含まれる複数の点情報を複数の点群グループとして対応付けるグループ対応付け工程(S210)と、 A group association step (S210) for associating a plurality of point information included in the point group information as a plurality of point group groups;
前記点群グループに含まれる各点情報の位置関係に基づいて、前記点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定するグループ位置サイズ設定工程(S220)と、 A group position size setting step for setting the position and size of the point cloud group for a plurality of point cloud groups among all the point cloud groups based on the positional relationship of each piece of point information included in the point cloud group ( S220)
前記点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する位置関係演算工程(S230)と、 A positional relationship calculation step (S230) for calculating a positional relationship between a plurality of point group groups in which the position as the point cloud group is set;
前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、 A type estimation step of estimating the type of the object using the size as the point group and the positional relationship between the point group groups and a model prepared in advance corresponding to the type of the object (S260, S310, S320, S330),
を実施し、 Carried out
前記グループ位置サイズ設定工程では、前記点群グループに含まれる各点情報の位置関係に応じて前記点情報の少なくとも一部が包含されるように多角形または多角柱を配置し、該多角形または多角柱に対応する1または複数の基準位置を前記点群グループの位置として設定すること In the group position size setting step, a polygon or a polygonal column is arranged so that at least a part of the point information is included according to the positional relationship of each piece of point information included in the point cloud group. Setting one or more reference positions corresponding to a polygonal column as the position of the point group
を特徴とする物体識別方法。 An object identification method characterized by the above.
前記点群情報に基づいて、水平方向に並ぶ複数の点情報にて構成されるラインを抽出するライン抽出工程(S150)、 A line extraction step (S150) for extracting a line composed of a plurality of pieces of point information arranged in the horizontal direction based on the point group information;
を実施し、 Carried out
前記グループ対応付け工程では、同じラインに含まれる複数の点情報をそれぞれ前記点群グループとして対応付けること In the group association step, a plurality of pieces of point information included in the same line are associated with each other as the point cloud group.
を特徴とする物体識別方法。 An object identification method characterized by the above.
前記位置関係演算工程では、前記点群グループ間の位置関係として、ある点群グループにおける基準位置および他の点群グループにおける基準位置を結ぶ直線と、前記多角形または多角柱の底面に対する垂線との角度を演算すること
を特徴とする物体識別方法。 The object identification method according to any one of claims 8 to 10 ,
In the positional relationship calculation step, as a positional relationship between the point cloud groups, a straight line connecting a reference position in a certain point cloud group and a reference position in another point cloud group, and a perpendicular to the bottom surface of the polygon or polygonal column An object identification method characterized by calculating an angle.
前記位置関係演算工程では、前記多角形または前記多角柱について複数の基準位置についての前記角度を演算すること
を特徴とする物体識別方法。 The object identification device according to claim 11 , wherein
In the positional relationship calculation step, the angle for a plurality of reference positions is calculated for the polygon or the polygonal column.
何らかの物体についての点群情報を取得する点群情報取得工程(S140)と、 A point cloud information acquisition step (S140) for acquiring point cloud information about any object;
前記点群情報に含まれる複数の点情報を複数の点群グループとして対応付けるグループ対応付け工程(S210)と、 A group association step (S210) for associating a plurality of point information included in the point group information as a plurality of point group groups;
前記点群グループに含まれる各点情報の位置関係に基づいて、前記点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定するグループ位置サイズ設定工程(S220)と、 A group position size setting step for setting the position and size of the point cloud group for a plurality of point cloud groups among all the point cloud groups based on the positional relationship of each piece of point information included in the point cloud group ( S220)
前記点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する位置関係演算工程(S230)と、 A positional relationship calculation step (S230) for calculating a positional relationship between a plurality of point group groups in which the position as the point cloud group is set;
前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、 A type estimation step of estimating the type of the object using the size as the point group and the positional relationship between the point group groups and a model prepared in advance corresponding to the type of the object (S260, S310, S320, S330),
を実施し、 Carried out
前記グループ位置サイズ設定工程では、前記点群グループに含まれる各点情報の位置関係に基づく重心位置を前記点群グループの位置として設定し、 In the group position size setting step, the center of gravity position based on the positional relationship of each point information included in the point cloud group is set as the position of the point cloud group,
前記位置関係演算工程では、前記点群グループ間の位置関係として、前記重心位置の分散度合を演算すること In the positional relationship calculation step, the degree of dispersion of the gravity center position is calculated as the positional relationship between the point cloud groups.
を特徴とする物体識別方法。 An object identification method characterized by the above.
何らかの物体についての点群情報を取得する点群情報取得工程(S140)と、 A point cloud information acquisition step (S140) for acquiring point cloud information about any object;
前記点群情報に含まれる複数の点情報を複数の点群グループとして対応付けるグループ対応付け工程(S210)と、 A group association step (S210) for associating a plurality of point information included in the point group information as a plurality of point group groups;
前記点群グループに含まれる各点情報の位置関係に基づいて、前記点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定するグループ位置サイズ設定工程(S220)と、 A group position size setting step for setting the position and size of the point cloud group for a plurality of point cloud groups among all the point cloud groups based on the positional relationship of each piece of point information included in the point cloud group ( S220)
前記点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する位置関係演算工程(S230)と、 A positional relationship calculation step (S230) for calculating a positional relationship between a plurality of point group groups in which the position as the point cloud group is set;
前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、 A type estimation step of estimating the type of the object using the size as the point group and the positional relationship between the point group groups and a model prepared in advance corresponding to the type of the object (S260, S310, S320, S330),
を実施し、 Carried out
前記グループ位置サイズ設定工程では、前記点群グループに含まれる各点情報の位置関係に基づく重心位置を前記点群グループの位置として設定し、 In the group position size setting step, the center of gravity position based on the positional relationship of each point information included in the point cloud group is set as the position of the point cloud group,
前記位置関係演算工程では、前記点群グループ間の位置関係として、隣接する点群グループにおける重心位置の差分の分散度合を演算すること In the positional relationship calculation step, as a positional relationship between the point group groups, calculating a degree of dispersion of the difference between the centroid positions in adjacent point group groups
を特徴とする物体識別方法。 An object identification method characterized by the above.
前記点群情報に基づいて、水平方向に並ぶ複数の点情報にて構成されるラインを抽出するライン抽出工程(S150)、 A line extraction step (S150) for extracting a line composed of a plurality of pieces of point information arranged in the horizontal direction based on the point group information;
を実施し、 Carried out
前記グループ対応付け工程では、同じラインに含まれる複数の点情報をそれぞれ前記点群グループとして対応付けること In the group association step, a plurality of pieces of point information included in the same line are associated with each other as the point cloud group.
を特徴とする物体識別方法。 An object identification method characterized by the above.
前記ライン抽出工程では、前記ラインの数も抽出するとともに、
前記点群情報に含まれるラインの数毎に予め物体の種別に対応して準備された複数のモデルから、前記ライン抽出工程にて求められたラインの数に対応するモデルを選択するモデル選択工程(S250)、
を実施し、
前記種別推定工程では、前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、前記選択されたモデルと、を用いて前記物体の種別を推定すること
を特徴とする物体識別方法。 The object identification method according to claim 15, wherein
In the line extraction step, the number of lines is also extracted,
A model selection step of selecting a model corresponding to the number of lines obtained in the line extraction step from a plurality of models prepared in advance corresponding to the type of object for each number of lines included in the point cloud information (S250),
Carried out
In the type estimation step, the type of the object is estimated using the size as the point cloud group, the positional relationship between the point cloud groups, and the selected model.
何らかの物体についての点群情報を取得する点群情報取得工程(S140)と、
前記点群情報に基づいて、水平方向に並ぶ複数の点情報にて構成されるラインを抽出するライン抽出工程(S150)と、
前記点群情報に含まれる複数の点情報を複数の点群グループとして対応付けるグループ対応付け工程(S210)と、
前記点群グループに含まれる各点情報の位置関係に基づいて、前記点群グループとしての位置およびサイズを、全ての点群グループのうちの複数の点群グループについて設定するグループ位置サイズ設定工程(S220)と、
前記点群グループとしての位置が設定された複数の点群グループ間の位置関係を演算する位置関係演算工程(S230)と、
前記点群グループとしてのサイズおよび前記点群グループ間の位置関係と、予め物体の種別に対応して準備されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、
を実施し、
前記グループ対応付け工程では、同じラインに含まれる複数の点情報をそれぞれ前記点群グループとして対応付け、
前記位置関係演算工程では、前記点群グループ間の位置関係として、ある点群グループにおける基準位置および他の点群グループにおける基準位置を結ぶ直線と、前記点群グループに含まれる前記点情報の少なくとも一部が包含されるように配置される多角形または多角柱の底面に対する垂線との角度を演算すること
を特徴とする物体識別方法。 An object identification method implemented in an identification device for identifying a type of an object based on point group information including a large number of point information indicating a three-dimensional position at a point on the object surface for each different position on the object surface,
A point cloud information acquisition step (S140) for acquiring point cloud information about any object;
A line extraction step (S150) for extracting a line composed of a plurality of pieces of point information arranged in the horizontal direction based on the point group information;
A group association step (S210) for associating a plurality of point information included in the point group information as a plurality of point group groups;
A group position size setting step for setting the position and size of the point cloud group for a plurality of point cloud groups among all the point cloud groups based on the positional relationship of each piece of point information included in the point cloud group ( S220)
A positional relationship calculation step (S230) for calculating a positional relationship between a plurality of point group groups in which the position as the point cloud group is set;
A type estimation step of estimating the type of the object using the size as the point group and the positional relationship between the point group groups and a model prepared in advance corresponding to the type of the object (S260, S310, S320, S330),
Carried out
In the group association step, a plurality of point information included in the same line is associated as the point group group,
In the positional relationship calculation step, as the positional relationship between the point group groups, at least of the point information included in the point group group and a straight line connecting a reference position in a certain point group group and a reference position in another point group group An object identification method comprising: calculating an angle with a perpendicular to a bottom surface of a polygon or a polygonal column arranged so as to be partially included .
前記点群情報に基づいて、水平方向に並ぶ複数の点情報にて構成されるライン、および前記ラインの数を抽出するライン抽出工程(S150)と、 A line extraction step (S150) for extracting a line composed of a plurality of pieces of point information arranged in the horizontal direction based on the point group information, and the number of the lines;
予め準備された複数のモデルから、ラインの数に対応するモデルを選択するモデル選択工程(S250)と、 A model selection step (S250) for selecting a model corresponding to the number of lines from a plurality of models prepared in advance;
それぞれが前記点群情報に含まれる複数の点情報を分割することで作成された複数の点群グループ間の位置関係と、前記点群グループのサイズと、前記選択されたモデルと、を用いて前記物体の種別を推定する種別推定工程(S260、S310、S320、S330)と、 Using the positional relationship between a plurality of point group groups created by dividing a plurality of point information included in the point group information, the size of the point group groups, and the selected model, respectively A type estimation step (S260, S310, S320, S330) for estimating the type of the object;
を実施することを特徴とする物体識別方法。 The object identification method characterized by implementing.
物体の種別を識別する処理として、請求項1〜請求項18の何れか1項に記載の物体識別方法を実施すること
を特徴とする物体識別装置。 An object identification device (1) for identifying a type of an object based on point group information including a large number of point information indicating a three-dimensional position at a point on the object surface for each different position on the object surface,
The object identification device according to any one of claims 1 to 18 , wherein the object identification method according to any one of claims 1 to 18 is implemented as processing for identifying a type of an object.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014023632A JP6382525B2 (en) | 2014-02-10 | 2014-02-10 | Object identification method and object identification device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014023632A JP6382525B2 (en) | 2014-02-10 | 2014-02-10 | Object identification method and object identification device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015152319A JP2015152319A (en) | 2015-08-24 |
JP6382525B2 true JP6382525B2 (en) | 2018-08-29 |
Family
ID=53894759
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014023632A Active JP6382525B2 (en) | 2014-02-10 | 2014-02-10 | Object identification method and object identification device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6382525B2 (en) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6597352B2 (en) * | 2016-02-04 | 2019-10-30 | 株式会社デンソー | Object recognition device |
JP6777403B2 (en) * | 2016-02-26 | 2020-10-28 | 株式会社デンソー | Object recognition device and program |
WO2020110802A1 (en) * | 2018-11-30 | 2020-06-04 | 株式会社小糸製作所 | On-vehicle object identification system, automobile, vehicle lamp, classifier learning method, and arithmetic operation device |
WO2023157394A1 (en) * | 2022-02-15 | 2023-08-24 | 株式会社デンソー | Recognition system, recognition device, recognition method, and recognition program |
WO2023189691A1 (en) * | 2022-03-30 | 2023-10-05 | Nec Corporation | Potential object pathway determination method, apparatus and system |
WO2024023900A1 (en) * | 2022-07-25 | 2024-02-01 | 日本電信電話株式会社 | Extraction device, extraction method, and extraction program |
CN116839596B (en) * | 2023-09-01 | 2023-11-14 | 矽佳半导体(嘉兴)有限公司 | Intelligent tracking and positioning system based on data analysis |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10269362A (en) * | 1997-03-21 | 1998-10-09 | Omron Corp | Object recognition method and device therefor |
JP3450189B2 (en) * | 1998-06-16 | 2003-09-22 | ダイハツ工業株式会社 | Pedestrian detection system and control method thereof |
JP2008026997A (en) * | 2006-07-18 | 2008-02-07 | Denso Corp | Pedestrian recognition device and pedestrian recognition method |
JP4937844B2 (en) * | 2007-06-12 | 2012-05-23 | 富士重工業株式会社 | Pedestrian detection device |
JP5407898B2 (en) * | 2010-01-25 | 2014-02-05 | 株式会社豊田中央研究所 | Object detection apparatus and program |
JP5664252B2 (en) * | 2011-01-12 | 2015-02-04 | トヨタ自動車株式会社 | Pedestrian detection device |
JP5548667B2 (en) * | 2011-11-24 | 2014-07-16 | 富士重工業株式会社 | Outside environment recognition device |
JP5780249B2 (en) * | 2012-02-27 | 2015-09-16 | 株式会社デンソー | Image processing apparatus and vehicle control system using the image processing apparatus |
-
2014
- 2014-02-10 JP JP2014023632A patent/JP6382525B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015152319A (en) | 2015-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6382525B2 (en) | Object identification method and object identification device | |
JP6519262B2 (en) | Three-dimensional object detection device, three-dimensional object detection method, three-dimensional object detection program, and mobile device control system | |
JP6657789B2 (en) | Image processing device, imaging device, device control system, frequency distribution image generation method, and program | |
CN106056570B (en) | Road gradient detection device | |
JP6733225B2 (en) | Image processing device, imaging device, mobile device control system, image processing method, and program | |
JP6299291B2 (en) | Road edge detection method and road edge detection device | |
JP6237875B2 (en) | Self-position calculation device and self-position calculation method | |
JP6358160B2 (en) | Traveling road surface detection device and traveling road surface detection method | |
CN112070759B (en) | Fork truck tray detection and positioning method and system | |
JP6139465B2 (en) | Object detection device, driving support device, object detection method, and object detection program | |
KR20220013565A (en) | Detection method, device, electronic device and storage medium | |
JP6453701B2 (en) | Posture estimation device | |
US20140180497A1 (en) | Road surface shape estimating device | |
WO2015125301A1 (en) | Local location computation device and local location computation method | |
JP6597352B2 (en) | Object recognition device | |
JP6753134B2 (en) | Image processing device, imaging device, mobile device control system, image processing method, and image processing program | |
JP6756101B2 (en) | Object recognition device | |
WO2015125296A1 (en) | Local location computation device and local location computation method | |
JP6413957B2 (en) | Pitching judgment device | |
EP3082069A1 (en) | Stereoscopic object detection device and stereoscopic object detection method | |
JP2016099719A (en) | Travel section line recognition apparatus | |
JP5760720B2 (en) | Road gradient estimation device | |
CN109522779A (en) | Image processing apparatus | |
JP6458577B2 (en) | Image ranging device | |
JP6212021B2 (en) | Distance detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160622 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160622 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180802 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6382525 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |