JP6918509B2 - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- JP6918509B2 JP6918509B2 JP2017024953A JP2017024953A JP6918509B2 JP 6918509 B2 JP6918509 B2 JP 6918509B2 JP 2017024953 A JP2017024953 A JP 2017024953A JP 2017024953 A JP2017024953 A JP 2017024953A JP 6918509 B2 JP6918509 B2 JP 6918509B2
- Authority
- JP
- Japan
- Prior art keywords
- voting
- unit
- area
- information processing
- measurement points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Description
本開示は、物体の識別に用いることのできる情報処理装置に関する。 The present disclosure relates to an information processing device that can be used to identify an object.
識別対象となる物体に関して取得された3次元の測定点群をダウンサンプリングする方法として、例えば、特許文献1にて用いられているように、空間を一定サイズの格子で区切り、各格子内に測定点が存在するか否かの2値割り当て、若しくは、測定点数を用いたスカラ値割り当てなどのボクセル表現を行う技術が知られている。
As a method of downsampling a group of three-dimensional measurement points acquired for an object to be identified, for example, as used in
識別対象となる物体と、測定点を取得するための測定装置と、の間の距離が大きくなるにつれて、測定点の誤差は大きくなりやすい。測定点の誤差が大きくなるとボクセル表現の変動も大きくなり、物体識別のロバスト性の確保が困難になるという問題があった。 As the distance between the object to be identified and the measuring device for acquiring the measuring point increases, the error of the measuring point tends to increase. When the error of the measurement point becomes large, the fluctuation of the voxel expression also becomes large, and there is a problem that it becomes difficult to secure the robustness of object identification.
本開示は、物体の識別においてロバスト性の向上を図る技術を提供する。 The present disclosure provides a technique for improving robustness in identifying an object.
本開示の第1の態様は、取得部(41)と、生成部(43)と、を備える情報処理装置(12)である。取得部は、物体の存在する位置を示す1つ以上の測定点を検出する測定装置(11)から、上記1つ以上の測定点を取得するように構成されている。生成部は、1つ以上の測定点が存在する領域を構成する複数の単位領域に対して、上記取得部により取得された1つ以上の測定点それぞれに基づく投票を行い、少なくとも上記複数の単位領域それぞれへの投票値を含む情報である投票情報を生成するように構成されている。 The first aspect of the present disclosure is an information processing apparatus (12) including an acquisition unit (41) and a generation unit (43). The acquisition unit is configured to acquire the one or more measurement points from the measuring device (11) that detects one or more measurement points indicating the position where the object exists. The generation unit votes for a plurality of unit areas constituting an area in which one or more measurement points exist, based on each of the one or more measurement points acquired by the acquisition unit, and at least the plurality of units. It is configured to generate voting information, which is information that includes voting values for each area.
また生成部は、上記1つ以上の測定点それぞれに設定される1つ又は複数の単位領域を含む投票領域に対して投票を行うように構成されている。
このような構成によれば、投票情報における測定点の誤差の影響を低減することができる。よって、投票情報を用いた物体の識別をロバスト性の高いものとすることができる。
Further, the generation unit is configured to vote for a voting area including one or a plurality of unit areas set for each of the one or more measurement points.
According to such a configuration, the influence of the error of the measurement point in the voting information can be reduced. Therefore, the identification of the object using the voting information can be made highly robust.
本開示の第2の態様は、取得部(41)と、生成部(43)と、を備える情報処理装置(12)である。取得部は、物体の存在する位置を示す1つ以上の測定点を検出する測定装置(11)から、上記1つ以上の測定点を取得するように構成されている。生成部は、1つ以上の測定点が存在する領域を構成する複数の単位領域に対して、上記取得部により取得された1つ以上の測定点それぞれに基づく投票を行い、少なくとも上記複数の単位領域それぞれへの投票値を含む情報である投票情報を生成するように構成されている。 A second aspect of the present disclosure is an information processing apparatus (12) including an acquisition unit (41) and a generation unit (43). The acquisition unit is configured to acquire the one or more measurement points from the measuring device (11) that detects one or more measurement points indicating the position where the object exists. The generation unit votes for a plurality of unit areas constituting an area in which one or more measurement points exist, based on each of the one or more measurement points acquired by the acquisition unit, and at least the plurality of units. It is configured to generate voting information, which is information that includes voting values for each area.
また生成部は、上記単位領域の大きさを変更可能に構成されている。
このような構成によれば、投票情報における測定点の誤差の影響を低減することができる。よって、投票情報を用いた物体の識別をロバスト性の高いものとすることができる。
Further, the generation unit is configured so that the size of the unit area can be changed.
According to such a configuration, the influence of the error of the measurement point in the voting information can be reduced. Therefore, the identification of the object using the voting information can be made highly robust.
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。 In addition, the reference numerals in parentheses described in this column and the scope of claims indicate the correspondence with the specific means described in the embodiment described later as one embodiment, and the technical scope of the present disclosure is defined. It is not limited.
以下、図面を参照しながら、発明を実施するための形態を説明する。
[1.第1実施形態]
[1−1.構成]
図1に示すレーダ装置1は、車両に搭載して用いられる装置である。レーダ装置1は、光学ユニット11と、レーダ制御部12と、を備える。
Hereinafter, modes for carrying out the invention will be described with reference to the drawings.
[1. First Embodiment]
[1-1. Constitution]
The
光学ユニット11は、発光部21と受光部22とを備える。発光部21は、図2に示されるように、車両3の進行方向に向かって光を照射する。受光部22は、発光部21にて照射された光の反射光を受ける。この取得した反射光を解析することにより、車両3の外部に存在する物体の存在する位置を示す1つ以上の測定点を検出する。受光部22による測定点の検出は、所定のサンプリング周期にて実行される。
The
光学ユニット11としては、例えば、LIDARのようなレーザーレーダを用いることができる。光学ユニット11が、物体の存在する位置を測定する測定装置の一例である。
レーダ制御部12は、CPU31と、RAM、ROM、フラッシュメモリ等の半導体メモリ(以下、メモリ32)と、を有する周知のマイクロコンピュータを中心に構成される。レーダ制御部12の各種機能は、CPU31が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ32が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、レーダ制御部12を構成するマイクロコンピュータの数は1つでも複数でもよい。
As the
The
レーダ制御部12は、CPU31がプログラムを実行することで実現される機能の構成として、取得部41と、設定部42と、生成部43と、識別部44と、を備える。レーダ制御部12を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素について、一つあるいは複数のハードウェアを用いて実現してもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は多数の論理回路を含むデジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現してもよい。このレーダ制御部12が、情報処理装置に相当する。
The
[1−2.処理]
[1−2−1.物体認識処理]
レーダ制御部12のCPU31が実行する物体認識処理について、図3のフローチャートを用いて説明する。
[1-2. process]
[1-2-1. Object recognition processing]
The object recognition process executed by the
まず、S1では、CPU31は、上述したサンプリング周期に合わせて、光学ユニット11から複数の測定点を取得する。このS1の処理が、取得部41による処理である。
S2では、CPU31は、クラスタリングを実行する。ここでは、S1にて取得された複数の測定点を対象として、点間距離が所定の距離以下の測定点をクラスタリングし、1つ以上のクラスタ点群を生成する。このクラスタ点群を単位として、後述するS3の識別処理が実行される。なおクラスタリングの処理は、例えば特開2012−221456に示されるような既存の技術を用いることができる。
First, in S1, the
In S2, the
S3では、CPU31は、識別処理を実行する。ここでは、クラスタ点群が存在する3次元空間を分割した複数の単位領域に対して、取得部41により取得された1つ以上の測定点それぞれに基づく投票を行い、少なくとも複数の単位領域それぞれへの投票値を含む情報であるボクセル表現を生成する。そして、取得したボクセル表現を用いて物体の識別を行う。以下、クラスタ点群からボクセル表現を生成することを、ボクセル化とも記載する。本実施形態においては、上述した単位領域は格子状に設定される。このS3の識別処理の詳細については後述する。ここでいう投票値とは、単位領域に投票された数と、各投票の重み付けと、を考慮した値である。投票に重み付けを行わない場合、各単位領域の投票数が投票値となる。なお上述したボクセル表現が、クラスタ点群をボクセル化した結果の特徴量であり、投票情報に相当する。このS3の後、図3の処理を終了する。
In S3, the
[1−2−2.識別処理]
レーダ制御部12のCPU31が実行する識別処理について、図4のフローチャートを用いて説明する。
[1-2-2. Identification process]
The identification process executed by the
S11では、まずCPU31は、格子設定を行う。ここでは、図5に示されるように、光学ユニット11により測定された1つ以上の測定点101に基づいて生成された1つのクラスタ点群111に対して、当該クラスタ点群111が内部に含まれる箱型の3次元空間である物体存在領域113を設定する。つまり、物体存在領域113は、1つ以上の測定点101が存在する領域である。
In S11, the
上述した単位領域102は、物体存在領域113を格子状に分割したものである。換言すると、複数の単位領域102によって物体存在領域113が構成される。なお物体存在領域113に含まれる複数の単位領域102には、測定点101が存在する単位領域102と、測定点101が存在しない単位領域102と、が存在する。
The
本実施形態においては、格子のサイズは物体存在領域113の位置や大きさに関らず一定である。このS11の処理が、上述した設定部42による処理である。
S12では、CPU31は、ボクセル値計算を行う。ここでは、取得された測定点101それぞれに設定される投票領域に対して投票を行う。投票領域とは、1つ又は複数の単位領域を含むものである。
In the present embodiment, the size of the grid is constant regardless of the position and size of the
In S12, the
また投票は、重み付けを伴って行われる。具体的には、投票領域に含まれる1つ以上の単位領域に対して、投票領域への投票に係る測定点101からの距離が大きい単位領域ほど重み付けが小さくなるように投票が行われる。
Voting is also weighted. Specifically, voting is performed on one or more unit areas included in the voting area so that the weighting becomes smaller as the distance from the
まず、投票領域の設定について図6〜図8を用いて説明する。
図6A〜6Cは、1つの測定点101について、それぞれ異なる態様で単位領域102に投票が行われた状態を示す図である。なお理解を容易にする目的で、図6A〜6Cでは2次元的な図形を用いると共に、投票値については重み付けを考慮せずに「1」の値が投票されるものとする。
First, the setting of the voting area will be described with reference to FIGS. 6 to 8.
6A to 6C are diagrams showing a state in which voting is performed on the
図6Aは、測定点101が投票された単位領域102である主領域102A、及び、主領域102Aに隣接する空間である副領域102Bに対して投票が行われる場合を示す。3次元空間上では、主領域102Aと隣接する副領域102Bは6つ存在するため、合計7つの単位領域102に対して投票が行われる。この7つの単位領域102が、投票領域109となる。
FIG. 6A shows a case where voting is performed on the
図6Bは、投票が行われる単位領域102の選択方法を図6Aのものから変更したものである。この場合では、主領域102Aの周囲を囲むように設定された副領域102Cに対して投票が行われる。3次元空間上では、主領域102Aと隣接する副領域102Cは26個存在する。よって、合計27個の単位領域102に対して投票が行われる。この27個の単位領域102が、投票領域109となる。
FIG. 6B is a modification of the method of selecting the
図6Cは、投票が行われる単位領域102を、測定点101からの距離に応じて定めた場合の図である。図6Cに示されるように、測定点101から所定の距離に存在する単位領域102、言い換えると、測定点101を中心とする球体104内に一部でも含まれる単位領域102を、副領域102Dとして設定する。
FIG. 6C is a diagram when the
なお、副領域102Dを決定するための判断基準となる測定点101からの距離は、全ての方向に対して一定でなくともよい。例えば、図7A〜7Cに示されるように、断面が楕円形の空間を基準として副領域102Dを決定してもよい。図7A〜7Cの例では、X方向に関しては閾値となる距離が小さいが、Z方向に関してはより距離が大きく、Y方向に関してはZ方向よりもさらに距離が大きくなるように設定されている。
The distance from the
本実施形態において、投票領域109の広さ、即ち投票領域109に含まれる単位領域102の数は、光学ユニット11から該投票領域109への投票に係る測定点101までの距離が大きいほど、多くなるように設定される。
In the present embodiment, the size of the
例えば図8Aに示されるように、物体と光学ユニット11との間の距離と、投票領域109の広さとの関係式を、線形の1次式又は2次式以上の高次多項式にて設定することができる。物体の位置は、測定点101の位置と言い換えることができる。またこれらの関係式は、実験的に求めた複数の実験値81から算出することが考えられる。なおこれらの関係式は、方向ごとに閾値を変えてもよい。例えば図8Bに示されるように、物体存在空間の水平方向、垂直方向、奥行方向のそれぞれについて異なる関係式が設定されていてもよい。なお、これらの関係式は、特に図6Cや図7A〜7Cで示されるように、測定点101からの距離を閾値として副領域を設定する場合に都合がよい。
For example, as shown in FIG. 8A, the relational expression between the distance between the object and the
また、図8Cに示されるように、上述した物体と光学ユニット11との距離と、格子数と、の関係を設定することができる。図8Cのうち実線は、投票領域として、測定点101が存在する主領域102Aから拡張される範囲を示すサイズを示している。また図8Cのうち破線は、測定点101が存在する主領域102Aを中心とした投票領域109に含まれる単位領域102(副領域)の総数を示している。上述した拡張範囲のサイズが1のとき、即ち、主領域102Aを中心とした、1辺が格子3つ分の長さの立方体を投票領域とするとき、副領域の数は、主領域102Aを中心とした、33個の格子のうち主領域102Aの分の1を除いた26個になる。同様に、上述した拡張範囲のサイズが2のときは53から1を除いた124個となり、拡張範囲のサイズが3のときは73から1を除いた342個となる。
Further, as shown in FIG. 8C, the relationship between the distance between the above-mentioned object and the
次に、重み付けの設定について、図9A〜9Cを用いて説明する。
図9Aは、図6Aのように投票領域109を設定した場合において、主領域102Aと副領域102Bとで重み付けを変えた投票状態を示す。ここでは、測定点101を含む主領域102Aには「4」が、副領域102Bには「1」が投票される。
Next, the weighting setting will be described with reference to FIGS. 9A to 9C.
FIG. 9A shows a voting state in which the weighting is changed between the
図9Bは、図6Bのように投票領域109を設定した場合において重み付けを変えた投票状態を示す。ここでは、主領域102Aには「16」が投票される。また副領域102Cのうち、3次元空間において主領域102Aと面同士が隣接する副領域102Cには「2」が投票され、それ以外の副領域102Cには「1」が投票される。
FIG. 9B shows a voting state in which the weighting is changed when the
各単位領域102に投票される値は、測定点101からの距離が大きい単位領域102ほど重み付けが小さくなるように設定することができる。このような距離と重み付けの関係は、常に厳密なものでなくてもよい。例えば、図9Bでは主領域102Aを基準とした距離によって重み付けをしているため、測定点101からの距離が小さくとも重み付けが小さくなる場合がある。しかしながら、物体存在領域113全体として見たときに、測定点101からの距離と重み付けの関係が大よそ成立していればよい。
The value voted for each
図9Cに示されるように、測定点101から単位領域102までの距離と、投票重みと、の関係は、距離が大きいほど重み付けが小さくなる。ここで、上記距離と投票重みとの関係式は、例えば、線形関数やガウス関数などで示すことができる。
As shown in FIG. 9C, the relationship between the distance from the
以上の方法で、測定点それぞれに基づいて投票領域109に含まれる単位領域102への投票が行われ、その合計値が、物体存在領域113に係るボクセル表現として出力される。ボクセル表現には、物体存在領域113の大きさ、即ち物体存在領域113を構成する単位領域の数や形状などの情報と、単位領域ごとの、全ての測定点に基づく投票値の合計と、の情報が含まれる。このS12の処理が、上述した生成部43による処理である。
By the above method, voting is performed on the
図4の説明に戻る。
S13では、CPU31は、S12にて取得したボクセル表現を用いて、サポートベクターマシン(以下、SVM)の適用を実行する。ここでは、予め学習により作成された、例えば人や車などの所定の識別対象であるか否かを識別する識別器であるSVMモデルが用いられる。
Returning to the description of FIG.
In S13, the
SVMモデル作成は、次のように行う。まず、所定の識別対象と非識別対象に係る複数の学習用クラスタ点群に対してボクセル化を行う。その後、それぞれにて取得されたボクセル表現をベクトル化する。このようにして取得された識別対象と非識別対象の特徴ベクトル群に基づいて、SVMモデルを作成する。 The SVM model is created as follows. First, voxels are formed for a plurality of learning cluster point clouds related to a predetermined identification target and a non-identification target. After that, the voxel representations obtained in each are vectorized. An SVM model is created based on the feature vector group of the identification target and the non-identification target acquired in this way.
識別部44は、上述したボクセル表現をSVMモデルに代入することにより、クラスタ点群に対応する物体が、当該SVMモデルが識別する識別対象であるか否かの判定を行うように構成されている。
The
このS13の処理が、上述した識別部44による識別処理である。このS13の後、本処理が終了する。
[1−3.効果]
以上詳述した第1実施形態によれば、以下の効果が得られる。
The process of S13 is the identification process by the
[1-3. effect]
According to the first embodiment described in detail above, the following effects can be obtained.
(1a)本実施形態のレーダ装置1では、取得された測定点101に基づいて複数の単位領域102に投票がなされる。よって、取得されるボクセル表現に対する、測定誤差やノイズの影響を小さくすることができ、識別器による識別性を高めたロバストな物体の識別を行うことができる。
(1a) In the
なお本実施形態では、光学ユニット11から測定点101までの距離が大きいほど、投票領域109が拡大される。上述した距離が大きくなるほど測定誤差やノイズの影響を受けやすくなる場合には、より高度に物体識別のロバスト性を向上させることができる。
In the present embodiment, the larger the distance from the
(1b)レーダ装置1では、測定点101から単位領域102までの距離が大きいほど、投票の重み付けが小さくなり、投票値が小さくなる。これにより、測定されたデータを重視しつつも、測定点の誤差を吸収し、ロバストな物体識別を行うことができる。
(1b) In the
[1−4.第1実施形態の変形例]
<変形例1:重み付けの不使用>
上記実施形態においては、測定点101から投票領域に含まれる単位領域102への距離に応じて重み付けを行う構成を例示したが、重み付けは行われず、同じ値が投票される構成であってもよい。
[1-4. Modification example of the first embodiment]
<Modification example 1: No weighting>
In the above embodiment, a configuration in which weighting is performed according to the distance from the
<変形例2:反射強度に基づく重み付け投票>
(i)光学ユニット11は、受光部22が取得した反射光の強度(以下、反射強度と記載する)を出力可能に構成されている。このように、物体表面から該測定装置に向かって進む光を取得して該物体の位置を測定すると共に、その取得した光の強度を出力可能に構成されている場合には、投票における重み付けを、反射強度に応じて設定してもよい。
<Modification 2: Weighted voting based on reflection intensity>
(I) The
例えば、生成部43は、投票領域109に含まれる1つ以上の単位領域102に対して、投票領域109への投票に係る測定点101を取得するために光学ユニット11が取得した光の反射強度が大きいほど重み付けが大きくなるように投票を行うように構成することができる。
For example, the
なお、ここでいう反射強度とは、光学ユニット(11)が取得した反射光の強さ(明るさ)を意味する。
具体的には、図10Aに示されるように、主領域102Aと副領域102Cとを含む投票領域109には、測定点101の反射強度に応じたパラメータ「p」が投票されるように構成することができる。
The reflection intensity referred to here means the intensity (brightness) of the reflected light acquired by the optical unit (11).
Specifically, as shown in FIG. 10A, the
また、図10Bに示されるように、反射強度による重み付けと、測定点101から単位領域102までの距離による重み付けと、を組み合わせた重み付けにすることもできる。
(ii)投票情報として、反射強度による重み付けを行わない場合のボクセル表現と、反射強度による重み付けを行う場合のボクセル表現と、を組み合わせた1つの特徴量を生成して、その投票情報に基づいて識別を行うように構成してもよい。
Further, as shown in FIG. 10B, the weighting based on the reflection intensity and the weighting based on the distance from the
(Ii) As voting information, one feature quantity that combines a voxel expression when weighting by reflection intensity and a voxel expression when weighting by reflection intensity is performed is generated, and based on the voting information. It may be configured to perform identification.
この場合において、SVMモデル作成は、次のように行う。まず、所定の識別対象と非識別対象に係る複数の学習用クラスタ点群に対して、反射強度を用いない通常のボクセル化と、反射強度を用いたボクセル化と、を行う。その後、それぞれにて取得されたボクセル表現を、ベクトル化し結合する。このようにして取得された識別対象と非識別対象の特徴ベクトルに基づいて、SVMモデルを作成する。 In this case, the SVM model is created as follows. First, a normal voxelization without using the reflection intensity and a voxelization using the reflection intensity are performed on a plurality of learning cluster point clouds related to a predetermined identification target and a non-identification target. After that, the voxel representations obtained in each are vectorized and combined. An SVM model is created based on the feature vectors of the identification target and the non-identification target obtained in this way.
次に、レーダ制御部12のCPU31が実行する識別処理について、図11のフローチャートを用いて説明する。
まず、S21では、CPU31は、通常のボクセル化を実行する。つまり、図10A、10Bに示されるように重み付け投票を行い、その結果のボクセル表現を取得する。
Next, the identification process executed by the
First, in S21, the
S22では、CPU31は、反射強度を用いたボクセル化を実行する。
S23では、CPU31は、SVMの適用を実行する。ここでは、S21及びS22にて取得したボクセル表現を、上述したSVMモデルを作成するステップと同様の手法にて結合する。その結合した特徴ベクトルを、学習により予め生成されたSVMモデルに代入して、物体が識別対象物であるか否かを出力する。その後、本処理を終了する。
In S22, the
In S23, the
このような構成であれば、物体の識別を行う場合に、測定点の反射強度が考慮されることとなる。よって、より精度の高い識別処理を実行できるようになるとともに、測定点のノイズに強いロバストな識別処理を実行することができる。 With such a configuration, the reflection intensity of the measurement point is taken into consideration when identifying the object. Therefore, it becomes possible to execute the identification process with higher accuracy, and it is possible to execute the robust identification process that is resistant to noise at the measurement point.
なお、反射強度による重み付けを行ってボクセル表現を取得した場合においては、そのボクセル表現のみを用いて物体の識別を実行してもよいし、反射強度による重み付けを行わない場合のボクセル表現も同時に取得して、識別器のスコアが高い方を取得するように構成されていてもよい。 When the voxel expression is acquired by weighting by the reflection intensity, the object may be identified by using only the voxel expression, or the voxel expression when the weighting by the reflection intensity is not performed is also acquired at the same time. Then, it may be configured to acquire the higher score of the discriminator.
<変形例3:反射強度による投票領域の設定>
上記変形例2に示されるように、測定点それぞれに係る反射強度を取得可能である場合には、反射強度に反比例して投票領域109の広さが変化するように構成されていてもよい。例えば、図12Aに示されるように、反射強度と投票領域の関係が実験的に求めた2点の実験値83を用いて線形に変化するように関係付けられていてもよいし、高次多項式によって関係付けられていてもよい。
<Modification 3: Setting of voting area by reflection intensity>
As shown in the second modification, if the reflection intensity related to each measurement point can be obtained, the size of the
この場合は、投票領域109は、該投票領域109への投票に係る測定点の反射強度が小さいほど、投票領域109に含まれる単位領域102の数が多くなる。
またノイズ特性を考慮して、図12Bに示されるように、垂直方向、水平方向、奥行方向ごとに反射強度に応じた投票領域109が個別に変化するように構成されていてもよい。
In this case, the
Further, in consideration of noise characteristics, as shown in FIG. 12B, the
<変形例4:対象の動きに応じた投票領域の設定>
上記実施形態にて説明したように、クラスタ点群111に基づいて設定部42により物体存在領域113が設定される。ここで、投票領域109に含まれる単位領域102の数は、投票領域109への投票に係る測定点101の物体存在領域113における位置に応じて設定されるように構成されていてもよい。
<Modification 4: Setting of voting area according to the movement of the target>
As described in the above embodiment, the
例えば、図13Aに示されるように、識別器の識別対象が人71である場合において、腕部72と脚部73は、動作によって位置の変動が大きくなりやすいため、測定点にばらつきが生じやすい部分であると考えられる。そこで、図13Bに示されるように、物体存在領域113における腕部72及び脚部73に対応する領域に測定点が存在する場合には、投票領域109を広く設定し、また、その他の頭部74、胴部75などの動きが小さい部分については、投票領域109を相対的に狭く設定することが考えられる。
For example, as shown in FIG. 13A, when the identification target of the classifier is the
このように構成することで、動きの大きい部分により生じる測定点のばらつきを吸収してロバストな物体の識別を行うことができる。
<変形例5:検出ラインに対応する2次元の単位領域設定>
図14Aに示されるように、光学ユニット11が取得する測定点101は、層状に並ぶ複数の仮想平面(光学ユニット11の発光仕様によって定義される)と、識別対象物の表面と、の交線上において取得されている。なお以下の説明において、前記交線をラインと呼び、ラインの数と仮想平面の数とは同じである。
With this configuration, it is possible to identify a robust object by absorbing variations in measurement points caused by a portion having a large movement.
<Modification 5: Two-dimensional unit area setting corresponding to the detection line>
As shown in FIG. 14A, the measurement points 101 acquired by the
そこで、取得されたクラスタ点群を、上述した複数の仮想平面ごとに分割し、分割したクラスタ点群ごとに、投票領域に対して投票を行うように構成されていてもよい。
図14Aでは、識別対象物115が6つのラインL1〜L6により構成されている。この6つのラインに対応する仮想平面は6つ存在する。ここで、その6つの仮想平面それぞれに対応するように、複数の単位領域102を組み合わせて構成された6つの物体存在領域121を設定することができる。この物体存在領域121は、2次元平面として扱うことができる。
Therefore, the acquired cluster point cloud may be divided into the plurality of virtual planes described above, and each of the divided cluster point groups may be configured to vote for the voting area.
In FIG. 14A, the
取得される投票情報は、その識別対象物115のライン数分の2次元ボクセル(すなわちピクセル)表現を含む情報である。
図14Bに示されるように、遠方に存在する識別対象物117は、相対的に少ないライン数で測定点101が取得される。その結果、その識別対象物117に対応する物体存在領域121の数が減少する。そこで、物体存在領域121の数に応じて予め準備した識別器を用いることで、より高精度に物体の識別を行うことができる。
The voting information acquired is information including a two-dimensional voxel (that is, pixel) representation corresponding to the number of lines of the
As shown in FIG. 14B, the
このようにボクセル表現を取得することで、ライン数にかかわらず単一の識別器を用いた場合と比較して、物体の識別の精度を高めることができる。
以下に具体的な処理を説明する。レーダ制御部12のCPU31は、図3に示されるフローチャートに沿って処理を実行するが、S3の識別処理の具体的な内容が上記実施形態とは相違するため、その点について説明する。
By acquiring the voxel representation in this way, the accuracy of object identification can be improved as compared with the case where a single classifier is used regardless of the number of lines.
Specific processing will be described below. The
レーダ制御部12のCPU31が実行する識別処理について、図15のフローチャートを用いて説明する。
この処理では、まず、S31〜S33を反復して行う。反復はl回実行される。ここでいうlとは、ライン数であり、言い換えると物体存在領域121の数である。以下の説明におけるiは、その時点での反復回数である。
The identification process executed by the
In this process, first, S31 to S33 are repeated. The iteration is performed l times. Here, l is the number of lines, in other words, the number of
S31では、CPU31は、格子設定を行う。具体的には、i番目の仮想平面において、格子状に分割した単位領域102を組み合わせた物体存在領域121を設定する。
S32では、CPU31は、ライン数がlであるクラスタ点群の中から、i番目のラインに対応する測定点101のデータを抽出して取得する。
In S31, the
In S32, the
S33では、ボクセル値を計算する。ここでは、測定点101に応じた1つ以上の投票領域を対象として投票を行う。投票領域の設定や重み付けなどは、上記実施形態や変形例にて説明した手法を2次元に変更して用いることができる。
In S33, the voxel value is calculated. Here, voting is performed for one or more voting areas according to the
このS31〜S33を、全ての物体存在領域121について実行する。これにより、投票情報として、l層の2次元ボクセル(すなわちピクセル)表現を取得する。その後、処理がS34に移行する。
These S31 to S33 are executed for all the
S34では、CPU31は、予め学習されたSVMモデルの中から、ライン数lのモデルを選定する。
識別器であるSVMモデルは、ライン数ごとに作成される。即ち、ある識別対象物に基づいて生成された学習用のクラスタ点群について、ライン数をiとしたときのクラスタ点群を抽出する。そして、ラインごとにボクセル化を行い、取得された2次元ボクセル(すなわちピクセル)表現を用いてSVMモデルを作成する。この処理を、ライン数iを1〜Lまで繰り返すことにより、ライン数ごとのSVMモデルを作成する。なおLとは、光学ユニット11が取り得る最大のライン数である。もちろん、全てのライン数に対してSVMモデルを作成する必要があるわけではない。
In S34, the
The SVM model, which is a classifier, is created for each number of lines. That is, the cluster point cloud for learning generated based on a certain identification object is extracted when the number of lines is i. Then, voxels are formed for each line, and an SVM model is created using the acquired two-dimensional voxel (that is, pixel) representation. By repeating this process from the number of lines i to 1 to L, an SVM model for each number of lines is created. Note that L is the maximum number of lines that the
S35では、CPU31は、S31〜S33にて取得したボクセル表現を、SVMモデルに適用して、当該モデルの識別する対象物であるか否かを判定する。その後、本処理を終了する。
In S35, the
なお上述した例では、ラインを水平方向に分割し、ライン毎にボクセル表現を取得する構成を例示したが、分割する方向は水平方向に限られない。例えば、垂直方向に分割してもよい。 In the above-mentioned example, a configuration in which a line is divided in the horizontal direction and a voxel expression is acquired for each line is illustrated, but the dividing direction is not limited to the horizontal direction. For example, it may be divided in the vertical direction.
[2.第2実施形態]
[2−1.第1実施形態との相違点]
第2実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
[2. Second Embodiment]
[2-1. Differences from the first embodiment]
Since the basic configuration of the second embodiment is the same as that of the first embodiment, the differences will be described below. The same reference numerals as those in the first embodiment indicate the same configurations, and the preceding description will be referred to.
前述した第1実施形態では、投票領域109の広さを変更する構成を例示した。これに対し、第2実施形態では、単位領域の大きさを変更可能に構成されている点で、第1実施形態と相違する。
In the first embodiment described above, a configuration for changing the size of the
[2−2.処理]
本実施形態では、生成部43は、単位領域102の大きさを、光学ユニット11から投票に係る測定点101までの距離に応じて設定するように構成されている。より具体的には、単位領域102の大きさは、上述した距離が大きいほど、大きくなるように設定される。
[2-2. process]
In the present embodiment, the
例えば図16Aに示されるように、上述した距離と、格子サイズ、即ち単位領域の大きさと、の関係式を、線形の1次式又は2次式以上の高次多項式にて設定することができる。またこれらの関係式は、実験的に求めた複数の実験値85から算出することが考えられる。なおこれらの関係式は、方向ごとに関係を変化させてもよい。例えば図16Bに示されるように、物体存在領域の水平方向、垂直方向、奥行方向のそれぞれについて異なる関係式が設定されていてもよい。
For example, as shown in FIG. 16A, the relational expression between the above-mentioned distance and the lattice size, that is, the size of the unit region can be set by a linear linear expression or a higher-order polynomial of a second order or higher. .. Further, these relational expressions may be calculated from a plurality of
[2−3.効果]
以上詳述した第2実施形態によれば、以下の効果が得られる。
(2a)本実施形態のレーダ装置1では、光学ユニット11から測定点101までの距離が大きいほど単位領域の大きさが大きくなる。よって、測定点101までの距離が大きくノイズが大きくなりやすい場合にノイズの影響を小さくすることができ、識別器による識別性を高めたロバストな物体識別を行うことができる。
[2-3. effect]
According to the second embodiment described in detail above, the following effects can be obtained.
(2a) In the
[2−4.第2実施形態の変形例]
本実施形態においても、第1実施形態の変形例5にて説明したように、図14に示されるように、複数のラインに対応する、層状に並ぶ複数の仮想平面上において測定点が取得される場合には、2次元的な単位領域102を含む2次元的な物体存在領域121をライン数分集めたものを、投票情報として取得するように構成されていてもよい。そして、単位領域の大きさを、光学ユニット11から測定点101までの距離に応じて変化させるように構成することができる。
[2-4. Modification example of the second embodiment]
Also in this embodiment, as described in the modified example 5 of the first embodiment, as shown in FIG. 14, measurement points are acquired on a plurality of layered virtual planes corresponding to a plurality of lines. In this case, the two-dimensional
[3.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
[3. Other embodiments]
Although the embodiments of the present disclosure have been described above, the present disclosure is not limited to the above-described embodiments, and can be implemented in various modifications.
(3a)上記実施形態では、光学ユニット11の一例としてLIDARを例示した。しかしながら、物体の存在する位置を示す測定点を取得可能であれば、LIDAR以外の装置を用いてもよい。例えば、ステレオカメラのようにパッシブセンサを用いてもよい。
(3a) In the above embodiment, LIDAR is illustrated as an example of the
(3b)上記第1実施形態では、単位領域102として格子状の空間を例示したが、格子状以外の形状であってもよい。例えば、物体存在領域113を一方から見たときの単位領域の断面が六角形となる、ハニカム形状であってもよい。
(3b) In the first embodiment, the grid-like space is illustrated as the
また第2実施形態では単位領域102が矩形である構成を例示したが、この場合も、他の形状であってもよい。
(3c)上記第1実施形態では、投票領域109は、光学ユニット11から測定点101までの距離などによって変化する構成を例示したが、該投票領域109への投票に係る測定点を基準として、一定の基準で設定されるように構成されていてもよい。その場合、少なくとも2つの単位領域を含むように構成することができる。例えば、上記距離や反射強度に影響されずに、常に、図6Aに示されるように、主領域102Aに隣接する副領域102Bに投票を行うように構成されていてもよい。
Further, in the second embodiment, the configuration in which the
(3c) In the first embodiment, the
(3d)上記実施形態では、投票情報とは、ボクセル表現で示される特徴量である構成を例示したが、少なくとも投票数又は投票値を有する情報であれば、上記実施形態にて示した以外の特徴量であってもよい。また、取得された投票数や投票値に対して、何らかの変換処理が行われた値であってもよい。 (3d) In the above embodiment, the voting information exemplifies a configuration which is a feature amount represented by a voxel expression, but if the information has at least the number of votes or the voting value, other than those shown in the above embodiment. It may be a feature quantity. Further, it may be a value obtained by performing some conversion processing on the acquired number of votes or the vote value.
また上記実施形態では、識別部44は、ボクセル表現を特徴量として識別器であるSVMモデルに代入することにより、クラスタ点群に対応する物体の識別を行う構成を例示した。しかしながら、上述した投票情報に基づいて物体の識別を行うことができれば、その具体的な処理内容は特に限定されず、用いる特徴量に応じた様々な処理によって識別を実行することができる。
Further, in the above embodiment, the
(3e)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。 (3e) A plurality of functions possessed by one component in the above embodiment may be realized by a plurality of components, or one function possessed by one component may be realized by a plurality of components. .. Further, a plurality of functions possessed by the plurality of components may be realized by one component, or one function realized by the plurality of components may be realized by one component. Further, a part of the configuration of the above embodiment may be omitted. In addition, at least a part of the configuration of the above embodiment may be added or replaced with the configuration of the other above embodiment. It should be noted that all aspects included in the technical idea specified from the wording described in the claims are embodiments of the present disclosure.
(3f)上述したレーダ制御部12の他、当該レーダ制御部12を構成要素とするシステムであるレーダ装置1、当該レーダ制御部12としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体など、種々の形態で本開示を実現することもできる。
(3f) In addition to the
1…レーダ装置、3…車両、11…光学ユニット、12…レーダ制御部、21…発光部、22…受光部、31…CPU、32…メモリ、41…取得部、42…設定部、43…生成部、44…識別部、71…人、72…腕部、73…脚部、74…頭部、75…胴部、101…測定点、102…単位領域、102A…主領域、102B,102C,102D…副領域、104…球体、109…投票領域、111…クラスタ点群、113,121…物体存在領域、115、117…識別対象物 1 ... Radar device, 3 ... Vehicle, 11 ... Optical unit, 12 ... Radar control unit, 21 ... Light emitting unit, 22 ... Light receiving unit, 31 ... CPU, 32 ... Memory, 41 ... Acquisition unit, 42 ... Setting unit, 43 ... Generation unit, 44 ... Identification unit, 71 ... Person, 72 ... Arm, 73 ... Leg, 74 ... Head, 75 ... Torso, 101 ... Measurement point, 102 ... Unit area, 102A ... Main area, 102B, 102C , 102D ... sub-region, 104 ... sphere, 109 ... voting area, 111 ... cluster point group, 113, 121 ... object existence region, 115, 117 ... identification object
Claims (9)
前記1つ以上の測定点が存在する領域を構成する複数の単位領域に対して、前記取得部により取得された前記1つ以上の測定点それぞれに基づく投票を行い、少なくとも前記複数の単位領域それぞれへの投票値を含む情報である投票情報を生成するように構成された生成部(43)と、を備え、
前記生成部は、前記1つ以上の測定点それぞれに設定される1つ又は複数の前記単位領域を含む投票領域に対して投票を行うように構成されており、
前記投票領域は、前記測定装置から該投票領域への投票に係る前記測定点までの距離が大きいほど、前記投票領域に含まれる前記単位領域の数が多くなる、情報処理装置(12)。 An acquisition unit (41) configured to acquire the one or more measurement points from a measurement device (11) which is a laser radar that detects one or more measurement points indicating the position where an object exists.
Voting based on each of the one or more measurement points acquired by the acquisition unit is performed on the plurality of unit areas constituting the region in which the one or more measurement points exist, and at least each of the plurality of unit areas. A generation unit (43) configured to generate voting information, which is information including a voting value for
The generation unit is configured to vote for a voting area including one or a plurality of the unit areas set for each of the one or more measurement points .
The information processing device (12) in which the number of unit areas included in the voting area increases as the distance from the measuring device to the measuring point related to voting in the voting area increases.
前記1つ以上の測定点が存在する領域を構成する複数の単位領域に対して、前記取得部により取得された前記1つ以上の測定点それぞれに基づく投票を行い、少なくとも前記複数の単位領域それぞれへの投票値を含む情報である投票情報を生成するように構成された生成部(43)と、を備え、
前記生成部は、前記1つ以上の測定点それぞれに設定される1つ又は複数の前記単位領域を含む投票領域に対して投票を行うように構成されており、
さらに、前記測定装置により測定された前記1つ以上の測定点に基づいて、前記1つ以上の測定点が含まれる領域である物体存在領域を設定するように構成された設定部(42)を有しており、
前記単位領域は、前記物体存在領域を構成するものであり、
前記投票領域に含まれる前記単位領域の数は、前記投票領域への投票に係る前記測定点の前記物体存在領域における位置に応じて設定される、情報処理装置(12)。 An acquisition unit (41) configured to acquire the one or more measurement points from a measurement device (11) which is a laser radar that detects one or more measurement points indicating the position where an object exists.
Voting based on each of the one or more measurement points acquired by the acquisition unit is performed on the plurality of unit areas constituting the region in which the one or more measurement points exist, and at least each of the plurality of unit areas. A generation unit (43) configured to generate voting information, which is information including a voting value for
The generation unit is configured to vote for a voting area including one or a plurality of the unit areas set for each of the one or more measurement points .
Further, a setting unit (42) configured to set an object existence region, which is a region including the one or more measurement points, based on the one or more measurement points measured by the measuring device. Have and
The unit area constitutes the object existence area, and is
The information processing device (12) sets the number of the unit areas included in the voting area according to the position of the measurement point related to voting in the voting area in the object existence area.
前記測定装置は、物体表面から該測定装置に向かって進む光を取得して該物体の位置を測定すると共に、取得した前記光の強度を出力可能に構成されており、
前記投票領域は、該投票領域への投票に係る前記測定点を取得するために前記測定装置が取得した前記光の強度が小さいほど、前記投票領域に含まれる前記単位領域の数が多くなる、情報処理装置。 The information processing device according to claim 1 or 2.
The measuring device is configured to acquire light traveling from the surface of an object toward the measuring device, measure the position of the object, and output the intensity of the acquired light.
In the voting area, the smaller the intensity of the light acquired by the measuring device for acquiring the measurement point related to voting in the voting area, the larger the number of the unit areas included in the voting area. Information processing device.
前記生成部は、前記投票領域に含まれる1つ以上の前記単位領域に対して、前記投票領域への投票に係る前記測定点からの距離が大きい前記単位領域ほど重み付けが小さくなるように投票を行うように構成されている、情報処理装置。 The information processing device according to any one of claims 1 to 3.
The generation unit votes for one or more of the unit areas included in the voting area so that the unit area having a larger distance from the measurement point related to voting in the voting area has a smaller weight. An information processing device that is configured to do so.
前記測定装置は、物体表面から該測定装置に向かって進む光を取得して該物体の位置を測定すると共に、取得した前記光の強度を出力可能に構成されており、
前記生成部は、前記投票領域に含まれる1つ以上の前記単位領域に対して、前記投票領域への投票に係る前記測定点を取得するために前記測定装置が取得した前記光の強度が大きいほど重み付けが大きくなるように投票を行うように構成されている、情報処理装置。 The information processing device according to any one of claims 1 to 4.
The measuring device is configured to acquire light traveling from the surface of an object toward the measuring device, measure the position of the object, and output the intensity of the acquired light.
The generation unit has a high intensity of light acquired by the measuring device in order to acquire the measurement point related to voting in the voting area with respect to one or more unit areas included in the voting area. An information processing device that is configured to vote so that the weight increases.
前記生成部は、前記単位領域の大きさを変更可能に構成されている、情報処理装置(12)。 The information processing apparatus according to any one of claims 1 to 5.
The information processing device (12) is configured such that the generation unit can change the size of the unit area.
前記生成部は、前記単位領域の大きさを、前記測定装置から前記投票に係る前記測定点までの距離に応じて設定するように構成されている、情報処理装置。 The information processing device according to claim 6.
The information processing device is configured such that the generation unit sets the size of the unit area according to the distance from the measuring device to the measuring point related to the voting.
前記測定点は、層状に並ぶ複数の仮想平面に並ぶように、前記測定装置により取得され、
前記単位領域は、前記仮想平面に対応して設定される領域である、情報処理装置。 The information processing device according to any one of claims 1 to 7.
The measurement points are acquired by the measuring device so as to be arranged in a plurality of virtual planes arranged in layers.
The unit area is an information processing device that is an area set corresponding to the virtual plane.
前記生成部により生成された投票情報に基づいて、物体の種別を識別する識別部(44)を備える、情報処理装置。 The information processing apparatus according to any one of claims 1 to 8.
An information processing device including an identification unit (44) that identifies a type of an object based on voting information generated by the generation unit.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017024953A JP6918509B2 (en) | 2017-02-14 | 2017-02-14 | Information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017024953A JP6918509B2 (en) | 2017-02-14 | 2017-02-14 | Information processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018132873A JP2018132873A (en) | 2018-08-23 |
JP6918509B2 true JP6918509B2 (en) | 2021-08-11 |
Family
ID=63248456
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017024953A Active JP6918509B2 (en) | 2017-02-14 | 2017-02-14 | Information processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6918509B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7363574B2 (en) * | 2020-02-27 | 2023-10-18 | 株式会社デンソー | object detection device |
JP7363575B2 (en) | 2020-02-27 | 2023-10-18 | 株式会社デンソー | object detection device |
WO2022230263A1 (en) * | 2021-04-26 | 2022-11-03 | ソニーグループ株式会社 | Image processing device and method |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3669205B2 (en) * | 1999-05-17 | 2005-07-06 | 日産自動車株式会社 | Obstacle recognition device |
JP4265977B2 (en) * | 2004-01-29 | 2009-05-20 | 三菱電機株式会社 | Person detection method and person tracking method using the same |
-
2017
- 2017-02-14 JP JP2017024953A patent/JP6918509B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018132873A (en) | 2018-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107680124B (en) | System and method for improving three-dimensional attitude score and eliminating three-dimensional image data noise | |
JP5912191B2 (en) | System and method for optimizing a tracking system | |
JP6918509B2 (en) | Information processing device | |
CN105590339A (en) | Collision detection method and system for three-dimensional model | |
US20110202318A1 (en) | Interference determination device, interference determination method, and computer program product | |
CN113111513A (en) | Sensor configuration scheme determination method and device, computer equipment and storage medium | |
TW201729960A (en) | Stochastic map generation and bayesian update based on stereo vision | |
US20160267352A1 (en) | System and method for constructing a statistical shape model | |
KR102132077B1 (en) | Facility data fault diagnosis system and method of the same | |
US10115224B2 (en) | Method and apparatus generating acceleration structure | |
CN111582310B (en) | Decoding method and device of implicit structured light | |
JP2019133545A (en) | Feature expression device, recognition system including the same, and feature expression program | |
Takashima et al. | Recognition of free-form features for finite element meshing using deep learning | |
JPWO2020121739A1 (en) | Image matching method and arithmetic system for executing image matching processing | |
CN116843860A (en) | Laser radar point cloud and image dense matching point cloud fusion modeling method and device | |
US20190377931A1 (en) | Measurement system and measurement method | |
US10510177B2 (en) | Data processing device | |
KR101235506B1 (en) | Method and apparatus for agglomerative hierarchical clustering using initial clustering | |
JP7182528B2 (en) | Method and apparatus for processing image data for machine vision | |
Dong et al. | Persistence b-spline grids: Stable vector representation of persistence diagrams based on data fitting | |
CN112734899B (en) | Modeling method and device for local self-shading shadow on object surface | |
Paulano et al. | A comparative study of implemented collision detection strategies | |
WO2016132490A1 (en) | Drawing preparation system and drawing preparation method | |
JP2023524694A (en) | Method and Apparatus for Comparing Physical Object Simulations and Physical Object Measurement Data; and Method and Apparatus for Generating Finite Element Representations of Physical Object Measurement Data | |
JP2003271687A (en) | Device and method for detecting interference model and memory medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200423 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200519 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200720 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210331 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210331 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210407 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210407 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210601 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210721 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6918509 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |