JP7034530B2 - 情報処理方法、デバイス、および端末 - Google Patents
情報処理方法、デバイス、および端末 Download PDFInfo
- Publication number
- JP7034530B2 JP7034530B2 JP2017565896A JP2017565896A JP7034530B2 JP 7034530 B2 JP7034530 B2 JP 7034530B2 JP 2017565896 A JP2017565896 A JP 2017565896A JP 2017565896 A JP2017565896 A JP 2017565896A JP 7034530 B2 JP7034530 B2 JP 7034530B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- ground
- road traffic
- traffic sign
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 12
- 230000010365 information processing Effects 0.000 title description 2
- 230000011218 segmentation Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 43
- 238000001514 detection method Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 32
- 230000000877 morphologic effect Effects 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/18—Stabilised platforms, e.g. by gyroscope
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
- G01C21/3819—Road shape data, e.g. outline of a route
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3833—Creation or updating of map data characterised by the source of data
- G01C21/3848—Data obtained from both position sensors and additional sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3863—Structures of map data
- G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20068—Projection on vertical or horizontal image axis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Optics & Photonics (AREA)
- Electromagnetism (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
- Instructional Devices (AREA)
Description
道路データを収集するステップであって、道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む、ステップと、
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するステップと、
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップであって、道路交通標識は、車線境界線および/または道路標識を含む、ステップと、
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップとを含み得る。
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するステップと、
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するステップと、
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するステップとを含む。
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するステップと、
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するステップと、
地面正射投影画像から少なくとも1つの道路交通標識を抽出するステップとを含む。
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するステップと、
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすステップと、
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するステップと、
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるステップとを含む。
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するステップであって、形態学的データは、位置データおよび姿勢データを含む、ステップと、
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するステップとを含む。
道路データを収集するように構成された収集ユニットであって、道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む、収集ユニットと、
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、道路交通標識は、車線境界線および/または道路標識を含む、検出ユニットと、
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットとを含み得る。
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するように構成された登録ユニットと、
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行するように構成された領域セグメント化ユニットと、
地面領域画像を抽出するように構成された画像抽出ユニットとを含む。
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニットと、
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニットと、
地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニットとを含む。
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するように構成された第1の抽出ユニットと、
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすように構成された反応処理ユニットと、
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるように構成された組合せ処理ユニットとを含む。
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニットであって、形態学的データは、位置データおよび姿勢データを含む、形態学的データ取得ユニットと、
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するように構成された座標発見ユニットとを含む。
道路データを収集するように構成された収集ユニット101。道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを含む。
2次元街路風景画像における領域セグメント化を実行し、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、地面領域画像を抽出するように構成されたセグメント化処理ユニット102。
地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニット103。道路交通標識は、車線境界線および/または道路標識を含む。
2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータの空間位置関係に基づいて、少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニット104。
慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニット1001。
慣性ナビゲーションの座標系に基づいて、3次元ポイントクラウドと2次元街路風景画像とを3次元空間に登録するように構成された登録ユニット1002。
登録された3次元ポイントクラウドによって、2次元街路風景画像における領域セグメント化を実行するように構成された領域セグメント化ユニット1003。
地面領域画像を抽出するように構成された画像抽出ユニット1004。
バイナリ地面領域画像を取得するために、地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニット2001。
地面正射投影画像を生成するために、バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニット2002。
地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニット2003。
地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、画像認識方法を使用することによって、干渉画像を抽出するように構成された第1の抽出ユニット2331。
干渉画像を、地面正射投影画像において反応するためのバイナリマスクとして見なすように構成された反応処理ユニット2332。
画像認識方法を使用することによって、反応された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニット2333。
少なくとも1つのターゲット道路交通標識を取得するために抽出された第1の道路交通標識と第2の道路交通標識とを組み合わせるように構成された組合せ処理ユニット2334。
慣性ナビゲーションの座標系における地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニット3001。形態学的データは、位置データおよび姿勢データを含む。
形態学的データに従って、少なくとも1つのターゲット道路交通標識の3次元座標を発見するように構成された座標発見ユニット3002。
102 セグメント化処理ユニット
103 検出ユニット
104 計算ユニット
1001 確立ユニット
1002 登録ユニット
1003 領域セグメント化ユニット
1004 画像抽出ユニット
2001 バイナリ処理ユニット
2002 変換ユニット
2003 標識抽出ユニット
2331 第1の抽出ユニット
2332 反応処理ユニット
2333 第2の抽出ユニット
2334 組合せ処理ユニット
3001 形態学的データ取得ユニット
3002 座標発見ユニット
Claims (12)
- 道路データを収集するステップであって、前記道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを備える、ステップと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、前記2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するステップと、
前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出するステップであって、前記少なくとも1つのターゲット道路交通標識は、車線境界線および/または道路標識を備える、ステップと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算するステップと
を含み、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、前記2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出する前記ステップは、
前記慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するステップと、
前記慣性ナビゲーションの前記座標系を位置基準として見なして、前記3次元ポイントクラウドと前記2次元街路風景画像とを前記3次元空間にレジストレーションするステップと、
前記レジストレーションされた3次元ポイントクラウドによって、前記2次元街路風景画像における前記領域セグメント化を実行し、前記地面領域画像を抽出するステップと
を含む、データ処理方法。 - 前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出する前記ステップは、
バイナリ地面領域画像を取得するために、前記地面領域画像に対してバイナリ処理を実行するステップと、
地面正射投影画像を生成するために、前記バイナリ地面領域画像への正射投影変換を実行するステップと、
前記地面正射投影画像から少なくとも1つの道路交通標識を抽出するステップと
を含む、請求項1に記載の方法。 - 前記地面正射投影画像から少なくとも1つの道路交通標識を抽出する前記ステップは、
画像認識方法を使用することによって、前記地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、干渉画像を抽出するステップと、
前記干渉画像を、バイナリマスクとして前記地面正射投影画像において反作用させるステップと、
前記画像認識方法を使用することによって、前記反作用された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するステップと、
抽出された前記第1の道路交通標識と前記第2の道路交通標識とを組み合わせて、前記少なくとも1つのターゲット道路交通標識を取得するステップと
を含む、請求項2に記載の方法。 - 前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算する前記ステップは、
慣性ナビゲーションの座標系における前記地面正射投影画像の形態学的データを取得するステップであって、前記形態学的データは、位置データおよび姿勢データを備える、ステップと、
前記形態学的データに従って、前記少なくとも1つのターゲット道路交通標識の前記3次元座標を発見するステップと
を含む、請求項2に記載の方法。 - 道路データを収集するように構成された収集ユニットであって、前記道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを備える、収集ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、前記2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、前記少なくとも1つのターゲット道路交通標識は、車線境界線および/または道路標識を備える、検出ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットと
を備え、
前記セグメント化処理ユニットは、
前記慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
前記慣性ナビゲーションの前記座標系を位置基準として見なして、前記3次元ポイントクラウドと前記2次元街路風景画像とを前記3次元空間にレジストレーションするように構成されたレジストレーションユニットと、
前記レジストレーションされた3次元ポイントクラウドによって、前記2次元街路風景画像における前記領域セグメント化を実行するように構成された領域セグメント化ユニットと、
前記地面領域画像を抽出するように構成された画像抽出ユニットと
を備える、データ処理装置。 - 前記検出ユニットは、
バイナリ地面領域画像を取得するために、前記地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニットと、
地面正射投影画像を生成するために、前記バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニットと、
前記地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニットと
を備える、請求項5に記載のデータ処理装置。 - 前記標識抽出ユニットは、
画像認識方法を使用することによって、前記地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、干渉画像を抽出するように構成された第1の抽出ユニットと、
前記干渉画像を、バイナリマスクとして前記地面正射投影画像において反作用させるように構成された反作用処理ユニットと、
前記画像認識方法を使用することによって、前記反作用された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
前記抽出された前記第1の道路交通標識と前記第2の道路交通標識とを組み合わせて、少なくとも1つのターゲット道路交通標識を取得するように構成された組合せ処理ユニットと
を備える、請求項6に記載のデータ処理装置。 - 前記計算ユニットは、
慣性ナビゲーションの座標系における前記地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニットであって、前記形態学的データは、位置データおよび姿勢データを備える、形態学的データ取得ユニットと、
前記形態学的データに従って、前記少なくとも1つのターゲット道路交通標識の前記3次元座標を発見するように構成された座標発見ユニットと
を備える、請求項6に記載のデータ処理装置。 - データ処理装置を備えた端末であって、前記データ処理装置は、
道路データを収集するように構成された収集ユニットであって、前記道路データは、2次元街路風景画像、3次元ポイントクラウド、および慣性ナビゲーションデータを備える、収集ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの空間位置関係に基づいて、前記2次元街路風景画像における領域セグメント化を実行し、地面領域画像を抽出するように構成されたセグメント化処理ユニットと、
前記地面領域画像における少なくとも1つのターゲット道路交通標識を検出するように構成された検出ユニットであって、前記少なくとも1つのターゲット道路交通標識は、車線境界線および/または道路標識を備える、検出ユニットと、
前記2次元街路風景画像、前記3次元ポイントクラウド、および前記慣性ナビゲーションデータの前記空間位置関係に基づいて、前記少なくとも1つのターゲット道路交通標識の3次元座標を計算するように構成された計算ユニットと
を備え、
前記セグメント化処理ユニットは、
前記慣性ナビゲーションデータに従って、3次元空間の慣性ナビゲーションの座標系を確立するように構成された確立ユニットと、
前記慣性ナビゲーションの前記座標系を位置基準として見なして、前記3次元ポイントクラウドと前記2次元街路風景画像とを前記3次元空間にレジストレーションするように構成されたレジストレーションユニットと、
前記レジストレーションされた3次元ポイントクラウドによって、前記2次元街路風景画像における前記領域セグメント化を実行するように構成された領域セグメント化ユニットと、
前記地面領域画像を抽出するように構成された画像抽出ユニットと
を備える、端末。 - 前記検出ユニットは、
バイナリ地面領域画像を取得するために、前記地面領域画像に対してバイナリ処理を実行するように構成されたバイナリ処理ユニットと、
地面正射投影画像を生成するために、前記バイナリ地面領域画像への正射投影変換を実行するように構成された変換ユニットと、
前記地面正射投影画像から少なくとも1つの道路交通標識を抽出するように構成された標識抽出ユニットと
を備える、請求項9に記載の端末。 - 前記標識抽出ユニットは、
画像認識方法を使用することによって、前記地面正射投影画像から少なくとも1つの第1の道路交通標識を抽出し、干渉画像を抽出するように構成された第1の抽出ユニットと、
前記干渉画像を、バイナリマスクとして前記地面正射投影画像において反作用させるように構成された反作用処理ユニットと、
前記画像認識方法を使用することによって、前記反作用された地面正射投影画像から少なくとも1つの第2の道路交通標識を抽出するように構成された第2の抽出ユニットと、
抽出された前記第1の道路交通標識と前記第2の道路交通標識とを組み合わせて、少なくとも1つのターゲット道路交通標識を取得するように構成された組合せ処理ユニットと
を備える、請求項10に記載の端末。 - 前記計算ユニットは、
慣性ナビゲーションの座標系における前記地面正射投影画像の形態学的データを取得するように構成された形態学的データ取得ユニットであって、前記形態学的データは、位置データおよび姿勢データを備える、形態学的データ取得ユニットと、
前記形態学的データに従って、前記少なくとも1つのターゲット道路交通標識の前記3次元座標を発見するように構成された座標発見ユニットと
を備える、請求項10に記載の端末。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610031452.5A CN105719284B (zh) | 2016-01-18 | 2016-01-18 | 一种数据处理方法、装置及终端 |
CN201610031452.5 | 2016-01-18 | ||
PCT/CN2016/112671 WO2017124901A1 (zh) | 2016-01-18 | 2016-12-28 | 一种数据处理方法、装置及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018523865A JP2018523865A (ja) | 2018-08-23 |
JP7034530B2 true JP7034530B2 (ja) | 2022-03-14 |
Family
ID=56147331
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017565896A Active JP7034530B2 (ja) | 2016-01-18 | 2016-12-28 | 情報処理方法、デバイス、および端末 |
Country Status (7)
Country | Link |
---|---|
US (2) | US10712747B2 (ja) |
EP (1) | EP3407294B1 (ja) |
JP (1) | JP7034530B2 (ja) |
KR (1) | KR102003152B1 (ja) |
CN (1) | CN105719284B (ja) |
MY (1) | MY188758A (ja) |
WO (1) | WO2017124901A1 (ja) |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105719284B (zh) * | 2016-01-18 | 2018-11-06 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及终端 |
US10683034B2 (en) | 2017-06-06 | 2020-06-16 | Ford Global Technologies, Llc | Vehicle remote parking systems and methods |
US10585430B2 (en) | 2017-06-16 | 2020-03-10 | Ford Global Technologies, Llc | Remote park-assist authentication for vehicles |
US10775781B2 (en) | 2017-06-16 | 2020-09-15 | Ford Global Technologies, Llc | Interface verification for vehicle remote park-assist |
EP3642683B1 (en) * | 2017-06-22 | 2022-12-14 | Agjunction LLC | 3-d image system for vehicle control |
US10580304B2 (en) | 2017-10-02 | 2020-03-03 | Ford Global Technologies, Llc | Accelerometer-based external sound monitoring for voice controlled autonomous parking |
US10627811B2 (en) | 2017-11-07 | 2020-04-21 | Ford Global Technologies, Llc | Audio alerts for remote park-assist tethering |
US10578676B2 (en) | 2017-11-28 | 2020-03-03 | Ford Global Technologies, Llc | Vehicle monitoring of mobile device state-of-charge |
CN107944425A (zh) * | 2017-12-12 | 2018-04-20 | 北京小米移动软件有限公司 | 道路标志的识别方法和装置 |
US11148661B2 (en) | 2018-01-02 | 2021-10-19 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
US10974717B2 (en) | 2018-01-02 | 2021-04-13 | Ford Global Technologies, I.LC | Mobile device tethering for a remote parking assist system of a vehicle |
US10583830B2 (en) | 2018-01-02 | 2020-03-10 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
US10585431B2 (en) | 2018-01-02 | 2020-03-10 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
US10737690B2 (en) | 2018-01-02 | 2020-08-11 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
US10814864B2 (en) | 2018-01-02 | 2020-10-27 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
US10688918B2 (en) | 2018-01-02 | 2020-06-23 | Ford Global Technologies, Llc | Mobile device tethering for a remote parking assist system of a vehicle |
US10684773B2 (en) | 2018-01-03 | 2020-06-16 | Ford Global Technologies, Llc | Mobile device interface for trailer backup-assist |
US10747218B2 (en) | 2018-01-12 | 2020-08-18 | Ford Global Technologies, Llc | Mobile device tethering for remote parking assist |
US10917748B2 (en) | 2018-01-25 | 2021-02-09 | Ford Global Technologies, Llc | Mobile device tethering for vehicle systems based on variable time-of-flight and dead reckoning |
US10684627B2 (en) | 2018-02-06 | 2020-06-16 | Ford Global Technologies, Llc | Accelerometer-based external sound monitoring for position aware autonomous parking |
US11188070B2 (en) | 2018-02-19 | 2021-11-30 | Ford Global Technologies, Llc | Mitigating key fob unavailability for remote parking assist systems |
US10507868B2 (en) | 2018-02-22 | 2019-12-17 | Ford Global Technologies, Llc | Tire pressure monitoring for vehicle park-assist |
CN110316106B (zh) * | 2018-03-30 | 2021-09-03 | 比亚迪股份有限公司 | 车辆及其显示终端***和通过其建立立体地形数据库的方法 |
US10732622B2 (en) | 2018-04-05 | 2020-08-04 | Ford Global Technologies, Llc | Advanced user interaction features for remote park assist |
US10683004B2 (en) | 2018-04-09 | 2020-06-16 | Ford Global Technologies, Llc | Input signal management for vehicle park-assist |
US10759417B2 (en) | 2018-04-09 | 2020-09-01 | Ford Global Technologies, Llc | Input signal management for vehicle park-assist |
US10493981B2 (en) | 2018-04-09 | 2019-12-03 | Ford Global Technologies, Llc | Input signal management for vehicle park-assist |
US10793144B2 (en) | 2018-04-09 | 2020-10-06 | Ford Global Technologies, Llc | Vehicle remote park-assist communication counters |
CN109099901B (zh) * | 2018-06-26 | 2021-09-24 | 中科微易(苏州)智能科技有限公司 | 基于多源数据融合的全自动压路机定位方法 |
CN109271861B (zh) * | 2018-08-15 | 2021-08-17 | 武汉中海庭数据技术有限公司 | 多尺度融合的点云交通标识牌自动提取方法 |
KR102146451B1 (ko) * | 2018-08-17 | 2020-08-20 | 에스케이텔레콤 주식회사 | 좌표계 변환 정보 획득 장치 및 방법 |
US10384605B1 (en) | 2018-09-04 | 2019-08-20 | Ford Global Technologies, Llc | Methods and apparatus to facilitate pedestrian detection during remote-controlled maneuvers |
CN110148196B (zh) * | 2018-09-12 | 2022-03-25 | 腾讯大地通途(北京)科技有限公司 | 一种图像处理方法、装置以及相关设备 |
US10717432B2 (en) | 2018-09-13 | 2020-07-21 | Ford Global Technologies, Llc | Park-assist based on vehicle door open positions |
US10821972B2 (en) | 2018-09-13 | 2020-11-03 | Ford Global Technologies, Llc | Vehicle remote parking assist systems and methods |
US10529233B1 (en) | 2018-09-24 | 2020-01-07 | Ford Global Technologies Llc | Vehicle and method for detecting a parking space via a drone |
US10967851B2 (en) | 2018-09-24 | 2021-04-06 | Ford Global Technologies, Llc | Vehicle system and method for setting variable virtual boundary |
CN110969592B (zh) * | 2018-09-29 | 2024-03-29 | 北京嘀嘀无限科技发展有限公司 | 图像融合方法、自动驾驶控制方法、装置和设备 |
US10908603B2 (en) | 2018-10-08 | 2021-02-02 | Ford Global Technologies, Llc | Methods and apparatus to facilitate remote-controlled maneuvers |
US10628687B1 (en) | 2018-10-12 | 2020-04-21 | Ford Global Technologies, Llc | Parking spot identification for vehicle park-assist |
US11097723B2 (en) | 2018-10-17 | 2021-08-24 | Ford Global Technologies, Llc | User interfaces for vehicle remote park assist |
US11137754B2 (en) | 2018-10-24 | 2021-10-05 | Ford Global Technologies, Llc | Intermittent delay mitigation for remote vehicle operation |
US10976747B2 (en) * | 2018-10-29 | 2021-04-13 | Here Global B.V. | Method and apparatus for generating a representation of an environment |
JP7138718B2 (ja) * | 2018-10-30 | 2022-09-16 | 三菱電機株式会社 | 地物検出装置、地物検出方法および地物検出プログラム |
WO2020102944A1 (zh) * | 2018-11-19 | 2020-05-28 | 深圳市大疆创新科技有限公司 | 点云处理方法、设备及存储介质 |
CN110163064B (zh) * | 2018-11-30 | 2022-04-05 | 腾讯科技(深圳)有限公司 | 一种道路标志物的识别方法、装置及存储介质 |
EP3895135A4 (en) * | 2018-12-13 | 2022-08-24 | Continental Automotive GmbH | METHOD OF RECOGNIZING AND MODELING AN OBJECT ON A ROAD SURFACE |
CN109901139B (zh) * | 2018-12-28 | 2023-07-04 | 文远知行有限公司 | 激光雷达标定方法、装置、设备和存储介质 |
US11789442B2 (en) | 2019-02-07 | 2023-10-17 | Ford Global Technologies, Llc | Anomalous input detection |
US11195344B2 (en) | 2019-03-15 | 2021-12-07 | Ford Global Technologies, Llc | High phone BLE or CPU burden detection and notification |
US11275368B2 (en) | 2019-04-01 | 2022-03-15 | Ford Global Technologies, Llc | Key fobs for vehicle remote park-assist |
US11169517B2 (en) | 2019-04-01 | 2021-11-09 | Ford Global Technologies, Llc | Initiation of vehicle remote park-assist with key fob |
CN111712828A (zh) * | 2019-06-06 | 2020-09-25 | 深圳市大疆创新科技有限公司 | 物体检测方法、电子设备和可移动平台 |
CN110648389A (zh) * | 2019-08-22 | 2020-01-03 | 广东工业大学 | 基于无人机和边缘车辆协同的城市街景3d重建方法和*** |
US11455813B2 (en) * | 2019-11-14 | 2022-09-27 | Nec Corporation | Parametric top-view representation of complex road scenes |
CN112907659B (zh) * | 2019-11-19 | 2024-07-12 | 浙江菜鸟供应链管理有限公司 | 移动设备定位***、方法及设备 |
US11584377B2 (en) * | 2019-11-21 | 2023-02-21 | Gm Cruise Holdings Llc | Lidar based detection of road surface features |
CN111862337B (zh) * | 2019-12-18 | 2024-05-10 | 北京嘀嘀无限科技发展有限公司 | 视觉定位方法、装置、电子设备和计算机可读存储介质 |
CN113091757B (zh) * | 2019-12-23 | 2022-09-27 | 百度在线网络技术(北京)有限公司 | 地图生成方法和装置 |
CN111127459B (zh) * | 2019-12-30 | 2023-05-26 | 武汉理工大学 | 路面车辙检测的图像实时处理*** |
CN111414809B (zh) * | 2020-02-28 | 2024-03-05 | 上海牙典软件科技有限公司 | 一种三维图形识别方法、装置、设备及存储介质 |
CN111144388B (zh) * | 2020-04-03 | 2020-07-14 | 速度时空信息科技股份有限公司 | 一种基于单目影像的道路标志标线的更新方法 |
CN111551976A (zh) * | 2020-05-20 | 2020-08-18 | 四川万网鑫成信息科技有限公司 | 一种结合多种数据对异常定位进行自动补全的方法 |
US11030893B1 (en) * | 2020-06-05 | 2021-06-08 | Samuel Messinger | System for reducing speed of a vehicle and method thereof |
CN112863194B (zh) * | 2021-01-20 | 2022-08-23 | 青岛以萨数据技术有限公司 | 一种图像处理方法、装置、终端及介质 |
CN112907746A (zh) * | 2021-03-25 | 2021-06-04 | 上海商汤临港智能科技有限公司 | 电子地图的生成方法、装置、电子设备及存储介质 |
CN113222965B (zh) * | 2021-05-27 | 2023-12-29 | 西安交通大学 | 放电通道的三维观测方法 |
WO2023286217A1 (ja) * | 2021-07-14 | 2023-01-19 | 日本電信電話株式会社 | 位置検出装置、位置検出方法、及び位置検出プログラム |
US11608084B1 (en) * | 2021-08-27 | 2023-03-21 | Motional Ad Llc | Navigation with drivable area detection |
CN114419231B (zh) * | 2022-03-14 | 2022-07-19 | 幂元科技有限公司 | 基于点云数据和ai技术的交通设施矢量识别提取分析*** |
CN115578433B (zh) * | 2022-09-30 | 2023-09-01 | 北京百度网讯科技有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN116468870B (zh) * | 2023-06-20 | 2024-01-23 | 佛山科学技术学院 | 一种城市道路三维可视化建模方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008187347A (ja) | 2007-01-29 | 2008-08-14 | Toshiba Corp | 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法 |
JP2009199284A (ja) | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | 道路地物認識方法 |
JP2009266003A (ja) | 2008-04-25 | 2009-11-12 | Hitachi Ltd | 物体認識装置、および物体認識方法 |
JP2011233165A (ja) | 2008-08-29 | 2011-11-17 | Mitsubishi Electric Corp | 俯瞰画像生成装置、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム |
JP2012517652A (ja) | 2009-02-13 | 2012-08-02 | ハリス コーポレイション | シーン補間及び登録性能評価のための2d電子光学的画像及び3d点群データの融合 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005251106A (ja) * | 2004-03-08 | 2005-09-15 | Mitsubishi Electric Corp | 車線認識装置 |
JP4344869B2 (ja) | 2007-02-16 | 2009-10-14 | 三菱電機株式会社 | 計測装置 |
KR20130085235A (ko) * | 2012-01-19 | 2013-07-29 | 김동용 | 자동차의 무인 운전 시스템 |
GB2520338A (en) * | 2013-11-19 | 2015-05-20 | Nokia Corp | Automatic scene parsing |
CN104063499A (zh) * | 2014-07-04 | 2014-09-24 | 纵横皆景(北京)信息技术有限公司 | 基于车载空间信息采集的空间矢量poi提取方法 |
CN104899858A (zh) * | 2015-02-15 | 2015-09-09 | 北京联合大学 | 基于双摄像机图像融合的车道线识别方法 |
CN104766058B (zh) * | 2015-03-31 | 2018-04-27 | 百度在线网络技术(北京)有限公司 | 一种获取车道线的方法和装置 |
CN105719284B (zh) * | 2016-01-18 | 2018-11-06 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及终端 |
-
2016
- 2016-01-18 CN CN201610031452.5A patent/CN105719284B/zh active Active
- 2016-12-28 WO PCT/CN2016/112671 patent/WO2017124901A1/zh unknown
- 2016-12-28 EP EP16886160.7A patent/EP3407294B1/en active Active
- 2016-12-28 JP JP2017565896A patent/JP7034530B2/ja active Active
- 2016-12-28 MY MYPI2017704510A patent/MY188758A/en unknown
- 2016-12-28 KR KR1020177036734A patent/KR102003152B1/ko active IP Right Grant
-
2018
- 2018-04-05 US US15/946,621 patent/US10712747B2/en active Active
-
2020
- 2020-06-03 US US16/892,039 patent/US11320833B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008187347A (ja) | 2007-01-29 | 2008-08-14 | Toshiba Corp | 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法 |
JP2009199284A (ja) | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | 道路地物認識方法 |
JP2009266003A (ja) | 2008-04-25 | 2009-11-12 | Hitachi Ltd | 物体認識装置、および物体認識方法 |
JP2011233165A (ja) | 2008-08-29 | 2011-11-17 | Mitsubishi Electric Corp | 俯瞰画像生成装置、俯瞰画像生成装置の俯瞰画像生成方法および俯瞰画像生成プログラム |
JP2012517652A (ja) | 2009-02-13 | 2012-08-02 | ハリス コーポレイション | シーン補間及び登録性能評価のための2d電子光学的画像及び3d点群データの融合 |
Also Published As
Publication number | Publication date |
---|---|
EP3407294B1 (en) | 2021-03-31 |
EP3407294A1 (en) | 2018-11-28 |
US11320833B2 (en) | 2022-05-03 |
CN105719284B (zh) | 2018-11-06 |
US20200293058A1 (en) | 2020-09-17 |
KR102003152B1 (ko) | 2019-07-23 |
US10712747B2 (en) | 2020-07-14 |
US20180224863A1 (en) | 2018-08-09 |
MY188758A (en) | 2021-12-29 |
KR20180010238A (ko) | 2018-01-30 |
CN105719284A (zh) | 2016-06-29 |
WO2017124901A1 (zh) | 2017-07-27 |
JP2018523865A (ja) | 2018-08-23 |
EP3407294A4 (en) | 2019-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7034530B2 (ja) | 情報処理方法、デバイス、および端末 | |
JP6918885B2 (ja) | 相対的位置姿勢の標定方法、相対的位置姿勢の標定装置、機器及び媒体 | |
WO2020098316A1 (zh) | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 | |
CN108694882B (zh) | 用于标注地图的方法、装置和设备 | |
CN105512646B (zh) | 一种数据处理方法、装置及终端 | |
JP6107081B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP4232167B1 (ja) | 対象特定装置、対象特定方法および対象特定プログラム | |
CN110426051A (zh) | 一种车道线绘制方法、装置及存储介质 | |
Li et al. | A novel system for object pose estimation using fused vision and inertial data | |
EP4016457A1 (en) | Positioning method and apparatus | |
CN109300143B (zh) | 运动向量场的确定方法、装置、设备、存储介质和车辆 | |
CN109844457B (zh) | 用于产生数字道路模型的***和方法 | |
JP4978615B2 (ja) | 対象特定装置 | |
JP2012185011A (ja) | 移動***置測定装置 | |
JP2016157197A (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
CN112771576A (zh) | 位置信息获取方法、设备及存储介质 | |
CN111145248B (zh) | 位姿信息确定方法、确定装置和电子设备 | |
CN110673107A (zh) | 基于多线激光雷达的路沿检测方法及装置 | |
CN114677435A (zh) | 一种点云全景融合要素提取方法和*** | |
CN111353453A (zh) | 用于车辆的障碍物检测方法和装置 | |
CN116997771A (zh) | 车辆及其定位方法、装置、设备、计算机可读存储介质 | |
CN110298320B (zh) | 一种视觉定位方法、装置及存储介质 | |
CN108564626B (zh) | 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置 | |
CN111191596A (zh) | 一种封闭区域制图方法、装置及存储介质 | |
JP5330341B2 (ja) | 車載カメラを用いた測距装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180201 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190325 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190625 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191209 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200616 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20200616 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200625 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20200629 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20200710 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20200720 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200914 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20211018 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20211220 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20220131 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20220131 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220225 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7034530 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |