JP2020140225A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2020140225A JP2020140225A JP2019032963A JP2019032963A JP2020140225A JP 2020140225 A JP2020140225 A JP 2020140225A JP 2019032963 A JP2019032963 A JP 2019032963A JP 2019032963 A JP2019032963 A JP 2019032963A JP 2020140225 A JP2020140225 A JP 2020140225A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- analysis
- moving object
- analysis data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、画像処理装置、及び画像処理方法に関する。 The present disclosure relates to an image processing apparatus and an image processing method.
カメラ等で撮影された画像に基づいて、撮像領域内に存在する動体の位置を検出する画像処理装置が知られている。この種の画像処理装置は、特に、工事現場や工場などの業務環境において、人や作業機(以下、「動体」と総称する)の位置を正確に把握し、当該動体の行動又は動作を解析したり、当該動体の行動又は動作を予測する用途(以下、「行動解析」と総称する)への適用が期待されている。 An image processing device that detects the position of a moving object existing in the imaging region based on an image taken by a camera or the like is known. This type of image processing device accurately grasps the positions of people and working machines (hereinafter collectively referred to as "moving objects"), especially in a business environment such as a construction site or a factory, and analyzes the behavior or movement of the moving object. It is expected to be applied to applications that predict the behavior or behavior of the moving object (hereinafter collectively referred to as "behavior analysis").
例えば、特許文献1には、解像能力の異なる2つのセンサを利用して動体認識を行い、状況に応じてどちらのセンサの動体認識結果を採用するかを切り替えることで、認識精度を向上させようとする技術が開示されている。
For example, in
ところで、この種の画像処理装置において、動体の行動解析の精度を高めるためには、画像内に映る動体の各部位がどの位置に存在するかを認識する必要がある。 By the way, in this kind of image processing apparatus, in order to improve the accuracy of behavior analysis of a moving body, it is necessary to recognize the position of each part of the moving body reflected in the image.
しかしながら、実際には、必ずしも行動解析の対象となる動体の全体が、画像内に映るように撮像されるわけではなく、当該動体の一部が、画像からはみ出すようにして撮像されている場合もある。このような場合、典型的には、当該動体は、画像内において、当該動体の複数の部位が分離するようにして映ることになる(後述する図6A、図6Bを参照)。 However, in reality, the entire moving object to be analyzed for behavior is not always imaged so as to be reflected in the image, and a part of the moving object may be imaged so as to protrude from the image. is there. In such a case, the moving object is typically projected so that a plurality of parts of the moving object are separated from each other in the image (see FIGS. 6A and 6B described later).
この際、従来技術に係る画像処理装置では、画像内に分離して映る一つの動体の複数の部位それぞれを、別個の動体と認識してしまうおそれがある。その結果、動体の数や姿勢、動体のトラッキングの認識の精度悪化を招くことになる。 At this time, in the image processing apparatus according to the prior art, there is a possibility that each of a plurality of parts of one moving object that are separately reflected in the image may be recognized as separate moving objects. As a result, the accuracy of recognition of the number and posture of moving objects and tracking of moving objects is deteriorated.
本開示は、上記問題点に鑑みてなされたもので、画像端に映る動体の認識精度を向上し得る画像処理装置及び画像処理方法を提供することを目的とする。 The present disclosure has been made in view of the above problems, and an object of the present disclosure is to provide an image processing apparatus and an image processing method capable of improving the recognition accuracy of a moving object reflected on an image edge.
前述した課題を解決する主たる本開示は、
第1領域を撮像する第1センサから第1画像に係る画像データを取得する第1画像取得部と、
前記第1領域と少なくとも一部が重複し、且つ、前記第1領域に含まれない領域を含む第2領域を撮像する第2センサから第2画像に係る画像データを取得する第2画像取得部と、
前記第1画像に係る画像データに基づいて、前記第1画像内に映る動体の位置及び占有領域を検出した第1解析データを生成する第1解析部と、
前記第2画像に係る画像データに基づいて、前記第2画像内に映る動体の位置及び占有領域を検出した第2解析データを生成する第2解析部と、
前記第1解析データと前記第2解析データとに基づいて、前記第1画像又は前記第2画像の画像端からはみ出るようにして映る動体の識別情報を補間又は補正するデータ比較処理部と、
を備える画像処理装置である。
The main disclosure that solves the above-mentioned problems is
A first image acquisition unit that acquires image data related to the first image from the first sensor that captures the first region, and
A second image acquisition unit that acquires image data related to a second image from a second sensor that images a second region that includes a region that overlaps at least a part of the first region and is not included in the first region. When,
A first analysis unit that generates first analysis data that detects the position and occupied area of a moving object reflected in the first image based on the image data related to the first image.
A second analysis unit that generates second analysis data that detects the position and occupied area of a moving object reflected in the second image based on the image data related to the second image.
A data comparison processing unit that interpolates or corrects identification information of a moving object that appears so as to protrude from the image edge of the first image or the second image based on the first analysis data and the second analysis data.
It is an image processing apparatus provided with.
又、他の局面では、
第1領域を撮像する第1センサから第1画像に係る画像データを取得し、
前記第1領域と少なくとも一部が重複し、且つ、前記第1領域に含まれない領域を含む第2領域を撮像する第2センサから第2画像に係る画像データを取得し、
前記第1画像に係る画像データに基づいて、前記第1画像内に映る動体の位置及び占有領域を検出した第1解析データを生成し、
前記第2画像に係る画像データに基づいて、前記第2画像内に映る動体の位置及び占有領域を検出した第2解析データを生成し、
前記第1解析データと前記第2解析データとに基づいて、前記第1画像又は前記第2画像の画像端からはみ出るようにして映る動体の識別情報を補間又は補正する、
画像処理方法である。
Also, in other aspects,
Image data related to the first image is acquired from the first sensor that captures the first region, and
Image data related to the second image is acquired from the second sensor that images the second region including the region that overlaps at least a part of the first region and is not included in the first region.
Based on the image data related to the first image, the first analysis data in which the position and the occupied area of the moving object reflected in the first image are detected is generated.
Based on the image data related to the second image, the second analysis data in which the position and the occupied area of the moving object reflected in the second image are detected is generated.
Based on the first analysis data and the second analysis data, the identification information of the moving object that appears so as to protrude from the image edge of the first image or the second image is interpolated or corrected.
This is an image processing method.
本開示に係る画像処理装置によれば、画像端に映る動体の認識精度を向上することが可能である。 According to the image processing apparatus according to the present disclosure, it is possible to improve the recognition accuracy of a moving object reflected on the edge of an image.
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same function are designated by the same reference numerals, so that duplicate description will be omitted.
(第1の実施形態)
[監視システムの全体構成]
以下、図1〜図4を参照して、一実施形態に係る監視システムの構成、及び監視システムに適用した画像処理装置の構成の概要について説明する。
(First Embodiment)
[Overall configuration of monitoring system]
Hereinafter, with reference to FIGS. 1 to 4, an outline of the configuration of the monitoring system according to the embodiment and the configuration of the image processing device applied to the monitoring system will be described.
図1は、本実施形態に係る監視システムUの一例を示す図である。本実施形態に係る監視システムUは、工事現場内に存在する動体(ここでは、作業機M1、作業機M2)の動きを解析する用途に適用されている。 FIG. 1 is a diagram showing an example of the monitoring system U according to the present embodiment. The monitoring system U according to the present embodiment is applied to an application for analyzing the movement of moving objects (here, working machine M1 and working machine M2) existing in a construction site.
本実施形態に係る監視システムUは、画像処理装置100、レーザーレーダー200、及び、カメラ300を備えている。
The monitoring system U according to the present embodiment includes an
レーザーレーダー200(本発明の「第1センサ」に相当)(Light Detection And Ranging:LiDARとも称される)は、レーザ光を打ち出し、当該レーザ光が動体に反射して戻ってくるまでの時間(TOF:Time of Flight)を測定することで、自身の位置から動体の位置までの距離を求める。レーザーレーダー200は、かかる処理を、監視対象領域が映る所定範囲内を走査しながら行うことにより、距離画像に係る画像データ(以下、「距離画像」と略称する)を生成する。尚、レーザーレーダー200は、フレーム単位の距離画像を連続的に生成し、時系列に並んだ距離画像(即ち、動画像)を画像処理装置100に対して出力する。
The laser radar 200 (corresponding to the "first sensor" of the present invention) (also referred to as Light Detection And Ranging: LiDAR) emits a laser beam, and the time until the laser beam is reflected by a moving object and returned ( By measuring TOF: Time of Flight), the distance from one's own position to the position of a moving object is obtained. The
距離画像は、各走査位置を画素として、画素毎に、レーザーレーダー200の測定データ(例えば、距離及び反射強度)が画素値として対応付けられた画像である(点群データとも称される)。距離画像は、監視対象領域内における動体の3次元(例えば、水平方向、鉛直方向、及び奥行方向)の位置を示すものであり、例えば、動体の存在位置を3次元の直交座標系(X、Y、Z)で表す。
The distance image is an image in which each scanning position is a pixel and the measurement data (for example, distance and reflection intensity) of the
カメラ300(本発明の「第2センサ」に相当)は、例えば、可視カメラであり、自身の有する撮像素子(CMOSセンサ又はCCDセンサ)が生成した画像信号をAD変換して、カメラ画像に係る画像データ(以下、「カメラ画像」と略称する)を生成する。尚、カメラ300は、フレーム単位のカメラ画像を連続的に生成して、時系列に並んだカメラ画像(即ち、動画像)を画像処理装置100に対して出力する。
The camera 300 (corresponding to the "second sensor" of the present invention) is, for example, a visible camera, and relates to a camera image by AD-converting an image signal generated by its own image sensor (CMOS sensor or CCD sensor). Image data (hereinafter abbreviated as "camera image") is generated. The
カメラ画像は、例えば、画素毎に、RGBそれぞれについての輝度値(例えば、RGBそれぞれについての256階調の輝度値)が画素値として対応付けられた画像である。 The camera image is, for example, an image in which a luminance value for each of RGB (for example, a luminance value of 256 gradations for each of RGB) is associated as a pixel value for each pixel.
図2は、本実施形態に係る監視システムUにおけるレーザーレーダー200の視野(即ち、撮像範囲)とカメラ300の視野(即ち、撮像範囲)とを示す図である。尚、図2中では、R1領域がレーザーレーダー200の視野を表し、R2領域がカメラ300の視野を表す。
FIG. 2 is a diagram showing a field of view (that is, an imaging range) of the
レーザーレーダー200及びカメラ300は、同一の監視対象領域を撮像するように、当該監視対象領域付近の適宜な位置に設置されている。即ち、レーザーレーダー200の視野とカメラ300の視野とは、注目視野が共通となるように設置されている。但し、レーザーレーダー200の視野の一部は、カメラ300の視野外の領域を含み、カメラ300の視野の一部は、レーザーレーダー200の視野外の領域を含む。
The
一般に、レーザーレーダー200の視野は、図2のR1領域に示すように、横方向(ここでは、水平方向)に長く、縦方向(ここでは、垂直方向)に短い。一方、カメラ300の視野は、図2のR2領域に示すように、レーザーレーダー200の視野に比較して、正方形に近い。そのため、レーザーレーダー200の視野(即ち、撮像対象領域)は、横方向については、カメラ300の視野(即ち、撮像対象領域)よりも広く、縦方向については、カメラ300の視野(即ち、撮像対象領域)よりも狭くなるケースが多い。そのため、レーザーレーダー200の視野とカメラ300の視野とは、一部が重複し、一部が他方の視野外の領域を含んでいる。
In general, the field of view of the
画像処理装置100は、レーザーレーダー200で生成された距離画像の画像データ、及び、カメラ300で生成されたカメラ画像の画像データに基づいて、監視対象領域内に存在する動体(図1では、作業機M1、作業機M2)の動きをトラッキングし、そのトラッキング結果を出力する。
The
図3は、本実施形態に係る画像処理装置100のハードウェア構成を示す図である。
FIG. 3 is a diagram showing a hardware configuration of the
画像処理装置100は、主たるコンポーネントとして、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、外部記憶装置(例えば、フラッシュメモリ)104、及び通信インタフェイス105等を備えたコンピュータである。
The
画像処理装置100の後述する各機能は、例えば、CPU101がROM102、RAM103、外部記憶装置104等に記憶された制御プログラム(例えば、画像処理プログラム)や各種データを参照することによって実現される。但し、各機能の一部又は全部は、CPUによる処理に代えて、又は、これと共に、DSP(Digital Signal Processor)による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に代えて、又は、これと共に、専用のハードウェア回路(例えば、ASIC又はFPGA)による処理によって実現されてもよい。
Each function described later in the
[画像処理装置の構成]
次に、図4〜図7を参照して、本実施形態に係る画像処理装置100の構成の一例について説明する。
[Configuration of image processing device]
Next, an example of the configuration of the
図4は、本実施形態に係る画像処理装置100の機能ブロックを示す図である。尚、図4中の矢印は、データの流れを表す。
FIG. 4 is a diagram showing a functional block of the
図5Aは、第1解析部30により生成される解析データD1の一例を示す図であり、図5Bは、第2解析部40により生成される解析データD2の一例を示す図である。尚、図5A、図5Bは、各クレームにおける動体の位置を示しており、ID(本発明の「識別情報」に相当する)は各動体の識別番号を表し、t=0、t=1、t=2…はフレーム番号を表す。
FIG. 5A is a diagram showing an example of analysis data D1 generated by the
図6Aは、第1解析部30により生成される解析データD1(即ち、動体の位置及び占有領域)を距離画像に重ね合わせて示した図であり、図6Bは、第2解析部40により生成される解析データD2(即ち、動体の位置及び占有領域)をカメラ画像に重ね合わせて示した図である。
FIG. 6A is a diagram showing the analysis data D1 (that is, the position and occupied area of the moving body) generated by the
画像処理装置100は、第1画像取得部10、第2画像取得部20、第1解析部30、第2解析部40、データ比較処理部50、及び、データ出力部60を備えている。
The
第1画像取得部10は、レーザーレーダー200が生成した距離画像(本発明の「第1画像」に相当)を取得する。尚、第1画像取得部10は、レーザーレーダー200から、時系列に並んだ距離画像を順次取得する。
The first
第2画像取得部20は、カメラ300が生成したカメラ画像(本発明の「第2画像」に相当)を取得する。尚、第2画像取得部20は、カメラ300から、時系列に並んだカメラ画像を順次取得する。
The second
第1解析部30は、距離画像内に映る動体の位置及び占有領域を検出した解析データ(以下、「第1解析データ」と称する)D1を生成する。この際、第1解析部30は、時系列に並んだ距離画像に基づいて、監視対象領域に存在する動体の位置を解析し、その結果を第1解析データD1として出力する。
The
具体的には、第1解析部30は、時系列に並んだ距離画像の各フレームに映る動体を検出し、動体毎に、IDを付与すると共に、その動体が存在する位置及び占有領域を、IDと関連付けて記憶する。第1解析部30は、例えば、注目フレームで検出された動体とその前フレームで検出された動体との関連度を算出し、当該関連度に基づいて、注目フレームで検出された動体と前フレームで検出された動体との同一性を判定する。そして、この際、第1解析部30は、注目フレームで検出された動体と前フレームで検出された動体とが同一である場合には、注目フレームで検出された動体に対して、前フレームで検出された動体と同一のIDを付与し、注目フレームで検出された動体と前フレームで検出された動体とが同一でない場合には、注目フレームで検出された動体に対して、新規なIDを付与する。このようにして、第1解析部30は、各フレームに映る動体を、各別に、トラッキングする。
Specifically, the
第1解析部30は、本実施形態では、人や作業機等、一体的な動体毎に、IDを付与すると共に、その存在位置を特定する。但し、第1解析部30は、人の腕、頭、又は脚等、一つの個体の各部位を各別の動体として認識し、当該個体の部位毎の位置を認識するものであってもよい。
In the present embodiment, the
尚、第1解析部30が距離画像中から動体を検出する手法は、公知の任意の手法であってよい。第1解析部30は、例えば、注目フレームと前フレームとの差分を取ることによって、動体を検出してもよい。又、第1解析部30は、例えば、距離画像中の測距点のクラスタの特徴量(例えば、形状及びサイズ等)に基づいて、パターンマッチングにより、動体(例えば、人や車)を検出してもよい。
The method by which the
又、第1解析部30が異なるフレーム間で各動体の同一性を判定する手法は、公知の任意の手法であってよい。第1解析部30は、例えば、注目フレームで検出された動体と前フレームで検出された動体との間の距離、両者の間のサイズの類似性、両者の間の形状の類似性、両者の間の色の類似性、及び、両者の間の移動速度の類似性等に基づいて、両者の間の関連度を算出し、両者の間の関連度が閾値以上の場合には、注目フレームで検出された動体と前フレームで検出された動体とを同一の動体と認識する。
Further, the method by which the
但し、より好適には、第1解析部30(及び/又は第2解析部40)は、機械学習により学習済みの識別器モデルを用いて、画像(ここでは、距離画像)中から動体を検出したり、異なるフレーム間で動体の同一性を判定する。これにより、動体の見え方の変化に対する、動体検出のロバスト性を高めることが可能である。例えば、画像中から動体を検出する手法としては、畳み込みニュートラルネットワーク(Convolutional Neural Network:CNN)を用いるのが好適である。又、異なるフレーム間で各動体の同一性を判定する手法としては、例えば、隠れマルコフモデル(Hidden Markov Model:HMM)を用いるのが好適である。その際、識別器モデルに対しては、入力画像と正解値とが関連付けられて構成された学習データを用いた強化学習により、機械学習を実行すればよい。 However, more preferably, the first analysis unit 30 (and / or the second analysis unit 40) detects a moving object from the image (here, the distance image) by using the classifier model learned by machine learning. Or determine the identity of a moving object between different frames. This makes it possible to enhance the robustness of moving object detection against changes in the appearance of moving objects. For example, as a method for detecting a moving object in an image, it is preferable to use a convolutional neural network (CNN). Further, as a method for determining the identity of each moving object between different frames, for example, it is preferable to use a Hidden Markov Model (HMM). At that time, for the classifier model, machine learning may be executed by reinforcement learning using the learning data configured by associating the input image with the correct answer value.
第1解析データD1は、例えば、時系列に並んだ距離画像の各フレームにおける動体の位置(ここでは、三次元の座標位置)及び占有領域を示すデータである(図5Aを参照)。第1解析データD1は、例えば、動体毎に、IDと当該動体の位置及び占有領域の時間的変化に係る情報を含む。即ち、第1解析データD1は、各フレームに映る同一の動体には、一つのIDのみを付与して、当該動体を識別している。そして、監視対象領域内に複数の動体が存在する場合には、第1解析データD1は、複数の動体それぞれに各別のIDを付与して、当該動体の位置及び占有領域の時間的変化を関連付けて記録する。 The first analysis data D1 is, for example, data showing the position of a moving object (here, a three-dimensional coordinate position) and an occupied area in each frame of a distance image arranged in a time series (see FIG. 5A). The first analysis data D1 includes, for example, information relating to the ID, the position of the moving body, and the temporal change of the occupied area for each moving body. That is, the first analysis data D1 assigns only one ID to the same moving object reflected in each frame to identify the moving object. Then, when a plurality of moving objects exist in the monitored area, the first analysis data D1 assigns different IDs to each of the plurality of moving objects, and changes the position of the moving objects and the occupied area with time. Associate and record.
第2解析部40は、カメラ画像内に映る動体の位置及び占有領域を検出した解析データ(以下、「第2解析データ」と称する)を生成する。この際、第2解析部40は、時系列に並んだカメラ画像に基づいて、監視対象領域に存在する動体の位置をトラッキングし、その結果を第2解析データD2として出力する。
The
第2解析部40がカメラ画像中から動体を検出する手法、及び異なるフレーム間で各動体を同定する手法は、第1解析部30と同様に、公知の任意の手法を用いることができる。尚、第2解析部40は、これらの処理の際に、第1解析部30と同様に、学習済みの識別器モデルを用いるのが望ましい。
As a method for the
第2解析データD2は、例えば、時系列に並んだカメラ画像の各フレームにおける動体の位置(ここでは、二次元の座標位置)及び占有領域を示すデータである(図5Bを参照)。第2解析データD2には、第1解析データD1と同様に、動体毎に、IDと当該動体の位置及び占有領域の時間的変化とが関連付けて記録されている。 The second analysis data D2 is, for example, data indicating the position of a moving object (here, a two-dimensional coordinate position) and an occupied area in each frame of the camera images arranged in time series (see FIG. 5B). Similar to the first analysis data D1, the second analysis data D2 records the ID, the position of the moving body, and the temporal change of the occupied area in association with each moving body.
データ比較処理部50は、第1解析データD1と第2解析データD2とを時間軸を揃えて比較し、第1解析データD1と第2解析データD2とに基づいて、距離画像又はカメラ画像の画像端からはみ出るようにして映る動体の識別情報(即ち、ID)を補間又は補正した上で、監視対象領域に存在する動体の位置、占有領域及びIDを確定した確定データD3を出力する。
The data
まず、図6A及び図6Bを参照して、データ比較処理部50における、1フレーム分のデータ比較処理について、説明する。
First, with reference to FIGS. 6A and 6B, the data comparison process for one frame in the data
図6Aでは、距離画像において、動体M1の下方側の部位が下方側の画像端からはみ出し、当該動体M1の前部M1aと後部M1bとが分離して映った状態を示している。又、図6Aでは、距離画像内においては、動体M2の上方側の部位が上方側の画像端からはみ出し、当該動体M2の前部M2aと後部M2bとが分離して映った状態を示している。このような場合、第1解析部30は、動体M1の前部M1aと後部M1bとを別個の動体として認識し、又、動体M2の前部M2aと後部M2bとを別個の動体として認識してしまう。
FIG. 6A shows a state in which the lower portion of the moving body M1 protrudes from the lower image edge in the distance image, and the front portion M1a and the rear portion M1b of the moving body M1 are projected separately. Further, in FIG. 6A, in the distance image, the upper part of the moving body M2 protrudes from the upper side image edge, and the front part M2a and the rear part M2b of the moving body M2 are shown separately. .. In such a case, the
一方、図6Bでは、カメラ画像において、動体M1のすべての部位、及び動体M2のすべての部位が、画像内に映った状態を示している。このような場合、第2解析部40は、動体M1を一体的な一つの動体として認識し、同様に、動体M2を一体的な一つの動体として認識する。
On the other hand, in FIG. 6B, in the camera image, all the parts of the moving body M1 and all the parts of the moving body M2 are shown in the image. In such a case, the
データ比較処理部50は、かかる観点から、距離画像から検出された動体の位置及び占有領域と、当該距離画像と同一時刻に生成されたカメラ画像から検出された動体の位置及び占有領域とを比較して、距離画像又はカメラ画像の一方の画像端からはみ出るようにして映る動体の識別情報を補間又は補正する。
From this point of view, the data
具体的には、データ比較処理部50は、カメラ画像又は距離画像の一方から検出された一つの動体の占有領域内に、カメラ画像又は距離画像の他方から検出された動体が複数存在するか否かを判定し、一方から検出された一つの動体の占有領域内に、他方から検出された動体が複数存在する場合、他方から検出された複数の動体を一体的な一つの動体(即ち、単一の動体)と識別する。
Specifically, the data
図6A、図6Bの例では、カメラ画像から検出された動体M1の占有領域内に、距離画像から検出された動体M1aと動体M1bとが含まれているため、データ比較処理部50は、距離画像から検出された動体M1aと動体M1bとを同一の動体であると認識する。又、同様に、カメラ画像から検出された動体M2の占有領域内に、距離画像から検出された動体M2aと動体M2bとが含まれているため、データ比較処理部50は、距離画像から検出された動体M2aと動体M2bとを同一の動体であると認識する。
In the examples of FIGS. 6A and 6B, since the moving body M1a and the moving body M1b detected from the distance image are included in the occupied area of the moving body M1 detected from the camera image, the data
そして、データ比較処理部50は、この識別結果(例えば、距離画像内で検出された動体の位置及び占有領域と、カメラ画像内で検出された動体の位置及び占有領域とを関連付けたデータ)を、確定データD3として出力する。このように、データ比較処理部50は、より広角な視野を有するカメラ300で生成されたカメラ画像を利用して、距離画像からはみ出して映る動体の全体領域を把握する。これによって、距離画像及び/又はカメラ画像に映る動体の数、位置及び占有領域を、正確に認識することを可能とする。
Then, the data
尚、データ比較処理部50にて当該処理を実行し得るように、距離画像が示す座標位置(即ち、第1解析データD1が示す座標位置)とカメラ画像が示す座標位置(即ち、第2解析データD2が示す座標位置)との対応関係を示すデータを、予め画像処理装置100のROM102等に記憶しておくのが望ましい。
The coordinate position indicated by the distance image (that is, the coordinate position indicated by the first analysis data D1) and the coordinate position indicated by the camera image (that is, the second analysis) so that the data
データ比較処理部50は、このようにして、第1解析データD1と第2解析データD2との比較処理を行い、1フレーム分の確定データD3を生成する。そして、データ比較処理部50は、第1解析データD1及び第2解析データD2の各フレームについて、上記と同様の処理を行い、監視対象領域内に存在する動体の位置及び占有領域を、IDと関連付けた時系列な情報を、確定データD3として生成する。
In this way, the data
データ比較処理部50が生成する確定データD3のデータ構成は、任意である。確定データD3は、例えば、第1解析データD1及び第2解析データD2と共に、距離画像又はカメラ画像の画像端からはみ出るようにして映る動体の識別情報を補間したデータを付帯させたものであってもよい。又、確定データD3は、例えば、第1解析データD1及び第2解析データD2の一方のIDを、上記した比較処理にて補正したデータであってもよい。
The data structure of the finalized data D3 generated by the data
データ出力部60は、確定データD3に基づいて、監視対象領域内に存在する動体の位置及び占有領域を特定する表示画像を生成し、当該表示画像をディスプレイ(図示せず)に表示させる。
The
図7は、データ出力部60が生成する表示画像の一例を示す図である。尚、図7に示す表示画像は、距離画像上に、2つの動体M1、M2それぞれの位置及び占有領域をマークにより表したものである。
FIG. 7 is a diagram showing an example of a display image generated by the
表示画像内では、動体M1、M2それぞれの位置及び占有領域は、実線で囲むようにマークされている。又、表示画像内では、一つの動体M1の部位M1a及びM1bそれぞれの位置及び占有領域は、動体M1の占有領域を示す実線の中で、点線で囲むようにマークされている。又、表示画像内では、他の動体M2の部位M2a及びM2bそれぞれの位置及び占有領域が、動体M2の占有領域を示す実線の中で、点線で囲むようにマークされている。 In the displayed image, the positions and occupied areas of the moving objects M1 and M2 are marked so as to be surrounded by solid lines. Further, in the displayed image, the positions and occupied areas of the parts M1a and M1b of one moving body M1 are marked so as to be surrounded by a dotted line in the solid line indicating the occupied area of the moving body M1. Further, in the displayed image, the positions and occupied areas of the parts M2a and M2b of the other moving body M2 are marked so as to be surrounded by a dotted line in the solid line indicating the occupied area of the moving body M2.
図7中では、動体M2は、当該動体M2の上端側の部位が距離画像の画像端からはみ出すように、画像内に映っているが、当該動体M2の位置及び占有領域は、確定データD3上では、カメラ画像から検出された動体M2の位置及び占有領域により、データ補間されている。 In FIG. 7, the moving body M2 is shown in the image so that the upper end side portion of the moving body M2 protrudes from the image edge of the distance image, but the position and the occupied area of the moving body M2 are on the definite data D3. In, the data is interpolated by the position and the occupied area of the moving body M2 detected from the camera image.
このようにして、ユーザは、表示画像から動体M1、M2それぞれの数や位置、及び占有領域を正確に把握することができる。そして、これによって、ユーザは、動体M1、M2それぞれの姿勢を推定したり、動体M1、M2それぞれの行動を予測したりすることができる。 In this way, the user can accurately grasp the number and position of each of the moving objects M1 and M2 and the occupied area from the displayed image. As a result, the user can estimate the postures of the moving objects M1 and M2 and predict the behaviors of the moving objects M1 and M2, respectively.
[画像処理装置の動作フロー]
次に、図8、図9A、図9B、図9Cを参照して、本実施形態に係る画像処理装置100の動作の一例について説明する。
[Operation flow of image processing device]
Next, an example of the operation of the
図8は、本実施形態に係る画像処理装置100(データ比較処理部50)が第1解析データD1と第2解析データD2とを比較する処理を示すフローチャートである。図8に示すフローチャートは、例えば、画像処理装置100がコンピュータプログラムに従って、所定間隔(例えば、100ms間隔)で実行するものである。
FIG. 8 is a flowchart showing a process in which the image processing apparatus 100 (data comparison processing unit 50) according to the present embodiment compares the first analysis data D1 with the second analysis data D2. In the flowchart shown in FIG. 8, for example, the
図9A、図9B、図9Cは、図8のフローチャートの処理を模式的に説明する図である。 9A, 9B, and 9C are diagrams schematically illustrating the processing of the flowchart of FIG. 8.
ステップS1〜S4は、第1解析データD1と第2解析データD2とを比較する処理を行うための前処理工程である。この前処理工程では、まず、画像処理装置100は、時系列の距離画像に基づいて、第1解析データD1を生成する(ステップS1)。次に、画像処理装置100は、時系列のカメラ画像に基づいて、第2解析データD2を生成する(ステップS2)。次に、画像処理装置100は、第1解析データD1と第2解析データD2とを比較する解析対象時刻(例えば、時刻T=8:00:00)を設定する(ステップS3)。次に、画像処理装置100は、解析対象の間隔(例えば、時間間隔d=1秒)を設定する(ステップS4)。
Steps S1 to S4 are preprocessing steps for performing a process of comparing the first analysis data D1 and the second analysis data D2. In this preprocessing step, first, the
次に、画像処理装置100は、第1解析データD1(ID、動体の位置、及び動体の占有領域を示すデータ)のうち、時刻Tのフレームのデータを、配列形式の記憶部である第1配列に設定する(図9Aを参照)(ステップS5)。次に、画像処理装置100は、時刻Tの第2解析データD2(ID、動体の位置、及び動体の占有領域を示すデータ)のうち、時刻Tのフレームのデータを、配列形式の記憶部である第2配列に記憶する(図9Aを参照)(ステップS6)。次に、画像処理装置100は、配列形式の記憶部である補間データ配列を作成(又は初期化)する(図9Aを参照)(ステップS7)。
Next, the
次に、画像処理装置100は、第2解析データD2中の読み出し対象の変数n(ここでは、第2解析データD2中のIDの要素を表す)を、まず、n=0に設定し(ステップS8)、ステップS8a〜S8bまで、変数nを順番にインクリメントしていくループ処理を実行する。次に、画像処理装置100は、第1解析データD1中の読み出し対象の変数i(ここでは、第1解析データD1中のIDの要素を表す)を、まず、i=0に設定し(ステップS9)、ステップS9a〜S9bまで、変数iを順番にインクリメントしていくループ処理を実行する。
Next, the
このステップS9a〜S9bのループ処理内では、画像処理装置100は、第2解析データD2中の動体[n]の占有領域内に、第1解析データD1中の動体[i]の占有領域が閾値(例えば、80%)以上含まれるか否かを判定する(ステップS10)。そして、画像処理装置100は、第2解析データD2中の動体[n]の占有領域内に、第1解析データD1中の動体[i]の占有領域が閾値(例えば、80%)以上含まれる場合には(S10:Yes)、補間データ配列に、第2解析データD2中の動体[n]と第1解析データD1中の動体[i]とを関連付けて記憶した上で(ステップS11)(図9Bを参照)、変数iをインクリメントして(i←i+1)、再度、ステップS10の判定処理を実行する。一方、第2解析データD2中の動体[n]の占有領域内に、第1解析データD1中の動体[i]の占有領域が閾値(例えば、80%)以上含まれない場合には(S10:No)、画像処理装置100は、特に処理を実行せず、変数iをインクリメントして(i←i+1)、再度、ステップS10の判定処理を実行する。
In the loop processing of steps S9a to S9b, the
変数iに係るすべて要素について、ステップS9a〜S9bの処理が終了した後、同様に、ステップS8a〜S8bのループ処理に従って、変数nを順番にインクリメントし、補間データ配列に、第2解析データD2中の動体[n]と第1解析データD1中の動体[i]とを関連付けて記憶していく(図9Cを参照)。そして、画像処理装置100は、すべての第2解析データD2中の動体[n]と第1解析データD1中の動体[i]との関係について判定する。
After the processing of steps S9a to S9b is completed for all the elements related to the variable i, the variable n is sequentially incremented in order according to the loop processing of steps S8a to S8b, and the interpolated data array is displayed in the second analysis data D2. The moving body [n] of No. 1 and the moving body [i] in the first analysis data D1 are associated and stored (see FIG. 9C). Then, the
これにより、第2解析データD2の各動体と、第1解析データD1の各動体との対応関係が特定される。図9B、図9Cの例では、距離画像から生成された各動体M1a、M1b、M2a、M2bと、カメラ画像から生成された各動体M1、M2との対応関係が特定され、第1解析データD1の動体M1a及び動体M1bは、第2解析データD2の動体M1と同一の動体であり、第1解析データD1の動体M2a及び動体M2bは、第2解析データD2の動体M2と同一の動体であることが、補間データ配列に記憶されている。 Thereby, the correspondence relationship between each moving body of the second analysis data D2 and each moving body of the first analysis data D1 is specified. In the examples of FIGS. 9B and 9C, the correspondence between the moving objects M1a, M1b, M2a, and M2b generated from the distance image and the moving objects M1 and M2 generated from the camera image is specified, and the first analysis data D1 The moving body M1a and the moving body M1b are the same moving bodies as the moving body M1 of the second analysis data D2, and the moving body M2a and the moving body M2b of the first analysis data D1 are the same moving bodies as the moving body M2 of the second analysis data D2. Is stored in the interpolated data array.
次に、画像処理装置100は、すべての時刻のフレームについて、第1解析データD1と第2解析データD2との間の対応関係の判定処理が実行されたか否かを判定し(ステップS12)、すべての時刻のフレームについて、第1解析データD1と第2解析データD2との間の対応関係の判定処理が実行されていない場合(S12:Yes)、時刻を進めて(T←T+d)(ステップS13)、ステップS5〜S12の処理を同様に実行する。そして、すべての時刻のフレームについて、第1解析データD1と第2解析データD2との間の対応関係の判定処理が実行された場合(S12:No)、図8のフローチャートの処理を終了する。
Next, the
[効果]
以上のように、本実施形態に係る画像処理装置100は、データ比較部50にて、第1解析データD1と第2解析データD2とに基づいて、第1画像(例えば、距離画像)又は第2画像(例えば、カメラ画像)の画像端からはみ出るようにして映る動体の識別情報(ID)を補間又は補正して、動体の位置及び占有領域を確定した確定データD3を生成する。
[effect]
As described above, in the
従って、本実施形態に係る画像処理装置100によれば、第1画像(例えば、距離画像)又は第2画像(例えば、カメラ画像)から、はみ出るようにして映る動体を正確に識別することが可能である。
Therefore, according to the
これによって、監視対象領域内に存在する動体の正確な数と位置を認識することが可能となる。加えて、これによって、監視対象領域内に存在する動体の姿勢をより正確に把握することも可能となるため、行動解析の精度向上にも資する。 This makes it possible to recognize the exact number and position of moving objects existing in the monitored area. In addition, this makes it possible to more accurately grasp the posture of a moving object existing in the monitored area, which also contributes to improving the accuracy of behavior analysis.
(第2の実施形態)
次に、図10を参照して、第2の実施形態に係る画像処理装置100について説明する。図10は、第2の実施形態に係る画像処理装置100の構成を示す図である。
(Second Embodiment)
Next, the
本実施形態に係る画像処理装置100は、レーザーレーダー200に内蔵されている点で、第1の実施形態と相違する。そして、画像処理装置100の第1画像取得部10は、レーザーレーダー200の距離画像生成部210(即ち、距離画像を生成する撮像部)から直接画像データを取得する。
The
本実施形態に係る画像処理装置100によれば、レーザーレーダー200及びカメラ300以外の別体のコンピュータを用意する必要性をなくすことが可能である。
According to the
(第3の実施形態)
次に、図11を参照して、第3の実施形態に係る画像処理装置100について説明する。図11は、第3の実施形態に係る画像処理装置100の構成を示す図である。
(Third Embodiment)
Next, the
本実施形態に係る画像処理装置100は、上記実施形態のカメラ300(以下、「可視光カメラ」と称する)に代えて、サーマルカメラ400からカメラ画像を取得する構成としている点で、第1の実施形態と相違する。
The first
可視光カメラ300により生成されたカメラ画像は、色情報を含むため、高い動体識別精度を実現することができる。一方、監視対象領域が霧に覆われている状況下や、夜間においては、カメラ画像を用いた動体識別精度は低下する。
Since the camera image generated by the visible
この点、サーマルカメラ400は、動体から放射される赤外光に基づいてカメラ画像を生成するため、夜間等の状況下においても、高い動体識別精度を実現することができる。そこで、本実施形態に係る画像処理装置100(第2解析部40)は、サーマルカメラ400により生成されたカメラ画像を用いて、第2解析データD2を生成する。そして、本実施形態に係る画像処理装置100(データ比較処理部50)は、当該第2解析データD2を用いて、第1解析データD1のIDの誤りを補正する。
In this respect, since the
以上のように、本実施形態に係る画像処理装置100によれば、監視対象領域が霧に覆われている状況下や、夜間においても、高精度に動体を認識することができる。
As described above, according to the
尚、画像処理装置100は、可視光カメラ300により生成されたカメラ画像、及びサーマルカメラ400により生成されたカメラ画像の両方を用いてもよい。そして、第2解析データD2を生成する際には、可視光カメラ300により生成されたカメラ画像、及びサーマルカメラ400により生成されたカメラ画像の両方を用いてもよいし、選択的に使用するカメラ画像を切り替えるようにしてもよい。
The
(その他の実施形態)
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。
(Other embodiments)
The present invention is not limited to the above embodiment, and various modifications can be considered.
上記実施形態では、画像処理装置100の構成の一例として、第1画像取得部10、第2画像取得部20、第1解析部30、第2解析部40、データ比較処理部50、及び、データ出力部60の機能が一のコンピュータによって実現されるものとして記載したが、複数のコンピュータによって実現されてもよいのは勿論である。又、当該コンピュータに読み出されるプログラムやデータも、複数のコンピュータに分散して格納されてもよい。
In the above embodiment, as an example of the configuration of the
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。 Although specific examples of the present invention have been described in detail above, these are merely examples and do not limit the scope of claims. The techniques described in the claims include various modifications and modifications of the specific examples illustrated above.
本開示に係る画像処理装置によれば、画像端に映る動体の認識精度を向上することが可能である。 According to the image processing apparatus according to the present disclosure, it is possible to improve the recognition accuracy of a moving object reflected on the edge of an image.
U 監視システム
100 画像処理装置
101 CPU
102 ROM
103 RAM
104 外部記憶装置
105 通信インタフェイス
10 第1画像取得部
20 第2画像取得部
30 第1解析部
40 第2解析部
50 データ比較処理部
60 データ出力部
200 レーザーレーダー
210 距離画像生成部
300 カメラ(可視光カメラ)
400 サーマルカメラ
D1 第1解析データ
D2 第2解析データ
D3 確定データ
102 ROM
103 RAM
104 External storage device 105
400 Thermal camera D1 1st analysis data D2 2nd analysis data D3 Confirmed data
Claims (9)
前記第1領域と少なくとも一部が重複し、且つ、前記第1領域に含まれない領域を含む第2領域を撮像する第2センサから第2画像に係る画像データを取得する第2画像取得部と、
前記第1画像に係る画像データに基づいて、前記第1画像内に映る動体の位置及び占有領域を検出した第1解析データを生成する第1解析部と、
前記第2画像に係る画像データに基づいて、前記第2画像内に映る動体の位置及び占有領域を検出した第2解析データを生成する第2解析部と、
前記第1解析データと前記第2解析データとに基づいて、前記第1画像又は前記第2画像の画像端からはみ出るようにして映る動体の識別情報を補間又は補正するデータ比較処理部と、
を備える画像処理装置。 A first image acquisition unit that acquires image data related to the first image from the first sensor that captures the first region, and
A second image acquisition unit that acquires image data related to a second image from a second sensor that images a second region that includes a region that overlaps at least a part of the first region and is not included in the first region. When,
A first analysis unit that generates first analysis data that detects the position and occupied area of a moving object reflected in the first image based on the image data related to the first image.
A second analysis unit that generates second analysis data that detects the position and occupied area of a moving object reflected in the second image based on the image data related to the second image.
A data comparison processing unit that interpolates or corrects identification information of a moving object that appears so as to protrude from the image edge of the first image or the second image based on the first analysis data and the second analysis data.
An image processing device comprising.
請求項1に記載の画像処理装置。 When a plurality of moving objects detected in the second image are present in the occupied area of one moving object detected in the first image, the data comparison processing unit is detected in the second image. Identifying multiple moving objects as a single moving object,
The image processing apparatus according to claim 1.
請求項1又は2に記載の画像処理装置。 The data comparison processing unit outputs data obtained by interpolating or correcting at least one of the identification information of the first analysis data or the second analysis data as definite data.
The image processing apparatus according to claim 1 or 2.
前記第2センサは、可視光カメラである、
請求項1乃至3のいずれか一項に記載の画像処理装置。 The first sensor is a laser radar.
The second sensor is a visible light camera.
The image processing apparatus according to any one of claims 1 to 3.
前記第2センサは、サーマルカメラである、
請求項1乃至3のいずれか一項に記載の画像処理装置。 The first sensor is a laser radar.
The second sensor is a thermal camera.
The image processing apparatus according to any one of claims 1 to 3.
前記第2センサは、可視光カメラ及びサーマルカメラである、
請求項1乃至3のいずれか一項に記載の画像処理装置。 The first sensor is a laser radar.
The second sensor is a visible light camera and a thermal camera.
The image processing apparatus according to any one of claims 1 to 3.
前記第2解析部は、時系列に並ぶ前記第2画像に係る画像データに基づいて、前記第2画像に映る動体の位置及び占有領域を検出した前記第2解析データを生成し、
前記データ比較処理部は、前記第1解析データと前記第2解析データとを時間軸を揃えて比較する、
請求項1乃至6のいずれか一項に記載の画像処理装置。 The first analysis unit generates the first analysis data in which the position and the occupied area of the moving object appearing in the first image are detected based on the image data related to the first image arranged in time series.
The second analysis unit generates the second analysis data that detects the position and the occupied area of the moving object reflected in the second image based on the image data related to the second image arranged in time series.
The data comparison processing unit compares the first analysis data and the second analysis data with the time axis aligned.
The image processing apparatus according to any one of claims 1 to 6.
請求項1乃至7のいずれか一項に記載の画像処理装置。 The first analysis unit and / or the second analysis unit detects the position and occupied area of the moving object reflected in the image by using the classifier model learned by machine learning.
The image processing apparatus according to any one of claims 1 to 7.
前記第1領域と少なくとも一部が重複し、且つ、前記第1領域に含まれない領域を含む第2領域を撮像する第2センサから第2画像に係る画像データを取得し、
前記第1画像に係る画像データに基づいて、前記第1画像内に映る動体の位置及び占有領域を検出した第1解析データを生成し、
前記第2画像に係る画像データに基づいて、前記第2画像内に映る動体の位置及び占有領域を検出した第2解析データを生成し、
前記第1解析データと前記第2解析データとに基づいて、前記第1画像又は前記第2画像の画像端からはみ出るようにして映る動体の識別情報を補間又は補正する、
画像処理方法。 Image data related to the first image is acquired from the first sensor that captures the first region, and
Image data related to the second image is acquired from the second sensor that images the second region including the region that overlaps at least a part of the first region and is not included in the first region.
Based on the image data related to the first image, the first analysis data in which the position and the occupied area of the moving object reflected in the first image are detected is generated.
Based on the image data related to the second image, the second analysis data in which the position and the occupied area of the moving object reflected in the second image are detected is generated.
Based on the first analysis data and the second analysis data, the identification information of the moving object that appears so as to protrude from the image edge of the first image or the second image is interpolated or corrected.
Image processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019032963A JP7124760B2 (en) | 2019-02-26 | 2019-02-26 | Image processing device and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019032963A JP7124760B2 (en) | 2019-02-26 | 2019-02-26 | Image processing device and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020140225A true JP2020140225A (en) | 2020-09-03 |
JP7124760B2 JP7124760B2 (en) | 2022-08-24 |
Family
ID=72264861
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019032963A Active JP7124760B2 (en) | 2019-02-26 | 2019-02-26 | Image processing device and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7124760B2 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002099907A (en) * | 2000-09-22 | 2002-04-05 | Mazda Motor Corp | Object recognizing apparatus |
JP2005084035A (en) * | 2003-09-11 | 2005-03-31 | Toyota Motor Corp | Object detecting device |
US20110211754A1 (en) * | 2010-03-01 | 2011-09-01 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
JP2015195018A (en) * | 2014-03-18 | 2015-11-05 | 株式会社リコー | Image processor, image processing method, operation support system, and program |
JP2016011061A (en) * | 2014-06-30 | 2016-01-21 | 本田技研工業株式会社 | Movement support device |
JP2017182696A (en) * | 2016-03-31 | 2017-10-05 | 株式会社デンソー | Object recognition device and object recognition method |
-
2019
- 2019-02-26 JP JP2019032963A patent/JP7124760B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002099907A (en) * | 2000-09-22 | 2002-04-05 | Mazda Motor Corp | Object recognizing apparatus |
JP2005084035A (en) * | 2003-09-11 | 2005-03-31 | Toyota Motor Corp | Object detecting device |
US20110211754A1 (en) * | 2010-03-01 | 2011-09-01 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
JP2015195018A (en) * | 2014-03-18 | 2015-11-05 | 株式会社リコー | Image processor, image processing method, operation support system, and program |
JP2016011061A (en) * | 2014-06-30 | 2016-01-21 | 本田技研工業株式会社 | Movement support device |
JP2017182696A (en) * | 2016-03-31 | 2017-10-05 | 株式会社デンソー | Object recognition device and object recognition method |
Non-Patent Citations (2)
Title |
---|
ZHENG ZHANG, 外1名: ""Accurate pedestrian detection using RGB-D camera"", 2017 IEEE 9TH INTERNATIONAL CONFERENCE ON COMMUNICATION SOFTWARE AND NETWORKS (ICCSN), JPN6022028779, 2017, pages 1218 - 1222, XP033285697, ISSN: 0004823160, DOI: 10.1109/ICCSN.2017.8230304 * |
栗田裕二, 外2名: ""車載画像認識ソフトウェア"", 映像情報インダストリアル, vol. 第50巻, 第8号, JPN6022028777, 1 August 2018 (2018-08-01), JP, pages 25 - 29, ISSN: 0004823159 * |
Also Published As
Publication number | Publication date |
---|---|
JP7124760B2 (en) | 2022-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7756293B2 (en) | Movement capture and analysis apparatus and method | |
JP5950296B2 (en) | Person tracking attribute estimation device, person tracking attribute estimation method, program | |
JP4883517B2 (en) | Three-dimensional measuring apparatus, three-dimensional measuring method, and three-dimensional measuring program | |
TWI419081B (en) | Method and system for providing augmented reality based on marker tracing, and computer program product thereof | |
EP3644277A1 (en) | Image processing system, image processing method, and program | |
US11138419B2 (en) | Distance image processing device, distance image processing system, distance image processing method, and non-transitory computer readable recording medium | |
JP6897787B2 (en) | Posture recognition system, image correction program and image correction method | |
US11461733B2 (en) | Behavior analysis device, behavior analysis system, behavior analysis method, and program | |
JP2019148865A (en) | Identification device, identification method, identification program and non-temporary tangible recording medium recording identification program | |
CN113567550B (en) | Ground material detection method, device, electronic equipment, chip and storage medium | |
US10509513B2 (en) | Systems and methods for user input device tracking in a spatial operating environment | |
JP2010157093A (en) | Motion estimation device and program | |
JP2002366958A (en) | Method and device for recognizing image | |
JP6288770B2 (en) | Face detection method, face detection system, and face detection program | |
US11989928B2 (en) | Image processing system | |
JP7375806B2 (en) | Image processing device and image processing method | |
JP7124760B2 (en) | Image processing device and image processing method | |
KR20150014342A (en) | Apparatus and method for analyzing an image including event information | |
KR20090113746A (en) | A method of robot localization using spatial semantics of objects | |
EP4310549A1 (en) | Sensing system | |
JP7254262B2 (en) | Work estimating device, work estimating method, and work estimating program | |
JP2019179289A (en) | Processing device and program | |
JP7226553B2 (en) | Information processing device, data generation method, and program | |
JP7300331B2 (en) | Information processing device for machine learning, information processing method for machine learning, and information processing program for machine learning | |
JP7117878B2 (en) | processor and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190708 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191016 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210628 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220627 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7124760 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |