JP2020140225A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2020140225A JP2020140225A JP2019032963A JP2019032963A JP2020140225A JP 2020140225 A JP2020140225 A JP 2020140225A JP 2019032963 A JP2019032963 A JP 2019032963A JP 2019032963 A JP2019032963 A JP 2019032963A JP 2020140225 A JP2020140225 A JP 2020140225A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- analysis
- moving object
- analysis data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、画像処理装置、及び画像処理方法に関する。 The present disclosure relates to an image processing apparatus and an image processing method.
カメラ等で撮影された画像に基づいて、撮像領域内に存在する動体の位置を検出する画像処理装置が知られている。この種の画像処理装置は、特に、工事現場や工場などの業務環境において、人や作業機（以下、「動体」と総称する）の位置を正確に把握し、当該動体の行動又は動作を解析したり、当該動体の行動又は動作を予測する用途（以下、「行動解析」と総称する）への適用が期待されている。 An image processing device that detects the position of a moving object existing in the imaging region based on an image taken by a camera or the like is known. This type of image processing device accurately grasps the positions of people and working machines (hereinafter collectively referred to as "moving objects"), especially in a business environment such as a construction site or a factory, and analyzes the behavior or movement of the moving object. It is expected to be applied to applications that predict the behavior or behavior of the moving object (hereinafter collectively referred to as "behavior analysis").
例えば、特許文献１には、解像能力の異なる２つのセンサを利用して動体認識を行い、状況に応じてどちらのセンサの動体認識結果を採用するかを切り替えることで、認識精度を向上させようとする技術が開示されている。
For example, in
ところで、この種の画像処理装置において、動体の行動解析の精度を高めるためには、画像内に映る動体の各部位がどの位置に存在するかを認識する必要がある。 By the way, in this kind of image processing apparatus, in order to improve the accuracy of behavior analysis of a moving body, it is necessary to recognize the position of each part of the moving body reflected in the image.
しかしながら、実際には、必ずしも行動解析の対象となる動体の全体が、画像内に映るように撮像されるわけではなく、当該動体の一部が、画像からはみ出すようにして撮像されている場合もある。このような場合、典型的には、当該動体は、画像内において、当該動体の複数の部位が分離するようにして映ることになる（後述する図６Ａ、図６Ｂを参照）。 However, in reality, the entire moving object to be analyzed for behavior is not always imaged so as to be reflected in the image, and a part of the moving object may be imaged so as to protrude from the image. is there. In such a case, the moving object is typically projected so that a plurality of parts of the moving object are separated from each other in the image (see FIGS. 6A and 6B described later).
この際、従来技術に係る画像処理装置では、画像内に分離して映る一つの動体の複数の部位それぞれを、別個の動体と認識してしまうおそれがある。その結果、動体の数や姿勢、動体のトラッキングの認識の精度悪化を招くことになる。 At this time, in the image processing apparatus according to the prior art, there is a possibility that each of a plurality of parts of one moving object that are separately reflected in the image may be recognized as separate moving objects. As a result, the accuracy of recognition of the number and posture of moving objects and tracking of moving objects is deteriorated.
本開示は、上記問題点に鑑みてなされたもので、画像端に映る動体の認識精度を向上し得る画像処理装置及び画像処理方法を提供することを目的とする。 The present disclosure has been made in view of the above problems, and an object of the present disclosure is to provide an image processing apparatus and an image processing method capable of improving the recognition accuracy of a moving object reflected on an image edge.
前述した課題を解決する主たる本開示は、
第１領域を撮像する第１センサから第１画像に係る画像データを取得する第１画像取得部と、
前記第１領域と少なくとも一部が重複し、且つ、前記第１領域に含まれない領域を含む第２領域を撮像する第２センサから第２画像に係る画像データを取得する第２画像取得部と、
前記第１画像に係る画像データに基づいて、前記第１画像内に映る動体の位置及び占有領域を検出した第１解析データを生成する第１解析部と、
前記第２画像に係る画像データに基づいて、前記第２画像内に映る動体の位置及び占有領域を検出した第２解析データを生成する第２解析部と、
前記第１解析データと前記第２解析データとに基づいて、前記第１画像又は前記第２画像の画像端からはみ出るようにして映る動体の識別情報を補間又は補正するデータ比較処理部と、
を備える画像処理装置である。
The main disclosure that solves the above-mentioned problems is
A first image acquisition unit that acquires image data related to the first image from the first sensor that captures the first region, and
A second image acquisition unit that acquires image data related to a second image from a second sensor that images a second region that includes a region that overlaps at least a part of the first region and is not included in the first region. When,
A first analysis unit that generates first analysis data that detects the position and occupied area of a moving object reflected in the first image based on the image data related to the first image.
A second analysis unit that generates second analysis data that detects the position and occupied area of a moving object reflected in the second image based on the image data related to the second image.
A data comparison processing unit that interpolates or corrects identification information of a moving object that appears so as to protrude from the image edge of the first image or the second image based on the first analysis data and the second analysis data.
It is an image processing apparatus provided with.
又、他の局面では、
第１領域を撮像する第１センサから第１画像に係る画像データを取得し、
前記第１領域と少なくとも一部が重複し、且つ、前記第１領域に含まれない領域を含む第２領域を撮像する第２センサから第２画像に係る画像データを取得し、
前記第１画像に係る画像データに基づいて、前記第１画像内に映る動体の位置及び占有領域を検出した第１解析データを生成し、
前記第２画像に係る画像データに基づいて、前記第２画像内に映る動体の位置及び占有領域を検出した第２解析データを生成し、
前記第１解析データと前記第２解析データとに基づいて、前記第１画像又は前記第２画像の画像端からはみ出るようにして映る動体の識別情報を補間又は補正する、
画像処理方法である。
Also, in other aspects,
Image data related to the first image is acquired from the first sensor that captures the first region, and
Image data related to the second image is acquired from the second sensor that images the second region including the region that overlaps at least a part of the first region and is not included in the first region.
Based on the image data related to the first image, the first analysis data in which the position and the occupied area of the moving object reflected in the first image are detected is generated.
Based on the image data related to the second image, the second analysis data in which the position and the occupied area of the moving object reflected in the second image are detected is generated.
Based on the first analysis data and the second analysis data, the identification information of the moving object that appears so as to protrude from the image edge of the first image or the second image is interpolated or corrected.
This is an image processing method.
本開示に係る画像処理装置によれば、画像端に映る動体の認識精度を向上することが可能である。 According to the image processing apparatus according to the present disclosure, it is possible to improve the recognition accuracy of a moving object reflected on the edge of an image.
以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Preferred embodiments of the present disclosure will be described in detail below with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same function are designated by the same reference numerals, so that duplicate description will be omitted.
（第１の実施形態）
［監視システムの全体構成］
以下、図１〜図４を参照して、一実施形態に係る監視システムの構成、及び監視システムに適用した画像処理装置の構成の概要について説明する。
(First Embodiment)
[Overall configuration of monitoring system]
Hereinafter, with reference to FIGS. 1 to 4, an outline of the configuration of the monitoring system according to the embodiment and the configuration of the image processing device applied to the monitoring system will be described.
図１は、本実施形態に係る監視システムＵの一例を示す図である。本実施形態に係る監視システムＵは、工事現場内に存在する動体（ここでは、作業機Ｍ１、作業機Ｍ２）の動きを解析する用途に適用されている。 FIG. 1 is a diagram showing an example of the monitoring system U according to the present embodiment. The monitoring system U according to the present embodiment is applied to an application for analyzing the movement of moving objects (here, working machine M1 and working machine M2) existing in a construction site.
本実施形態に係る監視システムＵは、画像処理装置１００、レーザーレーダー２００、及び、カメラ３００を備えている。
The monitoring system U according to the present embodiment includes an
レーザーレーダー２００（本発明の「第１センサ」に相当）（Light Detection And Ranging:LiDARとも称される）は、レーザ光を打ち出し、当該レーザ光が動体に反射して戻ってくるまでの時間（TOF：Time of Flight）を測定することで、自身の位置から動体の位置までの距離を求める。レーザーレーダー２００は、かかる処理を、監視対象領域が映る所定範囲内を走査しながら行うことにより、距離画像に係る画像データ（以下、「距離画像」と略称する）を生成する。尚、レーザーレーダー２００は、フレーム単位の距離画像を連続的に生成し、時系列に並んだ距離画像（即ち、動画像）を画像処理装置１００に対して出力する。
The laser radar 200 (corresponding to the "first sensor" of the present invention) (also referred to as Light Detection And Ranging: LiDAR) emits a laser beam, and the time until the laser beam is reflected by a moving object and returned ( By measuring TOF: Time of Flight), the distance from one's own position to the position of a moving object is obtained. The
距離画像は、各走査位置を画素として、画素毎に、レーザーレーダー２００の測定データ（例えば、距離及び反射強度）が画素値として対応付けられた画像である（点群データとも称される）。距離画像は、監視対象領域内における動体の３次元（例えば、水平方向、鉛直方向、及び奥行方向）の位置を示すものであり、例えば、動体の存在位置を３次元の直交座標系（Ｘ、Ｙ、Ｚ）で表す。
The distance image is an image in which each scanning position is a pixel and the measurement data (for example, distance and reflection intensity) of the
カメラ３００（本発明の「第２センサ」に相当）は、例えば、可視カメラであり、自身の有する撮像素子（ＣＭＯＳセンサ又はＣＣＤセンサ）が生成した画像信号をＡＤ変換して、カメラ画像に係る画像データ（以下、「カメラ画像」と略称する）を生成する。尚、カメラ３００は、フレーム単位のカメラ画像を連続的に生成して、時系列に並んだカメラ画像（即ち、動画像）を画像処理装置１００に対して出力する。
The camera 300 (corresponding to the "second sensor" of the present invention) is, for example, a visible camera, and relates to a camera image by AD-converting an image signal generated by its own image sensor (CMOS sensor or CCD sensor). Image data (hereinafter abbreviated as "camera image") is generated. The
カメラ画像は、例えば、画素毎に、ＲＧＢそれぞれについての輝度値（例えば、ＲＧＢそれぞれについての２５６階調の輝度値）が画素値として対応付けられた画像である。 The camera image is, for example, an image in which a luminance value for each of RGB (for example, a luminance value of 256 gradations for each of RGB) is associated as a pixel value for each pixel.
図２は、本実施形態に係る監視システムＵにおけるレーザーレーダー２００の視野（即ち、撮像範囲）とカメラ３００の視野（即ち、撮像範囲）とを示す図である。尚、図２中では、Ｒ１領域がレーザーレーダー２００の視野を表し、Ｒ２領域がカメラ３００の視野を表す。
FIG. 2 is a diagram showing a field of view (that is, an imaging range) of the
レーザーレーダー２００及びカメラ３００は、同一の監視対象領域を撮像するように、当該監視対象領域付近の適宜な位置に設置されている。即ち、レーザーレーダー２００の視野とカメラ３００の視野とは、注目視野が共通となるように設置されている。但し、レーザーレーダー２００の視野の一部は、カメラ３００の視野外の領域を含み、カメラ３００の視野の一部は、レーザーレーダー２００の視野外の領域を含む。
The
一般に、レーザーレーダー２００の視野は、図２のＲ１領域に示すように、横方向（ここでは、水平方向）に長く、縦方向（ここでは、垂直方向）に短い。一方、カメラ３００の視野は、図２のＲ２領域に示すように、レーザーレーダー２００の視野に比較して、正方形に近い。そのため、レーザーレーダー２００の視野（即ち、撮像対象領域）は、横方向については、カメラ３００の視野（即ち、撮像対象領域）よりも広く、縦方向については、カメラ３００の視野（即ち、撮像対象領域）よりも狭くなるケースが多い。そのため、レーザーレーダー２００の視野とカメラ３００の視野とは、一部が重複し、一部が他方の視野外の領域を含んでいる。
In general, the field of view of the
画像処理装置１００は、レーザーレーダー２００で生成された距離画像の画像データ、及び、カメラ３００で生成されたカメラ画像の画像データに基づいて、監視対象領域内に存在する動体（図１では、作業機Ｍ１、作業機Ｍ２）の動きをトラッキングし、そのトラッキング結果を出力する。
The
図３は、本実施形態に係る画像処理装置１００のハードウェア構成を示す図である。
FIG. 3 is a diagram showing a hardware configuration of the
画像処理装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、及び通信インタフェイス１０５等を備えたコンピュータである。
The
画像処理装置１００の後述する各機能は、例えば、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４等に記憶された制御プログラム（例えば、画像処理プログラム）や各種データを参照することによって実現される。但し、各機能の一部又は全部は、ＣＰＵによる処理に代えて、又は、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に代えて、又は、これと共に、専用のハードウェア回路（例えば、ＡＳＩＣ又はＦＰＧＡ）による処理によって実現されてもよい。
Each function described later in the
［画像処理装置の構成］
次に、図４〜図７を参照して、本実施形態に係る画像処理装置１００の構成の一例について説明する。
[Configuration of image processing device]
Next, an example of the configuration of the
図４は、本実施形態に係る画像処理装置１００の機能ブロックを示す図である。尚、図４中の矢印は、データの流れを表す。
FIG. 4 is a diagram showing a functional block of the
図５Ａは、第１解析部３０により生成される解析データＤ１の一例を示す図であり、図５Ｂは、第２解析部４０により生成される解析データＤ２の一例を示す図である。尚、図５Ａ、図５Ｂは、各クレームにおける動体の位置を示しており、ＩＤ（本発明の「識別情報」に相当する）は各動体の識別番号を表し、ｔ＝０、ｔ＝１、ｔ＝２…はフレーム番号を表す。
FIG. 5A is a diagram showing an example of analysis data D1 generated by the
図６Ａは、第１解析部３０により生成される解析データＤ１（即ち、動体の位置及び占有領域）を距離画像に重ね合わせて示した図であり、図６Ｂは、第２解析部４０により生成される解析データＤ２（即ち、動体の位置及び占有領域）をカメラ画像に重ね合わせて示した図である。
FIG. 6A is a diagram showing the analysis data D1 (that is, the position and occupied area of the moving body) generated by the
画像処理装置１００は、第１画像取得部１０、第２画像取得部２０、第１解析部３０、第２解析部４０、データ比較処理部５０、及び、データ出力部６０を備えている。
The
第１画像取得部１０は、レーザーレーダー２００が生成した距離画像（本発明の「第１画像」に相当）を取得する。尚、第１画像取得部１０は、レーザーレーダー２００から、時系列に並んだ距離画像を順次取得する。
The first
第２画像取得部２０は、カメラ３００が生成したカメラ画像（本発明の「第２画像」に相当）を取得する。尚、第２画像取得部２０は、カメラ３００から、時系列に並んだカメラ画像を順次取得する。
The second
第１解析部３０は、距離画像内に映る動体の位置及び占有領域を検出した解析データ（以下、「第１解析データ」と称する）Ｄ１を生成する。この際、第１解析部３０は、時系列に並んだ距離画像に基づいて、監視対象領域に存在する動体の位置を解析し、その結果を第１解析データＤ１として出力する。
The
具体的には、第１解析部３０は、時系列に並んだ距離画像の各フレームに映る動体を検出し、動体毎に、ＩＤを付与すると共に、その動体が存在する位置及び占有領域を、ＩＤと関連付けて記憶する。第１解析部３０は、例えば、注目フレームで検出された動体とその前フレームで検出された動体との関連度を算出し、当該関連度に基づいて、注目フレームで検出された動体と前フレームで検出された動体との同一性を判定する。そして、この際、第１解析部３０は、注目フレームで検出された動体と前フレームで検出された動体とが同一である場合には、注目フレームで検出された動体に対して、前フレームで検出された動体と同一のＩＤを付与し、注目フレームで検出された動体と前フレームで検出された動体とが同一でない場合には、注目フレームで検出された動体に対して、新規なＩＤを付与する。このようにして、第１解析部３０は、各フレームに映る動体を、各別に、トラッキングする。
Specifically, the
第１解析部３０は、本実施形態では、人や作業機等、一体的な動体毎に、ＩＤを付与すると共に、その存在位置を特定する。但し、第１解析部３０は、人の腕、頭、又は脚等、一つの個体の各部位を各別の動体として認識し、当該個体の部位毎の位置を認識するものであってもよい。
In the present embodiment, the
尚、第１解析部３０が距離画像中から動体を検出する手法は、公知の任意の手法であってよい。第１解析部３０は、例えば、注目フレームと前フレームとの差分を取ることによって、動体を検出してもよい。又、第１解析部３０は、例えば、距離画像中の測距点のクラスタの特徴量（例えば、形状及びサイズ等）に基づいて、パターンマッチングにより、動体（例えば、人や車）を検出してもよい。
The method by which the
又、第１解析部３０が異なるフレーム間で各動体の同一性を判定する手法は、公知の任意の手法であってよい。第１解析部３０は、例えば、注目フレームで検出された動体と前フレームで検出された動体との間の距離、両者の間のサイズの類似性、両者の間の形状の類似性、両者の間の色の類似性、及び、両者の間の移動速度の類似性等に基づいて、両者の間の関連度を算出し、両者の間の関連度が閾値以上の場合には、注目フレームで検出された動体と前フレームで検出された動体とを同一の動体と認識する。
Further, the method by which the
但し、より好適には、第１解析部３０（及び／又は第２解析部４０）は、機械学習により学習済みの識別器モデルを用いて、画像（ここでは、距離画像）中から動体を検出したり、異なるフレーム間で動体の同一性を判定する。これにより、動体の見え方の変化に対する、動体検出のロバスト性を高めることが可能である。例えば、画像中から動体を検出する手法としては、畳み込みニュートラルネットワーク（Convolutional Neural Network：ＣＮＮ）を用いるのが好適である。又、異なるフレーム間で各動体の同一性を判定する手法としては、例えば、隠れマルコフモデル（Hidden Markov Model：ＨＭＭ）を用いるのが好適である。その際、識別器モデルに対しては、入力画像と正解値とが関連付けられて構成された学習データを用いた強化学習により、機械学習を実行すればよい。 However, more preferably, the first analysis unit 30 (and / or the second analysis unit 40) detects a moving object from the image (here, the distance image) by using the classifier model learned by machine learning. Or determine the identity of a moving object between different frames. This makes it possible to enhance the robustness of moving object detection against changes in the appearance of moving objects. For example, as a method for detecting a moving object in an image, it is preferable to use a convolutional neural network (CNN). Further, as a method for determining the identity of each moving object between different frames, for example, it is preferable to use a Hidden Markov Model (HMM). At that time, for the classifier model, machine learning may be executed by reinforcement learning using the learning data configured by associating the input image with the correct answer value.
第１解析データＤ１は、例えば、時系列に並んだ距離画像の各フレームにおける動体の位置（ここでは、三次元の座標位置）及び占有領域を示すデータである（図５Ａを参照）。第１解析データＤ１は、例えば、動体毎に、ＩＤと当該動体の位置及び占有領域の時間的変化に係る情報を含む。即ち、第１解析データＤ１は、各フレームに映る同一の動体には、一つのＩＤのみを付与して、当該動体を識別している。そして、監視対象領域内に複数の動体が存在する場合には、第１解析データＤ１は、複数の動体それぞれに各別のＩＤを付与して、当該動体の位置及び占有領域の時間的変化を関連付けて記録する。 The first analysis data D1 is, for example, data showing the position of a moving object (here, a three-dimensional coordinate position) and an occupied area in each frame of a distance image arranged in a time series (see FIG. 5A). The first analysis data D1 includes, for example, information relating to the ID, the position of the moving body, and the temporal change of the occupied area for each moving body. That is, the first analysis data D1 assigns only one ID to the same moving object reflected in each frame to identify the moving object. Then, when a plurality of moving objects exist in the monitored area, the first analysis data D1 assigns different IDs to each of the plurality of moving objects, and changes the position of the moving objects and the occupied area with time. Associate and record.
第２解析部４０は、カメラ画像内に映る動体の位置及び占有領域を検出した解析データ（以下、「第２解析データ」と称する）を生成する。この際、第２解析部４０は、時系列に並んだカメラ画像に基づいて、監視対象領域に存在する動体の位置をトラッキングし、その結果を第２解析データＤ２として出力する。
The
第２解析部４０がカメラ画像中から動体を検出する手法、及び異なるフレーム間で各動体を同定する手法は、第１解析部３０と同様に、公知の任意の手法を用いることができる。尚、第２解析部４０は、これらの処理の際に、第１解析部３０と同様に、学習済みの識別器モデルを用いるのが望ましい。
As a method for the
第２解析データＤ２は、例えば、時系列に並んだカメラ画像の各フレームにおける動体の位置（ここでは、二次元の座標位置）及び占有領域を示すデータである（図５Ｂを参照）。第２解析データＤ２には、第１解析データＤ１と同様に、動体毎に、ＩＤと当該動体の位置及び占有領域の時間的変化とが関連付けて記録されている。 The second analysis data D2 is, for example, data indicating the position of a moving object (here, a two-dimensional coordinate position) and an occupied area in each frame of the camera images arranged in time series (see FIG. 5B). Similar to the first analysis data D1, the second analysis data D2 records the ID, the position of the moving body, and the temporal change of the occupied area in association with each moving body.
データ比較処理部５０は、第１解析データＤ１と第２解析データＤ２とを時間軸を揃えて比較し、第１解析データＤ１と第２解析データＤ２とに基づいて、距離画像又はカメラ画像の画像端からはみ出るようにして映る動体の識別情報（即ち、ＩＤ）を補間又は補正した上で、監視対象領域に存在する動体の位置、占有領域及びＩＤを確定した確定データＤ３を出力する。
The data
まず、図６Ａ及び図６Ｂを参照して、データ比較処理部５０における、１フレーム分のデータ比較処理について、説明する。
First, with reference to FIGS. 6A and 6B, the data comparison process for one frame in the data
図６Ａでは、距離画像において、動体Ｍ１の下方側の部位が下方側の画像端からはみ出し、当該動体Ｍ１の前部Ｍ１ａと後部Ｍ１ｂとが分離して映った状態を示している。又、図６Ａでは、距離画像内においては、動体Ｍ２の上方側の部位が上方側の画像端からはみ出し、当該動体Ｍ２の前部Ｍ２ａと後部Ｍ２ｂとが分離して映った状態を示している。このような場合、第１解析部３０は、動体Ｍ１の前部Ｍ１ａと後部Ｍ１ｂとを別個の動体として認識し、又、動体Ｍ２の前部Ｍ２ａと後部Ｍ２ｂとを別個の動体として認識してしまう。
FIG. 6A shows a state in which the lower portion of the moving body M1 protrudes from the lower image edge in the distance image, and the front portion M1a and the rear portion M1b of the moving body M1 are projected separately. Further, in FIG. 6A, in the distance image, the upper part of the moving body M2 protrudes from the upper side image edge, and the front part M2a and the rear part M2b of the moving body M2 are shown separately. .. In such a case, the
一方、図６Ｂでは、カメラ画像において、動体Ｍ１のすべての部位、及び動体Ｍ２のすべての部位が、画像内に映った状態を示している。このような場合、第２解析部４０は、動体Ｍ１を一体的な一つの動体として認識し、同様に、動体Ｍ２を一体的な一つの動体として認識する。
On the other hand, in FIG. 6B, in the camera image, all the parts of the moving body M1 and all the parts of the moving body M2 are shown in the image. In such a case, the
データ比較処理部５０は、かかる観点から、距離画像から検出された動体の位置及び占有領域と、当該距離画像と同一時刻に生成されたカメラ画像から検出された動体の位置及び占有領域とを比較して、距離画像又はカメラ画像の一方の画像端からはみ出るようにして映る動体の識別情報を補間又は補正する。
From this point of view, the data
具体的には、データ比較処理部５０は、カメラ画像又は距離画像の一方から検出された一つの動体の占有領域内に、カメラ画像又は距離画像の他方から検出された動体が複数存在するか否かを判定し、一方から検出された一つの動体の占有領域内に、他方から検出された動体が複数存在する場合、他方から検出された複数の動体を一体的な一つの動体（即ち、単一の動体）と識別する。
Specifically, the data
図６Ａ、図６Ｂの例では、カメラ画像から検出された動体Ｍ１の占有領域内に、距離画像から検出された動体Ｍ１ａと動体Ｍ１ｂとが含まれているため、データ比較処理部５０は、距離画像から検出された動体Ｍ１ａと動体Ｍ１ｂとを同一の動体であると認識する。又、同様に、カメラ画像から検出された動体Ｍ２の占有領域内に、距離画像から検出された動体Ｍ２ａと動体Ｍ２ｂとが含まれているため、データ比較処理部５０は、距離画像から検出された動体Ｍ２ａと動体Ｍ２ｂとを同一の動体であると認識する。
In the examples of FIGS. 6A and 6B, since the moving body M1a and the moving body M1b detected from the distance image are included in the occupied area of the moving body M1 detected from the camera image, the data
そして、データ比較処理部５０は、この識別結果（例えば、距離画像内で検出された動体の位置及び占有領域と、カメラ画像内で検出された動体の位置及び占有領域とを関連付けたデータ）を、確定データＤ３として出力する。このように、データ比較処理部５０は、より広角な視野を有するカメラ３００で生成されたカメラ画像を利用して、距離画像からはみ出して映る動体の全体領域を把握する。これによって、距離画像及び／又はカメラ画像に映る動体の数、位置及び占有領域を、正確に認識することを可能とする。
Then, the data
尚、データ比較処理部５０にて当該処理を実行し得るように、距離画像が示す座標位置（即ち、第１解析データＤ１が示す座標位置）とカメラ画像が示す座標位置（即ち、第２解析データＤ２が示す座標位置）との対応関係を示すデータを、予め画像処理装置１００のＲＯＭ１０２等に記憶しておくのが望ましい。
The coordinate position indicated by the distance image (that is, the coordinate position indicated by the first analysis data D1) and the coordinate position indicated by the camera image (that is, the second analysis) so that the data
データ比較処理部５０は、このようにして、第１解析データＤ１と第２解析データＤ２との比較処理を行い、１フレーム分の確定データＤ３を生成する。そして、データ比較処理部５０は、第１解析データＤ１及び第２解析データＤ２の各フレームについて、上記と同様の処理を行い、監視対象領域内に存在する動体の位置及び占有領域を、ＩＤと関連付けた時系列な情報を、確定データＤ３として生成する。
In this way, the data
データ比較処理部５０が生成する確定データＤ３のデータ構成は、任意である。確定データＤ３は、例えば、第１解析データＤ１及び第２解析データＤ２と共に、距離画像又はカメラ画像の画像端からはみ出るようにして映る動体の識別情報を補間したデータを付帯させたものであってもよい。又、確定データＤ３は、例えば、第１解析データＤ１及び第２解析データＤ２の一方のＩＤを、上記した比較処理にて補正したデータであってもよい。
The data structure of the finalized data D3 generated by the data
データ出力部６０は、確定データＤ３に基づいて、監視対象領域内に存在する動体の位置及び占有領域を特定する表示画像を生成し、当該表示画像をディスプレイ（図示せず）に表示させる。
The
図７は、データ出力部６０が生成する表示画像の一例を示す図である。尚、図７に示す表示画像は、距離画像上に、２つの動体Ｍ１、Ｍ２それぞれの位置及び占有領域をマークにより表したものである。
FIG. 7 is a diagram showing an example of a display image generated by the
表示画像内では、動体Ｍ１、Ｍ２それぞれの位置及び占有領域は、実線で囲むようにマークされている。又、表示画像内では、一つの動体Ｍ１の部位Ｍ１ａ及びＭ１ｂそれぞれの位置及び占有領域は、動体Ｍ１の占有領域を示す実線の中で、点線で囲むようにマークされている。又、表示画像内では、他の動体Ｍ２の部位Ｍ２ａ及びＭ２ｂそれぞれの位置及び占有領域が、動体Ｍ２の占有領域を示す実線の中で、点線で囲むようにマークされている。 In the displayed image, the positions and occupied areas of the moving objects M1 and M2 are marked so as to be surrounded by solid lines. Further, in the displayed image, the positions and occupied areas of the parts M1a and M1b of one moving body M1 are marked so as to be surrounded by a dotted line in the solid line indicating the occupied area of the moving body M1. Further, in the displayed image, the positions and occupied areas of the parts M2a and M2b of the other moving body M2 are marked so as to be surrounded by a dotted line in the solid line indicating the occupied area of the moving body M2.
図７中では、動体Ｍ２は、当該動体Ｍ２の上端側の部位が距離画像の画像端からはみ出すように、画像内に映っているが、当該動体Ｍ２の位置及び占有領域は、確定データＤ３上では、カメラ画像から検出された動体Ｍ２の位置及び占有領域により、データ補間されている。 In FIG. 7, the moving body M2 is shown in the image so that the upper end side portion of the moving body M2 protrudes from the image edge of the distance image, but the position and the occupied area of the moving body M2 are on the definite data D3. In, the data is interpolated by the position and the occupied area of the moving body M2 detected from the camera image.
このようにして、ユーザは、表示画像から動体Ｍ１、Ｍ２それぞれの数や位置、及び占有領域を正確に把握することができる。そして、これによって、ユーザは、動体Ｍ１、Ｍ２それぞれの姿勢を推定したり、動体Ｍ１、Ｍ２それぞれの行動を予測したりすることができる。 In this way, the user can accurately grasp the number and position of each of the moving objects M1 and M2 and the occupied area from the displayed image. As a result, the user can estimate the postures of the moving objects M1 and M2 and predict the behaviors of the moving objects M1 and M2, respectively.
［画像処理装置の動作フロー］
次に、図８、図９Ａ、図９Ｂ、図９Ｃを参照して、本実施形態に係る画像処理装置１００の動作の一例について説明する。
[Operation flow of image processing device]
Next, an example of the operation of the
図８は、本実施形態に係る画像処理装置１００（データ比較処理部５０）が第１解析データＤ１と第２解析データＤ２とを比較する処理を示すフローチャートである。図８に示すフローチャートは、例えば、画像処理装置１００がコンピュータプログラムに従って、所定間隔（例えば、１００ｍｓ間隔）で実行するものである。
FIG. 8 is a flowchart showing a process in which the image processing apparatus 100 (data comparison processing unit 50) according to the present embodiment compares the first analysis data D1 with the second analysis data D2. In the flowchart shown in FIG. 8, for example, the
図９Ａ、図９Ｂ、図９Ｃは、図８のフローチャートの処理を模式的に説明する図である。 9A, 9B, and 9C are diagrams schematically illustrating the processing of the flowchart of FIG. 8.
ステップＳ１〜Ｓ４は、第１解析データＤ１と第２解析データＤ２とを比較する処理を行うための前処理工程である。この前処理工程では、まず、画像処理装置１００は、時系列の距離画像に基づいて、第１解析データＤ１を生成する（ステップＳ１）。次に、画像処理装置１００は、時系列のカメラ画像に基づいて、第２解析データＤ２を生成する（ステップＳ２）。次に、画像処理装置１００は、第１解析データＤ１と第２解析データＤ２とを比較する解析対象時刻（例えば、時刻Ｔ＝8:00:00）を設定する（ステップＳ３）。次に、画像処理装置１００は、解析対象の間隔（例えば、時間間隔ｄ＝１秒）を設定する（ステップＳ４）。
Steps S1 to S4 are preprocessing steps for performing a process of comparing the first analysis data D1 and the second analysis data D2. In this preprocessing step, first, the
次に、画像処理装置１００は、第１解析データＤ１（ＩＤ、動体の位置、及び動体の占有領域を示すデータ）のうち、時刻Ｔのフレームのデータを、配列形式の記憶部である第１配列に設定する（図９Ａを参照）（ステップＳ５）。次に、画像処理装置１００は、時刻Ｔの第２解析データＤ２（ＩＤ、動体の位置、及び動体の占有領域を示すデータ）のうち、時刻Ｔのフレームのデータを、配列形式の記憶部である第２配列に記憶する（図９Ａを参照）（ステップＳ６）。次に、画像処理装置１００は、配列形式の記憶部である補間データ配列を作成（又は初期化）する（図９Ａを参照）（ステップＳ７）。
Next, the
次に、画像処理装置１００は、第２解析データＤ２中の読み出し対象の変数ｎ（ここでは、第２解析データＤ２中のＩＤの要素を表す）を、まず、ｎ＝０に設定し（ステップＳ８）、ステップＳ８ａ〜Ｓ８ｂまで、変数ｎを順番にインクリメントしていくループ処理を実行する。次に、画像処理装置１００は、第１解析データＤ１中の読み出し対象の変数ｉ（ここでは、第１解析データＤ１中のＩＤの要素を表す）を、まず、ｉ＝０に設定し（ステップＳ９）、ステップＳ９ａ〜Ｓ９ｂまで、変数ｉを順番にインクリメントしていくループ処理を実行する。
Next, the
このステップＳ９ａ〜Ｓ９ｂのループ処理内では、画像処理装置１００は、第２解析データＤ２中の動体［ｎ］の占有領域内に、第１解析データＤ１中の動体［ｉ］の占有領域が閾値（例えば、８０％）以上含まれるか否かを判定する（ステップＳ１０）。そして、画像処理装置１００は、第２解析データＤ２中の動体［ｎ］の占有領域内に、第１解析データＤ１中の動体［ｉ］の占有領域が閾値（例えば、８０％）以上含まれる場合には（Ｓ１０：Ｙｅｓ）、補間データ配列に、第２解析データＤ２中の動体［ｎ］と第１解析データＤ１中の動体［ｉ］とを関連付けて記憶した上で（ステップＳ１１）（図９Ｂを参照）、変数ｉをインクリメントして（ｉ←ｉ＋１）、再度、ステップＳ１０の判定処理を実行する。一方、第２解析データＤ２中の動体［ｎ］の占有領域内に、第１解析データＤ１中の動体［ｉ］の占有領域が閾値（例えば、８０％）以上含まれない場合には（Ｓ１０：Ｎｏ）、画像処理装置１００は、特に処理を実行せず、変数ｉをインクリメントして（ｉ←ｉ＋１）、再度、ステップＳ１０の判定処理を実行する。
In the loop processing of steps S9a to S9b, the
変数ｉに係るすべて要素について、ステップＳ９ａ〜Ｓ９ｂの処理が終了した後、同様に、ステップＳ８ａ〜Ｓ８ｂのループ処理に従って、変数ｎを順番にインクリメントし、補間データ配列に、第２解析データＤ２中の動体［ｎ］と第１解析データＤ１中の動体［ｉ］とを関連付けて記憶していく（図９Ｃを参照）。そして、画像処理装置１００は、すべての第２解析データＤ２中の動体［ｎ］と第１解析データＤ１中の動体［ｉ］との関係について判定する。
After the processing of steps S9a to S9b is completed for all the elements related to the variable i, the variable n is sequentially incremented in order according to the loop processing of steps S8a to S8b, and the interpolated data array is displayed in the second analysis data D2. The moving body [n] of No. 1 and the moving body [i] in the first analysis data D1 are associated and stored (see FIG. 9C). Then, the
これにより、第２解析データＤ２の各動体と、第１解析データＤ１の各動体との対応関係が特定される。図９Ｂ、図９Ｃの例では、距離画像から生成された各動体Ｍ１ａ、Ｍ１ｂ、Ｍ２ａ、Ｍ２ｂと、カメラ画像から生成された各動体Ｍ１、Ｍ２との対応関係が特定され、第１解析データＤ１の動体Ｍ１ａ及び動体Ｍ１ｂは、第２解析データＤ２の動体Ｍ１と同一の動体であり、第１解析データＤ１の動体Ｍ２ａ及び動体Ｍ２ｂは、第２解析データＤ２の動体Ｍ２と同一の動体であることが、補間データ配列に記憶されている。 Thereby, the correspondence relationship between each moving body of the second analysis data D2 and each moving body of the first analysis data D1 is specified. In the examples of FIGS. 9B and 9C, the correspondence between the moving objects M1a, M1b, M2a, and M2b generated from the distance image and the moving objects M1 and M2 generated from the camera image is specified, and the first analysis data D1 The moving body M1a and the moving body M1b are the same moving bodies as the moving body M1 of the second analysis data D2, and the moving body M2a and the moving body M2b of the first analysis data D1 are the same moving bodies as the moving body M2 of the second analysis data D2. Is stored in the interpolated data array.
次に、画像処理装置１００は、すべての時刻のフレームについて、第１解析データＤ１と第２解析データＤ２との間の対応関係の判定処理が実行されたか否かを判定し（ステップＳ１２）、すべての時刻のフレームについて、第１解析データＤ１と第２解析データＤ２との間の対応関係の判定処理が実行されていない場合（Ｓ１２：Ｙｅｓ）、時刻を進めて（Ｔ←Ｔ＋ｄ）（ステップＳ１３）、ステップＳ５〜Ｓ１２の処理を同様に実行する。そして、すべての時刻のフレームについて、第１解析データＤ１と第２解析データＤ２との間の対応関係の判定処理が実行された場合（Ｓ１２：Ｎｏ）、図８のフローチャートの処理を終了する。
Next, the
［効果］
以上のように、本実施形態に係る画像処理装置１００は、データ比較部５０にて、第１解析データＤ１と第２解析データＤ２とに基づいて、第１画像（例えば、距離画像）又は第２画像（例えば、カメラ画像）の画像端からはみ出るようにして映る動体の識別情報（ＩＤ）を補間又は補正して、動体の位置及び占有領域を確定した確定データＤ３を生成する。
[effect]
As described above, in the
従って、本実施形態に係る画像処理装置１００によれば、第１画像（例えば、距離画像）又は第２画像（例えば、カメラ画像）から、はみ出るようにして映る動体を正確に識別することが可能である。
Therefore, according to the
これによって、監視対象領域内に存在する動体の正確な数と位置を認識することが可能となる。加えて、これによって、監視対象領域内に存在する動体の姿勢をより正確に把握することも可能となるため、行動解析の精度向上にも資する。 This makes it possible to recognize the exact number and position of moving objects existing in the monitored area. In addition, this makes it possible to more accurately grasp the posture of a moving object existing in the monitored area, which also contributes to improving the accuracy of behavior analysis.
（第２の実施形態）
次に、図１０を参照して、第２の実施形態に係る画像処理装置１００について説明する。図１０は、第２の実施形態に係る画像処理装置１００の構成を示す図である。
(Second Embodiment)
Next, the
本実施形態に係る画像処理装置１００は、レーザーレーダー２００に内蔵されている点で、第１の実施形態と相違する。そして、画像処理装置１００の第１画像取得部１０は、レーザーレーダー２００の距離画像生成部２１０（即ち、距離画像を生成する撮像部）から直接画像データを取得する。
The
本実施形態に係る画像処理装置１００によれば、レーザーレーダー２００及びカメラ３００以外の別体のコンピュータを用意する必要性をなくすことが可能である。
According to the
（第３の実施形態）
次に、図１１を参照して、第３の実施形態に係る画像処理装置１００について説明する。図１１は、第３の実施形態に係る画像処理装置１００の構成を示す図である。
(Third Embodiment)
Next, the
本実施形態に係る画像処理装置１００は、上記実施形態のカメラ３００（以下、「可視光カメラ」と称する）に代えて、サーマルカメラ４００からカメラ画像を取得する構成としている点で、第１の実施形態と相違する。
The first
可視光カメラ３００により生成されたカメラ画像は、色情報を含むため、高い動体識別精度を実現することができる。一方、監視対象領域が霧に覆われている状況下や、夜間においては、カメラ画像を用いた動体識別精度は低下する。
Since the camera image generated by the visible
この点、サーマルカメラ４００は、動体から放射される赤外光に基づいてカメラ画像を生成するため、夜間等の状況下においても、高い動体識別精度を実現することができる。そこで、本実施形態に係る画像処理装置１００（第２解析部４０）は、サーマルカメラ４００により生成されたカメラ画像を用いて、第２解析データＤ２を生成する。そして、本実施形態に係る画像処理装置１００（データ比較処理部５０）は、当該第２解析データＤ２を用いて、第１解析データＤ１のＩＤの誤りを補正する。
In this respect, since the
以上のように、本実施形態に係る画像処理装置１００によれば、監視対象領域が霧に覆われている状況下や、夜間においても、高精度に動体を認識することができる。
As described above, according to the
尚、画像処理装置１００は、可視光カメラ３００により生成されたカメラ画像、及びサーマルカメラ４００により生成されたカメラ画像の両方を用いてもよい。そして、第２解析データＤ２を生成する際には、可視光カメラ３００により生成されたカメラ画像、及びサーマルカメラ４００により生成されたカメラ画像の両方を用いてもよいし、選択的に使用するカメラ画像を切り替えるようにしてもよい。
The
（その他の実施形態）
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。
(Other embodiments)
The present invention is not limited to the above embodiment, and various modifications can be considered.
上記実施形態では、画像処理装置１００の構成の一例として、第１画像取得部１０、第２画像取得部２０、第１解析部３０、第２解析部４０、データ比較処理部５０、及び、データ出力部６０の機能が一のコンピュータによって実現されるものとして記載したが、複数のコンピュータによって実現されてもよいのは勿論である。又、当該コンピュータに読み出されるプログラムやデータも、複数のコンピュータに分散して格納されてもよい。
In the above embodiment, as an example of the configuration of the
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。 Although specific examples of the present invention have been described in detail above, these are merely examples and do not limit the scope of claims. The techniques described in the claims include various modifications and modifications of the specific examples illustrated above.
本開示に係る画像処理装置によれば、画像端に映る動体の認識精度を向上することが可能である。 According to the image processing apparatus according to the present disclosure, it is possible to improve the recognition accuracy of a moving object reflected on the edge of an image.
Ｕ 監視システム
１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 外部記憶装置
１０５ 通信インタフェイス
１０ 第１画像取得部
２０ 第２画像取得部
３０ 第１解析部
４０ 第２解析部
５０ データ比較処理部
６０ データ出力部
２００ レーザーレーダー
２１０ 距離画像生成部
３００ カメラ（可視光カメラ）
４００ サーマルカメラ
Ｄ１ 第１解析データ
Ｄ２ 第２解析データ
Ｄ３ 確定データ
102 ROM
103 RAM
104 External storage device 105
400 Thermal camera D1 1st analysis data D2 2nd analysis data D3 Confirmed data
Claims (9)
前記第１領域と少なくとも一部が重複し、且つ、前記第１領域に含まれない領域を含む第２領域を撮像する第２センサから第２画像に係る画像データを取得する第２画像取得部と、
前記第１画像に係る画像データに基づいて、前記第１画像内に映る動体の位置及び占有領域を検出した第１解析データを生成する第１解析部と、
前記第２画像に係る画像データに基づいて、前記第２画像内に映る動体の位置及び占有領域を検出した第２解析データを生成する第２解析部と、
前記第１解析データと前記第２解析データとに基づいて、前記第１画像又は前記第２画像の画像端からはみ出るようにして映る動体の識別情報を補間又は補正するデータ比較処理部と、
を備える画像処理装置。 A first image acquisition unit that acquires image data related to the first image from the first sensor that captures the first region, and
A second image acquisition unit that acquires image data related to a second image from a second sensor that images a second region that includes a region that overlaps at least a part of the first region and is not included in the first region. When,
A first analysis unit that generates first analysis data that detects the position and occupied area of a moving object reflected in the first image based on the image data related to the first image.
A second analysis unit that generates second analysis data that detects the position and occupied area of a moving object reflected in the second image based on the image data related to the second image.
A data comparison processing unit that interpolates or corrects identification information of a moving object that appears so as to protrude from the image edge of the first image or the second image based on the first analysis data and the second analysis data.
An image processing device comprising.
請求項１に記載の画像処理装置。 When a plurality of moving objects detected in the second image are present in the occupied area of one moving object detected in the first image, the data comparison processing unit is detected in the second image. Identifying multiple moving objects as a single moving object,
The image processing apparatus according to claim 1.
請求項１又は２に記載の画像処理装置。 The data comparison processing unit outputs data obtained by interpolating or correcting at least one of the identification information of the first analysis data or the second analysis data as definite data.
The image processing apparatus according to claim 1 or 2.
前記第２センサは、可視光カメラである、
請求項１乃至３のいずれか一項に記載の画像処理装置。 The first sensor is a laser radar.
The second sensor is a visible light camera.
The image processing apparatus according to any one of claims 1 to 3.
前記第２センサは、サーマルカメラである、
請求項１乃至３のいずれか一項に記載の画像処理装置。 The first sensor is a laser radar.
The second sensor is a thermal camera.
The image processing apparatus according to any one of claims 1 to 3.
前記第２センサは、可視光カメラ及びサーマルカメラである、
請求項１乃至３のいずれか一項に記載の画像処理装置。 The first sensor is a laser radar.
The second sensor is a visible light camera and a thermal camera.
The image processing apparatus according to any one of claims 1 to 3.
前記第２解析部は、時系列に並ぶ前記第２画像に係る画像データに基づいて、前記第２画像に映る動体の位置及び占有領域を検出した前記第２解析データを生成し、
前記データ比較処理部は、前記第１解析データと前記第２解析データとを時間軸を揃えて比較する、
請求項１乃至６のいずれか一項に記載の画像処理装置。 The first analysis unit generates the first analysis data in which the position and the occupied area of the moving object appearing in the first image are detected based on the image data related to the first image arranged in time series.
The second analysis unit generates the second analysis data that detects the position and the occupied area of the moving object reflected in the second image based on the image data related to the second image arranged in time series.
The data comparison processing unit compares the first analysis data and the second analysis data with the time axis aligned.
The image processing apparatus according to any one of claims 1 to 6.
請求項１乃至７のいずれか一項に記載の画像処理装置。 The first analysis unit and / or the second analysis unit detects the position and occupied area of the moving object reflected in the image by using the classifier model learned by machine learning.
The image processing apparatus according to any one of claims 1 to 7.
前記第１領域と少なくとも一部が重複し、且つ、前記第１領域に含まれない領域を含む第２領域を撮像する第２センサから第２画像に係る画像データを取得し、
前記第１画像に係る画像データに基づいて、前記第１画像内に映る動体の位置及び占有領域を検出した第１解析データを生成し、
前記第２画像に係る画像データに基づいて、前記第２画像内に映る動体の位置及び占有領域を検出した第２解析データを生成し、
前記第１解析データと前記第２解析データとに基づいて、前記第１画像又は前記第２画像の画像端からはみ出るようにして映る動体の識別情報を補間又は補正する、
画像処理方法。 Image data related to the first image is acquired from the first sensor that captures the first region, and
Image data related to the second image is acquired from the second sensor that images the second region including the region that overlaps at least a part of the first region and is not included in the first region.
Based on the image data related to the first image, the first analysis data in which the position and the occupied area of the moving object reflected in the first image are detected is generated.
Based on the image data related to the second image, the second analysis data in which the position and the occupied area of the moving object reflected in the second image are detected is generated.
Based on the first analysis data and the second analysis data, the identification information of the moving object that appears so as to protrude from the image edge of the first image or the second image is interpolated or corrected.
Image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019032963A JP7124760B2 (en) | 2019-02-26 | 2019-02-26 | Image processing device and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019032963A JP7124760B2 (en) | 2019-02-26 | 2019-02-26 | Image processing device and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020140225A true JP2020140225A (en) | 2020-09-03 |
| JP7124760B2 JP7124760B2 (en) | 2022-08-24 |
Family
ID=72264861
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019032963A Active JP7124760B2 (en) | 2019-02-26 | 2019-02-26 | Image processing device and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7124760B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002099907A (en) * | 2000-09-22 | 2002-04-05 | Mazda Motor Corp | Object recognizing apparatus |
| JP2005084035A (en) * | 2003-09-11 | 2005-03-31 | Toyota Motor Corp | Object detecting device |
| US20110211754A1 (en) * | 2010-03-01 | 2011-09-01 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
| JP2015195018A (en) * | 2014-03-18 | 2015-11-05 | 株式会社リコー | Image processor, image processing method, operation support system, and program |
| JP2016011061A (en) * | 2014-06-30 | 2016-01-21 | 本田技研工業株式会社 | Movement support device |
| JP2017182696A (en) * | 2016-03-31 | 2017-10-05 | 株式会社デンソー | Object recognition device and object recognition method |
-
2019
- 2019-02-26 JP JP2019032963A patent/JP7124760B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002099907A (en) * | 2000-09-22 | 2002-04-05 | Mazda Motor Corp | Object recognizing apparatus |
| JP2005084035A (en) * | 2003-09-11 | 2005-03-31 | Toyota Motor Corp | Object detecting device |
| US20110211754A1 (en) * | 2010-03-01 | 2011-09-01 | Primesense Ltd. | Tracking body parts by combined color image and depth processing |
| JP2015195018A (en) * | 2014-03-18 | 2015-11-05 | 株式会社リコー | Image processor, image processing method, operation support system, and program |
| JP2016011061A (en) * | 2014-06-30 | 2016-01-21 | 本田技研工業株式会社 | Movement support device |
| JP2017182696A (en) * | 2016-03-31 | 2017-10-05 | 株式会社デンソー | Object recognition device and object recognition method |
Non-Patent Citations (2)
| Title |
|---|
| ZHENG ZHANG, 外1名: ""Accurate pedestrian detection using RGB-D camera"", 2017 IEEE 9TH INTERNATIONAL CONFERENCE ON COMMUNICATION SOFTWARE AND NETWORKS (ICCSN), JPN6022028779, 2017, pages 1218 - 1222, XP033285697, ISSN: 0004823160, DOI: 10.1109/ICCSN.2017.8230304 * |
| 栗田裕二, 外2名: ""車載画像認識ソフトウェア"", 映像情報インダストリアル, vol. 第50巻, 第8号, JPN6022028777, 1 August 2018 (2018-08-01), JP, pages 25 - 29, ISSN: 0004823159 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7124760B2 (en) | 2022-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7756293B2 (en) | Movement capture and analysis apparatus and method | |
| JP5950296B2 (en) | Person tracking attribute estimation device, person tracking attribute estimation method, program | |
| JP4883517B2 (en) | Three-dimensional measuring apparatus, three-dimensional measuring method, and three-dimensional measuring program | |
| TWI419081B (en) | Method and system for providing augmented reality based on marker tracing, and computer program product thereof | |
| EP3644277A1 (en) | Image processing system, image processing method, and program | |
| US11138419B2 (en) | Distance image processing device, distance image processing system, distance image processing method, and non-transitory computer readable recording medium | |
| JP6897787B2 (en) | Posture recognition system, image correction program and image correction method | |
| US11461733B2 (en) | Behavior analysis device, behavior analysis system, behavior analysis method, and program | |
| JP2019148865A (en) | Identification device, identification method, identification program and non-temporary tangible recording medium recording identification program | |
| CN113567550B (en) | Ground material detection method, device, electronic equipment, chip and storage medium | |
| US10509513B2 (en) | Systems and methods for user input device tracking in a spatial operating environment | |
| JP2010157093A (en) | Motion estimation device and program | |
| JP2002366958A (en) | Method and device for recognizing image | |
| JP6288770B2 (en) | Face detection method, face detection system, and face detection program | |
| US11989928B2 (en) | Image processing system | |
| JP7375806B2 (en) | Image processing device and image processing method | |
| JP7124760B2 (en) | Image processing device and image processing method | |
| KR20150014342A (en) | Apparatus and method for analyzing an image including event information | |
| KR20090113746A (en) | A method of robot localization using spatial semantics of objects | |
| EP4310549A1 (en) | Sensing system | |
| JP7254262B2 (en) | Work estimating device, work estimating method, and work estimating program | |
| JP2019179289A (en) | Processing device and program | |
| JP7226553B2 (en) | Information processing device, data generation method, and program | |
| JP7300331B2 (en) | Information processing device for machine learning, information processing method for machine learning, and information processing program for machine learning | |
| JP7117878B2 (en) | processor and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20190708 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20191016 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210628 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220627 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220712 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220725 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7124760 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |