JP7117878B2 - processor and program - Google Patents
processor and program Download PDFInfo
- Publication number
- JP7117878B2 JP7117878B2 JP2018066467A JP2018066467A JP7117878B2 JP 7117878 B2 JP7117878 B2 JP 7117878B2 JP 2018066467 A JP2018066467 A JP 2018066467A JP 2018066467 A JP2018066467 A JP 2018066467A JP 7117878 B2 JP7117878 B2 JP 7117878B2
- Authority
- JP
- Japan
- Prior art keywords
- feature point
- coordinate system
- occupant
- voxels
- threshold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、処理装置、及びプログラムに関し、特に、撮像画像に基づいて検出処理を行なう処理装置、及びプログラムに関する。 The present invention relates to a processing device and program, and more particularly to a processing device and program that perform detection processing based on a captured image.
従来、2次元平面における座標情報を有する乗員が映り込んだ画像を撮像し、その撮像した画像を画像処理することで、乗員の特徴点(例えば、関節点)を特定する技術がある(例えば、特許文献1参照)。 Conventionally, there is a technique of capturing an image in which an occupant having coordinate information on a two-dimensional plane is captured and processing the captured image to identify characteristic points (for example, joint points) of the occupant (for example, See Patent Document 1).
特許文献1の処理装置は、複数の操作対象,および,該操作対象を操作可能な位置に存在する操作者を含む画像を繰り返し取得する画像取得手段と、該画像取得手段により繰り返し取得される画像毎に、該画像に含まれる操作者における所定の人体特徴点を特定する人体特徴点特定手段と、該人体特徴点特定手段により特定された画像毎の人体特徴点それぞれに基づいて、操作者が実施しようとしている操作内容を推定する操作推定手段と、を備えており、該操作推定手段は、操作対象を操作する操作者が辿ると推定される姿勢軌跡(推定姿勢軌跡)をその操作内容毎にモデル化してなる遷移推定モデルそれぞれと、前記人体特徴点特定手段により特定された画像毎の人体特徴点それぞれから求められる操作者の姿勢軌跡(実姿勢軌跡)とを照合し、前記遷移推定モデルでモデル化された推定姿勢軌跡のうち、前記実姿勢軌跡との近似度が所定のしきい値を満たす前記推定姿勢軌跡につき、該推定姿勢軌跡に対応する操作内容を操作者が実施しようとしていると推定するように処理装置が構成されている。
The processing device of
しかし、特許文献1の技術では、乗員の特徴点を、2次元平面での座標情報を有した画像から特定しているため、その特徴点の特定精度を向上させることが要求されている。
However, in the technique of
したがって、本発明の目的は、人体の特徴点を特定する技術において、その特徴点の特定精度を向上させる処理装置、及びプログラムを提供することにある。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a processing apparatus and a program for improving the accuracy of specifying feature points in a technique for specifying feature points of a human body.
[1]上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部と、前記車両の車室内空間における座標系と前記距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、前記乗員の特徴点を少なくとも1つ検出する特徴点検出処理を実行する制御部と、を有する処理装置を提供する。
[2]前記制御部は、規定された1つの特徴点を特定し、その規定された1つの特徴点を基準として、予め規定された特徴点探索モデルを順次照合して残りの特徴点を検出することを、前記特徴点検出処理として実行する、上記[1]に記載の処理装置であってもよい。
[3]また、前記制御部は、前記特徴点の周囲に位置するボクセルを含めたボクセルの集合を考え、前記ボクセルの集合におけるボクセル値の合計が閾値未満かどうかにより、前記特徴点の確からしさを判断する閾値処理を、前記特徴点検出処理の1つとして実行する、上記[1]又は[2]に記載の処理装置であってもよい。
[4]また、前記制御部は、前記ボクセル値の合計が閾値未満かどうかを判定する、前記ボクセルの集合を、規定された1つの特徴点である起点から当該特徴点とは別の特徴点である対象特徴点までの間を所定間隔で存在するボクセル群とする、上記[3]に記載の処理装置であってもよい。
[5]また、前記制御部は、前記起点から前記対象特徴点までの全てのボクセル群の各々におけるボクセル値の合計が閾値以上であれば、前記対象特徴点を確からしいものとする、上記[4]に記載の処理装置であってもよい。
[6]また、前記制御部は、前記起点から前記対象特徴点までのボクセル群において、規定された距離を示す個数のボクセル群におけるボクセル値の合計が閾値未満であっても、前記対象特徴点を確からしいものとする、上記[4]又は[5]に記載の処理装置であってもよい。
[7]また、前記制御部は、前記特徴点が未検出の場合、前フレームまでの検出結果を用いて補完処理を行う、上記[1]から[6]のいずれか1に記載の処理装置であってもよい。
[8]また、前記規定された1つの特徴点は、頭部である、上記[1]から[7]のいずれか1に記載の処理装置であってもよい。
[9]上記目的を達成するため、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得ステップと、車両の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、乗員の特徴点を少なくとも1つ検出する特徴点検出処理を実行する制御ステップとを、コンピュータに実行させるためのプログラムを提供する。
[10]前記制御ステップは、規定された1つの特徴点を特定し、その規定された1つの特徴点を基準として、予め規定された特徴点探索モデルを順次照合して残りの特徴点を検出することを、前記特徴点検出処理として実行する、上記[9]に記載のプログラムであってもよい。
[11]前記制御ステップは、前記特徴点の周囲に位置するボクセルを含めたボクセルの集合を考え、前記ボクセルの集合におけるボクセル値の合計が閾値未満かどうかにより、前記特徴点の確からしさを判断する閾値処理を、前記特徴点検出処理の1つとして実行する、上記[9]又は[10]に記載のプログラムであってもよい。
[12]また、前記制御ステップは、前記ボクセル値の合計が閾値未満かどうかを判定する、前記ボクセルの集合を、規定された1つの特徴点である起点から当該特徴点とは別の特徴点である対象特徴点までの間を所定間隔で存在するボクセル群とする、上記[11]に記載のプログラムであってもよい。
[13]また、前記制御ステップは、前記起点から前記対象特徴点までの全てのボクセル群の各々におけるボクセル値の合計が閾値以上であれば、前記対象特徴点を確からしいものとする、上記[12]に記載のプログラムであってもよい。
[14]また、前記制御ステップは、前記起点から前記対象特徴点までのボクセル群において、規定された距離を示す個数のボクセル群におけるボクセル値の合計が閾値未満であっても、前記対象特徴点を確からしいものとする、上記[12]又は[13]に記載のプログラムであってもよい。
[15]また、前記制御ステップは、前記特徴点が未検出の場合、前フレームまでの検出結果を用いて補完処理を行う、上記[9]から[14]のいずれか1に記載のプログラムであってもよい。
[16]また、前記制御ステップは、前記規定された1つの特徴点は、頭部である、上記[9]から[15]のいずれか1に記載のプログラムであってもよい。
[1] In order to achieve the above object, an acquisition unit for acquiring a distance image in which an imaging area including an occupant of a vehicle is an imaging target, the distance image obtained by assigning distance information to the imaging target to pixels; According to the correspondence relationship between the coordinate system in the interior space of the vehicle and the coordinate system in the range image, the detection image is converted into a detection image having a specific coordinate system, and at least one feature point of the occupant is detected in the detection image. and a control unit that executes feature point detection processing.
[2] The control unit identifies one defined feature point, and with the one defined feature point as a reference, sequentially collates predefined feature point search models to detect the remaining feature points. The processing device according to the above [1] may be configured to execute, as the feature point detection processing, to
[3] Further, the control unit considers a set of voxels including voxels located around the feature point, and determines whether the sum of voxel values in the set of voxels is less than a threshold, and determines the likelihood of the feature point. The processing device according to the above [1] or [2] may be configured to execute a threshold process for determining as one of the feature point detection processes.
[4] Further, the control unit determines whether the sum of the voxel values is less than a threshold value, and divides the set of voxels from an origin that is one specified feature point to another feature point The processing apparatus according to [3] above may be used, wherein the voxel group exists at a predetermined interval between the target feature point.
[5] In addition, if the sum of voxel values in each of all voxel groups from the starting point to the target feature point is equal to or greater than a threshold value, the control unit determines that the target feature point is probable. 4] may be used.
[6] In addition, in the voxel group from the starting point to the target feature point, even if the sum of the voxel values in the voxel group of the number indicating the specified distance is less than a threshold, the target feature point The processing apparatus according to the above [4] or [5] may be one in which it is probable that
[7] Further, the processing device according to any one of [1] to [6] above, wherein, when the feature point is not detected, the control unit performs complementary processing using detection results up to the previous frame. may be
[8] The processing device according to any one of [1] to [7] above, wherein the defined one feature point is a head.
[9] In order to achieve the above object, an acquisition step of acquiring a distance image in which an imaging area including an occupant of a vehicle is an imaging target, the distance image obtained by assigning distance information to the imaging target to pixels; A feature inspection that converts into a detection image having a specific coordinate system according to the correspondence relationship between the coordinate system in the vehicle interior space and the coordinate system in the range image, and detects at least one feature point of the occupant in the detection image. A program for causing a computer to execute a control step for executing output processing is provided.
[10] The control step identifies one specified feature point, and with the one specified feature point as a reference, sequentially collates predefined feature point search models to detect the remaining feature points. The program according to the above [9] may be executed as the feature point detection process.
[11] The control step considers a set of voxels including voxels located around the feature point, and determines the likelihood of the feature point based on whether the sum of voxel values in the set of voxels is less than a threshold. The program according to the above [9] or [10] may be configured to execute the threshold processing for detecting the feature points as one of the feature point detection processing.
[12] In addition, the control step determines whether the sum of the voxel values is less than a threshold, and divides the set of voxels from an origin that is one specified feature point to another feature point. The program according to the above [11] may be such that a voxel group exists at a predetermined interval from the target feature point to .
[13] In addition, in the control step, if the sum of voxel values in each of all voxel groups from the starting point to the target feature point is equal to or greater than a threshold, the target feature point is likely to be the above [ 12].
[14] Further, in the control step, in the voxel group from the starting point to the target feature point, even if the sum of the voxel values in the voxel group of the number indicating the prescribed distance is less than a threshold value, the target feature point may be the program described in [12] or [13] above, which makes it probable that
[15] Further, in the program according to any one of [9] to [14] above, in the control step, when the feature point has not been detected, interpolation processing is performed using the detection result up to the previous frame. It can be.
[16] Further, the control step may be the program according to any one of [9] to [15] above, wherein the defined single feature point is the head.
本発明の処理装置、及びプログラムによれば、人体の特徴点を特定する技術において、その特徴点の特定精度を向上させることができる。 According to the processing device and the program of the present invention, it is possible to improve the accuracy of specifying the feature points in the technique of specifying the feature points of the human body.
(本発明の実施の形態)
本発明の実施の形態に係る処理装置1は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部としてのTOFカメラ10と、車両8の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、乗員5の特徴点を少なくとも1つ検出する特徴点検出処理を実行する制御部20と、を有して構成されている。
(Embodiment of the present invention)
The
本実施の形態に係る処理装置1は、TOFカメラ10を用いて、車室内乗員の肩、肘、手首、手といった部位を特徴点として検出する特徴点検出処理を行なうものである。TOFカメラ10から得られる距離画像の各画素を3次元空間上に変換した画素群(3次元画素群)を作成し、頭部を起点として、スケルトンモデル(人体の骨格サイズ、可動範囲の定義)をもとに肩、肘、手首、手といった部位を特徴点として検出する。
The
なお、画素群とは、TOFカメラ10により撮像された画素に対応する点の集合であって、車両8の車室内空間における座標系、TOFカメラ10における座標系等により位置が表示される3次元空間の点の集合である。
Note that the pixel group is a set of points corresponding to the pixels captured by the
(スケルトンモデル)
スケルトンモデルは、図1(a)に示すように、人体の各骨格のサイズ、関節の可動範囲を定義したものであって、一例を図1(b)に示す。この定義は例えば、産業技術総合研究所が公開している人体寸法データベースや、独立行政法人製品評価技術基盤機構が公開している人間特性データベース等の情報をもとに決めることができる。各部位(肩、肘、手首、手)の可動範囲(スケルトンモデル定義の中で規定しているなす角)は、前腕部を例として図1(c)のように定義する。
(skeleton model)
The skeleton model, as shown in FIG. 1(a), defines the size of each skeleton of the human body and the movable range of joints, and an example is shown in FIG. 1(b). This definition can be determined, for example, based on information such as the human body size database published by the National Institute of Advanced Industrial Science and Technology and the human characteristics database published by the National Institute of Technology and Evaluation. The movable range (angle defined in the skeleton model definition) of each part (shoulder, elbow, wrist, hand) is defined as shown in FIG. 1(c), taking the forearm as an example.
(TOFカメラ10)
取得部としては撮像対象の3次元認識が可能なものであれば使用可能であるが、本実施の形態では、取得部としてTOF(Time Of Flight)カメラ10を使用する。TOFカメラ10は、光源の光が測定対象物に当たって戻るまでの時間を画素毎に検出し、奥行き方向の距離に相当する位置情報を含む立体的な画像を撮影できる。TOFカメラ10は、赤外光等を発光後、その光が物体に反射して戻ってきた反射光を受光し、発光から受光までの時間を測定して、画素ごとに撮像対象物までの距離を検出する。
(TOF camera 10)
Any acquisition unit capable of three-dimensional recognition of an imaging target can be used. In the present embodiment, a TOF (Time Of Flight)
取得部としてのTOFカメラ10は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を各画素に割り当てた距離画像を取得する。この距離画像は、所定の時間間隔で撮像されたフレームの1フレームとして取得することができる。取得された距離画像は、以下の処理における入力(3次元画素群)として機能する。距離画像は、上記説明したカメラ座標系、車両座標系へ変換される。これにより、検出エリアに含まれる3次元画素群を抽出できる。
The
TOFカメラ10は、例えば、図2に示すように、ルームミラー付近に取り付け、車両8の乗員5を含む撮像領域を撮像対象とする。TOFカメラ10による撮像画像は、座標(u,v)と、この座標(u,v)における奥行情報としての画素値d(u,v)を含む。取得された画素値d(u,v)(u=0、1、…U-1,v=0、1、…V-1)は、撮像対象としての物体(ここで言う物体は、運転者や車載機器など)までの距離を意味する。なお、実施形態における符号Uは、撮像画像における横幅[pixel]を意味し、符号Vは、撮像画像における縦幅[pixel]を意味する。つまり、TOFカメラ10で撮像された画像における各画素に、3次元空間における距離情報を割り当てることで距離画像が生成される。
For example, as shown in FIG. 2, the
(距離画像から得られるカメラ座標系)
距離画像における座標値u,vと、座標(u,v)における画素値d(u,v)は、以下の式を用いて3次元空間上の点(x,y,z)に変換することで、図2に示すカメラ座標系(x,y,z)における3次元画素群を作成することができる。
The coordinate values u, v in the range image and the pixel value d (u, v) at the coordinates (u, v) are converted to a point (x, y, z) in the three-dimensional space using the following formula. , a three-dimensional pixel group in the camera coordinate system (x, y, z) shown in FIG. 2 can be created.
(車両座標系)
カメラ座標系(x,y,z)は、検出対象であるドライバ(例えば腰骨の位置)を原点とする車両座標系(w,l,h)に変換することができる。変換方法は、一般的な座標回転変換、平行移動変換、スケール変換の組み合わせである。変換後の座標軸は、ドライバ右方向をw軸、前方をl軸(エル軸)、上方をh軸とし、原点はドライバの腰骨位置203とする。図3に3次元画素群の例を示す。
(vehicle coordinate system)
The camera coordinate system (x, y, z) can be transformed into a vehicle coordinate system (w, l, h) with the driver to be detected (for example, the position of the hipbone) as the origin. The transformation method is a combination of general coordinate rotation transformation, translation transformation, and scale transformation. The coordinate axes after conversion are the w-axis in the right direction of the driver, the l-axis (L-axis) in front, and the h-axis in the upper direction, and the origin is the
(ボクセル作成)
制御部20は、図4(a)に示すように、車室内空間の広さを考慮し、図4(b)に一例として示すボクセル作成パラメータ設定例のサイズでボクセル(3次元空間を一定サイズで格子状に分割し、離散的にエリアを表現する方法)を作成する。各ボクセルは、ボクセル値を持ち、3次元画素群の密度情報(ここでは、各ボクセルに含まれる3次元画素群の数×3、とする)をボクセル値とする。
(Voxel creation)
As shown in FIG. 4(a), the
(制御部20)
制御部20は、座標変換、頭頂部特定処理、頭部特定処理等を行なうための、例えばマイクロコンピュータを備えている。制御部20は、図2に示すように、TOFカメラ10と接続されている。制御部20は、記憶されたプログラムに従って、取得したデータに演算、加工などを行うCPU(Central Processing Unit)21、半導体メモリであるRAM(Random Access Memory)22及びROM(Read Only Memory)23などを備えている。
(control unit 20)
The
(頭部の検出、特定)
頭部は、規定された1つの特徴点であり、本実施の形態では、予め規定された特徴点探索モデルを順次照合して残りの特徴点(左右の肩部、肘部、手首、手)を検出するための基準となるものである。頭部の検出、特定の手法は任意であり、公知の方法により頭部の検出、特定を行なうことができる。また、制御部20による検出、特定でなく、頭部の3次元データ(w,l,h)を制御部20に入力してもよい。
(head detection, identification)
The head is one defined feature point, and in this embodiment, the remaining feature points (left and right shoulders, elbows, wrists, hands) are obtained by sequentially collating predefined feature point search models. It is a standard for detecting Any method can be used to detect and specify the head, and the head can be detected and specified by a known method. Also, three-dimensional data (w, l, h) of the head may be input to the
(探索範囲絞り込み)
制御部20は、図5(a)に示すように、スケルトンモデルで定義した長さおよび可動範囲に含まれるボクセルを探索し、抽出する。可動範囲は、前部位起点から現在部位起点Pの方向を基準とし、図5(a)に示す母線250で規定される円錐形状として定義する。探索は、図5(b)に示すような、探索範囲絞り込みパラメータに基づいて行なう。
(Search range narrowing down)
As shown in FIG. 5A, the
(特徴点としての部位候補抽出)
(1)閾値処理
制御部20は、探索範囲を絞り込んだ各ボクセルについて、周囲のボクセルを含めたボクセルの集合を考える。ここでは、図6に示すように、周囲1ボクセルを含めた3×3×3のボクセルとする。ここで、当該ボクセルのボクセル値の合計が閾値未満の場合、候補から除外する。すなわち、閾値処理は、特徴点の周囲に位置するボクセルを含めたボクセルの集合を考え、このボクセルの集合におけるボクセル値の合計が閾値未満かどうかにより、特徴点の確からしさを判断するものである。
(Part candidate extraction as feature points)
(1) Threshold Processing For each voxel whose search range has been narrowed down, the
(2)連続性チェック
制御部20は、(1)の閾値処理で抽出した各ボクセルについて、図7に示すように、起点Pとの間をX[mm]間隔で、(1)と同じ領域(3×3×3のボクセル)を考え、全ての位置でボクセル値の合計が閾値以上の場合、当該ボクセルを部位候補とする。ただし、腕時計等、TOFカメラで情報が取得できない可能性がある装着物を考慮して、起点Pとの間でボクセル値の閾値を満たさない点が存在しても許容できるよう、許容ギャップ数を定義する。例えば、許容ギャップ数が1の場合、閾値を満たさない点が1つまでなら連続性があると判定する。
(2) Continuity check The
制御部20は、ボクセル値の合計が閾値未満かどうかを判定する、ボクセルの集合を、規定された1つの特徴点である起点から当該特徴点とは別の特徴点である対象特徴点までの間を所定間隔で存在するボクセル群とすることができる。これにより、確からしさが高い場合に、対象特徴点を確からしいものとできる。
The
さらに、制御部20は、上記の起点から対象特徴点までの全てのボクセル群の各々におけるボクセル値の合計が閾値以上であれば、対象特徴点を確からしいものとすることができる。これにより、ノイズなどによって一部が欠損したとしても、対象特徴点を確からしいものとできる。
Furthermore, the
図8は、各部位検出におけるパラメータ設定の例であり、以下に示す各部位の検出は、これらのパラメータに基づいて実行される。上記示した(1)閾値処理、(2)連続性チェックは、部位検出共通ロジックとして各部位の検出に使用される。なお、単位立方体サイズは、密度計算に利用するボクセルの立方体サイズである。また、密度閾値は、終端候補の棄却、連続性の確認に利用する密度の閾値である。また、連続性ステップ長は、連続性確認時に単位立方体をずらしていく際の中心ボクセル間の幅である。また、許容ギャップ数は、連続性確認時に許容する、密度が閾値以下だったステップの数である。 FIG. 8 shows an example of parameter settings for detection of each part, and the detection of each part shown below is executed based on these parameters. The above-mentioned (1) threshold processing and (2) continuity check are used to detect each part as part detection common logic. The unit cubic size is the cubic size of voxels used for density calculation. Also, the density threshold is a density threshold used for rejecting termination candidates and confirming continuity. The continuity step length is the width between central voxels when the unit cube is shifted when confirming continuity. Also, the number of allowable gaps is the number of steps whose density is equal to or less than the threshold, which is allowed when confirming continuity.
(肩検出)
制御部20は、検出あるいは特定した頭部位置から首位置を算出する。ここでは、頭部位置の座標から真下にオフセットした点を首位置とする。オフセット値は例えば100mmとする。前部位起点を頭部位置、起点Pを首位置として、部位検出共通ロジックを用いて肩候補を抽出する。ただし、首位置がボクセル値の低いボクセルに位置する可能性を考慮し、連続性チェックはしない。首位置より左側(-w軸側)の肩候補を左肩候補、右側(+w軸側)の肩候補を右肩候補とし、各候補の重心位置をそれぞれ左肩位置、右肩位置とする。
(shoulder detection)
The
(肘検出)
制御部20は、前部位起点を首位置、起点を肩位置として、部位検出共通ロジックを用いて肘候補を抽出する。制御部20は、連続性チェックを行なう。連続性チェックがNGとなり、肘候補点が0の場合、肩が宙に浮いている(ボクセル値の低い位置にある)と考えられ、位置を補正して再探索する。補正方法は例えば、最も近い閾値以上のボクセル値を持つボクセルを選択することで行う。抽出した肘候補の重心を肘位置とする。左肩を起点とした位置を左肘、右肩を起点とした位置を右肘とする。
(elbow detection)
The
(手首検出)
制御部20は、前部位起点を肩位置、起点を肘位置として、部位検出共通ロジックを用いて手首候補を抽出する。制御部20は、連続性チェックを行ない、連続性チェックがNGの場合は、位置を補正して再探索を行なう。抽出した手首候補の重心を手首位置とする。左肘を起点とした位置を左手首、右肘を起点とした位置を右手首とする。
(wrist detection)
The
(手検出)
制御部20は、前部位起点を肘位置、起点を手首位置として、部位検出共通ロジックを用いて手候補を抽出する。制御部20は、連続性チェックを行ない、連続性チェックがNGの場合は、位置を補正して再探索を行なう。抽出した手候補の重心を手位置とする。左手首を起点とした位置を左手、右手首を起点とした位置を右手とする。
(hand detection)
The
(未検出時の対応)
制御部20は、各部位が特徴点として未検出の場合(肩が隠れた時、手首が腕時計等で切れた時、等)、前フレームまでの検出結果を用いて補完処理を行う。例えば、1フレーム前の検出結果をそのまま再利用する方法や、KCF法等のトラッキング技術を活用する方法などがある。
(Response when not detected)
When each part is not detected as a feature point (when the shoulder is hidden, when the wrist is cut by a wristwatch, etc.), the
(処理装置1の動作)
図9で示す本発明の実施の形態に係る処理装置1の動作を示すフローチャートに基づいて、説明する。制御部20は、フローチャートに従って以下の演算、処理を実行する。
(Operation of processing device 1)
Description will be made based on the flowchart showing the operation of the
(前処理、Step1)
制御部20には、TOFカメラ10からのカメラ画像が入力される。このカメラ画像は、連続するフレーム画像の1フレームとして入力される。制御部20は、特徴点検出処理の前処理として、カメラ画像を車両座標系へ変換して、図3に示すような3次元画素群を抽出する。また、ボクセル作成パラメータ設定例に基づいてボクセルを作成する。また、特徴点探索の基準となる頭部の検出、特定を行なう。
(Pretreatment, Step 1)
A camera image from the
(肩の検出、Step2)
制御部20は、図10に示すように、基準となる規定された1つの特徴点である、頭部位置300から、所定の距離だけオフセットした点を首位置305として算出する。起点を首位置305として、部位検出共通ロジックを用いて肩候補を抽出する。図10に示すように、首位置より左側(-w軸側)の肩候補を左肩候補、右側(+w軸側)の肩候補を右肩候補とし、各候補の重心位置をそれぞれ左肩位置311、右肩位置310とする。
(Shoulder detection, Step 2)
As shown in FIG. 10 , the
(Step3)
制御部20は、肩の検出に成功したかどうかを判断する。制御部20は、上記説明した、(1)閾値処理、及び(2)連続性チェックにより、肩の検出に成功したかどうかを判断することができる。ただし、肩の検出に限って、首位置がボクセル値の低いボクセルに位置する可能性を考慮し、連続性チェックはしないものとする。肩の検出に成功した場合は、Step5へ進み(Step3:Yes)、肩の検出に成功しない場合は、Step4へ進む(Step3:No)。
(Step 3)
The
(補完処理、Step4)
制御部20は、肩の部位が未検出の場合(肩が隠れた時、等)、前フレームまでの検出結果を用いて補完処理を行う。例えば、1フレーム前の検出結果をそのまま再利用する方法や、KCF法等のトラッキング技術を活用する方法などがある。
(Complementary processing, Step 4)
When the shoulder region is not detected (when the shoulder is hidden, etc.), the
(肘の検出、Step5)
制御部20は、前部位起点を首位置305、起点を肩位置310、311として、部位検出共通ロジックを用いて肘候補を抽出する。連続性チェックがNGとなり、肘候補点が0の場合、肩が宙に浮いている(ボクセル値の低い位置にある)と考えられ、位置を補正して再探索する。補正方法は例えば、最も近い閾値以上のボクセル値を持つボクセルを選択することで行う。抽出した肘候補の重心を肘位置とする。図10に示すように、左肩を起点とした位置を左肘321、右肩を起点とした位置を右肘320とする。
(Elbow detection, Step 5)
The
(Step6)
制御部20は、肘の検出に成功したかどうかを判断する。制御部20は、上記説明した、(1)閾値処理、及び(2)連続性チェックにより、肘の検出に成功したかどうかを判断することができる。肘の検出に成功した場合は、Step8へ進み(Step6:Yes)、肘の検出に成功しない場合は、Step7へ進む(Step6:No)。
(Step 6)
The
(補完処理、Step7)
制御部20は、肘の部位が未検出の場合(肘が隠れた時、等)、前フレームまでの検出結果を用いて補完処理を行う。例えば、1フレーム前の検出結果をそのまま再利用する方法や、KCF法等のトラッキング技術を活用する方法などがある。
(Complementary processing, Step 7)
When the elbow region is not detected (when the elbow is hidden, etc.), the
(手首の検出、Step8)
制御部20は、前部位起点を肩位置310、311、起点を肘位置320、321として、部位検出共通ロジックを用いて手首候補を抽出する。抽出した手首候補の重心を手首位置とする。図10に示すように、左肘を起点とした位置を左手首331、右肘を起点とした位置を右手首330とする。
(Wrist detection, Step 8)
The
(Step9)
制御部20は、手首の検出に成功したかどうかを判断する。制御部20は、上記説明した、(1)閾値処理、及び(2)連続性チェックにより、手首の検出に成功したかどうかを判断することができる。手首の検出に成功した場合は、Step11へ進み(Step9:Yes)、手首の検出に成功しない場合は、Step10へ進む(Step9:No)。
(Step 9)
The
(補完処理、Step10)
制御部20は、手首の部位が未検出の場合(手首が腕時計等で切れた時、等)、前フレームまでの検出結果を用いて補完処理を行う。例えば、1フレーム前の検出結果をそのまま再利用する方法や、KCF法等のトラッキング技術を活用する方法などがある。
(Complementary processing, Step 10)
When the wrist region is not detected (eg, when the wrist is cut by a wrist watch, etc.), the
(手の検出、Step11)
制御部20は、前部位起点を肘位置320、321、起点を手首位置330、331として、部位検出共通ロジックを用いて手候補を抽出する。抽出した手候補の重心を手位置とする。図10に示すように、左手首を起点とした位置を左手341、右手首を起点とした位置を右手340とする。
(Hand detection, Step 11)
The
(Step12)
制御部20は、手の検出に成功したかどうかを判断する。制御部20は、上記説明した、(1)閾値処理、及び(2)連続性チェックにより、手の検出に成功したかどうかを判断することができる。手の検出に成功した場合は、Step14へ進み(Step12:Yes)、手の検出に成功しない場合は、Step13へ進む(Step12:No)。
(Step 12)
The
(補完処理、Step13)
制御部20は、手の部位が未検出の場合(手が隠れた時、等)、前フレームまでの検出結果を用いて補完処理を行う。例えば、1フレーム前の検出結果をそのまま再利用する方法や、KCF法等のトラッキング技術を活用する方法などがある。
(Complementary processing, Step 13)
When the part of the hand is not detected (when the hand is hidden, etc.), the
(Step14)
制御部20は、部位検出結果として、図10に示すように、左右の肩、肘、手首、手の位置を出力することができる。なお、それぞれの位置は、車両座標系(w,l,h)で出力されるが、座標変換により、カメラ座標系(x,y,z)等の他の座標系での値としても出力可能である。
(Step 14)
The
上記の処理実行は、上記示した一連の動作として繰り返して実行することができる。 The above process execution can be repeatedly executed as a series of operations shown above.
(プログラムとしての実施形態)
コンピュータに、処理装置1で示した、車両の乗員を含む撮像領域を撮像対象とした距離画像であって、前記撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得ステップと、車両8の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、乗員5の特徴点を少なくとも1つ検出する特徴点検出処理を実行する制御ステップとを、コンピュータに実行させるためのプログラムも、本発明の実施の形態の一つである。
(Embodiment as a program)
an acquisition step of acquiring, in a computer, a distance image in which an imaging area including an occupant of a vehicle is taken as an imaging target, and in which distance information to the imaging target is assigned to pixels; According to the correspondence relationship between the coordinate system in the vehicle interior space and the coordinate system in the range image of 8, the detected image is converted into a detected image having a specific coordinate system, and at least one characteristic point of the
処理装置1の動作で説明したStep1が距離画像を取得する取得ステップの一例であり、Step2からStep14が特定処理を実行する制御ステップの一例であり、図9で示したフローチャートを実行する処理制御を、コンピュータに実行させるためのプログラムの実施形態とすることができる。
また、上記のようなプログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の実施の形態の一つである。 A computer-readable recording medium recording the above program is also one embodiment of the present invention.
(実施の形態の効果)
本発明の実施の形態によれば、以下のような効果を有する。
(1)本発明の実施の形態に係る処理装置は、車両8の乗員5を含む撮像領域を撮像対象とした距離画像であって、撮像対象までの距離情報を画素に割り当てた距離画像を取得する取得部としてのTOFカメラ10と、車両8の車室内空間における座標系と距離画像における座標系との対応関係に従って、特定の座標系を有した検出画像へと変換し、その検出画像において、乗員5の特徴点を少なくとも1つ検出する特徴点検出処理を実行する制御部20と、を有して構成されている。これにより、人体の特徴点を特定する技術において、その特徴点の特定精度を向上させることができる。
(2)3次元情報を活用することで、外乱光等による濃淡変化の影響によらず人の骨格を精度良く検出することができる。
(3)他の物体で隠れにくい頭部位置を検出の起点としているため、胴体の隠れによらず検出することができる。
(4)スケルトンモデルを用いて部位の探索範囲を絞り込むことで、処理の高速化が可能となる。
(5)前処理でボクセルを作成することで、3次元画素群の密度情報を容易に取得することができ、処理の高速化が可能となる。
(6)3次元情報を用いて前部位との連続性を確認することで、部位の位置を精度良く検出できる。
(7)連続性チェックで説明したように、許容ギャップ数を設けることで、腕時計等の影響による3次元情報の途切れにも対応できる。
(8)補完処理により、各部位の隠れなどにより未検出となった場合でも検出結果を出力することができ、ロバスト性が向上する。
(Effect of Embodiment)
According to the embodiment of the present invention, the following effects are obtained.
(1) The processing device according to the embodiment of the present invention acquires a distance image in which an imaging area including the
(2) By utilizing three-dimensional information, it is possible to accurately detect a human skeleton without being affected by changes in gradation due to ambient light or the like.
(3) Since the head position, which is difficult to hide behind other objects, is used as the starting point of detection, detection can be performed regardless of whether the body is hidden.
(4) Processing speed can be increased by narrowing down the region search range using the skeleton model.
(5) By creating voxels in the preprocessing, it is possible to easily obtain density information of the three-dimensional pixel group, and to speed up the processing.
(6) By confirming the continuity with the front part using the three-dimensional information, the position of the part can be detected with high accuracy.
As described in (7) Continuity check, by setting the number of allowable gaps, it is possible to cope with the interruption of the three-dimensional information due to the influence of a wristwatch or the like.
(8) Complementary processing makes it possible to output the detection result even when it is not detected due to the hiding of each part, etc., improving robustness.
以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。 Although several embodiments of the present invention have been described above, these embodiments are merely examples and do not limit the invention according to the claims. In addition, these novel embodiments can be implemented in various other forms, and various omissions, replacements, changes, etc. can be made without departing from the scope of the present invention.
例えば、カメラ設置位置、角度は上記説明で示した例に限らない。また、カメラはTOFカメラに限らない。また、ステレオカメラ等、他の距離センサでもよい。また、スケルトンモデルの定義で示したパラメータはそれに限らない。また、補完処理はここで示した例に限らない。また、検出する部位は肩、肘、手首、手に限らない。例えば、肩、肘、手としてもよい。また、首位置の算出は上記した方法に限らない。例えば、頭部の傾きを考慮した算出方法としてもよい。 For example, the camera installation positions and angles are not limited to the examples shown in the above description. Also, the camera is not limited to a TOF camera. Other distance sensors such as a stereo camera may also be used. Also, the parameters shown in the definition of the skeleton model are not limited to that. Also, the complementary processing is not limited to the example shown here. Moreover, the parts to be detected are not limited to shoulders, elbows, wrists, and hands. For example, shoulders, elbows, and hands may be used. Further, the calculation of the neck position is not limited to the method described above. For example, a calculation method that considers the inclination of the head may be used.
また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 Moreover, not all the combinations of features described in these embodiments are essential to the means for solving the problems of the invention. Furthermore, these embodiments are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.
1…処理装置、5…乗員、8…車両、10…TOFカメラ、20…制御部、203…腰骨位置、250…母線、300…頭部位置、305…首位置、310、311…肩位置、320、321…肘位置、330、331…手首位置、340、341…手位置、P…起点
Claims (4)
前記取得部で取得した前記距離画像の前記2次元座標系の前記画素の座標とこの座標の前記距離情報とを3次元空間上の点に変換して3次元画素群を作成し、前記3次元画素群の第1の座標系を、前記乗員を原点とする第2の座標系に変換し、変換された前記第2の座標系における前記3次元画素群と人体の各骨格のサイズ、関節の可動範囲を定義するスケルトンモデルとに基づいて予め規定された前記乗員の頭部を起点として肩部、肘部、手首及び手の特徴点を検出する特徴点検出処理を実行する制御部と、
を有し、
前記制御部の前記特徴点検出処理は、前記乗員の頭部を起点として、予め規定された特徴点探索モデルを順次照合して前記肩部、前記肘部、前記手首及び前記手の特徴点を検出する際、
確定前の特徴点の周囲に位置するボクセルを含めた前記ボクセルの集合を考え、前記ボクセルの集合におけるボクセル値の合計が閾値未満かどうかにより、前記確定前の特徴点の確からしさを判断する閾値処理を実行し、
前記ボクセル値の合計が閾値未満かどうかを判定する前記ボクセルの集合を、前記乗員の頭部の特徴点を起点として当該特徴点とは別の特徴点である対象特徴点までの間を所定間隔で存在するボクセル群とする、
処理装置。 an acquisition unit that obtains a distance image in which an imaging area including an occupant of a vehicle is taken as an imaging target, and distance information to the imaging target is assigned to each pixel corresponding to coordinates of a given two-dimensional coordinate system;
converting the coordinates of the pixels in the two-dimensional coordinate system of the distance image acquired by the acquisition unit and the distance information of the coordinates into points in a three-dimensional space to create a three-dimensional pixel group; The first coordinate system of the pixel group is transformed into a second coordinate system having the occupant as the origin, and the three-dimensional pixel group in the transformed second coordinate system, the size of each skeleton of the human body, and the joints. a control unit that executes feature point detection processing for detecting feature points of shoulders, elbows, wrists, and hands with the occupant's head defined in advance based on a skeleton model defining a movable range as a starting point;
has
The feature point detection processing of the control unit sequentially collates predetermined feature point search models starting from the head of the occupant to identify feature points of the shoulder, elbow, wrist, and hand. When detecting
Considering the set of voxels including voxels located around the feature point before determination, a threshold for determining the likelihood of the feature point before determination based on whether the sum of voxel values in the set of voxels is less than the threshold. perform the processing,
The set of voxels for determining whether the sum of the voxel values is less than a threshold is set at a predetermined interval from the feature point of the occupant's head to the target feature point, which is a feature point different from the feature point. Let the voxel group that exists in
processing equipment.
前記取得ステップで取得した前記距離画像の前記2次元座標系の前記画素の座標とこの座標の前記距離情報とを3次元空間上の点に変換して3次元画素群を作成し、前記3次元画素群の第1の座標系を、前記乗員を原点とする第2の座標系に変換し、変換された前記第2の座標系における前記3次元画素群と人体の各骨格のサイズ、関節の可動範囲を定義するスケルトンモデルとに基づいて予め規定された前記乗員の頭部を起点として肩部、肘部、手首及び手の特徴点を検出する特徴点検出処理を実行する制御ステップと、
を有し、
前記制御ステップの前記特徴点検出処理は、前記乗員の頭部を起点として、予め規定された特徴点探索モデルを順次照合して前記肩部、前記肘部、前記手首及び前記手の特徴点を検出する際、
確定前の特徴点の周囲に位置するボクセルを含めた前記ボクセルの集合を考え、前記ボクセルの集合におけるボクセル値の合計が閾値未満かどうかにより、前記確定前の特徴点の確からしさを判断する閾値処理を実行し、
前記ボクセル値の合計が閾値未満かどうかを判定する前記ボクセルの集合を、前記乗員の頭部を起点として前記乗員の頭部の特徴点とは別の特徴点である対象特徴点までの間を所定間隔で存在するボクセル群とする、ことをコンピュータに実行させるためのプログラム。 an acquisition step of obtaining a distance image in which an imaging area including an occupant of a vehicle is taken as an imaging target and distance information to the imaging target is assigned to each pixel corresponding to coordinates of a given two-dimensional coordinate system;
converting the coordinates of the pixels in the two-dimensional coordinate system of the distance image acquired in the acquisition step and the distance information of the coordinates into points in a three-dimensional space to create a three-dimensional pixel group; The first coordinate system of the pixel group is transformed into a second coordinate system having the occupant as the origin, and the three-dimensional pixel group in the transformed second coordinate system, the size of each skeleton of the human body, and the joints. A control step of executing a feature point detection process for detecting feature points of shoulders, elbows, wrists, and hands with the occupant's head defined in advance based on a skeleton model defining a movable range as a starting point;
has
The feature point detection processing of the control step sequentially collates predetermined feature point search models with the occupant's head as a starting point to identify feature points of the shoulder, elbow, wrist, and hand. When detecting
Considering the set of voxels including voxels located around the feature point before determination, a threshold for determining the likelihood of the feature point before determination based on whether the sum of voxel values in the set of voxels is less than the threshold. perform the processing,
The set of voxels for determining whether the sum of the voxel values is less than a threshold is set from the occupant's head as a starting point to a target feature point that is a feature point different from the occupant's head feature point. A program for causing a computer to create a group of voxels existing at predetermined intervals.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018066467A JP7117878B2 (en) | 2018-03-30 | 2018-03-30 | processor and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018066467A JP7117878B2 (en) | 2018-03-30 | 2018-03-30 | processor and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019179288A JP2019179288A (en) | 2019-10-17 |
JP7117878B2 true JP7117878B2 (en) | 2022-08-15 |
Family
ID=68278674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018066467A Active JP7117878B2 (en) | 2018-03-30 | 2018-03-30 | processor and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7117878B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023100679A1 (en) * | 2021-12-03 | 2023-06-08 | パナソニックIpマネジメント株式会社 | Determination method, determination device, and determination system |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012127811A (en) | 2010-12-15 | 2012-07-05 | Honda Motor Co Ltd | Occupant detection device |
JP2017111508A (en) | 2015-12-14 | 2017-06-22 | 富士通テン株式会社 | Information processing device, information processing system, and information processing method |
-
2018
- 2018-03-30 JP JP2018066467A patent/JP7117878B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012127811A (en) | 2010-12-15 | 2012-07-05 | Honda Motor Co Ltd | Occupant detection device |
JP2017111508A (en) | 2015-12-14 | 2017-06-22 | 富士通テン株式会社 | Information processing device, information processing system, and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP2019179288A (en) | 2019-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5647155B2 (en) | Body feature detection and human pose estimation using inner distance shape relation | |
KR101283262B1 (en) | Method of image processing and device thereof | |
JP6736257B2 (en) | Information processing device, information processing method, and program | |
JP5877053B2 (en) | Posture estimation apparatus and posture estimation method | |
US10430650B2 (en) | Image processing system | |
JP2007538318A5 (en) | ||
JP2007004767A (en) | Image recognition apparatus, method and program | |
US10043279B1 (en) | Robust detection and classification of body parts in a depth map | |
JP2012042396A (en) | Position attitude measurement device, position attitude measurement method, and program | |
WO2017051480A1 (en) | Image processing device and image processing method | |
JP2016099982A (en) | Behavior recognition device, behaviour learning device, method, and program | |
JP2019114103A (en) | Object recognition processing device, object recognition processing method and program | |
CN112567384A (en) | System and method for finding and classifying patterns in an image using a vision system | |
JP2010157093A (en) | Motion estimation device and program | |
JP6410231B2 (en) | Alignment apparatus, alignment method, and computer program for alignment | |
JP5976089B2 (en) | Position / orientation measuring apparatus, position / orientation measuring method, and program | |
JP2006090957A (en) | Surrounding object detecting device for moving body, and surrounding object detection method for moving body | |
JP2010039617A (en) | Object tracking device and program | |
CN110991292A (en) | Action identification comparison method and system, computer storage medium and electronic device | |
JP7117878B2 (en) | processor and program | |
JP2019179289A (en) | Processing device and program | |
CN114846513A (en) | Motion analysis system and motion analysis program | |
JP7053342B2 (en) | Processing equipment and programs | |
JP7375806B2 (en) | Image processing device and image processing method | |
JP4742695B2 (en) | Gaze recognition apparatus and gaze recognition method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20180427 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180501 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201112 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211124 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220802 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7117878 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |