JP2018179876A - Attitude estimation system, distance image camera, and attitude estimation device - Google Patents
Attitude estimation system, distance image camera, and attitude estimation device Download PDFInfo
- Publication number
- JP2018179876A JP2018179876A JP2017082897A JP2017082897A JP2018179876A JP 2018179876 A JP2018179876 A JP 2018179876A JP 2017082897 A JP2017082897 A JP 2017082897A JP 2017082897 A JP2017082897 A JP 2017082897A JP 2018179876 A JP2018179876 A JP 2018179876A
- Authority
- JP
- Japan
- Prior art keywords
- distance image
- unit
- light
- light source
- image camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Geophysics And Detection Of Objects (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
本発明は、姿勢推定システム、距離画像カメラ、及び姿勢推定装置に関する。 The present invention relates to a posture estimation system, a distance image camera, and a posture estimation device.
距離画像センサ（「深度カメラ」ともいう）から取得した距離画像（「深度画像」ともいう）を用いて、人等の被写体の関節位置及び姿勢を推定する技術が知られている。 There is known a technique for estimating a joint position and a posture of a subject such as a person using a distance image (also referred to as a “depth image”) acquired from a distance image sensor (also referred to as a “depth camera”).
特許文献１には、「距離画像センサ部２は窓３２の外側に設定した対象空間３３に光を照射する発光源５を備えるとともに、対象空間３３からの光を受光し受光光量を反映した出力値の電気出力が得られる光検出素子３を備えており」、「距離画像センサ部２の画像生成部８で得られた対象空間３３の距離画像は信号処理回路１０に入力され、信号処理回路１０によって対象空間３３内で人の存否を検出する処理が行われる」、「信号処理回路１０では、各画素の画素値（距離値）の入力範囲を所定の上限値以下に制限することで、センサの検知エリアを所定の上限値以下に制限しており」などと記載されている。
In
特許文献２には、内視鏡に関して、共焦点用ピンホールとして機能する点光源を移動させて該点光源からの光束を走査することにより、被検面を観察する走査型共焦点光学システムが記載されている。
例えば、工場の生産ライン等において作業者の動きを分析して、生産性の向上などに活用したいというニーズが出てきている。これに対応するシステムとして、様々な場所に設置した多数の距離画像カメラと、これらの距離画像カメラにネットワークを介して接続される遠隔サーバ装置とを用意し、この遠隔サーバ装置で各距離画像センサから受信した各距離画像から人等の被写体の姿勢推定を実行する、コンピュータシステム（例えば監視システム）が検討されている。 For example, there is a need to analyze the movement of workers in a production line of a factory and use it to improve productivity. As a system corresponding to this, a large number of distance image cameras installed in various places and a remote server device connected to these distance image cameras via a network are prepared, and each distance image sensor is operated by this remote server device. A computer system (e.g., a surveillance system) is under consideration that performs pose estimation of a subject such as a person from each of the distance images received from.
ここで、例えば複数の人が存在する工場の生産ライン等を考えた場合、距離画像カメラから得られる距離画像では、人が存在する場所が状況によって変化したり特定の場所に偏ったりすることがある。この場合、遠隔サーバ装置は、得られた距離画像中の実際は人が存在しない領域に対しても姿勢推定処理を実行することになる。そのため、計算リソースを効率的に使用することができず、姿勢推定処理の推定精度を向上するのが難しい。また、距離画像カメラの撮像範囲の中で光が当たり難い暗い場所に人が存在する場合には、姿勢推定処理の推定精度が低下してしまう。 Here, for example, in the case of a production line of a factory where there are a plurality of people, in the distance image obtained from the distance image camera, the place where the person exists may be changed depending on the situation or biased to a specific place. is there. In this case, the remote server device performs the posture estimation process even on an area where no person actually exists in the obtained distance image. Therefore, computational resources can not be used efficiently, and it is difficult to improve the estimation accuracy of the posture estimation process. In addition, when a person is present in a dark place where light is difficult to reach in the imaging range of the range image camera, the estimation accuracy of the posture estimation process is lowered.
本発明の目的は、距離画像カメラから送信される距離画像を用いて被写体の姿勢推定を行うコンピュータシステムの推定精度を向上することを目的とする。 An object of the present invention is to improve the estimation accuracy of a computer system that estimates the posture of a subject using a distance image transmitted from a distance image camera.
本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。 Although this application contains multiple means to solve at least one part of the said subject, if the example is given, it is as follows.
上記の課題を解決する本発明の一態様は、距離画像カメラと、前記距離画像カメラとネットワークを介して接続される姿勢推定装置とを含む姿勢推定システムであって、前記距離画像カメラは、対象空間に光を照射する光源部と、前記対象空間からの光を受光して所定の撮像範囲の画像情報を生成する距離画像センサと、前記生成された画像情報から距離画像を生成する距離画像生成部と、前記生成された距離画像を前記姿勢推定装置に送信する通信部と、を備え、前記姿勢推定装置は、前記距離画像カメラから前記距離画像を受信する距離画像受信部と、前記受信された距離画像から１つ以上の関節位置を識別し、前記識別された１つ以上の関節位置を含む推定姿勢情報を生成する姿勢推定部と、前記生成された推定姿勢情報を出力する出力部と、を備え、前記距離画像カメラは、前記光源部の光の出射方向を調節する方向調節部を備える。 One aspect of the present invention for solving the above problems is a posture estimation system including a distance image camera and a posture estimation device connected to the distance image camera via a network, the distance image camera being an object A light source unit for emitting light to a space, a distance image sensor for receiving light from the target space to generate image information of a predetermined imaging range, and distance image generation for generating a distance image from the generated image information Unit, and a communication unit for transmitting the generated distance image to the posture estimation device, wherein the posture estimation device receives the distance image reception unit for receiving the distance image from the distance image camera; A posture estimation unit which identifies one or more joint positions from the distance image and generates estimated posture information including the one or more identified joint positions; and outputs the generated estimated posture information. Comprising a part, the said distance image camera is provided with a direction adjusting unit to adjust the emission direction of light of the light source unit.
本発明の一態様によれば、距離画像カメラから送信される距離画像を用いて被写体の姿勢推定を行うコンピュータシステムの推定精度を向上することができる。 According to one aspect of the present invention, it is possible to improve the estimation accuracy of a computer system that estimates the posture of a subject using a distance image transmitted from a distance image camera.
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。 Problems, configurations, and effects other than those described above will be apparent from the description of the embodiments below.
以下、本発明の複数の実施形態について、図面を参照して説明する。 Hereinafter, a plurality of embodiments of the present invention will be described with reference to the drawings.
［第１実施形態］
図１は、第１実施形態に係る、姿勢推定システムのシステム構成例を示す図である。姿勢推定システムは、１台以上の距離画像カメラ１と、１台の姿勢推定装置２とを含む。各距離画像カメラ１と姿勢推定装置２は、ネットワークＮを介して接続され、互いに通信することができる。ネットワークＮは、例えば、有線ＬＡＮ（Local Area Network）、無線ＬＡＮ、ＷＡＮ（Wide Area Network）、モバイル通信網、インターネット等の電気通信網であり、これらの２つ以上を組み合わせてもよい。
First Embodiment
FIG. 1 is a diagram showing an example of a system configuration of a posture estimation system according to the first embodiment. The posture estimation system includes one or more
距離画像カメラ１は、人等の被写体が存在する対象空間の距離画像を撮像する撮像装置である。距離画像（「深度画像」ともいう）とは、画像中の各画素に、その階調情報（例えば、ＲＧＢ）に加え深さ方向の距離情報が所定のスケーリングで記録された画像である。距離画像カメラ１は、例えばＴＯＦ（Time of Flight）方式のカメラであるが、距離画像を出力できれば、例えば可視光により撮像する２つの光学系を備えたステレオカメラ等の他の方式のカメラであってもよい。距離画像カメラは、距離画像センサと呼んでもよい。
The
本実施形態の距離画像カメラ１は、背景画素の階調情報及び距離情報に所定値（例えば「１」）を設定することにより、撮像した距離画像から背景を消去し、前景画素を含む距離画像を姿勢推定装置２に送信する。前景画素とは、人や当該人が持つ道具等の動作する被写体に対応する画素群である。背景画素とは、前景画素以外の画素であり、背景に対応する画素群である。
The
また、本実施形態の距離画像カメラ１は、対象空間に光を照射する光源と、光源から出射される光の出射方向を調節する方向調節部とを備える。これにより、距離画像カメラ１は、撮像される撮像範囲全体に均一に光が照射されるように出射方向を調節するだけでなく、撮像範囲のうち所望の領域（例えば前景画素を含む領域）に光が集中するように出射方向を調節することができる。
In addition, the
姿勢推定装置２は、距離画像に含まれる前景画素から人等の被写体の姿勢を推定する装置である。姿勢推定装置２は、例えば、後述するようにサーバ等のコンピュータ装置で実現される。姿勢推定装置２は、複数台のコンピュータで実現されてもよい。
The
本実施形態の姿勢推定装置２は、距離画像に含まれる前景画素の距離情報に基づいて、対象を構成する部位（例えば、頭、腕、手、胴体などの体のパーツ、関節は含まない）を識別し、各部位に対して関節位置を識別し、識別した関節位置に基づいて対象の姿勢を推定する。
The
本実施形態では、距離画像カメラ１によって距離画像から背景が消去され、この距離画像が姿勢推定装置２に送信されて処理される。これにより、背景画素と前景画素の両方を含む一般的な距離画像を送信する場合と比べ、ネットワークＮの通信負荷を低減することができる。また、姿勢推定装置２は前景画素に対して処理を実行すればよいため、一般的な距離画像を処理する場合と比べ、姿勢推定装置２の処理負荷を低減することができる。距離画像カメラ１の台数あるいは距離画像カメラ１の撮像レートが増加するほど、効果が大きくなる。さらに、姿勢推定装置２は、前景画素に対して計算リソースを集中的に使用することができるため、姿勢推定の推定精度を向上することができる。
In the present embodiment, the background is erased from the distance image by the
また、本実施形態の距離画像カメラ１は、撮像範囲のうち所望の領域（例えば前景画素を含む領域）に光を集中させることができる。これにより、距離画像カメラ１は、被写体（前景画素）を含む領域がその他の領域よりも明るく照らされた距離画像を生成することができる。その結果、姿勢推定装置２は、撮像範囲全体に均一に光が照射された距離画像に対して姿勢推定処理を施す場合と比べ、より明るい前景画素に対して姿勢推定処理を実行できるため、姿勢推定の推定精度を向上することができる。
Further, the
図２は、第１実施形態に係る、距離画像カメラ及び姿勢推定装置の機能構成例を示す図である。距離画像カメラ１は、制御部１１と、光源部１２と、距離画像センサ１３と、距離画像生成部１４と、通信部１５とを含む。姿勢推定装置２は、通信部２１と、距離画像受信部２２と、姿勢推定部２３と、出力部２７とを含む。姿勢推定部２３は、特徴量算出部２４と、部位識別部２５と、関節識別部２６とを含む。
FIG. 2 is a diagram showing an example of a functional configuration of the distance image camera and the posture estimation device according to the first embodiment. The
制御部１１は、光源部１２、距離画像センサ１３、距離画像生成部１４、及び通信部１５を制御する。例えば、制御部１１は、光源部１２に光の照射を指示し、距離画像センサ１３に照射光と反射光の位相差情報の生成を指示し、距離画像生成部１４に距離画像の生成を指示し、通信部１５に距離画像の送信を指示する。また例えば、制御部１１は、後述するように、光源部１２から照射される光の出射方向が変更されるように、光源部１２を制御することができる。制御部１１は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等を含むマイクロコンピュータや、専用ハードウェア回路により実現することができる。
The
光源部１２は、人等の被写体が存在する対象空間に対して光を照射する。また、光源部１２は、光源から出射される光の出射方向を制御することができる。
The
図３は、第１実施形態に係る、光が照射される撮像範囲を模式的に説明する図である。通常、距離画像カメラ１から照射された光は、撮像範囲Ａ全体を均一に照らす。ここで、人等の被写体Ｆが撮像範囲Ａのうち一部の領域ａ（図の例では、破線で分割した６つの領域ａのうち左下の領域ａ）のみに存在する場合を考える。この場合、被写体Ｆ（前景画素）が存在する領域ａ（前景画素領域）以外の５つの領域ａに照射された光は、被写体Ｆが存在しない背景に照射されることになり、距離画像から姿勢推定を行う際には無駄となってしまう。そこで、本実施形態の距離画像カメラ１は、被写体が存在しない領域へ照射される光の少なくとも一部を、被写体が存在する領域に照射するための機構を有する。
FIG. 3 is a diagram schematically illustrating an imaging range to which light is emitted according to the first embodiment. Usually, the light emitted from the
図４は、第１実施形態に係る、光源部の構成例を模式的に示す図である。本図では、説明を分かり易くするため、出射される光の光路のうち代表的な光路を示している。 FIG. 4 is a view schematically showing a configuration example of a light source unit according to the first embodiment. In the drawing, in order to make the description easy to understand, representative light paths of the light paths of the emitted light are shown.
光源部１２は、光源Ｌと、複数の回折格子Ｇ（「方向調節部」ともいう）とを備える。本図の例では、光源部１２は、３個の回折格子Ｇ１〜Ｇ３を備える。
The
光源Ｌは、例えば、２次元アレイ状に配置された複数の発光ダイオードを備える。もちろん、光源Ｌは、発光ダイオードに限らず、例えば半導体レーザ等のデバイスにより実現してもよい。光源Ｌのオン又はオフは、制御部１１によって制御される。光源Ｌの一部の領域をオン又はオフできてもよい。
The light source L includes, for example, a plurality of light emitting diodes arranged in a two-dimensional array. Of course, the light source L is not limited to a light emitting diode, and may be realized by a device such as a semiconductor laser, for example. The on / off of the light source L is controlled by the
複数の回折格子Ｇは、それぞれ面状に構成され、光源Ｌと向かい合うように光の出射方向に配置される。複数の回折格子Ｇは、２次元アレイ状に配列されてもよいし、１次元リニア状に配列されてもよい。図４では、説明を分かり易くするため、１次元リニア状の場合を示している。 Each of the plurality of diffraction gratings G is formed in a planar shape, and is disposed in the light emission direction so as to face the light source L. The plurality of diffraction gratings G may be arranged in a two-dimensional array, or may be arranged in a one-dimensional linear shape. In FIG. 4, in order to make the description easy to understand, a one-dimensional linear case is shown.
各回折格子Ｇは、それぞれ個別に電気的にオン又はオフを切り替え可能である。各回折格子Ｇのオン又はオフは、制御部１１によって制御される。オフされた回折格子Ｇは、光源Ｌから出射された光の光路を回折によって曲げることなく、真っすぐ通過させる。オンされた回折格子Ｇは、光源Ｌから出射された光の光路を回折によって曲げる。もちろん、各回折格子Ｇは、オフのときに光を曲げるように構成してもよい。
Each diffraction grating G can be electrically switched on or off individually. The on / off of each diffraction grating G is controlled by the
全ての回折格子Ｇがオフされている場合の光の照射範囲は、所定の画角（撮像範囲Ａ）の全体をできる限り均一にかつ十分な光量で照射できるように設定される。 The irradiation range of light when all the diffraction gratings G are turned off is set so that the entire predetermined angle of view (imaging range A) can be irradiated as uniformly as possible and with a sufficient light quantity.
図４（Ｂ）〜（Ｄ）に示すように、各回折格子Ｇ１〜Ｇ３は、領域ａ１〜ａ３それぞれに対応するように配置されており、光源Ｌから出射された光は、各回折格子Ｇ１〜Ｇ３を通過して領域ａ１〜ａ３に照射される。 As shown in FIGS. 4B to 4D, the diffraction gratings G1 to G3 are arranged to correspond to the regions a1 to a3, respectively, and the light emitted from the light source L is converted to each diffraction grating G1. The light is irradiated to the regions a1 to a3 through G3.
図４（Ｂ）は、回折格子Ｇ１〜Ｇ３の全てがオフされた状態を示している。この場合、光源Ｌのうち回折格子Ｇ１に対応する部分から出射された光は、回折格子Ｇ１を真っすぐ通過して、対応する領域ａ１に照射される。同様に、光源Ｌのうち回折格子Ｇ２及びＧ３に対応する部分から出射された光は、回折格子Ｇ２及びＧ３を真っすぐ通過して、対応する領域ａ２及びａ３に照射される。その結果、領域ａ１〜ａ３は、均一な光量で照射される。 FIG. 4B shows a state in which all of the diffraction gratings G1 to G3 are turned off. In this case, light emitted from a portion of the light source L corresponding to the diffraction grating G1 passes the diffraction grating G1 straight and is irradiated to the corresponding area a1. Similarly, the light emitted from the portion of the light source L corresponding to the diffraction gratings G2 and G3 passes through the diffraction gratings G2 and G3 straight and is irradiated to the corresponding regions a2 and a3. As a result, the regions a1 to a3 are irradiated with a uniform amount of light.
図４（Ｃ）は、回折格子Ｇ２がオフされ、かつ、回折格子Ｇ１及びＧ３がオンされた状態を示している。この場合、光源Ｌのうち回折格子Ｇ１に対応する部分から出射された光の一部は、回折格子Ｇ１で曲げられ、対応する領域ａ１に隣接する領域ａ２にも照射される。同様に、光源Ｌのうち回折格子Ｇ３に対応する部分から出射された光の一部は、回折格子Ｇ３で曲げられ、対応する領域ａ３に隣接する領域ａ２にも照射される。その結果、領域ａ２は、領域ａ１及びａ３と比べて、回折格子Ｇ１とＧ３からの光も照射されるために光を集中させることができ、より多い光量で照射される。 FIG. 4C shows a state in which the diffraction grating G2 is turned off and the diffraction gratings G1 and G3 are turned on. In this case, a part of the light emitted from the portion of the light source L corresponding to the diffraction grating G1 is bent by the diffraction grating G1 and is also irradiated to the area a2 adjacent to the corresponding area a1. Similarly, a part of the light emitted from the portion of the light source L corresponding to the diffraction grating G3 is bent by the diffraction grating G3 and is also irradiated to the area a2 adjacent to the corresponding area a3. As a result, the light from the diffraction gratings G1 and G3 is also irradiated to the region a2 as compared with the regions a1 and a3, so that the light can be concentrated and the light is irradiated with a larger amount of light.
図４（Ｄ）は、回折格子Ｇ２がオンされ、かつ、回折格子Ｇ１及びＧ３がオフされた状態を示している。この場合、光源Ｌのうち回折格子Ｇ２に対応する部分から出射された光の一部は、回折格子Ｇ２で曲げられ、対応する領域ａ２に隣接する領域ａ１及びａ３にも照射される。その結果、領域ａ１及びａ３は、領域ａ２と比べて、回折格子Ｇ２からの光も照射されるために光を集中させることができ、より多い光量で照射される。 FIG. 4D shows the state in which the diffraction grating G2 is turned on and the diffraction gratings G1 and G3 are turned off. In this case, a part of the light emitted from the portion of the light source L corresponding to the diffraction grating G2 is bent by the diffraction grating G2 and is also irradiated to the regions a1 and a3 adjacent to the corresponding region a2. As a result, in the regions a1 and a3, the light from the diffraction grating G2 is also irradiated as compared to the region a2, so that the light can be concentrated and the light is irradiated with a larger amount of light.
このように、制御部１１は、撮像範囲内のある対象領域の光量を増加させる場合、当該対象領域に隣接する１つ以上の領域に対応する１つ以上の回折格子Ｇをオンにすればよい。本実施形態では、制御部１１は、後述する距離画像生成部１４により距離画像から特定された前景画素を含む対象領域（前景画素領域）の光量が増加するように、各回折格子Ｇのオン又はオフを制御する。
Thus, when increasing the light intensity of a certain target area in the imaging range, the
なお、前景画素が１つの対象領域ａに含まれる場合は、制御部１１は、当該対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上の回折格子Ｇをオンにすればよい。また、前景画素が複数の対象領域ａに含まれる場合は、制御部１１は、当該複数の対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上の回折格子Ｇをオンにすればよい。
When the foreground pixel is included in one target area a, the
図２の説明に戻る。距離画像センサ１３は、対象空間からの反射光を、結像レンズ（図示せず）を介して受光し、画素毎に、照射時と受光時の位相差情報と、階調情報とを生成して、所定の撮像範囲の画像情報として出力する。距離画像センサ１３は、例えば、照射時と受光時の位相差情報と階調情報とを生成する複数の受光素子を、面状に配列することで構成することができる。
It returns to the explanation of FIG. The
距離画像生成部１４は、距離画像センサ１３から出力される画像情報に含まれる画素毎の位相差情報を用いて、画素毎にその距離情報を算出する。そして、画素毎に距離情報と階調情報を含む入力距離画像を生成する。
The distance
また、距離画像生成部１４は、入力距離画像から前景画素を抽出するとともに、背景を消去し、抽出された前景画素と消去された背景を含む出力距離画像を生成し、通信部１５を介して姿勢推定装置２に送信する。例えば、距離画像生成部１４は、対象が存在しないときに取得した対象空間の距離画像（背景のみを含む）と入力距離画像との、対応する画素の距離の差分を取り、差分がある部分を前景画素として抽出することができる。前景画素の抽出方法はこれに限定されない。例えば、距離が所定値未満の画素を前景画素として抽出してもよい。例えば、距離画像生成部１４は、背景画素の階調情報及び距離情報を所定値（例えば「１」）に設定することにより、入力距離画像のサイズ（縦横の画素数を指す、以下同様）を変更することなく、背景を消去する。
In addition, the distance
図５は、第１実施形態に係る、前景画素を抽出する方法の例を説明する図である。距離画像生成部１４は、入力距離画像（Ａ）のうち、事前に取得した対象空間の背景画素（Ｂ）に所定値を設定し（所定値に置換し）、出力距離画像（Ｃ）を生成する。入力距離画像（Ａ）と出力距離画像（Ｃ）は、同じ座標系及びサイズを有する。
FIG. 5 is a diagram for explaining an example of a method of extracting foreground pixels according to the first embodiment. The distance
なお、距離画像生成部１４は、出力距離画像に対して所定の圧縮処理を施してデータ量を削減してもよい。上記の例では、背景画素が同じ値に設定されるため、背景画素が連続する領域では圧縮率を高めることができる。距離画像生成部１４は、例えば、ＣＰＵ、ＲＡＭ等を含むマイクロコンピュータや、専用ハードウェア回路により実現することができる。
Note that the distance
制御部１１は、あるフレームの距離画像から抽出された前景画素が、撮像範囲Ａ内のいずれの領域ａに含まれるかを判定する。そして、制御部１１は、次フレームの撮像行われる前に、前景画素が含まれる１つ以上の対象領域ａの光量が増加するように、当該対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上の回折格子Ｇをオンにする。例えば図３に示すように、前景画素が左下の対象領域ａに含まれる場合、制御部１１は、当該対象領域ａの上及び右の領域ａに対応する２つの回折格子Ｇをオンにする。このようにすることで、前景画素が含まれる領域の光量が増加し、次フレームの撮像において当該前景画素領域が他の領域よりも明るく撮像される。
The
通信部１５は、ネットワークＮに接続され、距離画像生成部１４から出力された距離画像を、姿勢推定装置２に送信する。通信部１５は、例えば、ＬＡＮ等の規格のネットワークインターフェイスにより実現することができる。
The
通信部２１は、ネットワークＮに接続され、各距離画像カメラ１から送信された距離画像を受信する。
The
距離画像受信部２２は、距離画像を、通信部２１を介して受信し、姿勢推定部２３に出力する。なお、距離画像受信部２２は、受信した距離画像に所定の圧縮処理が施されている場合、当該距離画像に対して所定の伸長処理を施してもよい。
The distance
姿勢推定部２３は、距離画像受信部２２から出力された距離画像を用いて、当該距離画像に含まれる人等の被写体の姿勢を推定する。姿勢推定処理を行うため、姿勢推定部２３は、特徴量算出部２４、部位識別部２５、及び関節識別部２６を含むことができる。
The
特徴量算出部２４は、距離画像を構成する各画素の距離情報を取得する。また、特徴量算出部２４は、前景画素を構成する画素（注目画素）毎に、特徴量を算出する。上述のように背景画素には所定値が設定されているため、前景画素は背景画素から区別することができる。特徴量の算出方法は、既存の技術を用いることができ、限定されない。例えば、注目画素とその周囲画素の距離の差を特徴量とすればよい。具体例としては、注目画素を中心とする縦９画素×横９画素の矩形領域から、注目画素とその周囲の８０画素それぞれとの距離の差を有する８０次元（２次元配列）の特徴量ベクトルを用いることができる。
The feature
部位識別部２５は、各注目画素が含まれる部位（例えば、頭、腕、手、胴体などの体のパーツ、関節は含まない）を識別する。部位の識別方法は、既存の技術を用いることができ、限定されない。例えば、特徴量閾値と部位ラベルを関連付けた決定木（識別器）に対して、注目画素の特徴量を入力することで、当該注目画素の部位ラベルを取得すればよい。部位ラベルとは、各部位の種類を示す情報などの、部位の識別子である。識別器には、例えば、ランダムフォレスト等の複数の決定木を用いることができ、予め学習したものを姿勢推定装置２の備える記憶装置に記憶しておけばよい。
The
関節識別部２６は、識別された各注目画素の部位ラベルを用いて、対象の関節位置を識別する。関節位置の識別方法は、既存の技術を用いることができ、限定されない。例えば、同一部位ラベルが付与された注目画素群である部位毎に、その重心位置（関節位置候補）を取得すればよい。重心位置の取得には、例えば、mean-shift法を用いることができる。また、例えば、直線距離や角度などの関節間の関係を定義した人体の関節モデルを用いて、各重心位置の関節モデルに対する整合性を評価し、最終的な各関節位置を決定すればよい。また、各関節位置の関節ラベルを決定してもよい。関節ラベルとは、例えば、首関節、手首関節、肩関節など関節の種類を示す情報などの、関節の識別子である。
The
出力部２７は、関節識別部２６により識別された関節位置を含む推定姿勢情報を出力する。関節位置は、例えば、距離画像と同じ座標系の位置座標情報である。推定姿勢情報は、各関節位置の距離情報、各関節位置の関節ラベル、関節同士を結ぶ線分情報等を含んでもよい。例えば、出力部２７は、通信部２１を介して推定姿勢情報を外部のコンピュータやストレージに送信してもよいし、各関節位置を示す画像情報を姿勢推定装置２の備えるディスプレイに表示させてもよい。出力部２７は、距離画像を出力してもよい。
The
図６は、第１実施形態に係る、姿勢推定装置を実現するコンピュータのハードウェア構成例を示す図である。姿勢推定装置２は、例えば図６に示すようなコンピュータ９０により実現することができる。コンピュータ９０は、例えば、サーバーコンピュータであるが、パーソナルコンピュータ、スマートフォン、タブレットコンピュータ等のコンピュータ機器であってもよい。また、姿勢推定装置２は、複数のコンピュータ９０により構成されてもよい。
FIG. 6 is a diagram showing an example of a hardware configuration of a computer for realizing the posture estimation device according to the first embodiment. The
コンピュータ９０は、演算装置９１と、主記憶装置９２と、外部記憶装置９３と、通信装置９４と、読み書き装置９５と、入力装置９６と、出力装置９７とを含む。
The
演算装置９１は、例えば、ＣＰＵなどの演算ユニットである。主記憶装置９２は、例えば、ＲＡＭなどの記憶装置である。外部記憶装置９３は、例えば、ハードディスクやＳＳＤ（Solid State Drive）、あるいはフラッシュＲＯＭ（Read Only Memory）などの記憶装置である。通信装置９４は、ネットワークケーブルを介して有線通信を行う通信装置、アンテナを介して無線通信を行う通信装置を含む、情報を送受信する装置である。読み書き装置９５は、DVD（Digital Versatile Disk）、USB（Universal Serial Bus）メモリー等の記録媒体に情報を読み書きする装置である。入力装置９６は、キーボードやマウスなどのポインティングデバイス、タッチパネル、マイクロフォンなどを含む、入力情報を受け付ける装置である。出力装置９７は、ディスプレイ、プリンター、スピーカーなどを含む、出力情報を出力する装置である。主記憶装置９２及び外部記憶装置９３の少なくとも一部は、例えば、通信装置９４を介して接続されるネットワークＮ上のストレージにより実現されてもよい。
The
距離画像受信部２２、姿勢推定部２３、及び出力部２７（これらを「制御部」と呼んでもよい）は、例えば、演算装置９１が所定のアプリケーションプログラムを実行することによって実現することができる。このアプリケーションプログラムは、例えば、外部記憶装置９３内に記憶され、実行にあたって主記憶装置９２上にロードされ、演算装置９１によって実行される。通信部２１は、例えば、通信装置９４によって実現される。
The distance
図７は、第１実施形態に係る、姿勢推定システムの処理例を示すフローチャートである。本図のフローチャートのステップＳ２〜Ｓ５、Ｓ１１〜Ｓ１３は、１フレームの距離画像毎に実行される。 FIG. 7 is a flowchart showing a process example of the posture estimation system according to the first embodiment. Steps S2 to S5 and S11 to S13 in the flowchart of this figure are executed for each distance image of one frame.
まず、光源部１２は、撮像範囲Ａの全領域に光を均一に照射する（ステップＳ１）。具体的には、制御部１１は、光源部１２の複数の回折格子Ｇの全てをオフに設定することにより、撮像範囲Ａの全領域を均一な光量で照射する。
First, the
それから、距離画像生成部１４は、距離画像センサ１３から出力される画素毎の情報を用いて、画素毎に距離情報と階調情報を含む入力距離画像を生成する（ステップＳ２）。それから、距離画像生成部１４は、ステップＳ２で生成した入力距離画像から前景画素を抽出するとともに、背景を消去し、抽出された前景画素と消去された背景を含む出力距離画像を生成する（ステップＳ３）。それから、距離画像生成部１４は、ステップＳ３で生成した出力距離画像を、通信部１５を介して姿勢推定装置２に送信する（ステップＳ４）。
Then, the distance
それから、制御部１１は、ステップＳ３において入力距離画像から前景画素が抽出されたか否かを判定する（ステップＳ５）。前景画素が抽出されていないと判定する場合（ステップＳ５：ＮＯ）、制御部１１は、処理をステップＳ１に戻す。
Then, the
前景画素が抽出されたと判定する場合（ステップＳ５：ＹＥＳ）、光源部１２は、前景画素領域に光を集中させる（ステップＳ６）。具体的には、制御部１１は、ステップＳ３において入力距離画像から抽出された前景画素が、撮像範囲Ａ内のいずれの領域ａに含まれるかを判定する。また、制御部１１は、前景画素が含まれる１つ以上の対象領域ａの光量が増加するように、当該対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上の回折格子Ｇをオンにする。そして、制御部１１は、処理をステップＳ２に戻す。
When it is determined that the foreground pixel is extracted (step S5: YES), the
距離画像受信部２２は、ステップＳ４で距離画像カメラ１から送信された距離画像を、通信部２１を介して受信する（ステップＳ１１）。それから、姿勢推定部２３は、ステップＳ１１で受信された距離画像を用いて、当該距離画像に含まれる人等の被写体の姿勢を推定する（ステップＳ１２）。それから、出力部２７は、ステップＳ１２で姿勢推定部２３から出力された関節位置を含む推定姿勢情報を出力し（ステップＳ１３）、処理をステップＳ１１に戻す。
The distance
図８は、第１実施形態に係る、姿勢推定装置の姿勢推定処理の一例を示すフローチャートである。図８のフローチャートは、図７のステップＳ１２の詳細を示している。 FIG. 8 is a flowchart showing an example of an attitude estimation process of the attitude estimation device according to the first embodiment. The flowchart of FIG. 8 shows details of step S12 of FIG.
まず、特徴量算出部２４は、前景画素から注目画素を１つ選択し（ステップＳ１２１）、選択した注目画素と１つ以上の周囲画素の距離情報を用いて、当該注目画素の特徴量を算出する（Ｓ１２２）。それから、部位識別部２５は、算出された注目画素の特徴量を、予め用意した識別器に入力することで、当該注目画素の部位ラベルを取得する（ステップＳ１２３）。
First, the feature
それから、姿勢推定部２３は、前景画素を構成する全ての注目画素を選択したかどうかを判定する（ステップＳ１２４）。全画素を選択していないと判定した場合（ステップＳ１２４：ＮＯ）、姿勢推定部２３は、処理をステップＳ１２１に戻す。全画素を選択したと判定した場合（ステップＳ１２４：ＹＥＳ）、姿勢推定部２３は、処理をステップＳ１２５に進める。
Then, the
関節識別部２６は、ステップＳ１２３で識別された各注目画素の部位ラベルを用いて、部位毎に、その重心位置（関節位置候補）を取得する（ステップＳ１２５）。最後に、関節識別部２６は、取得した各部位の重心位置に基づいて、最終的な１つ以上の関節位置を決定する（ステップＳ１２６）。
The joint identifying
以上、本発明の第１実施形態について説明した。第１実施形態の姿勢推定システムは、撮像範囲の被写体（前景画素）が存在する領域の光量を増加させたうえで撮像を行う。これにより、距離画像上の前景画素領域は周囲の領域よりも明るく写るため、被写体の姿勢推定処理の推定精度を向上することができる。例えば人等の被写体が存在する場所が特定の場所に偏っている場合でも、推定精度を向上することができる。 The first embodiment of the present invention has been described above. The posture estimation system of the first embodiment performs imaging after increasing the amount of light of the area where the subject (foreground pixel) in the imaging range is present. As a result, since the foreground pixel area on the distance image appears brighter than the surrounding area, it is possible to improve the estimation accuracy of the subject's posture estimation processing. For example, even when the place where the subject such as a person is present is biased to a specific place, the estimation accuracy can be improved.
また、第１実施形態の姿勢推定システムは、被写体（前景画素）が撮像範囲内で移動する場合であっても、移動した被写体が存在する領域の光量を増加させる。これにより、例えば人等の被写体が存在する場所が状況によって変化する場合でも、推定精度を向上することができる。 Further, the posture estimation system of the first embodiment increases the light amount in the area where the moved subject is present, even when the subject (foreground pixel) moves within the imaging range. Thereby, for example, even when the place where the subject such as a person is present changes depending on the situation, the estimation accuracy can be improved.
［第２実施形態］
第２実施形態は、光源部１２の構成が第１実施形態と異なる。以下、第１実施形態と異なる構成を中心に説明し、第１実施形態と同様の構成の説明を省略する。
Second Embodiment
The second embodiment differs from the first embodiment in the configuration of the
図９は、第２実施形態に係る、光源部の構成例を模式的に示す図である。本図では、説明を分かり易くするため、出射される光の光路のうち代表的な光路を示している。 FIG. 9 is a view schematically showing a configuration example of a light source unit according to the second embodiment. In the drawing, in order to make the description easy to understand, representative light paths of the light paths of the emitted light are shown.
光源部１２Ａは、光源Ｌと、複数のミラーＭ（「方向調節部」ともいう）とを備える。本図の例では、光源部１２Ａは、３個のミラーＭ１〜Ｍ３を備える。
The
光源Ｌは、第１実施形態と同様である。光源Ｌから出射された光は、光源Ｌに向かい合うように配置された複数のミラーＭに反射され、対象空間に照射される。 The light source L is the same as that of the first embodiment. The light emitted from the light source L is reflected by the plurality of mirrors M disposed to face the light source L, and is irradiated to the target space.
複数のミラーＭは、それぞれ面状に構成され、光源Ｌと向かい合うように光の出射方向に配置される。複数のミラーＭは、２次元アレイ状に配列されてもよいし、１次元リニア状に配列されてもよい。図９では、説明を分かり易くするため、１次元リニア状の場合を示している。 Each of the plurality of mirrors M is formed in a planar shape, and is disposed in the light emission direction so as to face the light source L. The plurality of mirrors M may be arranged in a two-dimensional array, or may be arranged in a one-dimensional linear shape. In FIG. 9, in order to make the description easy to understand, a one-dimensional linear case is shown.
各ミラーＭは、入射された光の反射方向を選択可能に構成され、例えば、ＭＥＭＳ（Micro Electro Mechanical Systems）ミラーにより実現することができる。各ミラーＭは、それぞれ個別に電気的にオン又はオフを切り替え可能である。ミラーＭのオン又はオフは、制御部１１によって制御される。オフされたミラーＭは、対応する領域ａの方向に光を反射する。オンされたミラーＭは、対応する領域ａに隣接する他の領域ａの方向に光を反射する。もちろん、各ミラーＭは、オフのときに対応する領域ａに隣接する他の領域ａの方向に光を反射する構成としてもよい。
Each mirror M is configured to be able to select the reflection direction of the incident light, and can be realized by, for example, a MEMS (Micro Electro Mechanical Systems) mirror. Each mirror M can be electrically switched on or off individually. The on / off of the mirror M is controlled by the
全てのミラーＭがオフされている場合の光の照射範囲は、所定の画角（撮像範囲Ａ）の全体をできる限り均一にかつ十分な光量で照射できるように設定される。 The irradiation range of light when all the mirrors M are turned off is set so that the entire predetermined angle of view (imaging range A) can be irradiated as uniformly as possible and with a sufficient amount of light.
図９（Ｂ）〜（Ｄ）に示すように、各ミラーＭ１〜Ｍ３は、領域ａ１〜ａ３それぞれに対応するように配置されており、光源Ｌから出射された光は、各ミラーＭ１〜Ｍ３で反射されて領域ａ１〜ａ３に照射される。 As shown in FIGS. 9B to 9D, the mirrors M1 to M3 are arranged to correspond to the regions a1 to a3, respectively, and the light emitted from the light source L is transmitted to the mirrors M1 to M3. Are reflected to illuminate the regions a1 to a3.
図９（Ｂ）は、ミラーＭ１〜Ｍ３の全てがオフされた状態を示している。この場合、光源ＬのうちミラーＭ１に対応する部分から出射された光は、ミラーＭ１で第１の方向に反射されて、対応する領域ａ１に照射される。同様に、光源ＬのうちミラーＭ２及びＭ３に対応する部分から出射された光は、ミラーＭ２及びＭ３で第１の方向に反射されて、対応する領域ａ２及びａ３に照射される。その結果、領域ａ１〜ａ３は、均一な光量で照射される。 FIG. 9B shows a state in which all the mirrors M1 to M3 are turned off. In this case, light emitted from the portion of the light source L corresponding to the mirror M1 is reflected by the mirror M1 in the first direction, and is irradiated to the corresponding area a1. Similarly, light emitted from portions of the light source L corresponding to the mirrors M2 and M3 is reflected by the mirrors M2 and M3 in the first direction, and is irradiated to the corresponding areas a2 and a3. As a result, the regions a1 to a3 are irradiated with a uniform amount of light.
図９（Ｃ）は、ミラーＭ１がオンされ、かつ、ミラーＭ２及びＭ３がオフされた状態を示している。この場合、光源ＬのうちミラーＭ１に対応する部分から出射された光は、ミラーＭ１で第２の方向に反射され、対応する領域ａ１に隣接する領域ａ２に照射される。その結果、領域ａ２は、領域ａ１及びａ３と比べて、光を集中させることができ、より多い光量で照射される。 FIG. 9C shows a state in which the mirror M1 is turned on and the mirrors M2 and M3 are turned off. In this case, light emitted from a portion of the light source L corresponding to the mirror M1 is reflected by the mirror M1 in the second direction, and is irradiated to the area a2 adjacent to the corresponding area a1. As a result, the area a2 can concentrate light compared to the areas a1 and a3, and is irradiated with a larger amount of light.
図９（Ｄ）は、ミラーＭ２がオンされ、かつ、ミラーＭ１及びＭ３がオフされた状態を示している。この場合、光源ＬのうちミラーＭ２に対応する部分から出射された光は、ミラーＭ２で第２の方向に反射され、対応する領域ａ２に隣接する領域ａ３に照射される。その結果、領域ａ３は、領域ａ１及びａ２と比べて、光を集中させることができ、より多い光量で照射される。 FIG. 9D shows a state in which the mirror M2 is turned on and the mirrors M1 and M3 are turned off. In this case, light emitted from the portion of the light source L corresponding to the mirror M2 is reflected by the mirror M2 in the second direction, and is irradiated to the area a3 adjacent to the corresponding area a2. As a result, the area a3 can concentrate light as compared with the areas a1 and a2, and is irradiated with a larger amount of light.
このように、制御部１１は、撮像範囲内のある対象領域の光量を増加させる場合、当該対象領域に隣接する１つ以上の領域に対応する１つ以上のミラーＭをオンにすればよい。本実施形態では、制御部１１は、距離画像から特定された前景画素を含む対象領域（前景画素領域）の光量が増加するように、各ミラーＭのオン又はオフを制御する。
As described above, the
なお、前景画素が１つの対象領域ａに含まれる場合は、制御部１１は、当該対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上のミラーＭをオンにすればよい。また、前景画素が複数の対象領域ａに含まれる場合は、制御部１１は、当該複数の対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上のミラーＭをオンにすればよい。
When a foreground pixel is included in one target area a, the
図７のフローチャートのステップＳ１では、制御部１１は、光源部１２Ａの複数のミラーＭの全てをオフに設定することにより、撮像範囲Ａの全領域を均一な光量で照射する。ステップＳ６では、制御部１１は、前景画素が含まれる１つ以上の対象領域ａの光量が増加するように、当該対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上のミラーＭをオンにする。
In step S1 of the flowchart of FIG. 7, the
以上、本発明の第２実施形態について説明した。第２実施形態によっても、第１実施形態と同様の効果を得ることができる。 The second embodiment of the present invention has been described above. Also in the second embodiment, the same effect as that of the first embodiment can be obtained.
［第３実施形態］
第３実施形態は、光源部１２の構成が第１実施形態と異なる。以下、第１実施形態と異なる構成を中心に説明し、第１実施形態と同様の構成の説明を省略する。
Third Embodiment
The third embodiment differs from the first embodiment in the configuration of the
図１０は、第３実施形態に係る、光源部の構成例を模式的に示す図である。本図では、説明を分かり易くするため、出射される光の光路のうち代表的な光路を示している。 FIG. 10 is a view schematically showing a configuration example of a light source unit according to the third embodiment. In the drawing, in order to make the description easy to understand, representative light paths of the light paths of the emitted light are shown.
光源部１２Ｂは、光源Ｌと、ハーフミラーＨと、ズームレンズＺ（「方向調節部」ともいう）とを備える。
The
光源Ｌは、第１実施形態と同様である。光源Ｌからの出射光は、光源Ｌの前に設置されたハーフミラーＨを通過して、ズームレンズＺに入射され、対象空間に照射される。 The light source L is the same as that of the first embodiment. The light emitted from the light source L passes through a half mirror H installed in front of the light source L, enters the zoom lens Z, and is irradiated to the target space.
ハーフミラーＨは、光源ＬとズームレンズＺの間に設置される。ハーフミラーＨは、光源Ｌから入射された光を、ズームレンズＺへ出射する。また、ハーフミラーＨは、ズームレンズから入射された光を、距離画像センサ１３（図示せず）の方向へ反射する。 The half mirror H is disposed between the light source L and the zoom lens Z. The half mirror H emits the light incident from the light source L to the zoom lens Z. The half mirror H reflects the light incident from the zoom lens in the direction of the distance image sensor 13 (not shown).
ズームレンズＺは、ハーフミラーＨから入射された光を、対象空間へ出射する。また、ズームレンズＺは、対象空間から入射された光を、ハーフミラーＨへと出射する。ズームレンズＺは、電気的及び機械的に焦点距離を変更可能に構成され、撮像範囲Ａ全体をカバーする第１の画角と、撮像範囲Ａの１つ以上の領域ａ（撮像範囲Ａよりも小さい範囲）をカバーする第２の画角とを選択可能に構成される。ズームレンズＺの画角の切り替えは、制御部１１によって制御される。
The zoom lens Z emits the light incident from the half mirror H to the target space. In addition, the zoom lens Z emits the light incident from the target space to the half mirror H. The zoom lens Z is configured to be capable of changing the focal length electrically and mechanically, and has a first angle of view that covers the entire imaging range A, and one or more regions a of the imaging range A (more than the imaging range A The second angle of view covering a small range is configured to be selectable. Switching of the angle of view of the zoom lens Z is controlled by the
ズームレンズＺが第１の画角に設定されている場合の光の照射範囲は、所定の画角（撮像範囲Ａ）の全体をできる限り均一にかつ十分な光量で照射できるように設定される。 The irradiation range of light when the zoom lens Z is set to the first angle of view is set so that the entire predetermined angle of view (imaging range A) can be irradiated as uniformly as possible and with a sufficient amount of light. .
また、ズームレンズＺは、撮像範囲Ａ内の光を集光する１つ以上の対象領域ａを第２の画角内に収めるため、その位置を移動可能に光源部１２Ｂに設けられる。例えば、ズームレンズＺを撮像面に平行に移動可能に保持する保持機構（図示せず）を設ければよい。あるいは例えば、ズームレンズＺの撮像面に対する向きを変更可能に保持する保持機構（図示せず）を設ければよい。当該保持機構は、制御部１１によって制御される。
In addition, the zoom lens Z is provided in the
図１０（Ｂ）〜（Ｃ）に示すように、ズームレンズＺは、領域ａ１〜ａ３に対応するように配置されており、光源Ｌから出射された光は、ハーフミラーＨ及びズームレンズＺを通過して、領域ａ１〜ａ３に照射される。 As shown in FIGS. 10B to 10C, the zoom lens Z is disposed to correspond to the areas a1 to a3, and the light emitted from the light source L is a half mirror H and the zoom lens Z. It passes and is irradiated to field a1-a3.
図１０（Ｂ）は、ズームレンズＺが第１の画角に設定された状態を示している。この場合、光源Ｌから出射された光は、ズームレンズＺを通過して、領域ａ１〜ａ３に照射される。その結果、領域ａ１〜ａ３は、均一な光量で照射される。なお、距離画像センサ１３では、撮像範囲Ａ全体に対応する画像情報が生成される。
FIG. 10B shows a state in which the zoom lens Z is set to the first angle of view. In this case, the light emitted from the light source L passes through the zoom lens Z and is irradiated to the regions a1 to a3. As a result, the regions a1 to a3 are irradiated with a uniform amount of light. The
図１０（Ｃ）は、ズームレンズＺが１つの領域ａ２をカバーする第２の画角に設定され、かつ、領域ａ２が当該第２の画角内に入るように保持機構により移動された状態を示している。この場合、光源Ｌから出射された光は、ズームレンズＺを通過して、領域ａ２に照射される。その結果、領域ａ２は、領域ａ１及びａ３と比べて、光を集中させることができ、より多い光量で照射される。なお、距離画像センサ１３では、領域ａ２を撮像範囲Ａのサイズまで拡大した画像情報が生成される。
FIG. 10C shows a state in which the zoom lens Z is set to a second angle of view covering one area a2, and the area a2 is moved by the holding mechanism so as to fall within the second angle of view. Is shown. In this case, the light emitted from the light source L passes through the zoom lens Z and is irradiated to the area a2. As a result, the area a2 can concentrate light compared to the areas a1 and a3, and is irradiated with a larger amount of light. The
このように、制御部１１は、撮像範囲内のある対象領域の光量を増加させる場合、ズームレンズＺを第２の画角に設定し、かつ、当該対象領域が当該画角内に入るようにズームレンズＺの位置を移動させればよい。本実施形態では、制御部１１は、距離画像から特定された前景画素を含む対象領域（前景画素領域）の光量が増加するように、ズームレンズＺ及び保持機構を制御する。
As described above, when increasing the light amount of a certain target area in the imaging range, the
なお、前景画素が複数の領域ａに含まれる場合は、制御部１１は、ズームレンズＺを当該複数の領域ａをカバーする第２の画角に設定し、かつ、当該複数の領域ａが当該画角内に入るようにズームレンズＺの位置を移動させればよい。
When the foreground pixel is included in the plurality of areas a, the
図７のフローチャートのステップＳ１では、制御部１１は、光源部１２ＢのズームレンズＺを第１の画角に設定することにより、撮像範囲Ａの全領域を均一な光量で照射する。ステップＳ６では、制御部１１は、前景画素が含まれる１つ以上の対象領域ａの光量が増加するように、ズームレンズＺを当該１つの対象領域ａをカバーする第２の画角に設定し、かつ、当該１つ以上対象領域ａが当該画角内に入るようにズームレンズＺの位置を移動させればよい。
In step S1 of the flowchart of FIG. 7, the
以上、本発明の第３実施形態について説明した。第３実施形態によっても、第１実施形態と同様の効果を得ることができる。また、第３実施形態では、前景画素が含まれる領域を、拡大及び高解像度化した画像情報として取得することができるため、姿勢推定処理の推定精度を向上することができる。 The third embodiment of the present invention has been described above. Also by the third embodiment, the same effect as that of the first embodiment can be obtained. Further, in the third embodiment, the region including the foreground pixel can be acquired as the enlarged and high-resolution image information, so that the estimation accuracy of the posture estimation process can be improved.
［第４実施形態］
第４実施形態は、制御部１１、距離画像生成部１４、及び姿勢推定部２３の処理が、第１実施形態と異なる。以下、第１実施形態と異なる構成を中心に説明し、第１実施形態と同様の構成の説明を省略する。
Fourth Embodiment
The fourth embodiment differs from the first embodiment in the processing of the
図１１は、第４実施形態に係る、距離画像カメラ及び姿勢推定装置の機能構成例を示す図である。 FIG. 11 is a diagram showing an example of a functional configuration of the distance image camera and the posture estimation device according to the fourth embodiment.
距離画像生成部１４Ｃは、入力距離画像から前景画素を抽出せずに、出力距離画像を生成し、通信部１５を介して姿勢推定装置２に送信する。
The distance image generation unit 14C generates an output distance image without extracting foreground pixels from the input distance image, and transmits the output distance image to the
制御部１１Ｃは、前景画素を含む領域を示す領域情報を、通信部１５を介して姿勢推定装置２から受信する。領域情報は、例えば、撮像範囲Ａの１つ又は複数の領域ａの識別子を含むか、又は前景画素が存在しないことを示す識別子を含むことができる。制御部１１Ｃは、領域情報が示す１つ以上の領域ａの光量が増加するように、当該１つ以上の領域ａに隣接する１つ以上の領域ａに対応する１つ以上の回折格子Ｇをオンにする。
The control unit 11C receives area information indicating an area including a foreground pixel from the
姿勢推定部２３Ｃは、姿勢推定処理の前段に、受信した距離画像から前景画素を抽出するとともに、背景を消去し、抽出された前景画素と消去された背景を含む距離画像を生成する。前景画素を抽出する方法は、第１実施形態と同様である。また、姿勢推定部２３Ｃは、抽出した前景画素を含む領域を示す領域情報を生成し、通信部２１を介して距離画像カメラ１に送信する。
The posture estimation unit 23C extracts foreground pixels from the received distance image, erases the background, and generates a distance image including the extracted foreground pixels and the erased background, at the previous stage of the posture estimation processing. The method of extracting the foreground pixel is the same as that of the first embodiment. Further, the posture estimation unit 23C generates region information indicating a region including the extracted foreground pixel, and transmits the region information to the
図１２は、第４実施形態に係る、姿勢推定システムの処理例を示すフローチャートである。本図のフローチャートのステップＳ２２〜Ｓ２４、Ｓ３１〜Ｓ３４は、１フレームの距離画像毎に実行される。 FIG. 12 is a flowchart showing an example of processing of the posture estimation system according to the fourth embodiment. Steps S22 to S24 and S31 to S34 in the flowchart of this figure are executed for each distance image of one frame.
まず、光源部１２は、撮像範囲Ａの全領域に光を均一に照射する（ステップＳ２１）。具体的には、制御部１１Ｃは、光源部１２の複数の回折格子Ｇの全てをオフに設定することにより、撮像範囲Ａの全領域を均一な光量で照射する。
First, the
それから、距離画像生成部１４Ｃは、距離画像センサ１３から出力される画素毎の情報を用いて、画素毎に距離情報と階調情報を含む入力距離画像を生成する（ステップＳ２２）。それから、距離画像生成部１４Ｃは、ステップＳ２２で生成した入力距離画像から出力距離画像を生成し、通信部１５を介して姿勢推定装置２に送信する（ステップＳ２３）。
Then, the distance image generation unit 14C generates an input distance image including distance information and gradation information for each pixel using the information for each pixel output from the distance image sensor 13 (step S22). Then, the distance image generation unit 14C generates an output distance image from the input distance image generated in step S22, and transmits the output distance image to the
それから、制御部１１Ｃは、姿勢推定装置２から領域情報を受信したか否かを判定する（ステップＳ２４）。領域情報を受信していないと判定する場合（ステップＳ２４：ＮＯ）、制御部１１Ｃは、処理をステップＳ２１に戻す。 Then, the control unit 11C determines whether area information has been received from the posture estimation device 2 (step S24). When it is determined that the area information is not received (step S24: NO), the control unit 11C returns the process to step S21.
領域情報を受信したと判定する場合（ステップＳ２４：ＹＥＳ）、光源部１２は、前景画素領域に光を集中させる（ステップＳ２５）。具体的には、制御部１１Ｃは、ステップＳ２４で受信した領域情報が示す１つ以上の対象領域ａの光量が増加するように、当該対象領域ａに隣接する１つ以上の領域ａに対応する１つ以上の回折格子Ｇをオンにする。なお、領域情報が前景画素が存在しないことを示す場合、制御部１１Ｃは、全ての回折格子Ｇをオフにする。そして、制御部１１Ｃは、処理をステップＳ２２に戻す。
When it is determined that the area information has been received (step S24: YES), the
一方、距離画像受信部２２は、ステップＳ２３で距離画像カメラ１から送信された距離画像を、通信部２１を介して受信する（ステップＳ３１）。それから、姿勢推定部２３Ｃは、ステップＳ３１で受信された距離画像を用いて、当該距離画像に含まれる人等の被写体の姿勢を推定する（ステップＳ３２）。ステップＳ３２の詳細は、図８と同様である。ただし、姿勢推定部２３Ｃは、姿勢推定処理の前段に、ステップＳ３１で受信した距離画像から前景画素を抽出するとともに、背景を消去し、抽出された前景画素と消去された背景を含む距離画像を生成する。
On the other hand, the distance
それから、姿勢推定部２３Ｃは、ステップＳ３２で抽出した前景画素領域を示す領域情報を生成し、通信部２１を介して距離画像カメラ１に送信する（ステップＳ３３）。それから、出力部２７は、ステップＳ３２で姿勢推定部２３から出力された関節位置を含む推定姿勢情報を出力し（ステップＳ３４）、処理をステップＳ３１に戻す。
Then, the posture estimation unit 23C generates region information indicating the foreground pixel region extracted in step S32, and transmits the region information to the
以上、本発明の第４実施形態について説明した。第４実施形態によっても、第１実施形態と同様の効果を得ることができる。また、第４実施形態では、前景領域の抽出処理は、姿勢推定装置２で実行される。これにより、距離画像カメラ１の処理負荷を低減することができる。
The fourth embodiment of the present invention has been described above. Also by the fourth embodiment, the same effect as that of the first embodiment can be obtained. Further, in the fourth embodiment, the process of extracting the foreground region is performed by the
［第５実施形態］
第５実施形態は、光源部１２の構成が第１実施形態と異なる。以下、第１実施形態と異なる構成を中心に説明し、第１実施形態と同様の構成の説明を省略する。
Fifth Embodiment
The fifth embodiment differs from the first embodiment in the configuration of the
図１３および図１４は、第５実施形態に係る、光源部の構成例を模式的に示す図である。本図では、説明を分かり易くするため、出射される光の光路のうち代表的な光路を示している。２つの圧電素子により光ファイバをＸ方向とＹ方向のそれぞれに独立して振動させることで、二次元平面をスキャンすることが可能であるが、説明を分かり易くするため、ＸとＹ方向のうちの一方のみを図示する。 FIG. 13 and FIG. 14 are views schematically showing a configuration example of the light source unit according to the fifth embodiment. In the drawing, in order to make the description easy to understand, representative light paths of the light paths of the emitted light are shown. It is possible to scan a two-dimensional plane by vibrating the optical fiber independently in each of the X direction and the Y direction by two piezoelectric elements, but in order to make the explanation easy to understand, of the X and Y directions Only one of them is illustrated.
光源部１２Ｄは、光源Ｌと、光ファイバ１２１と、光ファイバ１２２と、積層型圧電素子１２３とを備える。光ファイバ１２１及び１２２と積層型圧電素子１２３とは、「方向調節部」とも言える。光源Ｌは、第１実施形態と同様である。
The
光ファイバ１２１は、一端が光源Ｌに面し、他端が対象空間に面するように配置される。光ファイバ１２２は、光ファイバ１２１に隣接して接着されており、一端が距離画像センサ１３に面し、他端が対象空間に面するよう配置される。光ファイバ１２１及１２２は、光源Ｌ及び距離画像センサ１３に面する側が固定され、反対側が自由端となった片持ち梁状態で、光源部１２Ｄに設けられる。光源Ｌからの出射光は、光ファイバ１２１に入射され、光ファイバ１２１を通過して対象空間に照射される。被写体で反射された光は、光ファイバ１２２に入射され、光ファイバ１２２を通過して距離画像センサ１３に照射される。距離画像センサ１３はＸＹ方向に画素が配置された二次元センサ（エリア型センサ）でもよいが、光ファイバ１２２からセンサ面に照射される領域と同等の大きさ（つまり、光ファイバの太さ程度）であれば十分であり、また対象領域の二次元スキャンは圧電素子により実現されるため、距離画像センサ１３は一次元センサ（ライン型センサ、リニア型センサ）でもよく、その場合、より低画素数のため低コストで低消費電力で省実装面積という効果がある。
The
積層型圧電素子１２３は、光ファイバ１２１及び１２２の少なくとも一方に接する（あるいは中間部材を介して接する）ように設置される。本図の例では、積層型圧電素子１２３は、光ファイバ１２１に接している。積層型圧電素子１２３に印加する電圧を制御することで、光ファイバ１２１及び１２２を片持ち梁モードでたわみ振動させることができる。積層型圧電素子１２３への電圧の印加は、制御部１１によって制御される。
The laminated
光ファイバ１２１及び１２２は、電圧が印加された積層型圧電素子１２３によって振動の振幅（図中の左右方向の矢印Ｓ）の大きさを変更可能に構成される。光ファイバ１２１及び１２２の振幅は、撮像範囲Ａ全体をカバーする第１の画角と、撮像範囲Ａの１つ以上の領域ａ（撮像範囲Ａよりも小さい範囲）をカバーする第２の画角とを選択可能に構成される。光ファイバ１２１及び１２２の振幅による画角の切り替えは、制御部１１によって制御される積層型圧電素子１２３の動作によって制御される。
The
光ファイバ１２１及び１２２の振幅が第１の画角に設定されている場合の光の照射範囲は、所定の画角（撮像範囲Ａ）の全体をできる限り均一にかつ十分な光量で照射できるように設定される。
The irradiation range of light when the amplitudes of the
撮像範囲Ａ全体を均一に照射する場合には、光ファイバ１２１及び１２２の振幅は、第１の画角に設定され、光源Ｌは、常にオンされる。一方、撮像範囲Ａのうち前景画素が含まれる対象領域ａを照射する場合には、光ファイバ１２１及び１２２の振幅は、第１の画角あるいは第２の画角に設定され、光源Ｌは、光ファイバ１２１及び１２２の先端部が対象領域ａを向いている間に光が照射されるようにオンされる。前景画素が複数の対象領域ａに含まれる場合は、光源Ｌは、光ファイバ１２１及び１２２が各対象領域ａを向いている間に光が照射されるようにオンされる。
When the entire imaging range A is uniformly irradiated, the amplitudes of the
図１３は、光ファイバ１２１及び１２２の振幅が１つの対象領域ａ３をカバーする第２の画角に設定された状態を示している。この場合、光源Ｌは、光ファイバ１２１及び１２２が対象領域ａ３を向いている間オンされ、光源Ｌから出射された光は、光ファイバ１２１を通過して領域ａ２に照射される。その結果、領域ａ３は、領域ａ１、ａ２、ａ４、及びａ５と比べて、光を集中させることができ、より多い光量で照射される。また、第１の画角で照射する場合と比べて、光ファイバ１２１及び１２２の振幅が小さいため、領域ａ３に照射される単位時間当たりの光量が増加する。なお、距離画像センサ１３では、領域ａ３を撮像範囲Ａのサイズまで拡大した画像情報が生成されてもよい。
FIG. 13 shows a state in which the amplitudes of the
図１４は、光ファイバ１２１及び１２２の振幅が１つの対象領域ａ４をカバーする第２の画角に設定された状態を示している。この場合、光源Ｌは、光ファイバ１２１及び１２２が対象領域ａ４を向いている間オンされ、光源Ｌから出射された光は、光ファイバ１２１を通過して領域ａ４に照射される。光源Ｌは、光ファイバ１２１及び１２２が領域ａ１、ａ２、ａ３、及びａ５を向いている間オフされる。その結果、領域ａ４は、領域ａ１、ａ２、ａ３、及びａ５と比べて、光を集中させることができ、より多い光量で照射される。また、第１の画角で照射する場合と比べて、光ファイバ１２１及び１２２の振幅が小さいため、領域ａ４に照射される単位時間当たりの光量が増加する。なお、距離画像センサ１３では、領域ａ４を撮像範囲Ａのサイズまで拡大した画像情報が生成されてもよい。
FIG. 14 shows a state in which the amplitudes of the
なお、光ファイバ１２１及び１２２の振幅が全領域ａ１〜ａ５をカバーする第１の画角に設定された場合、光源Ｌは、常にオンされる。光源Ｌから出射された光は、光ファイバ１２１及び１２２の周期的な振幅により、各領域ａ１〜ａ５に順次照射される。その結果、領域ａ１〜ａ５は、均一な光量で照射される。なお、距離画像センサ１３では、撮像範囲Ａ全体に対応する画像情報が生成される。
When the amplitudes of the
このように、制御部１１は、撮像範囲内のある対象領域の光量を増加させる場合、光ファイバ１２１及び１２２の振幅を、対象領域をカバーする最小限の第２の画角（最小限の第２の画角が第１の画角と等しい場合もある）に設定し、光ファイバ１２１及び１２２が対象領域を向いている間に光源Ｌをオンする。また、制御部１１は、撮像範囲内の全領域を均一に照らす場合、光ファイバ１２１及び１２２の振幅を、全領域をカバーする第１の画角に設定し、光源Ｌを常にオンする。
As described above, when the
図７のフローチャートのステップＳ１では、制御部１１は、光源部１２Ｄの光ファイバ１２１及び１２２の振幅を第１の画角に設定し、光源Ｌを常にオンすることにより、撮像範囲Ａの全領域を均一な光量で照射する。ステップＳ６では、制御部１１は、前景画素が含まれる１つ以上の対象領域ａの光量が増加するように、光ファイバ１２１及び１２２の振幅を第２の画角に設定し、光ファイバ１２１及び１２２が各対象領域ａを向いている間に光源Ｌをオンすればよい。
In step S1 of the flowchart of FIG. 7, the
なお、ある変形例では、制御部１１は、光ファイバ１２１及び１２２の振幅を第２の画角に設定した場合、光源Ｌを常にオンしてもよい。このようにしても、第１の画角で照射する場合と比べて、光ファイバ１２１及び１２２の振幅が小さいため、対象領域ａに照射される単位時間当たりの光量が増加する。また、他の変形例では、光を伝送できれば光ファイバに限らず他の光伝送部材を用いてもよいし、光伝送部材を振幅させることができれば積層型圧電素子に限らず他の駆動部を用いてもよい。
In a modification, when the amplitudes of the
以上、本発明の第５実施形態について説明した。第５実施形態によっても、第１実施形態と同様の効果を得ることができる。また、第５実施形態では、前景画素が含まれる領域を、拡大及び高解像度化した画像情報として取得することができるため、姿勢推定処理の推定精度を向上することができる。 The fifth embodiment of the present invention has been described above. Also in the fifth embodiment, the same effect as in the first embodiment can be obtained. Further, in the fifth embodiment, since the region including the foreground pixel can be acquired as the enlarged and high-resolution image information, the estimation accuracy of the posture estimation process can be improved.
本発明は、上述の複数の実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。各実施形態および各変形例の２つ以上を適宜組み合わせることもできる。 The present invention is not limited to the above embodiments, and various modifications can be made within the scope of the present invention. Two or more of each embodiment and each modification can also be combined suitably.
例えば、第２実施形態、第３実施形態、又は第５実施形態についても、第４実施形態と同様に、姿勢推定装置２が領域情報を送信し、距離画像カメラ１が受信した領域情報に基づいて光源部１２を制御するように構成してもよい。
For example, also in the second embodiment, the third embodiment, or the fifth embodiment, as in the fourth embodiment, the
また例えば、第１〜第３実施形態、及び第５実施形態の距離画像生成部１４は、入力距離画像から背景を消去せずに、前景画素を含む領域を切り出してもよい。このようにすれば、さらに距離画像のデータ量を減らすことができる。
Further, for example, the distance
また例えば、第４実施形態において、姿勢推定部２３Ｃは、距離画像から推定された各関節位置の座標情報を領域情報として送信し、制御部１１Ｃは、この座標情報を用いて各関節位置が含まれる撮像範囲内の領域ａを特定するようにしてもよい。 Further, for example, in the fourth embodiment, the posture estimation unit 23C transmits coordinate information of each joint position estimated from the distance image as area information, and the control unit 11C includes each joint position using the coordinate information. The area a within the imaging range to be set may be specified.
また例えば、第３実施形態において、光源部１２ＢのハーフミラーＨを省略し、距離画像センサ１３はズームレンズＺを介さない別のルートで対象空間からの光を受光してもよい。この場合、距離画像センサ１３では、撮像範囲Ａ全体に対応する画像情報が生成される。
Also, for example, in the third embodiment, the half mirror H of the
また例えば、第１〜第５実施形態において、距離画像を蓄積するデータベースをネットワークＮに接続し、各距離画像カメラは距離画像を当該データベースに送信して蓄積し、姿勢推定装置は当該データベースから距離画像を取得するようにしてもよい。 Also, for example, in the first to fifth embodiments, a database for storing distance images is connected to the network N, each distance image camera transmits and stores distance images to the database, and the posture estimation device calculates the distance from the database An image may be acquired.
なお、図２、及び図１１で示した距離画像カメラ及び姿勢推定装置の構成は、これらのデバイスの構成を理解容易にするために、主な処理内容に応じて分類したものである。構成要素の分類の仕方や名称によって、本発明が制限されることはない。距離画像カメラ及び姿勢推定装置の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理又は機能の分担は、本発明の目的及び効果を達成できるのであれば、図示したものに限られない。 The configurations of the distance image camera and the posture estimation apparatus shown in FIG. 2 and FIG. 11 are classified according to the main processing content in order to facilitate understanding of the configurations of these devices. The present invention is not limited by the classification method and names of components. The configurations of the distance image camera and the posture estimation device can also be classified into more components according to the processing content. Also, one component can be classified to perform more processing. Also, the processing of each component may be performed by one hardware or may be performed by a plurality of hardware. Further, the sharing of the processing or function of each component is not limited to that illustrated as long as the objects and effects of the present invention can be achieved.
また、図７〜８、及び図１２で示したフローチャートの処理単位は、距離画像カメラ及び姿勢推定装置の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本発明が制限されることはない。距離画像カメラ及び姿勢推定装置の処理は、処理内容に応じて、さらに多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。さらに、本発明の目的及び効果を達成できるのであれば、上記のフローチャートの処理順序も、図示した例に限られるものではない。 The processing units of the flowcharts shown in FIGS. 7-8 and 12 are divided according to the main processing contents in order to make the processing of the distance image camera and the posture estimation device easy to understand. The present invention is not limited by the manner and names of division of processing units. The processing of the distance image camera and the posture estimation device can also be divided into more processing units according to the processing content. Also, one processing unit can be divided to include more processes. Furthermore, the processing order of the above flowchart is not limited to the illustrated example as long as the objects and effects of the present invention can be achieved.
本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。 The present invention is not limited to the embodiments described above, but includes various modifications. For example, the above-described embodiments are described in detail in order to explain the present invention in an easy-to-understand manner, and the present invention is not necessarily limited to those having all the described components. Also, part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment. Moreover, it is possible to add, delete, and replace other configurations for part of the configurations of the respective embodiments.
また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリーや、ハードディスク、ＳＳＤ等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。 Further, each of the configurations, functions, processing units, processing means, etc. described above may be realized by hardware, for example, by designing part or all of them with an integrated circuit. Further, each configuration, function, etc. described above may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as a program, a table, and a file for realizing each function can be placed in a memory, a storage device such as a hard disk or an SSD, or a storage medium such as an IC card, an SD card, or a DVD. Further, control lines and information lines indicate what is considered to be necessary for the description, and not all control lines and information lines in the product are necessarily shown. In practice, almost all configurations may be considered to be mutually connected.
本発明は、姿勢推定システム、姿勢推定装置、及び距離画像カメラだけでなく、姿勢推定装置や距離画像カメラで実行されるコンピュータ読み取り可能なプログラム、姿勢推定システム、姿勢推定装置、又は距離画像カメラにおける方法、などの様々な態様で提供することができる。 The present invention relates not only to a posture estimation system, a posture estimation device, and a distance image camera, but also to a computer readable program executed by the posture estimation device or the distance image camera, a posture estimation system, a posture estimation device, or a distance image camera. It can provide in various aspects, such as a method.
１…距離画像カメラ、２…姿勢推定装置、１１…制御部、１１Ｃ…制御部、１２…光源部、１２Ａ…光源部、１２Ｂ…光源部、１２Ｄ…光源部１３…距離画像センサ、１４…距離画像生成部、１４Ｃ…距離画像生成部、１５…通信部、２１…通信部、２２…距離画像受信部、２３…姿勢推定部、２３Ｃ…姿勢推定部、２４…特徴量算出部、２５…部位識別部、２６…関節識別部、２７…出力部、９０…コンピュータ、９１…演算装置、９２…主記憶装置、９３…外部記憶装置、９４…通信装置、９５…読み書き装置、９６…入力装置、９７…出力装置、１２１…光ファイバ、１２２…光ファイバ、１２３…積層型圧電素子、ａ…領域、Ａ…撮像範囲、Ｆ…被写体、Ｇ…回折格子、Ｈ…ハーフミラー、Ｌ…光源、Ｍ…ミラー、Ｎ…ネットワーク、Ｚ…ズームレンズ
DESCRIPTION OF
Claims (14)
前記距離画像カメラは、
対象空間に光を照射する光源部と、
前記対象空間からの光を受光して所定の撮像範囲の画像情報を生成する距離画像センサと、
前記生成された画像情報から距離画像を生成する距離画像生成部と、
前記生成された距離画像を前記姿勢推定装置に送信する通信部と、を備え、
前記姿勢推定装置は、
前記距離画像カメラから前記距離画像を受信する距離画像受信部と、
前記受信された距離画像から１つ以上の関節位置を識別し、前記識別された１つ以上の関節位置を含む推定姿勢情報を生成する姿勢推定部と、
前記生成された推定姿勢情報を出力する出力部と、を備え、
前記距離画像カメラは、
前記光源部の光の出射方向を調節する方向調節部を備える
姿勢推定システム。 An attitude estimation system including a distance image camera and an attitude estimation device connected to the distance image camera via a network,
The range image camera is
A light source unit for emitting light to a target space;
A distance image sensor that receives light from the target space and generates image information of a predetermined imaging range;
A distance image generation unit that generates a distance image from the generated image information;
A communication unit for transmitting the generated distance image to the posture estimation device;
The posture estimation device
A distance image receiving unit that receives the distance image from the distance image camera;
A posture estimation unit that identifies one or more joint positions from the received distance image and generates estimated posture information that includes the one or more identified joint positions;
An output unit for outputting the generated estimated posture information;
The range image camera is
A posture estimation system, comprising: a direction adjustment unit that adjusts an emission direction of light of the light source unit.
前記距離画像カメラは、光の出射方向が変更されるように前記方向調節部を制御する制御部を備え、
前記距離画像生成部は、前記距離画像から前景画素を抽出し、
前記制御部は、前記撮像範囲内の前記抽出された前景画素を含む対象領域に光が集中するように前記方向調節部を制御する
姿勢推定システム。 The posture estimation system according to claim 1, wherein
The distance image camera includes a control unit that controls the direction adjustment unit so that the light emission direction is changed.
The distance image generation unit extracts foreground pixels from the distance image,
The attitude estimation system, wherein the control unit controls the direction adjustment unit such that light is concentrated on a target area including the extracted foreground pixel in the imaging range.
前記距離画像生成部は、前記距離画像から背景画素を消去し、前記抽出された前景画素と前記消去された背景画素を含む前記距離画像を生成する
姿勢推定システム。 The posture estimation system according to claim 2, wherein
The posture estimation system, wherein the distance image generation unit deletes a background pixel from the distance image, and generates the distance image including the extracted foreground pixel and the deleted background pixel.
前記距離画像カメラは、光の出射方向が変更されるように前記方向調節部を制御する制御部を備え、
前記姿勢推定部は、前記距離画像から前景画素を抽出し、前記撮像範囲内の当該前景画素を含む対象領域を示す領域情報を前記距離画像カメラに送信し、
前記通信部は、前記姿勢推定装置から前記領域情報を受信し、
前記制御部は、前記撮像範囲内の前記受信された領域情報が示す対象領域に光が集中するように前記方向調節部を制御する
姿勢推定システム。 The posture estimation system according to claim 1, wherein
The distance image camera includes a control unit that controls the direction adjustment unit so that the light emission direction is changed.
The posture estimation unit extracts foreground pixels from the distance image, and transmits, to the distance image camera, region information indicating a target region including the foreground pixels in the imaging range.
The communication unit receives the area information from the posture estimation device,
The attitude estimation system, wherein the control unit controls the direction adjustment unit such that light is concentrated on a target area indicated by the received area information in the imaging range.
対象空間に光を照射する光源部と、
前記対象空間からの光を受光して所定の撮像範囲の画像情報を生成する距離画像センサと、
前記生成された画像情報から距離画像を生成する距離画像生成部と、
前記生成された距離画像を前記姿勢推定装置に送信する通信部と、
前記光源部の光の出射方向を調節する方向調節部と
を備える距離画像カメラ。 A distance image camera connected to a posture estimation device via a network,
A light source unit for emitting light to a target space;
A distance image sensor that receives light from the target space and generates image information of a predetermined imaging range;
A distance image generation unit that generates a distance image from the generated image information;
A communication unit that transmits the generated distance image to the posture estimation device;
A distance image camera comprising: a direction adjusting unit configured to adjust an emission direction of light of the light source unit.
前記距離画像カメラは、光の出射方向が変更されるように前記方向調節部を制御する制御部を備え、
前記距離画像生成部は、前記距離画像から前景画素を抽出し、
前記制御部は、前記撮像範囲内の前記抽出された前景画素を含む対象領域に光が集中するように前記方向調節部を制御する
距離画像カメラ。 The distance image camera according to claim 5, wherein
The distance image camera includes a control unit that controls the direction adjustment unit so that the light emission direction is changed.
The distance image generation unit extracts foreground pixels from the distance image,
The control unit controls the direction adjusting unit such that light is concentrated on a target area including the extracted foreground pixel in the imaging range.
前記距離画像生成部は、前記距離画像から背景画素を消去し、前記抽出された前景画素と前記消去された背景画素を含む前記距離画像を生成する
距離画像カメラ。 The distance image camera according to claim 6, wherein
The distance image generating unit is configured to delete background pixels from the distance image, and generate the distance image including the extracted foreground pixels and the deleted background pixels.
前記距離画像カメラは、光の出射方向が変更されるように前記方向調節部を制御する制御部を備え、
前記通信部は、前記撮像範囲内の前景画素を含む対象領域を示す領域情報を、前記姿勢推定装置から受信し、
前記制御部は、前記撮像範囲内の前記受信された領域情報が示す対象領域に光が集中するように前記方向調節部を制御する
距離画像カメラ。 The distance image camera according to claim 5, wherein
The distance image camera includes a control unit that controls the direction adjustment unit so that the light emission direction is changed.
The communication unit receives area information indicating a target area including a foreground pixel in the imaging range from the posture estimation device.
The control unit controls the direction adjusting unit such that light is concentrated on a target area indicated by the received area information in the imaging range.
前記光源部は、光源を含み、
前記方向調節部は、それぞれ前記光源に向かい合って設けられる複数の回折格子を含み、前記複数の回折格子は、それぞれ第１の出射方向又は第２の出射方向のいずれかに前記光源からの光の出射方向を切り替える
距離画像カメラ。 The distance image camera according to claim 5, wherein
The light source unit includes a light source,
The direction adjusting unit includes a plurality of diffraction gratings respectively provided facing the light source, and the plurality of diffraction gratings respectively transmit light from the light source in any of a first emission direction or a second emission direction. Distance image camera to switch the emitting direction.
前記光源部は、光源を含み、
前記方向調節部は、それぞれ前記光源に向かい合って設けられる複数のミラーを含み、前記複数のミラーは、それぞれ第１の出射方向又は第２の出射方向のいずれかに前記光源からの光の反射方向を切り替える
距離画像カメラ。 The distance image camera according to claim 5, wherein
The light source unit includes a light source,
The direction adjusting unit includes a plurality of mirrors provided to face the light source, and the plurality of mirrors each reflect the light from the light source in either the first emission direction or the second emission direction. Switching distance image camera.
前記光源部は、光源を含み、
前記方向調節部は、前記光源に向かい合って設けられるズームレンズを含み、前記ズームレンズは、第１の画角又は第２の画角のいずれかに画角を切り替えることにより前記光源からの光の出射方向を切り替える
距離画像カメラ。 The distance image camera according to claim 5, wherein
The light source unit includes a light source,
The direction adjustment unit includes a zoom lens provided facing the light source, and the zoom lens switches the angle of view to either the first angle of view or the second angle of view. Distance image camera to switch the emitting direction.
前記ズームレンズの位置又は向きを変更可能に前記ズームレンズを保持する保持機構
を備える距離画像カメラ。 The distance image camera according to claim 11, wherein
A range image camera comprising a holding mechanism for holding the zoom lens so as to be able to change the position or the orientation of the zoom lens.
前記光源部は、光源を含み、
前記方向調節部は、一端が前記光源に面し他端が自由端となるように設けられた光伝送部を含み、前記光伝送部の前記自由端を振幅させることで前記光源からの光の出射方向を切り替える
距離画像カメラ。 The distance image camera according to claim 5, wherein
The light source unit includes a light source,
The direction adjustment unit includes a light transmission unit provided such that one end faces the light source and the other end is a free end, and by swinging the free end of the light transmission unit, light from the light source is transmitted. Distance image camera to switch the emitting direction.
前記距離画像カメラから距離画像を受信する距離画像受信部と、
前記受信された距離画像から１つ以上の関節位置を識別し、前記識別された１つ以上の関節位置を含む推定姿勢情報を生成する姿勢推定部と、
前記生成された推定姿勢情報を出力する出力部と、を備え、
前記姿勢推定部は、前記距離画像から前景画素を抽出し、所定の撮像範囲内の当該前景画素を含む対象領域を示す領域情報を前記距離画像カメラに送信する
姿勢推定装置。 A posture estimation apparatus connected to a distance image camera via a network,
A distance image receiving unit that receives a distance image from the distance image camera;
A posture estimation unit that identifies one or more joint positions from the received distance image and generates estimated posture information that includes the one or more identified joint positions;
An output unit for outputting the generated estimated posture information;
The posture estimation unit extracts the foreground pixel from the distance image and transmits region information indicating a target region including the foreground pixel within a predetermined imaging range to the distance image camera.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017082897A JP6827875B2 (en) | 2017-04-19 | 2017-04-19 | Posture estimation system, distance image camera, and posture estimation device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017082897A JP6827875B2 (en) | 2017-04-19 | 2017-04-19 | Posture estimation system, distance image camera, and posture estimation device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018179876A true JP2018179876A (en) | 2018-11-15 |
| JP6827875B2 JP6827875B2 (en) | 2021-02-10 |
Family
ID=64275220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017082897A Active JP6827875B2 (en) | 2017-04-19 | 2017-04-19 | Posture estimation system, distance image camera, and posture estimation device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6827875B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020104680A (en) * | 2018-12-27 | 2020-07-09 | アイシン精機株式会社 | Indoor monitor device |
| JP2020156800A (en) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | Medical arm system, control device and control method |
| WO2021065138A1 (en) * | 2019-10-01 | 2021-04-08 | パナソニックＩｐマネジメント株式会社 | Distance measurement device and control method |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06300542A (en) * | 1993-04-16 | 1994-10-28 | Nippon Telegr & Teleph Corp <Ntt> | Shape feature extraction device with two-dimensional laser pattern and two-dimensional laser pattern |
| JP2002156617A (en) * | 2000-11-20 | 2002-05-31 | Ricoh Co Ltd | Image display device |
| JP2007122508A (en) * | 2005-10-28 | 2007-05-17 | Secom Co Ltd | Intrusion detection apparatus |
| JP2012026895A (en) * | 2010-07-23 | 2012-02-09 | Canon Inc | Position attitude measurement device, position attitude measurement method, and program |
| US20120206336A1 (en) * | 2011-02-15 | 2012-08-16 | Basf Se | Detector for optically detecting at least one object |
| JP2012525643A (en) * | 2009-05-01 | 2012-10-22 | マイクロソフト コーポレーション | Method and system for applying model tracking to motion capture |
| JP2014180317A (en) * | 2013-03-18 | 2014-09-29 | Olympus Corp | Optical fiber scanner, lighting device, and observation device |
| JP2016177804A (en) * | 2015-03-20 | 2016-10-06 | 株式会社東芝 | Method of recognizing object posture |
-
2017
- 2017-04-19 JP JP2017082897A patent/JP6827875B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06300542A (en) * | 1993-04-16 | 1994-10-28 | Nippon Telegr & Teleph Corp <Ntt> | Shape feature extraction device with two-dimensional laser pattern and two-dimensional laser pattern |
| JP2002156617A (en) * | 2000-11-20 | 2002-05-31 | Ricoh Co Ltd | Image display device |
| JP2007122508A (en) * | 2005-10-28 | 2007-05-17 | Secom Co Ltd | Intrusion detection apparatus |
| JP2012525643A (en) * | 2009-05-01 | 2012-10-22 | マイクロソフト コーポレーション | Method and system for applying model tracking to motion capture |
| JP2012026895A (en) * | 2010-07-23 | 2012-02-09 | Canon Inc | Position attitude measurement device, position attitude measurement method, and program |
| US20120206336A1 (en) * | 2011-02-15 | 2012-08-16 | Basf Se | Detector for optically detecting at least one object |
| JP2014180317A (en) * | 2013-03-18 | 2014-09-29 | Olympus Corp | Optical fiber scanner, lighting device, and observation device |
| JP2016177804A (en) * | 2015-03-20 | 2016-10-06 | 株式会社東芝 | Method of recognizing object posture |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020104680A (en) * | 2018-12-27 | 2020-07-09 | アイシン精機株式会社 | Indoor monitor device |
| JP7259324B2 (en) | 2018-12-27 | 2023-04-18 | 株式会社アイシン | indoor monitoring device |
| JP2020156800A (en) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | Medical arm system, control device and control method |
| WO2021065138A1 (en) * | 2019-10-01 | 2021-04-08 | パナソニックＩｐマネジメント株式会社 | Distance measurement device and control method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6827875B2 (en) | 2021-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11412108B1 (en) | Object recognition techniques | |
| US9826216B1 (en) | Systems and methods for compact space-time stereo three-dimensional depth sensing | |
| CN205354047U (en) | Mark reads terminal | |
| KR102497683B1 (en) | Method, device, device and storage medium for controlling multiple virtual characters | |
| JP6526955B2 (en) | Sensor information integration method and device thereof | |
| US20200004343A1 (en) | Adjusting dimensioning results using augmented reality | |
| CN106256512B (en) | Robot device including machine vision | |
| US10872434B2 (en) | Image processing apparatus and method | |
| US11989835B2 (en) | Augmented reality overlay | |
| KR102472156B1 (en) | Electronic Device and the Method for Generating Depth Information thereof | |
| JP6827875B2 (en) | Posture estimation system, distance image camera, and posture estimation device | |
| CN111401251B (en) | Lane line extraction method, lane line extraction device, electronic equipment and computer readable storage medium | |
| JPWO2019082797A1 (en) | Reconstruction method and reconfiguration device | |
| US9532030B2 (en) | Integrated three-dimensional vision sensor | |
| EP3775766A1 (en) | Apparatus and methods for 3d sensing | |
| KR102566300B1 (en) | Method for indoor localization and electronic device | |
| KR102337209B1 (en) | Method for notifying environmental context information, electronic apparatus and storage medium | |
| EP4171011A1 (en) | Method for providing image and electronic device supporting same | |
| JP6655513B2 (en) | Attitude estimation system, attitude estimation device, and range image camera | |
| JP6584237B2 (en) | Control device, control method, and program | |
| KR102015099B1 (en) | Apparatus and method for providing wrap around view monitoring using dis information | |
| CN101329813B (en) | Three-dimensional remote-control device as well as three-dimensional remote-control system | |
| CN111767843A (en) | Three-dimensional position prediction method, device, equipment and storage medium | |
| JP6382772B2 (en) | Gaze guidance device, gaze guidance method, and gaze guidance program | |
| CN104459681A (en) | Adaptive distance estimation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201006 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201120 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210105 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210120 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6827875 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |