JP5799232B2 - Lighting control device - Google Patents
Lighting control device Download PDFInfo
- Publication number
- JP5799232B2 JP5799232B2 JP2011176847A JP2011176847A JP5799232B2 JP 5799232 B2 JP5799232 B2 JP 5799232B2 JP 2011176847 A JP2011176847 A JP 2011176847A JP 2011176847 A JP2011176847 A JP 2011176847A JP 5799232 B2 JP5799232 B2 JP 5799232B2
- Authority
- JP
- Japan
- Prior art keywords
- lighting
- illumination
- image
- map
- lighting fixtures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
-
- H—ELECTRICITY
- H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
- H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
- H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
- H05B47/10—Controlling the light source
- H05B47/105—Controlling the light source in response to determined parameters
- H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
- H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
- Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
- Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection
Landscapes
- Circuit Arrangement For Electric Light Sources In General (AREA)
Description
本発明は、人の存在位置に応じて照明器具の光出力を自動的に調節する照明制御装置に関するものである。 The present invention relates to a lighting control device that automatically adjusts the light output of a lighting fixture in accordance with the position of a person.
従来から、照明器具により照明される照明空間での人の存否に応じて照明器具の光出力を自動的に調節する技術が提案されている。この種の技術は、照明空間に人が存在する期間にのみ照明器具を点灯させることにより照明器具の消し忘れを防止し、また、人の非存在時に照明器具の光出力を抑制することにより消費電力の無駄な増加を抑制することを目的として採用されている。 Conventionally, a technique for automatically adjusting the light output of a lighting fixture according to the presence or absence of a person in an illumination space illuminated by the lighting fixture has been proposed. This type of technology prevents the forgetting to turn off the lighting fixtures by turning on the lighting fixtures only when there is a person in the lighting space, and consumes light by suppressing the light output of the lighting fixtures when no one is present. It is adopted for the purpose of suppressing an unnecessary increase in electric power.
人の存否は、焦電型赤外線センサを備える人感センサを用いて検出することが多い。ただし、カメラのような撮像手段を用いて照明空間の画像を取得し、画像から人か否かを判別し、かつ人の位置を検出する技術も提案されている。 The presence or absence of a person is often detected using a human sensor equipped with a pyroelectric infrared sensor. However, a technique has also been proposed in which an image of an illumination space is acquired using an imaging unit such as a camera, whether or not the person is a person from the image, and the position of the person is detected.
ところで、照明空間がオフィスや店舗のように広い場合には、一般に複数台の照明器具が配置される。各照明器具は、照明空間の全体を照明するのではなく、照明空間の一部を照明範囲にしている。ここに、照明範囲は、照明空間の利用目的に応じた必要な照度が得られる範囲を意味する。たとえば、照明器具を天井に配置している場合に、床面での照度が規定した照度以上になる範囲が照明範囲になる。 By the way, when a lighting space is wide like an office or a store, generally, a plurality of lighting fixtures are arranged. Each lighting fixture does not illuminate the entire illumination space, but makes a part of the illumination space an illumination range. Here, the illumination range means a range in which necessary illuminance can be obtained according to the purpose of use of the illumination space. For example, when the luminaire is arranged on the ceiling, the illumination range is a range where the illuminance on the floor is equal to or greater than the illuminance specified.
複数台の照明器具により1つの照明空間を照明している場合、照明空間における人の存在位置がわかれば、人の存在位置に応じて照明器具の光出力を調節することが可能になる。すなわち、照明空間において人が局在している場合には、人の近辺に存在する照明器具からの光出力を相対的に大きくし、残りの照明器具の光出力を相対的に小さくすることによって、照明空間全体での消費電力が低減されることになる。ここに、光出力を大きくする場合には全点灯(定格点灯)する場合が含まれており、光出力を小さくする場合には消灯する場合が含まれている。 When one illumination space is illuminated by a plurality of lighting fixtures, the light output of the lighting fixture can be adjusted according to the location of the person if the location of the presence of the person in the illumination space is known. That is, when a person is localized in the lighting space, by relatively increasing the light output from the lighting fixtures present in the vicinity of the person and by relatively reducing the light output of the remaining lighting fixtures. The power consumption in the entire lighting space is reduced. Here, when the light output is increased, the case of full lighting (rated lighting) is included, and when the light output is decreased, the case of turning off the light is included.
上述の動作では、人の存在しない領域を照明範囲とする照明器具の光出力を相対的に小さくしているから、照明空間の全体で照明器具の光出力を一定にする場合に比較すると、照明器具による消費電力が低減される。しかも、人の近辺に存在する照明器具の光出力を相対的に大きくしているから、照明空間の利用に応じた必要な照度が確保されることになる。 In the above-described operation, since the light output of the luminaire that makes the area where no person is present the illumination range is relatively small, compared with the case where the light output of the luminaire is constant throughout the illumination space, The power consumption by the appliance is reduced. And since the light output of the lighting fixture which exists in the vicinity of a person is relatively enlarged, the required illumination intensity according to utilization of illumination space is ensured.
人の存在位置に応じて照明器具の光出力を調節するには、焦電型赤外線センサを用いた人感センサを個々の照明器具に設け、人感センサでの人の検知の有無に応じて人の周囲の照明器具の光出力を連携させて調節することが考えられる。この場合、複数台の照明器具を連携させるために、照明器具の間で通信を行うことが必要になる。この構成を採用すると、照明器具と同じ個数の人感センサが必要になる上に、複数の照明器具の間で連携させるための回路構成が個々の照明器具に必要になり、結果的にコスト増につながるという問題が生じる。 In order to adjust the light output of the luminaire according to the position of the person, a human sensor using a pyroelectric infrared sensor is provided in each luminaire, and the human sensor detects whether or not a person is detected. It is conceivable to adjust the light output of lighting fixtures around the person in coordination. In this case, in order to link a plurality of lighting fixtures, it is necessary to communicate between the lighting fixtures. When this configuration is adopted, the same number of human sensors as the lighting fixtures are required, and a circuit configuration for linking the lighting fixtures is required for each lighting fixture, resulting in an increase in cost. The problem that leads to.
一方、撮像手段を用いて取得した画像を用いて人の存在位置を検出する技術を採用する場合は、個々の照明器具に撮像手段を設ける必要がなく、複数台の照明器具の照明範囲における人の存在位置を1台の撮像手段によって検知することが可能になる。この種の技術を採用する場合、照明空間の広さにもよるが、1台の撮像手段で照明空間の全体を撮像することが多い。 On the other hand, in the case of adopting a technique for detecting the presence position of a person using an image acquired using an imaging unit, it is not necessary to provide an imaging unit for each lighting fixture, and a person in the illumination range of a plurality of lighting fixtures Can be detected by a single imaging means. When this type of technology is employed, although depending on the size of the illumination space, the entire illumination space is often imaged by a single imaging means.
ただし、撮像手段を用いて人の存在位置を検出する場合には、撮像手段が撮像する画像内の位置と、照明空間における位置とをあらかじめ対応付けておくことが必要である。 However, when detecting the presence position of a person using the imaging unit, it is necessary to associate the position in the image captured by the imaging unit with the position in the illumination space in advance.
特許文献1には、互いに直交する2方向から撮像する2台の画像センサを用い、2台の画像センサから得られた撮像データに基づいて人の位置座標を演算し、さらに、人が居る位置に近いほど明るくなるように照明器具の調光制御を行う技術が記載されている。 In Patent Document 1, two image sensors that capture images from two directions orthogonal to each other are used, the position coordinates of a person are calculated based on imaging data obtained from the two image sensors, and the position where the person is located Describes a technique for performing dimming control of a luminaire so that it becomes brighter as it approaches.
特許文献1では、撮像データにおける照明器具の論理アドレスと、照明器具の実際の物理アドレスとを一致させるために、照明器具を1台ずつ順に点灯させ、撮像データにおいて明るくなった領域の位置を用いて、照明器具の座標を求めている。言い換えると、照明器具を1台ずつ点灯させ、画像内で明るくなった領域の論理アドレスに、点灯させた照明器具の物理アドレスを対応付けている。 In Patent Document 1, in order to make the logical address of the lighting fixture in the imaging data coincide with the actual physical address of the lighting fixture, the lighting fixtures are sequentially turned on one by one, and the position of the brightened area in the imaging data is used. The coordinates of the lighting fixtures. In other words, the lighting fixtures are turned on one by one, and the physical address of the lighting fixture that has been turned on is associated with the logical address of the bright area in the image.
ところで、特許文献1に記載された技術では、照明空間に机、棚、ロッカ、事務機、パーティションのような立体物が存在している場合に、論理アドレスと物理アドレスとを正確に対応付けることができない場合がある。論理アドレスと物理アドレスとが正確に対応付けられていなければ、照明空間における人の存在位置に基づいて照明器具の光出力を調節する際に、不適切な照明器具を制御する可能性がある。 By the way, in the technique described in Patent Document 1, when a three-dimensional object such as a desk, a shelf, a rocker, an office machine, or a partition exists in the illumination space, the logical address and the physical address can be accurately associated with each other. There are cases where it is not possible. If the logical address and the physical address are not accurately associated with each other, there is a possibility of controlling an inappropriate lighting fixture when adjusting the light output of the lighting fixture based on the position of the person in the lighting space.
いま、図11のように、照明器具24,25を備える照明空間において、照明器具25の直下付近に机26が配置されている場合を考える。撮像手段としてのカメラ16は、照明器具24,25の間に配置されているものとする。図示した配置では、机26の近傍に人31が存在する場合には、照明器具25の光出力を相対的に大きくし、机26から遠方に配置された照明器具24は光出力を相対的に小さくすることが望ましい。 Now, as shown in FIG. 11, a case is considered where a desk 26 is disposed in the vicinity of the lighting fixture 25 in the lighting space including the lighting fixtures 24 and 25. It is assumed that the camera 16 as an imaging unit is disposed between the lighting fixtures 24 and 25. In the illustrated arrangement, when a person 31 is present in the vicinity of the desk 26, the light output of the lighting fixture 25 is relatively increased, and the lighting fixture 24 arranged far from the desk 26 relatively increases the light output. It is desirable to make it smaller.
ここで、カメラ16の視野に机26の一側面が含まれているとすると、机26の側面には照明器具24からの直接光が入射するが、照明器具25からの直接光は入射しない。したがって、図12に示すように、カメラ16で撮像された画像において、机26の一側面は照明器具24に対応付けられことになる。図12に示す画像において、斜線部が照明器具24に対応付けられる領域であり、残りの領域が照明器具25に対応付けられる。 Here, if one side of the desk 26 is included in the field of view of the camera 16, direct light from the lighting fixture 24 enters the side of the desk 26, but direct light from the lighting fixture 25 does not enter. Therefore, as shown in FIG. 12, in the image captured by the camera 16, one side surface of the desk 26 is associated with the lighting fixture 24. In the image shown in FIG. 12, the shaded area is an area associated with the luminaire 24, and the remaining area is associated with the luminaire 25.
一方、机26の近傍に存在する人31は、図12のように、人31の存在位置が、机26の近傍で照明器具24に対応付けられた領域(斜線部)に重複する場合が生じる。この場合、照明器具24の光出力が照明器具25の光出力よりも相対的に大きくなり、意図した動作が得られないという問題が生じる。 On the other hand, as shown in FIG. 12, the person 31 existing near the desk 26 may overlap the position (hatched portion) where the person 31 exists in the vicinity of the desk 26 and associated with the lighting fixture 24. . In this case, the light output of the lighting fixture 24 becomes relatively larger than the light output of the lighting fixture 25, which causes a problem that the intended operation cannot be obtained.
図13に実際の動作例を示す。図13(a)は照明空間の一例であって、3台の照明器具により照明を行う場合を示している。照明器具ごとの照明範囲は、床面上に3つの領域E1,E2,E3で示している。また、照明空間の床には、複数個の立体物27(机、棚、事務機など)が配置され、天井にはカメラ16が配置されている。図示例では、カメラ16が領域E1,E2の境界付近の天井に配置されている。 FIG. 13 shows an actual operation example. FIG. 13A is an example of an illumination space, and shows a case where illumination is performed by three illumination fixtures. The illumination range for each lighting fixture is indicated by three regions E1, E2, E3 on the floor surface. A plurality of three-dimensional objects 27 (desks, shelves, office machines, etc.) are arranged on the floor of the lighting space, and a camera 16 is arranged on the ceiling. In the illustrated example, the camera 16 is disposed on the ceiling near the boundary between the areas E1 and E2.
照明器具を1台ずつ個別に点灯させたときにカメラ16で撮像される画像は、図13(b)(c)(d)のようになる。そして、各画像で明るくなった領域の論理アドレスに、点灯させた照明器具の物理アドレスを対応付けると、図13(e)のように、カメラ16で撮像した画像内に照明器具の物理アドレスが対応付けられる。図13(e)では3段階の濃淡値を用いて照明器具の物理アドレスを表している。 Images captured by the camera 16 when the lighting fixtures are individually turned on are as shown in FIGS. 13B, 13C, and 13D. Then, when the physical address of the lit lighting fixture is associated with the logical address of the bright area in each image, the physical address of the lighting fixture corresponds to the image captured by the camera 16 as shown in FIG. Attached. In FIG. 13 (e), the physical address of the lighting fixture is represented using three-level gray value.
照明器具の物理アドレスは、本来ならば、図13(a)に示された領域E1,E2,E3と同様に、照明器具ごとに1つの領域にまとまっていなければならない。しかしながら、実際の照明空間には立体物27が存在するから、図13(e)のように、1台の照明器具の物理アドレスが複数の領域に分割され、1つの物理アドレスに飛び地状の領域(図13(e)において破線で囲まれた領域)が生じることがある。このような飛び地状の領域が生じていると、上述したように、人の存在位置に対して不適切な照明器具を制御する可能性が生じる。 Originally, the physical addresses of the luminaires must be grouped into one area for each luminaire, similarly to the areas E1, E2, and E3 shown in FIG. However, since the three-dimensional object 27 exists in the actual illumination space, the physical address of one luminaire is divided into a plurality of areas as shown in FIG. (A region surrounded by a broken line in FIG. 13E) may occur. If such an enclave-like area is generated, there is a possibility of controlling an inappropriate lighting device with respect to the position of the person as described above.
本発明は、照明空間の三次元情報を用いることにより、照明器具による照明範囲を床面上で対応付けることを可能にし、結果的に、床面上での人の位置を用いて適切な位置の照明器具の光出力を制御することを可能にした照明制御装置を提供することを目的とする。 The present invention uses the three-dimensional information of the lighting space to enable the illumination range by the lighting fixture to be associated on the floor surface, and as a result, the position of the person on the floor surface can be appropriately positioned. It is an object of the present invention to provide an illumination control device that can control the light output of a lighting fixture.
本発明に係る照明制御装置は、上記目的を達成するために、複数台の照明器具により照明される照明空間を撮像する撮像手段を備え撮像手段が撮像した画像から照明空間の三次元情報を取得する三次元計測部と、三次元情報を用いることにより照明空間の床面上の位置を照明器具に割り当てた照明範囲マップを生成するマップ生成部と、三次元情報を用いて照明空間における床面上での人の存在位置を検出する人検出部と、人の存在位置が照明範囲マップに照合されることにより抽出された照明器具ごとの照明範囲を用いて照明器具の光出力を決定する制御指示部とを備え、マップ生成部は、撮像手段が撮像した画像を構成する画素のうち床面に交差する面に対応する画素を、照明範囲マップの対象外とすることを特徴とする。 In order to achieve the above object, an illumination control device according to the present invention includes an imaging unit that images an illumination space illuminated by a plurality of lighting fixtures, and acquires three-dimensional information of the illumination space from an image captured by the imaging unit A three-dimensional measuring unit that generates a lighting range map in which the position on the floor of the lighting space is assigned to the lighting fixture by using the three-dimensional information, and a floor surface in the lighting space using the three-dimensional information Control for determining the light output of the luminaire using the person detection unit for detecting the person's presence position and the illumination range for each luminaire extracted by comparing the person's presence position with the illumination range map The map generation unit includes a pixel corresponding to a surface intersecting the floor surface among pixels constituting the image captured by the imaging unit, and is excluded from the target of the illumination range map .
この照明制御装置において、三次元計測部は、撮像手段として2台のカメラを用い、カメラが撮像した画像から三角測量法の原理を用いて照明空間の三次元情報を取得することが好ましい。 In this illumination control apparatus, it is preferable that the three-dimensional measurement unit uses two cameras as imaging means and acquires the three-dimensional information of the illumination space from the image captured by the cameras using the principle of triangulation.
この照明制御装置において、マップ生成部は、照明範囲マップを生成するために、照明器具ごとに光出力を2段階で変化させ、撮像手段が撮像した画像を構成する画素のうち照明空間における床面に対応付けられる各画素について照明器具ごとの2段階の光出力に対応する濃淡値の変化分を求め、画素ごとに変化分を最大にする照明器具を対応付けることが好ましい。 In this illumination control device, the map generation unit changes the light output in two stages for each luminaire to generate an illumination range map, and the floor surface in the illumination space among the pixels constituting the image captured by the imaging means It is preferable to obtain a change in the gray value corresponding to the two-stage light output for each luminaire for each pixel associated with, and associate a luminaire that maximizes the change for each pixel.
この照明制御装置において、マップ生成部は、照明範囲マップを生成するために、照明器具ごとに光出力を2段階で変化させ、撮像手段が撮像した画像を構成する画素のうち照明空間における床面に対応付けられる各画素について照明器具ごとの2段階の光出力に対応する濃淡値の変化分を求め、画素ごとに変化分が規定の閾値以上になる照明器具を対応付けることが好ましい。 In this illumination control device, the map generation unit changes the light output in two stages for each luminaire to generate an illumination range map, and the floor surface in the illumination space among the pixels constituting the image captured by the imaging means For each pixel associated with, it is preferable to obtain a change in the gray value corresponding to the two-stage light output for each luminaire, and associate each luminaire with a variation equal to or greater than a specified threshold.
この照明制御装置において、マップ生成部は、照明範囲マップにおいて照明空間の床面上の位置のうち照明器具が対応付けられていない位置には、照明器具ごとの照明範囲と位置との位置関係を用いて位置に照明器具を割り当てることがさらに好ましい。 In this lighting control device, the map generation unit has a positional relationship between the lighting range and the position for each lighting fixture at a position on the floor surface of the lighting space that is not associated with a lighting fixture in the lighting range map. More preferably it is used to assign a luminaire to a position.
この照明制御装置において、マップ生成部は、照明範囲マップにおける照明器具ごとの照明範囲に基づいて、床面における照明器具ごとの直下の位置を推定することがさらに好ましい。 In this lighting control device, it is more preferable that the map generation unit estimates a position immediately below each lighting fixture on the floor surface based on the lighting range for each lighting fixture in the lighting range map.
本発明の構成によれば、照明空間の三次元情報を用いることにより、照明器具による照明範囲を床面上で対応付けているので、床面上での人の位置を用いて適切な位置の照明器具の光出力を制御することが可能になるという利点がある。 According to the configuration of the present invention, the illumination range by the luminaire is associated on the floor surface by using the three-dimensional information of the illumination space, so that the position of an appropriate position can be determined using the position of the person on the floor surface. There is an advantage that the light output of the luminaire can be controlled.
以下に説明する実施形態は、照明空間の三次元情報を取得する三次元計測部において、2台のカメラを用いたステレオビジョンによる三次元計測を想定する。ただし、撮像手段としてのカメラで撮像した画像から三次元情報を取得する構成であれば、三次元計測部の構成は問わない。たとえば、ステレオビジョンのようにパッシブ型の構成のほか、光切断法や位相シフト法のように光パターンを投影して三次元情報を取得するアクティブ型の構成であってもよい。これらの技術は三角測量の原理を用いている。 The embodiment described below assumes three-dimensional measurement by stereo vision using two cameras in a three-dimensional measurement unit that acquires three-dimensional information of an illumination space. However, the configuration of the three-dimensional measurement unit is not limited as long as the three-dimensional information is acquired from an image captured by a camera as an imaging unit. For example, in addition to a passive configuration such as stereo vision, an active configuration that acquires three-dimensional information by projecting a light pattern such as a light cutting method or a phase shift method may be used. These techniques use the principle of triangulation.
三次元計測部は、強度が一定周期で変化する強度変調光を投光し、反射光をカメラで受光することにより、強度変調光の投受光の位相差から画素ごとの距離を求めて距離画像を生成する技術を採用してもよい。この技術は、光の飛行時間を計測するからTOF(Time of Flight)法と呼ばれている。 The three-dimensional measuring unit emits intensity-modulated light whose intensity changes at a constant period and receives reflected light with a camera, thereby obtaining the distance for each pixel from the phase difference between the intensity-modulated light and the received light. A technique for generating This technique is called the TOF (Time of Flight) method because it measures the time of flight of light.
(実施形態1)
図1に示すように、三次元計測部10は、三次元の実空間に対する視野がほぼ重複するように配置された撮像手段としての2台のカメラ11,12を備える。カメラ11,12は、2次元格子の格子点上に画素が配列されたエリアイメージセンサに光学系を組み合わせて構成されており、エリアイメージセンサには、CCDイメージセンサ、CMOSイメージセンサなどが用いられる。また、2台のカメラ11,12は、画像の解像度や焦点距離などの仕様が等しいものが用いられる。また、図2のように、2台のカメラ11,12は、光軸Ax1,Ax2を平行にし、かつ受光面PL1,PL2の中心を結ぶ方向(「ベースライン方向」と呼ぶ)と光軸Ax1,Ax2とを直交させて配置されている。ここでは、光軸Ax1,Ax2は、光学中心と受光面PL1,PL2の中心を結ぶ直線とする。
(Embodiment 1)
As shown in FIG. 1, the three-dimensional measuring unit 10 includes two cameras 11 and 12 as imaging means arranged so that the visual fields with respect to a three-dimensional real space substantially overlap. The cameras 11 and 12 are configured by combining an optical system with an area image sensor in which pixels are arranged on lattice points of a two-dimensional lattice, and a CCD image sensor, a CMOS image sensor, or the like is used as the area image sensor. . The two cameras 11 and 12 having the same specifications such as image resolution and focal length are used. In addition, as shown in FIG. 2, the two cameras 11 and 12 have the optical axes Ax1 and Ax2 parallel to each other and the direction connecting the centers of the light receiving surfaces PL1 and PL2 (referred to as “baseline direction”) and the optical axis Ax1. , Ax2 are arranged orthogonally. Here, the optical axes Ax1 and Ax2 are straight lines connecting the optical center and the centers of the light receiving surfaces PL1 and PL2.
各カメラ11,12は、画角が180度に近い魚眼レンズないし魚眼レンズに相当する機能を有した光学系(図示せず)を備える。光学系の射影方式はとくに問わないが、以下では等距離射影方式を用いて説明する。また、2台のカメラ11,12は、ベースライン方向と受光面PL1,PL2における水平方向とを一致させるように配置される。すなわち、平行ステレオを想定する。なお、光学系の射影方式は等距離射影方式に限定されず、光学系は他の歪み特性を有していてもよく、またキャリブレーションを行うから歪み特性が未知の光学系を用いることも可能である。 Each of the cameras 11 and 12 includes an optical system (not shown) having a function corresponding to a fisheye lens or a fisheye lens having an angle of view close to 180 degrees. The projection system of the optical system is not particularly limited, but will be described below using the equidistant projection method. The two cameras 11 and 12 are arranged so that the base line direction coincides with the horizontal direction on the light receiving surfaces PL1 and PL2. That is, parallel stereo is assumed. The projection system of the optical system is not limited to the equidistant projection system, and the optical system may have other distortion characteristics, or an optical system with unknown distortion characteristics can be used because calibration is performed. It is.
上述した三次元計測部10の構成は限定する趣旨ではないが、上述した構成を採用することにより、照明空間の全体を撮像する程度の広視野角が得られ、しかも、カメラ11,12が撮像した画像から三次元情報を算出する際の演算量が低減されることになる。ここに、カメラ11,12は、天井のような高所に、それぞれの光軸Ax1,Ax2がともに鉛直下向きとなるように配置される。また、カメラ11,12は、後述する照明器具の照明対象である照明空間の全体が視野に含まれるように配置される。 The configuration of the above-described three-dimensional measurement unit 10 is not limited, but by adopting the above-described configuration, a wide viewing angle that captures the entire illumination space can be obtained, and the cameras 11 and 12 can capture images. The amount of calculation when calculating three-dimensional information from the obtained image is reduced. Here, the cameras 11 and 12 are arranged at a high place such as a ceiling so that the optical axes Ax1 and Ax2 are both vertically downward. Moreover, the cameras 11 and 12 are arrange | positioned so that the whole illumination space which is the illumination object of the lighting fixture mentioned later may be included in a visual field.
以下では、受光面PL1,PL2の水平方向に沿う方向(すなわち、ベースライン方向)をx方向、受光面の垂直方向に沿う方向をy方向とし、受光面に直交する方向をz方向とする。また、各カメラ11,12の撮像画像をモニタ装置に表示したときに、水平方向の右向きがx方向の正の向き、垂直方向の下向きがy方向の正の向きになるように座標系を定めている。z方向についてはカメラの受光面から遠ざかる向きを正の向きとする。 In the following, the direction along the horizontal direction of the light receiving surfaces PL1 and PL2 (that is, the baseline direction) is the x direction, the direction along the vertical direction of the light receiving surface is the y direction, and the direction orthogonal to the light receiving surface is the z direction. In addition, when the captured images of the cameras 11 and 12 are displayed on the monitor device, the coordinate system is determined so that the rightward direction in the horizontal direction is the positive direction in the x direction and the downward direction in the vertical direction is the positive direction in the y direction. ing. For the z direction, the direction away from the light receiving surface of the camera is the positive direction.
カメラ11で撮像した画像の画素位置は(u1,v1)という形式で表され、カメラ12で撮像した画像の画素位置は(u2,v2)という形式で表される。u1軸とu2軸とはx方向の座標軸であり、v1軸とv2軸とはy方向の座標軸になる。また、平行ステレオであるから、u1軸とu2軸とは一直線上に並ぶ。 The pixel position of the image captured by the camera 11 is expressed in the format (u1, v1), and the pixel position of the image captured by the camera 12 is expressed in the format (u2, v2). The u1 axis and the u2 axis are coordinate axes in the x direction, and the v1 axis and the v2 axis are coordinate axes in the y direction. Moreover, since it is parallel stereo, the u1 axis and the u2 axis are aligned on a straight line.
図1に示す構成例では、複数台(図示例では3台)の照明器具21,22,23が天井のような高所に配置され、照明器具21と照明器具22との間にカメラ11,12が配置されている。上述のように、カメラ11,12の視野は、3台の照明器具21,22,23が照明対象とする照明空間の全体を含むように設定される。図1では、図示の都合上3台の照明器具21,22,23が一直線上に配置されているが、照明器具の台数は3台以上であってもよく、また照明器具は任意の位置関係で配置されていてもよい。 In the configuration example shown in FIG. 1, a plurality of (three in the illustrated example) lighting fixtures 21, 22, and 23 are arranged at a high place such as a ceiling, and the cameras 11, 22 are placed between the lighting fixtures 21 and 22. 12 is arranged. As described above, the visual fields of the cameras 11 and 12 are set so that the three lighting fixtures 21, 22, and 23 include the entire illumination space to be illuminated. In FIG. 1, three lighting fixtures 21, 22, and 23 are arranged in a straight line for convenience of illustration, but the number of lighting fixtures may be three or more, and the lighting fixtures have an arbitrary positional relationship. May be arranged.
カメラ11,12から出力された画像データは演算処理部13に入力される。本実施形態では、画像データが濃淡画像である場合を例として説明するが、画像データがカラー画像であっても以下に説明する技術思想は適用可能である。 Image data output from the cameras 11 and 12 is input to the arithmetic processing unit 13. In the present embodiment, the case where the image data is a grayscale image will be described as an example. However, the technical idea described below is applicable even if the image data is a color image.
演算処理部13は、ハードウェア資源としてのコンピュータを有し、コンピュータを以下に説明する処理を行う装置として機能させるためのプログラムを実行する。ただし、演算処理部13は専用のハードウェアを備える構成であってもよい。また、マイコンを備えるコンピュータのほか、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)のようにプログラムを実行する機能を備えるデバイスを用いて構成してもよい。 The arithmetic processing unit 13 includes a computer as a hardware resource, and executes a program for causing the computer to function as a device that performs processing described below. However, the arithmetic processing unit 13 may be configured to include dedicated hardware. In addition to a computer having a microcomputer, a device having a function of executing a program such as a DSP (Digital Signal Processor) or an FPGA (Field-Programmable Gate Array) may be used.
カメラ11,12がアナログ信号を出力する場合には、カメラ11,12と演算処理部13との間にアナログ信号をデジタル信号に変換するAD変換器が設けられる。また、カメラ11,12と演算処理部13との間には、画像データからノイズのような不要成分を除去するフィルタ回路などが設けられていてもよい。 When the cameras 11 and 12 output analog signals, an AD converter that converts the analog signals into digital signals is provided between the cameras 11 and 12 and the arithmetic processing unit 13. Further, a filter circuit or the like that removes unnecessary components such as noise from the image data may be provided between the cameras 11 and 12 and the arithmetic processing unit 13.
演算処理部13を動作させるためのシステムプログラムおよびアプリケーションプログラムは記憶部14に記憶される。また、演算処理部13の処理対象である撮像画像データや演算過程のデータも、データメモリおよび作業用メモリとして機能する記憶部14に記憶される。したがって、記憶部14は、フラッシュメモリやハードディスクドライブ装置のように無給電で記憶内容が保持される記憶媒体と、処理の実行時にシステムプログラムやアプリケーションプログラムを置くための主記憶となる揮発性メモリとを含む。 A system program and an application program for operating the arithmetic processing unit 13 are stored in the storage unit 14. Also, the captured image data and the calculation process data that are the processing targets of the arithmetic processing unit 13 are also stored in the storage unit 14 that functions as a data memory and a working memory. Accordingly, the storage unit 14 includes a storage medium in which stored contents are held without power supply, such as a flash memory and a hard disk drive device, and a volatile memory serving as a main storage for storing system programs and application programs during processing. including.
演算処理部13は、カメラ11,12から取得した画像データを用いて照明空間の三次元情報を生成する計測処理部130を備える。すなわち、記憶部14の一部と計測処理部l30とは、カメラ11,12とともに三次元計測部10を構成する。画像データから三次元情報を生成する技術については後述する。演算処理部13は、照明器具21,22,23ごとの照明範囲を表す照明範囲マップを生成するマップ生成部131と、三次元情報を用いて人30の存在位置を検出する人検出部132とを備える。マップ生成部131が生成した照明範囲マップは記憶部14に設けたマップ記憶部141に記憶される。マップ記憶部141は、書換可能な不揮発性メモリで構成されていることが好ましい。 The arithmetic processing unit 13 includes a measurement processing unit 130 that generates three-dimensional information of the illumination space using image data acquired from the cameras 11 and 12. That is, a part of the storage unit 14 and the measurement processing unit l30 constitute the three-dimensional measurement unit 10 together with the cameras 11 and 12. A technique for generating three-dimensional information from image data will be described later. The arithmetic processing unit 13 includes a map generation unit 131 that generates an illumination range map that represents an illumination range for each of the lighting fixtures 21, 22, and 23, and a person detection unit 132 that detects the presence position of the person 30 using three-dimensional information Is provided. The illumination range map generated by the map generation unit 131 is stored in the map storage unit 141 provided in the storage unit 14. The map storage unit 141 is preferably composed of a rewritable nonvolatile memory.
演算処理部13には、人検出部132が人30の存在位置を検出したときに、検出された位置を照明範囲マップに照合することによって、当該位置を照明範囲とする照明器具21,22,23を抽出する照合部133が設けられる。照合部133により抽出された照明器具21,22,23を識別する情報は、演算処理部13に設けた制御指示部134に与えられ、制御指示部134において、あらかじめ定められたルールに従って照明器具21,22,23ごとの光出力が決定される。 When the human detection unit 132 detects the presence position of the person 30, the arithmetic processing unit 13 collates the detected position with the illumination range map, thereby setting the illumination fixtures 21, 22, which have the position as the illumination range. A collation unit 133 for extracting 23 is provided. Information for identifying the luminaires 21, 22, and 23 extracted by the collating unit 133 is given to the control instruction unit 134 provided in the arithmetic processing unit 13, and the luminaire 21 is determined by the control instruction unit 134 according to a predetermined rule. , 22 and 23 are determined.
ルールは、たとえば、照合部133が抽出した照明器具21,22,23だけを定格点灯させるように設定される。あるいは、照合部133が抽出した照明器具21,22,23を定格点灯させるとともに当該照明器具21,22,23の周囲と隣り合わせである照明器具21,22,23を調光点灯させるようにルールが設定される。これらのルールは一例であって、ルールは、照明空間において人の存在位置の周囲の領域が残りの領域よりも相対的に明るくなるように設定されていればよい。 The rule is set, for example, so that only the lighting fixtures 21, 22, and 23 extracted by the matching unit 133 are rated-lit. Alternatively, the rule is such that the lighting fixtures 21, 22, and 23 extracted by the collating unit 133 are rated-lit and the lighting fixtures 21, 22 and 23 that are adjacent to the surroundings of the lighting fixtures 21, 22, and 23 are dimmed. Is set. These rules are examples, and the rules may be set so that the area around the person's location in the illumination space is relatively brighter than the remaining areas.
演算処理部13に設けた制御指示部134の出力は、照明器具21,22,23の光出力を調節する照明制御部15に与えられる。照明制御部15は、制御指示部134の指示内容に従って照明器具21,22,23の光出力を調節する。したがって、人の存在位置が検出されると、制御指示部134に設定されたルールに応じて照明器具21,22,23の点灯状態が制御される。 The output of the control instruction unit 134 provided in the arithmetic processing unit 13 is given to the illumination control unit 15 that adjusts the light output of the lighting fixtures 21, 22, and 23. The illumination control unit 15 adjusts the light output of the lighting fixtures 21, 22, and 23 according to the instruction content of the control instruction unit 134. Therefore, when the presence position of the person is detected, the lighting state of the lighting fixtures 21, 22, and 23 is controlled according to the rule set in the control instruction unit 134.
以下では、個々の技術についてさらに詳しく説明する。三次元計測部10は、2台のカメラ11,12がそれぞれ撮像した撮像画像に基づいて実空間の三次元情報を取得するために、2台のカメラ11,12が同時刻に撮像した対になる撮像画像を取得して記憶部14に保存する。 In the following, each technique will be described in more detail. The three-dimensional measuring unit 10 obtains the three-dimensional information of the real space based on the captured images captured by the two cameras 11 and 12, respectively, so that the two cameras 11 and 12 capture the pair captured at the same time. The obtained captured image is acquired and stored in the storage unit 14.
いま、2台のカメラ11,12のうちの1台について着目する。図3に示すように、実空間に対して光学中心Oを原点とする三次元の座標系(xyz)を規定し、受光面PLに対して2次元の座標系(o−uv)を規定する。受光面PLの座標系は撮像画像の座標系と一対一に対応する。実空間における三次元の座標系におけるx方向はベースライン方向と平行とし、y方向は受光面の垂直方向と平行とする。また、受光面PLにおける2次元の座標系におけるu方向はx方向と平行とし、v方向はy方向と平行とする。 Now, pay attention to one of the two cameras 11 and 12. As shown in FIG. 3, a three-dimensional coordinate system (xyz) with the optical center O as the origin is defined for the real space, and a two-dimensional coordinate system (o-uv) is defined for the light receiving surface PL. . The coordinate system of the light receiving surface PL has a one-to-one correspondence with the coordinate system of the captured image. The x direction in the three-dimensional coordinate system in the real space is parallel to the baseline direction, and the y direction is parallel to the vertical direction of the light receiving surface. The u direction in the two-dimensional coordinate system on the light receiving surface PL is parallel to the x direction, and the v direction is parallel to the y direction.
受光面PLでの画素の位置は、左上隅を原点として水平方向と垂直方向との画素の個数で表される。画像上に投影された光軸上の点の座標を(uc,vc)とすると、(uc,vc)と座標(u,v)に位置する画素との距離rは、数1で表される。 The position of the pixel on the light receiving surface PL is represented by the number of pixels in the horizontal direction and the vertical direction with the upper left corner as the origin. If the coordinates of the point on the optical axis projected on the image are (uc, vc), the distance r between (uc, vc) and the pixel located at the coordinates (u, v) is expressed by the following equation (1). .
実空間における点Pが、受光面PLの座標(u,v)の画素に対応付けられるようにキャリブレーションが行われているとすると、モデルとして用いる球面SPの表面に実空間の点Pを射影した点Qの位置(Xr,Yr,Zr)は、数3で表される。 If the calibration is performed so that the point P in the real space is associated with the pixel at the coordinates (u, v) of the light receiving surface PL, the point P in the real space is projected onto the surface of the spherical surface SP used as a model. The position (Xr, Yr, Zr) of the point Q is expressed by Equation 3.
ところで、図4に示しているように、点Qの位置(Xr,Yr,Zr)は、画素の座標(u,v)に代えてx軸、y軸、z軸の3軸のうちの2軸の周りの角度の組み合わせとして表すことが可能である。点Qについて、x軸周りの角度(yz平面内での角度)をβ、y軸周りの角度(zx平面内での角度)をαとする。また、上述した角度φは、z軸周りの角度(xy平面内での角度)ということができる。 By the way, as shown in FIG. 4, the position (Xr, Yr, Zr) of the point Q is replaced with two of the three axes of the x-axis, y-axis, and z-axis instead of the pixel coordinates (u, v). It can be expressed as a combination of angles around an axis. For the point Q, an angle around the x axis (an angle in the yz plane) is β, and an angle around the y axis (an angle in the zx plane) is α. Further, the angle φ described above can be referred to as an angle around the z axis (an angle in the xy plane).
角度αはx軸の正の向きを0度としz軸の正の向きに向かって増加し、角度βはy軸の正の向きを0度としz軸の正の向きに向かって増加する。角度α,βを用いると、画素の位置は、座標(u,v)に代えて(α,β)で表すことができる。座標(u,v)から(α,β)に変換するには、数3の計算結果を用いて数4の計算を行う。 The angle α increases toward the positive direction of the z-axis with the positive direction of the x-axis as 0 degrees, and the angle β increases toward the positive direction of the z-axis with the positive direction of the y-axis as 0 degrees. When the angles α and β are used, the pixel position can be expressed by (α, β) instead of the coordinates (u, v). In order to convert from the coordinates (u, v) to (α, β), the calculation of Formula 4 is performed using the calculation result of Formula 3.
このように、演算処理部13における計測処理部130は、2台のカメラ11,12がそれぞれ撮像した撮像画像内での画素の位置(u,v)を、上述した三次元の実空間における角度の組(α,β)に変換した画像を生成する。以下では、実空間の点Pに対応する位置を(α,β)で表した画像を変換画像と呼ぶ。 As described above, the measurement processing unit 130 in the arithmetic processing unit 13 determines the position (u, v) of the pixel in the captured image captured by the two cameras 11 and 12 as an angle in the above-described three-dimensional real space. An image converted into a set (α, β) is generated. Hereinafter, an image in which the position corresponding to the point P in the real space is represented by (α, β) is referred to as a converted image.
ここで、本実施形態は、上述した条件の平行ステレオを前提にしているから、2台のカメラ11,12が撮像した撮像画像から得られる2枚の変換画像において、実空間における同一の点Pに対応するβの値は等しくなる。そのため、実空間における同一の点Pに対応する画素を2枚の変換画像から探索する際には、角度βを変化させずに角度αのみを変化させればよいから、2枚の画像間で画素を対応付ける処理において、撮像画像を用いる場合よりも処理負荷が軽減されることになる。要するに、実空間における1つの点Pに対応する画素(以下、「対応点」という)を2枚の変換画像から探索する際に、x軸回りの角度βが同じである範囲内のみを探索すればよいから、対応点の探索範囲が狭められ、処理負荷が低減される。 Here, since the present embodiment is premised on the parallel stereo under the above-described conditions, in the two converted images obtained from the captured images captured by the two cameras 11 and 12, the same point P in the real space is used. The values of β corresponding to are equal. Therefore, when searching for the pixel corresponding to the same point P in the real space from the two converted images, it is only necessary to change the angle α without changing the angle β. In the process of associating pixels, the processing load is reduced as compared with the case of using a captured image. In short, when searching for a pixel corresponding to one point P in real space (hereinafter referred to as “corresponding point”) from two converted images, only a range within the same angle β around the x axis is searched. Therefore, the search range for corresponding points is narrowed, and the processing load is reduced.
ところで、計測処理部130は、対応点か否かを評価するために、ブロックマッチングの技術を採用している。すなわち、2枚の変換画像のうち一方の変換画像において対応点の評価を行おうとする部位の周囲に複数画素を含むブロックを形成するとともに、ブロックに対応する大きさの走査ブロックを他方の変換画像に設定し、走査ブロックをα軸に沿って走査するのである。ブロックおよび走査ブロックは、対応点の評価を行おうとする画素の周囲で矩形領域として設定するのが望ましい。 By the way, the measurement processing unit 130 employs a block matching technique in order to evaluate whether or not it is a corresponding point. That is, a block including a plurality of pixels is formed around a portion of one of the two converted images for which the corresponding point is to be evaluated, and a scanning block having a size corresponding to the block is formed on the other converted image. The scanning block is scanned along the α axis. It is desirable to set the block and the scanning block as a rectangular area around the pixel for which the corresponding point is to be evaluated.
一方の変換画像における座標(α1,β1)の画素と、他方の変換画像における座標(α2,β2)の画素とは、数5に示す評価値Vsが最小になる場合に対応点とみなす。ただし、β2=β1という条件で探索を行う。また、ブロックと走査ブロックとは、α方向に(2N+1)画素を有し、β方向に(2M+1)画素を有する。また、数5において、I(α1,β1)は一方の変換画像の座標(α1,β1)における輝度値であり、I2(α2,β2)は他方の変換画像の座標(α2,β2)における輝度値である。 The pixel at the coordinates (α1, β1) in one converted image and the pixel at the coordinates (α2, β2) in the other converted image are regarded as corresponding points when the evaluation value Vs shown in Equation 5 is minimized. However, the search is performed under the condition of β2 = β1. Further, the block and the scanning block have (2N + 1) pixels in the α direction and (2M + 1) pixels in the β direction. In Equation 5, I (α1, β1) is a luminance value at the coordinates (α1, β1) of one converted image, and I2 (α2, β2) is a luminance value at the coordinates (α2, β2) of the other converted image. Value.
上述のようにして、計測処理部130は、2枚の変換画像から対応点を抽出した後、座標(α,β)ごとに視差dを画素値に持つ視差画像を生成する。視差dは、対応点について、d=α2−α1として求められる。視差画像の例を図5(e)に示す。計測処理部130は、点Pに関して 視差dに基づいて実空間におけるz方向の座標値を求める。すなわち、実空間の三次元情報が得られることになる。 As described above, the measurement processing unit 130 extracts corresponding points from the two converted images, and then generates a parallax image having the parallax d as a pixel value for each coordinate (α, β). The parallax d is obtained as d = α2−α1 for the corresponding point. An example of the parallax image is shown in FIG. The measurement processing unit 130 obtains a coordinate value in the z direction in the real space based on the parallax d with respect to the point P. That is, three-dimensional information in real space can be obtained.
次にマップ生成部131について説明する。マップ生成部131は、計測処理部130により得られた三次元情報と、照明器具21,22,23の照明範囲とを対応付けた照明範囲マップを生成する。マップ生成部131により照明範囲マップを生成するために、マップ生成部131は、照明器具21,22,23を1台ずつ個別に点灯させ、照明器具21,22,23がそれぞれ点灯したときの画像を少なくとも一方のカメラ11,12で撮像し、各画素の濃淡値を求める。 Next, the map generation unit 131 will be described. The map generation unit 131 generates an illumination range map that associates the three-dimensional information obtained by the measurement processing unit 130 with the illumination ranges of the lighting fixtures 21, 22, and 23. In order to generate the illumination range map by the map generation unit 131, the map generation unit 131 individually lights the lighting fixtures 21, 22, and 23 one by one, and images when the lighting fixtures 21, 22, and 23 are turned on respectively. Is captured by at least one of the cameras 11 and 12, and the gray value of each pixel is obtained.
たとえば、すべての照明器具21,22,23を消灯させた状態から、照明器具21のみを点灯させた画像をカメラ11で撮像した後、照明器具22のみを点灯させた画像をカメラ11で撮像し、次に、照明器具23のみを点灯させた画像をカメラ11で撮像する。このようにして得られた3枚の画像は、照明器具21,22,23が1台だけ点灯している状態の画像になる(図13(b)(c)(d)を参照)。したがって、3枚の画像における濃淡値を比較することにより、カメラ11の視野内(つまり照明空間)のどの領域において、どの照明器具21,22,23が支配的に照明を行っているかの情報が得られる。 For example, after all the lighting fixtures 21, 22, and 23 are turned off, an image in which only the lighting fixture 21 is turned on is taken by the camera 11, and then an image in which only the lighting fixture 22 is turned on is taken by the camera 11. Next, an image obtained by lighting only the lighting fixture 23 is captured by the camera 11. The three images thus obtained are images in which only one lighting fixture 21, 22, 23 is lit (see FIGS. 13B, 13C, and 13D). Therefore, by comparing the gray values in the three images, information on which lighting fixtures 21, 22, and 23 are predominantly illuminating in which region of the field of view of the camera 11 (that is, the illumination space) is obtained. can get.
本実施形態では、照明範囲マップを生成するにあたり2段階の処理を行う。第1段階では、カメラ11の撮像画像と同じ解像度で対応マップ画像を生成する。対応マップ画像を生成する際に、マップ生成部131は、照明器具21,22,23を1台ずつ点灯させて撮像した3枚の画像について、同じ座標(u,v)の濃淡値の大小を比較する。 In the present embodiment, two stages of processing are performed when generating the illumination range map. In the first stage, a correspondence map image is generated with the same resolution as the captured image of the camera 11. When generating the corresponding map image, the map generation unit 131 calculates the intensity value of the same coordinates (u, v) for the three images captured by lighting the lighting fixtures 21, 22, and 23 one by one. Compare.
さらに、マップ生成部131は、濃淡値がもっとも小さい(もっとも受光強度が大きい)画像を選択し、当該画像を撮像したときに点灯させた照明器具21,22,23を、当該座標(u,v)に対応付ける。具体的には、照明器具21,22,23に、互いに識別可能な識別子を付与しておき、撮像画像の各座標(u,v)には照明器具21,22,23の識別子を対応付ける。識別子は、1画素に対応付けることができれば、どのような値でもよく、たとえば、照明器具21に「1」、照明器具22に「2」、照明器具23に「3」という識別子を割り当てればよい。換言すれば、画素値が照明器具21,22,23の識別子である画像が生成され、この画像が対応マップ画像になる(対応マップ画像の例は図13(e)を参照)。 Further, the map generation unit 131 selects the image having the smallest gray value (the highest received light intensity), and sets the lighting fixtures 21, 22, and 23 that are turned on when the image is captured, to the coordinates (u, v ). Specifically, identifiers that can be distinguished from each other are assigned to the lighting fixtures 21, 22, and 23, and the identifiers of the lighting fixtures 21, 22, and 23 are associated with the coordinates (u, v) of the captured image. The identifier may be any value as long as it can be associated with one pixel. For example, the identifier “1” is assigned to the lighting fixture 21, “2” is assigned to the lighting fixture 22, and “3” is assigned to the lighting fixture 23. . In other words, an image whose pixel value is the identifier of the lighting fixtures 21, 22, and 23 is generated, and this image becomes a corresponding map image (see FIG. 13E for an example of the corresponding map image).
マップ生成部131では、図6に示す手順で、対応マップ画像を照明範囲マップに変換する。照明範囲マップは、対応マップ画像の画素値(照明器具21,22,23の識別子)が三次元情報の座標値に対応付けられる。照明範囲マップを生成するには、まず初期化のために三次元情報の座標値に対応付ける識別子が0に設定される(S11)。次に、数3と数4とを用いて、対応マップ画像における座標(u,v)が座標(α,β)に変換される(S12)。さらに、マップ生成部131は、変換された座標(α,β)を視差画像に照合することにより視差dを求め、数6により座標(α,β)に対応する距離Zdを算出する(S13)。数6においてBは、カメラ11の光学中心O1とカメラ12の光学中心O2との距離である。 The map generation unit 131 converts the corresponding map image into an illumination range map by the procedure shown in FIG. In the illumination range map, the pixel values (identifiers of the lighting fixtures 21, 22, and 23) of the corresponding map image are associated with the coordinate values of the three-dimensional information. In order to generate the illumination range map, first, an identifier associated with the coordinate value of the three-dimensional information is set to 0 for initialization (S11). Next, using the equations 3 and 4, the coordinates (u, v) in the corresponding map image are converted into the coordinates (α, β) (S12). Further, the map generation unit 131 obtains the parallax d by collating the converted coordinates (α, β) with the parallax image, and calculates the distance Zd corresponding to the coordinates (α, β) by Equation 6 (S13). . In Equation 6, B is the distance between the optical center O1 of the camera 11 and the optical center O2 of the camera 12.
ところで、カメラ11,12が上述のように配置されていることにより、照明空間の床面は、カメラ11を基準に設定したxy平面(図3参照)に平行な平面になる。いま、原点を床面上に設定したワールド座標を規定し、ワールド座標におけるカメラ11の光学中心O1の座標を(X0,Y0,Z0)とする。また、ワールド座標におけるZ軸は、床面から天井面に向かう向きを正の向きとする。数3により求められた球面SP上での座標(Xr,Yr,Zr)と、カメラ11の光学中心O1のワールド座標(X0,Y0,Z0)と、数6により求めた距離Zdとを用いると、対応マップ画像における座標(u,v)に対応するワールド座標(X,Y,Z)は数7で表される。すなわち、座標(u,v)が座標(X,Y,Z)に変換される(S14)。 By the way, since the cameras 11 and 12 are arranged as described above, the floor surface of the illumination space becomes a plane parallel to the xy plane (see FIG. 3) set with the camera 11 as a reference. Now, the world coordinates with the origin set on the floor are defined, and the coordinates of the optical center O1 of the camera 11 in the world coordinates are (X0, Y0, Z0). In addition, the Z-axis in world coordinates has a positive direction from the floor surface to the ceiling surface. Using the coordinates (Xr, Yr, Zr) on the spherical surface SP obtained by Equation 3, the world coordinates (X0, Y0, Z0) of the optical center O1 of the camera 11, and the distance Zd obtained by Equation 6. The world coordinates (X, Y, Z) corresponding to the coordinates (u, v) in the corresponding map image are expressed by Equation 7. That is, the coordinates (u, v) are converted into coordinates (X, Y, Z) (S14).
ところで、対応マップ画像において異なる座標(u,v)が、照明範囲マップの同じ座標(X,Y)に対応する場合が考えられる。そこで、このような座標(X,Y)の重複を避けるために、座標(X,Y)にすでにZ値が記憶されている場合(S15:Yes)、すでに記憶されているZ値と、今回求めたZ値との大小を比較する(S16)。そして、今回のZ値が、記憶しているZ値よりも小さい場合(S16:Yes)、すなわち、座標(X,Y)に対応する部位が床面よりも上方に位置する場合には、座標(u,v)に対応する座標(X,Y)に照明器具21,22,23の識別子が対応付けられ(S17)、さらに、座標(X,Y)に今回求めたZ値が対応付けて記憶される(S18)。 By the way, it can be considered that different coordinates (u, v) in the corresponding map image correspond to the same coordinates (X, Y) in the illumination range map. Therefore, in order to avoid such duplication of coordinates (X, Y), when a Z value is already stored in coordinate (X, Y) (S15: Yes), the Z value already stored and this time The magnitude is compared with the obtained Z value (S16). If the current Z value is smaller than the stored Z value (S16: Yes), that is, if the part corresponding to the coordinates (X, Y) is located above the floor surface, the coordinates The identifiers of the lighting fixtures 21, 22, and 23 are associated with the coordinates (X, Y) corresponding to (u, v) (S17), and the Z value obtained this time is associated with the coordinates (X, Y). Stored (S18).
このように、対応マップ画像の1つの座標(u,v)に、ワールド座標の複数の座標(X,Y)が対応する場合に、Z値が小さいほうが採用されるから、対応マップ画像上で床面に交差した面(ほぼ直交した面)に設定された照明器具21,22,23の識別子が、照明範囲マップに対応付けられることが防止される。 As described above, when a plurality of coordinates (X, Y) of the world coordinates correspond to one coordinate (u, v) of the corresponding map image, the smaller Z value is adopted. It is prevented that the identifiers of the luminaires 21, 22, and 23 set on the plane that intersects the floor (substantially orthogonal plane) are associated with the illumination range map.
マップ生成部131は、図6に示した処理により照明範囲マップを生成した後、照明器具21,22,23の識別子が対応付けられていない座標(X,Y)に、いずれかの照明器具21,22,23の識別子を対応付けるように補正処理を行う。この補正処理には、XY平面(床面)上で、照明器具21,22,23ごとの直下の座標位置を推定し、当該座標位置からの距離に応じて座標(X,Y)で表される領域のすべての座標位置に照明器具21,22,23の識別子を対応付ける。 The map generation unit 131 generates the illumination range map by the process shown in FIG. , 22 and 23 are corrected so as to be associated with each other. In this correction process, a coordinate position immediately below each of the lighting fixtures 21, 22, and 23 is estimated on the XY plane (floor surface), and is represented by coordinates (X, Y) according to the distance from the coordinate position. The identifiers of the luminaires 21, 22, and 23 are associated with all the coordinate positions in the area.
照明器具21,22,23の直下の座標位置は、補正処理前の照明範囲マップを用い、識別子ごとに座標位置の平均の位置(重心位置)が割り当てられる。要するに、照明器具21,22,23ごとの照明範囲の重心の位置が、照明器具21,22,23の直下の座標位置と推定される。 For the coordinate positions immediately below the lighting fixtures 21, 22, and 23, the average position (center of gravity position) of the coordinate positions is assigned for each identifier using the illumination range map before the correction process. In short, the position of the center of gravity of the illumination range for each of the lighting fixtures 21, 22, 23 is estimated as the coordinate position immediately below the lighting fixtures 21, 22, 23.
マップ生成部131は、照明器具21,22,23の直下の座標位置を求めた後、数8を用いて、照明範囲マップのうち照明器具21,22,23の識別子を対応付けていない座標(X,Y)と照明器具21,22,23ごとの直下の座標位置との距離Dを求める。数8において(ug,vg)は照明器具21,22,23の直下の座標位置であり、照明器具21,22,23ごとに異なる値になる。 The map generation unit 131 obtains the coordinate positions immediately below the lighting fixtures 21, 22, and 23, and then uses coordinates (8) to associate the identifiers of the lighting fixtures 21, 22, and 23 in the lighting range map ( X, Y) and the distance D between the lighting fixtures 21, 22, 23 and the coordinate positions immediately below are obtained. In Equation 8, (ug, vg) is a coordinate position immediately below the lighting fixtures 21, 22, and 23, and has a different value for each of the lighting fixtures 21, 22, and 23.
たとえば、対応マップ画像が図13(e)に例として示した画像である場合、マップ生成部131は、まず図8に示すような照明範囲マップを生成する。図8において、楕円形の領域F1,F2,F3には、それぞれ照明器具21,22,23の識別子が対応付けられている。また、領域F1,F2,F3ごとに重心位置(ug1,vg1),(ug2,vg2),(ug3,vg3)が求められている。これらの重心位置(ug1,vg1),(ug2,vg2),(ug3,vg3)は、それぞれ照明器具21,22,23の直下の座標位置とみなされる。次に、照明範囲マップのうち照明器具21,22,23の識別子が対応付けられていない座標(X,Y)から各重心位置(ug1,vg1),(ug2,vg2),(ug3,vg3)までの距離D1,D2,D3が求められる。求められた距離D1,D2,D3が最小になる重心位置(ug1,vg1),(ug2,vg2),(ug3,vg3)に対応する照明器具21,22,23が、座標(X,Y)に割り当てられる。 For example, when the corresponding map image is the image illustrated in FIG. 13E as an example, the map generation unit 131 first generates an illumination range map as illustrated in FIG. In FIG. 8, the identifiers of the lighting fixtures 21, 22, and 23 are associated with the elliptical regions F1, F2, and F3, respectively. The center-of-gravity positions (ug1, vg1), (ug2, vg2), and (ug3, vg3) are determined for each of the regions F1, F2, and F3. These barycentric positions (ug1, vg1), (ug2, vg2), (ug3, vg3) are regarded as coordinate positions immediately below the lighting fixtures 21, 22, 23, respectively. Next, the center of gravity positions (ug1, vg1), (ug2, vg2), (ug3, vg3) from the coordinates (X, Y) not associated with the identifiers of the lighting fixtures 21, 22, 23 in the illumination range map. Distances D1, D2, and D3 are obtained. The luminaires 21, 22, and 23 corresponding to the center-of-gravity positions (ug 1, vg 1), (ug 2, vg 2), (ug 3, vg 3) at which the obtained distances D 1, D 2, D 3 are minimized are represented by coordinates (X, Y). Assigned to.
上述のように、照明空間の床面において、照明器具21,22,23の識別子を割り当てられていない座標(X,Y)に対し、距離Dが最小になる照明器具21,22,23の識別子が割り当てられる。つまり、照明範囲マップの補正処理によって、照明空間の床面のすべての座標(X,Y)に照明器具21,22,23の識別子が対応付けられる。 As described above, the identifiers of the lighting fixtures 21, 22, and 23 having the smallest distance D with respect to the coordinates (X, Y) to which the identifiers of the lighting fixtures 21, 22, and 23 are not assigned on the floor surface of the lighting space. Is assigned. That is, the identifiers of the luminaires 21, 22, and 23 are associated with all the coordinates (X, Y) of the floor surface of the illumination space by the correction process of the illumination range map.
床面の座標(X,Y)と照明器具21,22,23との対応付けには、照明器具21,22,23の直下の座標との距離Dを用いることは必須ではない。たとえば、照明器具21,22,23の識別子が割り当てられている座標(X,Y)との距離を用いてもよい。つまり、照明器具21,22,23との対応付けがなされていない場合、近い位置に割り当てられている識別子を割り当てるようにしてもよい。 It is not essential to use the distance D between the coordinates (X, Y) of the floor surface and the lighting fixtures 21, 22, 23 and the coordinates immediately below the lighting fixtures 21, 22, 23. For example, the distance to the coordinates (X, Y) to which the identifiers of the lighting fixtures 21, 22, and 23 are assigned may be used. That is, when the lighting fixtures 21, 22, and 23 are not associated with each other, an identifier assigned to a close position may be assigned.
いずれの場合も、照明器具21,22,23ごとの照明範囲と、座標(X,Y)で表される床面上の位置との位置関係を用いて、座標(X,Y)に照明器具21,22,23が割り当てられることになる。 In any case, the luminaire is set to the coordinates (X, Y) using the positional relationship between the illumination range for each of the luminaires 21, 22, and 23 and the position on the floor represented by the coordinates (X, Y). 21, 22, and 23 are assigned.
上述した処理は、照明器具21,22,23を制御する前の設定モードにおいて実施される。次に、照明器具21,22,23の光出力を人の存在位置に応じて制御する通常モードの動作について説明する。 The above-described processing is performed in the setting mode before the lighting fixtures 21, 22, and 23 are controlled. Next, the operation in the normal mode for controlling the light output of the luminaires 21, 22, and 23 according to the position of the person will be described.
通常モードでは、カメラ11,12が撮像した画像を用いて人検出部132が人の存在位置を検出する。すなわち、人検出部132は、照明空間における人の存否を検出するだけではなく、照明空間に人が存在する場合に、人が存在する位置を検出する。カメラ11,12から出力される撮像画像を用いて人の存在位置を検出するには、まず三次元計測部10において照明空間の三次元情報を取得する。三次元情報は、カメラ11,12のフレームレートに応じて生成され、たとえば、毎秒30フレームで出力される画像に対して、それぞれ三次元情報が取得される。三次元計測部10が三次元情報を取得する動作は上述した通りであって、カメラ11,12ごとの撮像画像の座標(u,v)が(α,β)に変換され、さらに視差画像が生成され、視差画像に基づいて三次元情報が算出される。 In the normal mode, the person detection unit 132 detects the position of the person using the images captured by the cameras 11 and 12. That is, the person detection unit 132 not only detects the presence / absence of a person in the illumination space, but also detects the position where the person exists when the person exists in the illumination space. In order to detect the presence position of a person using the captured images output from the cameras 11 and 12, first, the three-dimensional measurement unit 10 acquires three-dimensional information of the illumination space. The three-dimensional information is generated according to the frame rates of the cameras 11 and 12, and for example, the three-dimensional information is acquired for each image output at 30 frames per second. The operation in which the three-dimensional measuring unit 10 acquires the three-dimensional information is as described above, and the coordinates (u, v) of the captured images for the cameras 11 and 12 are converted into (α, β), and the parallax image is further converted. Generated and three-dimensional information is calculated based on the parallax image.
人の存在位置を検出するには、設定モードにおいて生成した人の存在しない状態での視差画像(すなわち、背景画像)と、通常モードにおいて生成した視差画像(すなわち、評価画像)との差分画像を用いる。この差分画像は、比較対象である評価画像と背景画像とにおける同座標の画素値の差分を画素値に持つ。したがって、背景画像に含まれない物体が評価画像に含まれていると、当該物体に対応する座標の画素値が比較的大きくなる。このことを利用すれば、差分画像を用いて人の存在位置を検出することが可能になる。 In order to detect the presence position of a person, a difference image between a parallax image (that is, a background image) that is generated in the setting mode and in which no person is present and a parallax image that is generated in the normal mode (that is, an evaluation image) is Use. This difference image has, as a pixel value, a difference between pixel values of the same coordinates between the evaluation image to be compared and the background image. Therefore, when an object that is not included in the background image is included in the evaluation image, the pixel value of the coordinate corresponding to the object is relatively large. If this is utilized, it becomes possible to detect a person's presence position using a difference image.
本実施形態では、人の存在位置を検出するために設定モードでの視差画像と通常モードでの視差画像の差分を用いるが、他の方法により人の存在位置を検出してもよい。たとえば、視差画像の各画素について、図7に示す距離zの値を算出することで距離画像を生成できるため、設定モードでの距離画像と通常モードでの距離画像をそれぞれ生成し、距離画像同士の差分を用いて人の存在位置を検出することができる。また、通常モードにおいてカメラ11,12のいずれかから得られる画像に基づいて、フレーム間差分法やテンプレートマッチングなどの方法により画像中の人に相当する領域を抽出し、抽出した領域について視差および距離を算出することで人の存在位置を検出することができる。 In this embodiment, the difference between the parallax image in the setting mode and the parallax image in the normal mode is used to detect the person's presence position, but the person's presence position may be detected by other methods. For example, for each pixel of the parallax image, a distance image can be generated by calculating the value of the distance z shown in FIG. 7, so that a distance image in the setting mode and a distance image in the normal mode are generated, and the distance images are The presence position of a person can be detected using the difference between the two. Further, based on an image obtained from either of the cameras 11 and 12 in the normal mode, an area corresponding to a person in the image is extracted by a method such as interframe difference method or template matching, and the parallax and distance of the extracted area are extracted. Can be detected.
人検出部132は、通常モードにおいて取得した三次元情報に基づいて生成した評価画像と背景画像との差分画像を生成し、差分画像における画素値が規定した閾値以上である画素を人に対応する画素の候補として抽出する。具体的には、評価画像における座標(α,β)の視差dn(α,β)と、背景画像における座標(α,β)の視差db(α,β)との差分を適宜に設定した閾値dthと比較し、dn(α,β)−db(α,β)>dthが成立するときに、当該座標(α,β)の画素を、人に対応する画素の候補とする。 The human detection unit 132 generates a difference image between the evaluation image generated based on the three-dimensional information acquired in the normal mode and the background image, and corresponds to a pixel whose pixel value in the difference image is equal to or greater than a specified threshold. Extract as pixel candidates. Specifically, a threshold value that appropriately sets a difference between the parallax dn (α, β) of the coordinates (α, β) in the evaluation image and the parallax db (α, β) of the coordinates (α, β) in the background image. When dn (α, β) −db (α, β)> dth is established as compared with dth, the pixel at the coordinate (α, β) is set as a candidate pixel corresponding to a person.
たとえば、図9(a)のような評価画像と、図9(b)のような背景画像とが得られている場合に、差分画像は図9(c)のようになる。図示例の差分画像は、差分値が閾値dth以下である画素の画素値を最大明度とし、差分値が大きいほど画素値の明度を低くしたグレースケールで表されている。したがって、色の濃い領域が人に対応する領域の候補になっている。 For example, when an evaluation image as shown in FIG. 9 (a) and a background image as shown in FIG. 9 (b) are obtained, the difference image is as shown in FIG. 9 (c). The difference image in the illustrated example is represented by a gray scale in which the pixel value of a pixel whose difference value is equal to or less than the threshold value dth is the maximum brightness, and the brightness of the pixel value is decreased as the difference value is larger. Therefore, a dark region is a candidate region corresponding to a person.
ただし、差分値が閾値dthを超えている領域であっても人ではないノイズが含まれている可能性があるから、差分値が閾値dth以下である画素はノイズとして除去する。さらに、差分値が閾値dthを超えている領域については、連結性を評価するとともに、連結性がある場合には面積が規定範囲内か否かを判定する。 However, since there is a possibility that non-human noise is included even in a region where the difference value exceeds the threshold value dth, pixels whose difference value is equal to or less than the threshold value dth are removed as noise. Further, for the region where the difference value exceeds the threshold value dth, the connectivity is evaluated, and if there is connectivity, it is determined whether the area is within the specified range.
ここに、連結性は、着目する画素と隣接する画素(4近傍や8近傍)とについて評価し、2つの画素がともに閾値dthを超えているときに、両画素は連結性があると判断される。また、人検出部132は、連結性があると判断された画素の集合について、当該集合を構成する画素の面積(画素数)を規定範囲と比較し、面積が規定範囲内であれば当該集合が人に対応すると推定する。以上の処理により、図9(d)に示すように人に対応する領域が抽出される。なお、図9(d)に示す例は、αβ平面からXY平面への座標変換を施してある。 Here, connectivity is evaluated for the pixel of interest and adjacent pixels (near 4 or 8), and when both pixels exceed the threshold value dth, both pixels are determined to have connectivity. The Further, the human detection unit 132 compares the area (number of pixels) of the pixels constituting the set with respect to a set of pixels determined to have connectivity, and if the area is within the specified range, the set Is assumed to correspond to a person. Through the above processing, a region corresponding to a person is extracted as shown in FIG. In the example shown in FIG. 9D, coordinate conversion from the αβ plane to the XY plane is performed.
人に対応すると推定された画素の集合は、照明空間の床面に対する代表点の位置が求められる。すなわち、人検出部132は、人の候補となる画素の集合に対して、数7および数8を用いて、ワールド座標における座標値(X,Y,Z)を求める。さらに、当該画素の集合についてXY平面の上での重心の座標を求め、この座標を人の代表点の位置、すなわち、人の存在位置の座標とする。 For a set of pixels estimated to correspond to a person, the position of a representative point with respect to the floor surface of the illumination space is obtained. That is, the person detection unit 132 obtains coordinate values (X, Y, Z) in world coordinates using Expressions 7 and 8 for a set of pixels that are human candidates. Further, the coordinates of the center of gravity on the XY plane are obtained for the set of pixels, and this coordinate is set as the position of the representative point of the person, that is, the coordinate of the position where the person exists.
上述したように人検出部132により床面上での人の存在位置が求められると、照合部133は、人の存在位置を照明範囲マップと照合し、人の存在位置に対応する照明器具21,22,23を抽出する。つまり、照明範囲マップにおいて人の存在位置に対応付けた照明器具21,22,23の識別子が抽出される。照合部133が抽出した識別子は、制御指示部134に与えられる。 As described above, when the person's presence position on the floor surface is obtained by the person detection unit 132, the collation unit 133 collates the person's presence position with the illumination range map, and the luminaire 21 corresponding to the person's presence position. , 22, 23 are extracted. That is, the identifiers of the luminaires 21, 22, and 23 associated with the person's location in the illumination range map are extracted. The identifier extracted by the collation unit 133 is given to the control instruction unit 134.
制御指示部134は、適宜に設定されているルールに従って、照明器具21,22,23の光出力を決定し、決定した光出力を照明制御部15に指示する。もっとも簡単なルールは、照合部133が抽出した識別子に対応する照明器具21,22,23のみを定格で点灯させ、他の照明器具21,22,23は消灯するように設定される。また、照合部133が抽出した識別子に対応する照明器具21,22,23を定格で点灯させ、さらに、その照明器具21,22,23の周囲の照明器具21,22,23を調光点灯(たとえば、光出力を50%に調光)させるようにルールが設定されていてもよい。この場合、定格点灯と調光点灯とが指示される照明器具21,22,23を除く他の照明器具21,22,23は消灯される。 The control instruction unit 134 determines the light output of the luminaires 21, 22, and 23 according to the rules that are appropriately set, and instructs the illumination control unit 15 of the determined light output. The simplest rule is set so that only the lighting fixtures 21, 22, and 23 corresponding to the identifiers extracted by the collating unit 133 are turned on at a rating, and the other lighting fixtures 21, 22, and 23 are turned off. Moreover, the lighting fixtures 21, 22, and 23 corresponding to the identifier extracted by the collating unit 133 are turned on with a rating, and the lighting fixtures 21, 22, and 23 around the lighting fixtures 21, 22, and 23 are dimmed ( For example, the rule may be set so that the light output is dimmed to 50%. In this case, the other lighting fixtures 21, 22, 23 except the lighting fixtures 21, 22, 23 instructed to perform the rated lighting and dimming lighting are turned off.
上述のようにルールが設定されていれば、人からの距離が近い照明器具21,22,23を定格で点灯させることにより、作業の実施や安全の確保に必要な照度を得ることができる。しかも、人からの距離が遠い照明器具21,22,23は消灯させているから、作業の実施や安全の確保において影響の少ない照明器具21,22,23を消灯して省エネルギーを実現することができる。 If the rule is set as described above, it is possible to obtain the illuminance necessary for carrying out the work and ensuring safety by turning on the lighting fixtures 21, 22, and 23, which are close to a person, with a rating. Moreover, since the luminaires 21, 22, and 23 that are far from humans are turned off, it is possible to turn off the luminaires 21, 22, and 23, which have less influence on the performance of work and ensure safety, to realize energy saving. it can.
また、照明空間において床面に交差する面(家具の側面や壁面など)に照明器具21,22,23が対応付けられないようにしているから、床面上での人の存在位置に対応するように照明器具21,22,23の光出力を制御することが可能になる。つまり、人からの距離が遠い照明器具21,22,23で人の周囲が照明されるという、誤った対応付けが防止される。言い換えると、人からの距離が近い照明器具21,22,23で必要な照度を確保するから、必要な照度を確保するのに必要なエネルギーが低減され、結果的に省エネルギーにつながる。 Further, since the lighting fixtures 21, 22, and 23 are not associated with surfaces (such as furniture side surfaces or wall surfaces) that intersect the floor surface in the illumination space, this corresponds to the position of the person on the floor surface. Thus, it becomes possible to control the light output of the lighting fixtures 21, 22, and 23. In other words, an erroneous association in which the surroundings of the person are illuminated by the lighting fixtures 21, 22, and 23 that are far from the person is prevented. In other words, since the illuminance required by the luminaires 21, 22, and 23 that are close to a person is ensured, the energy required to ensure the necessary illuminance is reduced, resulting in energy saving.
上述した実施形態では、対応マップ画像を生成する際に、照明器具21,22,23を1台ずつ点灯させたときのカメラ11,12での受光強度を比較している。この動作に対して、照明器具21,22,23を1台ずつ点灯させた状態での画像と、すべての照明器具21,22,23を消灯させた状態での画像との差分画像を生成し、差分画像における画素値を用いて対応マップ画像を生成してもよい。また、照明範囲マップを生成する際には、照明器具21,22,23の光出力を2段階で変化させればよく、点灯と消灯とではなく、点灯状態において光出力を2段階に変化させてもよい。要するに、照明器具21,22,23の光出力の変化が、カメラ11,12において濃淡値の変化に反映されていればよい。 In the above-described embodiment, when the correspondence map image is generated, the received light intensity of the cameras 11 and 12 when the lighting fixtures 21, 22 and 23 are turned on one by one is compared. In response to this operation, a difference image is generated between an image obtained when the lighting fixtures 21, 22, and 23 are turned on one by one and an image obtained when all the lighting fixtures 21, 22, and 23 are turned off. The correspondence map image may be generated using the pixel value in the difference image. Further, when generating the illumination range map, the light output of the luminaires 21, 22, and 23 may be changed in two steps, and the light output is changed in two steps in the lighting state, not in lighting and extinguishing. May be. In short, the change in the light output of the luminaires 21, 22 and 23 may be reflected in the change in the gray value in the cameras 11 and 12.
(実施形態2)
実施形態1において説明したように、人検出部132が検出した人の存在位置を、照合部133が照明範囲マップと照合すると、照明範囲マップからは照明器具21,22,23が1台だけ抽出される。この処理では、制御指示部134に適切なルールが設定してあれば、人の周囲における照度が適切に設定されるが、人の存在位置によっては適切な照度を得るようにルールを設定することが難しい場合も考えられる。
(Embodiment 2)
As described in the first embodiment, when the collation unit 133 collates the position of the person detected by the human detection unit 132 with the illumination range map, only one lighting fixture 21, 22, 23 is extracted from the illumination range map. Is done. In this process, if an appropriate rule is set in the control instruction unit 134, the illuminance around the person is set appropriately. However, depending on the position of the person, the rule should be set so as to obtain an appropriate illuminance. It may be difficult.
実施形態1は、複数台の照明器具21,22,23を併せて1枚の照明範囲マップを生成しているが、本実施形態は、照明器具21,22,23ごとに照明範囲マップを生成する。すなわち、3台の照明器具21,22,23に対しては、3枚の照明範囲マップが生成される。 In the first embodiment, a single illumination range map is generated by combining a plurality of lighting fixtures 21, 22, and 23. In this embodiment, an illumination range map is generated for each of the lighting fixtures 21, 22, and 23. To do. That is, for the three lighting fixtures 21, 22, and 23, three illumination range maps are generated.
マップ生成部131は、実施形態1と同様に、照明器具21,22,23を1台ずつ点灯させて3枚の撮像画像を生成する。実施形態1では、得られた3枚の撮像画像における濃淡値を用いて、照明器具21,22,23の識別子を三次元情報の座標値に対応付けた照明範囲マップを生成している。これに対して、本実施形態は、3枚の撮像画像を用いて3枚の個別点灯画像が生成される。 Similar to the first embodiment, the map generation unit 131 turns on the lighting fixtures 21, 22, and 23 one by one to generate three captured images. In Embodiment 1, the illumination range map which matched the identifier of the lighting fixtures 21, 22, and 23 with the coordinate value of three-dimensional information is produced | generated using the light / dark value in the obtained three captured images. On the other hand, in the present embodiment, three individually lit images are generated using three captured images.
個別点灯画像は、1枚の撮像画像の座標(u,v)における濃淡値Iを、同じ座標(u,v)におけるすべての撮像画像の濃淡値の合計Sで除した値を、当該座標(u,v)の画素値に持っている。ここに、すべての照明器具21,22,23を定格で点灯させたときの濃淡値を、照明器具21,22,23を個別に点灯させたときの撮像画像の濃淡値の合計Sとみなしている。つまり、各撮像画像の濃淡値を、I1,I2,I3とすると、S=I1+I2+I3になる。 The individually lit image is obtained by dividing the gray value I at the coordinates (u, v) of one captured image by the sum S of the gray values of all the captured images at the same coordinates (u, v). u, v). Here, the gray value when all the lighting fixtures 21, 22 and 23 are lit at the rated value is regarded as the sum S of the grayscale values of the captured images when the lighting fixtures 21, 22 and 23 are individually lit. Yes. That is, if the shade values of each captured image are I1, I2, and I3, S = I1 + I2 + I3.
また、個別点灯画像の画素値はI/Sであり、それぞれの照明器具21,22,23が座標(u,v)で表される位置に影響する程度(寄与度)を、I/Sという指標で表していることになる。したがって、座標(u,v)の画素値が、I1/S、I2/S、I3/Sである3枚の個別点灯画像が得られる。 In addition, the pixel value of the individually lit image is I / S, and the degree (contribution) that each lighting fixture 21, 22, 23 affects the position represented by coordinates (u, v) is referred to as I / S. It is expressed by an indicator. Therefore, three individually lit images with pixel values of coordinates (u, v) of I1 / S, I2 / S, and I3 / S are obtained.
個別点灯画像を模式的に示すと、図10(a)(b)(c)のようになる。各図において円形の領域は、カメラ11,12の視野を示している。個別点灯画像は、図13(b)(c)(d)と同様の画像であって、個別点灯画像を組み合わせると実施形態1で説明した対応マップ画像が生成される。図示例において、照明器具21に対応する個別点灯画像(図10(a))は上部が明るく、照明器具22に対応する個別点灯画像(図10(b))は中央部が明るく、照明器具23に対応する個別点灯画像(図10(c))は下部が明るくなっている。 An individual lighting image is schematically shown in FIGS. 10 (a), 10 (b), and 10 (c). In each figure, a circular area indicates the field of view of the cameras 11 and 12. The individual lighting images are images similar to those shown in FIGS. 13B, 13C, and 13D. When the individual lighting images are combined, the correspondence map image described in the first embodiment is generated. In the illustrated example, the individual lighting image corresponding to the lighting fixture 21 (FIG. 10A) is bright at the top, and the individual lighting image corresponding to the lighting fixture 22 (FIG. 10B) is bright at the center, and the lighting fixture 23. The individual lighting image corresponding to (FIG. 10C) is bright at the bottom.
マップ生成部131は、次に、個々の個別点灯画像を用いて、照明空間における床面の座標と照明器具21,22,23の識別子とを対応付けた3枚の照明範囲マップを生成する。ここに、実施形態1では1枚の照明範囲マップに複数台の照明器具21,22,23の識別子を含んでいるが、本実施形態では1枚の照明範囲マップには1台の照明器具21,22,23の識別子のみが含まれる。言い換えると、照明器具21,22,23の識別子ごとに生成された3枚の個別点灯画像から3枚の照明範囲マップが生成される。また、照明範囲マップには、照明器具21,22,23ごとの座標(X,Y)への寄与度が対応付けられる。座標(X,Y)における寄与度には、個別点灯画像において座標(X,Y)に対応する座標(u,v)の画素値(I1/S,I2/S,I3/S)が用いられる。 Next, the map generation unit 131 generates three illumination range maps in which the coordinates of the floor surface in the illumination space and the identifiers of the lighting fixtures 21, 22, and 23 are associated with each other using the individual lighting images. Here, in the first embodiment, one lighting range map includes identifiers of a plurality of lighting fixtures 21, 22, and 23, but in this embodiment, one lighting range map includes one lighting fixture 21. , 22, 23 only. In other words, three illumination range maps are generated from the three individual lighting images generated for each identifier of the lighting fixtures 21, 22, and 23. Moreover, the contribution to the coordinate (X, Y) for every lighting fixture 21, 22, 23 is matched with the illumination range map. The pixel values (I1 / S, I2 / S, I3 / S) of the coordinates (u, v) corresponding to the coordinates (X, Y) in the individual lighting image are used for the contribution at the coordinates (X, Y). .
照明範囲マップを生成する手順は、基本的には図6に示した実施形態1と同様の手順になる。すなわち、照明範囲マップの初期化後、個別点灯画像の座標(u,v)の画素値を床面上の座標(X,Y)に対応付ける。また、床面に交差する面への対応付けは防止される。以上のように設定モードでは、個別点灯画像ごとに照明範囲マップを生成することにより、照明器具21,22,23ごとの照明範囲マップが形成されることになる。 The procedure for generating the illumination range map is basically the same as that in the first embodiment shown in FIG. That is, after the illumination range map is initialized, the pixel value of the coordinate (u, v) of the individually lit image is associated with the coordinate (X, Y) on the floor surface. In addition, association with a surface intersecting the floor surface is prevented. As described above, in the setting mode, the illumination range map for each of the lighting fixtures 21, 22, and 23 is formed by generating the illumination range map for each individually lit image.
たとえば、図10(a)(b)(c)に示した個別点灯画像からは、それぞれ図10(d)(e)(f)に示す3枚の照明範囲マップが生成される。図示する照明範囲マップにおける明度は寄与度を表しており、明度が高いほど寄与度が大きいことを示す。 For example, from the individually lit images shown in FIGS. 10A, 10B, and 10C, three illumination range maps shown in FIGS. 10D, 10E, and 10F are generated. The brightness in the illustrated illumination range map represents the contribution, and the higher the brightness, the greater the contribution.
通常モードでは、照合部133は、人検出部132が求めた人の存在位置を、すべての照明範囲マップにそれぞれ照合し、照明範囲マップごとに人の存在位置に対応する座標(X,Y)の寄与度を抽出する。照明範囲マップから人の存在位置における照明器具21,22,23ごとの寄与度が抽出されると、制御指示部134は、照明範囲マップごとに抽出した寄与度を規定の閾値と比較し、寄与度が閾値以上である照明器具21,22,23を点灯させる。 In the normal mode, the collation unit 133 collates the person's existence position obtained by the person detection unit 132 with all the illumination range maps, and coordinates (X, Y) corresponding to the person's existence position for each illumination range map. Extract contributions of. When the contribution degree for each of the lighting fixtures 21, 22, and 23 at the position where the person is present is extracted from the illumination range map, the control instruction unit 134 compares the contribution degree extracted for each illumination range map with a prescribed threshold value, and contributes. The lighting fixtures 21, 22, and 23 whose degrees are equal to or greater than the threshold are turned on.
たとえば、図10(d)(e)(f)に示す照明範囲マップのうち、図10(d)(e)において人30の位置の寄与度が閾値以上であり、図10(f)において人30の位置の寄与度が閾値未満であるとする。この例の場合、制御指示部134は、照明器具21,22を点灯させ、照明器具23を消灯させる。 For example, in the illumination range maps shown in FIGS. 10D, 10E, and 10F, the contribution of the position of the person 30 is equal to or greater than the threshold in FIGS. 10D and 10E, and the person in FIG. Assume that the contribution of position 30 is less than the threshold. In this example, the control instruction unit 134 turns on the lighting fixtures 21 and 22 and turns off the lighting fixture 23.
上述の動作によって、たとえば、複数台の照明器具21,22,23の照明範囲の境界付近に人が存在する場合に、1台の照明器具21,22,23のみを点灯させるのではなく、人の周囲の複数台の照明器具21,22,23を点灯させることが可能になる。したがって、実施形態1のように、複数台の照明器具21,22,23の点灯を許容するためのルールを制御指示部134に設定しなくとも、人の存在位置に応じて点灯させる照明器具21,22,23の台数を動的に変化させることが可能になる。他の構成および動作は実施形態1と同様である。 By the above-described operation, for example, when there is a person near the boundary of the illumination range of the plurality of lighting fixtures 21, 22, 23, instead of lighting only one lighting fixture 21, 22, 23, It becomes possible to light a plurality of lighting fixtures 21, 22, and 23 around the. Therefore, as in the first embodiment, the lighting fixture 21 that is turned on in accordance with the position of the person without setting a rule for allowing the lighting of the plurality of lighting fixtures 21, 22, and 23 in the control instruction unit 134. , 22, 23 can be dynamically changed. Other configurations and operations are the same as those of the first embodiment.
10 三次元計測部
11,12 カメラ(撮像手段)
21,22,23 照明器具
131 マップ生成部
132 人検出部
134 制御指示部
10 Three-dimensional measuring unit 11, 12 Camera (imaging means)
21, 22, 23 luminaire 131 map generation unit 132 human detection unit 134 control instruction unit
Claims (6)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011176847A JP5799232B2 (en) | 2011-08-12 | 2011-08-12 | Lighting control device |
PCT/JP2012/068110 WO2013024655A1 (en) | 2011-08-12 | 2012-07-17 | Illumination controller |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011176847A JP5799232B2 (en) | 2011-08-12 | 2011-08-12 | Lighting control device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013041714A JP2013041714A (en) | 2013-02-28 |
JP5799232B2 true JP5799232B2 (en) | 2015-10-21 |
Family
ID=47714980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011176847A Expired - Fee Related JP5799232B2 (en) | 2011-08-12 | 2011-08-12 | Lighting control device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5799232B2 (en) |
WO (1) | WO2013024655A1 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6124215B2 (en) * | 2013-10-28 | 2017-05-10 | パナソニックIpマネジメント株式会社 | Lighting system and lighting control device |
JP2016122876A (en) * | 2014-12-24 | 2016-07-07 | 三菱電機株式会社 | Display device, display system, air conditioner, illumination device, and display device control program |
US10973107B2 (en) * | 2016-09-06 | 2021-04-06 | Racepoint Energy, LLC | Intelligent lighting control system automated adjustment apparatuses, systems, and methods |
JP6817109B2 (en) * | 2017-03-06 | 2021-01-20 | 東日本旅客鉄道株式会社 | Lighting control method and lighting control system |
JP6918744B2 (en) * | 2018-05-16 | 2021-08-18 | 浜井電球工業株式会社 | LED lamp with camera and lighting range monitoring / warning system using it |
JP6868290B2 (en) * | 2019-03-07 | 2021-05-12 | 浜井電球工業株式会社 | Multi-function LED lamp and lighting range monitoring / warning system using it |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4640286B2 (en) * | 2006-07-26 | 2011-03-02 | パナソニック電工株式会社 | Control system |
CN101573976A (en) * | 2006-12-28 | 2009-11-04 | 夏普株式会社 | Transmission device, view environment control device, and view environment control system |
JP2009283183A (en) * | 2008-05-20 | 2009-12-03 | Panasonic Electric Works Co Ltd | Illumination control system |
JP5279127B2 (en) * | 2009-01-23 | 2013-09-04 | パナソニック株式会社 | Lighting system |
JP5299296B2 (en) * | 2010-01-26 | 2013-09-25 | 株式会社デンソーアイティーラボラトリ | Vehicle periphery image display device and vehicle periphery image display method |
-
2011
- 2011-08-12 JP JP2011176847A patent/JP5799232B2/en not_active Expired - Fee Related
-
2012
- 2012-07-17 WO PCT/JP2012/068110 patent/WO2013024655A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
JP2013041714A (en) | 2013-02-28 |
WO2013024655A1 (en) | 2013-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5799232B2 (en) | Lighting control device | |
EP3192330B1 (en) | Lighting preference arbitration. | |
JP5726792B2 (en) | Information processing apparatus, image sensor apparatus, and program | |
JP2017096939A (en) | System and method for scoring clutter for use in 3d point cloud matching in vision system | |
JP6352208B2 (en) | 3D model processing apparatus and camera calibration system | |
US20090297020A1 (en) | Method and system for determining poses of semi-specular objects | |
US10705218B2 (en) | Object position detection apparatus | |
JP7243707B2 (en) | Surveillance system and method of controlling the surveillance system | |
TW201416908A (en) | Pupil tracking device | |
US20140111097A1 (en) | Identification device, method and computer program product | |
RU2016138012A (en) | SYSTEM AND / OR METHOD OF RECOGNITION OF COATING FOR GLASS | |
US20150009131A1 (en) | System for Determining Three-Dimensional Position of Transmission Device Relative to Detecting Device | |
US20130113920A1 (en) | Determining position in a projection capture system | |
JPWO2013190772A1 (en) | Spatial information detection device, human position detection device | |
WO2014024364A1 (en) | Object detection device, object detection method, and program | |
WO2019163211A1 (en) | Monitoring system and control method for monitoring system | |
WO2016158855A1 (en) | Imaging system, imaging device, imaging method, and imaging program | |
TW201724027A (en) | Generating a disparity map having reduced over-smoothing | |
JP5601179B2 (en) | Gaze detection apparatus and gaze detection method | |
TW201627818A (en) | Interactive system, remote controller and operating method thereof | |
US10147196B2 (en) | Occupancy detection | |
TWI468997B (en) | Pointing system and image system having improved operable range | |
KR101346510B1 (en) | Visual odometry system and method using ground feature | |
US11445107B2 (en) | Supervised setup for control device with imager | |
CN106599930B (en) | Virtual reality space positioning feature point screening method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140513 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141209 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150209 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150303 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150327 |
|
LAPS | Cancellation because of no payment of annual fees |