WO2009110417A1 - 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム - Google Patents
旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム Download PDFInfo
- Publication number
- WO2009110417A1 WO2009110417A1 PCT/JP2009/053838 JP2009053838W WO2009110417A1 WO 2009110417 A1 WO2009110417 A1 WO 2009110417A1 JP 2009053838 W JP2009053838 W JP 2009053838W WO 2009110417 A1 WO2009110417 A1 WO 2009110417A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- camera
- coordinate value
- point
- coordinate
- world
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Definitions
- the present invention relates to an installation condition specifying device and method for a revolving camera, and a camera control system including the installation condition specifying device, and in particular, an apparatus and method for specifying an installation condition including an installation position and a reference direction of a revolving camera,
- the present invention relates to a system for controlling a revolving camera in which the installation conditions are specified.
- the so-called panning and tilting revolving camera is particularly suitable for surveillance applications.
- the monitoring application when a moving body enters the monitoring area, there is a lot of demand for so-called automatic tracking that controls the turning camera so as to automatically track (capture) the moving body.
- Patent Document 1 In order to meet this requirement, there is a conventional one disclosed in Patent Document 1, for example.
- a wide-angle fixed camera capable of photographing the entire monitoring area is provided.
- the position of the moving object in the captured image that is, the coordinate value of the moving object in the two-dimensional image coordinates of the captured image is obtained.
- the two-dimensional coordinate value is converted into a coordinate value in a three-dimensional world coordinate called real space.
- the turning camera is controlled so as to face the position (point) according to the converted world coordinate value.
- a swivel camera in order to control the revolving camera on the world coordinates as described above, naturally, the installation position of the revolving camera on the world coordinates, that is, the coordinate value must be specified.
- a swivel camera generally has a certain reference direction, and given a declination with respect to this reference direction, in other words, a pan angle and a tilt angle, a direction corresponding to the pan angle and the tilt angle is given. Turn to face. Therefore, this reference direction must also be specified in world coordinates.
- the installation position of the swivel camera is measured by a surveying instrument (not specified in Patent Document 1) or by using a tool such as a measure, and the coordinate values in the world coordinates are identified. It was. Also, the reference direction has been specified by an extreme eye measurement using a tool such as a magnetic compass.
- an object of the present invention is to provide an apparatus and a method that can specify the installation conditions of a revolving camera more easily and accurately than in the past. It is also an object of the present invention to provide a camera control system for controlling a turning type camera in which the installation conditions are specified by a novel method.
- the swivel camera installation condition specifying device is such that the swivel camera is installed in real space and has a certain reference direction. It is assumed that the vehicle is turned so as to turn in the direction corresponding to the declination when the declination is given.
- the swivel camera installation conditions include the coordinate value of the swivel camera installation position in three-dimensional world coordinates set in real space and the reference direction of the swivel camera in the world coordinates. It is.
- the swivel camera installation condition specifying device is based on the coordinate value of an arbitrary gazing point in the world coordinates and the deflection angle when the slewing camera is pointed at the gazing point.
- a specifying means for specifying the installation conditions is provided.
- three-dimensional world coordinates are set in the real space where the revolving camera is installed.
- An arbitrary point in the world coordinates is set as a gazing point.
- the specifying means determines the installation position and reference of the turning camera in the world coordinates. Specify (estimate) the installation conditions including the direction. That is, the installation condition of the turning camera is specified based on the geometric calculation.
- the coordinate value of the gazing point in the world coordinates can be obtained as follows. That is, the simulated image is displayed by the simulated image display means. This simulated image simulates a real space in a plane in which the value of a predetermined coordinate axis that is one of the three coordinate axes constituting the world coordinates is constant, in other words, a plane orthogonal to the predetermined coordinate axis. In addition, two-dimensional coordinates correlating with the world coordinates representing the plane are set in the simulated image. On the simulated image, that is, on the two-dimensional coordinates, the gazing point is designated by the gazing point designation means.
- the coordinate value in the world coordinate of the gazing point is It is obtained by coordinate value calculation means.
- the world coordinate value of the gazing point is obtained from the two-dimensional coordinate value of the gazing point specified on the simulated image.
- the declination referred to here may include one or both of the pan angle and the tilt angle. That is, the turning type camera may be capable of turning in one or both of the pan direction and the tilt direction.
- a plurality of gazing points may be set. That is, the installation condition may be specified based on the coordinate values of each of the plurality of gazing points and the declination angle when the turning camera is directed to each of the plurality of gazing points.
- the camera control system controls the revolving camera whose installation conditions are specified as described above, and includes the same simulated image display means as described above. Further, an arbitrary point designating unit for designating an arbitrary point on the simulated image displayed by the simulated image display unit, in other words, on the two-dimensional coordinates set on the simulated image is also provided. Furthermore, based on the two-dimensional coordinate value in the two-dimensional coordinates of the arbitrary point specified by the arbitrary point specifying means and the correlation between the two-dimensional coordinate and the world coordinate, Spatial point coordinate value calculation means for obtaining a world coordinate value of a certain spatial point is provided.
- the deviation for obtaining the declination for directing the revolving camera to the spatial point is calculated.
- Angle calculation means is provided.
- a turning control means for turning the turning type camera so as to face the direction corresponding to the deviation angle obtained by the deviation angle calculating means is also provided.
- an arbitrary point is designated by the arbitrary point designation unit on the simulated image displayed by the simulated image display unit.
- the world coordinate value of a certain spatial point in the real space corresponding to the designated arbitrary point is based on the two-dimensional coordinate value of the arbitrary point and the correlation between the two-dimensional coordinate and the world coordinate, It is obtained by the spatial point coordinate value calculation means.
- the declination for directing the revolving camera to the spatial point is It is calculated
- the turning control means turns the turning type camera so that the turning type camera faces in a direction corresponding to the deviation angle obtained by the deviation angle calculating means. That is, the turning type camera is automatically directed to a certain spatial point in the real space corresponding to an arbitrary point designated on the simulated image.
- the spatial point referred to here is a point on the above-described plane in which the value of a predetermined coordinate axis constituting the world coordinate is constant. Therefore, for example, when the plane is the ground or the floor, a certain point on the ground or the floor is set as a spatial point, and the turning type camera is directed to the spatial point.
- the revolving camera is not directed to a certain point on the ground or the floor surface, but at a position appropriately higher than the ground or the floor surface. It is convenient to have the swivel camera pointed.
- an addition is made by adding an initial value representing a certain height dimension (strictly, a certain distance from the plane on a predetermined coordinate axis) to the world coordinate value of the spatial point referred to here.
- Additional coordinate value calculation means for obtaining a coordinate value is further provided, and a certain point in the real space according to the additional coordinate value is set as a target point.
- a declination angle for directing the revolving camera to the target point may be obtained. In this way, the turning camera is directed to a position that is higher than the space point on the ground or floor by the initial value.
- the photographing mode of the target point by the revolving camera for example, the dimension such as the area of the subject interface (equivalent imaging surface) including the target point is constant.
- zoom control means for controlling the zoom function may be further provided. In this way, regardless of the position of the target point, the shooting mode of the target point by the turning camera is always constant. This is particularly suitable for an application that requires a subject such as a human being photographed at a certain size, such as a monitoring application.
- the zoom control unit further includes a selection unit that arbitrarily selects one of the plurality of control conditions, and the zoom control unit controls the zoom function of the turning camera based on the control condition selected by the selection unit. Also good. That is, the manner in which the target point is captured may be arbitrarily selected from a plurality of preset types.
- each control condition includes an optimum value of the distance, and when any one of the control conditions is selected, the zoom control unit, based on the selected control condition, As described above, the zoom function (zoom magnification) may be controlled, and at the same time, the additional coordinate calculation means may obtain an additional coordinate value that is a world coordinate value of the target point.
- a control condition may be individually assigned to each of the plurality of operators.
- the assignment of the control conditions is associated with a simulation diagram attached to each operator.
- a selection means selects a control condition according to operation of these operators. That is, when a certain operator is operated, the selection means selects the control condition assigned to the operated operator. In this way, the operator (operator) can intuitively grasp the control conditions assigned to each operator from the simulation diagram attached to each operator, and includes each operator. The operability of the entire camera control system according to the present invention is improved.
- the swivel camera installation condition specifying method includes a coordinate value of an arbitrary gazing point in world coordinates and a deviation when the turning camera is pointed at the gazing point. Based on the angle, the installation conditions of the revolving camera are specified. That is, also with this method, the installation conditions of the turning camera are specified based on the geometric calculation.
- FIG. 3 is an illustrative view showing a map image corresponding to the schematic plan view of FIG. 2.
- FIG. 4 is an illustrative view showing a state in which a moving body appears in the captured image of FIG. 3. It is an illustration figure which shows the state of the map image when it exists in the state of FIG. It is an illustration figure which shows an example of the picked-up image with a certain turning type camera in the state of FIG.
- FIG. It is an illustration figure for demonstrating the verification procedure different from FIG. It is an illustration figure which shows one state of real space when specifying the installation conditions of a turning type camera in the embodiment. It is an illustration figure which shows the state of a map image when it exists in the state of FIG. It is an illustration figure for demonstrating the verification procedure of the result in which the installation conditions of the turning type camera were specified in the embodiment. It is an illustration figure for demonstrating the map point view function as another example of control of the turning type camera in the embodiment. It is an illustration figure for demonstrating the advance preparation in the map point view function. It is an illustration figure for demonstrating the principle of the map point view function. It is an illustration figure which shows an example of the picked-up image with a certain turning type camera in the map point view function. It is an illustration figure which shows an example different from FIG. It is an illustration figure which shows the example of a display of the icon in the same map point view function. It is an illustration figure which shows the example of a display of the map image in the map point view function.
- FIG. 1 An embodiment of the present invention will be described by taking the surveillance camera system 10 shown in FIG. 1 as an example.
- the surveillance camera system 10 has a plurality of fixed cameras 12, 12,... With fixed shooting areas and variable shooting areas, specifically in the pan and tilt directions.
- a plurality of revolving cameras 14, 14,... Each capable of revolving and having a zoom lens.
- These fixed cameras 12, 12,... And turning cameras 14, 14,... are connected to a personal computer (hereinafter referred to as PC) 16.
- PC personal computer
- the PC 16 functions as a camera control device that controls the revolving cameras 14, 14,... Based on the images taken by the fixed cameras 12, 12,.
- Each fixed camera 12 also functions as a camera calibration device that performs camera calibration described later.
- each turning camera 14 also functions as an installation condition specifying device for specifying an installation condition described later.
- the PC 16 has input means for inputting various commands thereto, for example, an operation device 22 including a mouse 18 and a keyboard 20, and information output means for outputting various information including processing results by the PC 16. Are connected to the display 24.
- the surveillance camera system 10 is used for monitoring a site including a building such as that shown in FIG.
- a site including a building such as that shown in FIG.
- the fixed cameras 12, 12,... are installed so as to photograph different areas.
- the fixed camera 12 installed in the southwest corner (the lower left corner in the figure) A of the site may take a picture of the south area on the south side of the building on the site, as indicated by an arrow 12a in the figure. Is installed.
- the fixed camera 12 installed in the southeast corner (lower right corner in the figure) B in the site captures the east region on the east side of the building in the site, as indicated by an arrow 12b in the figure. Is installed. Furthermore, the fixed camera 12 installed in the northeast corner (upper right corner in the figure) C of the site captures the north region on the north side of the building in the site, as indicated by an arrow 12c in the figure. Is installed. Then, the fixed camera 12 installed in the northwest corner (upper left corner in the figure) D in the site captures the west region on the west side of the building in the site as indicated by an arrow 12d in the figure. Is installed.
- the images taken by the fixed cameras 12, 12,... are displayed on the display 24 one by one according to a predetermined order or simultaneously by a divided screen.
- an image taken by the fixed camera 12 installed in the southwest corner A of the site is displayed as shown in FIG.
- a map image as a simulated image as shown in FIG. 4 is displayed on the display 24.
- This map image is a faithful representation of the floor plan of the site (the shape and dimensions of each part of the building, etc.). Is displayed.
- an architectural drawing such as a building can be used as the map image. That is, since the shape and dimensions of the building and the like are accurately described in the architectural drawing, it is possible to save the trouble of newly creating a map image by using this (making it into an image file).
- a moving body such as a human has entered the shooting area (that is, the south area) of the fixed camera 12 installed in the southwest corner A of the site.
- an image captured by the fixed camera 12 is as shown in FIG. That is, the moving body (strictly speaking, an image of the moving body) 30 is displayed on the captured image.
- the moving body 30 is detected by a known moving body detection technique such as a frame difference method or a background difference method, and a rectangular frame 32 is displayed so as to surround (inscribe) the moving body 30.
- a caution mark 34 for calling attention is displayed at a predetermined position on the photographed image, for example, near the upper left corner.
- the operator monitoring person
- the display of the rectangular frame 32 and the caution mark 34 is controlled by the PC 16.
- a moving body mark 36 indicating the current position of the moving body 30 and a locus line 38 indicating the moving path of the moving body 30 are displayed on the map image shown in FIG. .
- the operator can recognize the current position and moving path of the moving body 30 in the site.
- the display of the mobile object mark 36 and the trajectory line 38 is also controlled by the PC 16.
- an appropriate turning type camera 14 for example, the turning type camera 14 at the southwest corner a turns to face the moving body 30, and the moving body 30 is enlarged. And zoom up to shoot. Then, an image captured by the turning camera 14 is displayed on the display 24 as shown in FIG. Then, the turning operation and zoom operation of the turning camera 14 are controlled so as to automatically track the moving body 30. Note that the turning operation and zooming operation of the turning camera 14 and the display of the captured image by the turning camera 14 on the display 24 are also controlled by the PC 16.
- the moving body 30 is displayed by displaying the moving body mark 36 and the trajectory line 38 on the map image, automatically tracking by the appropriate turning type camera 14, and displaying the captured image by the turning type camera 14 that is automatically tracking. It is possible to deal with the intrusion more quickly and appropriately, so that integrated monitoring is realized.
- a linear scaler 40 is set as shown in FIG. Specifically, the above-described operation of the mouse 18 (drag and drop) is performed on a part where the actual size is known in the real space, for example, the part from the northwest corner Qa to the southwest corner Qb of the rectangular building in FIG.
- the scaler 40 is set by the operation.
- the actual dimension (actual dimension) Lw of the part corresponding to the scaler 40 in the real space is input by, for example, the operation of the keyboard 20 described above.
- the unit of the actual size Lw is, for example, [mm] (millimeters), and the length dimension Lm of the scaler 40 on the map image is a unit of pixels constituting the map image, so-called [pixel] (pixel). . Then, by dividing the actual dimension Lw in the real space by the length dimension Lm of the scaler 40 on the map image, that is, by the following equation 1, how long 1 [pixel] on the map image is in the real space A coefficient k indicating whether it corresponds to the height dimension is obtained.
- the lower left corner of the map image is set as the origin Om in the map image.
- a straight line passing through the origin Om and extending along the horizontal direction (extending toward the right side in the figure) is an ⁇ axis, passing through the origin Om and extending along the vertical direction (extending toward the upper side in the figure).
- the straight line is the ⁇ axis.
- two-dimensional orthogonal coordinates composed of an ⁇ axis and a ⁇ axis are set on the map image.
- the unit of two-dimensional coordinates on this map image is [pixel] described above.
- the position corresponding to the origin Om in the map image is set as the origin Ow
- the x axis is set so as to correspond to the ⁇ axis and the ⁇ axis in the map image.
- the y-axis is set.
- a z-axis that defines the height direction is set so as to pass through the origin Ow and to be orthogonal to each of the x-axis and the y-axis (so as to extend upward in the figure).
- three-dimensional world coordinates including the x-axis, y-axis, and z-axis are set in the real space.
- the unit of world coordinates set in this real space is the above-mentioned [mm].
- the camera calibration is performed in the following procedure using the map image calibrated by setting the scaler 40 in this way.
- a known projective transformation matrix particularly an eleven-variable projective transformation matrix is used.
- this 11-variable projective transformation matrix assuming that the coordinate value of the two-dimensional captured image by the fixed camera 12 is represented by (u, v), this image coordinate value (u, v) and the absolute coordinate value in the real space.
- the relationship with (x, y, z) is as shown in the following equation (3).
- Equation 3 s is a scale factor.
- P 1 to p 11 are camera parameters.
- the coordinate value (u, v) of the captured image by the fixed camera 12 is set to the upper left corner of the captured image as an origin Oi, and passes through the origin Oi and extends in the horizontal direction (same as above).
- a two-dimensional image in which a straight line extending to the right in the figure is the u-axis, and a straight line passing through the origin Oi and extending along the vertical direction (extending downward in the figure) is the v-axis. It is a coordinate value.
- a person 42 as an index stands at an appropriate position Qe in the imaging region of the fixed camera 12 to be subjected to camera calibration. It is assumed that the height of the human 42 is known. Further, it is preferable that the standing position Qe of the human 42 is easy to understand on the map image.
- a position Qf corresponding to the standing position Qe of the person 42 in FIG. 10 is designated by an operation (click operation) of the mouse 18, for example.
- the two-dimensional coordinate value ( ⁇ , ⁇ ) of the designated position Qf is specified.
- the two-dimensional coordinate value ( ⁇ , ⁇ ) is converted into the world coordinate value (x, y, 0) by the above-described formula 2.
- This world coordinate value (x, y, 0) corresponds to the foot position Qe of the human 42 in FIG.
- the height (unit [mm]) of the human 42 is input by operating the keyboard 20, for example.
- the input height corresponds to the position z of the head of the human 42 in the real space. That is, the height of the human 42 is added to the world coordinate value (x, y, 0) converted by the above-described formula 2, so that the world coordinate value (x, y) of the head of the human 42 in the real space. , Z).
- the foot Qg of the human (strictly speaking, human image) 42 is designated by the operation of the mouse 18, for example, on the image taken by the fixed camera 12. Thereby, the image coordinate value (u, v) of the foot Qg in the captured image is specified.
- the head Qh of the human 42 is designated by the operation of the mouse 18 on the image taken by the fixed camera 12. Thereby, the image coordinate value (u, v) of the head Qh in the captured image is specified.
- the two-dimensional coordinate value ( ⁇ , ⁇ ) of the foot position Qf thus obtained is converted into the world coordinate value (x, y, 0) in the real space by the above-described formula 2.
- the world coordinate value (x, y, 0) of the foot position Qe of the person 42 in the real space shown in FIG. 10 is obtained.
- the world coordinate value (x, y, 0) of the foot position Qe is obtained.
- the camera calibration can be performed for each of the other fixed cameras 12 using the same map image. By sharing the map image in this way, it is possible to further save the trouble of camera calibration.
- a two-dimensional image coordinate value (u, v) on an image captured by an arbitrary fixed camera 12 is converted into a three-dimensional world coordinate value (x, y) in real space. , Z).
- the image coordinate values (u, v) at the foot of the human 30 shown in FIG. 5 are converted into world coordinate values (x, y, z) as follows.
- Equation 4 when the above equation 4 is transformed, the following equation 6 is derived. Similarly, when Equation 5 is transformed, Equation 7 is derived.
- Equation 8 the coordinate value of the foot on the x-axis of the world coordinate is obtained by Equation 8
- Equation 6 the coordinate value on the x-axis obtained by Equation 8 and the coordinate value on the y-axis obtained by Equation 9 are substituted into Equation 6, so that the head height z of the human 30 in real space is obtained.
- the following number 11 is derived for obtaining.
- the height 30 of the human 30 can be known by obtaining the height dimension z of the head of the human 30 in this way. Moreover, the approximate center position of the person 30 can be obtained by halving the height dimension z.
- an arbitrary position satisfying the condition of zero height on the camera image preferably a position Qi that is easy to understand (to be a mark) on the real space and the map image is provided.
- a position Qi that is easy to understand (to be a mark) on the real space and the map image is provided.
- it is designated by the operation of the mouse 18.
- This figure shows a state in which the boundary portion between the southeast corner of the building and the ground is designated as the position Qi.
- the image coordinate value (u, v) on the camera coordinates of the designated position Qi is specified.
- the specified image coordinate value (u, v) is substituted into the above-described formula 8, whereby the coordinate value of the world coordinate on the x-axis is obtained.
- the image coordinate (u, v) is substituted into the above-mentioned equation 9, whereby the coordinate value of the world coordinate on the y-axis is obtained.
- the two-dimensional coordinate values ( ⁇ , ⁇ ) in the map image are obtained by substituting the coordinate values in the x-axis and y-axis of the world coordinates obtained in this way into the above-described Expression 10. .
- the marker 46 is displayed on the position Qj according to the said two-dimensional coordinate value ((alpha), (beta)) on a map image. If the position Qj of the marker 46 corresponds to the designated position Qi in the captured image of FIG. 14A, the camera calibration has been performed accurately.
- the camera calibration is not accurately performed. become.
- the original position Qj shown in FIG. 14B is designated again on the map image.
- the two-dimensional coordinate value ( ⁇ , ⁇ ) at the position Qj is converted into the world coordinate value (x, y, 0) by the above-described formula 2.
- camera calibration is performed again. Is called.
- Equations 4 and 5 are solved based on this new combination and the previously obtained combination.
- the best value is determined as the respective camera parameter p 1 ⁇ p 11 It is done. By making such correction, the accuracy of camera calibration is improved.
- the installation conditions of the respective revolving cameras 14, specifically, the world coordinate values (x ′, y ′, z ′) of the installation position Qk of the revolving camera 14 in the real space illustrated in FIG. ) And the reference direction E can be easily specified by using the map image described above.
- the revolving camera 14 is installed on a pole (not shown) or a wall of a building, but is installed without taking into consideration the installation position Qk, particularly the world coordinate values (x ′, y ′, z ′).
- the revolving camera 14 is installed on a pole (not shown) or a wall of a building, but is installed without taking into consideration the installation position Qk, particularly the world coordinate values (x ′, y ′, z ′).
- a predetermined reference direction E is determined, and the direction of the turning camera 14 is controlled by the pan angle ⁇ and the tilt angle ⁇ with respect to the reference direction E.
- the reference direction E may be installed without any consideration.
- the world coordinate values (x ′, y ′, z ′) and the reference direction E of these installation positions Qk are Must be known.
- the world coordinate values (x ′, y ′, z ′) and the reference direction E of these installation positions Qk are known, automatic tracking using the world coordinates (x, y, z) can be performed. it can.
- the turning camera 14 turns in the pan direction around a straight line parallel to the z-axis in the world coordinates and is parallel to the x-axis / y-axis plane of the world coordinates. It is assumed that it is installed so as to turn in the tilt direction around a straight line.
- the reference direction E is parallel to the x-axis / y-axis plane of the world coordinates, and is offset by an angle with respect to the direction along the x-axis in a plane parallel to the x-axis / y-axis plane, that is, an offset. Assume that the angle ⁇ 0 is formed.
- the unit of the pan angle ⁇ and the tilt angle ⁇ is [rad] (radian).
- the pan angle ⁇ the counterclockwise direction is plus (+) when the revolving camera 14 is viewed from above, and the tilt angle ⁇ is plus (+) below the horizontal.
- the pan angle ⁇ and the tilt angle ⁇ can be obtained from the turning camera 14.
- the two-dimensional coordinate value ( ⁇ , ⁇ ) on the map image at the gazing point Qn is specified, and the two-dimensional coordinate value ( ⁇ , ⁇ ) is substituted into the above-described formula 2, so that FIG.
- the world coordinate value (x ′′, y ′′, z ′′) of the gazing point Qm in the real space shown in FIG. 17 is obtained.
- the height z ′ of the gazing point Qm in the real space is zero. If it is not zero, the measured value of the height z ′ is set by operating the keyboard 20, for example.
- the turning camera 14 is directed to the gazing point Qm in the real space by manual control.
- the pan angle ⁇ and the tilt angle ⁇ of the turning camera 14 are acquired.
- a combination of the world coordinate value (x ′′, y ′′, z ′′) of the gazing point Qm and the pan angle ⁇ and the tilt angle ⁇ of the turning camera 14 is obtained.
- a total of two combinations of the world coordinate values (x ′′, y ′′, z ′′) of the gazing point Qm and the pan angle ⁇ and the tilt angle ⁇ of the turning camera 14 can be obtained. It is done.
- the world coordinate value (x ′, y ′, z ′) and the offset angle ⁇ 0 of the installation position Qk of the turning camera 14 are obtained.
- any world coordinate value (x, y in real space) is obtained.
- Z a pan angle ⁇ and a tilt angle ⁇ for directing the turning camera 14 to a position corresponding to the world coordinate value (x, y, z) are obtained.
- the pan angle ⁇ is obtained by the following equation 15 which is a modified equation of the above equation 13
- the tilt angle ⁇ is obtained by equation 16 which is the modified equation of the equation 14.
- an arbitrary position on the map image preferably a position Qo that is easy to understand in any of the real space and the image taken by the turning camera 14 is designated by operating the mouse 18, for example. Is done.
- This figure shows a state where the boundary portion between the southeast corner of the building and the ground is designated as the position Qo. Then, the two-dimensional coordinate value ( ⁇ , ⁇ ) on the map image of the designated position Qo is specified, and further, the specified two-dimensional coordinate value ( ⁇ , ⁇ ) is converted into a world coordinate value ( x, y, 0).
- the converted world coordinate values (x, y, 0) are expressed as the world coordinate values (x ′′, y ′′, z ′′) of the gazing point Qm shown in FIG.
- the pan angle ⁇ and the tilt angle ⁇ for directing the turning camera 14 to the gazing point Qm are obtained, and the turning camera 14 is based on the obtained pan angle ⁇ and tilt angle ⁇ .
- the position Qp corresponding to the gazing point Qm is displayed at the center of the captured image as shown in Fig. 19B, and thus the position Qp is displayed at the approximate center of the captured image. It is confirmed that the installation conditions of the revolving camera 14 have been specified accurately.
- the installation conditions for the revolving camera 14 are not accurately specified.
- the orientation of the swivel camera 14 is changed by manual control so that the position Qp is projected at the approximate center on the image captured by the swivel camera 14.
- the pan angle ⁇ and the tilt angle ⁇ of the revolving camera 14 after the change are acquired.
- a combination of the current world coordinate value (x ′′, y ′′, z ′′) of the gazing point Qm and the pan angle ⁇ and tilt angle ⁇ of the turning camera 14 is obtained.
- the world coordinate value (x ′, y ′, z ′) of the installation position Qk of the turning camera 14 and the offset angle ⁇ 0 are obtained again.
- a regression analysis method such as a least square method may be used as in the above-described correction of the camera calibration.
- the gazing point Qm is set at an arbitrary position in the real space, and the world coordinate value (x ′′, y ′′, z ′′) at the gazing point Qm and the gazing point Qm are set.
- the swivel camera is determined by a surveying device, by using a manual tool such as a measure or a magnetic compass, or by visual measurement.
- the projective transformation matrix is used, but the present invention is not limited to this.
- publicly known literature [RYTsai, “A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the shelf TV cameras and lenses, ”IEEE Journal of Robotics and Automation, vol.RA-3, no.4, pp.323-331, Aug.1987] may be employed.
- a human having a known height is used as an index.
- an index other than a human for example, a rod-shaped object or a cone-shaped object may be used.
- an existing one (part) having an appearance characteristic such as a corner or a gate of a building may be used as the index.
- it is necessary that the dimension of the index (particularly the height dimension) is known.
- the scaler 40 shown in FIG. 8 is one setting example, and is not limited to this. That is, in FIG. 8, the scaler 40 extends along the vertical direction, but may extend along other directions such as a horizontal direction and an oblique direction. However, as described above, it is necessary that the actual size of the portion corresponding to the scaler 40 in the real space is accurately known. In other words, as long as the actual size is accurately known, the scaler 40 is not limited to a straight line but may be a curved line. In short, the scaler 40 and the portion corresponding to the scaler 40 in the real space are geometrically similar, and the respective length dimensions Lm and Lw may be accurately known.
- the present invention is applied to monitoring use in a site including a building, but is not limited thereto.
- the present invention may be applied to monitoring in a building, or the present invention may be applied to a purpose other than monitoring.
- the above-described camera calibration and specifying the installation conditions of the turning camera 14 are realized by the PC 16, but may be realized by a dedicated device, for example.
- the function of displaying the moving object mark 36 and the locus line 38 and the automatic tracking function may be realized by separate devices. Further, even if not all devices are separate, for example, only the display 24 displays a map image including the moving object mark 36 and the locus line 38 and an image captured by the revolving camera 14 performing automatic tracking. You may provide separately what makes it display, and what displays the picked-up image by the fixed camera 12.
- FIG. 6 the function of displaying the moving object mark 36 and the locus line 38 and the automatic tracking function may be realized by separate devices. Further, even if not all devices are separate, for example, only the display 24 displays a map image including the moving object mark 36 and the locus line 38 and an image captured by the revolving camera 14 performing automatic tracking. You may provide separately what makes it display, and what displays the picked-up image by the fixed camera 12. FIG.
- the automatic tracking function including the above-described moving body detection technology, is relatively complicated and expensive to implement this, and instead of this, it is a kind of manual operation called the following map point view function.
- a tracking function may be provided.
- a position that the operator wants to pay attention to on the map image for example, an arbitrary position Qq as shown in FIG. 20A is designated by the operation of the mouse 18 or the keyboard 20.
- the turning camera 14 capable of photographing the position Qs (strictly, the position Qr) toward the position Qs obtained by adding a height dimension ⁇ described later to the position Qr in the real space corresponding to the designated position Qq.
- the turning camera 14 in the southwest corner a shown in FIG. 2 is automatically turned.
- the position Qs is projected in the center, and the subject interface (equivalent imaging) including the position Qs is displayed.
- a captured image having a constant width dimension ⁇ of (surface) is obtained.
- the captured image in FIG. 20B shows a state in which the person 60 exists at the position Qs in real space (that is, the position Qr).
- a similar captured image that is, a position Qs is projected in the center from the revolving camera 14 in the southeast corner b, and a captured image in which the width dimension ⁇ of the subject interface including the position Qs is constant. Is obtained.
- an imageable area is set in advance on the map image for each of the revolving cameras 14.
- a polygonal photographable region including a south region and a west region is set as shown by the hatched pattern 62 in FIG.
- a closed region connecting these vertices is set as the imageable region 62.
- the imageable area 62 is appropriately set.
- the height dimension ⁇ from the position Qr to the position Qs is arbitrarily set in units of [mm] by the operation of the keyboard 20, for example.
- the width dimension ⁇ of the subject interface including the position Qs is also arbitrarily set in [mm] units by the operation of the keyboard 20. Note that the width dimension ⁇ of the subject interface including the position Qs is between the distance ⁇ from the turning camera 14 forming the subject interface to the position Qs and the angle of view ⁇ of the turning camera 14. , which is expressed by the following equation (17).
- the height dimension ⁇ and the width dimension ⁇ of the object interface are appropriately set on the assumption that the person 60 is the main object to be photographed, as shown in FIG.
- the face of the person 60 is photographed as shown in FIG.
- the image is projected relatively large in the approximate center of the image.
- the map point view function is enabled by setting the height dimension ⁇ and the width dimension ⁇ of the object interface as well as setting the shootable area 62 for each of the revolving cameras 14. That is, when an arbitrary position Qq on the map image is specified as described above, the two-dimensional coordinate values ( ⁇ , ⁇ ) on the map image at the specified position Qq are specified. Then, by substituting the two-dimensional coordinate value ( ⁇ , ⁇ ) of the specified position Qq into the above-described equation 2, the world coordinate value (x, y, x) of the position Qr in the real space corresponding to the position Qq. 0) is required. Further, by adding the height dimension ⁇ to the world coordinate value (x, y, 0) of the position Qr, the world coordinate value (x, y, ⁇ ) of the position Qs serving as the target point is obtained.
- the turning camera 14 that includes the position Qq in the imageable region 62 is specified. Then, the world coordinate value (x ′, y ′, z ′) of the specified installation position Qk of the turning camera 14 and the offset angle ⁇ 0 are substituted into the above-described Expressions 15 and 16, and the target point
- the identified turning type camera 14 is set to the target point.
- the pan angle ⁇ and the tilt angle ⁇ to be directed to the position Qs to be obtained are obtained, and the turning camera 14 turns based on the obtained pan angle ⁇ and tilt angle ⁇ . Is directed to a position Qs that is a target point.
- the angle of view ⁇ of the revolving camera 14 is obtained, and the angle of view ⁇ (zoom magnification) of the revolving camera 14 is controlled accordingly.
- the map point view function has the installation conditions (the world coordinate values (x ′, y ′, z ′) and the offset angle ⁇ 0 of the installation position Qk) of each turning camera 14. Only when it is accurately identified can it be used.
- Each icon 70, 72, and 74 shown in FIG. 25 is an example of an operator, and is not limited to this.
- these icons 70, 72, and 74 are provided with symbols (symbols) simulating a human figure. Instead, other icons simulating the outer shape of a loupe or a building are used. You may adopt a design.
- software-like operation elements referred to as icons 70, 72, and 74 hardware-like operation elements (electronic parts) such as push buttons and switches may be employed, and appropriate symbols may be attached thereto. .
- marks 80, 80,... Representing the revolving cameras 14, 14,... May be displayed on the map image.
- a substantially fan-shaped separate so as to connect the position Qq designated on the map image and the mark 80 representing the turning camera 14 directed to the position Qs as the target point corresponding to the position Qq.
- the mark 82 may be displayed on the map image.
- This general fan-shaped mark 82 represents in a simulated manner and in what form (particularly the angle of view ⁇ ) the position Qs as the target point is captured by which turning type camera 14.
- the spread angle (center angle) ⁇ ′ from the mark 80 corresponding to the turning camera 14 toward the designated position Qq varies depending on the actual angle of view ⁇ of the turning camera 14.
- FIG. 26 shows a state in which the position Qs as the target point corresponding to the designated position Qq is photographed with the angle of view ⁇ corresponding to the spread angle ⁇ ′ by the turning camera 14 in the southwest corner a. . Further, although not shown, a substantially fan-shaped mark 82 that connects the designated position Qq to the mark 80 representing the turning camera 14 in the southeast corner b is also displayed.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】 簡単かつ精確に旋回型カメラの設置条件を特定する。 【解決手段】 本発明において、旋回型カメラ14は、3次元の実空間における或る位置Qkに設置されている。また、当該旋回型カメラ14は、基準方向Eを有しており、この基準方向Eに対するパン角θおよびチルト角ρが与えられることによって、旋回する。本発明では、この旋回型カメラ14の設置条件、詳しくは実空間における設置位置Qkの世界座標値(x’,y’,z’)と、当該実空間のx軸に対する基準方向Eの角度、言わばオフセット角θ0と、を特定する。具体的には、実空間における任意の位置に、注視点Qmが設定される。そして、この注視点Qmにおける世界座標値(x”,y”,z”)と、当該注視点Qmに旋回型カメラ14が向けられているときのパン角αおよびチルト角ρと、に基づいて、つまり幾何学的な計算に基づいて、当該設置条件が特定される。
Description
本発明は、旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システムに関し、特に、旋回型カメラの設置位置と基準方向とを含む設置条件を特定する装置および方法、ならびに当該設置条件が特定された旋回型カメラを制御するシステム、に関する。
いわゆるパンおよびチルトが可能な旋回型カメラは、特に監視用途に適している。そして、監視用途においては、監視領域に移動体が侵入したときに、これを自動的に追尾(捕捉)するように旋回型カメラを制御する、といういわゆる自動追尾の要求が少なくない。この要求に応えるべく、従来、例えば特許文献1に開示されたものがある。この特許文献1に開示された従来技術によれば、旋回型カメラの他に、監視領域全体を撮影し得る広角の固定カメラが設けられている。そして、この固定カメラによる撮影画像に移動体が現れると、その撮影画像における移動体の位置、つまり当該撮影画像という2次元の画像座標における移動体の座標値、が求められる。さらに、この2次元の座標値が、実空間という3次元の世界座標における座標値に変換される。そして、変換された世界座標値に従う位置(点)を向くように、旋回型カメラが制御される。
ところで、上述の如く世界座標上で旋回型カメラを制御するには、当然に、当該世界座標における旋回型カメラの設置位置、つまり座標値、が特定されていなければならない。また、旋回型カメラは、一般に、一定の基準方向を有しており、この基準方向に対する偏角、要するにパン角およびチルト角、が与えられることによって、これらパン角およびチルト角に応じた方向を向くように旋回する。従って、この基準方向についても、世界座標において特定されていなければならない。
このため、従来は、(特許文献1には明記されていないが)測量装置によって、或いはメジャー等の道具を用いて、旋回型カメラの設置位置が測定され、ひいては世界座標における座標値が特定されていた。また、基準方向についても、磁気コンパス等の道具を用いて、極端には目測によって、特定されていた。
しかしながら、このような道具を用いての旋回型カメラの設置位置および基準方向の特定、言わば当該旋回型カメラの設置条件の特定は、非常に面倒であり、それ相応の労力や時間,コストが掛かる。このことは、撮影領域が広いほど、また旋回型カメラの台数が多いほど、顕著になる。また、精確さにも欠ける。
そこで、本発明は、従来よりも簡単かつ精確に旋回型カメラの設置条件を特定することができる装置および方法を提供することを、目的とする。また、当該設置条件が特定された旋回型カメラを新規の手法で制御するカメラ制御システムを提供することも、本発明の目的とするところである。
この目的を達成するために、まず、本発明による旋回型カメラの設置条件特定装置は、当該旋回型カメラが、実空間に設置されており、かつ、一定の基準方向を有すると共に、この基準方向に対する偏角が与えられることによって当該偏角に応じた方向を向くように旋回することを、前提とする。併せて、旋回型カメラの設置条件には、実空間に設定された3次元の世界座標における当該旋回型カメラの設置位置の座標値と、当該世界座標における旋回型カメラの基準方向と、が含まれている。その上で、本発明による旋回型カメラの設置条件特定装置は、世界座標における任意の注視点の座標値と、この注視点に旋回型カメラが向けられているときの偏角と、に基づいて、設置条件を特定する特定手段を、具備する。
この構成によれば、旋回型カメラが設置されている実空間に、3次元の世界座標が設定されている。そして、この世界座標における任意の点が、注視点とされる。すると、特定手段が、世界座標における注視点の座標値と、この注視点に旋回型カメラが向けられているときの偏角と、に基づいて、当該世界座標における旋回型カメラの設置位置と基準方向とを含む設置条件を、特定(推定)する。つまり、幾何学的な計算に基づいて、旋回型カメラの設置条件が特定される。
なお、世界座標における注視点の座標値については、次のようにして求めることができる。即ち、模擬画像表示手段によって、模擬画像が表示される。この模擬画像は、世界座標を構成する3つの座標軸の1つである所定座標軸の値が一定とされた平面、言い換えれば当該所定座標軸に直交する平面、における実空間を模擬したものである。また、この模擬画像には、当該平面を表す世界座標と相関する2次元座標が設定されている。そして、この模擬画像上で、つまり2次元座標上で、注視点指定手段によって、注視点が指定される。すると、この2次元座標上で指定された注視点の2次元座標値と、当該2次元座標および世界座標間の相関関係と、に基づいて、当該注視点の世界座標における座標値が、注視点座標値演算手段によって、求められる。要するに、模擬画像上で指定された注視点の2次元座標値から、当該注視点の世界座標値が求められる。
ここで言う偏角は、パン角およびチルト角の一方または両方を含むものであってもよい。つまり、旋回型カメラはパン方向およびチルト方向の一方または両方に旋回可能なものであってもよい。
また、複数の注視点が設定されてもよい。即ち、複数の注視点それぞれの座標値と、これら複数の注視点それぞれに旋回型カメラが向けられているときの偏角と、に基づいて、設置条件が特定されてもよい。
続いて、本発明によるカメラ制御システムは、上述の要領で設置条件が特定された旋回型カメラを制御するものであり、上述と同様の模擬画像表示手段を、具備する。そして、この模擬画像表示手段によって表示された模擬画像上で、言い換えれば当該模擬画像上に設定された2次元座標上で、任意の点を指定する任意点指定手段をも、具備する。さらに、この任意点指定手段によって指定された任意点の2次元座標における2次元座標値と、当該2次元座標および世界座標間の相関関係と、に基づいて、任意点に対応する実空間中の或る空間点の世界座標値を求める空間点座標値演算手段を、具備する。加えて、この空間点座標値演算手段によって求められた空間点の世界座標値と、旋回型カメラの設置条件と、に基づいて、当該空間点に旋回型カメラを向けるための偏角を求める偏角演算手段を、具備する。そして、この偏角演算手段によって求められた偏角に応じた方向を向くように旋回型カメラを旋回させる旋回制御手段をも、具備する。
この構成によれば、模擬画像表示手段によって表示された模擬画像上で、任意の点が、任意点指定手段によって指定される。すると、指定された任意点に対応する実空間中の或る空間点の世界座標値が、当該任意点の2次元座標値と、2次元座標および世界座標間の相関関係と、に基づいて、空間点座標値演算手段によって求められる。さらに、この空間点座標値演算手段によって求められた空間点の世界座標値と、旋回型カメラの設置条件と、に基づいて、当該空間点に旋回型カメラを向けるための偏角が、偏角演算手段によって求められる。そして、この偏角演算手段によって求められた偏角に応じた方向に旋回型カメラが向くように、旋回制御手段が、当該旋回型カメラを旋回させる。つまり、模擬画像上で指定された任意点に対応する実空間中の或る空間点に、旋回型カメラが自動的に向けられる。
なお、ここで言う空間点は、世界座標を構成する所定座標軸の値が一定とされた上述の平面上の点である。従って、例えば、当該平面が地面や床面である場合には、これら地面や床面上の或る点が空間点とされ、そこに旋回型カメラが向けられる。しかしながら、用途によっては、特に、人間等を監視する監視用途においては、地面や床面上の或る点に旋回型カメラが向けられるのではなく、当該地面や床面よりも適当に高い位置に旋回型カメラが向けられるようにするのが、好都合である。そこで、本発明によるカメラ制御システムにおいては、ここで言う空間点の世界座標値に一定の高さ寸法(厳密には所定座標軸上の当該平面からの一定の距離)を表す初期値を付加した付加座標値を求める付加座標値演算手段を、さらに備え、この付加座標値に従う実空間中の或る点を、目標点とし、偏角演算手段は、この目標点の世界座標値、つまり付加座標値と、旋回型カメラの設置条件と、に基づいて、当該目標点に旋回型カメラを向けるための偏角を求めるものとしてもよい。このようにすれば、地面や床面上にある空間点よりも初期値分だけ高い位置に、旋回型カメラが向けられる。
また、旋回型カメラがズーム機能を有する場合には、この旋回型カメラによる目標点の撮影態様、例えば当該目標点を含む被写界面(等価撮像面)の面積等の寸法、が一定となるように、ズーム機能を制御するズーム制御手段を、さらに備えてもよい。このようにすれば、目標点の位置に拘らず、旋回型カメラによる当該目標点の撮影態様が常に一定となる。これは、特に、監視用途のように、人間等の被写体を一定の大きさで撮影したいという要求のある用途に、好適である。
さらに、本発明によるカメラ制御システムにおいては、互いに異なる複数の撮影態様に応じた複数の制御条件が予め設定されていてもよい。そして、これら複数の制御条件のいずれかを任意に選択する選択手段を、さらに備え、ズーム制御手段は、選択手段によって選択された制御条件に基づいて、旋回型カメラのズーム機能を制御するものとしてもよい。つまり、目標点をどのような態様で撮影するのかを、予め設定された複数種類の中から任意に選択できるようにしてもよい。
ただし、撮影態様によっては、言い換えれば旋回型カメラのズーム倍率によっては、上述した平面から目標点までの距離を適宜に変える必要がある。例えば、監視用途においては、撮影対象である人間の顔を比較的に大きく捉えるには、ズーム倍率を比較的に大きく設定すると共に、当該人間の顔に目標点を設定するのが、望ましい。これに対して、人間の全身を撮影するには、ズーム倍率を比較的に小さく設定すると共に、当該人間の胴体部分に目標点を設定するのが、望ましい。つまり、撮影対象が同じ人間であっても、ズーム倍率によって、目標点の位置が変わり、言わば平面(地面や床面等)から当該目標点までの距離の最適値が変わる。これに対処するべく、それぞれの制御条件には、当該距離の最適値が含まれており、いずれかの制御条件が選択されたとき、この選択された制御条件に基づいて、ズーム制御手段が、上述の如くズーム機能(ズーム倍率)を制御し、併せて、付加座標演算手段が、目標点の世界座標値である付加座標値を求めるものとしてもよい。
加えて、上述の如く複数の撮影態様に応じた複数の制御条件が予め設定されている場合には、当該複数の撮影態様それぞれを模擬した模擬図が個別に付された複数の操作子を、さらに備え、これら複数の操作子それぞれに制御条件が個別に割り当てられるものとしてもよい。この制御条件の割り当ては、それぞれの操作子に付されている模擬図と対応付けられる。そして、選択手段は、これらの操作子の操作に応じて、制御条件の選択を行う。つまり、或る操作子が操作されると、選択手段は、この操作された操作子に割り当てられた制御条件を選択する。このようにすれば、オペレータ(操作者)は、各操作子に付された模擬図から、当該各操作子に割り当てられた制御条件を直観的に把握することができ、当該各操作子を含む本発明によるカメラ制御システム全体の操作性が向上する。
本発明による旋回型カメラの設置条件特定方法は、上述した設置条件特定装置と同様に、世界座標における任意の注視点の座標値と、この注視点に旋回型カメラが向けられているときの偏角と、に基づいて、当該旋回型カメラの設置条件を特定するものである。即ち、この方法によっても、幾何学的な計算に基づいて、旋回型カメラの設置条件が特定される。
本発明の一実施形態について、図1に示す監視カメラシステム10を例に挙げて説明する。
同図に示すように、本実施形態に係る監視カメラシステム10は、撮影領域が固定された複数台の固定カメラ12,12,…と、撮影領域が可変の、詳しくはパン方向およびチルト方向のそれぞれに旋回可能であると共にズームレンズを備えた、複数台の旋回型カメラ14,14,…と、を具備する。そして、これらの固定カメラ12,12,…および旋回型カメラ14,14,…は、パーソナルコンピュータ(以下、PCと言う。)16に接続されている。
PC16は、自身にインストールされた制御プログラムを実行することで、各固定カメラ12,12,…による撮影画像に基づいて各旋回型カメラ14,14,…を制御するカメラ制御装置として機能する。また、それぞれの固定カメラ12について、後述するカメラキャリブレーションを行うカメラキャリブレーション装置としても機能する。さらに、それぞれの旋回型カメラ14について、後述する設置条件を特定するための設置条件特定装置としても機能する。なお、このPC16には、これに各種命令を入力するための入力手段、例えばマウス18およびキーボード20を含む操作装置22と、当該PC16による処理結果を含む各種情報を出力するための情報出力手段としてのディスプレイ24と、が接続されている。
この監視カメラシステム10は、例えば図2に示すようなビル等の建物を含む敷地内を監視するのに、用いられる。同図のケースでは、概略矩形状の敷地内の4隅A,B,CおよびDに、1台ずつ、つまり合計4台、の固定カメラ12,12,…が設置されている。そして、これら4台の固定カメラ12,12,…の近傍a,b,cおよびdに、1台ずつ、つまり合計4台の、旋回型カメラ14,14,…が設置されている。なお、各固定カメラ12,12,…は、互いに異なる領域を撮影するように設置されている。例えば、敷地内の南西隅(同図において左下隅)Aに設置されている固定カメラ12は、同図に矢印12aで示すように、当該敷地内の建物の南側にある南側領域を撮影するように設置されている。そして、敷地内の南東隅(同図において右下隅)Bに設置されている固定カメラ12は、同図に矢印12bで示すように、当該敷地内の建物の東側にある東側領域を撮影するように設置されている。さらに、敷地内の北東隅(同図において右上隅)Cに設置されている固定カメラ12は、同図に矢印12cで示すように、当該敷地内の建物の北側にある北側領域を撮影するように設置されている。そして、敷地内の北西隅(同図において左上隅)Dに設置されている固定カメラ12は、同図に矢印12dで示すように、当該敷地内の建物の西側にある西側領域を撮影するように設置されている。
各固定カメラ12,12,…による撮影画像は、所定の順番に従って1つずつ、または分割画面によって同時に、ディスプレイ24に表示される。例えば、敷地内の南西隅Aに設置されている固定カメラ12による撮影画像は、図3のように表示される。併せて、ディスプレイ24には、図4に示すような模擬画像としてのマップ画像が表示される。このマップ画像は、敷地内の平面図(建物等の各箇所の形状や寸法等)を忠実に表現したものであり、ビットマップファイルやJPEG(Joint Photographic Experts Group)ファイル等の適宜の画像ファイルによって表示される。また、当該マップ画像として、建物等の建築図面を利用することもできる。即ち、建築図面には、建物等の形状や寸法が正確に記されているので、これを利用(画像ファイル化)することによって、新たにマップ画像を作成する手間を省くことができる。
ここで、例えば、敷地内の南西隅Aに設置されている固定カメラ12による撮影領域(つまり南側領域)に、人間等の移動体が侵入したとする。すると、この固定カメラ12による撮影画像は、図5のようになる。即ち、当該撮影画像に、移動体(厳密には移動体の像)30が表示される。そして、この移動体30が、フレーム差分法や背景差分法等の公知の移動体検出技術によって検出され、当該移動体30を囲む(内接させる)ように、矩形状の枠32が表示される。さらに、撮影画像上の所定位置、例えば左上隅近傍に、注意を喚起するための注意マーク34が表示される。これらの矩形枠32および注意マーク34の表示を受けて、オペレータ(監視者)は、移動体30が侵入したことを認識することができる。なお、これらの矩形枠32および注意マーク34の表示は、PC16によって制御される。
併せて、図4に示したマップ画像上に、図6に示すように、移動体30の現在位置を示す移動体マーク36と、当該移動体30の移動径路を示す軌跡線38が表示される。この表示を受けて、オペレータは、敷地内における移動体30の現在位置および移動径路を認識することができる。なお、これらの移動体マーク36および軌跡線38の表示もまた、PC16によって制御される。
さらに、移動体30の現在位置に応じて、適宜の旋回型カメラ14、例えば南西隅aの旋回型カメラ14が、当該移動体30の方向を向くように旋回すると共に、当該移動体30を拡大して撮影するようにズームアップする。そして、この旋回型カメラ14による撮影画像が、図7に示すように、ディスプレイ24に表示される。そして、この移動体30を自動追尾するように、旋回型カメラ14の旋回動作およびズーム動作が制御される。なお、この旋回型カメラ14の旋回動作およびズーム動作、ならびに当該旋回型カメラ14による撮影画像のディスプレイ24への表示も、PC16によって制御される。また、この南西隅aの旋回型カメラ14のみならず、当該移動体30を捕捉可能な別の旋回型カメラ14、例えば南東隅bの旋回型カメラ14についても、自動追尾させると共に、その撮影画像をディスプレイ24に表示させてもよい。
以上のことは、他のそれぞれの固定カメラ12による撮影領域に移動体30が侵入したときも、同様である。
このように、マップ画像上における移動体マーク36および軌跡線38の表示、ならびに適宜の旋回型カメラ14による自動追尾および当該自動追尾している旋回型カメラ14による撮影画像の表示によって、移動体30の侵入に対してより迅速かつ適切な対処が可能となり、言わば統合的な監視が実現される。
ところで、このような統合的な監視を実現するには、それぞれの固定カメラ12による撮影画像において、移動体30が現れたときにこれを検知すると共に、この移動体30の実空間における位置を当該固定カメラ12による撮影画像から認識する必要がある。このうち、前者の移動体検知については、上述したようにフレーム差分法や背景差分法等の公知の技術が採用される。一方、固定カメラ12による撮影画像から実空間における移動体30の位置を認識するという後者については、カメラキャリブレーションが行われることが前提とされる。本実施形態では、このカメラキャリブレーションを極めて簡単に実現するべく、次のような工夫が成されている。
即ち、図4に示したマップ画像において、図8に示すように、直線状のスケーラ40が設定される。具体的には、実空間において実寸が判明している部分、例えば図8においては矩形状の建物の北西角部Qaから南西角部Qbまでの部分に、上述したマウス18の操作(ドラッグ&ドロップ操作)によって当該スケーラ40が設定される。そして、実空間においてこのスケーラ40に対応する部分の実際の寸法(実寸)Lwが、例えば上述したキーボード20の操作によって入力される。なお、実寸Lwの単位は、例えば[mm](ミリメートル)であり、マップ画像上におけるスケーラ40の長さ寸法Lmは、当該マップ画像を構成する画素の単位、いわゆる[pixel](ピクセル)である。そして、実空間における実際の寸法Lwをマップ画像上におけるスケーラ40の長さ寸法Lmで除することによって、つまり次の数1によって、当該マップ画像上における1[pixel]が実空間においてどれくらいの長さ寸法に対応するのかを表す係数kが求められる。
さらに、図9(a)に示すように、マップ画像における左下角部が、当該マップ画像における原点Omとされる。そして、この原点Omを通りかつ水平方向に沿う(同図において右側に向かって延伸する)直線が、α軸とされ、当該原点Omを通りかつ垂直方向に沿う(同図において上側に向かって延伸する)直線が、β軸とされる。これによって、マップ画像上に、α軸およびβ軸から成る2次元の直交座標が設定される。なお、このマップ画像上の2次元座標の単位は、上述した[pixel]である。
併せて、図9(b)に示すように、実空間において、マップ画像における原点Omに対応する位置が、原点Owとされ、当該マップ画像におけるα軸およびβ軸に対応するように、x軸およびy軸が設定される。そして、原点Owを通り、かつx軸およびy軸のそれぞれに直交するように(同図において上側に向かって延伸するように)、高さ方向を規定するz軸が設定される。これによって、実空間に、x軸,y軸およびz軸から成る3次元の世界座標が設定される。なお、この実空間に設定された世界座標の単位は、上述の[mm]である。
つまり、図9(a)のマップ画面は、図9(b)の実空間における高さzがゼロ(z=0)の平面を模擬したものである。従って、これら両者の座標値(α,β)および(x,y,0)の関係は、上述した係数kを言わば変換係数とする次の数2で表される。
ゆえに、例えば、図9(a)のマップ画像における任意の位置Qcにおける2次元座標値を(α’,β’)とすると、図9(b)の実空間において当該位置Qcに対応する位置Qdの世界座標値(x’、y’,z’)は、この数2の関係から、(x’、y’,z’)=(k・α’,k・β’,0)となる。
そして、このようにスケーラ40が設定されることによって言わばキャリブレーションされたマップ画像を利用して、次のような手順でカメラキャリブレーションが行われる。
即ち、当該カメラキャリブレーションのための変換アルゴリズムとしては、公知の射影変換行列、特に11変数の射影変換行列、が用いられる。この11変数の射影変換行列では、固定カメラ12による2次元の撮影画像の座標値が(u,v)で表されるとすると、この画像座標値(u,v)と実空間の絶対座標値(x,y,z)との関係は、次の数3のようになる。
なお、この数3において、sは、スケールファクタである。そして、p1~p11が、カメラパラメータである。また、固定カメラ12による撮影画像の座標値(u,v)は、後述する図12に示すように、当該撮影画像の左上角を原点Oiとし、この原点Oiを通りかつ水平方向に沿う(同図において右側に向かって延伸する)直線がu軸とされ、当該原点Oiを通りかつ垂直方向に沿う(同図において下側に向かって延伸する)直線がv軸とされた、2次元の画像座標上の値である。
この数3において、スケールファクタsが消去されると、次の数4および数5から成る連立方程式が導き出される。
これら数4および数5によれば、画像座標値(u,v)と世界座標値(x,y,z)との組合せが少なくとも6組構成されれば、これら6組の組合せから成る連立方程式によって、p1~p11という合計11個のカメラパラメータが求められる。ただし、全ての組合せが、同じ平面上、例えばz=0という平面上にある場合は、カメラパラメータは求められない。従って、当該組合せは、少なくとも2つの異なる平面上にあることが、必要とされる。
この実現のために、本実施形態では、まず、図10に示すように、カメラキャリブレーションの対象となる固定カメラ12による撮影領域の適当な位置Qeに、指標としての人間42が立つ。なお、この人間42の身長は既知であるとする。また、人間42の立ち位置Qeとしては、マップ画像上においても分かり易いところが、好ましい。
次に、図11に示すように、マップ画像上において、図10における人間42の立ち位置Qeに対応する位置Qfが、例えばマウス18の操作(クリック操作)によって指定される。これによって、この指定された位置Qfの2次元座標値(α,β)が特定される。さらに、この2次元座標値(α,β)が、上述した数2によって世界座標値(x,y,0)に変換される。この世界座標値(x,y,0)は、図10における人間42の足元の位置Qeに対応する。
続いて、人間42の身長(単位[mm])が、例えばキーボード20の操作によって入力される。入力された身長は、実空間における人間42の頭部の位置zに相当する。つまり、この人間42の身長が、上述の数2によって変換された世界座標値(x,y,0)に加えられることで、実空間における当該人間42の頭部の世界座標値(x,y,z)が求められる。
さらに、図12に示すように、固定カメラ12による撮影画像上において、人間(厳密には人間の像)42の足元Qgが、例えばマウス18の操作によって指定される。これによって、撮影画像における当該足元Qgの画像座標値(u,v)が特定される。
これと同様に、図13に示すように、固定カメラ12による撮影画像上において、人間42の頭部Qhが、マウス18の操作によって指定される。これによって、撮影画像における当該頭部Qhの画像座標値(u,v)が特定される。
この一連の作業によって、互いに異なる平面上に存在する世界座標値(x,y,0)および(x,y,z)と、それぞれに対応する画像座標値(u,v)と、の組合せが2組得られる。従って、図10に示した実空間において人間42が別の位置Qeに移動した上で同様の作業が行われ、この作業が合計で3回行われることによって、画像座標値(u,v)と世界座標値(x,y,z)((x,y,0)を含む。)との組合せが合計6組得られる。そして、これら6組の組合せから成る連立方程式に基づいて、カメラパラメータp1~p11が求められ、つまりカメラキャリブレーションが実現される。
このように、本実施形態によれば、実空間におけるz=0の平面を模擬したマップ画像上で、図11に示したように指標としての人間42の足元の位置Qfが指定され、この指定された足元の位置Qfの2次元座標値(α,β)が、上述した数2によって実空間における世界座標値(x,y,0)に変換される。これによって、図10に示した実空間における当該人間42の足元の位置Qeの世界座標値(x,y,0)が求められる。さらに、この足元の位置Qeの世界座標値(x,y,0)に人間42の身長が加えられることで、当該人間42の頭部の世界座標値(x,y,z)が得られる。従って、実空間において指標点の世界座標(Xw,Yw,Zw)を三角測量等によって測定するという従来技術に比べて、極めて簡単に当該指標の世界座標値(x,y,z)((x,y,0)を含む。)を求めることができ、ひいてはカメラキャリブレーションを行うことができる。このことは、固定カメラ12による撮影領域が広いほど、顕著である。
なお、他のそれぞれの固定カメラ12についても、同じマップ画像を用いてカメラキャリブレーションを行うことができる。このようにマップ画像を共有化することで、カメラキャリブレーションに掛かる手間がさらに省ける。
さて、このようにしてカメラキャリブレーションが行われることによって、任意の固定カメラ12による撮影画像上における2次元の画像座標値(u,v)から実空間における3次元の世界座標値(x,y,z)への変換が、可能となる。例えば、図5に示した人間30の足元の画像座標値(u,v)は、次のようにして世界座標値(x,y,z)に変換される。
即ち、まず、上述した数4を変形すると、次の数6が導き出される。同様に、数5を変形すると、数7が導き出される。
ここで、実空間における人間30の足元は地面に接しており、この地面の世界座標における高さ寸法zはz=0である、とみなすことができるので、このz=0という条件が数6および数7に当てはめられることによって、次の数8および数9が導き出される。
即ち、数8によって、世界座標のx軸における足元の座標値が求められ、数9によって、y軸における当該足元の座標値が求められる。つまり、当該足元の画像座標値(u,v)に対応する世界座標値(x,y,z)(=(x,y,0))が求められる。
そして、この世界座標値(x,y,z)(=(x,y,0))が、上述した数2の変形式である次の数10に代入されることで、マップ画像上における人間30の足元の2次元座標値(α,β)が求められる。
このようにしてマップ画像上における人間30の足元の2次元座標値(α,β)が求められることで、図6に示したような移動体マーク36や軌跡線38の表示が可能となる。
さらに、数8によって求められたx軸における座標値と、数9によって求められたy軸における座標値とが、数6に代入されることで、実空間における人間30の頭部の高さzを求めるための次の数11が導き出される。
同様に、数8によって求められたx軸における座標値と、数9によって求められたy軸における座標値とが、数7に代入されることによっても、実空間における人間30の頭部の高さ寸法zを求めるための次の数12が導き出される。
なお、このように人間30の頭部の高さ寸法zが求められることによって、当該人間30の身長も分かる。また、当該高さ寸法zを半分にすることで、人間30の略中心位置を求めることもできる。
そしてさらに、カメラキャリブレーションが精確に行われているか否かを、次のようにして検証することができる。
即ち、図14(a)に示すように、カメラ画像上において、高さがゼロの条件を満足する任意の位置、好ましくは実空間およびマップ画像上でも分かり易い(言わば目印となる)位置Qiが、例えばマウス18の操作によって指定される。なお、同図は、建物の南東角部と地面との境界部分が、当該位置Qiとして指定された状態を示す。すると、この指定位置Qiのカメラ座標上における画像座標値(u,v)が特定される。そして、特定された画像座標値(u,v)が、上述の数8に代入されることで、世界座標のx軸における座標値が求められる。併せて、当該画像座標(u,v)が、上述の数9に代入されることで、世界座標のy軸における座標値が求められる。
そして、このようにして求められた世界座標のx軸およびy軸のそれぞれにおける座標値が、上述した数10に代入されることで、マップ画像における2次元座標値(α,β)が求められる。そして、図14(b)に示すように、マップ画像上において、当該2次元座標値(α,β)に従う位置Qjにマーカ46が表示される。このマーカ46の位置Qjが、図14(a)の撮影画像における指定位置Qiに対応すれば、カメラキャリブレーションが精確に行われたことになる。
一方、例えば図15に示すように、マップ画像上におけるマーカ46の位置Qjが、図14(a)の撮影画像における位置Qiと対応しない場合には、カメラキャリブレーションが精確に行われていないことになる。この場合は、例えばマウス18の操作によって、マップ画像上で、図14(b)に示した本来の位置Qjが改めて指定される。すると、この位置Qjにおける2次元座標値(α,β)が、上述した数2によって世界座標値(x,y,0)に変換される。そして、この変換された世界座標値(x,y,0)と図14(a)の撮影座標における位置Qiの画像座標値(u,v)との組合せに基づいて、改めてカメラキャリブレーションが行われる。具体的には、この新たな組合せと先に求められた組合せとに基づいて、上述した数4および数5の連立方程式が解かれる。このとき、各カメラパラメータp1~p11のそれぞれについて、複数個の解が求められるので、例えば最小2乗法等の回帰分析法によって、当該各カメラパラメータp1~p11として最良の値が求められる。このような修正が成されることで、カメラキャリブレーションの精度が向上する。
また、カメラキャリブレーションの精度を検証するのに、例えば図16に示すように、固定カメラ12による撮影画像上において、適宜の目盛、例えば格子状のグリッド48、を表示させることもできる。即ち、世界座標上における当該固定カメラ12による撮影領域において、z=0という条件で複数個の世界座標値(x,y,0)が一定の間隔で設定される。そして、それぞれの世界座標値(x,y,0)が上述した数4および数5に代入されることで、それぞれに対応する画像座標値(u,v)が求められる。そして、これらの画像座標値(u,v)に従う各位置(座標点)が互いに直線50,50,…で結ばれることによって、これらの直線50,50,…から成るグリッド48が撮影画像上に表示される。なお、図16においては、グリッド48が、実空間においてx軸に平行な柵および建物の壁に沿って延伸しているので、カメラキャリブレーションが精確に行われているものと、認められる。
さらに、本実施形態においては、それぞれの旋回型カメラ14の設置条件、詳しくは図17に例示する実空間における当該旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)および基準方向Eについても、上述したマップ画像を用いることで、簡単に特定することができる。即ち、旋回型カメラ14は、図示しないポール上や建物の壁面等に設置されるが、その設置位置Qk、特に世界座標値(x’,y’,z’)について、何ら配慮されないまま設置されることがある。また、旋回型カメラ14においては、所定の基準方向Eが決められており、この基準方向Eに対するパン角θおよびチルト角ρによって、当該旋回型カメラ14の向きが制御される。ところが、この基準方向Eについても、何ら配慮されないまま、設置されることがある。例えば、実空間における世界座標(x,y,z)を用いて、上述した自動追尾を行うには、これら設置位置Qkの世界座標値(x’,y’,z’)および基準方向Eが既知である必要がある。言い換えれば、これら設置位置Qkの世界座標値(x’,y’,z’)および基準方向Eが既知であれば、当該世界座標(x,y,z)を用いた自動追尾を行うことができる。なお、この世界座標(x,y,z)を用いた自動追尾の実現例は、例えば特開2005-3377号公報に開示されている。そこで、本実施形態においては、マップ画像を用いることで、旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)および基準方向Eを簡単に特定することのできる手法についても、説明する。
改めて図17を参照して、例えば、今、旋回型カメラ14が、世界座標におけるz軸に平行な直線を中心としてパン方向に旋回し、かつ、当該世界座標のx軸-y軸平面に平行な直線を中心としてチルト方向に旋回するように、設置されている、とする。併せて、基準方向Eが、世界座標のx軸-y軸平面に平行であり、かつ、当該x軸-y軸平面に平行な平面においてx軸に沿う方向に対して或る角度、言わばオフセット角θ0、を成している、と仮定する。なお、パン角θおよびチルト角ρの単位は、[rad](ラジアン)である。また、パン角θについては、旋回型カメラ14を上方から見たときに反時計回りの方向がプラス(+)であり、チルト角ρについては、水平よりも下方の方向がプラス(+)である、とする。そして、これらパン角θおよびチルト角ρについては、それぞれの値を旋回型カメラ14から取得することができる、とする。
このような状態において、旋回型カメラ14が実空間における或る位置Qmを注視しており、この注視点Qmの世界座標値が(x”,y”,z”)である、とする。すると、次の数13および数14が成立する。
これらの数13および数14によれば、注視点Qmの世界座標値(x”,y”,z”)と、この注視点Qmに旋回型カメラ14が向いているとき、詳しくは注視点Qmが旋回型カメラ14の光軸上に存在するときの、当該旋回型カメラ14のパン角θおよびチルト角ρが与えられると、この旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)と上述のオフセット角θ0とを未知数とした、2つの方程式が成立する。従って、これら注視点Qmの世界座標値(x”,y”,z”)と旋回型カメラ14のパン角θおよびチルト角ρとの組合せが少なくとも2組以上得られると、当該4つの未知数x’,y’,z’およびθ0を求めることができる。
そこで、まず、図18に示すように、上述したマップ画像上で、例えばマウス18の操作によって任意の位置、好ましくは実空間および旋回型カメラ14による撮影画像上のいずれでも分かり易い位置Qnが、注視点として指定される。そして、この注視点Qnにおける当該マップ画像上の2次元座標値(α,β)が特定されると共に、この2次元座標値(α,β)が上述した数2に代入されることで、図17に示した実空間における注視点Qmの世界座標値(x”,y”,z”)が求められる。なお、この実空間における注視点Qmの高さz’は、ゼロであるのが、好ましい。ゼロでない場合には、例えばキーボード20の操作によって当該高さz’の実測値が設定される。
続いて、旋回型カメラ14が、手動制御によって、実空間における注視点Qmに向けられる。そして、このときの当該旋回型カメラ14のパン角θおよびチルト角ρが取得される。この一連の作業によって、注視点Qmの世界座標値(x”,y”,z”)と旋回型カメラ14のパン角θおよびチルト角ρとの組合せが得られる。そして、異なる注視点Qmについて、同じ作業が合計2回行われることによって、注視点Qmの世界座標値(x”,y”,z”)と旋回型カメラ14のパン角θおよびチルト角ρとの組合せが合計2組得られる。そして、この2組の組合せから成る連立方程式に基づいて、旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θ0とが求められる。
このようにして旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θ0とが求められることで、実空間における任意の世界座標値(x,y,z)が与えられると、この世界座標値(x,y,z)に対応する位置に旋回型カメラ14を向かせるためのパン角θおよびチルト角ρが求められる。つまり、パン角θは、上述の数13の変形式である次の数15によって求められ、チルト角ρは、数14の変形式である数16によって求められる。
なお、この旋回型カメラ14の設置条件の特定が精確に成されたか否かについては、次のようにして検証することができる。
即ち、図19(a)に示すように、マップ画像上において、任意の位置、好ましくは実空間および旋回型カメラ14による撮影画像上のいずれでも分かり易い位置Qoが、例えばマウス18の操作によって指定される。なお、同図は、建物の南東角部と地面との境界部分が、当該位置Qoとして指定された状態を示す。すると、この指定位置Qoのマップ画像上における2次元座標値(α,β)が特定され、さらに、この特定された2次元座標値(α,β)が、上述した数2によって世界座標値(x,y,0)に変換される。そして、この変換された世界座標値(x,y,0)が図17に示した注視点Qmの世界座標値(x”,y”,z”)として上述の数15および数16のそれぞれに代入されることで、当該注視点Qmに旋回型カメラ14を向けるためのパン角θおよびチルト角ρが求められる。そして、この求められたパン角θおよびチルト角ρに基づいて旋回型カメラ14が旋回することで、図19(b)に示すように、注視点Qmに対応する位置Qpが撮影画像の中央に映し出される。このように、位置Qpが撮影画像の略中央に映し出されることで、旋回型カメラ14の設置条件の特定が精確に行われたことが、確認される。
一方、旋回型カメラ14による撮影画像上の略中央に位置Qpが映し出されない場合には、当該旋回型カメラ14の設置条件の特定が精確に行われていないことになる。この場合は、例えば旋回型カメラ14による撮影画像上の略中央に位置Qpが映し出されるように、当該旋回型カメラ14の向きが手動制御で変更される。そして、この変更後の旋回型カメラ14のパン角θおよびチルト角ρが取得される。これにより、今現在の注視点Qmの世界座標値(x”,y”,z”)と旋回型カメラ14のパン角θおよびチルト角ρとの組合せが得られる。そして、この新たな組合せと先に求められた組合せとに基づいて、改めて旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θ0とが求められる。この修正により、特定精度が向上する。なお、この修正においても、上述したカメラキャリブレーションの修正時と同様に、最小2乗法等の回帰分析法を用いてもよい。
このように、本実施形態によれば、実空間における任意の位置に注視点Qmが設定され、この注視点Qmにおける世界座標値(x”,y”,z”)と、当該注視点Qmに旋回型カメラ14が向けられているときのパン角αおよびチルト角ρと、に基づいて、つまり幾何学的な計算に基づいて、当該旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θ0とを含む設置条件が特定される。従って、測量装置によって、或いはメジャーや磁気コンパス等の手動道具を用いて、さらには目測によって、旋回型カメラの設置条件が特定される、という上述した従来技術に比べて、簡単かつ精確に当該特定が行われる。しかも、実空間における注視点Qmの世界座標値(x”,y”,z”)は、マップ画像を利用して求められるので、当該特定のための作業の効率がさらに向上する。
なお、マップ画像を用いなくても、実空間における注視点Qmの世界座標値(x”,y”,z”)を直接的に求め、ひいては旋回型カメラ14の位置条件を特定することはできる。ただし、マップ画像を用いた方が効率的であることは、言うまでもない。
また、上述したカメラキャリブレーションにおいては、射影変換行列を採用したが、これに限らない。例えば、公知文献[R.Y.Tsai, “A versatile camera
calibration technique for high-accuracy 3D machine vision metrology using
off-the shelf TV cameras and lenses,” IEEE Journal
of Robotics and Automation, vol.RA-3, no.4, pp.323-331, Aug.1987]に開示されている手法を採用してもよい。
calibration technique for high-accuracy 3D machine vision metrology using
off-the shelf TV cameras and lenses,” IEEE Journal
of Robotics and Automation, vol.RA-3, no.4, pp.323-331, Aug.1987]に開示されている手法を採用してもよい。
さらに、当該カメラキャリブレーションにおいて、既知の身長の人間を指標として利用したが、人間以外の指標、例えば棒状のものや、円錐状のものを利用してもよい。また、指標として特別なものを用意しなくても、例えば建物の角部や門柱等のように、外観的に特徴のある既存のもの(部分)を、当該指標として利用してもよい。ただし、この場合も、指標の寸法(特に高さ寸法)が既知であることが、必要とされる。
そして、図8に示したスケーラ40は、1つの設定例であり、これに限定されない。即ち、当該図8において、スケーラ40は、垂直方向に沿って延伸しているが、水平方向や斜め方向等の他の方向に沿って延伸するものであってもよい。ただし、上述したように、実空間における当該スケーラ40に対応する部分の実寸が正確に分かっていることが、必要である。言い換えれば、当該実寸が正確に分かっているのであれば、スケーラ40は、直線に限らず、曲線であってもよい。要するに、スケーラ40と実空間における当該スケーラ40に対応する部分とが、幾何学的に相似であり、かつそれぞれの長さ寸法LmおよびLwが正確に分かればよい。
また、本実施形態においては、建物を含む敷地内の監視用途に本発明を適用したが、これに限らない。例えば、建物内における監視に本発明を適用してもよいし、監視用途以外にも本発明を適用してもよい。
そして、上述のカメラキャリブレーションおよび旋回型カメラ14の設置条件の特定は、PC16によって実現されるが、例えば専用の装置によって実現されてもよい。
さらに、例えば、図6に示したように移動体マーク36および軌跡線38を表示させる機能と、自動追尾機能とを、互いに別々の装置によって実現してもよい。また、全てが別々の装置でなくとも、例えばディスプレイ24のみについて、移動体マーク36および軌跡線38を含むマップ画像を表示させるものと、自動追尾を行っている旋回型カメラ14による撮影画像を表示させるものと、固定カメラ12による撮影画像を表示させるものとを、別々に設けてもよい。
なお、自動追尾機能は、上述した移動体検出技術を含め、これを実現するための構成が比較的に複雑かつ高価であるので、これに代えて、次のマップポイントビュー機能という一種手動的な追尾機能を設けてもよい。
即ち、このマップポイントビュー機能によれば、マップ画像上でオペレータが注目したい位置、例えば図20(a)に示すような任意の位置Qqが、マウス18またはキーボード20の操作によって指定される。すると、指定された位置Qqに対応する実空間中の位置Qrに後述する高さ寸法γを加えた位置Qsに向けて、当該位置Qs(厳密には位置Qr)を撮影可能な旋回型カメラ14、例えば図2に示した南西隅aにある旋回型カメラ14が、自動的に旋回される。この結果、当該南西隅aにある旋回型カメラ14から、図20(b)に示すような撮影画像、詳しくは、位置Qsが中央に映し出されると共に、当該位置Qsを含む被写界面(等価撮像面)の幅寸法δが一定の撮影画像が、得られる。なお、図20(b)の撮影画像は、実空間中の位置Qs(つまり位置Qr)に人間60が存在する状態を示す。また、図示しないが、南東隅bにある旋回型カメラ14からも、同様の撮影画像、つまり位置Qsが中央に映し出されると共に、当該位置Qsを含む被写界面の幅寸法δが一定の撮影画像が、得られる。
このマップポイントビュー機能を実現するために、それぞれの旋回型カメラ14について、予めマップ画像上で撮影可能領域が設定される。例えば、南西隅aにある旋回型カメラ14については、図21に斜線模様62で示すように、南側領域と西側領域とを含む多角形状の撮影可能領域が設定される。詳しくは、マウス18またはキーボード20の操作によって当該多角形の各頂点が指定されると、これら各頂点を結ぶ閉領域が撮影可能領域62として設定される。これと同様に、他のそれぞれの旋回型カメラ14についても、撮影可能領域62が適宜に設定される。
さらに、図22を参照して、位置Qrから位置Qsまでの高さ寸法γが、例えばキーボード20の操作によって[mm]単位で任意に設定される。併せて、位置Qsを含む被写界面の幅寸法δも、キーボード20の操作によって[mm]単位で任意に設定される。なお、位置Qsを含む被写界面の幅寸法δは、その被写界面を形成する旋回型カメラ14から当該位置Qsまでの距離εと、当該旋回型カメラ14の画角φと、の間で、次の数17によって表される関係にある。
これらの高さ寸法γと被写界面の幅寸法δとは、図20(b)に示したように、人間60が主たる撮影対象となることを前提として、適宜に設定される。例えば、図20(b)に示したように、人間60の全身が撮影画像の略一杯に映し出されるようにすると、当該人間60の全体的な容姿を把握するのに好都合である。これを実現するには、被写界面の幅寸法δがδ=3000[mm]とされ、高さ寸法γがγ=1000[mm]とされるのが、適当である。また、例えば、被写界面の幅寸法δがδ=1000[mm]とされ、高さ寸法γがγ=1500[mm]とされると、図23に示すように、人間60の顔が撮影画像の略中央に比較的に大きめに映し出される。この態様は、人間60の顔の特徴や表情を把握するのに、好適である。さらに、例えば、被写界面の幅寸法δがδ=5000[mm]とされ、高さ寸法γがγ=800[mm]とされると、図24に示すように、人間60の全身が撮影画像の中央に比較的に小さめに映し出される。この態様は、人間60の全体的な容姿(雰囲気)を感覚的に認識すると共に、その人間60の行動を予測するのに、好適である。なお、これらの高さγと水平方向の視野寸法δについても、それぞれの旋回型カメラ14ごとに任意に設定可能とされている。
このように、それぞれの旋回型カメラ14について、撮影可能領域62が設定されると共に、高さ寸法γおよび被写界面の幅寸法δが設定されることによって、マップポイントビュー機能が有効になる。即ち、上述の如くマップ画像上の任意の位置Qqが指定されると、この指定された位置Qqの当該マップ画像上における2次元座標値(α,β)が特定される。そして、特定された位置Qqの2次元座標値(α,β)が上述の式2に代入されることで、当該位置Qqに対応する実空間中の位置Qrの世界座標値(x,y,0)が求められる。さらに、この位置Qrの世界座標値(x,y,0)に高さ寸法γが加えられることで、目標点となる位置Qsの世界座標値(x,y,γ)が求められる。
その一方で、マップ画像上の位置Qqの2次元座標値(α,β)から、当該位置Qqを撮影可能領域62に含む旋回型カメラ14が特定される。そして、特定された旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)とオフセット角θ0とが上述の数15および数16に代入されると共に、目標点となる位置Qsの世界座標値(x,y,γ)が当該数15および数16における(x”,y”,z”)に代入されることで、当該特定された旋回型カメラ14を目標点となる位置Qsに向けるためのパン角θおよびチルト角ρが求められる。そして、求められたパン角θおよびチルト角ρに基づいて旋回型カメラ14が旋回する。これによって、当該旋回型カメラ14の向きが目標点となる位置Qsに向けられる。
さらに、この目標点となる位置Qsに向けられた旋回型カメラ14の設置位置Qkの世界座標値(x’,y’,z’)と、当該位置Qsの世界座標値(x,y,γ)と、に基づいて、これら両者間の距離εが求められる。そして、この距離εと、予め設定された被写界面の幅寸法δとが、上述した数17の変形式である次の数18に代入されることで、目標点となる位置Qsに向けられた旋回型カメラ14の画角φが求められ、これに応じて、当該旋回型カメラ14の画角φ(ズーム倍率)が制御される。
この結果、目標点となる位置Qsに向けられた旋回型カメラ14から、当該位置Qsを中心とし、かつ、この位置Qsを含む被写界面の幅寸法δが一定の撮影画像が得られる。即ち、一連のマップポイントビュー機能が実現される。このマップポイントビュー機能は、上述した自動追尾機能と同様に、それぞれの旋回型カメラ14の設置条件(設置位置Qkの世界座標値(x’,y’,z’)およびオフセット角θ0)が精確に特定されることによってはじめて、その本領を発揮する。
なお、このマップポイントビュー機能においては、上述した高さ寸法γと被写界面の幅寸法δとの組合せが予めいくつか設定(プリセット)されており(厳密にはPC16内の図示しないメモリ回路等の記憶手段に記憶されており)、これらの組合せの中から希望のものを任意に選択することができるようにしてもよい。この場合、特に、図25に示すように、複数種類、例えば“A”,“B”および“C”という3種類、のアイコン70,72および74がディスプレイ24に表示され、これらのアイコン70,72および74のいずれかが当該ディスプレイ24上で選択(クリック)されると、これに応じた高さ寸法γと被写界面の幅寸法δとが自動的に設定されるようにしてもよい。具体的には、“A”というアイコン70が選択されると、図23に示した態様となり、“B”というアイコン72が選択されると、図20(b)に示した態様となり、“C”というアイコン74が選択されると、図24に示した態様となるようにしてもよい。
図25に示した各アイコン70,72および74は、操作子としての一例であり、これに限定されない。例えば、図25においては、これらのアイコン70,72および74に、人間の姿を模擬した図柄(シンボル)が付されているが、これに代えて、ルーペや建物等の外形を模擬した他の図柄を採用してもよい。また、アイコン70,72および74という言わばソフトウェア的な操作子に代えて、押しボタンやスイッチ等のハードウェア的な操作子(電子部品)を採用し、これらに適当な図柄を付してもよい。
また、図26に示すように、マップ画像上に、各旋回型カメラ14,14,…を表すマーク80,80,…が表示されるようにしてもよい。さらに、この場合、マップ画像上で指定された位置Qqと、この位置Qqに対応する目標点としての位置Qsに向けられる旋回型カメラ14を表すマーク80と、を結ぶように、概略扇状の別のマーク82が、当該マップ画像上に表示されるようにしてもよい。この概略扇状のマーク82は、目標点としての位置Qsが、どの旋回型カメラ14によって、どのような態様(特に画角φ)で撮影されているのかを、模擬的に表すものであり、当該旋回型カメラ14に対応するマーク80から指定位置Qqに向けての広がり角(中心角)φ’は、当該旋回型カメラ14の実際の画角φに応じて変化する。なお、図26は、南西隅aにある旋回型カメラ14によって、指定位置Qqに対応する目標点としての位置Qsが、広がり角φ’に応じた画角φで、撮影されている状態を示す。また、図示しないが、南東隅bにある旋回型カメラ14を表すマーク80についても、同様に、これと指定位置Qqとを結ぶ概略扇状状のマーク82が表示される。
Claims (11)
- 実空間に設置されており一定の基準方向を有すると共に該基準方向に対する偏角が与えられることによって該偏角に応じた方向を向くように旋回する旋回型カメラの設置条件を特定する特定装置であって、
上記設置条件は上記実空間に設定された3次元の世界座標における上記旋回型カメラの設置位置の座標値と該世界座標における上記基準方向とを含み、
上記世界座標における任意の注視点の座標値と該注視点に上記旋回型カメラが向けられているときの上記偏角とに基づいて上記設置条件を特定する特定手段を具備する、
旋回型カメラの設置条件特定装置。 - 上記世界座標を構成する3つの座標軸の1つである所定座標軸の値が一定とされた平面における上記実空間を模擬すると共に該平面を表す該世界座標と相関する2次元座標が設定された模擬画像を表示する模擬画像表示手段と、
上記模擬画像上で上記注視点を指定する注視点指定手段と、
上記注視点指定手段によって指定された上記注視点の上記2次元座標における2次元座標値と該2次元座標および上記世界座標間の相関関係とに基づいて該注視点の該世界座標における座標値を求める注視点座標値演算手段と、
をさらに備える、請求項1に記載の旋回型カメラの設置条件特定装置。 - 上記偏角はパン角およびチルト角の一方または両方を含む、
請求項1に記載の旋回型カメラの設置条件特定装置。 - 複数の上記注視点が設定されている、
請求項1に記載の旋回型カメラの設置条件特定装置。 - 請求項1に記載の旋回型カメラの設置条件特定装置を具備し、さらに、
上記世界座標を構成する3つの座標軸の1つである所定座標軸の値が一定とされた平面における上記実空間を模擬すると共に該平面を表す該世界座標と相関する2次元座標が設定された模擬画像を表示する模擬画像表示手段と、
上記模擬画像上における任意の点を指定する任意点指定手段と、
上記任意点指定手段によって指定された任意点の上記2次元座標における2次元座標値と該2次元座標および上記世界座標間の相関関係とに基づいて該任意点に対応する上記実空間中の或る空間点の該世界座標における座標値を求める空間点座標値演算手段と、
上記空間点座標値演算手段によって求められた上記空間点の世界座標値と上記設置条件とに基づいて該空間点に上記旋回型カメラを向けるための上記偏角を求める偏角演算手段と、
上記偏角演算手段によって求められた上記偏角に応じた方向を向くように上記旋回型カメラを旋回させる旋回制御手段と、
を具備する、カメラ制御システム。 - 上記空間点座標値演算手段によって求められた上記空間点の世界座標値に上記所定座標軸上の上記平面からの一定の距離を表す初期値を付加した付加座標値を求める付加座標値演算手段をさらに備え、
上記偏角演算手段は上記付加座標値演算手段によって求められた上記付加座標値と上記設置条件とに基づいて該付加座標値に従う上記実空間中の目標点に上記旋回型カメラを向けるための上記偏角を求める、
請求項5に記載のカメラ制御システム。 - 上記旋回型カメラはズーム機能を有しており、
上記旋回型カメラによる上記目標点の撮影態様が一定となるように上記ズーム機能を制御するズーム制御手段をさらに備える、
請求項6に記載のカメラ制御システム。 - 互いに異なる複数の上記撮影態様に応じた複数の制御条件が予め設定されており、
上記複数の制御条件のいずれかを任意に選択する選択手段をさらに備え、
上記ズーム制御手段は上記選択手段によって選択された上記制御条件に基づいて制御を行う、
請求項7に記載のカメラ制御システム。 - 上記複数の制御条件それぞれは個別の上記初期値を含み、
上記付加座標値演算手段は上記選択手段によって選択された上記制御条件に含まれる上記初期値に基づいて上記付加座標値を求める、
請求項8に記載のカメラ制御システム。 - 上記複数の撮影態様それぞれを模擬した模擬図が個別に付された複数の操作子をさらに備え、
上記複数の操作子それぞれに自身に付された上記模擬図に対応する上記制御条件が割り当てられており、
上記選択手段は上記複数の操作子の操作に応じて選択を行う、
請求項8に記載のカメラ制御システム。 - 実空間に設置されており一定の基準方向を有すると共に該基準方向に対する偏角が与えられることによって該偏角に応じた方向を向くように旋回する旋回型カメラの設置条件を特定する特定方法であって、
上記設置条件は上記実空間に設定された3次元の世界座標における上記旋回型カメラの設置位置の座標値と該世界座標における上記基準方向とを含み、
上記世界座標における任意の注視点の座標値と該注視点に上記旋回型カメラが向けられているときの上記偏角とに基づいて上記設置条件を特定する、
旋回型カメラの設置条件特定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010501891A JP5566281B2 (ja) | 2008-03-03 | 2009-03-02 | 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008-052170 | 2008-03-03 | ||
JP2008052170 | 2008-03-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2009110417A1 true WO2009110417A1 (ja) | 2009-09-11 |
Family
ID=41055972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2009/053838 WO2009110417A1 (ja) | 2008-03-03 | 2009-03-02 | 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP5566281B2 (ja) |
WO (1) | WO2009110417A1 (ja) |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012216962A (ja) * | 2011-03-31 | 2012-11-08 | Takenaka Komuten Co Ltd | 監視装置及びプログラム |
WO2013183738A1 (ja) * | 2012-06-08 | 2013-12-12 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム |
JP2014534786A (ja) * | 2011-11-22 | 2014-12-18 | ペルコ インコーポレーテッドPelco, Inc. | 地図に基づいた制御 |
JP2015050693A (ja) * | 2013-09-03 | 2015-03-16 | Toa株式会社 | カメラ設置シミュレータ及びそのコンピュータプログラム |
JP2017055325A (ja) * | 2015-09-11 | 2017-03-16 | 沖電気工業株式会社 | カメラ制御装置、カメラ制御方法、プログラムおよび監視システム |
JP2018014553A (ja) * | 2016-07-19 | 2018-01-25 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP2019061502A (ja) * | 2017-09-27 | 2019-04-18 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN111553956A (zh) * | 2020-05-20 | 2020-08-18 | 北京百度网讯科技有限公司 | 拍摄装置的标定方法、装置、电子设备和存储介质 |
JP2020136700A (ja) * | 2019-02-12 | 2020-08-31 | 株式会社コア | 撮像装置、撮像方法及び撮像プログラム |
EP3836538A1 (en) * | 2019-12-09 | 2021-06-16 | Axis AB | Displaying a video stream |
CN114638888A (zh) * | 2022-03-31 | 2022-06-17 | 广东利元亨智能装备股份有限公司 | 位置确定方法、装置、电子设备及可读存储介质 |
WO2022224402A1 (ja) * | 2021-04-22 | 2022-10-27 | 三菱電機株式会社 | 位置検知装置、位置検知方法、及び位置検知プログラム |
WO2023166649A1 (ja) * | 2022-03-03 | 2023-09-07 | 日本電気株式会社 | 移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体 |
WO2023166648A1 (ja) * | 2022-03-03 | 2023-09-07 | 日本電気株式会社 | 移動軌跡情報処理装置 |
US12035077B2 (en) | 2015-07-02 | 2024-07-09 | Nec Corporation | Surveillance system with fixed camera and temporary cameras |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101671073B1 (ko) | 2014-12-12 | 2016-10-31 | 숭실대학교산학협력단 | 랜드마크 인식에 기반한 카메라 영상 보정 방법 및 서비스 서버 |
JP7224832B2 (ja) * | 2018-10-01 | 2023-02-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001008192A (ja) * | 1999-06-23 | 2001-01-12 | Osaki Electric Co Ltd | 遠隔画像監視システム |
JP2001086486A (ja) * | 1999-09-14 | 2001-03-30 | Matsushita Electric Ind Co Ltd | 監視カメラシステム及び監視カメラの表示方法 |
JP2005136774A (ja) * | 2003-10-31 | 2005-05-26 | Casio Comput Co Ltd | カメラ監視システムおよびプログラム |
JP2006067272A (ja) * | 2004-08-27 | 2006-03-09 | Matsushita Electric Ind Co Ltd | カメラキャリブレーション装置及びカメラキャリブレーション方法 |
JP2007235696A (ja) * | 2006-03-02 | 2007-09-13 | Toa Corp | カメラ制御装置およびカメラ制御方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000293693A (ja) * | 1999-03-31 | 2000-10-20 | Toshiba Corp | 障害物検出方法および装置 |
JP2001319218A (ja) * | 2000-02-29 | 2001-11-16 | Hitachi Ltd | 画像監視装置 |
JP4224260B2 (ja) * | 2002-02-18 | 2009-02-12 | 株式会社トプコン | キャリブレーション装置、方法及び結果診断装置、並びにキャリブレーション用チャート |
JP3875199B2 (ja) * | 2003-03-03 | 2007-01-31 | ティーオーエー株式会社 | 撮影装置 |
JP4291048B2 (ja) * | 2003-06-09 | 2009-07-08 | ティーオーエー株式会社 | 撮影装置 |
JP4568050B2 (ja) * | 2004-07-16 | 2010-10-27 | 日本放送協会 | カメラパラメータ算出較正装置およびカメラパラメータ算出較正プログラム |
DE102005061952B4 (de) * | 2005-12-23 | 2008-09-11 | Metaio Gmbh | Verfahren und System zur Bestimmung einer Ungenauigkeitsinformation in einem Augmented Reality System |
-
2009
- 2009-03-02 JP JP2010501891A patent/JP5566281B2/ja active Active
- 2009-03-02 WO PCT/JP2009/053838 patent/WO2009110417A1/ja active Application Filing
-
2013
- 2013-10-02 JP JP2013207173A patent/JP5586765B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001008192A (ja) * | 1999-06-23 | 2001-01-12 | Osaki Electric Co Ltd | 遠隔画像監視システム |
JP2001086486A (ja) * | 1999-09-14 | 2001-03-30 | Matsushita Electric Ind Co Ltd | 監視カメラシステム及び監視カメラの表示方法 |
JP2005136774A (ja) * | 2003-10-31 | 2005-05-26 | Casio Comput Co Ltd | カメラ監視システムおよびプログラム |
JP2006067272A (ja) * | 2004-08-27 | 2006-03-09 | Matsushita Electric Ind Co Ltd | カメラキャリブレーション装置及びカメラキャリブレーション方法 |
JP2007235696A (ja) * | 2006-03-02 | 2007-09-13 | Toa Corp | カメラ制御装置およびカメラ制御方法 |
Cited By (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012216962A (ja) * | 2011-03-31 | 2012-11-08 | Takenaka Komuten Co Ltd | 監視装置及びプログラム |
JP2014534786A (ja) * | 2011-11-22 | 2014-12-18 | ペルコ インコーポレーテッドPelco, Inc. | 地図に基づいた制御 |
WO2013183738A1 (ja) * | 2012-06-08 | 2013-12-12 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム |
JPWO2013183738A1 (ja) * | 2012-06-08 | 2016-02-01 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラムおよび監視カメラシステム |
US9886761B2 (en) | 2012-06-08 | 2018-02-06 | Sony Corporation | Information processing to display existing position of object on map |
JP2015050693A (ja) * | 2013-09-03 | 2015-03-16 | Toa株式会社 | カメラ設置シミュレータ及びそのコンピュータプログラム |
US12035077B2 (en) | 2015-07-02 | 2024-07-09 | Nec Corporation | Surveillance system with fixed camera and temporary cameras |
JP2017055325A (ja) * | 2015-09-11 | 2017-03-16 | 沖電気工業株式会社 | カメラ制御装置、カメラ制御方法、プログラムおよび監視システム |
JP2018014553A (ja) * | 2016-07-19 | 2018-01-25 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7047306B2 (ja) | 2017-09-27 | 2022-04-05 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2019061502A (ja) * | 2017-09-27 | 2019-04-18 | 沖電気工業株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2020136700A (ja) * | 2019-02-12 | 2020-08-31 | 株式会社コア | 撮像装置、撮像方法及び撮像プログラム |
JP7274297B2 (ja) | 2019-02-12 | 2023-05-16 | 株式会社コア | 撮像装置、撮像方法及び撮像プログラム |
EP3979633A1 (en) * | 2019-12-09 | 2022-04-06 | Axis AB | Displaying a video stream |
US11463632B2 (en) | 2019-12-09 | 2022-10-04 | Axis Ab | Displaying a video stream |
EP3836538A1 (en) * | 2019-12-09 | 2021-06-16 | Axis AB | Displaying a video stream |
CN111553956A (zh) * | 2020-05-20 | 2020-08-18 | 北京百度网讯科技有限公司 | 拍摄装置的标定方法、装置、电子设备和存储介质 |
WO2022224402A1 (ja) * | 2021-04-22 | 2022-10-27 | 三菱電機株式会社 | 位置検知装置、位置検知方法、及び位置検知プログラム |
JPWO2022224402A1 (ja) * | 2021-04-22 | 2022-10-27 | ||
JP7309097B2 (ja) | 2021-04-22 | 2023-07-14 | 三菱電機株式会社 | 位置検知装置、位置検知方法、及び位置検知プログラム |
WO2023166649A1 (ja) * | 2022-03-03 | 2023-09-07 | 日本電気株式会社 | 移動軌跡情報処理装置、移動軌跡情報処理方法、および記録媒体 |
WO2023166648A1 (ja) * | 2022-03-03 | 2023-09-07 | 日本電気株式会社 | 移動軌跡情報処理装置 |
CN114638888A (zh) * | 2022-03-31 | 2022-06-17 | 广东利元亨智能装备股份有限公司 | 位置确定方法、装置、电子设备及可读存储介质 |
CN114638888B (zh) * | 2022-03-31 | 2022-12-16 | 广东利元亨智能装备股份有限公司 | 位置确定方法、装置、电子设备及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP5586765B2 (ja) | 2014-09-10 |
JPWO2009110417A1 (ja) | 2011-07-14 |
JP2013257349A (ja) | 2013-12-26 |
JP5566281B2 (ja) | 2014-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5566281B2 (ja) | 旋回型カメラの設置条件特定装置および方法ならびに当該設置条件特定装置を備えるカメラ制御システム | |
JP5079547B2 (ja) | カメラキャリブレーション装置およびカメラキャリブレーション方法 | |
CN110142785A (zh) | 一种基于目标检测的巡检机器人视觉伺服方法 | |
JP5538667B2 (ja) | 位置姿勢計測装置及びその制御方法 | |
JP4537557B2 (ja) | 情報呈示システム | |
JP2020184795A (ja) | 映像監視システム、映像監視方法、及びプログラム | |
US20090237508A1 (en) | Method and apparatus for providing immersive surveillance | |
JP2020182251A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN109840950B (zh) | 得到真实尺寸3d模型的方法、勘测装置 | |
JP6516558B2 (ja) | 位置情報処理方法 | |
CN110910459B (zh) | 一种对摄像装置的标定方法、装置及标定设备 | |
CN108195472B (zh) | 一种基于轨道移动机器人的热传导全景成像方法 | |
JP6174968B2 (ja) | 撮像シミュレーション装置 | |
JP2017129567A (ja) | 情報処理装置、情報処理方法、プログラム | |
EP3330928A1 (en) | Image generation device, image generation system, and image generation method | |
JP6640294B1 (ja) | 複合現実システム、プログラム、携帯端末装置、及び方法 | |
CN102970514A (zh) | 映像监视装置、映像监视方法以及程序 | |
WO2005054779A1 (ja) | 非接触三次元計測方法および装置 | |
CN116778094B (zh) | 一种基于优选视角拍摄的建筑物变形监测方法及装置 | |
JP2009121824A (ja) | カメラパラメータ推定装置およびカメラパラメータ推定プログラム | |
JP2005341060A (ja) | カメラ制御装置 | |
JP4227037B2 (ja) | 撮像システム及び校正方法 | |
CN111735414A (zh) | 一种基于全景三维成像的面积计量***及计量方法 | |
JP2010193170A (ja) | カメラキャリブレーション装置及び監視エリア設定装置 | |
JP4590780B2 (ja) | カメラ校正用立体チャート、カメラの校正用パラメータの取得方法、カメラの校正用情報処理装置、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 09716424 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2010501891 Country of ref document: JP |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 09716424 Country of ref document: EP Kind code of ref document: A1 |