WO2018061172A1 - 撮像角度調整システム、撮像角度調整方法及びプログラム - Google Patents

撮像角度調整システム、撮像角度調整方法及びプログラム Download PDF

Info

Publication number
WO2018061172A1
WO2018061172A1 PCT/JP2016/078991 JP2016078991W WO2018061172A1 WO 2018061172 A1 WO2018061172 A1 WO 2018061172A1 JP 2016078991 W JP2016078991 W JP 2016078991W WO 2018061172 A1 WO2018061172 A1 WO 2018061172A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging angle
imaging
camera
subject
angle adjustment
Prior art date
Application number
PCT/JP2016/078991
Other languages
English (en)
French (fr)
Inventor
俊二 菅谷
Original Assignee
株式会社オプティム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オプティム filed Critical 株式会社オプティム
Priority to PCT/JP2016/078991 priority Critical patent/WO2018061172A1/ja
Priority to US15/544,622 priority patent/US10645297B2/en
Priority to JP2017545422A priority patent/JP6280674B1/ja
Publication of WO2018061172A1 publication Critical patent/WO2018061172A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Definitions

  • the present invention relates to an imaging angle adjustment system, an imaging angle adjustment method, and a program for adjusting an angle of a camera.
  • an imaging device connected to a public network or the like captures an image such as a moving image or a still image of a subject, and transmits the captured image, which is the captured image, to a terminal device located in a remote place System exists.
  • whether or not the subject is imaged at an appropriate imaging angle depends on the imaging angle of the imaging device at the time of imaging.
  • the computer system needs to adjust the imaging angle in the horizontal direction every time if the imaging device is facing in a completely different direction even though it wants to capture the subject horizontally. It was.
  • the imaging device is a moving body such as a drone, and when the moving body captures an image of a subject, adjustment is difficult because an imaging angle that is horizontal with respect to the subject changes for each imaging.
  • Patent Document 1 it is necessary to adjust the imaging angle in the horizontal direction every time the subject is imaged.
  • An object of the present invention is to provide an imaging angle adjustment system, an imaging angle adjustment method, and a program capable of automatically adjusting an imaging angle of an imaging device with respect to a subject.
  • the present invention provides the following solutions.
  • the present invention includes a captured image acquisition means for acquiring a captured image of a camera; Imaging angle acquisition means for acquiring a three-dimensional imaging angle of the camera; Image analysis means for image analysis of the subject of the captured image; Imaging angle storage means for storing the subject subjected to image analysis and the acquired imaging angle in association with each other; An imaging angle adjustment system is provided.
  • the imaging angle adjustment system acquires a captured image of a camera, acquires a three-dimensional imaging angle of the camera, performs image analysis on a subject of the captured image, and acquires the subject subjected to image analysis.
  • the imaged angles are stored in association with each other.
  • the present invention is a category of the imaging angle adjustment system, but also in other categories such as a method and a program, the same actions and effects according to the category are exhibited.
  • an imaging angle adjustment system an imaging angle adjustment method, and a program that can automatically adjust the imaging angle of an imaging device with respect to a subject.
  • FIG. 1 is a diagram showing an outline of the imaging angle adjustment system 1.
  • FIG. 2 is an overall configuration diagram of the imaging angle adjustment system 1.
  • FIG. 3 is a functional block diagram of the computer 10, the information terminal 100, and the camera 200.
  • FIG. 4 is a flowchart showing the imaging angle storage process in the first embodiment executed by the computer 10 and the camera 200.
  • FIG. 5 is a flowchart showing an imaging angle storage process in the second embodiment executed by the computer 10 and the camera 200.
  • FIG. 6 is a flowchart showing imaging angle adjustment processing in the first embodiment executed by the computer 10, the information terminal 100, and the camera 200.
  • FIG. 7 is a flowchart showing imaging angle adjustment processing in the second embodiment executed by the computer 10, the information terminal 100, and the camera 200.
  • FIG. 8 is a flowchart showing imaging angle adjustment processing in the second embodiment executed by the computer 10, the information terminal 100, and the camera 200.
  • FIG. 9 is a diagram for schematically explaining a method in which the camera 200 acquires an imaging angle.
  • FIG. 1 is a diagram for explaining an outline of an imaging angle adjustment system 1 which is a preferred embodiment of the present invention.
  • the imaging angle adjustment system 1 includes a computer 10, an information terminal 100, and a camera 200.
  • the number of information terminals 100 and cameras 200 is not limited to one and may be plural. Further, the computer 10 and the information terminal 100 are not limited to real devices, and may be virtual devices. Each process described below may be realized by any one or a combination of the computer 10, the information terminal 100, and the camera 200.
  • the computer 10 is a computing device capable of data communication with the information terminal 100 and the camera 200.
  • the information terminal 100 is a terminal device capable of data communication with the computer 10.
  • the information terminal 100 is, for example, a cellular phone, a portable information terminal, a tablet terminal, a personal computer, an electric appliance such as a netbook terminal, a slate terminal, an electronic book terminal, a portable music player, a smart glass, a head mounted display, or the like Wearable terminals and other items.
  • the camera 200 is an imaging device that includes an imaging device such as an imaging element or a lens that can perform data communication with the computer 10 and that can simultaneously image a subject from a plurality of different directions.
  • an imaging device such as an imaging element or a lens that can perform data communication with the computer 10 and that can simultaneously image a subject from a plurality of different directions.
  • the camera 200 captures an image such as a moving image or a still image of the subject that is the object (step S01).
  • the camera 200 images a landscape, an article, a crop, a tree, or the like as a subject.
  • the camera 200 acquires the imaging position at the time of imaging as its own three-dimensional imaging angle (step S02).
  • the camera 200 transmits to the computer 10 imaging data indicating a captured image that is an image captured by the camera 200 and an imaging angle (step S03).
  • the computer 10 receives imaging data.
  • the computer 10 performs image analysis on the subject of the captured image included in the captured image data (step S04).
  • the computer 10 extracts a subject by extracting a feature amount existing in the captured image, and specifies the subject.
  • the computer 10 stores the subject subjected to the image analysis and the imaging angle in association with each other (step S05).
  • the information terminal 100 accepts a request for imaging a subject (step S06).
  • the request is, for example, a subject imaging instruction, camera 200 designation, or the like.
  • the information terminal 100 transmits acceptance request data indicating the accepted request to the computer 10 (step S07).
  • the computer 10 receives the reception request data. Based on the acceptance request data, the computer 10 identifies a subject to be imaged and extracts an imaging angle associated with the subject (step S08).
  • the computer 10 transmits imaging request data indicating a request for imaging the subject and the extracted imaging angle to the camera 200 (step S09).
  • the camera 200 receives imaging request data.
  • the camera 200 adjusts its own angle to the imaging angle extracted by the computer 10 based on the imaging request data (step S10).
  • the camera 200 images the subject at the adjusted imaging angle (step S11).
  • the camera 200 may recognize that the subject is a plane of a certain area, and adjust the imaging angle to an angle parallel to the plane.
  • the camera 200 transmits captured image data indicating the captured image of the captured subject to the computer 10.
  • the computer 10 receives captured image data and transmits the captured image data to the information terminal 100.
  • the information terminal 100 receives the captured image data and displays the captured image on its display unit based on the captured image data.
  • the imaging angle adjustment system 1 may be configured by the information terminal 100 and the camera 200.
  • the process executed by the computer 10 may be realized by either or both of the information terminal 100 and the camera 200.
  • the imaging angle adjustment system 1 may be configured by the computer 10 and the camera 200.
  • the processing executed by the information terminal 100 may be realized by the computer 10 or the camera 200.
  • FIG. 2 is a diagram showing a system configuration of the imaging angle adjustment system 1 which is a preferred embodiment of the present invention.
  • the imaging angle adjustment system 1 includes a computer 10, an information terminal 100, a camera 200, and a public line network (Internet network, third and fourth generation communication network, etc.) 5.
  • the information terminal 100 or the camera 200 is not limited to one, and may be a plurality.
  • the computer 10 or the information terminal 100 is not limited to a real device, and may be a virtual device. Each process described below may be realized by any one or a combination of the computer 10, the information terminal 100, and the camera 200.
  • the computer 10 is the above-described computing device having the functions described later.
  • the information terminal 100 is the above-described terminal device having the functions described below.
  • the camera 200 is the above-described imaging device having the functions described below.
  • FIG. 3 is a functional block diagram of the computer 10, the information terminal 100, and the camera 200.
  • the computer 10 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), etc. as the control unit 11, and a device for enabling communication with other devices as the communication unit 12. For example, a WiFi (Wireless Fidelity) compatible device compliant with IEEE 802.11 is provided.
  • the computer 10 also includes a data storage unit such as a hard disk, a semiconductor memory, a recording medium, or a memory card as the storage unit 13. Further, the computer 10 includes various analysis devices such as image analysis as the processing unit 14.
  • control unit 11 reads a predetermined program, thereby realizing the data transmission / reception module 20 in cooperation with the communication unit 12.
  • control unit 11 reads a predetermined program, thereby realizing the storage module 30 and the imaging angle extraction module 31 in cooperation with the storage unit 13.
  • control unit 11 reads a predetermined program, thereby realizing the image analysis module 40 in cooperation with the processing unit 14.
  • the information terminal 100 includes a CPU, RAM, ROM, and the like as the control unit 110, and a WiFi compatible device and the like for enabling communication with other devices as the communication unit 120. Further, the information terminal 100 includes, as the input / output unit 140, a display unit that outputs and displays data and images controlled by the control unit 110, an input unit such as a touch panel, a keyboard, and a mouse that receives input from a patient.
  • the control unit 110 when the control unit 110 reads a predetermined program, the data transmission / reception module 150 is realized in cooperation with the communication unit 120. In the information terminal 100, the control unit 110 reads a predetermined program, thereby realizing the input receiving module 160 and the display module 161 in cooperation with the input / output unit 140.
  • the camera 200 includes a CPU, RAM, ROM, and the like as the control unit 210, and a device and the like for enabling communication with other devices as the communication unit 220.
  • the camera 200 includes, as the imaging unit 230, a plurality of imaging devices such as an imaging element and a lens that can simultaneously image a subject from a plurality of different directions, a device for adjusting its imaging angle, and the like.
  • the control unit 210 when the control unit 210 reads a predetermined program, the data transmission / reception module 250 is realized in cooperation with the communication unit 220. In the camera 200, the control unit 210 reads a predetermined program, thereby realizing an imaging module 260, an imaging angle acquisition module 261, and an imaging angle adjustment module 262 in cooperation with the imaging unit 230.
  • the information terminal 100 and the camera 200 are described as being one device, but it goes without saying that the processing can be executed even when there are a plurality of devices.
  • FIG. 4 is a diagram illustrating a flowchart of the imaging angle storage process in the first embodiment executed by the computer 10 and the camera 200. The processing executed by the modules of each device described above will be described together with this processing.
  • Embodiment is an example of embodiment in case the camera 200 which the imaging angle adjustment system 1 has is being fixed to the specific point.
  • the imaging module 260 captures an image such as a moving image or a still image of the subject that is the object (step S20).
  • the imaging module 260 images a landscape, an article, a crop, a tree, or the like as a subject.
  • An image captured by the imaging module 260 is a captured image.
  • the imaging module 260 will be described on the assumption that the subject is imaged at a preset imaging position.
  • the imaging angle acquisition module 261 acquires its imaging angle (step S21). In step S21, the imaging angle acquisition module 261 acquires the imaging position at the time of imaging as its own three-dimensional imaging angle.
  • the data transmission / reception module 250 transmits imaging data indicating a captured image and an imaging angle to the computer 10 (step S22). Note that when there are a plurality of cameras 200 in the imaging angle adjustment system 1, the data transmission / reception module 250 may transmit the identifier of each camera 200 included in the imaging data.
  • the identifier of the camera 200 is information that can uniquely identify the camera 200 such as an IP address, a MAC address, a manufacturing number, and a device number.
  • the data transmission / reception module 20 receives imaging data.
  • the computer 10 receives the imaging data, and acquires a captured image captured by the camera 200 and a three-dimensional imaging angle of the camera 200.
  • the image analysis module 40 performs image analysis on the captured image based on the captured data (step S23). In step S23, the image analysis module 40 extracts a feature amount included in the captured image. The image analysis module 40 identifies and extracts a subject included in the captured image based on the extracted feature amount.
  • the storage module 30 stores the extracted subject and the acquired imaging angle in association with each other (step S24).
  • step S24 when there are a plurality of extracted subjects, the storage module 30 stores each subject and the imaging angle in association with each other. Note that when there are a plurality of cameras 200 in the imaging angle adjustment system 1, the storage module 30 may store the identifier of each camera 200, each subject, and the imaging angle in association with each other.
  • the above is the imaging angle storage processing in the first embodiment.
  • FIG. 5 is a diagram illustrating a flowchart of the imaging angle storage process in the second embodiment executed by the computer 10 and the camera 200. The processing executed by the modules of each device described above will be described together with this processing.
  • 2nd Embodiment is an example of embodiment in case the camera 200 which the imaging angle adjustment system 1 has is provided in moving bodies, such as a drone.
  • the imaging module 260 captures an image such as a moving image or a still image of the subject that is the object (step S30).
  • the imaging module 260 images a landscape, an article, a crop, a tree, or the like as a subject.
  • An image captured by the imaging module 260 is a captured image.
  • the imaging angle acquisition module 261 analyzes the captured image and acquires the imaging angle (step S31).
  • the imaging angle acquisition module 261 recognizes a region having the same pattern (pattern) area existing in the captured image as a plane such as a floor or the ground.
  • the imaging angle acquisition module 261 acquires its own imaging angle from the plane inclination.
  • FIG. 9 is a diagram for schematically explaining a method by which the imaging angle acquisition module 261 acquires the imaging angle.
  • the camera 200 is in a state where the subject 300, the wall 310, and the floor 320 are imaged.
  • the plane described above corresponds to the floor 320.
  • the imaging angle acquisition module 261 extracts two predetermined positions 330 and 331 from the imaging position to the floor 320 as samples.
  • the imaging angle acquisition module 261 forms a triangle 333 connecting the predetermined positions 330 and 331 and the center position 332 of the imaging point.
  • the triangle 333 is formed by three sides 340 to 342.
  • the imaging angle acquisition module 261 forms a perpendicular 350 from the center position 332 to the floor 320, and forms an intersection 334 between the side 342 and the perpendicular 350.
  • the imaging angle acquisition module 261 calculates the lengths of the sides 340 and 341 and the perpendicular 350.
  • the imaging angle acquisition module 261 learns the shift length and the actual distance between the images captured by the left and right cameras, and estimates the distance.
  • the imaging angle acquisition module 261 calculates the lengths of the line segment 360 connecting the predetermined position 330 and the intersection point 334 and the line segment 361 connecting the predetermined position 331 and the intersection point 334 on the side 342.
  • the imaging angle acquisition module 261 calculates the angle 370 using a trigonometric function.
  • the imaging angle acquisition module 261 acquires the calculated angle 370 as its own three-dimensional imaging angle. This angle 370 is substantially equal to the angle between the camera 200 and the mounting position of the camera 200. That is, the imaging angle acquisition module 261 acquires its own three-dimensional imaging angle by acquiring the value of this angle 370.
  • imaging angle acquisition module 261 is not limited to the example described above, and may acquire its own imaging angle by other methods.
  • the imaging angle adjustment module 262 determines whether its own imaging angle is an angle parallel to the plane (step S32). In step S32, the imaging angle adjustment module 262 determines whether or not the value of the angle 370 described above is zero.
  • the imaging angle adjustment module 262 determines in step S32 that the angle is not parallel to the plane (NO in step S32), the imaging angle adjustment module 262 adjusts its imaging angle to an angle parallel to the ground ( Step S33). In step S ⁇ b> 33, the imaging angle adjustment module 262 adjusts the imaging angle of the camera 200 by driving various devices provided in the attachment portion with the moving body.
  • the imaging module 260 captures an image of the subject (step S34).
  • the process in step S34 is the same as the process in step S30 described above.
  • the data transmission / reception module 250 transmits imaging data indicating a captured image and an imaging angle to the computer 10 (step S35).
  • the imaging angle adjustment module 262 determines in step S32 that the angle is parallel to the plane (YES in step S32)
  • the data transmission / reception module 250 transmits the imaging data indicating the captured image and the imaging angle to the computer. 10 (step S36).
  • the data transmission / reception module 250 may include the identifier of each camera 200 included in the imaging data when there are a plurality of cameras 200 in the imaging angle adjustment system 1. .
  • the data transmission / reception module 20 receives imaging data.
  • the computer 10 receives the imaging data, and acquires a captured image captured by the camera 200 and a three-dimensional imaging angle of the camera 200.
  • the image analysis module 40 performs image analysis on the captured image based on the captured data (step S37).
  • the process of step S37 is the same as the process of step S23 described above.
  • the storage module 30 stores the extracted subject and the acquired imaging angle in association with each other (step S38).
  • the process of step S38 is the same as the process of step S24 described above.
  • FIG. 6 is a diagram illustrating a flowchart of the imaging angle adjustment process in the first embodiment executed by the computer 10, the information terminal 100, and the camera 200. The processing executed by the modules of each device described above will be described together with this processing.
  • the input reception module 160 receives a request for imaging a subject (step S40).
  • the input reception module 160 receives a request by receiving input of features, names, etc. of the subject, input of designation of the camera 200, and the like.
  • the data transmission / reception module 150 transmits acceptance request data indicating a request for accepting an input to the computer 10 (step S41).
  • the data transmission / reception module 20 receives the reception request data.
  • the imaging angle extraction module 31 identifies a subject based on the reception request data, and extracts an imaging angle associated with the identified subject (step S42).
  • the imaging angle extraction module 31 refers to the subject stored in the storage module 30 based on the subject included in the reception request data, and extracts the imaging angle associated with the referenced subject.
  • the data transmitting / receiving module 20 transmits imaging request data indicating the identified subject and the imaging angle associated with the subject to the camera 200 (step S43).
  • the data transmission / reception module 250 receives the imaging request data.
  • the imaging angle adjustment module 262 adjusts its own imaging angle based on the imaging request data (step S44).
  • the imaging angle adjustment module 262 acquires the imaging angle included in the imaging request data, compares the acquired imaging angle with the current own imaging angle, and determines the own imaging angle as the acquired imaging angle. Adjust to.
  • the imaging angle adjustment module 262 adjusts the imaging angle of the camera 200 by driving various devices provided in the attachment portion.
  • the imaging module 260 images the subject at the adjusted imaging angle (step S45).
  • the data transmission / reception module 250 transmits captured image data indicating the captured image of the captured subject to the computer 10 (step S46).
  • the data transmission / reception module 20 receives the captured image data, and transmits the received captured image data to the information terminal 100 (step S47).
  • the data transmission / reception module 150 receives captured image data.
  • the display module 161 displays a captured image based on the received captured image data (step S48).
  • the above is the imaging angle adjustment processing.
  • FIGS. 7 and 8 are flowcharts of the imaging angle adjustment process in the second embodiment executed by the computer 10, the information terminal 100, and the camera 200. The processing executed by the modules of each device described above will be described together with this processing.
  • the imaging angle adjustment system 1 performs the same processing as in steps S40 to S45 described above (steps S50 to S55).
  • the imaging angle acquisition module 261 analyzes the captured image and determines whether or not a plane exists (step S56). In step S56, the imaging angle acquisition module 261 determines whether or not a plane existing in the captured image has been recognized by the same processing as the processing in step S31 described above.
  • step S56 when the imaging angle acquisition module 261 determines that there is no plane (NO in step S56), the data transmission / reception module 250 transmits captured image data indicating the captured image of the captured subject to the computer 10 ( Step S57). In step S57, the data transmission / reception module 250 transmits the captured image data of the subject imaged in the process of step S55 to the computer 10.
  • step S58 the imaging angle adjustment module 262 determines whether or not the imaging angle adjustment module 262 is an angle parallel to the plane. Judgment is made (step S58).
  • the process of step S58 is the same as the process of step S32 described above.
  • step S58 when the imaging angle adjustment module 262 determines that the angle is not parallel to the plane (NO in step S58), the imaging angle adjustment module 262 adjusts its imaging angle to an angle parallel to the plane ( Step S59).
  • the process in step S59 is the same as the process in step S33 described above.
  • the imaging module 260 images the subject (step S60).
  • the process of step S60 is the same as the process of step S45 described above.
  • the data transmission / reception module 250 transmits captured image data indicating the captured image of the captured subject to the computer 10 (step S61).
  • step S58 when the imaging angle adjustment module 262 determines in step S58 that the angle is parallel to the plane (YES in step S58), the data transmission / reception module 250 transmits captured image data indicating the captured image of the captured subject to the computer. 10 (step S62). In step S ⁇ b> 62, the data transmission / reception module 250 transmits the captured image data of the subject imaged in step S ⁇ b> 55 to the computer 10.
  • the data transmitting / receiving module 20 receives the captured image data, and transmits the received captured image data to the information terminal 100 (step S63).
  • the data transmission / reception module 150 receives captured image data.
  • the display module 161 displays a captured image based on the received captured image data (step S64).
  • the above is the imaging angle adjustment processing.
  • the imaging angle adjustment system 1 is realized by the computer 10, the information terminal 100, and the camera 200, but may be realized by the information terminal 100 and the camera 200.
  • the process executed by the computer 10 may be executed by either or both of the information terminal 100 and the camera 200.
  • the imaging angle adjustment system 1 may be realized by the computer 10 and the camera 200.
  • the process executed by the information terminal 100 may be executed by either or both of the computer 10 and the camera 200.
  • the processing relating to the image analysis performed by the camera 200 may be performed by either or both of the computer 10 and the information terminal 100.
  • the means and functions described above are realized by a computer (including a CPU, an information processing apparatus, and various terminals) reading and executing a predetermined program.
  • the program may be, for example, in a form (SaaS: Software as a Service) provided from a computer via a network, or a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD).
  • -It is provided in a form recorded on a computer-readable recording medium such as RAM.
  • the computer reads the program from the recording medium, transfers it to the internal storage device or the external storage device, stores it, and executes it.
  • the program may be recorded in advance in a storage device (recording medium) such as a magnetic disk, an optical disk, or a magneto-optical disk, and provided from the storage device to a computer via a communication line.
  • Imaging angle adjustment system 10 computers, 100 information terminals, 200 cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

【課題】被写体に対して、撮像装置の撮像角度を自動で調整することが可能な撮像角度調整システム、撮像角度調整方法及びプログラムを提供することを目的とする。 【解決手段】撮像角度調整システム１は、カメラ２００の撮像画像を取得し、カメラ２００の３次元の撮像角度を取得し、撮像画像の被写体を画像解析し、画像解析した被写体と、取得した撮像角度とを対応付けて記憶する。さらに、撮像角度調整システム１は、被写体を撮像するためのリクエストを受け付け、リクエストに応じて、記憶した撮像角度を抽出し、抽出した撮像角度にカメラ２００の角度を調整する。また、撮像角度調整システム１は、画像解析した結果、被写体が、一定領域の平面であることを識別し、平面を識別した結果、平面と平行の角度にカメラ２００の角度を調整する。

Description

撮像角度調整システム、撮像角度調整方法及びプログラム
　本発明は、カメラの角度を調整する撮像角度調整システム、撮像角度調整方法及びプログラムに関する。
　近年、公衆回線網等に接続された撮像装置が、対象とする被写体の動画や静止画等の画像を撮像し、撮像した画像である撮像画像を、遠隔地に存在する端末装置に送信するコンピュータシステムが存在する。このようなコンピュータシステムにおいて、被写体に対して適切な撮像角度で撮像されているかは、撮像時の撮像装置の撮像角度に依存していた。例えば、コンピュータシステムは、被写体を撮像する際、被写体に対して水平に撮像したいにも関わらず、全く違う向きに撮像装置が向いている場合、毎回、水平方向に撮像角度を調整する必要が生じていた。特に、撮像装置がドローン等の移動体であり、この移動体が被写体を撮像する際、被写体に対する水平となる撮像角度が、撮像毎に変化するため調整が困難であった。
　このようなコンピュータシステムとして、移動体に取り付けた撮像装置が撮像した画像に、較正用オブジェクトを重畳させ、この較正用オブジェクトの移動量と、回転角に基づいて、撮像装置の位置を較正する構成が開示されている（特許文献１参照）。
特開２０１４－２２５８１９号公報
　しかしながら、特許文献１の構成では、被写体を撮像する際、毎回、水平方向に撮像角度を調整する必要があった。
　本発明は、被写体に対して、撮像装置の撮像角度を自動で調整することが可能な撮像角度調整システム、撮像角度調整方法及びプログラムを提供することを目的とする。
　本発明では、以下のような解決手段を提供する。
　本発明は、カメラの撮像画像を取得する撮像画像取得手段と、
　前記カメラの３次元の撮像角度を取得する撮像角度取得手段と、
　前記撮像画像の被写体を画像解析する画像解析手段と、
　画像解析した前記被写体と、取得した前記撮像角度とを対応付けて記憶する撮像角度記憶手段と、
　を備えることを特徴とする撮像角度調整システムを提供する。
　本発明によれば、撮像角度調整システムは、カメラの撮像画像を取得し、前記カメラの３次元の撮像角度を取得し、前記撮像画像の被写体を画像解析し、画像解析した前記被写体と、取得した前記撮像角度とを対応付けて記憶する。
　本発明は、撮像角度調整システムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
　本発明によれば、被写体に対して、撮像装置の撮像角度を自動で調整することが可能な撮像角度調整システム、撮像角度調整方法及びプログラムを提供することが可能となる。
図１は、撮像角度調整システム１の概要を示す図である。 図２は、撮像角度調整システム１の全体構成図である。 図３は、コンピュータ１０、情報端末１００、カメラ２００の機能ブロック図である。 図４は、コンピュータ１０、カメラ２００が実行する第１の実施形態における撮像角度記憶処理を示すフローチャートである。 図５は、コンピュータ１０、カメラ２００が実行する第２の実施形態における撮像角度記憶処理を示すフローチャートである。 図６は、コンピュータ１０、情報端末１００、カメラ２００が実行する第１の実施形態における撮像角度調整処理を示すフローチャートである。 図７は、コンピュータ１０、情報端末１００、カメラ２００が実行する第２の実施形態における撮像角度調整処理を示すフローチャートである。 図８は、コンピュータ１０、情報端末１００、カメラ２００が実行する第２の実施形態における撮像角度調整処理を示すフローチャートである。 図９は、カメラ２００が撮像角度を取得する方法を模式的に説明するための図である。
　以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これらはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
　［撮像角度調整システム１の概要］
　本発明の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態である撮像角度調整システム１の概要を説明するための図である。撮像角度調整システム１は、コンピュータ１０、情報端末１００、カメラ２００から構成される。
　なお、図１において、情報端末１００、カメラ２００の数は、１つに限らず複数であってもよい。また、コンピュータ１０、情報端末１００は、実在する装置に限らず、仮想的な装置であってもよい。また、後述する各処理は、コンピュータ１０、情報端末１００又はカメラ２００のいずれか又は複数の組合わせにより実現されてもよい。
　コンピュータ１０は、情報端末１００、カメラ２００とデータ通信可能な計算装置である。
　情報端末１００は、コンピュータ１０とデータ通信可能な、端末装置である。情報端末１００は、例えば、携帯電話、携帯情報端末、タブレット端末、パーソナルコンピュータに加え、ネットブック端末、スレート端末、電子書籍端末、携帯型音楽プレーヤ等の電化製品や、スマートグラス、ヘッドマウントディスプレイ等のウェアラブル端末や、その他の物品である。
　カメラ２００は、コンピュータ１０とデータ通信可能な、撮像素子やレンズ等の撮像デバイスを備え、被写体を複数の異なる方向から同時に撮像可能な撮像装置である。
　カメラ２００は、対象物である被写体の動画又は静止画等の画像を撮像する（ステップＳ０１）。カメラ２００は、被写体として、風景、物品、農作物、樹木等を撮像する。
　カメラ２００は、撮像時の撮像位置を、自身の３次元の撮像角度として取得する（ステップＳ０２）。
　カメラ２００は、自身が撮像した画像である撮像画像と、撮像角度とを示す撮像データを、コンピュータ１０に送信する（ステップＳ０３）。
　コンピュータ１０は、撮像データを受信する。コンピュータ１０は、この撮像データに含まれる撮像画像の被写体を画像解析する（ステップＳ０４）。コンピュータ１０は、撮像画像に存在する特徴量を抽出することにより、被写体を抽出し、この被写体を特定する。
　コンピュータ１０は、画像解析した被写体と、撮像角度とを対応付けて記憶する（ステップＳ０５）。
　情報端末１００は、被写体を撮像するためのリクエストを受け付ける（ステップＳ０６）。リクエストとしては、例えば、被写体の撮像指示や、カメラ２００の指定等である。
　情報端末１００は、受け付けたリクエストを示す受付リクエストデータを、コンピュータ１０に送信する（ステップＳ０７）。
　コンピュータ１０は、受付リクエストデータを受信する。コンピュータ１０は、この受付リクエストデータに基づいて、撮像する被写体を特定し、この被写体に対応付けられた撮像角度を抽出する（ステップＳ０８）。
　コンピュータ１０は、被写体を撮像するためのリクエストと、抽出した撮像角度とを示す撮像リクエストデータを、カメラ２００に送信する（ステップＳ０９）。
　カメラ２００は、撮像リクエストデータを受信する。カメラ２００は、撮像リクエストデータに基づいて、コンピュータ１０が抽出した撮像角度に自身の角度を調整する（ステップＳ１０）。
　カメラ２００は、調整した撮像角度で、被写体を撮像する（ステップＳ１１）。
　なお、カメラ２００は、被写体が一定領域の平面であることを認識し、この平面と平行の角度に撮像角度を調整してもよい。
　カメラ２００は、撮像した被写体の撮像画像を示す撮像画像データを、コンピュータ１０に送信する。コンピュータ１０は、撮像画像データを受信し、この撮像画像データを、情報端末１００に送信する。情報端末１００は、撮像画像データを受信し、この撮像画像データに基づいて撮像画像を自身の表示部に表示する。
　以上が、撮像角度調整システム１の概要である。
　なお、撮像角度調整システム１は、情報端末１００及びカメラ２００により構成されてもよい。この場合、コンピュータ１０が実行する処理を、情報端末１００又はカメラ２００のいずれか又は双方により実現さればよい。また、撮像角度調整システム１は、コンピュータ１０及びカメラ２００により構成されてもよい。この場合、情報端末１００が実行する処理を、コンピュータ１０又はカメラ２００により実現されればよい。
　［撮像角度調整システム１のシステム構成］
　図２に基づいて、撮像角度調整システム１のシステム構成について説明する。図２は、本発明の好適な実施形態である撮像角度調整システム１のシステム構成を示す図である。撮像角度調整システム１は、コンピュータ１０、情報端末１００、カメラ２００、公衆回線網（インターネット網や、第３、第４世代通信網等）５から構成される。
　なお、情報端末１００又はカメラ２００は、１つに限らず、複数であってもよい。コンピュータ１０又は情報端末１００は、実在する装置に限らず、仮想的な装置であってもよい。また、後述する各処理は、コンピュータ１０、情報端末１００、カメラ２００のいずれか又は複数の組合わせにより実現されてもよい。
　コンピュータ１０は、後述の機能を備えた上述した計算装置である。
　情報端末１００は、後述の機能を備えた上述した端末装置である。
　カメラ２００は、後述の機能を備えた上述した撮像装置である。
　［各機能の説明］
　図３に基づいて、撮像角度調整システム１の機能について説明する。図３は、コンピュータ１０、情報端末１００、カメラ２００の機能ブロック図を示す図である。
　コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ　Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、コンピュータ１０は、記憶部１３として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、処理部１４として、画像解析等の各種解析デバイス等を備える。
　コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、データ送受信モジュール２０を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、記憶部１３と協働して、記憶モジュール３０、撮像角度抽出モジュール３１を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、処理部１４と協働して、画像解析モジュール４０を実現する。
　情報端末１００は、コンピュータ１０と同様に、制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのＷｉＦｉ対応デバイス等を備える。また、情報端末１００は、入出力部１４０として、制御部１１０で制御したデータや画像を出力表示する表示部や、患者からの入力を受け付けるタッチパネル、キーボード、マウス等の入力部等を備える。
　情報端末１００において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、データ送受信モジュール１５０を実現する。また、情報端末１００において、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、入力受付モジュール１６０、表示モジュール１６１を実現する。
　カメラ２００は、コンピュータ１０と同様に、制御部２１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部２２０として、他の機器と通信可能にするためのデバイス等を備える。また、カメラ２００は、撮像部２３０として、被写体を複数の異なる方向から同時に撮像可能な撮像素子やレンズ等の複数の撮像デバイス、自身の撮像角度を調整するためのデバイス等を備える。
　カメラ２００において、制御部２１０が所定のプログラムを読み込むことにより、通信部２２０と協働して、データ送受信モジュール２５０を実現する。また、カメラ２００において、制御部２１０が所定のプログラムを読み込むことにより、撮像部２３０と協働して、撮像モジュール２６０、撮像角度取得モジュール２６１、撮像角度調整モジュール２６２を実現する。
　なお、以下の説明において、情報端末１００、カメラ２００の各装置は１つであるものとして説明しているが、複数であっても本処理は実行可能であることはいうまでもない。
　［撮像角度記憶処理］
　図４に基づいて、撮像角度調整システム１が実行する第１の実施形態における撮像角度記憶処理について説明する。図４は、コンピュータ１０、カメラ２００が実行する第１の実施形態における撮像角度記憶処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　第１の実施形態は、撮像角度調整システム１が有するカメラ２００が、特定地点に固定されている場合の実施形態の一例である。
　撮像モジュール２６０は、対象物である被写体の動画又は静止画等の画像を撮像する（ステップＳ２０）。ステップＳ２０において、撮像モジュール２６０は、被写体として、風景、物品、農作物、樹木等を撮像する。撮像モジュール２６０が撮像する画像が、撮像画像である。撮像モジュール２６０は、被写体に対して、予め設定された撮像位置により、撮像しているものとして説明する。
　撮像角度取得モジュール２６１は、自身の撮像角度を取得する（ステップＳ２１）。ステップＳ２１において、撮像角度取得モジュール２６１は、撮像時の撮像位置を、自身の３次元の撮像角度として取得する。
　データ送受信モジュール２５０は、撮像画像と、撮像角度とを示す撮像データを、コンピュータ１０に送信する（ステップＳ２２）。なお、データ送受信モジュール２５０は、撮像角度調整システム１内に複数のカメラ２００が存在する場合、各カメラ２００の識別子を撮像データに含めて送信してもよい。カメラ２００の識別子とは、例えば、ＩＰアドレス、ＭＡＣアドレス、製造番号、機器番号等のカメラ２００を一意に特定可能な情報である。
　データ送受信モジュール２０は、撮像データを受信する。コンピュータ１０は、撮像データを受信することにより、カメラ２００が撮像する撮像画像と、カメラ２００の３次元の撮像角度とを取得する。
　画像解析モジュール４０は、撮像データに基づいて、撮像画像を画像解析する（ステップＳ２３）。ステップＳ２３において、画像解析モジュール４０は、撮像画像に含まれる特徴量を抽出する。画像解析モジュール４０は、抽出した特徴量に基づいて、撮像画像に含まれる被写体を特定し、抽出する。
　記憶モジュール３０は、抽出した被写体と、取得した撮像角度とを対応付けて記憶する（ステップＳ２４）。ステップＳ２４において、抽出した被写体が複数存在する場合、記憶モジュール３０は、各被写体と、撮像角度とを対応付けて記憶する。なお、記憶モジュール３０は、撮像角度調整システム１内に複数のカメラ２００が存在する場合、各カメラ２００の識別子と、各被写体と、撮像角度とを対応付けて記憶してもよい。
　以上が、第１の実施形態における撮像角度記憶処理である。
　［撮像角度記憶処理］
　図５に基づいて、撮像角度調整システム１が実行する第２の実施形態における撮像角度記憶処理について説明する。図５は、コンピュータ１０、カメラ２００が実行する第２の実施形態における撮像角度記憶処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　第２の実施形態は、撮像角度調整システム１が有するカメラ２００が、ドローン等の移動体に備えられている場合の実施形態の一例である。
　撮像モジュール２６０は、対象物である被写体の動画又は静止画等の画像を撮像する（ステップＳ３０）。ステップＳ３０において、撮像モジュール２６０は、被写体として、風景、物品、農作物、樹木等を撮像する。撮像モジュール２６０が撮像する画像が、撮像画像である。
　撮像角度取得モジュール２６１は、撮像画像を画像解析し、撮像角度を取得する（ステップＳ３１）。ステップＳ３１において、撮像角度取得モジュール２６１は、撮像画像中に存在する同じパターン（模様）面積が、最大の領域を床又は地面等の平面と認識する。撮像角度取得モジュール２６１は、平面の傾きから自身の撮像角度を取得する。
　図９に基づいて、撮像角度取得モジュール２６１が撮像角度を取得する方法について説明する。図９は、撮像角度取得モジュール２６１が撮像角度を取得する方法を模式的に説明するための図である。図９において、カメラ２００は、被写体３００と、壁３１０と、床３２０を撮像した状態である。上述した平面は、床３２０に該当する。
　撮像角度取得モジュール２６１は、撮像位置から床３２０までの２か所の所定位置３３０，３３１をサンプルとして抽出する。撮像角度取得モジュール２６１は、この所定位置３３０，３３１と、撮像地点の中心位置３３２とを結んだ三角形３３３を形成する。三角形３３３は、辺３４０～３４２の３辺により形成される。撮像角度取得モジュール２６１は、中心位置３３２から床３２０へ垂線３５０を形成し、辺３４２と垂線３５０の交点３３４を形成する。撮像角度取得モジュール２６１は、辺３４０，３４１及び垂線３５０の長さを算出する。撮像角度取得モジュール２６１は、左右のカメラで撮像した画像のずれの長さと実際の距離を学習させ、距離を推定することにより。この辺３４０，３４１及び垂線３５０の長さを算出する。撮像角度取得モジュール２６１は、辺３４２において、所定位置３３０と交点３３４とを結ぶ線分３６０と、所定位置３３１と交点３３４とを結ぶ線分３６１との長さを算出する。撮像角度取得モジュール２６１は、三角関数により、角度３７０を算出する。撮像角度取得モジュール２６１は、この算出した角度３７０を自身の３次元の撮像角度として取得する。この角度３７０は、カメラ２００とこのカメラ２００の取付位置との間の角度と略等しい。すなわち、撮像角度取得モジュール２６１は、この角度３７０の値を取得することにより、自身の３次元の撮像角度を取得する。
　なお、撮像角度取得モジュール２６１は、上述した例に限らず、その他の方法により、自身の撮像角度を取得してもよい。
　撮像角度調整モジュール２６２は、自身の撮像角度が、平面と平行の角度であるか否かを判断する（ステップＳ３２）。ステップＳ３２において、撮像角度調整モジュール２６２は、上述した角度３７０の値が、０であるか否かを判断する。
　ステップＳ３２において、撮像角度調整モジュール２６２は、平面と平行の角度ではないと判断した場合（ステップＳ３２　ＮＯ）、撮像角度調整モジュール２６２は、自身の撮像角度を、地面と平行の角度に調整する（ステップＳ３３）。ステップＳ３３において、撮像角度調整モジュール２６２は、移動体との取付部分に設けられた各種デバイスを駆動することにより、カメラ２００の撮像角度を調整する。
　撮像モジュール２６０は、被写体の画像を撮像する（ステップＳ３４）。ステップＳ３４の処理は、上述したステップＳ３０の処理と同様である。
　データ送受信モジュール２５０は、撮像画像と、撮像角度とを示す撮像データを、コンピュータ１０に送信する（ステップＳ３５）。
　一方、ステップＳ３２において、撮像角度調整モジュール２６２は、平面と平行の角度であると判断した場合（ステップＳ３２　ＹＥＳ）、データ送受信モジュール２５０は、撮像画像と、撮像角度とを示す撮像データを、コンピュータ１０に送信する（ステップＳ３６）。
　なお、ステップＳ３５及びステップＳ３６の各処理において、データ送受信モジュール２５０は、撮像角度調整システム１内に複数のカメラ２００が存在する場合、各カメラ２００の識別子を撮像データに含めて送信してもよい。
　データ送受信モジュール２０は、撮像データを受信する。コンピュータ１０は、撮像データを受信することにより、カメラ２００が撮像する撮像画像と、カメラ２００の３次元の撮像角度とを取得する。
　画像解析モジュール４０は、撮像データに基づいて、撮像画像を画像解析する（ステップＳ３７）。ステップＳ３７の処理は、上述したステップＳ２３の処理と同様である。
　記憶モジュール３０は、抽出した被写体と、取得した撮像角度とを対応付けて記憶する（ステップＳ３８）。ステップＳ３８の処理は、上述したステップＳ２４の処理と同様である。
　以上が、第２の実施形態における撮像角度記憶処理である。
　［撮像角度調整処理］
　図６に基づいて、撮像角度調整システム１が実行する第１の実施形態における撮像角度調整処理について説明する。図６は、コンピュータ１０、情報端末１００、カメラ２００が実行する第１の実施形態における撮像角度調整処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　入力受付モジュール１６０は、被写体を撮像するためのリクエストを受け付ける（ステップＳ４０）。ステップＳ４０において、入力受付モジュール１６０は、被写体の特徴、名称等の入力やカメラ２００の指定の入力等を受け付けることにより、リクエストを受け付ける。
　データ送受信モジュール１５０は、入力を受け付けたリクエストを示す受付リクエストデータを、コンピュータ１０に送信する（ステップＳ４１）。
　データ送受信モジュール２０は、受付リクエストデータを受信する。撮像角度抽出モジュール３１は、受付リクエストデータに基づいて、被写体を特定し、特定した被写体に対応付けられた撮像角度を抽出する（ステップＳ４２）。ステップＳ４２において、撮像角度抽出モジュール３１は、受付リクエストデータに含まれる被写体に基づいて、記憶モジュール３０が記憶する被写体を参照し、この参照した被写体に対応付けられた撮像角度を抽出する。
　データ送受信モジュール２０は、特定した被写体と、この被写体に対応付けられた撮像角度とを示す撮像リクエストデータを、カメラ２００に送信する（ステップＳ４３）。
　データ送受信モジュール２５０は、撮像リクエストデータを、受信する。撮像角度調整モジュール２６２は、撮像リクエストデータに基づいて、自身の撮像角度を調整する（ステップＳ４４）。ステップＳ４４において、撮像角度調整モジュール２６２は、撮像リクエストデータに含まれる撮像角度を取得し、取得した撮像角度と、現在の自身の撮像角度とを比較し、自身の撮像角度を、取得した撮像角度に調整する。ステップＳ４４において、撮像角度調整モジュール２６２は、取付部分に設けられた各種デバイスを駆動することにより、カメラ２００の撮像角度を調整する。
　撮像モジュール２６０は、調整された撮像角度により、被写体を撮像する（ステップＳ４５）。
　データ送受信モジュール２５０は、撮像した被写体の撮像画像を示す撮像画像データを、コンピュータ１０に送信する（ステップＳ４６）。
　データ送受信モジュール２０は、撮像画像データを受信し、受信した撮像画像データを、情報端末１００に送信する（ステップＳ４７）。
　データ送受信モジュール１５０は、撮像画像データを受信する。表示モジュール１６１は、受信した撮像画像データに基づいて、撮像画像を表示する（ステップＳ４８）。
　以上が、撮像角度調整処理である。
　［撮像角度調整処理］
　図７及び図８に基づいて、撮像角度調整システム１が実行する第２の実施形態における撮像角度調整処理について説明する。図７及び図８は、コンピュータ１０、情報端末１００、カメラ２００が実行する第２の実施形態における撮像角度調整処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
　撮像角度調整システム１は、上述したステップＳ４０～Ｓ４５と同様の処理を実行する（ステップＳ５０～Ｓ５５）。
　撮像角度取得モジュール２６１は、撮像画像を画像解析し、平面が存在するか否かを判断する（ステップＳ５６）。ステップＳ５６において、撮像角度取得モジュール２６１は、上述したステップＳ３１の処理と同様の処理により、撮像画像中に存在する平面を認識できたか否かを判断する。
　ステップＳ５６において、撮像角度取得モジュール２６１は、平面が存在しないと判断した場合（ステップＳ５６　ＮＯ）、データ送受信モジュール２５０は、撮像した被写体の撮像画像を示す撮像画像データを、コンピュータ１０に送信する（ステップＳ５７）。ステップＳ５７において、データ送受信モジュール２５０は、ステップＳ５５の処理で撮像した被写体の撮像画像データをコンピュータ１０に送信する。
　一方、ステップＳ５６において、撮像角度取得モジュール２６１は、平面が存在すると判断した場合（ステップＳ５６　ＹＥＳ）、撮像角度調整モジュール２６２は、自身の撮像角度が、平面と平行の角度であるか否かを判断する（ステップＳ５８）。ステップＳ５８の処理は、上述したステップＳ３２の処理と同様である。
　ステップＳ５８において、撮像角度調整モジュール２６２は、平面と平行の角度ではないと判断した場合（ステップＳ５８　ＮＯ）、撮像角度調整モジュール２６２は、自身の撮像角度を、平面と平行の角度に調整する（ステップＳ５９）。ステップＳ５９の処理は、上述したステップＳ３３の処理と同様である。
　撮像モジュール２６０は、被写体を撮像する（ステップＳ６０）。ステップＳ６０の処理は、上述したステップＳ４５の処理と同様である。
　データ送受信モジュール２５０は、撮像した被写体の撮像画像を示す撮像画像データを、コンピュータ１０に送信する（ステップＳ６１）。
　一方、ステップＳ５８において、撮像角度調整モジュール２６２は、平面と平行の角度であると判断した場合（ステップＳ５８　ＹＥＳ）、データ送受信モジュール２５０は、撮像した被写体の撮像画像を示す撮像画像データを、コンピュータ１０に送信する（ステップＳ６２）。ステップＳ６２において、データ送受信モジュール２５０は、ステップＳ５５において撮像した被写体の撮像画像データを、コンピュータ１０に送信する。
　データ送受信モジュール２０は、撮像画像データを受信し、受信した撮像画像データを、情報端末１００に送信する（ステップＳ６３）。
　データ送受信モジュール１５０は、撮像画像データを受信する。表示モジュール１６１は、受信した撮像画像データに基づいて、撮像画像を表示する（ステップＳ６４）。
　以上が、撮像角度調整処理である。
　なお、上述した各処理において、撮像角度調整システム１は、コンピュータ１０、情報端末１００、カメラ２００により実現されているが、情報端末１００及びカメラ２００により実現されてもよい。この場合、コンピュータ１０が実行する処理を、情報端末１００又はカメラ２００のいずれか又は双方が実行すればよい。また、撮像角度調整システム１は、コンピュータ１０及びカメラ２００により実現されてもよい。この場合、情報端末１００が実行する処理を、コンピュータ１０又はカメラ２００のいずれか又は双方が実行すればよい。また、カメラ２００が実行する画像解析に係る処理は、コンピュータ１０又は情報端末１００のいずれか又は双方が実行してもよい。
　上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態であってもよいし、フレキシブルディスク、ＣＤ（ＣＤ－ＲＯＭなど）、ＤＶＤ（ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
　以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
　１　撮像角度調整システム、１０　コンピュータ、１００　情報端末、２００　カメラ

Claims (5)

  1. 　カメラの撮像画像を取得する撮像画像取得手段と、
    　前記カメラの３次元の撮像角度を取得する撮像角度取得手段と、
    　前記撮像画像の被写体を画像解析する画像解析手段と、
    　画像解析した前記被写体と、取得した前記撮像角度とを対応付けて記憶する撮像角度記憶手段と、
    　を備えることを特徴とする撮像角度調整システム。
  2. 　前記被写体を撮像するためのリクエストを受け付けるリクエスト受付手段と、
    　前記リクエストに応じて、記憶した前記撮像角度を抽出する撮像角度抽出手段と、
    　抽出した前記撮像角度に前記カメラの角度を調整するカメラ角度調整手段と、
    　をさらに備えることを特徴とする請求項１に記載の撮像角度調整システム。
  3. 　画像解析した結果、前記被写体が、一定領域の平面であることを識別する平面識別手段と、
    　をさらに備え、
    　前記カメラ角度調整手段は、前記平面を識別した結果、当該平面と平行の角度に前記カメラの角度を調整する、
    　ことを特徴とする請求項２に記載の撮像角度調整システム。
  4. 　カメラの撮像画像を取得するステップと、
    　前記カメラの３次元の撮像角度を取得するステップと、
    　前記撮像画像の被写体を画像解析するステップと、
    　画像解析した前記被写体と、取得した前記撮像角度とを対応付けて記憶するステップと、
    　を備えることを特徴とする撮像角度調整方法。
  5. 　コンピュータシステムに、
    　カメラの撮像画像を取得するステップ、
    　前記カメラの３次元の撮像角度を取得するステップ、
    　前記撮像画像の被写体を画像解析するステップ、
    　画像解析した前記被写体と、取得した前記撮像角度とを対応付けて記憶するステップ、
    　を実行させるためのプログラム。
PCT/JP2016/078991 2016-09-30 2016-09-30 撮像角度調整システム、撮像角度調整方法及びプログラム WO2018061172A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2016/078991 WO2018061172A1 (ja) 2016-09-30 2016-09-30 撮像角度調整システム、撮像角度調整方法及びプログラム
US15/544,622 US10645297B2 (en) 2016-09-30 2016-09-30 System, method, and program for adjusting angle of camera
JP2017545422A JP6280674B1 (ja) 2016-09-30 2016-09-30 撮像角度調整システム、撮像角度調整方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/078991 WO2018061172A1 (ja) 2016-09-30 2016-09-30 撮像角度調整システム、撮像角度調整方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2018061172A1 true WO2018061172A1 (ja) 2018-04-05

Family

ID=61195792

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/078991 WO2018061172A1 (ja) 2016-09-30 2016-09-30 撮像角度調整システム、撮像角度調整方法及びプログラム

Country Status (3)

Country Link
US (1) US10645297B2 (ja)
JP (1) JP6280674B1 (ja)
WO (1) WO2018061172A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113418543B (zh) 2019-01-16 2023-06-20 北京百度网讯科技有限公司 自动驾驶传感器的检测方法、装置、电子设备及存储介质
EP3836154A1 (en) * 2019-12-13 2021-06-16 Morten Bo Søndergaard Svendsen A method and an apparatus for imaging curved surfaces
CN111193872B (zh) * 2020-03-20 2020-11-10 安徽文香信息技术有限公司 一种控制摄像设备的方法、***及摄像设备
JP2023078640A (ja) * 2021-11-26 2023-06-07 トヨタ自動車株式会社 車両撮影システムおよび車両撮影方法
CN117499549B (zh) * 2023-12-25 2024-05-14 荣耀终端有限公司 一种扫描方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113358A (ja) * 2004-10-15 2006-04-27 Canon Inc 自動方位制御機能付きデジタルカメラ
JP2012239194A (ja) * 2012-07-12 2012-12-06 Casio Comput Co Ltd カメラ、カメラ制御プログラム及び撮影方法
JP2015056846A (ja) * 2013-09-13 2015-03-23 キヤノン株式会社 送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1480903A (zh) * 1996-08-29 2004-03-10 ������������ʽ���� 特征信息赋予、物体抽取和立体模型生成方法及其装置
JP3823724B2 (ja) * 2000-12-14 2006-09-20 日本電気株式会社 ３次元空中遊覧改良サーバ、その方法、及び記録媒体
CA2563478A1 (en) * 2004-04-16 2005-10-27 James A. Aman Automatic event videoing, tracking and content generation system
JP4982407B2 (ja) * 2008-02-22 2012-07-25 株式会社東芝 移動体画像追尾装置及び方法
US9497388B2 (en) * 2010-12-17 2016-11-15 Pelco, Inc. Zooming factor computation
US9367067B2 (en) * 2013-03-15 2016-06-14 Ashley A Gilmore Digital tethering for tracking with autonomous aerial robot
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
JP6200689B2 (ja) 2013-05-17 2017-09-20 京セラ株式会社 較正処理装置、カメラ較正装置、およびカメラ較正方法
US9769387B1 (en) * 2013-11-05 2017-09-19 Trace Live Network Inc. Action camera system for unmanned aerial vehicle
WO2015085483A1 (en) * 2013-12-10 2015-06-18 SZ DJI Technology Co., Ltd. Sensor fusion
CN107577247B (zh) * 2014-07-30 2021-06-25 深圳市大疆创新科技有限公司 目标追踪***及方法
US9940717B2 (en) * 2014-12-23 2018-04-10 Intel Corporation Method and system of geometric camera self-calibration quality assessment
US9854155B1 (en) * 2015-06-16 2017-12-26 Amazon Technologies, Inc. Determining camera auto-focus settings

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006113358A (ja) * 2004-10-15 2006-04-27 Canon Inc 自動方位制御機能付きデジタルカメラ
JP2012239194A (ja) * 2012-07-12 2012-12-06 Casio Comput Co Ltd カメラ、カメラ制御プログラム及び撮影方法
JP2015056846A (ja) * 2013-09-13 2015-03-23 キヤノン株式会社 送信装置、受信装置、送受信システム、送信装置の制御方法、受信装置の制御方法、送受信システムの制御方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2018061172A1 (ja) 2018-10-04
US20190215461A1 (en) 2019-07-11
US10645297B2 (en) 2020-05-05
JP6280674B1 (ja) 2018-02-14

Similar Documents

Publication Publication Date Title
JP6280674B1 (ja) 撮像角度調整システム、撮像角度調整方法及びプログラム
US11210858B2 (en) Systems and methods for enhancing augmented reality experience with dynamic output mapping
US20190287311A1 (en) Coarse relocalization using signal fingerprints
WO2017027338A1 (en) Apparatus and method for supporting interactive augmented reality functionalities
JP6275087B2 (ja) ヘッドマウントディスプレイ、データ出力方法、及びヘッドマウントディスプレイ用プログラム。
JP6764151B2 (ja) コンピュータシステム、遠隔操作通知方法及びプログラム
WO2014124062A1 (en) Aligning virtual camera with real camera
CN105141942A (zh) 3d图像合成方法及装置
JP2014215755A (ja) 画像処理システム、画像処理装置及び画像処理方法
KR101784095B1 (ko) 복수의 영상 데이터를 이용하는 헤드 마운트 디스플레이 장치 및 복수의 영상 데이터를 송수신하기 위한 시스템
JP6246441B1 (ja) 画像解析システム、画像解析方法、およびプログラム
JP2013038454A (ja) 画像処理装置および方法、並びにプログラム
JP6200604B1 (ja) 全天球カメラロボット高度調整システム、全天球カメラロボット高度調整方法及びプログラム
WO2018055659A1 (ja) 画面共有システム、画面共有方法及びプログラム
KR20180100890A (ko) 원거리 멀티 생체 인식 방법 및 장치
US10430145B2 (en) Remote terminal, method of remote instruction
JP6631193B2 (ja) 動画像音収録システム、動画像音収録装置、動画像音収録プログラム、および動画像音収録方法
JP6404525B2 (ja) 全天球カメラ撮像画像表示システム、全天球カメラ撮像画像表示方法及びプログラム
CN106101539A (zh) 一种自拍杆角度调节方法及自拍杆
JP6650998B2 (ja) 鏡、画像表示方法及びプログラム
JP6195960B2 (ja) 遠隔指示方法及び遠隔端末用プログラム
KR20210085256A (ko) 사용자의 위치를 제공하기 위한 전자 장치 및 방법
CN114071003B (zh) 一种基于光通信装置的拍摄方法和***
JP6246440B1 (ja) 画像解析システム、画像解析方法、およびプログラム
WO2019216000A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017545422

Country of ref document: JP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16917722

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16917722

Country of ref document: EP

Kind code of ref document: A1