WO2017072975A1 - 撮像システム - Google Patents
撮像システム Download PDFInfo
- Publication number
- WO2017072975A1 WO2017072975A1 PCT/JP2015/080851 JP2015080851W WO2017072975A1 WO 2017072975 A1 WO2017072975 A1 WO 2017072975A1 JP 2015080851 W JP2015080851 W JP 2015080851W WO 2017072975 A1 WO2017072975 A1 WO 2017072975A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- virtual
- angle
- unit
- subject
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
- G01B21/22—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring angles or tapers; for testing the alignment of axes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Definitions
- the present invention relates to an imaging system.
- Patent Literature 1 There is known a camera that recognizes a subject type and displays a composition guide corresponding to the type on an image of a subject displayed on a monitor (see, for example, Patent Document 1).
- the technique of Patent Literature 1 processes a acquired image to provide a composition guide or a trimmed image.
- composition guide Since the composition guide is generated by processing the acquired image, it can only guide at the same angle.
- the present invention has been made in view of the circumstances described above, and provides an imaging system capable of guiding shooting at an angle suitable for a subject using the same subject as the subject being shot. It is an object.
- One embodiment of the present invention is an imaging unit that captures an image of a subject, a stereoscopic information acquisition unit that acquires stereoscopic information of the subject and configures a virtual subject in a virtual space, and the virtual information acquired by the stereoscopic information acquisition unit.
- a virtual angle generation unit that generates a virtual position and orientation of the imaging unit with respect to the subject as a virtual angle, and a virtual captured image when the subject is imaged from the virtual angle generated by the virtual angle generation unit
- An imaging system includes a virtual image generation unit and a display unit that displays the virtual captured image generated by the virtual image generation unit.
- the three-dimensional information of the subject is acquired by the three-dimensional information acquisition unit, and the three-dimensional model of the virtual subject is configured in the virtual space.
- the virtual angle generation unit generates the position and orientation of the imaging unit with respect to the three-dimensional model of the virtual subject as a virtual angle, and a virtual captured image when the subject is imaged from the generated virtual angle is generated by the virtual image generation unit.
- the generated virtual captured image is displayed on the display unit.
- a virtual captured image of the subject being captured from a virtual angle different from the actual angle of the imaging unit capturing the subject is displayed on the display unit, and an image suitable for the subject is obtained by changing the angle. It can be proposed that it can be obtained.
- one of the angles that is said to be preferable for photographing food is photographing from directly above, but it is difficult for a user who is photographing food from diagonally above to recognize its effectiveness.
- a virtual captured image is generated using the angle from directly above as a virtual angle, and displayed on the display unit, so that it is effective that the angle from directly above is appropriate for the subject being shot. I can inform you.
- the image processing apparatus includes a virtual angle determination unit that determines whether or not the virtual angle generated by the virtual angle generation unit can be captured, and the virtual image generation unit determines that the virtual angle determination unit can capture the image.
- the virtual captured image may be generated.
- the image processing apparatus includes a virtual angle determination unit that determines whether the virtual angle generated by the virtual angle generation unit can be captured, and determines that the display unit can capture the virtual angle determination unit.
- the display may be displayed separately from the case where it has been determined that the image cannot be captured.
- the virtual angle determination unit may determine based on at least one of the position and size of the subject, the movable range of the imaging unit, and the angle of view that can be captured. In this way, it is possible to easily determine whether or not shooting is possible by changing the angle using one or more of the position and size of the subject, the movable range of the imaging unit, and the angle of view that can be captured.
- the subject is a huge building such as a tower or a high-rise building, it can be determined that the subject cannot be photographed from directly above with a hand-held imaging unit, while the imaging unit is a flying object such as a drone. If it is installed in the camera, it can be determined that shooting is possible.
- the apparatus includes a subject type identification unit that identifies the type of the subject acquired by the imaging unit, and the virtual angle generation unit responds to the type of the subject identified by the subject type identification unit.
- the virtual angle may be generated based on a preset reference angle. In this way, the user can easily understand the suitable angle according to the type of the subject identified by the subject type identifying unit simply by storing the angle suitable for the subject as a reference angle in association with the subject. Can be proposed.
- a real angle detection unit that detects a real angle of the imaging unit
- the virtual angle generation unit sequentially selects a reference angle close to the real angle from a plurality of preset reference angles.
- the virtual angle may be generated.
- the virtual image generation unit may have a three-dimensional shape that is defined in advance according to the type of the subject when the stereoscopic information of the virtual subject acquired by the stereoscopic information acquisition unit is missing.
- the virtual captured image may be generated by applying a model. By doing this, even when there is a gap in the stereoscopic information of the virtual subject, a part in which the stereoscopic information is not configured is interpolated by applying a predefined three-dimensional shape model according to the type of the subject. It is possible to generate a virtual captured image and reduce a sense of discomfort given to the user.
- an angle change guide section that prompts a change to an actual angle that interpolates the gap may be provided. Good.
- an angle change guide part a user can acquire missing stereoscopic information by changing to an actual angle that can acquire stereoscopic information for interpolating missing missing stereoscopic information. And a complete virtual captured image can be generated.
- the information on the change direction of the angle of the imaging unit is generated based on the real angle detected by the real angle detection unit and the virtual angle generated by the virtual angle generation unit.
- the change information generation part displayed on the said display part may be provided.
- FIG. 1 is an overall configuration diagram illustrating an imaging system according to an embodiment of the present invention.
- 3 is a chart showing an example of subject types and reference angles stored in a database unit of the imaging system in FIG. 1. It is a graph which shows the case where a reference angle has an angle range as a modification of FIG. It is a schematic diagram which shows an example of the determination by the virtual angle determination part of the imaging system of FIG. It is a schematic diagram which shows the case where an obstacle exists in the virtual imaging part vicinity as a modification of FIG. It is a schematic diagram which shows the case where a to-be-photographed object is a huge building as a modification of FIG. It is a figure which shows the case where the imaged image is displayed on the display part of the imaging system of FIG.
- FIG. 1 It is a figure which shows the image which imaged the to-be-photographed object from the virtual angle C of FIG. It is a schematic diagram which shows the case where it image
- the imaging system 1 includes an imaging unit 2 that acquires an image of a subject, a calculation unit 3 that processes an image acquired by the imaging unit 2, and a calculation unit 3.
- An operation unit 4 that performs input for instructing processing, a database unit 5 that stores preset information, and a display unit 6 that displays images processed in the calculation unit 3.
- the imaging system 1 is a camera.
- the imaging unit 2 is an imaging element such as a CCD or CMOS imaging device.
- the calculation unit 3 includes a three-dimensional information acquisition unit 7 that configures a three-dimensional virtual subject in the three-dimensional virtual space, a subject type identification unit 8 that identifies the type of the subject, and a reference angle acquisition that acquires a reference angle from the database unit 5.
- Unit 9 virtual angle candidate generation unit (virtual angle generation unit) 10 that generates a virtual angle candidate based on the acquired reference angle, and virtual angle determination that determines whether or not shooting is possible with the generated virtual angle candidate
- a virtual image generation unit 12 that generates a virtual captured image when a subject is imaged from virtual angle candidates determined to be photographable.
- the three-dimensional information acquisition unit 7 receives a plurality of images of the subject acquired in time series in the imaging unit 2, and uses the three-dimensional point of the subject A from the input image group by a SLAM (Simultaneous Localization And Mapping) method. Three-dimensional information such as group and texture information, the position and orientation of the imaging unit 2, and the actual scale of the subject are acquired. In addition, although SLAM is used as an example of the present invention, other methods may be used as long as equivalent three-dimensional information can be obtained.
- the subject type identifying unit 8 performs image processing on the subject image acquired by the imaging unit 2 to extract a feature amount, and identifies the subject type based on the feature amount. Types of subjects include dishes, flowers, buildings, and people. As the identification method, a generally known image identification method may be used.
- the database unit 5 stores a type of a subject and one or more suitable reference angles (a suitable angle of the camera with respect to the subject in the stereoscopic virtual space) in association with each other.
- suitable reference angles a suitable angle of the camera with respect to the subject in the stereoscopic virtual space
- the reference angle may have an angular range as shown in FIG.
- the virtual angle candidate generation unit 10 calculates the position, posture, and angle of view of the virtual imaging unit 2 arranged in the three-dimensional virtual space based on the reference angle output from the database unit 5. .
- a plurality of virtual angle candidates with priorities are generated.
- the priority order a definition order in the database unit 5 or a priority order separately defined in the database unit 5 can be adopted.
- the virtual angle determination unit 11 determines whether or not an image can be captured with a virtual angle by using at least one of the position and size of the subject, the movable range of the imaging system 1 and the viewable angle of view.
- the imaging unit 2B is a hand-held camera
- the imaging unit 2B is further 1.5 m above the subject A placed on the table B. Since it is difficult to hold the image, it can be determined that the image cannot be taken with this virtual angle. However, if the actual focal length of the imaging unit 2B is equal to the focal length of the virtual imaging unit 2A, it can be determined that shooting is possible.
- the actual imaging unit 2B is arranged. Since it is difficult to do, it can be determined that photographing cannot be performed. As described above, the virtual angle determination can be performed in consideration of the three-dimensional information of the surrounding environment of the subject.
- the virtual angle determination unit 11 may perform the determination in consideration of the type of the imaging unit 2. Examples of the type of the imaging unit 2 include a handheld camera, a tripod, a self-portrait stick, and a drone.
- the virtual image generation unit 12 uses, as a virtual captured image G1, an image when a virtual subject is captured in the stereoscopic virtual space using the virtual angle determined to be captured by the virtual angle determination unit 11. It is designed to generate. Note that even when it is determined that the virtual image cannot be captured, the virtual image generation unit 12 generates an image when a virtual subject is captured in the stereoscopic virtual space using the virtual angle as the virtual captured image G2 and cannot be captured. A character or a symbol (for example, an exclamation mark S in FIG. 7) or the like indicating is combined with a part of the virtual captured image G2.
- reference sign G0 is a live image by the imaging unit 2.
- the imaging system 1 configured as described above will be described below.
- the subject A are acquired in time series (step S1) and input to the calculation unit 3.
- a virtual subject in the three-dimensional virtual space is constructed from the images of a plurality of subjects A by the three-dimensional information acquisition unit 7 (step S 2), and the type of the subject A is identified by the subject type identification unit 8. (Step S3).
- the reference angle acquisition unit 9 searches the database unit 5 using the identified type, and stores the reference in association with the type. The angle is read (step S5).
- a virtual angle candidate is generated by the virtual angle candidate generation unit 10 based on the acquired reference angle (step S6), and the virtual angle candidate generated by the virtual angle determination unit 11 is generated. Whether or not shooting is possible is determined (step S7). If shooting is not possible, the flag is set to ON (step S8). Based on the virtual angle candidates, the virtual image generation unit 12 generates a virtual captured image when a virtual subject is imaged in the stereoscopic virtual space (step S9) and displays it on the display unit 6 (step S10). .
- a virtual captured image is generated and displayed.
- the user may be notified of this, and a virtual captured image may be generated according to an instruction from the user.
- the virtual angle determination unit 11 can capture an image with the virtual angle using at least one of the position and size of the subject A, the movable range of the imaging unit 2 and the viewable angle of view.
- the three-dimensional information of the subject A is generated based on a plurality of images acquired in time series by the imaging unit 2, but instead of this, a device different from the imaging unit 2 is used.
- the three-dimensional information of the subject A may be generated based on the image acquired by the above.
- the three-dimensional information is obtained by the three-dimensional information acquisition unit 7 including a plurality of 3D sensors 7 a arranged in the room where the subject A is arranged, for example, near the ceiling. It may be acquired and sent to the calculation unit 3 and stored in the three-dimensional information storage unit 13. Or you may decide to acquire solid information based on the image acquired by the imaging part 2 with which the flying body like a drone was mounted
- the imaging unit 2 may include an active 3D sensor such as a TOF (Time Of Flight) method.
- TOF Time Of Flight
- a real angle detection unit 14 that detects an actual angle of the imaging unit 2 is provided, and a difference between a plurality of virtual angles and the real angles is small (by a virtual angle close to the real angle). ) You may decide to display on the display part 6 in an order from a virtual captured image.
- the difference between the virtual angle A and the real angle ⁇ can be calculated as follows.
- Dif ( ⁇ , A) (coefD ⁇ Distance) + (coefA ⁇ Angle)
- Dif ( ⁇ , A) is the difference between the real angle ⁇ and the virtual angle A
- Distance is the distance from the real angle ⁇ to the virtual angle A
- Angle is the angle from the real angle ⁇ to the virtual angle A
- coefD coefA Is a predetermined coefficient.
- the distance and angle from the real angle ⁇ to the virtual angle A can be calculated as follows.
- Distance
- Angle
- ⁇ x, ⁇ y, and ⁇ z are positions obtained by projecting the position of the real angle ⁇ onto the three-dimensional virtual space
- ⁇ rx, ⁇ ry, and ⁇ rz are postures of the real angle ⁇ .
- Ax, Ay, Az are the positions of the virtual angle A in the three-dimensional virtual space
- Arx, Ary, Arz are the postures of the virtual angle A.
- detection may be performed based on the position and orientation of the imaging unit 2 in the latest frame identified from the SLAM, or GPS or a gyro may be used. For example, when a huge building such as a tower is the subject A, and the user is at the point ⁇ as shown in FIG. 12, the virtual captured images shown in FIGS. 13A to 13C in the order of the virtual angles A, B, and C are displayed. When the user is at the point ⁇ , the virtual captured images may be displayed in the order of the virtual angles C, B, and A.
- the case where the three-dimensional information of the subject A can be sufficiently acquired and the virtual subject is sufficiently configured is illustrated, but for example, as illustrated in FIG.
- the 3D information on the unimaged side (arrow E side) is not acquired, and thus the virtual subject may not be sufficiently configured.
- the composition ratio of the virtual subject viewed from the virtual angle corresponding to the reference angle may be calculated, and the reference angles having the composition ratio of a predetermined value or less may be excluded.
- a three-dimensional model is stored in the database unit 5 in association with the type of the subject A, and applied to the virtual subject, so that an unconfigured part A virtual subject obtained by interpolating the above may be configured.
- the subject A is a dish on a plate
- a circular three-dimensional model is stored, and a virtual subject of a portion of the dish that is not configured may be generated by interpolation with the three-dimensional model.
- the lower layer subject can be configured by interpolating the back side of the subject A with a three-dimensional model.
- the imaging system 1 uses the angle change guide unit (not shown) to change to the actual angle. You may be made to urge to change.
- the angle change guide unit is configured to prompt a change to an actual angle for interpolating the gap when there is a gap in the stereoscopic information of the virtual subject acquired by the stereoscopic information acquisition unit 7.
- the moving direction of the imaging unit 2 for approaching the virtual angle candidate from the actual angle can be presented to the user by being schematically displayed on the display unit 6 as shown in FIG.
- the imaging system 1 may use a change information generation unit (not shown) to prompt the change of the angle of the real angle imaging unit 2B.
- the change information generation unit obtains information on the change direction of the angle of the real angle imaging unit 2B. It is designed to generate.
- the moving direction of the imaging unit 2B of the real angle for approaching the virtual angle candidate from the real angle is schematically displayed on the display unit 6 to prompt the user to acquire an image. Can do.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Analysis (AREA)
Abstract
撮影している被写体と同一の被写体を用いて、被写体に適したアングルでの撮影を案内することを目的として、本発明に係る撮像システム(1)は、被写体を撮像する撮像部(2)と、被写体の立体情報を取得して、仮想空間に仮想被写体を構成する立体情報取得部(7)と、立体情報取得部(7)により取得された仮想被写体に対する撮像部(2)の仮想的な位置および姿勢を仮想アングルとして生成する仮想アングル生成部(10)と、仮想アングル生成部(10)において生成された仮想アングルから被写体を撮像した場合の仮想撮像画像を生成する仮想画像生成部(12)と、仮想画像生成部(12)により生成された仮想撮像画像を表示する表示部(6)とを備える。
Description
本発明は、撮像システムに関するものである。
被写体種類を認識し、種類に応じた構図ガイドをモニタに表示している被写体の画像上に表示するカメラが知られている(例えば、特許文献1参照。)。
特許文献1の技術は、取得された画像を加工して構図ガイドまたはトリミング画像を提供するものである。
特許文献1の技術は、取得された画像を加工して構図ガイドまたはトリミング画像を提供するものである。
構図ガイドは、取得された画像を加工して生成されるものであるため、同一アングルでの案内しかできない。
本発明は、上述した事情に鑑みてなされたものであって、撮影している被写体と同一の被写体を用いて、被写体に適したアングルでの撮影を案内することができる撮像システムを提供することを目的としている。
本発明は、上述した事情に鑑みてなされたものであって、撮影している被写体と同一の被写体を用いて、被写体に適したアングルでの撮影を案内することができる撮像システムを提供することを目的としている。
本発明の一態様は、被写体を撮像する撮像部と、前記被写体の立体情報を取得して、仮想空間に仮想被写体を構成する立体情報取得部と、該立体情報取得部により取得された前記仮想被写体に対する前記撮像部の仮想的な位置および姿勢を仮想アングルとして生成する仮想アングル生成部と、該仮想アングル生成部において生成された前記仮想アングルから前記被写体を撮像した場合の仮想撮像画像を生成する仮想画像生成部と、該仮想画像生成部により生成された前記仮想撮像画像を表示する表示部とを備える撮像システムである。
本態様によれば、立体情報取得部により被写体の立体情報が取得され、仮想空間内に仮想被写体の立体モデルが構成される。そして、仮想アングル生成部により、仮想被写体の立体モデルに対する撮像部の位置および姿勢が仮想アングルとして生成され、生成された仮想アングルから被写体を撮像した場合の仮想撮像画像が仮想画像生成部により生成される。生成された仮想撮像画像は表示部に表示される。
すなわち、被写体を撮像している撮像部の実アングルとは異なる仮想アングルからの撮像している被写体そのものの仮想撮像画像を表示部に表示して、アングルを変更することによる被写体に好適な画像の取得ができることを提案することができる。
例えば、料理の撮影では好ましいと言われているアングルの1つに真上からの撮影があるが、料理を斜め上から撮影しているユーザには、その有効性を認識させることが難しい。本態様によれば、真上からのアングルを仮想アングルとして仮想撮像画像を生成し、表示部に表示することにより、撮影している被写体に関して真上からのアングルが適していることを効果的に知らせることができる。
例えば、料理の撮影では好ましいと言われているアングルの1つに真上からの撮影があるが、料理を斜め上から撮影しているユーザには、その有効性を認識させることが難しい。本態様によれば、真上からのアングルを仮想アングルとして仮想撮像画像を生成し、表示部に表示することにより、撮影している被写体に関して真上からのアングルが適していることを効果的に知らせることができる。
上記態様においては、前記仮想アングル生成部において生成された前記仮想アングルで撮影できるか否かを判定する仮想アングル判定部を備え、前記仮想画像生成部が、前記仮想アングル判定部において撮影できると判定された場合に、前記仮想撮像画像を生成してもよい。
このようにすることで、撮影できるアングルを提案して、ユーザにアングルの変更を促すことができる。
このようにすることで、撮影できるアングルを提案して、ユーザにアングルの変更を促すことができる。
また、上記態様においては、前記仮想アングル生成部において生成された前記仮想アングルで撮影できるか否かを判定する仮想アングル判定部を備え、前記表示部が、前記仮想アングル判定部において撮影できると判定された場合と撮影できないと判定された場合とを区別して表示してもよい。
このようにすることで、撮影できることが表示されている場合には、ユーザは実際にアングルを変更して好適な画像を撮影することができ、撮影できないことが表示されている場合には、アングルを変更することによる効果をユーザに認識させることができる。
また、上記態様においては、前記仮想アングル判定部は、前記被写体の位置、大きさ、前記撮像部の可動範囲および撮像できる画角の少なくとも1つに基づいて判定してもよい。
このようにすることで、被写体の位置、大きさ、撮像部の可動範囲および撮像できる画角の1つ以上を用いて、アングルを変更して撮影できるか否かを容易に判定することができる。例えば、被写体がタワーや高層ビルのような巨大建造物である場合等には、手持ちの撮像部では被写体を真上から撮影することはできないと判断できる一方、撮像部がドローンのような飛行体に搭載されている場合には、撮影できると判断できる。
このようにすることで、被写体の位置、大きさ、撮像部の可動範囲および撮像できる画角の1つ以上を用いて、アングルを変更して撮影できるか否かを容易に判定することができる。例えば、被写体がタワーや高層ビルのような巨大建造物である場合等には、手持ちの撮像部では被写体を真上から撮影することはできないと判断できる一方、撮像部がドローンのような飛行体に搭載されている場合には、撮影できると判断できる。
また、上記態様においては、前記撮像部により取得された前記被写体の種別を識別する被写体種別識別部を備え、前記仮想アングル生成部が、前記被写体種別識別部により識別された前記被写体の種別に応じて予め設定された参照アングルに基づいて前記仮想アングルを生成してもよい。
このようにすることで、被写体に適したアングルを参照アングルとして被写体に対応づけて記憶しておくだけで、被写体種別識別部により識別された被写体の種別に応じて好適なアングルをユーザに分かりやすく提案することができる。
このようにすることで、被写体に適したアングルを参照アングルとして被写体に対応づけて記憶しておくだけで、被写体種別識別部により識別された被写体の種別に応じて好適なアングルをユーザに分かりやすく提案することができる。
また、上記態様においては、前記撮像部の実アングルを検出する実アングル検出部を備え、前記仮想アングル生成部が、予め設定された複数の参照アングルの中から前記実アングルに近い参照アングルから順に前記仮想アングルを生成してもよい。
このようにすることで、撮像部の現在のアングルである実アングルから次の仮想アングルへとアングルを変更する場合に、変更しやすい順に仮想アングルが生成される。これにより、効率的に、全ての参照アングルについてユーザに確認させることができる。
このようにすることで、撮像部の現在のアングルである実アングルから次の仮想アングルへとアングルを変更する場合に、変更しやすい順に仮想アングルが生成される。これにより、効率的に、全ての参照アングルについてユーザに確認させることができる。
また、上記態様においては、前記仮想画像生成部は、前記立体情報取得部により取得される前記仮想被写体の立体情報に抜けがある場合に、前記被写体の種別に応じて予め定義された3次元形状モデルを適用して前記仮想撮像画像を生成してもよい。
このようにすることで、仮想被写体の立体情報に抜けがある場合でも、被写体の種別に応じて予め定義されている3次元形状モデルを適用して、立体情報の構成されていない部分を補間した仮想撮像画像を生成し、ユーザに与える違和感を低減することができる。
このようにすることで、仮想被写体の立体情報に抜けがある場合でも、被写体の種別に応じて予め定義されている3次元形状モデルを適用して、立体情報の構成されていない部分を補間した仮想撮像画像を生成し、ユーザに与える違和感を低減することができる。
また、上記態様においては、前記立体情報取得部により取得される前記仮想被写体の立体情報に抜けがある場合に、該抜けを補間する実アングルへの変更を促すアングル変更ガイド部を備えていてもよい。
このようにすることで、アングル変更ガイド部に応じて、ユーザが、立体情報の抜けを補間するための立体情報を取得できる実アングルに変更することにより、抜けている立体情報を取得することができ、完全な仮想撮像画像を生成することができる。
このようにすることで、アングル変更ガイド部に応じて、ユーザが、立体情報の抜けを補間するための立体情報を取得できる実アングルに変更することにより、抜けている立体情報を取得することができ、完全な仮想撮像画像を生成することができる。
また、上記態様においては、前記実アングル検出部により検出された前記実アングルと、前記仮想アングル生成部により生成された前記仮想アングルとに基づいて、前記撮像部のアングルの変更方向の情報を生成し、前記表示部に表示させる変更情報生成部を備えていてもよい。
このようにすることで、変更情報生成部により生成されたアングルの変更方向の情報が表示部に表示されるので、表示された情報に従ってユーザがアングルを変更することにより、好適なアングルからの画像を容易に取得することができる。
このようにすることで、変更情報生成部により生成されたアングルの変更方向の情報が表示部に表示されるので、表示された情報に従ってユーザがアングルを変更することにより、好適なアングルからの画像を容易に取得することができる。
本発明によれば、撮影している被写体と同一の被写体を用いて、被写体に適したアングルでの撮影を案内することができるという効果を奏する。
本発明の一実施形態に係る撮像システム1について、図面を参照して以下に説明する。
本実施形態に係る撮像システム1は、図1に示されるように、被写体の画像を取得する撮像部2と、撮像部2により取得された画像を処理する演算部3と、演算部3に対して処理を指示する入力を行う操作部4と、予め設定された情報を記憶したデータベース部5と、演算部3において処理された画像等を表示する表示部6とを備えている。
本実施形態に係る撮像システム1は、図1に示されるように、被写体の画像を取得する撮像部2と、撮像部2により取得された画像を処理する演算部3と、演算部3に対して処理を指示する入力を行う操作部4と、予め設定された情報を記憶したデータベース部5と、演算部3において処理された画像等を表示する表示部6とを備えている。
撮像システム1はカメラである。
撮像部2はCCDあるいはCMOSイメージングデバイス等の撮像素子である。
演算部3は、立体仮想空間内に3次元の仮想被写体を構成する立体情報取得部7と、被写体の種別を識別する被写体種別識別部8と、データベース部5から参照アングルを取得する参照アングル取得部9と、取得された参照アングルに基づいて仮想アングル候補を生成する仮想アングル候補生成部(仮想アングル生成部)10と、生成された仮想アングル候補で撮影できるか否かを判定する仮想アングル判定部11と、撮影できると判定された仮想アングル候補から被写体を撮像した場合の仮想撮像画像を生成する仮想画像生成部12とを備えている。
撮像部2はCCDあるいはCMOSイメージングデバイス等の撮像素子である。
演算部3は、立体仮想空間内に3次元の仮想被写体を構成する立体情報取得部7と、被写体の種別を識別する被写体種別識別部8と、データベース部5から参照アングルを取得する参照アングル取得部9と、取得された参照アングルに基づいて仮想アングル候補を生成する仮想アングル候補生成部(仮想アングル生成部)10と、生成された仮想アングル候補で撮影できるか否かを判定する仮想アングル判定部11と、撮影できると判定された仮想アングル候補から被写体を撮像した場合の仮想撮像画像を生成する仮想画像生成部12とを備えている。
立体情報取得部7は、撮像部2において時系列に取得された被写体の複数の画像が入力されて、入力された画像群から、SLAM(Simultaneous Localization And Mapping)手法により、被写体Aの3次元点群およびテクスチャ情報、撮像部2の位置および姿勢、被写体の実スケール等の立体情報を取得するようになっている。また、本発明の一例としてSLAMを用いたが、同等の立体情報が得られる手法であれば他手法を用いてもよい。
被写体種別識別部8は、撮像部2において取得された被写体の画像を画像処理して特徴量を抽出し、該特徴量に基づいて被写体の種別を識別するようになっている。被写体の種別としては、料理、花、建物、人などがある。なお、識別手法については一般に知られる画像識別手法を用いてもよい。
被写体種別識別部8は、撮像部2において取得された被写体の画像を画像処理して特徴量を抽出し、該特徴量に基づいて被写体の種別を識別するようになっている。被写体の種別としては、料理、花、建物、人などがある。なお、識別手法については一般に知られる画像識別手法を用いてもよい。
データベース部5は、例えば、図2に示されるように、被写体の種別と、1以上の好適な参照アングル(立体仮想空間における被写体に対するカメラの好適なアングル)とを対応づけて記憶している。被写体種別識別部8において識別された被写体の種別が入力されると、入力された種別に対応づけて記憶されている1以上の参照アングルを出力するようになっている。参照アングルは図3に示されるように、角度範囲を有していてもよい。
仮想アングル候補生成部10は、データベース部5から出力されてきた参照アングルに基づいて、立体仮想空間内に配置した仮想的な撮像部2の位置、姿勢および画角を算出するようになっている。2以上の参照アングルがデータベース部5から出力されてきた場合には、優先順位を付けた複数の仮想アングル候補を生成するようになっている。優先順位としては、データベース部5内の定義順あるいはデータベース部5内に別途規定された優先度順を採用することができる。
仮想アングル判定部11は、被写体の位置、大きさ、撮像システム1の可動範囲および撮影できる画角の少なくとも1つを用いて、仮想アングルにより撮像できるか否かを判定するようになっている。
判定は、例えば、以下のようにして行われる。
図4に示されるように、ある仮想アングル候補に仮想の撮像部2Aを配置したとき、被写体Aに対する高さ距離dz=0.3m、焦点距離(画角の広さ)f=24mmであり、実際の撮像部2Bの焦点距離がf=120mmであるとき、仮想の撮像部2Aと同等のアングルおよび画角を実際の撮像部2Bで撮像しようとすると、実際の撮像部2Bの高さ距離dz=1.5mと計算される。(0.3m×120mm/24mm=1.5m)被写体Aが料理であり、撮像部2Bが手持ちのカメラである場合、テーブルBの上においた被写体Aから、さらに1.5m上に撮像部2Bを構えるのは困難であるため、この仮想アングルでは撮影できないと判定することができる。
しかしながら、実際の撮像部2Bの焦点距離が仮想の撮像部2Aの焦点距離と同等であれば、撮影できると判定できる。
図4に示されるように、ある仮想アングル候補に仮想の撮像部2Aを配置したとき、被写体Aに対する高さ距離dz=0.3m、焦点距離(画角の広さ)f=24mmであり、実際の撮像部2Bの焦点距離がf=120mmであるとき、仮想の撮像部2Aと同等のアングルおよび画角を実際の撮像部2Bで撮像しようとすると、実際の撮像部2Bの高さ距離dz=1.5mと計算される。(0.3m×120mm/24mm=1.5m)被写体Aが料理であり、撮像部2Bが手持ちのカメラである場合、テーブルBの上においた被写体Aから、さらに1.5m上に撮像部2Bを構えるのは困難であるため、この仮想アングルでは撮影できないと判定することができる。
しかしながら、実際の撮像部2Bの焦点距離が仮想の撮像部2Aの焦点距離と同等であれば、撮影できると判定できる。
また、例えば、図5に示されるように、立体仮想空間の仮想アングルに配置する仮想の撮像部2Aの付近に障害物(例えば、ランプC)がある場合には、実際の撮像部2Bを配置することが困難であるとして、撮影できないと判定することができる。このように、仮想アングル判定では被写体の周囲環境の立体情報も考慮して判定できる。
さらに、図6に示されるように、識別された被写体Aが巨大建造物であり、実際の撮像部2B1が手持ちのカメラである場合には、カメラの可動範囲が限られているので撮影できないと判定される一方、実際の撮像部2B2がドローンのような飛行体Dに装着されている場合には、可動範囲が拡大されるので撮影できると判定される。
したがって、仮想アングル判定部11においては、撮像部2の種別をも考慮して判定が行われることにしてもよい。撮像部2の種別としては、手持ちカメラ、三脚、自撮り棒、ドローン等を挙げることができる。
したがって、仮想アングル判定部11においては、撮像部2の種別をも考慮して判定が行われることにしてもよい。撮像部2の種別としては、手持ちカメラ、三脚、自撮り棒、ドローン等を挙げることができる。
仮想画像生成部12は、図7に示されるように、仮想アングル判定部11において撮影できると判定された仮想アングルを用いて立体仮想空間で仮想被写体を撮像したときの画像を仮想撮像画像G1として生成するようになっている。なお、仮想画像生成部12は、撮影できないと判定されたときにも、その仮想アングルを用いて立体仮想空間で仮想被写体を撮像したときの画像を仮想撮像画像G2として生成するとともに、撮影できないことを示す文字あるいは記号(例えば、図7のエクスクラメーションマークS)等を仮想撮像画像G2の一部に合成するようになっている。図中、符号G0は、撮像部2によるライブ画像である。
このように構成された本実施形態に係る撮像システム1の作用について、以下に説明する。
本実施形態に係る撮像システム1を用いて画像を取得するには、図8に示されるように、ユーザが手持ちのカメラからなる撮像システム1を保持して、被写体Aの撮影を行うと被写体Aの画像が時系列に複数取得されて(ステップS1)、演算部3に入力される。
本実施形態に係る撮像システム1を用いて画像を取得するには、図8に示されるように、ユーザが手持ちのカメラからなる撮像システム1を保持して、被写体Aの撮影を行うと被写体Aの画像が時系列に複数取得されて(ステップS1)、演算部3に入力される。
演算部3においては、複数の被写体Aの画像から立体情報取得部7により、立体仮想空間内の仮想被写体が構成される(ステップS2)とともに、被写体種別識別部8により、被写体Aの種別が識別される(ステップS3)。
有効な被写体Aの種別が識別された場合には(ステップS4)、参照アングル取得部9により、識別された種別を用いてデータベース部5内が検索され、種別に対応づけて記憶されている参照アングルが読み出される(ステップS5)。
有効な被写体Aの種別が識別された場合には(ステップS4)、参照アングル取得部9により、識別された種別を用いてデータベース部5内が検索され、種別に対応づけて記憶されている参照アングルが読み出される(ステップS5)。
参照アングルが読み出された場合には、取得された参照アングルに基づいて、仮想アングル候補生成部10により仮想アングル候補が生成され(ステップS6)、仮想アングル判定部11により生成された仮想アングル候補で撮影できるか否かが判定される(ステップS7)。
撮影できない場合には、フラグがONに設定される(ステップS8)。
そして、仮想アングル候補に基づいて、仮想画像生成部12において、立体仮想空間内で仮想被写体を撮像した時の仮想撮像画像が生成され(ステップS9)、表示部6に表示される(ステップS10)。
撮影できない場合には、フラグがONに設定される(ステップS8)。
そして、仮想アングル候補に基づいて、仮想画像生成部12において、立体仮想空間内で仮想被写体を撮像した時の仮想撮像画像が生成され(ステップS9)、表示部6に表示される(ステップS10)。
この場合において、表示部6に表示された仮想撮像画像においては、撮影できるか否かが区別されて表示される。
ユーザは、実際に撮影している被写体Aを用いた仮想撮像画像によって、現在のアングルとは異なるアングルから被写体Aを撮影することにより、より好適な画像を取得できることを、実際に撮像システム1を動かす前に分かりやすく案内される。また、撮影できない場合にも、障害を取り払えばより好適な画像を取得できることの気づきを与えることができるという利点がある。
ユーザは、実際に撮影している被写体Aを用いた仮想撮像画像によって、現在のアングルとは異なるアングルから被写体Aを撮影することにより、より好適な画像を取得できることを、実際に撮像システム1を動かす前に分かりやすく案内される。また、撮影できない場合にも、障害を取り払えばより好適な画像を取得できることの気づきを与えることができるという利点がある。
なお、本実施形態においては、データベース部5から参照アングルが読み出された場合には、仮想撮像画像が生成されて表示されることとしたが、データベース部5内に参照アングルが検出された場合に、その旨をユーザに通知し、ユーザからの指示によって仮想撮像画像を生成することにしてもよい。
また、本実施形態においては、仮想アングル判定部11が、被写体Aの位置、大きさ、撮像部2の可動範囲および撮影できる画角の少なくとも1つを用いて、仮想アングルにより撮像できるか否かを判定することとしたが、被写体種別に応じて優先して判定する判定基準を定めておくことにしてもよい。
また、本実施形態においては、撮像部2により時系列に取得された複数の画像に基づいて被写体Aの立体情報を生成することとしたが、これに代えて、撮像部2とは別のデバイスによって取得された画像に基づいて被写体Aの立体情報を生成することにしてもよい。別のデバイスとしては、図9および図10に示されるように、被写体Aが配置された室内の、例えば、天井付近に配置された複数の3Dセンサ7aからなる立体情報取得部7によって立体情報を取得し、演算部3に送って、立体情報記憶部13に記憶することにしてもよい。あるいは、ドローンのような飛行体に装着した撮像部2によって取得された画像に基づいて立体情報を取得することにしてもよい。また、撮像部2が、例えばTOF(Time Of Flight)手法のようなアクティブ系3Dセンサを備えていてもよい。
また、図11に示されるように、撮像部2の実際のアングルを検出する実アングル検出部14を備え、複数の仮想アングルと実アングルとの差分が小さい(実アングルに対して近い仮想アングルによる)仮想撮像画像から順に表示部6に表示することにしてもよい。
例えば、仮想アングルAと実アングルαとの差分は、以下のようにして算出することができる。
Dif(α,A)=(coefD×Distance)+(coefA×Angle)
ここで、Dif(α,A)は実アングルαと仮想アングルAとの差分、Distanceは実アングルαから仮想アングルAまでの距離、Angleは実アングルαから仮想アングルAまでの角度、coefD,coefAは所定の係数である。
例えば、仮想アングルAと実アングルαとの差分は、以下のようにして算出することができる。
Dif(α,A)=(coefD×Distance)+(coefA×Angle)
ここで、Dif(α,A)は実アングルαと仮想アングルAとの差分、Distanceは実アングルαから仮想アングルAまでの距離、Angleは実アングルαから仮想アングルAまでの角度、coefD,coefAは所定の係数である。
また、実アングルαから仮想アングルAまでのDistanceおよびAngleは、以下のようにして算出することができる。
Distance=|αx-Ax|+|αy-Ay|+|αz-Az|
Angle=|αrx-Arx|+|αry-Ary|+|αrz-Arz|
ここで、αx,αy,αzは実アングルαの位置を立体仮想空間に投影した位置、αrx,αry,αrzは実アングルαの姿勢である。また、Ax,Ay,Azは仮想アングルAの立体仮想空間上の位置、Arx,Ary,Arzは仮想アングルAの姿勢である。
Distance=|αx-Ax|+|αy-Ay|+|αz-Az|
Angle=|αrx-Arx|+|αry-Ary|+|αrz-Arz|
ここで、αx,αy,αzは実アングルαの位置を立体仮想空間に投影した位置、αrx,αry,αrzは実アングルαの姿勢である。また、Ax,Ay,Azは仮想アングルAの立体仮想空間上の位置、Arx,Ary,Arzは仮想アングルAの姿勢である。
実アングル検出部14としては、SLAMから同定される最新フレームにおける撮像部2の位置や姿勢により検出してもよいし、GPSやジャイロなどを利用してもよい。
例えば、タワーのような巨大建造物を被写体Aとし、図12に示されるようにユーザが地点αにいるときには、仮想アングルA,B,Cの順に図13Aから図13Cに示される仮想撮像画像を表示し、ユーザが地点βにいるときには、仮想アングルC,B,Aの順に仮想撮像画像を表示するようにすればよい。
例えば、タワーのような巨大建造物を被写体Aとし、図12に示されるようにユーザが地点αにいるときには、仮想アングルA,B,Cの順に図13Aから図13Cに示される仮想撮像画像を表示し、ユーザが地点βにいるときには、仮想アングルC,B,Aの順に仮想撮像画像を表示するようにすればよい。
ユーザが保持している撮像システム1に近い位置から順に表示されるので、結果として、ユーザを特定の経路に沿って移動させることができる。
巨大建造物を被写体Aとする場合を例示したが、これに代えて、ビルのエントランスから特定の場所に到達するための経路ガイド、内視鏡の挿入ガイド、工場内装置の部品点検のチェックポイントガイド等に応用してもよい。
巨大建造物を被写体Aとする場合を例示したが、これに代えて、ビルのエントランスから特定の場所に到達するための経路ガイド、内視鏡の挿入ガイド、工場内装置の部品点検のチェックポイントガイド等に応用してもよい。
また、上記実施形態においては、被写体Aの立体情報が十分に取得できて仮想被写体が十分に構成されている場合を例示したが、例えば、図14に示されるように、被写体Aに対して一側から撮像された画像のみに基づいてSLAMによって立体情報を取得する場合には、撮像されていない側(矢印E側)の立体情報は取得されないため、仮想被写体が十分に構成されない場合がある。
このような場合には、データベース部5から参照アングルが読み出されても、当該参照アングルに対応する仮想アングルに基づいて生成される仮想撮像画像は不完全となるので、表示部6により表示される画像から除かれることが好ましい。したがって、読み出された参照アングルの各々について、該参照アングルに対応する仮想アングルからみた仮想被写体の構成割合を算出し、構成割合が所定値以下となる参照アングルを除外することにすればよい。
また、構成割合が所定値以下となる参照アングルを除外することに代えて、データベース部5に被写体Aの種別に対応づけて立体モデルを記憶しておき、仮想被写体に当てはめることで未構成の部分を補間した仮想被写体を構成することにしてもよい。
例えば、被写体Aが皿の上の料理である場合、円形の立体モデルを記憶しておくことにより、構成されていない部分の皿の仮想被写体を立体モデルで補間して生成することにすればよい。また、被写体Aが巨大建造物である場合にも被写体Aの裏側を立体モデルで補間して下層被写体を構成することができる。
例えば、被写体Aが皿の上の料理である場合、円形の立体モデルを記憶しておくことにより、構成されていない部分の皿の仮想被写体を立体モデルで補間して生成することにすればよい。また、被写体Aが巨大建造物である場合にも被写体Aの裏側を立体モデルで補間して下層被写体を構成することができる。
また、図14に示されるような画像の取得によって、仮想被写体の立体情報の抜けにより仮想被写体が十分に構成されない場合に、撮像システム1がアングル変更ガイド部(図示略)を用いて実アングルへの変更を促すようにしてもよい。アングル変更ガイド部は、立体情報取得部7により取得される仮想被写体の立体情報に抜けがある場合に、該抜けを補間する実アングルへの変更を促すようになっている。これにより、実アングルから仮想アングル候補に近づけるための撮像部2の移動方向を図17に示されるように模式化して表示部6に表示することにより、ユーザに提示することができる。
さらに、実アングル検出部14により検出された実アングルの撮像部2Bと、参照アングルから生成された仮想アングル候補の撮像部2Aとの関係が図15に示されるような位置関係となる場合に、撮像システム1が変更情報生成部(図示略)を用いて実アングルの撮像部2Bのアングルの変更を促すようにしてもよい。変更情報生成部は、実アングル検出部14により検出された実アングルと、仮想アングル候補生成部10により生成された仮想アングルとに基づいて、実アングルの撮像部2Bのアングルの変更方向の情報を生成するようになっている。これにより、図16に示されるように、実アングルから仮想アングル候補に近づけるための実アングルの撮像部2Bの移動方向を模式化して表示部6に表示して、ユーザに画像の取得を促すことができる。
1 撮像システム
2,2A,2B,2B1,2B2 撮像部
6 表示部
7 立体情報取得部
8 被写体種別識別部
10 仮想アングル候補生成部(仮想アングル生成部)
11 仮想アングル判定部
12 仮想画像生成部
14 実アングル検出部
A 被写体
2,2A,2B,2B1,2B2 撮像部
6 表示部
7 立体情報取得部
8 被写体種別識別部
10 仮想アングル候補生成部(仮想アングル生成部)
11 仮想アングル判定部
12 仮想画像生成部
14 実アングル検出部
A 被写体
Claims (9)
- 被写体を撮像する撮像部と、
前記被写体の立体情報を取得して、仮想空間に仮想被写体を構成する立体情報取得部と、
該立体情報取得部により取得された前記仮想被写体に対する前記撮像部の仮想的な位置および姿勢を仮想アングルとして生成する仮想アングル生成部と、
該仮想アングル生成部において生成された前記仮想アングルから前記被写体を撮像した場合の仮想撮像画像を生成する仮想画像生成部と、
該仮想画像生成部により生成された前記仮想撮像画像を表示する表示部とを備える撮像システム。 - 前記仮想アングル生成部において生成された前記仮想アングルにより撮影できるか否かを判定する仮想アングル判定部を備え、
前記仮想画像生成部が、前記仮想アングル判定部において撮影できると判定された場合に、前記仮想撮像画像を生成する請求項1に記載の撮像システム。 - 前記仮想アングル生成部において生成された前記仮想アングルにより撮影できるか否かを判定する仮想アングル判定部を備え、
前記表示部が、前記仮想アングル判定部において撮影できると判定された場合と撮影できないと判定された場合とを区別して表示する請求項1に記載の撮像システム。 - 前記仮想アングル判定部は、前記被写体の位置、大きさ、前記撮像部の可動範囲および撮像できる画角の少なくとも1つに基づいて判定する請求項1から請求項3のいずれかに記載の撮像システム。
- 前記撮像部により取得された前記被写体の種別を識別する被写体種別識別部を備え、
前記仮想アングル生成部が、前記被写体種別識別部により識別された前記被写体の種別に応じて予め設定された参照アングルに基づいて前記仮想アングルを生成する請求項1から請求項4のいずれかに記載の撮像システム。 - 前記撮像部の実アングルを検出する実アングル検出部を備え、
前記仮想アングル生成部が、予め設定された複数の参照アングルの中から前記実アングルに近い参照アングルから順に前記仮想アングルを生成する請求項5に記載の撮像システム。 - 前記仮想画像生成部は、前記立体情報取得部により取得される前記仮想被写体の立体情報に抜けがある場合に、前記被写体の種別に応じて予め定義された3次元形状モデルを適用して前記仮想撮像画像を生成する請求項5または請求項6に記載の撮像システム。
- 前記立体情報取得部により取得される前記仮想被写体の立体情報に抜けがある場合に、該抜けを補間する実アングルへの変更を促すアングル変更ガイド部を備える請求項1から請求項7のいずれかに記載の撮像システム。
- 前記実アングル検出部により検出された前記実アングルと、前記仮想アングル生成部により生成された前記仮想アングルとに基づいて、前記撮像部のアングルの変更方向の情報を生成し、前記表示部に表示させる変更情報生成部を備える請求項6に記載の撮像システム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/080851 WO2017072975A1 (ja) | 2015-10-30 | 2015-10-30 | 撮像システム |
JP2017547336A JPWO2017072975A1 (ja) | 2015-10-30 | 2015-10-30 | 撮像システム |
CN201580083983.2A CN108141510A (zh) | 2015-10-30 | 2015-10-30 | 摄像*** |
US15/927,010 US20180213203A1 (en) | 2015-10-30 | 2018-03-20 | Image acquisition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/080851 WO2017072975A1 (ja) | 2015-10-30 | 2015-10-30 | 撮像システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US15/927,010 Continuation US20180213203A1 (en) | 2015-10-30 | 2018-03-20 | Image acquisition system |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2017072975A1 true WO2017072975A1 (ja) | 2017-05-04 |
Family
ID=58630003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/080851 WO2017072975A1 (ja) | 2015-10-30 | 2015-10-30 | 撮像システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20180213203A1 (ja) |
JP (1) | JPWO2017072975A1 (ja) |
CN (1) | CN108141510A (ja) |
WO (1) | WO2017072975A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11025921B1 (en) | 2016-09-22 | 2021-06-01 | Apple Inc. | Providing a virtual view by streaming serialized data |
US11293748B2 (en) * | 2019-03-07 | 2022-04-05 | Faro Technologies, Inc. | System and method for measuring three-dimensional coordinates |
CN112752015B (zh) * | 2019-10-31 | 2022-05-13 | 北京达佳互联信息技术有限公司 | 拍摄角度推荐方法、装置、电子设备及存储介质 |
CN111898640B (zh) * | 2020-06-28 | 2023-10-31 | 武汉旷视金智科技有限公司 | 模拟抓拍机推送图片的方法、装置、测试***及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005050034A (ja) * | 2003-07-31 | 2005-02-24 | Canon Inc | 画像処理方法および装置 |
WO2011052064A1 (ja) * | 2009-10-30 | 2011-05-05 | キヤノン株式会社 | 情報処理装置および方法 |
JP2011151446A (ja) * | 2010-01-19 | 2011-08-04 | Fujitsu Ten Ltd | 画像処理装置、画像処理システム、および、画像処理方法 |
JP2015002476A (ja) * | 2013-06-17 | 2015-01-05 | パナソニック株式会社 | 撮像処理装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101661163A (zh) * | 2009-09-27 | 2010-03-03 | 合肥工业大学 | 增强现实***的立体头盔显示器 |
US8803951B2 (en) * | 2010-01-04 | 2014-08-12 | Disney Enterprises, Inc. | Video capture system control using virtual cameras for augmented reality |
US10514542B2 (en) * | 2011-12-19 | 2019-12-24 | Dolby Laboratories Licensing Corporation | Head-mounted display |
JP5715735B2 (ja) * | 2012-06-29 | 2015-05-13 | 富士フイルム株式会社 | 3次元測定方法、装置、及びシステム、並びに画像処理装置 |
US9900583B2 (en) * | 2014-12-04 | 2018-02-20 | Futurewei Technologies, Inc. | System and method for generalized view morphing over a multi-camera mesh |
-
2015
- 2015-10-30 WO PCT/JP2015/080851 patent/WO2017072975A1/ja active Application Filing
- 2015-10-30 CN CN201580083983.2A patent/CN108141510A/zh active Pending
- 2015-10-30 JP JP2017547336A patent/JPWO2017072975A1/ja active Pending
-
2018
- 2018-03-20 US US15/927,010 patent/US20180213203A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005050034A (ja) * | 2003-07-31 | 2005-02-24 | Canon Inc | 画像処理方法および装置 |
WO2011052064A1 (ja) * | 2009-10-30 | 2011-05-05 | キヤノン株式会社 | 情報処理装置および方法 |
JP2011151446A (ja) * | 2010-01-19 | 2011-08-04 | Fujitsu Ten Ltd | 画像処理装置、画像処理システム、および、画像処理方法 |
JP2015002476A (ja) * | 2013-06-17 | 2015-01-05 | パナソニック株式会社 | 撮像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN108141510A (zh) | 2018-06-08 |
JPWO2017072975A1 (ja) | 2018-08-30 |
US20180213203A1 (en) | 2018-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6687204B2 (ja) | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 | |
WO2017072975A1 (ja) | 撮像システム | |
WO2017172984A3 (en) | Virtual reality headset with relative motion head tracker | |
JP2020184795A (ja) | 映像監視システム、映像監視方法、及びプログラム | |
EP2973417B1 (en) | A method and system for three-dimensional imaging | |
TWI496108B (zh) | AR image processing apparatus and method | |
EP3101625A3 (en) | Method and system of selecting a view from a plurality of cameras | |
US20170178392A1 (en) | 3d scanning apparatus including scanning sensor detachable from screen | |
US10623660B1 (en) | Camera array for a mediated-reality system | |
JP6793151B2 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
JP2018142164A5 (ja) | 画像処理装置、情報処理方法及びプログラム | |
JP6062039B2 (ja) | 画像処理システムおよび画像処理用プログラム | |
KR20170067373A (ko) | 드론 촬영 이미지를 기반으로 3d 오브젝트를 자동으로 추출하는 시스템 및 방법 | |
JP2008506953A5 (ja) | ||
JP2018180654A5 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP6969121B2 (ja) | 撮像システム、画像処理装置および画像処理プログラム | |
JP2016116040A5 (ja) | ||
JP2008146583A (ja) | 姿勢検知装置および挙動検知装置 | |
JP5625844B2 (ja) | 撮像方法、および撮像システム | |
JP6482855B2 (ja) | 監視システム | |
JP2010157850A5 (ja) | ||
JP6482856B2 (ja) | 監視システム | |
WO2014171438A1 (ja) | 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム | |
JP2018106611A5 (ja) | ||
JP2020058779A5 (ja) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15907338 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2017547336 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15907338 Country of ref document: EP Kind code of ref document: A1 |