JP2018201095A - Imaging apparatus having motion prediction function - Google Patents
Imaging apparatus having motion prediction function Download PDFInfo
- Publication number
- JP2018201095A JP2018201095A JP2017104276A JP2017104276A JP2018201095A JP 2018201095 A JP2018201095 A JP 2018201095A JP 2017104276 A JP2017104276 A JP 2017104276A JP 2017104276 A JP2017104276 A JP 2017104276A JP 2018201095 A JP2018201095 A JP 2018201095A
- Authority
- JP
- Japan
- Prior art keywords
- shooting
- imaging
- unit
- imaging apparatus
- simulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Details Of Cameras Including Film Mechanisms (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は記録装置に関し、特に入力映像を分析・解析し撮影タイミングの自動化をするための撮像装置に関する。 The present invention relates to a recording apparatus, and more particularly to an imaging apparatus for analyzing and analyzing an input video and automating imaging timing.
従来、撮影対象である移動体の動きのある中から、特定の機会のみを狙って撮影しようとする場合、撮像装置で連続撮影を行い、その結果を選択する方法が知られている。
昨今では撮像装置に組み込まれるメモリ量も多くなり、シャッタータイミングの前後数秒間の撮影も自動的に行っておき記録対象として残す画を選択するなどの手段が提供されている。また、特開2012-151704のように移動体の移動軌跡を特定し、連続撮影開始から終了まで表示部に経過を表示するものや、これらの経過を1枚の写真として合成記録する手段も提供されている。
2. Description of the Related Art Conventionally, there is known a method of performing continuous shooting with an imaging device and selecting a result when shooting is performed aiming at a specific opportunity from among the movement of a moving object that is a shooting target.
In recent years, the amount of memory incorporated in an image pickup apparatus has increased, and means are provided for automatically performing shooting for several seconds before and after shutter timing and selecting an image to be recorded. Also, as in Japanese Patent Application Laid-Open No. 2012-151704, a moving locus of a moving object is specified and the progress is displayed on the display unit from the start to the end of continuous shooting, and a means for composing and recording these progresses as a single photograph is also provided Has been.
しかしながら連続撮影を行っても必ずしも狙いたいシーンが含まれているとは限らず、またカメラの機種によっても連写性能が異なるため、特に普及価格帯のカメラでは十分な連写機能を保有していない為狙った機会の撮影を行うことは困難であった。
本発明では上記問題点を鑑み、連写を行わなくても移動体の動きの中から所定のタイミングに対する記録を行うことが可能な撮像装置を提供することを目的とする。
However, continuous shooting does not always include the scene you want to target, and the continuous shooting performance varies depending on the camera model. It was difficult to shoot at the targeted opportunity.
In view of the above problems, an object of the present invention is to provide an imaging apparatus capable of recording at a predetermined timing from the movement of a moving object without performing continuous shooting.
記録装置内において移動体の動態モデルの動きをシミュレートし、その結果と装置内部の処理時間による遅延時間から記録したい移動体の形状・位置を撮影するためのシャッタータイミングの制御を行うことを特徴とする。 The movement of the dynamic model of the moving object is simulated in the recording device, and the shutter timing for capturing the shape and position of the moving object to be recorded is controlled from the result and the delay time due to the processing time inside the device. And
本発明によれば、動態モデルは人だけでなく、車、バイク、ペットなどの動物の動態モデルを利用できるため、高速移動や運動をしている対象に対して「見たい・撮りたい」シーンを撮影することができる。さらに動態モデルシミュレーションの結果とマッチングさせてプログラムによって撮影するため、撮像装置の近傍に撮影者がいなくても撮影を行うことも可能になる。 According to the present invention, a dynamic model can be used not only for humans but also for animals such as cars, motorcycles, pets, etc. Can be taken. Furthermore, since it is photographed by a program by matching with the result of the dynamic model simulation, it is possible to photograph even if there is no photographer in the vicinity of the imaging device.
[実施例1]
本発明を適用した撮像装置の構成図を図1に示す。同図に於いて、101は撮像装置のレンズ及びイメージセンサ、102はイメージセンサからの映像入力(112)により取り込んだ映像をライブ映像信号(113)として表示用に生成して出力する機能、保存用の写真を生成・出力(114)する機能や保存された写真読み出し(114)合成する機能を有する撮影制御部、103は写真の保存を行う画像保管部、104は撮影制御部(102)へ撮影指示(125)を発生する撮影タイミング発生部、105は撮影制御部(102)から出力された入力映像(115)を解析する入力映像解析部である。
[Example 1]
A block diagram of an imaging apparatus to which the present invention is applied is shown in FIG. In the figure, 101 is a lens and an image sensor of an imaging device, 102 is a function for generating and outputting a video captured by a video input (112) from the image sensor as a live video signal (113), and storage. A shooting control unit having a function of generating and outputting (114) a photograph for use and a function of reading and storing a stored photograph (114), 103 an image storage unit for storing a photograph, and 104 to a shooting control unit (102) An imaging timing generation unit 105 that generates an imaging instruction (125), and an input video analysis unit 105 that analyzes the input video (115) output from the imaging control unit (102).
106は入力映像解析部(105)の結果(116)に基づき動態モデルの種別と該当する動態モデルを動体モデルデータ(107)より取得する動態モデル特定部、108は映像パターンのマッチング判定を行うパターンマッチング部、109は動態モデルの動きシミュレーションを行う動作シミュレーション部、123は動作シミュレーション部の結果を表示用データ(124)として生成するシミュレーション結果表示部、111はタッチ入力機能を有する表示部、110は表示部(111)に表示する表示データを生成する表示用データ生成部である。 106 is a dynamic model specifying unit that acquires the type of the dynamic model and the corresponding dynamic model from the moving body model data (107) based on the result (116) of the input video analysis unit (105), and 108 is a pattern for performing matching determination of the video pattern. Matching unit 109 is a motion simulation unit that performs motion simulation of a dynamic model, 123 is a simulation result display unit that generates a result of the motion simulation unit as display data (124), 111 is a display unit having a touch input function, 110 is It is a display data generation unit that generates display data to be displayed on the display unit (111).
なお、ライブ映像信号(113)と入力解析部(105)に入力される入力映像(115)とパターンマッチング部(108)に入力される信号(118)は撮影制御部(102)によってライブ映像信号(113)と同じデータが分配される。 The live video signal (113), the input video (115) input to the input analysis unit (105), and the signal (118) input to the pattern matching unit (108) are converted into a live video signal by the shooting control unit (102). The same data as (113) is distributed.
撮像装置は、撮影制御部(102)によってレンズ及びイメージセンサ(101)からの入力映像をライブビューとして表示部(111)に適した映像データとして表示し、操作者の操作によって入力映像に適切な画像所為を施して写真として画像保管部(103)へ保存する。撮影制御部では、操作によって保存する写真を生成するに当たり、レンズ及びイメージセンサ(101)から1回のみ取り込んで写真として生成する機能を基本機能として、操作1回あたりに複数回の連続した取り込みを行う連続撮影を行うことができる。また連続撮影された写真はそれらを1枚の写真にまとめた合成写真を形成し保存することが可能になっている。 The imaging device displays the input video from the lens and the image sensor (101) as a live view as video data suitable for the display unit (111) by the shooting control unit (102), and is suitable for the input video by the operation of the operator. The image is processed and stored in the image storage unit (103) as a photograph. In the shooting control unit, when generating a photo to be saved by operation, the basic function is to capture a single photo from the lens and image sensor (101), and to capture multiple times per operation. Continuous shooting can be performed. In addition, it is possible to create and save a composite photo that combines the photos taken continuously into a single photo.
連続撮影の例として、投球の連続撮影を上げる。図2は連続撮影で得られた合成写真である。合成写真は連続撮影で得た写真を用いて時間的に連続なシーンを1つの写真として構成したものである。図3は連続撮影で欠落したシーンを示したものである。連続撮影で得られた写真は撮影タイミングによって、腕の振りの部分である301の動きの部分に対して欠落した写真となっている。本例のように投球の連続写真であっても、一般的に球をリリースする瞬間を操作者の指示で撮影を行うだけでは困難である。 As an example of continuous shooting, throwing continuous shooting is raised. FIG. 2 is a composite photograph obtained by continuous shooting. A composite photo is a series of temporally-consecutive scenes made up of photos obtained by continuous shooting. FIG. 3 shows a missing scene in continuous shooting. The photograph obtained by continuous photographing is a photograph that is missing from the movement part of 301 that is the swinging part of the arm depending on the photographing timing. Even in the case of a continuous photo of pitching as in this example, it is generally difficult to simply take a picture at the moment of releasing the ball by an operator's instruction.
本発明の目的であるこのような連続撮影であっても欠落してしまうシーンを特定し、そのシーンを撮影するための手段を以下に説明する。 Means for identifying a scene that is missing even in such continuous shooting, which is the object of the present invention, and shooting the scene will be described below.
連続撮影や合成写真を得た後、撮影タイミング発生部(104)は保存された連続写真や合成された写真を読み出し、読みだした写真を動作しミューション部へセットする(127)。 After obtaining continuous shots and composite photos, the shooting timing generation unit (104) reads the stored continuous photos and composite photos, operates the read photos, and sets them in the muon unit (127).
その一方で、入力映像解析部(105)では、連続撮影の対象である動作対象を映像より特定し特定した情報を動態モデル特定部(106)へ出力する(116)。 On the other hand, the input video analysis unit (105) outputs the information specifying and specifying the operation target, which is the subject of continuous shooting, from the video to the dynamic model specifying unit (106) (116).
動態モデル特定部(106)では入力映像解析部(105)が特定した映像からそれが人物であることを特定し、動態モデルデータ(107)より図4で示す人物の動態モデルデータを読み出し、読み出したモデルデータを動作シミュレーション部(109 )へセットする。 The dynamic model specifying unit (106) specifies the person from the video specified by the input video analysis unit (105), reads out the dynamic model data of the person shown in FIG. 4 from the dynamic model data (107), and reads it out. The model data obtained is set in the operation simulation unit (109).
動作シミュレーション部(109)ではセットされた動態モデルと連続写真あるいは合成写真から動作を解析して、写真の操作対象を動態モデルに置き換える。図5に連続撮影の動態モデル化し図を示す。 The motion simulation unit (109) analyzes the motion from the set dynamic model and the continuous photograph or the composite photograph, and replaces the operation target of the photograph with the dynamic model. FIG. 5 shows a dynamic model of continuous shooting.
動態モデル化した投球モーションを撮像装置内の時間軸に整理する。図6は整理した動態モデル動作と撮影の相関関係である。図6に於いてし、601は時間軸、602は連続写真として撮影された時間、602はライブ映像として表示していた時間である。 Organize the dynamic motion of pitching motion on the time axis in the imaging device. Fig. 6 shows the correlation between the organized dynamic model operation and imaging. In FIG. 6, 601 is a time axis, 602 is a time taken as a continuous photograph, and 602 is a time displayed as a live video.
次に連続写真として撮影された動態データモデルの形状とその時間間隔において写真としては撮られていない動きをシミュレーションによって得る。 Next, the shape of the dynamic data model photographed as a continuous photograph and the movements not photographed in the time interval are obtained by simulation.
図7は動態モデルのシミュレーションと撮影の相関関係である。ここでは欠落している301の動作の部分をシミュレーションで得た結果の部分を示している。同図に於いて、701は時間及び内部処理のクロックを示す。703は連続写真として得ていた写真の時間を示す。704はライブビューとして表示している時間を示す。 FIG. 7 shows the correlation between dynamic model simulation and imaging. Here, the part of the result of having obtained the operation part of the missing 301 by simulation is shown. In the figure, reference numeral 701 denotes a time and a clock for internal processing. Reference numeral 703 denotes the time of a photograph obtained as a continuous photograph. Reference numeral 704 denotes the time displayed as a live view.
動作シミュレーション部(109)はこのシミュレーションの結果をシミュレーション結果表示部(123)へ渡し、シミュレーション結果表示部(123)は、連続撮影の間にあり撮影できなかったシーンを操作者へ提示し選択してもらう為の表示用データを生成し、表示用データ生成部(110)を経て、表示部(111)へ表示する。 The motion simulation unit (109) passes the result of the simulation to the simulation result display unit (123), and the simulation result display unit (123) presents and selects the scene that was not captured during the continuous shooting. Display data to be received is generated and displayed on the display unit (111) through the display data generation unit (110).
表示部(111)で表示したシーンの中から操作者が所望するシーンを選択すると、選択されたシーンが撮影タイミング発生部(104)へ通知される。撮影タイミング発生部では、当該シーンが702であることを識別する。 When the operator selects a desired scene from the scenes displayed on the display unit (111), the selected scene is notified to the shooting timing generation unit (104). The shooting timing generation unit identifies that the scene is 702.
パターンマッチング部(108)によって入力された映像を特定のシーンとして判別するには判別するための処理時間がかかる。そのため撮影タイミング発生部(104)は指定されたシーンに対して、パターンマッチング部(108)の判別処理時間(706)を遡ったシーンである707のシーンをパターンマッチング部(108)へマッチング用シーンとしてセットする(119)。 It takes a processing time to discriminate the video input by the pattern matching unit (108) as a specific scene. Therefore, the shooting timing generation unit (104) matches the designated scene to the pattern matching unit (108) by using the 707 scene, which is a scene retroactive to the discrimination processing time (706) of the pattern matching unit (108). Set as (119).
パターンマッチング部(108)では、撮影制御部(115)から出力される映像(118)に対してシーン判定を行い、セットされたシーンとマッチした際に、撮影タイミング発生部(104)へマッチしたことを通知する(121)。 The pattern matching unit (108) performs scene determination on the video (118) output from the shooting control unit (115), and when it matches the set scene, it matches the shooting timing generation unit (104). This is notified (121).
撮影タイミング発生部(104)はパターンマッチング部(108)からの通知(121)がされたときに、撮影制御部(102)へ撮影指示(125)を発生することで、操作者の選択したシーン(702)の写真を撮影する。 The shooting timing generation unit (104) generates a shooting instruction (125) to the shooting control unit (102) when a notification (121) is received from the pattern matching unit (108). Take a photo of (702).
以上説明したように、動作対象者の動態モデルを撮影したい動作と照合して動作シミュレーションを行い、写真として撮れなかったシーンを生成し、内部処理の遅延時間を考慮したシーンへの入力映像の判別を行うことで経験の浅い撮像装置の操作者であっても所望の写真を得ることが可能になる。 As described above, a motion simulation is performed by comparing the motion model of the target person with the motion to be photographed to generate a scene that could not be taken as a photograph, and discrimination of the input video to the scene in consideration of the delay time of internal processing Thus, even an inexperienced operator of an imaging device can obtain a desired photograph.
[実施例2]
実施例1に於いて、パターンマッチング部(108)へ入力される映像(118)はライブ映像信号(113)と同じ映像が利用されることも有る。この際、所望のシーンがライブ映像信号のフレームレート間になる場合もある。この場合であっても、入力映像に対しての判定シーンを細分化し、シーンとフレームレートの時間のずれ量を加算したシーンを判別シーンとして設定する。撮影タイミング発生部(104)において判別通知が発行されてから、遅延時間分だけ遅延させて撮影制御へ撮影指示を発行することでフレームレート間のシーンであってもタイミングを合わせた撮影を行うことが可能になる。
[Example 2]
In the first embodiment, the same video as the live video signal (113) may be used as the video (118) input to the pattern matching unit (108). At this time, the desired scene may be between the frame rates of the live video signal. Even in this case, the determination scene for the input video is subdivided, and a scene obtained by adding the amount of time difference between the scene and the frame rate is set as the determination scene. Shooting at the same timing even for scenes between frame rates by issuing a shooting instruction to the shooting control with a delay of a delay time after the shooting notification is issued in the shooting timing generator (104) Is possible.
[実施例3]
実施例1及び2において、動態モデルデータとして3Dモデルを利用することで動作シミュレーション部(109)では動作シミュレーションを3Dへ拡張して行う。入力映像解析部(105)が特定する対象の向きを判別し、その方向を撮影タイミング発生部(104)へ通知する。撮影タイミング発生部(104)はその方向を動作シミュレーション部(109)へ通知する。動作シミュレーション部(109)ではその方向に適合したシーン生成を行い、撮影タイミング発生部(104)は、適合したシーンを取得し、パターンマッチング部(108)へセットする。これにより、対象が向きを変えたり、操作者が位置を変えたりしても指定されたシーンに対して自由な角度で所望の撮影を行うことが可能になる。
[Example 3]
In the first and second embodiments, the motion simulation unit (109) extends the motion simulation to 3D by using a 3D model as the dynamic model data. The input video analysis unit (105) determines the direction of the target to be identified, and notifies the direction to the imaging timing generation unit (104). The photographing timing generation unit (104) notifies the direction to the operation simulation unit (109). The motion simulation unit (109) generates a scene suitable for the direction, and the shooting timing generation unit (104) acquires the suitable scene and sets it in the pattern matching unit (108). This makes it possible to perform desired shooting at a free angle with respect to the designated scene even if the object changes its orientation or the operator changes its position.
101 レンジ及びイメージセンサ
102 撮影制御部
103 画像保管部
104 撮影タイミング発生部
105 入力映像解析部
106 動態モデル特定部
107 動態モデルデータ
108 パターンマッチング部
109 動作シミュレーション部
110 表示用データ生成部
111 表示部
123 シミュレーション結果表示部
101 range and image sensor
102 Shooting control unit
103 Image storage
104 Shooting timing generator
105 Input video analysis unit
106 Dynamic model identification part
107 Dynamic model data
108 Pattern matching section
109 Operation simulation section
110 Display data generator
111 Display
123 Simulation result display
Claims (5)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017104276A JP2018201095A (en) | 2017-05-26 | 2017-05-26 | Imaging apparatus having motion prediction function |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017104276A JP2018201095A (en) | 2017-05-26 | 2017-05-26 | Imaging apparatus having motion prediction function |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018201095A true JP2018201095A (en) | 2018-12-20 |
Family
ID=64667403
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017104276A Pending JP2018201095A (en) | 2017-05-26 | 2017-05-26 | Imaging apparatus having motion prediction function |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018201095A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113454531A (en) * | 2019-02-19 | 2021-09-28 | 索尼半导体解决方案公司 | Imaging device, electronic device, and imaging method |
-
2017
- 2017-05-26 JP JP2017104276A patent/JP2018201095A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113454531A (en) * | 2019-02-19 | 2021-09-28 | 索尼半导体解决方案公司 | Imaging device, electronic device, and imaging method |
CN113454531B (en) * | 2019-02-19 | 2023-10-27 | 索尼半导体解决方案公司 | Imaging device, electronic device and imaging method |
US11823493B2 (en) | 2019-02-19 | 2023-11-21 | Sony Semiconductor Solutions Corporation | Imaging device, electronic device, and imaging method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101783196B1 (en) | Method and apparatus for obtaining an image with motion blur | |
CN104539840B (en) | Camera device, image capture method and recording medium | |
EP3107065A1 (en) | Methods and systems for providing virtual lighting | |
CN104243800B (en) | Control device and storage medium | |
US20030202120A1 (en) | Virtual lighting system | |
JP2010010936A (en) | Image recording apparatus, image recording method, image processing apparatus, image processing method, and program | |
JP2007194819A5 (en) | ||
JP2007074610A5 (en) | ||
CN105704393B (en) | The control method and recording medium of camera, photography direction | |
JP2011015091A5 (en) | ||
TWI477887B (en) | Image processing device, image processing method and recording medium | |
JP5880135B2 (en) | Detection apparatus, detection method, and program | |
WO2016011861A1 (en) | Method and photographing terminal for photographing object motion trajectory | |
JP2019106604A5 (en) | ||
JP5246590B2 (en) | Imaging apparatus, image generation method, and program | |
JP2022117599A5 (en) | ||
JP2018201095A (en) | Imaging apparatus having motion prediction function | |
JP2019153874A (en) | Information recording device, image recording device, operation auxiliary device, operation auxiliary system, information recording method, image recording method, and operation auxiliary method | |
JP7497587B2 (en) | Imaging device | |
JP2014179863A5 (en) | ||
JP6587014B2 (en) | Imaging device | |
JP2022045787A (en) | Image processing device, imaging apparatus, control method and program of image processing device | |
JP2022026907A5 (en) | ||
JP5423284B2 (en) | Imaging device | |
JP2000069467A5 (en) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191125 |