JP6314321B2 - 画像生成装置、撮影装置、画像生成方法及びプログラム - Google Patents
画像生成装置、撮影装置、画像生成方法及びプログラム Download PDFInfo
- Publication number
- JP6314321B2 JP6314321B2 JP2015507994A JP2015507994A JP6314321B2 JP 6314321 B2 JP6314321 B2 JP 6314321B2 JP 2015507994 A JP2015507994 A JP 2015507994A JP 2015507994 A JP2015507994 A JP 2015507994A JP 6314321 B2 JP6314321 B2 JP 6314321B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- unit
- captured image
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3872—Repositioning or masking
- H04N1/3873—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
- H04N1/3875—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming combined with enlarging or reducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
- H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Editing Of Facsimile Originals (AREA)
Description
特許文献1のように、撮影された画像から特定の被写体を含む領域を抽出し、抽出した画像に基づいて画像を生成し、それらをつなぎ合わせて動画を生成すると、視聴者に見やすい画像が生成できない場合がある。
図1は、撮影装置の一例としてのビデオカメラ100の斜視図である。ビデオカメラ100は画像を撮影し、それを記録し、再生するものである。また、ビデオカメラ100は撮影した画像から新たな画像を生成する。
次に、撮影された画像から画像の一部を切り出して新たな画像を生成する手順を、撮影された画像の一例を用いて説明する。撮影された画像から画像の一部を切り出して、新たな画像を生成する処理は、カメラワーク情報抽出部315と構図情報計算部316と構図情報整形部317で行う。
以上により、本実施の形態で説明するビデオカメラ100は、撮影した画像の一部を切り出して新たな画像を生成する。その生成される新たな画像は、記憶部302に記録された制約条件に基づいて、撮影された画像から切り出される。そのため、ビデオカメラ100での画像撮影時に熟練した撮影技術等がなくても、撮影した画像から新たに生成される画像は、より好ましい画像となる。
実施の形態1において、撮影した画像から新たな画像を生成する際に、制約条件を満たしたとしても、生成された新たな画像のフレーム間で画像が滑らかにならない場合がある。例えば、撮影しているビデオカメラ100のズーム速度が所定速度よりも速い場合や、人物や物体の動きが所定速度よりも早い場合等である。本実施の形態では、生成する新たな画像のフレーム間で滑らかにするための補間処理について説明する。
本実施の形態では、ビデオカメラによって撮影した画像から新たに生成された画像の記録について説明する。
200 レンズ群
201 撮像素子
202 画像AD変換部
203,2203 画像信号処理部
204,2204 画像信号圧縮部
205 レンズ制御モジュール
206 姿勢検出部
207 外部入力部
208 マイクロフォン
209 音声AD変換部
210 音声信号圧縮部
211 画像信号伸張部
212 映像表示部
213 音声信号伸張部
214 音声出力部
215 出力I/F
300,1300,2300 制御部
301 クロック
302,2302 記憶部
311 レンズ制御部
312 撮像制御部
313 画像解析部
314 音声解析部
315,2315 カメラワーク情報抽出部
316,1316 構図情報計算部
317,2317 構図情報整形部
318,2318 多重化部
319,2319 再生部
Claims (5)
- 撮影された画像から人物を検出する人検出部と、
前記撮影された画像から、撮影された画像の1コマの単位であるフレーム間の動きを検出する動き検出部と、
撮像装置におけるパンまたはティルトの動作による前記撮像装置の姿勢を検出する姿勢検出部と、
検出した前記人物と、検出した前記動きと、における制約条件と、検出した前記姿勢におけるフレーム間にまたがるカメラワークに関する制約条件と、に基づいて、前記撮影された画像から一部を切り出すための切り出し枠を決定する切り出し枠特定部と、
前記撮影された画像の属性情報に含まれる前記切り出し枠を用いて、前記撮影された画像から画像の一部を切り出して新たな画像を生成する構図情報整形部と、
を備える画像生成装置。 - 前記カメラワークにおける制約条件は、
パンの動作における左右の移動時間、ティルトの動作における上下の移動時間、ズームの縮小時間、ズームの拡大時間のうち少なくとも1つを含む、
請求項1に記載の画像生成装置。 - 画像を取得する撮像系と、
請求項1または請求項2に記載の画像生成装置と、
を備える撮影装置。 - 撮影された画像から人物を検出し、
撮影された画像から撮影された画像の1コマの単位であるフレーム間の動きを特定し、
撮像装置におけるパンまたはティルトの動作による前記撮像装置の姿勢を検出し、
検出した前記人物と、検出した前記動きと、における制約条件と、検出した前記姿勢におけるフレーム間にまたがるカメラワークに関する制約条件と、に基づいて、前記撮影された画像から一部を切り出すための切り出し枠を決定し、
前記撮影された画像の属性情報に含まれる前記切り出し枠を用いて、前記撮影された画像から画像の一部を切り出して新たな画像を生成する、
画像生成方法。 - 撮影された画像から人物を検出することと、
撮影された画像から撮影された画像の1コマの単位であるフレーム間の動きを特定することと、
撮像装置におけるパンまたはティルトの動作による前記撮像装置の姿勢を検出することと、
検出した前記人物と、検出した前記動きと、における制約条件と、検出した前記姿勢におけるフレーム間にまたがるカメラワークに関する制約条件と、に基づいて、前記撮影された画像から一部を切り出すための切り出し枠を決定することと、
前記撮影された画像の属性情報に含まれる前記切り出し枠を用いて、前記撮影された画像から画像の一部を切り出して新たな画像を生成することと、
をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013063448 | 2013-03-26 | ||
JP2013063448 | 2013-03-26 | ||
PCT/JP2014/001006 WO2014155963A1 (ja) | 2013-03-26 | 2014-02-26 | 画像生成装置、撮影装置、画像生成方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014155963A1 JPWO2014155963A1 (ja) | 2017-02-16 |
JP6314321B2 true JP6314321B2 (ja) | 2018-04-25 |
Family
ID=51622986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015507994A Active JP6314321B2 (ja) | 2013-03-26 | 2014-02-26 | 画像生成装置、撮影装置、画像生成方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9848133B2 (ja) |
JP (1) | JP6314321B2 (ja) |
WO (1) | WO2014155963A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6937477B2 (ja) * | 2017-04-24 | 2021-09-22 | パナソニックIpマネジメント株式会社 | 制御システム、シーン制御の実行方法、及び、プログラム |
JP7396919B2 (ja) * | 2020-02-12 | 2023-12-12 | シャープ株式会社 | 電子機器、撮像表示制御装置、撮像表示システム、撮像表示制御方法、および、プログラム |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100215586B1 (ko) | 1992-11-09 | 1999-08-16 | 모리시타 요이찌 | 다이제스트 화상 자동생성 장치 및 다이제스트 화상 자동생성 방법 |
JP3213105B2 (ja) | 1993-02-23 | 2001-10-02 | 日本電信電話株式会社 | 映像の構図自動決定処理方法 |
JPH08255257A (ja) * | 1995-03-17 | 1996-10-01 | Fujitsu Social Sci Lab:Kk | 静止画像入力装置 |
JP4366023B2 (ja) | 2001-03-16 | 2009-11-18 | インターナショナル・ビジネス・マシーンズ・コーポレーション | ビデオ・イメージの部分イメージ領域抽出方法、部分イメージ領域抽出システム、部分イメージ領域抽出のためのプログラム、抽出されたビデオ・イメージの配信方法およびコンテンツ作成方法 |
JP2007013479A (ja) | 2005-06-29 | 2007-01-18 | Matsushita Electric Ind Co Ltd | カメラワーク情報付与および評価装置 |
JP2007018198A (ja) | 2005-07-06 | 2007-01-25 | Sony Corp | リンク情報付きインデックス情報生成装置、タグ情報付き画像データ生成装置、リンク情報付きインデックス情報生成方法、タグ情報付き画像データ生成方法及びプログラム |
US8026945B2 (en) | 2005-07-22 | 2011-09-27 | Cernium Corporation | Directed attention digital video recordation |
US20070250898A1 (en) | 2006-03-28 | 2007-10-25 | Object Video, Inc. | Automatic extraction of secondary video streams |
US8848053B2 (en) | 2006-03-28 | 2014-09-30 | Objectvideo, Inc. | Automatic extraction of secondary video streams |
JP4854539B2 (ja) | 2007-02-21 | 2012-01-18 | キヤノン株式会社 | 画像処理装置、その制御方法、及びプログラム |
TW200924534A (en) | 2007-06-04 | 2009-06-01 | Objectvideo Inc | Intelligent video network protocol |
JP5246159B2 (ja) | 2007-06-08 | 2013-07-24 | 株式会社ニコン | 撮像装置、画像表示装置、プログラム |
JP5111088B2 (ja) | 2007-12-14 | 2012-12-26 | 三洋電機株式会社 | 撮像装置及び画像再生装置 |
JP2009182400A (ja) | 2008-01-29 | 2009-08-13 | Sony Corp | 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 |
CN102124727B (zh) * | 2008-03-20 | 2015-07-29 | 无线电技术研究学院有限公司 | 将视频图像适配到小屏幕尺寸的方法 |
JP2010062853A (ja) * | 2008-09-03 | 2010-03-18 | Fujifilm Corp | 情報処理装置、方法およびプログラム |
JP5202211B2 (ja) | 2008-09-25 | 2013-06-05 | 三洋電機株式会社 | 画像処理装置及び電子機器 |
JP2010103972A (ja) | 2008-09-25 | 2010-05-06 | Sanyo Electric Co Ltd | 画像処理装置及び電子機器 |
US20100074557A1 (en) | 2008-09-25 | 2010-03-25 | Sanyo Electric Co., Ltd. | Image Processing Device And Electronic Appliance |
JP2011078008A (ja) | 2009-10-01 | 2011-04-14 | Nippon Hoso Kyokai <Nhk> | コンテンツ共有装置、コンテンツ編集装置、コンテンツ共有プログラム、およびコンテンツ編集プログラム |
JP2011188210A (ja) * | 2010-03-08 | 2011-09-22 | Olympus Imaging Corp | 撮影機器及び撮影システム |
JP2012205037A (ja) | 2011-03-25 | 2012-10-22 | Olympus Imaging Corp | 画像処理装置および画像処理方法 |
JP6019567B2 (ja) | 2011-03-31 | 2016-11-02 | ソニー株式会社 | 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置 |
-
2014
- 2014-02-26 WO PCT/JP2014/001006 patent/WO2014155963A1/ja active Application Filing
- 2014-02-26 JP JP2015507994A patent/JP6314321B2/ja active Active
- 2014-02-26 US US14/761,054 patent/US9848133B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20150381903A1 (en) | 2015-12-31 |
WO2014155963A1 (ja) | 2014-10-02 |
US9848133B2 (en) | 2017-12-19 |
JPWO2014155963A1 (ja) | 2017-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11902704B2 (en) | Apparatus and method for video-audio processing, and program for separating an object sound corresponding to a selected video object | |
JP5685732B2 (ja) | 映像抽出装置、プログラム及び記録媒体 | |
US8218033B2 (en) | Sound corrector, sound recording device, sound reproducing device, and sound correcting method | |
JP2009156888A (ja) | 音声補正装置及びそれを備えた撮像装置並びに音声補正方法 | |
WO2015098110A1 (ja) | 撮像装置、撮像システムおよび撮像方法 | |
JP6295442B2 (ja) | 画像生成装置、撮影装置、画像生成方法及びプログラム | |
JP6314321B2 (ja) | 画像生成装置、撮影装置、画像生成方法及びプログラム | |
JP2012151544A (ja) | 撮像装置及びプログラム | |
JP6295443B2 (ja) | 画像生成装置、撮影装置、画像生成方法及びプログラム | |
WO2015104780A1 (ja) | 映像撮像装置 | |
JP2020108047A (ja) | 画像処理装置、移動体デバイス、画像処理方法および画像処理プログラム | |
JP2014236276A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
JP2009302665A (ja) | 撮像装置および撮像装置用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170509 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180226 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6314321 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |