JP2010034739A - パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット - Google Patents
パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット Download PDFInfo
- Publication number
- JP2010034739A JP2010034739A JP2008193207A JP2008193207A JP2010034739A JP 2010034739 A JP2010034739 A JP 2010034739A JP 2008193207 A JP2008193207 A JP 2008193207A JP 2008193207 A JP2008193207 A JP 2008193207A JP 2010034739 A JP2010034739 A JP 2010034739A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- motion amount
- amount
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 11
- 239000013598 vector Substances 0.000 claims abstract description 60
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000000295 complement effect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【解決手段】電子機器1は連続画像を撮影するカメラ部10と、動きベクトル算出部201と、動き算出計算が可能かどうかを判定する動きベクトル品質判定部202および、画像の動き量を算出する動き量算出部203および、動き算出計算が不能である場合に過去に算出した画像の動き量を用いて処理を行う動き量算出補完部204および、動き量を累計し一定の動き量が累計した時点での画像を結合対象として選択する画像選択部205および、前記画像選択部によって結合対象として選択された画像を結合し、出力結果となる広角な画像を生成する画像結合部206からなる。
【選択図】図1
Description
以下は、本発明をパノラマ撮影装置として実現した場合の態様について示す。
動きベクトル品質判定手段(202)は、動きベクトル算出手段が取得した位置差分情報の有用性を判断する。
図面において、同様の構成要素には同じ参照番号が付されている。
図1は、本実施形態による、カメラ・モジュール10を備える電子機器1の構成を示している。電子機器1は、さらに画像処理プロセッサ(CPU)20と、記録部30と、入力装置401(例えばキー)およびディスプレイ402に結合されたユーザ・インタフェース(I/F)40と、を備えている。
ごとに取得した複数の画像が格納される。選択画像および動き量累計値領域302は結合対象となる複数の画像および、画像間の相対位置を示す動き量累計値を格納する。結合画像領域303は画像処理された出力画像を格納する。
動きベクトル品質判定部202によって画像の動き量が算出可能であると判定された場合に、動き量検出部203は画像の動き量の算出を行う。ステップS511において、動き量検出部203は画像中のマクロブロック毎の動きベクトルを読みだす。ステップS511において、マクロブロックによっては動きベクトルを持たないイントラマクロブロックである場合があり、また、撮影中に動きのある撮影対象がフレームインする場合があるため、画像の上下左右端のマクロブロックおよびイントラマクロブロックは画像の動き量の算出には用いない。ステップS512において画像中の上下左右端以外かつイントラマクロブロックでないマクロブロックの動きベクトルの平均値μおよび、分散値ρを算出する。平均値μから±ρの範囲を超えた動きベクトルを持つマクロブロックについては、映像のノイズや撮影中に動きのある撮影対象がフレームインしたことによるものであると判断し、画像の動き量の算出には用いない。ステップS513〜S514において、動きベクトルがμ±ρの範囲にあるマクロブロックの動きベクトルの平均値μ'を算出し、μ'を対象の画像の動き量とする。
動きベクトル品質判定部202によって画像の動き量は算出不能であると判定された場合に、動き量算出補完部204は画像の動き量の算出を行う。撮影時、動き量の算出が不能となるような被写体を撮影した場合においても、撮影者は一定の速度で電子機器1を平行移動させていると仮定し、前画像において算出した動き量を用いて処理を継続する。ステップS520〜S521において、前画像において動き量検出部203または動き量算出補完部204にて算出された動き量を読み出し、現画像の動き量として適用する。
算出するためのフローチャートを示している。
20 画像処理プロセッサ
30 記録部
40 ユーザ・インタフェース
201 動きベクトル算出部
202 動きベクトル品質判定部
203 動き量算出部
204 動き量算出補完部
205 画像選択部
206 画像結合部
Claims (6)
- カメラ・モジュールにて撮影した連続画像からパノラマ画像を合成するための装置であって、
前記連続画像の位置差分情報を取得する動きベクトル算出手段と、
該動きベクトル算出手段が取得した前記位置差分情報の有用性を判断する動きベクトル品質判定手段と、
該動きベクトル品質判定手段によって画像の動き量算出可能と判断された場合に画像の動き量を算出する動き量算出手段と、
前記動き量を元に処理対象の画像を選択する画像選択手段と、
該画像選択手段が選択する部分的に重なり合った複数の画像を用いて重なり合う部分を結合し1枚の画像に合成する画像結合手段と、
を含むことを特徴とするパノラマ撮影装置。 - 前記動き量算出手段は、前記連続画像のマクロブロックごとの動きベクトルを元に画像間の動き量を算出し、
前記画像選択手段は、前記動き量算出手段が算出した一定の動き量が累計された場合に、前記結合対象の画像を選択する、
ことを特徴とする請求項1に記載のパノラマ撮影装置。 - 前記動き量算出手段は、前記動き量を算出する際に、マクロブロックごとの動きベクトルの平均値を求め、平均値に対して一定以上の誤差を持つ動きベクトルは動き量の算出対象より除外する、
ことを特徴とする請求項1に記載のパノラマ撮影装置。 - 前記動き量算出手段は、前記動き量を算出する際に、有効な動きベクトルが少なく動き量が算出不能である場合に、以前の画像において算出した動き量を再利用することによって算出不能であった動き量を補完する、
ことを特徴とする請求項1に記載のパノラマ撮影装置。 - カメラ・モジュールにて撮影した連続画像からパノラマ画像を合成するための方法であって、
前記連続画像の位置差分情報を取得する動きベクトル算出ステップと、
該動きベクトル算出ステップが取得した前記位置差分情報の有用性を判断する動きベクトル品質判定ステップと、
該動きベクトル品質判定ステップによって画像の動き量算出可能と判断された場合に画像の動き量を算出する動き量算出ステップと、
前記動き量を元に処理対象の画像を選択する画像選択ステップと、
該画像選択ステップが選択する部分的に重なり合った複数の画像を用いて重なり合う部分を結合し1枚の画像に合成する画像結合ステップと、
を含むことを特徴とするパノラマ撮影方法。 - 請求項1乃至4の何れか1項に記載のパノラマ撮影装置を搭載したカメラユニット。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008193207A JP5338174B2 (ja) | 2008-07-28 | 2008-07-28 | パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット |
US12/505,656 US8164641B2 (en) | 2008-07-28 | 2009-07-20 | Photographic device and photographing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008193207A JP5338174B2 (ja) | 2008-07-28 | 2008-07-28 | パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013105782A Division JP5598569B2 (ja) | 2013-05-20 | 2013-05-20 | パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010034739A true JP2010034739A (ja) | 2010-02-12 |
JP5338174B2 JP5338174B2 (ja) | 2013-11-13 |
Family
ID=41568284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008193207A Expired - Fee Related JP5338174B2 (ja) | 2008-07-28 | 2008-07-28 | パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット |
Country Status (2)
Country | Link |
---|---|
US (1) | US8164641B2 (ja) |
JP (1) | JP5338174B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011188035A (ja) * | 2010-03-04 | 2011-09-22 | Fujifilm Corp | 撮像装置及びパノラマ画像合成方法並びにそのプログラム |
CN102234060A (zh) * | 2010-04-20 | 2011-11-09 | 株式会社日立建筑*** | 乘客输送机的移动扶手探伤装置 |
KR101391042B1 (ko) | 2011-04-06 | 2014-04-30 | 가시오게산키 가부시키가이샤 | 광각 화상을 생성 가능한 화상 처리 장치 |
JP2017175364A (ja) * | 2016-03-23 | 2017-09-28 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理装置の制御方法 |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101336951B1 (ko) * | 2007-11-02 | 2013-12-04 | 삼성전자주식회사 | 휴대 단말기 및 그 파노라마 이미지 촬영 모드 수행 방법 |
US9307165B2 (en) * | 2008-08-08 | 2016-04-05 | Qualcomm Technologies, Inc. | In-camera panorama image stitching assistance |
WO2010025309A1 (en) * | 2008-08-28 | 2010-03-04 | Zoran Corporation | Robust fast panorama stitching in mobile phones or cameras |
US8947502B2 (en) * | 2011-04-06 | 2015-02-03 | Qualcomm Technologies, Inc. | In camera implementation of selecting and stitching frames for panoramic imagery |
CN102131042A (zh) * | 2010-01-15 | 2011-07-20 | 鸿富锦精密工业(深圳)有限公司 | 便携式电子装置 |
JP5471965B2 (ja) * | 2010-08-16 | 2014-04-16 | 富士通セミコンダクター株式会社 | 画像処理装置、撮像装置、及び画像処理方法 |
JP5561214B2 (ja) * | 2011-03-15 | 2014-07-30 | オムロン株式会社 | 画像処理装置および画像処理プログラム |
US9160914B2 (en) * | 2011-06-28 | 2015-10-13 | Inview Technology Corporation | User control of the visual performance of a compressive imaging system |
EP2555156B1 (en) * | 2011-08-05 | 2015-05-06 | ST-Ericsson SA | Image mosaicing |
KR102367550B1 (ko) * | 2014-09-02 | 2022-02-28 | 삼성전자 주식회사 | 생체 신호를 이용한 카메라 모듈의 제어 |
JP6922215B2 (ja) * | 2016-12-27 | 2021-08-18 | 富士通株式会社 | 動画像符号化装置 |
JP6545229B2 (ja) * | 2017-08-23 | 2019-07-17 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム |
JP7309333B2 (ja) * | 2018-08-30 | 2023-07-18 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、並びに記録媒体 |
CN111833243B (zh) * | 2020-09-20 | 2020-12-01 | 武汉中科通达高新技术股份有限公司 | 一种数据展示方法、移动终端和存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06141218A (ja) * | 1992-10-23 | 1994-05-20 | Sony Corp | パノラマ画像作成装置の動きベクトル検出方法及び装置 |
JP2001359101A (ja) * | 2000-06-09 | 2001-12-26 | Toshiba Corp | フラッシュバック処理方法とこの方法を用いたデジタル映像信号処理装置及びデジタル放送受信装置 |
JP2006270676A (ja) * | 2005-03-25 | 2006-10-05 | Fujitsu Ltd | パノラマ画像生成プログラム、パノラマ画像生成装置、パノラマ画像生成方法 |
WO2008087721A1 (ja) * | 2007-01-18 | 2008-07-24 | Fujitsu Limited | 画像合成装置、画像合成方法、プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3253478B2 (ja) * | 1995-03-20 | 2002-02-04 | シャープ株式会社 | 映像記録装置 |
US6834128B1 (en) * | 2000-06-16 | 2004-12-21 | Hewlett-Packard Development Company, L.P. | Image mosaicing system and method adapted to mass-market hand-held digital cameras |
JP4533587B2 (ja) | 2003-02-07 | 2010-09-01 | 株式会社東芝 | 医用画像の貼り合わせ装置 |
US20070030396A1 (en) * | 2005-08-05 | 2007-02-08 | Hui Zhou | Method and apparatus for generating a panorama from a sequence of video frames |
-
2008
- 2008-07-28 JP JP2008193207A patent/JP5338174B2/ja not_active Expired - Fee Related
-
2009
- 2009-07-20 US US12/505,656 patent/US8164641B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06141218A (ja) * | 1992-10-23 | 1994-05-20 | Sony Corp | パノラマ画像作成装置の動きベクトル検出方法及び装置 |
JP2001359101A (ja) * | 2000-06-09 | 2001-12-26 | Toshiba Corp | フラッシュバック処理方法とこの方法を用いたデジタル映像信号処理装置及びデジタル放送受信装置 |
JP2006270676A (ja) * | 2005-03-25 | 2006-10-05 | Fujitsu Ltd | パノラマ画像生成プログラム、パノラマ画像生成装置、パノラマ画像生成方法 |
WO2008087721A1 (ja) * | 2007-01-18 | 2008-07-24 | Fujitsu Limited | 画像合成装置、画像合成方法、プログラム |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011188035A (ja) * | 2010-03-04 | 2011-09-22 | Fujifilm Corp | 撮像装置及びパノラマ画像合成方法並びにそのプログラム |
CN102234060A (zh) * | 2010-04-20 | 2011-11-09 | 株式会社日立建筑*** | 乘客输送机的移动扶手探伤装置 |
JP2011225333A (ja) * | 2010-04-20 | 2011-11-10 | Hitachi Building Systems Co Ltd | 乗客コンベアの移動手摺探傷装置 |
KR101391042B1 (ko) | 2011-04-06 | 2014-04-30 | 가시오게산키 가부시키가이샤 | 광각 화상을 생성 가능한 화상 처리 장치 |
JP2017175364A (ja) * | 2016-03-23 | 2017-09-28 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理装置の制御方法 |
Also Published As
Publication number | Publication date |
---|---|
US8164641B2 (en) | 2012-04-24 |
JP5338174B2 (ja) | 2013-11-13 |
US20100020190A1 (en) | 2010-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5338174B2 (ja) | パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット | |
TWI387330B (zh) | 具有用於拍攝平移圖像之平移模式的攝像裝置 | |
JP4293053B2 (ja) | 撮像装置及び方法 | |
JP4900401B2 (ja) | 撮影装置およびプログラム | |
TWI386040B (zh) | 具備影像振動檢測機能的攝影裝置 | |
JP5764740B2 (ja) | 撮像装置 | |
KR101393560B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
WO2004062270A1 (ja) | 画像処理装置 | |
WO2010100677A1 (ja) | 画像処理装置およびぶれ量算出方法 | |
JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP4420906B2 (ja) | 撮像装置 | |
JP2015053741A (ja) | 画像再生装置 | |
JP2001223932A (ja) | 撮像装置及びデジタルカメラ | |
JP4947576B2 (ja) | 撮像装置、ぶれ補正方法及び撮像方法 | |
JP4742813B2 (ja) | 画像処理装置および画像処理方法 | |
JP5696419B2 (ja) | 画像処理装置及び方法、並びにプログラム | |
JP2006246354A (ja) | 撮影装置及び撮影プログラム | |
JP2009278432A (ja) | 撮像装置および撮像装置における撮像方法 | |
JP5248951B2 (ja) | カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム | |
JP2009053786A (ja) | 画像処理装置、撮像装置、画像処理方法、および、プログラム | |
JP5598569B2 (ja) | パノラマ撮影装置及び方法、パノラマ撮影装置を搭載したカメラユニット | |
JP2004222025A (ja) | 電子カメラ | |
JP5021370B2 (ja) | 撮影装置、表示方法、及びプログラム | |
JP2001223942A (ja) | 撮像装置、撮像装置の制御方法、パノラマ合成用画像の撮像方法、撮像装置の制御プログラムを供給する媒体 | |
JP2015069064A (ja) | 被写体追尾装置、撮像装置及び被写体追尾プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110418 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120522 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120717 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20130219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130520 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20130529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130722 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5338174 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |