JP6008317B2 - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP6008317B2 JP6008317B2 JP2012221873A JP2012221873A JP6008317B2 JP 6008317 B2 JP6008317 B2 JP 6008317B2 JP 2012221873 A JP2012221873 A JP 2012221873A JP 2012221873 A JP2012221873 A JP 2012221873A JP 6008317 B2 JP6008317 B2 JP 6008317B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion
- captured image
- distortion
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 11
- 230000033001 locomotion Effects 0.000 claims description 373
- 239000013598 vector Substances 0.000 claims description 160
- 238000005096 rolling process Methods 0.000 claims description 108
- 238000000034 method Methods 0.000 claims description 79
- 238000003384 imaging method Methods 0.000 claims description 70
- 230000009466 transformation Effects 0.000 claims description 67
- 238000001514 detection method Methods 0.000 claims description 53
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 44
- 238000006243 chemical reaction Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 8
- 238000003786 synthesis reaction Methods 0.000 claims description 8
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 18
- 239000000203 mixture Substances 0.000 description 6
- 230000001788 irregular Effects 0.000 description 3
- 230000008602 contraction Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
図1は、第1実施形態に係る撮像システムを示す全体構成図である。この撮像システムは、被写体を撮像する撮像装置1と、撮像装置1で得られたフレーム画像(撮像画像)に対して画像処理を行う画像処理装置2と、画像処理装置2で得られた処理画像を表示する表示装置3と、を備えている。
次に、被写体の一部に動きがある場合に対応した構成について説明する。建物や樹木などの静止した被写体の他に、車両や人物などの動く被写体があると、フレーム画像に写った被写体のうち、動きのある被写体の像にのみローリングシャッタ歪みが発生する。このような場合、以下に説明するように、フレーム画像内の動きのある被写体の像の領域のみを対象にした歪み補正が行われる。なお、ここで特に言及しない点は前記の実施形態と同様である。
次に、撮像装置1と被写体の双方に動きがある場合に対応した構成について説明する。撮像装置1に手ぶれが生じたり、撮像装置1がパンおよびチルトの動作を行うと、フレーム画像に写った被写体の像が全体的に歪むローリングシャッタ歪みが発生する。これに加えて、建物や樹木などの静止した被写体の他に、車両や人物などの動く被写体があると、フレーム画像に写った被写体のうち、動きのある被写体の像には、静止した被写体の像に発生するローリングシャッタ歪みとは異なるローリングシャッタ歪みが発生する。このような場合、以下に説明するように、フレーム画像内の静止した被写体の像の領域を対象にした歪み補正と、フレーム画像内の動きのある被写体の像の領域を対象にした歪み補正とが行われる。なお、ここで特に言及しない点は前記の実施形態と同様である。
次に、回転などの不規則な動きがある場合のローリングシャッタ歪みを補正する構成について説明する。図15は、第4実施形態に係る画像処理装置2の概略構成を示すブロック図である。図16は、図15に示した画像処理装置2で行われる処理の概要を説明する説明図である。なお、ここで特に言及しない点は前記の実施形態と同様である。
2 画像処理装置
4 イメージセンサ
13 動きベクトル検出部
14 歪み補正部
15 補正パラメータ算出部
16 シャッタ走査方向格納部
17 フレーム画像サイズ格納部
18 アフィン変換部(幾何変換部)
23 動き領域抽出部
24 動きベクトル検出部
25 歪み補正部
26 画像合成部
27 補正パラメータ算出部
28 シャッタ走査方向格納部
29 フレーム画像サイズ格納部
30 アフィン変換部
33 フレーム全体動きベクトル検出部(第1の動きベクトル検出部)
34 フレーム全体動きマッチング部(位置合わせ部)
35 動き領域抽出部
36 動き領域動きベクトル検出部(第2の動きベクトル検出部)
37 背景歪み補正部(第1の歪み補正部)
38 前景歪み補正部(第2の歪み補正部)
39 画像合成部
48 幾何変換部
Claims (5)
- ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理装置であって、
第1の撮像画像およびこれに時間的に連続する第2の撮像画像に基づいて撮像画像全体の動きベクトルを検出する第1の動きベクトル検出部と、
前記第1の撮像画像および前記第2の撮像画像に基づいて前記第1の撮像画像内の動き領域を抽出して、前記第1の撮像画像を動き領域画像と静止領域画像とに分離する動き領域抽出部と、
前記動き領域画像および前記第2の撮像画像に基づいて動き領域の動きベクトルを検出する第2の動きベクトル検出部と、
前記撮像画像全体の動きベクトルに基づいて前記静止領域画像を対象にした幾何変換を行って、歪み補正された静止領域画像を取得する第1の歪み補正部と、
前記動き領域の動きベクトルに基づいて前記動き領域画像を対象にした幾何変換を行って、歪み補正された動き領域画像を取得する第2の歪み補正部と、
前記歪み補正された静止領域画像および前記歪み補正された動き領域画像を合成する画像合成部と、を備えたことを特徴とする画像処理装置。 - 前記幾何変換がアフィン変換であることを特徴とする請求項1に記載の画像処理装置。
- 前記歪み補正部は、
前記動きベクトル、および前記撮像画像から取得したシャッタ走査方向の画像サイズに基づいて、補正パラメータを算出する補正パラメータ算出部と、
前記補正パラメータに基づいて幾何変換を行う幾何変換部と、を備えたことを特徴とする請求項1または請求項2に記載の画像処理装置。 - 前記撮像画像全体の動きベクトルに基づいて前記第1の撮像画像に対する前記第2の撮像画像の位置合わせを行って、位置合わせされた第2の撮像画像を取得する位置合わせ部をさらに備え、
前記動き領域抽出部は、前記第1の撮像画像および前記位置合わせされた第2の撮像画像に基づいて前記第1の撮像画像内の動き領域を抽出し、
前記第2の動きベクトル検出部は、前記撮像画像全体の動きベクトル、前記動き領域画像、および前記位置合わせされた第2の撮像画像に基づいて、前記動き領域の動きベクトルを検出することを特徴とする請求項1から請求項3のいずれかに記載の画像処理装置。 - ローリングシャッタ露光方式で被写体を撮像する撮像装置で得られた撮像画像に生じたローリングシャッタ歪みを補正する画像処理方法であって、
第1の撮像画像およびこれに時間的に連続する第2の撮像画像に基づいて撮像画像全体の動きベクトルを検出するステップと、
前記第1の撮像画像および前記第2の撮像画像に基づいて前記第1の撮像画像内の動き領域を抽出して、前記第1の撮像画像を動き領域画像と静止領域画像とに分離するステップと、
前記動き領域画像および前記第2の撮像画像に基づいて動き領域の動きベクトルを検出するステップと、
前記撮像画像全体の動きベクトルに基づいて前記静止領域画像を対象にした幾何変換を行って、歪み補正された静止領域画像を取得するステップと、
前記動き領域の動きベクトルに基づいて前記動き領域画像を対象にした幾何変換を行って、歪み補正された動き領域画像を取得するステップと、
前記歪み補正された静止領域画像および前記歪み補正された動き領域画像を合成するステップと、を有することを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012221873A JP6008317B2 (ja) | 2012-10-04 | 2012-10-04 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012221873A JP6008317B2 (ja) | 2012-10-04 | 2012-10-04 | 画像処理装置及び画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014075685A JP2014075685A (ja) | 2014-04-24 |
JP6008317B2 true JP6008317B2 (ja) | 2016-10-19 |
Family
ID=50749560
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012221873A Expired - Fee Related JP6008317B2 (ja) | 2012-10-04 | 2012-10-04 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6008317B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021208569A1 (zh) * | 2020-04-13 | 2021-10-21 | Oppo广东移动通信有限公司 | 图像处理方法、电子装置及计算机可读存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016104830A1 (ko) * | 2014-12-24 | 2016-06-30 | 전자부품연구원 | 키-프레임과 자이로 스코프를 이용한 롤링-셔터 보정 방법 및 이를 적용한 촬영장치 |
JP6455354B2 (ja) * | 2015-07-23 | 2019-01-23 | 株式会社Jvcケンウッド | 動画撮影装置、動画撮影方法及びプログラム |
JP2019211223A (ja) * | 2018-05-31 | 2019-12-12 | コニカミノルタ株式会社 | 画像処理装置、過積載検出装置、過積載検出システム及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4915424B2 (ja) * | 2009-02-19 | 2012-04-11 | ソニー株式会社 | 画像処理装置、カメラモーション成分算出方法、画像処理プログラム及び記録媒体 |
JP2011114486A (ja) * | 2009-11-25 | 2011-06-09 | Sanyo Electric Co Ltd | 撮像装置 |
JP2011205442A (ja) * | 2010-03-26 | 2011-10-13 | Sony Corp | 画像処理装置、画像処理方法およびプログラム |
-
2012
- 2012-10-04 JP JP2012221873A patent/JP6008317B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021208569A1 (zh) * | 2020-04-13 | 2021-10-21 | Oppo广东移动通信有限公司 | 图像处理方法、电子装置及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP2014075685A (ja) | 2014-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6336638B2 (ja) | 信号間の変換を推定するための信号処理装置及び方法 | |
US8798387B2 (en) | Image processing device, image processing method, and program for image processing | |
WO2010079685A1 (ja) | 動きベクトル生成装置および動きベクトル生成方法 | |
JP4377932B2 (ja) | パノラマ画像生成装置およびプログラム | |
JP4814840B2 (ja) | 画像処理装置又は画像処理プログラム | |
KR101703515B1 (ko) | 영상의 표적 추적 장치 및 방법 | |
CN111164959B (zh) | 图像处理装置、图像处理方法以及记录介质 | |
JP6008317B2 (ja) | 画像処理装置及び画像処理方法 | |
JP6518115B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム | |
JP2011097246A (ja) | 画像処理装置および方法、並びにプログラム | |
JP4941565B2 (ja) | 対応点探索装置および対応点探索方法 | |
JP2013020527A (ja) | 画像処理装置および方法、並びにプログラム | |
US10346709B2 (en) | Object detecting method and object detecting apparatus | |
KR20140015892A (ko) | 영상 정합 장치 및 방법 | |
CN111510691A (zh) | 颜色插值方法及装置、设备、存储介质 | |
CN111064951A (zh) | 用于多摄相机***的装设校准方法及相关装置 | |
JPWO2007074605A1 (ja) | 画像処理方法、画像処理プログラム、画像処理装置、及び撮像装置 | |
JP5449980B2 (ja) | 動き補正装置およびその方法 | |
JP2009260671A (ja) | 画像処理装置及び撮像装置 | |
JP6375131B2 (ja) | 撮像装置、画像処理方法及び制御プログラム | |
CN110969575A (zh) | 自适应图像拼接的方法及图像处理装置 | |
US9883102B2 (en) | Image processing apparatus, image processing method, program, and camera | |
JP2018107699A (ja) | 画像処理装置及び画像処理方法 | |
JP4765726B2 (ja) | 画像処理装置および方法 | |
JP2020194400A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150819 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20150925 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160425 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160714 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160905 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6008317 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |