JP7106399B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP7106399B2 JP7106399B2 JP2018165718A JP2018165718A JP7106399B2 JP 7106399 B2 JP7106399 B2 JP 7106399B2 JP 2018165718 A JP2018165718 A JP 2018165718A JP 2018165718 A JP2018165718 A JP 2018165718A JP 7106399 B2 JP7106399 B2 JP 7106399B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- radius
- virtual cylinder
- focal length
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 113
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000003384 imaging method Methods 0.000 claims description 126
- 230000009466 transformation Effects 0.000 claims description 74
- 230000002194 synthesizing effect Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 22
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000001514 detection method Methods 0.000 claims description 17
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims 2
- 238000012937 correction Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 14
- 238000011161 development Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 12
- 238000007906 compression Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 239000004973 liquid crystal related substance Substances 0.000 description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 239000002131 composite material Substances 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 230000004075 alteration Effects 0.000 description 6
- 230000004907 flux Effects 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 238000009966 trimming Methods 0.000 description 5
- 230000006837 decompression Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
一方、複数の画像を合成して広い撮影範囲の画像を生成する場合、撮影方式に応じて適切な合成処理方式を設定することが重要であり、特に、特許文献2には、撮影焦点距離を半径とする仮想円筒面上に円筒座標変換を行う技術が開示されている。
<第1の実施形態>
図1は、第1の実施形態に係る画像処理装置の一適用例としての撮像装置の概略構成を示すブロック図である。本実施形態の撮像装置は、様々な撮影機能を備えており、その一つとしてパノラマ撮影機能をも備えた、例えばデジタルカメラである。
図1に示した撮像装置の詳細な構成について説明する前に、以下の図2(a)および図2(b)から図4までを用いて、パノラマ撮影について説明する。
円筒座標変換では、円筒変換パラメータの一つとして仮想円筒の半径が用いられる。円筒座標変換における仮想円筒の半径は、撮像装置が有する撮影レンズの焦点距離に対応した半径にすることが好ましい。このため、撮影レンズの焦点距離が短くなるほど、つまり広角レンズであるほど、仮想円筒の半径は小さくなる。
具体例として、撮像装置の撮像素子のサイズが幅22.32mmで高さ14.88mmのいわゆるAPS-Cサイズであり、画素ピッチが3.72μm、画素数が6000×4000ピクセルであるとする。この例において、撮影レンズの焦点距離fが例えば11mmである場合、式(1)および式(2)から、有効高さHは2809ピクセルとなり、撮像素子の高さ(4000ピクセル)の約70%になる。また例えば、撮影レンズの焦点距離fが18mmである場合、有効高さHは3400ピクセルとなり、撮像素子の高さ(4000ピクセル)の約85%になる。図3には、焦点距離fを横軸とし、撮像素子の高さに対する有効高さの割合[%]を縦軸として、撮影レンズの焦点距離fと有効高さの割合との対応点をプロットしたグラフを示している。図3に示すように、撮影レンズの焦点距離fが短くなるほど、撮像素子の高さに対する有効高さの割合が減る。つまりこれは、撮影レンズの焦点距離が短い広角レンズになるほど、円筒座標変換における座標変換量が大きくなることを表している。そしてこのことは、撮影レンズが広角レンズであるほど、円筒座標変換後の画像として使える領域が小さくなってしまうことを意味している。一方で、パノラマ撮影を行う際、ユーザは、広い範囲を撮影しようとして画角が広い広角レンズ、つまり撮影レンズの焦点距離を短くして撮影を行おうとするが、この場合、逆に画像として使用できる有効高さが減ってしまうことになる。
パノラマ撮影の際には、図2(a)で説明したように、ユーザ200等を中心として回転するように撮像装置201をスイングさせて撮像方向を順次変更しつつ、連写のように連続的な画像撮影が行われる。そして、パノラマ画像は、パノラマ撮影で取得された各画像から、隣接する撮影方向間におけるスイング時の回転の角度βに応じて各画像の中心付近の部分画像を切り出して順次合成することにより生成される。ここで、撮像素子の1画素のサイズが例えばp[μm]であり、前述した移動ベクトルのX方向の成分(大きさ)がx[pix]、仮想円筒の半径がR[mm]であるとすると、角度βは、式(3)により表される。
(h/2)・x・cos{arctan(x・p/f/1000)/2} 式(6)
図1において、撮影レンズ101は、フォーカスレンズやズームレンズを有し、被写体等の光学像を撮像センサ112の撮像面上に結像させる。撮影レンズ101は、撮像装置本体に着脱可能な交換レンズであってもよいし、撮像装置に固定されたレンズであってもよい。絞り103は、絞り駆動回路104により駆動され、撮影レンズ101を介した入射光量の調節を行う。絞り駆動回路104は、マイクロコンピュータ(以下、マイコンとする。)123により算出された絞り駆動量を基に、絞り103における光学的な絞り値を変化させる。AF(オートフォーカス)駆動回路102は、例えばDCモータやステッピングモータを有して構成され、マイコン123からのフォーカス制御信号を基に、撮影レンズ101のフォーカスレンズを駆動してピント合わせを行う。
温度計134は、温度を検出し、その検出信号をマイコン123に出力する。本実施形態の場合、温度計134は、ジャイロセンサ133付近に配置することが好ましいが、一般的に撮像装置やメモリ120等の保護のために撮像センサ112やメモリ120などの近傍に設置されている温度センサを流用してもよい。
電源部131は、例えば着脱可能なバッテリを備えており、本実施形態の撮像装置の各部に必要な電力を供給する。
内部時計132は、時刻情報や撮像装置の動作に必要な時間情報を出力してマイコン123に出力する。マイコン123は、例えば内部時計132からの時刻情報に基づく撮影時刻データを、メモリ120に記録される画像ファイルに付加又は重畳することができる。
本実施形態の撮像装置はパノラマ撮影モードを含む種々の撮影モードでの動作が可能となされており、前述したパノラマ撮影は、ユーザが撮像装置の撮影モードをパノラマ撮影モードに設定することにより実行可能となる。
以下、図5のフローチャートと図6に示すデータフローダイアグラムを用いて、パノラマ撮影時の撮像装置における処理の流れを説明する。図5のフローチャートおよび図6のデータフローダイアグラムに示した動作は、マイコン123が撮像装置の各部を制御することにより行われる。なお、図5に示すフローチャートの処理は、ハードウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により処理が実行される場合、例えば不揮発性メモリ130に記憶されているプログラムをマイコン123が実行することにより実現される。本実施形態に係るプログラムは、不揮発性メモリ130に予め用意されていてもよく、また着脱可能な半導体メモリ等から読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりしてもよい。
d=tan(β/2)×f/p×1000 式(9)
続いてマイコン123は、S610として、幾何変換回路116eが円筒座標変換を行う際に用いる、仮想円筒の半径を算出する。
ここで、前述したように、撮影レンズ101が焦点距離の短い広角レンズになっている場合、その焦点距離を仮想円筒の半径にして円筒座標変換を行うと、画像の左右端近辺の座標変換量が大きくなり、高さ方向の有効画素数が少なくなってしまう。
なお、2枚目のYUV画像が図7のN枚目現像後画像706である場合、図7のN枚目現像後画像706が幾何変換回路116eで円筒座標変換および歪曲収差補正された後の画像は、N枚目幾何変換後画像707となる。このN枚目幾何変換後画像707はバッファメモリ122に格納され、次の画像(3枚目の画像)が撮影されて移動量算出回路116cで移動量が算出される際に、N-1枚目幾何変換後画像703としてバッファメモリ122から読み出されることになる。
その後、S617において、マイコン123は、合成画像712の圧縮データを、メモリコントローラ119を介してメモリ120に保存させる。なお、圧縮処理の前に、合成画像712の暗部を見易くするためにガンマ補正回路116bでγ補正を行ってもよく、また、画像全体の色調を統一するための色調補正を行ってもよい。また、合成画像のサイズが大きい場合には、予めユーザにより指定されたサイズになるように、変倍回路116fによる変倍処理が行われてもよい。さらに、手ぶれなどを考慮し、最大内接矩形或いは予め決められた領域でトリミング回路116gによる切り出しを行ってから、圧縮処理および保存処理を行ってもよい。
次に第2の実施形態について説明する。第2の実施形態に係る撮像装置の構成等は前述同様であるため、その図示と説明は省略する。
前述した第1の実施形態では、図6のフローチャートで説明したように、ジャイロ情報を基にスイング量(移動量)を算出し、その移動量に基づいて仮想円筒の半径を決定していた。これに対し、第2の実施形態では、撮影された画像から移動量を算出し、その移動量に基づいて仮想円筒の半径を決定する。図8には、パノラマ撮影された画像から隣接撮影方向間の移動量を算出し、その移動量に基づいて仮想円筒の半径を決定する処理を含む第2の実施形態のフローチャートを示す。なお、図8においてS801~S805は前述のS601~S605と同様であり、またS807はS606と、S808はS609と、S813~S819はS612~S619と概ね同様の処理であるため、それらの詳細な説明は省略する。以下、図6のフローチャートとは異なる処理を主に説明する。
S806において、マイコン123は、撮影レンズ101の実焦点距離を仮想円筒の半径に決定し、1枚目の画像について、幾何変換回路116eによる円筒座標変換を行わせる。なお、S806における円筒座標変換は、後述するS810で行われる移動量算出において正確な移動量を算出するために行われる。このS806の後は、S807において前述のS606と同様に2枚目以降の撮影が行われ、次のS808において前述のS609と同様に歪曲補正処理が行われる。
Claims (15)
- 撮像装置の撮影方向を順次変更しつつ隣接する撮影方向で共通領域を含むように撮影された複数の画像を取得する取得手段と、
仮想円筒の半径を決定する決定手段と、
前記複数の各画像を、前記仮想円筒に投影された画像に円筒座標変換する変換手段と、
隣接する撮影方向間の移動量を検出する検出手段と、
前記検出された移動量に基づいて、前記円筒座標変換された各画像の位置合わせを行う位置合わせ手段と、
前記位置合わせが行われた各画像の前記共通領域を重ね合わせて各画像を順次つなぐように合成する合成手段と、を有し、
前記決定手段は、前記仮想円筒の半径を前記撮像装置が有する撮影レンズの焦点距離よりも大きい半径に決定することを特徴とする画像処理装置。 - 前記決定手段は、少なくとも、前記移動量と、前記撮影レンズの焦点距離とを基に、前記仮想円筒の半径を算出することを特徴とする請求項1に記載の画像処理装置。
- 前記決定手段は、前記移動量が第1の閾値よりも小さい場合に、前記仮想円筒の半径を前記焦点距離より大きい半径に決定することを特徴とする請求項2に記載の画像処理装置。
- 前記決定手段は、前記撮影レンズの焦点距離を前記仮想円筒の半径にして前記円筒座標変換を行う場合と、前記仮想円筒の半径を前記撮影レンズの焦点距離より大きい半径にして前記円筒座標変換を行う場合とで、前記合成における前記画像の境界での位置ずれが第2の閾値未満となる場合に、前記仮想円筒の半径を前記焦点距離よりも大きい半径に決定することを特徴とする請求項2に記載の画像処理装置。
- 前記決定手段は、
画像の高さをh[pix]、画素ピッチをp[μm]、前記仮想円筒の半径をR[mm]、前記焦点距離をf[mm]、前記移動量を表すベクトルのX成分をx[pix]としたとき、
(h/2)・x・cos{arctan(x・p/R/1000)/2}の式と、
(h/2)・x・cos{arctan(x・p/f/1000)/2}の式と
の差が第2の閾値未満となる場合に、前記仮想円筒の半径を前記の焦点距離よりも大きい半径に決定することを特徴とする請求項4に記載の画像処理装置。 - 前記決定手段は、前記撮影レンズの焦点距離が第3の閾値よりも小さい場合に、前記仮想円筒の半径を前記焦点距離よりも大きい半径に決定する処理を実行することを特徴とする請求項1から5のいずれか1項に記載の画像処理装置。
- 前記決定手段は、前記画像ごとに前記仮想円筒の半径を異ならせることを特徴とする請求項1から6のいずれか1項に記載の画像処理装置。
- 前記決定手段は、1枚目に撮影された画像と最後に撮影された画像との少なくともいずれかの画像と、前記1枚目と前記最後の間に撮影された各画像とで、前記仮想円筒の半径を異ならせることを特徴とする請求項7に記載の画像処理装置。
- 前記検出手段は、前記撮像装置が有する角速度センサからの情報を取得し、前記角速度センサの情報に基づいて、前記移動量を算出することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 前記検出手段は、隣接した撮影方向で撮影された画像の特徴点を基にさらに移動量を算出し、
前記位置合わせ手段では、前記角速度センサの情報を基に算出された前記移動量と、前記特徴点を基に算出された移動量との差が、第4の閾値未満である場合に、前記特徴点を基に算出された移動量を用いて前記位置合わせを行うことを特徴とする請求項9に記載の画像処理装置。 - 前記検出手段は、隣接した異なる撮影方向で撮影された画像の特徴点と、前記撮影レンズの焦点距離と、前記撮像装置が有する撮像素子のサイズおよび画素数の情報とを基に、前記移動量を算出することを特徴とする請求項1から8のいずれか1項に記載の画像処理装置。
- 前記検出手段は、前記焦点距離を前記半径とした仮想円筒による前記円筒座標変換が行われた後の前記画像の特徴点を基に移動量を算出し、
前記決定手段は、前記算出された移動量と、前記焦点距離と、前記撮像素子のサイズおよび画素数の情報とを基に、前記焦点距離よりも大きい前記仮想円筒の半径を決定し、
さらに前記検出手段は、前記決定された半径の仮想円筒による前記円筒座標変換が行われた後の前記画像の特徴点を基に前記移動量を再計算することを特徴とする請求項11に記載の画像処理装置。 - 撮影レンズによる光学像を撮像する撮像素子と、
所定の時間ごとに連続して画像を撮像する制御を行う制御手段と、
請求項1から12のいずれか1項に記載の画像処理装置と、
を有することを特徴とする撮像装置。 - 撮像装置の撮影方向を順次変更しつつ隣接する撮影方向で共通領域を含むように撮影された複数の画像を取得する取得工程と、
仮想円筒の半径を決定する決定工程と、
前記複数の各画像を、前記仮想円筒に投影された画像に円筒座標変換する変換工程と、
隣接する撮影方向間の移動量を検出する検出工程と、
前記検出された移動量に基づいて、前記円筒座標変換された各画像の位置合わせを行う位置合わせ工程と、
前記位置合わせが行われた各画像の前記共通領域を重ね合わせて各画像を順次つなぐように合成する合成工程と、を有し、
前記決定工程では、前記仮想円筒の半径を前記撮像装置が有する撮影レンズの焦点距離よりも大きい半径に決定することを特徴とする画像処理装置の画像処理方法。 - コンピュータを、請求項1から13のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018165718A JP7106399B2 (ja) | 2018-09-05 | 2018-09-05 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018165718A JP7106399B2 (ja) | 2018-09-05 | 2018-09-05 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020039062A JP2020039062A (ja) | 2020-03-12 |
JP7106399B2 true JP7106399B2 (ja) | 2022-07-26 |
Family
ID=69738321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018165718A Active JP7106399B2 (ja) | 2018-09-05 | 2018-09-05 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7106399B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001184484A (ja) | 1999-12-24 | 2001-07-06 | Sanyo Electric Co Ltd | 画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2013012893A (ja) | 2011-06-29 | 2013-01-17 | Panasonic Corp | 画像変換装置、カメラ、画像変換方法およびプログラム |
-
2018
- 2018-09-05 JP JP2018165718A patent/JP7106399B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001184484A (ja) | 1999-12-24 | 2001-07-06 | Sanyo Electric Co Ltd | 画像合成方法および画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2013012893A (ja) | 2011-06-29 | 2013-01-17 | Panasonic Corp | 画像変換装置、カメラ、画像変換方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020039062A (ja) | 2020-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6659130B2 (ja) | 画像処理装置、撮像装置、画像処理方法およびプログラム | |
JP7030442B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7174120B2 (ja) | 撮像装置、プログラム、記録媒体、及び制御方法 | |
US20110109771A1 (en) | Image capturing appratus and image capturing method | |
JP2007043637A (ja) | 撮像装置、撮像プログラムおよび画像処理プログラム | |
JP7023662B2 (ja) | 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム | |
JP2006174069A (ja) | 撮影装置及び撮影方法 | |
US10110819B2 (en) | Imaging apparatus, and image blur correcting method of imaging apparatus | |
JP5248951B2 (ja) | カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム | |
CN110891140B (zh) | 摄像装置、图像处理装置及其控制方法和存储介质 | |
JP5495598B2 (ja) | 撮像装置及びその制御方法 | |
JP5693664B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
JP7106399B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP7102301B2 (ja) | 撮像装置及びその制御方法、並びにプログラム | |
JP2011176460A (ja) | 撮像装置 | |
JP6869841B2 (ja) | 画像処理装置、画像処理装置の制御方法、およびプログラム | |
JP7051586B2 (ja) | 撮像装置、撮像方法およびプログラム | |
JP7100535B2 (ja) | 撮像装置及び画像処理装置、それらの制御方法、プログラム、記憶媒体 | |
JP4471364B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2017085466A (ja) | 撮像装置、及びその制御方法 | |
JP2002305676A (ja) | 電子カメラ | |
JP2019009574A (ja) | 画像処理装置 | |
JP2009229983A (ja) | 拡大表示機能付きカメラおよびカメラの制御方法 | |
JP2006229697A (ja) | 撮像装置 | |
JP2021129169A (ja) | 回転位置補正装置および回転位置補正方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220713 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7106399 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |