JP2017175507A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2017175507A JP2017175507A JP2016061437A JP2016061437A JP2017175507A JP 2017175507 A JP2017175507 A JP 2017175507A JP 2016061437 A JP2016061437 A JP 2016061437A JP 2016061437 A JP2016061437 A JP 2016061437A JP 2017175507 A JP2017175507 A JP 2017175507A
- Authority
- JP
- Japan
- Prior art keywords
- imaging device
- positional relationship
- image
- image processing
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
- G01B7/30—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring angles or tapers; for testing the alignment of axes
- G01B7/31—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring angles or tapers; for testing the alignment of axes for testing the alignment of axes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
- H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
【解決手段】 本体装置20は、2台の撮像装置10の位置関係に関する情報に基づいて、各撮像装置10の相対的な位置関係が所定の位置関係であるか否かを判別し、所定の位置関係であれば、その位置関係で各撮像装置10によって撮像される各画像を合成処理の対象としてその合成形式(例えば、パノラマ画像、3D画像、全天球画像など)を設定する制御を行う。
【選択図】 図1
Description
上述の課題を鑑みて、本発明は事前に所望する特殊効果モードを選択する操作を行う事無く、ユーザ所望の特殊効果の画像を得ることを目的とした。
第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する情報取得手段と、
前記情報取得手段によって取得された前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する判別手段と、
前記判別手段によって所定の位置関係であると判別された場合には、その位置関係で前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う合成制御手段と、
を備えることを特徴とする画像処理装置である。
(第1実施形態)
まず、図1〜図6を参照して本発明の第1実施形態を説明する。
本実施形態は、画像処理装置としてデジタルカメラに適用した場合を例示したもので、この画像処理装置は、後述する撮像部を備える撮像装置10と、後述する表示部を備える本体装置20とに分離可能なセパレート型デジタルカメラである。図1は、画像処理装置(デジタルカメラ)の外観図で、図1(1)は、撮像装置10と本体装置20とを一体的に組み合わせた状態を示し、図1(2)は、撮像装置10と本体装置20とを分離した状態を示した図である。撮像装置10は、例えば、その筐体全体が箱型を成すもので、第1実施形態においては、基本的に同一構成の撮像装置10を2台設けた場合を示し、ユーザは、その1台を使用して撮影を行うか、2台を同時に使用して撮影を行うかを任意に選択可能であるが、本実施形態においては、以下、2台の撮像装置10を使用して撮影を行う場合について説明する。
本体装置20側では、撮像装置10側で撮影された画像を受信取得して、この撮影画像をライブビュー画像として表示する。なお、本実施形態において撮影画像とは、保存済みの画像に限らず、ライブビュー画面に表示されている画像(ライブビュー画像:保存前の画像)を含む広義の画像を意味している。
図2(1)において、撮像装置10は、静止画像の撮影の他に、動画像の撮影が可能なもので、制御部11、電源部12、記憶部13、通信部14、操作部15、撮像部16、姿勢検出部17、磁気センサ18を備えている。制御部11は、電源部(二次電池)12からの電力供給によって動作し、記憶部13内の各種のプログラムに応じてこの撮像装置10の全体動作を制御するもので、この制御部11には図示しないCPU(中央演算処理装置)やメモリなどが設けられている。
図3(1−1)、(1−2)は、2台の撮像装置10の光軸方向が逆方向となる位置関係、つまり、撮像装置10の光軸方向と重力方向とが垂直、又は垂直に対して所定の許容範囲内にある状態において、それらの光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる配置関係(第1の位置関係)を示している。図示の例では、更に、この第1の位置関係(逆方向の位置関係)において、各撮像装置10の光軸が一致、又は略一致する場合(光軸の位置ずれが許容範囲内にある場合)を示していると共に、2台の撮像装置10の裏面同士を接触、又は接近させた場合を示している。
まず、本体装置20側の制御部21は、2台の撮像装置10と通信可能な状態において、各撮像装置10から取得した画像をライブビュー画像としてタッチ表示部26に表示させる動作を開始する(図5のステップA1)。この状態でレリーズキーの半押し操作が行われたかを調べ(ステップA2)、その半押し操作が行われるまで待機状態となる。いま、レリーズキーが半押し操作されると(ステップA2でYES)、各撮像装置10に対して撮影準備処理を指示してAF(自動焦点処理)、AE(自動露出処理)などを行わせる(ステップA3)。
なお、上述した第1実施形態においては、撮像装置10と本体装置20とに分離可能なセパレート型デジタルカメラに適用した場合を示したが、撮像装置10と本体装置20を一体化したカメラ(例えば、コンパクトカメラ)に適用するようにしてもよい。この場合、2台のカメラの一方がマスタカメラとなり、他方がスレーブカメラとなって短距離通信が可能な構成とすればよい。すなわち、マスタカメラは、レリーズキーの半押し操作で撮影準備処理を行うと共に、スレーブカメラに対して撮影準備処理を指示し、更に、自カメラから取得した光軸方向とスレーブカメラから取得した光軸方向に基づいて、2台のカメラの相対的な位置関係を判別するようにすればよい。このようにマスタカメラとスレーブカメラとの間においても第1実施形態と同様、2台のカメラによって撮像される各画像から特殊効果撮影の画像を得るか否かをユーザが指示しなくても容易に制御することができ、様々な特殊効果撮影に対応することが可能となる。
以下、この発明の第2実施形態について図7〜図10を参照して説明する。
なお、上述した第1実施形態においては、撮影時に合成形式を判別して合成処理を行って合成画像を記録保存するようにしたが、この第2実施形態においては、画像処理装置としてノート型のPC(パーソナルコンピュータ)30に適用したもので、このPCは、撮像装置(デジタルカメラ)40によって撮影された撮影済み画像(保存画像)を取得して表示する場合に、合成形式を判別して合成処理を行い、その合成画像を表示するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第2実施形態の特徴部分を中心に説明するものとする。
画像処理装置(PC)30と撮像装置(デジタルカメラ)40は、第1実施形態で示した撮像装置10と本体装置20に基本的には同様の構成であるため、その詳細な説明は省略する。図7(1)は、画像処理装置30の構成を示したもので、画像処理装置30は、制御部31、電源部32、記憶部33、通信部34、操作部35、表示部36を備えている。図7(2)は、撮像装置40の構成を示したもので、撮像装置40は、制御部41、電源部42、記憶部43、通信部44、操作部45、魚眼レンズ付の撮像部46、姿勢検出部47、磁気センサ28を備えている。
まず、撮像装置40の制御部41は、魚眼レンズ付の撮像部46から取得した魚眼画像をライブビュー画像として表示させる動作を開始する(ステップB1)。この状態において、レリーズキーが操作されると(ステップB2でYES)、ステップB3に移、レリーズキー操作時の撮像画像を取得して、現像処理を行い、標準サイズのファイルに変換する処理を行う。
まず、画像処理装置30の制御部31は、合成画像を生成して再生する合成再生モードがユーザ操作によって指定されると、各種の画像を一覧表示するが、その際、合成対象として関連し合う一対の画像を対応付けて一覧表示させる(ステップC1)。すなわち、各画像のEXIF情報(撮影日時)を参照し、撮影日時が同一の画像を関連性の高い画像として特定し、この関連する一対の画像を対応付けて一覧表示させる。この一覧画面の中から任意の2つの画像がユーザ操作によって選択されると(ステップC2)、次のステップC3に移り、2つの画像を合成する処理を行う。
まず、制御部31は、ユーザ操作によって選択された各画像からそのEXIF情報(光軸方向)を取得し(ステップD1)、この各光軸方向に基づいて、各撮像装置40の光軸方向は撮影時に第1の位置関係(逆方向の位置関係)にあったかを調べる(ステップD2)。ここで、第1の位置関係で撮影が行われたものと判断した場合には(ステップD2でYES)、各画像のEXIF情報からその磁気センサ検出結果(磁界の強さや方向)を取得し(ステップD3)、その検出結果(磁界の強さや及び方向)に基づいて、各撮像装置40が離れ過ぎていなかったか(許容範囲内か)を調べると共に、それらの光軸の位置ずれは許容範囲内であったかを調べる(ステップD4)。
以下、この発明の第3実施形態について図11〜図14を参照して説明する。
なお、第1及び第2実施形態における2台の撮像装置10、40は、自由に単独移動が可能なカメラを示したが、この第3実施形態は、2台の撮像装置50を画像処理装置(支持装置)60に装着したもので、この2台の撮像装置50は、その相対的な位置関係を変更可能となるように画像処理装置(支持装置)60に装着されている。この画像処理装置(支持装置)60は、2台の撮像装置50を支持するアタッチメントを構成する小型電子機器である。
撮像装置50は、その全体が箱型の筐体であり、カメラ取付具70に取り付けられている。すなわち、撮像装置50は、その裏面側(撮像レンズ50aの反対側)及び底面側が断面L字型のカメラ取付具70に面接するように載置固定されている。支持装置60は、その筐体60aの全体が厚板状の直方体であり、その筐体60aの厚さ方向(左右方向)の両側面部には、カメラ取付具70に載置固定された2台の撮像装置50が一対の左右ヒンジ80を介して開閉可能に装着(支持)されている。この一対の左右ヒンジ80は、支持装置60の上面部と左右両側面部との角部に沿って配置固定された軸状の開閉部材であり、かつ2台の撮像装置50の光軸方向が逆方向となる位置関係から同方向となる位置関係の範囲(0°〜90°)内で変位可能(開閉可能)となるように、この2台の撮像装置50を支持する支持部材である。支持装置60の筐体60a、一対の左右ヒンジ80は、2台の撮像装置50を支持する支持部材となる。
撮像装置50は、第1実施形態で示した撮像装置10と基本的に同様の構成であるため、その詳細な説明は省略するが、図13(1)に示すように、撮像装置50は、制御部51、電源部52、撮像部53、画像記憶部54、通信部55などを備えている。図13(2)は、支持装置60の構成を示し、支持装置60は、CPU61、電源部62、通信部63、角度検出部64、操作部65などを備えている。
まず、支持装置60は、レリーズキーが操作されたかを調べ(ステップE1)、レリーズキーが操作されなければ(ステップE1でNO)、その操作キーに応じた処理に移るが、レリーズキーが操作されると(ステップE1でYES)、2台の撮像装置50に撮影指示を同時に送信する(ステップE2)。そして、2台の撮像装置50からその撮影画像を取得(受信)し(ステップE3)、角度検出部64から撮影時の開閉角度を取得する(ステップE4)。そして、この角度検出部64の検出結果に基づいて、2台の撮像装置50の相対的な位置関係(開閉角度)が所定の位置関係(第1〜第3の位置関係)であるかを判別する(ステップE5)。
上述した第1・第2実施形態において撮像装置10、40は、その姿勢検出部17、姿勢検出部47の検出結果に基づいてその光軸方向を検出し、また、第3実施形態において撮像装置50の光軸方向は、支持装置60の角度検出部64の検出結果に基づいてその光軸方向を検出するようにしたが、撮像装置の光軸方向をセンサで検出するのではなく、画像を解析することによって光軸方向を判定するようにしてもよい。
画像処理装置(例えば、PC、カメラ、支持装置)は、2台の撮像装置から数フレーム分の画像を取得して(ステップF1)、撮像装置毎に各フレーム画像を解析し(ステップF2)、その中央部分と周辺部分とにおける画像の流れを判別する(ステップF3)。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
(付記)
(請求項1)
請求項1に記載の発明は、
第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する情報取得手段と、
前記情報取得手段によって取得された前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する判別手段と、
前記判別手段によって所定の位置関係であると判別された場合には、その位置関係で前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う合成制御手段と、
を備えることを特徴とする画像処理装置である。
(請求項2)
請求項2に記載の発明は、請求項1に記載の画像処理装置において、
前記情報取得手段は、第1の撮像装置と第2の撮像装置の光軸方向に関する光軸情報を取得し、
前記判別手段は、前記光軸情報と、前記位置情報とに基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判定する、
ことを特徴とする。
(請求項3)
請求項3に記載の発明は、請求項2に記載の画像処理装置において、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係であるか否かを判別する、
ことを特徴とする。
(請求項4)
請求項4に記載の発明は、請求項2又は3に記載の画像処理装置において、
前記情報取得手段は、前記第1の撮像装置と第2の撮像装置との間の光軸の位置ずれに関する情報を更に取得し、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係であると判別した場合には、更に、前記情報取得手段によって取得した光軸の位置ずれに関する情報に基づいて、その位置ずれが許容範囲内である否かを判別し、その許容範囲内であれば、前記所定の位置関係にあると判別する、
ことを特徴とする。
(請求項5)
請求項5に記載の発明は、請求項2乃至4の何れか1項に記載の画像処理装置において、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係であると判別した場合には、更に、前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内であるか否かを判別し、許容範囲内であれば、前記所定の位置関係にあると判別する、
ことを特徴とする。
(請求項6)
請求項6に記載の発明は、請求項5に記載の画像処理装置において、
前記第1の撮像装置及び前記第2の撮像装置により撮像された各画像の類似度を求める解析手段を更に備え、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係であると判別した場合、更に、前記解析手段によって解析された類似度に基づいて前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内であるか否かを判別し、許容範囲内であれば、前記所定の位置関係にあると判別する、
ことを特徴とする。
(請求項7)
請求項7に記載の発明は、請求項6に記載の画像処理装置において、
前記判別手段は、前記解析手段による解析の結果、前記第1の撮像装置及び前記第2の撮像装置により撮像された画像の中央部分の類似度が高い場合には、前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内にあると判別する、
ことを特徴とする。
(請求項8)
請求項8に記載の発明は、請求項6又は7に記載の画像処理装置において、
前記判別手段は、前記解析手段による解析の結果、前記第1の撮像装置及び前記第2の撮像装置により撮像された画像の周辺部分の類似度が高い場合、前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内にあると判別する、
ことを特徴とする。
(請求項9)
請求項9に記載の発明は、請求項4に記載の画像処理装置において、
前記第1の撮像装置と第2の撮像装置は、魚眼レンズを備え、
前記合成制御手段は、前記判別手段によって前記第1の位置関係であると判別された場合に、更に、前記情報取得手段によって取得した光軸の位置ずれが許容範囲内であれば、前記第1の撮像装置と前記第2の撮像装置により撮像される各魚眼画像から全天球の画像を生成する合成形式を設定する、
ことを特徴とする。
(請求項10)
請求項10に記載の発明は、請求項5に記載の画像処理装置において、
前記合成制御手段は、前記判別手段によって前記第2の位置関係であると判別された場合に、更に、前記第1の撮像装置と前記第2の撮像装置との間の距離が許容範囲内であれば、その間の距離の長さに応じて、前記第1の撮像装置と前記第2の撮像装置により撮像される各画像からパノラマ画像、又は3次元画像を生成する合成形式を設定する、
ことを特徴とする。
(請求項11)
請求項11に記載の発明は、請求項1乃至10の何れか1項に記載の画像処理装置において、
前記情報取得手段は、更に第1の撮像装置と第2の撮像装置から撮影条件を取得し、
前記合成制御手段は、前記判別手段によって所定の位置関係であると判別された場合に、前記情報取得手段によって取得された撮影条件が合成処理に適合する場合に、その合成処理の合成形式を設定する、
ことを特徴とする。
(請求項12)
請求項12に記載の発明は、請求項1乃至11の何れか1項に記載の画像処理装置において、
前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理する合成手段を更に備え、
前記合成手段は、前記合成制御手段によって設定された合成形式に基づいて合成処理を行う、
ことを特徴とする。
(請求項13)
請求項13に記載の発明は、請求項1乃至12の何れか1項に記載の撮像装置において、
前記合成制御手段により設定される合成形式を報知する報知手段を更に備える、
ことを特徴とする。
(請求項14)
請求項14に記載の発明は、請求項2に記載の撮像装置において、
前記情報取得手段は、前記第1の撮像装置と第2の撮像装置に備えられている姿勢検出部から光軸方向に関する情報を取得する、
ことを特徴とする。
(請求項15)
請求項15に記載の発明は、請求項2に記載の撮像装置において、
前記第1の撮像装置と第2の撮像装置は、魚眼レンズを用いて連続的に撮像し、
前記情報取得手段は、前記第1の撮像装置及び第2の撮像装置によって連続的に撮像された画像を解析してその被写体の動きから光軸方向に関する情報を取得する、
ことを特徴とする。
(請求項16)
請求項16に記載の発明は、請求項2に記載の画像処理装置において、
前記第1の撮像装置を備える画像処理装置であって、
前記情報取得手段は、前記第1の撮像装置からその光軸方向に関する情報を取得すると共に、当該画像処理装置とは異なる他の画像処理装置に備えられている前記第2の撮像装置からその光軸方向に関する情報を取得する、
ことを特徴とする。
(請求項17)
請求項17に記載の発明は、請求項1乃至16の何れか1項に記載の画像処理装置において、
前記第1の撮像装置と前記第2の撮像装置の光軸方向が変位可能となるように前記第1の撮像装置と第2の撮像装置を支持する支持部材を更に備え、
前記判別手段は、前記支持部材に支持されている前記第1の撮像装置と第2の撮像装置との変位に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるか否かを判別する、
ことを特徴とする。
(請求項18)
請求項18に記載の発明は、請求項17に記載の画像処理装置において、
前記支持部材は、前記第1の撮像装置と前記第2の撮像装置の光軸方向が逆方向となる位置関係から同方向となる位置関係の間で変位可能となるように前記第1の撮像装置と第2の撮像装置を支持し、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係、前記第1の位置関係と第2の位置関係との間における所定の中間点方向又はその中間点方向に対して許容範囲内の方向となる第3の位置関係を前記所定の位置関係と判別する、
ことを特徴とする。
(請求項19)
請求項19に記載の発明は、請求項2に記載の画像処理装置において、
複数の画像を取得する画像取得手段を更に備え、
前記情報取得手段は、前記画像取得手段によって取得された複数の画像から前記光軸情報、及び前記位置情報を取得し、
前記判別手段は、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する、
ことを特徴とする。
(請求項20)
請求項20に記載の発明は、請求項19に記載の画像処理装置において、
前記判別手段は、前記画像取得手段によって取得された複数の画像の付帯情報を評価する評価手段を更に備え、前記評価手段による評価結果に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する
ことを特徴とする。
(請求項21)
請求項21に記載の発明は、
画像処理装置における画像処理方法であって、
第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する処理と、
前記取得された前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する処理と、
前記所定の位置関係であると判別された場合には、その位置関係で前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う処理と、
を含むことを特徴とする。
(請求項22)
請求項22に記載の発明は、
画像処理装置のコンピュータに対して、
第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する機能と、
前記取得された前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する機能と、
前記所定の位置関係であると判別された場合には、その位置関係で前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う機能と、
を実現させるためのプログラムである。
11、21、31、61 制御部
13、23、33、63 記憶部
16、46、54 撮像部
17、47 姿勢検出部
18、28 磁気センサ
20 画像処理装置(本体装置)
30 画像処理装置(PC)
60 画像処理装置(支持装置)
64 角度検出部
80 左右ヒンジ
Claims (22)
- 第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する情報取得手段と、
前記情報取得手段によって取得された前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する判別手段と、
前記判別手段によって所定の位置関係であると判別された場合には、その位置関係で前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う合成制御手段と、
を備えることを特徴とする画像処理装置。 - 前記情報取得手段は、第1の撮像装置と第2の撮像装置の光軸方向に関する光軸情報を取得し、
前記判別手段は、前記光軸情報と、前記位置情報とに基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判定する、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係であるか否かを判別する、
ことを特徴とする請求項2に記載の画像処理装置。 - 前記情報取得手段は、前記第1の撮像装置と第2の撮像装置との間の光軸の位置ずれに関する情報を更に取得し、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係であると判別した場合には、更に、前記情報取得手段によって取得した光軸の位置ずれに関する情報に基づいて、その位置ずれが許容範囲内である否かを判別し、その許容範囲内であれば、前記所定の位置関係にあると判別する、
ことを特徴とする請求項2又は3に記載の画像処理装置。 - 前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係であると判別した場合には、更に、前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内であるか否かを判別し、許容範囲内であれば、前記所定の位置関係にあると判別する、
ことを特徴とする請求項2乃至4の何れか1項に記載の画像処理装置。 - 前記第1の撮像装置及び前記第2の撮像装置により撮像された各画像の類似度を求める解析手段を更に備え、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係であると判別した場合、更に、前記解析手段によって解析された類似度に基づいて前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内であるか否かを判別し、許容範囲内であれば、前記所定の位置関係にあると判別する、
ことを特徴とする請求項5に記載の画像処理装置。 - 前記判別手段は、前記解析手段による解析の結果、前記第1の撮像装置及び前記第2の撮像装置により撮像された画像の中央部分の類似度が高い場合には、前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内にあると判別する、
ことを特徴とする請求項6に記載の画像処理装置。 - 前記判別手段は、前記解析手段による解析の結果、前記第1の撮像装置及び前記第2の撮像装置により撮像された画像の周辺部分の類似度が高い場合、前記第1の撮像装置と第2の撮像装置の間の距離が許容範囲内にあると判別する、
ことを特徴とする請求項6又は7に記載の画像処理装置。 - 前記第1の撮像装置と第2の撮像装置は、魚眼レンズを備え、
前記合成制御手段は、前記判別手段によって前記第1の位置関係であると判別された場合に、更に、前記情報取得手段によって取得した光軸の位置ずれが許容範囲内であれば、前記第1の撮像装置と前記第2の撮像装置により撮像される各魚眼画像から全天球の画像を生成する合成形式を設定する、
ことを特徴とする請求項4に記載の画像処理装置。 - 前記合成制御手段は、前記判別手段によって前記第2の位置関係であると判別された場合に、更に、前記第1の撮像装置と前記第2の撮像装置との間の距離が許容範囲内であれば、その間の距離の長さに応じて、前記第1の撮像装置と前記第2の撮像装置により撮像される各画像からパノラマ画像、又は3次元画像を生成する合成形式を設定する、
ことを特徴とする請求項5に記載の画像処理装置。 - 前記情報取得手段は、更に第1の撮像装置と第2の撮像装置から撮影条件を取得し、
前記合成制御手段は、前記判別手段によって所定の位置関係であると判別された場合に、前記情報取得手段によって取得された撮影条件が合成処理に適合する場合に、その合成処理の合成形式を設定する、
ことを特徴とする請求項1乃至10の何れか1項に記載の画像処理装置。 - 前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理する合成手段を更に備え、
前記合成手段は、前記合成制御手段によって設定された合成形式に基づいて合成処理を行う、
ことを特徴とする請求項1乃至11の何れか1項に記載の画像処理装置。 - 前記合成制御手段により設定される合成形式を報知する報知手段を更に備える、
ことを特徴とする請求項1乃至12の何れか1項に記載の撮像装置。 - 前記情報取得手段は、前記第1の撮像装置と第2の撮像装置に備えられている姿勢検出部から光軸方向に関する情報を取得する、
ことを特徴とする請求項2に記載の撮像装置。 - 前記第1の撮像装置と第2の撮像装置は、魚眼レンズを用いて連続的に撮像し、
前記情報取得手段は、前記第1の撮像装置及び第2の撮像装置によって連続的に撮像された画像を解析してその被写体の動きから光軸方向に関する情報を取得する、
ことを特徴とする請求項2に記載の撮像装置。 - 前記第1の撮像装置を備える画像処理装置であって、
前記情報取得手段は、前記第1の撮像装置からその光軸方向に関する情報を取得すると共に、当該画像処理装置とは異なる他の画像処理装置に備えられている前記第2の撮像装置からその光軸方向に関する情報を取得する、
ことを特徴とする請求項2に記載の画像処理装置。 - 前記第1の撮像装置と前記第2の撮像装置の光軸方向が変位可能となるように前記第1の撮像装置と第2の撮像装置を支持する支持部材を更に備え、
前記判別手段は、前記支持部材に支持されている前記第1の撮像装置と第2の撮像装置との変位に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるか否かを判別する、
ことを特徴とする請求項1乃至16の何れか1項に記載の画像処理装置。 - 前記支持部材は、前記第1の撮像装置と前記第2の撮像装置の光軸方向が逆方向となる位置関係から同方向となる位置関係の間で変位可能となるように前記第1の撮像装置と第2の撮像装置を支持し、
前記判別手段は、前記第1の撮像装置と第2の撮像装置の光軸方向が逆方向又はその逆方向に対して許容範囲内の方向となる第1の位置関係、前記第1の撮像装置と第2の撮像装置の光軸方向が同方向又はその同方向に対して許容範囲内の方向となる第2の位置関係、前記第1の位置関係と第2の位置関係との間における所定の中間点方向又はその中間点方向に対して許容範囲内の方向となる第3の位置関係を前記所定の位置関係と判別する、
ことを特徴とする請求項17に記載の画像処理装置。 - 複数の画像を取得する画像取得手段を更に備え、
前記情報取得手段は、前記画像取得手段によって取得された複数の画像から前記光軸情報、及び前記位置情報を取得し、
前記判別手段は、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する、
ことを特徴とする請求項2に記載の画像処理装置。 - 前記判別手段は、前記画像取得手段によって取得された複数の画像の付帯情報を評価する評価手段を更に備え、前記評価手段による評価結果に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する
ことを特徴とする請求項19に記載の画像処理装置。 - 画像処理装置における画像処理方法であって、
第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する処理と、
前記取得された前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する処理と、
前記所定の位置関係であると判別された場合には、その位置関係で前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う処理と、
を含むことを特徴とする画像処理方法。 - 画像処理装置のコンピュータに対して、
第1の撮像装置と第2の撮像装置の位置関係に関する位置情報を取得する機能と、
前記取得された前記位置情報に基づいて、前記第1の撮像装置と前記第2の撮像装置との相対的な位置関係が所定の位置関係であるかを判別する機能と、
前記所定の位置関係であると判別された場合には、その位置関係で前記第1の撮像装置と第2の撮像装置によって撮像される各画像を合成処理の対象としてその合成形式を設定する制御を行う機能と、
を実現させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016061437A JP6455474B2 (ja) | 2016-03-25 | 2016-03-25 | 画像処理装置、画像処理方法及びプログラム |
US15/391,952 US20170278263A1 (en) | 2016-03-25 | 2016-12-28 | Image processing device, image processing method, and computer-readable recording medium |
CN201710072402.6A CN107231550A (zh) | 2016-03-25 | 2017-02-09 | 图像处理装置、图像处理方法以及计算机可读取的记录介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016061437A JP6455474B2 (ja) | 2016-03-25 | 2016-03-25 | 画像処理装置、画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017175507A true JP2017175507A (ja) | 2017-09-28 |
JP2017175507A5 JP2017175507A5 (ja) | 2018-02-08 |
JP6455474B2 JP6455474B2 (ja) | 2019-01-23 |
Family
ID=59897063
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016061437A Active JP6455474B2 (ja) | 2016-03-25 | 2016-03-25 | 画像処理装置、画像処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20170278263A1 (ja) |
JP (1) | JP6455474B2 (ja) |
CN (1) | CN107231550A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019117330A (ja) * | 2017-12-27 | 2019-07-18 | 株式会社リコー | 撮影装置、及び撮影システム |
WO2020189510A1 (ja) * | 2019-03-15 | 2020-09-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
JP2021087186A (ja) * | 2019-11-29 | 2021-06-03 | 富士通株式会社 | 映像生成プログラム、映像生成方法及び映像生成システム |
JPWO2021245773A1 (ja) * | 2020-06-02 | 2021-12-09 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10200672B2 (en) * | 2016-08-17 | 2019-02-05 | Nextvr Inc. | Methods and apparatus for capturing images of an environment |
US10051201B1 (en) * | 2017-03-20 | 2018-08-14 | Google Llc | Camera system including lens with magnification gradient |
JP6938237B2 (ja) * | 2017-06-21 | 2021-09-22 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN111953909B (zh) * | 2019-05-16 | 2022-02-01 | 佳能株式会社 | 图像处理设备、图像处理方法和存储介质 |
CN112699884A (zh) * | 2021-01-29 | 2021-04-23 | 深圳市慧鲤科技有限公司 | 定位方法、装置、电子设备及存储介质 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0846852A (ja) * | 1994-07-29 | 1996-02-16 | Canon Inc | 撮像装置および撮像方法 |
JP2007104516A (ja) * | 2005-10-07 | 2007-04-19 | Sony Corp | 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体 |
JP2009033756A (ja) * | 2008-08-21 | 2009-02-12 | Fujifilm Corp | 撮影システム |
JP2010045689A (ja) * | 2008-08-15 | 2010-02-25 | Olympus Imaging Corp | 携帯機器 |
JP2012159616A (ja) * | 2011-01-31 | 2012-08-23 | Sanyo Electric Co Ltd | 撮像装置 |
JP2013114154A (ja) * | 2011-11-30 | 2013-06-10 | Canon Inc | 撮像装置、撮像装置の制御方法、プログラム |
JP2013207357A (ja) * | 2012-03-27 | 2013-10-07 | Sony Corp | サーバ、クライアント端末、システムおよびプログラム |
JP2014066904A (ja) * | 2012-09-26 | 2014-04-17 | Nikon Corp | 撮像装置、画像処理装置、画像処理サーバおよび表示装置 |
JP2014199969A (ja) * | 2013-03-29 | 2014-10-23 | ブラザー工業株式会社 | 携帯端末装置、携帯端末用プログラム、サーバ、及び画像取得システム |
JP2014241496A (ja) * | 2013-06-11 | 2014-12-25 | ソニー株式会社 | 情報処理装置、撮像装置、情報処理方法、及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6549650B1 (en) * | 1996-09-11 | 2003-04-15 | Canon Kabushiki Kaisha | Processing of image obtained by multi-eye camera |
JP2005223812A (ja) * | 2004-02-09 | 2005-08-18 | Canon Inc | 撮影装置 |
US9279661B2 (en) * | 2011-07-08 | 2016-03-08 | Canon Kabushiki Kaisha | Information processing apparatus and information processing method |
EP2820593B1 (en) * | 2012-03-01 | 2019-11-13 | Geo Semiconductor Inc. | Method and system for adaptive perspective correction of ultra wide-angle lens images |
CN108650445A (zh) * | 2014-01-31 | 2018-10-12 | 奥林巴斯株式会社 | 摄像装置 |
US9866820B1 (en) * | 2014-07-01 | 2018-01-09 | Amazon Technologies, Inc. | Online calibration of cameras |
-
2016
- 2016-03-25 JP JP2016061437A patent/JP6455474B2/ja active Active
- 2016-12-28 US US15/391,952 patent/US20170278263A1/en not_active Abandoned
-
2017
- 2017-02-09 CN CN201710072402.6A patent/CN107231550A/zh active Pending
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0846852A (ja) * | 1994-07-29 | 1996-02-16 | Canon Inc | 撮像装置および撮像方法 |
JP2007104516A (ja) * | 2005-10-07 | 2007-04-19 | Sony Corp | 画像処理装置、および、画像処理方法、プログラム、並びに、記録媒体 |
JP2010045689A (ja) * | 2008-08-15 | 2010-02-25 | Olympus Imaging Corp | 携帯機器 |
JP2009033756A (ja) * | 2008-08-21 | 2009-02-12 | Fujifilm Corp | 撮影システム |
JP2012159616A (ja) * | 2011-01-31 | 2012-08-23 | Sanyo Electric Co Ltd | 撮像装置 |
JP2013114154A (ja) * | 2011-11-30 | 2013-06-10 | Canon Inc | 撮像装置、撮像装置の制御方法、プログラム |
JP2013207357A (ja) * | 2012-03-27 | 2013-10-07 | Sony Corp | サーバ、クライアント端末、システムおよびプログラム |
JP2014066904A (ja) * | 2012-09-26 | 2014-04-17 | Nikon Corp | 撮像装置、画像処理装置、画像処理サーバおよび表示装置 |
JP2014199969A (ja) * | 2013-03-29 | 2014-10-23 | ブラザー工業株式会社 | 携帯端末装置、携帯端末用プログラム、サーバ、及び画像取得システム |
JP2014241496A (ja) * | 2013-06-11 | 2014-12-25 | ソニー株式会社 | 情報処理装置、撮像装置、情報処理方法、及びプログラム |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019117330A (ja) * | 2017-12-27 | 2019-07-18 | 株式会社リコー | 撮影装置、及び撮影システム |
WO2020189510A1 (ja) * | 2019-03-15 | 2020-09-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体 |
US12010433B2 (en) | 2019-03-15 | 2024-06-11 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
JP2021087186A (ja) * | 2019-11-29 | 2021-06-03 | 富士通株式会社 | 映像生成プログラム、映像生成方法及び映像生成システム |
JP7384008B2 (ja) | 2019-11-29 | 2023-11-21 | 富士通株式会社 | 映像生成プログラム、映像生成方法及び映像生成システム |
JPWO2021245773A1 (ja) * | 2020-06-02 | 2021-12-09 | ||
JP7453369B2 (ja) | 2020-06-02 | 2024-03-19 | マクセル株式会社 | 情報処理システムおよび情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6455474B2 (ja) | 2019-01-23 |
CN107231550A (zh) | 2017-10-03 |
US20170278263A1 (en) | 2017-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6455474B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9374529B1 (en) | Enabling multiple field of view image capture within a surround image mode for multi-LENS mobile devices | |
JP6192940B2 (ja) | 撮影機器及び連携撮影方法 | |
US10237495B2 (en) | Image processing apparatus, image processing method and storage medium | |
JP4775474B2 (ja) | 撮像装置、撮像制御方法、及びプログラム | |
JP5371845B2 (ja) | 撮影装置及びその表示制御方法並びに3次元情報取得装置 | |
JP5991514B2 (ja) | 撮像装置及び撮像システム | |
JP2013013064A (ja) | 撮像装置及び撮像システム | |
JP2011188210A (ja) | 撮影機器及び撮影システム | |
JP2013013063A (ja) | 撮像装置及び撮像システム | |
JP2016158021A (ja) | 画像処理装置及び画像処理方法 | |
JP5248951B2 (ja) | カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム | |
JP2006020111A (ja) | カメラ | |
JP6529108B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2016063244A (ja) | 撮像装置及び画像表示制御方法 | |
JP6376753B2 (ja) | 撮像装置、表示制御装置の制御方法、記録装置の制御方法 | |
JP2012124614A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP6836306B2 (ja) | 撮像制御装置、その制御方法、プログラム及び記録媒体 | |
JP6218615B2 (ja) | 表示機器、表示方法、撮影装置及び撮影システム | |
JP6456093B2 (ja) | 撮像装置、および、撮像装置の制御方法 | |
JP2011211260A (ja) | パノラマ画像撮像装置及びそのパノラマ画像合成方法 | |
JP2011135374A (ja) | 3次元デジタルカメラ | |
JP6412222B2 (ja) | 撮影機器、連携撮影方法及び連携撮影プログラム | |
JP2024098038A (ja) | プログラム、記録媒体および情報処理装置 | |
JP6460785B2 (ja) | 電子機器及び電子機器の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171225 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20171227 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180323 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180613 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180629 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180928 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20181010 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181120 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181203 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6455474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |