JP2020167517A - 画像処理装置と画像処理方法とプログラムおよび撮像装置 - Google Patents
画像処理装置と画像処理方法とプログラムおよび撮像装置 Download PDFInfo
- Publication number
- JP2020167517A JP2020167517A JP2019066234A JP2019066234A JP2020167517A JP 2020167517 A JP2020167517 A JP 2020167517A JP 2019066234 A JP2019066234 A JP 2019066234A JP 2019066234 A JP2019066234 A JP 2019066234A JP 2020167517 A JP2020167517 A JP 2020167517A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sub
- unit
- main
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B15/00—Special procedures for taking photographs; Apparatus therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/18—Signals indicating condition of a camera member or suitability of light
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
- G03B17/56—Accessories
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
- H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
- Accessories Of Cameras (AREA)
Abstract
【課題】ユーザが撮像装置から離れている場合でも、容易に所望の被写体を撮像できるようにする。【解決手段】ユーザが使用する副撮像装置60では被写体(位置C)を撮像して副撮像画像を生成する。雲台40で撮像方向が変更可能な主撮像装置20は、副撮像装置60で遠隔制御されて副撮像装置60で撮像される被写体を撮像して副撮像画像と異なる画角の主撮像画像を生成する。副撮像装置60に設けられている画像合成部は、副撮像装置60で生成された副撮像画像と主撮像装置20によって生成された主撮像画像とを合成して表示画像を生成する。副撮像装置60に設けられた表示部では、画像合成部で生成された表示画像を表示する。ユーザは、副撮像装置60を用いて、副撮像装置60から離れている主撮像装置20で容易に所望の被写体を撮像できる。また、異なる画角の撮像画像で被写体を確認できる。【選択図】 図1
Description
この技術は、画像処理装置と画像処理方法とプログラムおよび撮像装置に関し、ユーザが撮像装置から離れている場合でも、容易に注目被写体の撮像を可能とする。
従来、撮像装置で望遠撮影を行う際には、撮影時の画角が狭くなるため、構図確認中に一度被写体を見逃すと、被写体を探し難いことがある。これを解消するため、例えば特許文献1では、本体レンズを用いてカメラ本体で生成された第1の画像と、本体レンズとは異なる画角のアタッチメントレンズを用いてカメラ本体に装着されたアタッチメントで生成された第2の画像を用いて、撮影範囲が広い側の画像に撮影範囲が狭い側の画像の撮影範囲枠を重畳させることが行われている。
ところで、特許文献1では、カメラ本体にアタッチメントが装着されていることから、撮影範囲が広い側の画像には、撮影範囲が狭い側の画像の撮影範囲枠が含まれる。しかし、カメラ本体とアタッチメントが分離されている場合、撮影範囲が広い側の画像には、撮影範囲が狭い側の画像の撮像範囲が含まれない場合が生じて、被写体を探し難くなってしまう。
そこで、この技術では、ユーザが撮像装置から離れている場合でも、容易に注目被写体の撮像を可能とする画像処理装置と画像処理方法とプログラムおよび撮像装置を提供することを目的とする。
この技術の第1の側面は、
副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する画像合成部
を備える画像処理装置にある。
副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する画像合成部
を備える画像処理装置にある。
この技術において、副撮像装置では被写体を撮像して副撮像画像が生成される。また、副撮像装置で遠隔制御される主撮像装置は、例えば副撮像装置で撮像される被写体を撮像して副撮像画像と異なる画角の主撮像画像が生成される。画像合成部は、副撮像装置で生成された副撮像画像と、主撮像装置によって生成された主撮像画像とを合成して表示画像を生成する。
また、画像合成部では、被写体を撮像したときの主撮像装置と副撮像装置との視差と予め設定された第1閾値または第1閾値と第1閾値よりも大きい第2閾値との比較結果に応じて画像合成動作を切り替える。視差を算出する視差算出部は、副撮像装置で撮像される被写体までの距離と副撮像装置と主撮像装置の初期状態からの動きに基づいて視差を算出する。
画像合成部は、視差が第1閾値以下である場合、副撮像画像と主撮像画像を合成して表示画像を生成する。例えば、画像合成部は、副撮像画像と主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像を重畳して表示画像を生成してもよく、副撮像画像と主撮像画像のいずれか画角の広い撮像画像を縮小して他方の撮像画像に重畳して表示画像を生成してもよい。また、画像合成部は、視差が第1閾値よりも大きく第2閾値以下である場合、副撮像画像と主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像の撮像範囲を示す撮像領域表示を重畳して表示画像を生成する。例えば副撮像画像は主撮像画像よりも画角を広くして、画像合成部は、副撮像画像に主撮像装置で撮像される範囲を示す撮像領域表示を重畳して表示画像を生成する。また、画像合成部は、視差算出部で算出された視差が第2閾値よりも大きい場合、副撮像画像と主撮像画像のいずれか一方の撮像画像に他方の撮像画像の合焦位置を示す合焦位置表示を設けて表示画像を生成する。例えば副撮像画像は主撮像画像よりも画角を広くして、画像合成部は、副撮像画像に主撮像装置の合焦位置を示す合焦位置表示を重畳して表示画像を生成する。
この技術の第2の側面は、
副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を画像合成部で生成すること
を含む画像処理方法にある。
副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を画像合成部で生成すること
を含む画像処理方法にある。
この技術の第3の側面は、
表示画像の生成をコンピュータで実行させるプログラムであって、
副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する手順
を前記コンピュータで実行させるプログラムにある。
表示画像の生成をコンピュータで実行させるプログラムであって、
副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する手順
を前記コンピュータで実行させるプログラムにある。
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
この技術の第4の側面は、
被写体を撮像する撮像部と、
前記撮像部で撮像される前記被写体までの距離を測定する測距部と、
初期状態からの動きを測定するモーションセンサ部と、
前記測距部で測定された距離と前記モーションセンサ部で測定された動きを示す被写***置情報を主撮像装置へ送信する通信部と、
前記撮像部で生成された副撮像画像と、前記被写***置情報に基づき前記主撮像装置の撮像方向を制御して生成された主撮像画像とを合成して表示画像を生成する画像合成部と、
前記画像合成部で生成された表示画像を表示する表示部と
を備える撮像装置にある。
被写体を撮像する撮像部と、
前記撮像部で撮像される前記被写体までの距離を測定する測距部と、
初期状態からの動きを測定するモーションセンサ部と、
前記測距部で測定された距離と前記モーションセンサ部で測定された動きを示す被写***置情報を主撮像装置へ送信する通信部と、
前記撮像部で生成された副撮像画像と、前記被写***置情報に基づき前記主撮像装置の撮像方向を制御して生成された主撮像画像とを合成して表示画像を生成する画像合成部と、
前記画像合成部で生成された表示画像を表示する表示部と
を備える撮像装置にある。
この技術において、表示部はユーザの眼の位置として、撮像部はユーザの前方を撮像する位置として、測距部はユーザの前方正面に位置する被写体までの距離を測定する位置としてホールド部によって保持される。撮像部では被写体を撮像して、測距部は撮像部で撮像される被写体までの距離を測定する。モーションセンサ部は初期状態からの動きを測定する。初期状態は測距部と主撮像装置を対向させた状態であり、測距部で測定された主撮像装置までの距離と主撮像装置の方向を動きの基準とする。通信部は、測距部で測定された距離とモーションセンサ部で測定された動きを示す被写***置情報を主撮像装置へ送信する。画像合成部は、撮像部で生成された副撮像画像と、被写***置情報に基づき主撮像装置の撮像方向を制御して生成された主撮像画像とを合成して表示画像を生成する。表示部は画像合成部で生成された表示画像を表示する。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
1.撮像システムについて
2.実施の形態について
2−1.撮像システムの構成
2−2.撮像システムの動作
2−3.撮像制御部の動作例
2−4.撮像制御部の動作例
2−5.表示画像の生成動作
2−6.表示画像の他の生成動作
3.他の実施の形態
4.応用例
1.撮像システムについて
2.実施の形態について
2−1.撮像システムの構成
2−2.撮像システムの動作
2−3.撮像制御部の動作例
2−4.撮像制御部の動作例
2−5.表示画像の生成動作
2−6.表示画像の他の生成動作
3.他の実施の形態
4.応用例
<1.撮像システムについて>
図1は、本技術の画像処理装置と撮像装置を用いた撮像システムの構成を示している。
図1は、本技術の画像処理装置と撮像装置を用いた撮像システムの構成を示している。
撮像システム10は、主撮像装置20と雲台40と副撮像装置60を有している。主撮像装置20は、例えば雲台40に固定されており、雲台40によって撮像方向が変更可能とされている。また、主撮像装置20と副撮像装置60は無線または有線の伝送路を介して通信を行うことができるように構成されている。副撮像装置60には本技術の画像処理装置が設けられている。副撮像装置60は、ユーザの例えば頭部に装着できるように構成されている。
副撮像部装置60は、撮像装置20あるいは撮像装置20と雲台40の遠隔操作を行い、離れた位置からユーザが撮像対象として注目する被写体(「注目被写体」ともいう)を撮像装置20で撮像できるようにする。主撮像装置20あるいは副撮像装置60は、主撮像装置20と副撮像装置60の相対位置関係、および副撮像装置60で生成された被写***置情報に基づき、方向制御信号を生成して雲台40へ出力する。雲台40は、方向制御信号に基づき撮像装置20を移動させて、注目被写体OBを撮像装置20で撮像できるようにする。
また、副撮像装置60には主撮像装置20と画角が異なる撮像部を設けて、副撮像装置60は、主撮像装置20で生成された注目被写体の画像と副撮像装置60に設けた撮像部で生成された注目被写体の画像とを用いて画像合成を行い、表示画像を生成する。
<2.実施の形態について>
次に、実施の形態について説明する。なお、実施の形態では、副撮像装置60がユーザの頭部に装着できるように構成されている場合を例示する。
次に、実施の形態について説明する。なお、実施の形態では、副撮像装置60がユーザの頭部に装着できるように構成されている場合を例示する。
図2は、副撮像装置を例示している。なお、図2の(a)は副撮像装置の外観、図2の(b)は副撮像装置の使用状態を示している。副撮像装置60は、ホールド部61、アーム部62、接眼ブロック63、回路ブロック64および電源部65を有している。
ホールド部61は、副撮像装置60がユーザの頭部に装着されたときに、頭部から副撮像装置60が外れないように副撮像装置60を保持する。ホールド部61は、例えば上面からみてU字状のネックバンド610と、ネックバンド610の先端に設けられた耳当て部611L,611Rで構成されている。ホールド部61は、湾曲部分がユーザの後頭部(あるいは頸部)に接した状態で、耳当て部611L,611Rによって頭部を挟持して、あるいは耳当て部611L,611Rが耳に係止されて、ユーザの頭部に対して所定の位置で保持される。
ホールド部61の一方の端部には、前方に延出するアーム部62が設けられており、アーム部62の先端には接眼ブロック63が設けられている。
接眼ブロック63は、表示部77を有しており、電子ビューファインダとしての動作を行う。また、接眼ブロック63は、撮像光学系ブロック73と撮像部74を有しており、ユーザの前方を撮像する。さらに、接眼ブロック63は、測距部711を有しており、撮像部74で撮像される注目被写体、すなわちユーザの前方正面に位置する注目被写体までの距離を測定する。また、接眼ブロック63には、表示部77の表示画像の画像視認動作を検出する検出部、例えばユーザが接眼ブロック63を覗いているかを検出する接眼検出部を設けて、検出結果に基づき表示制御を行い、表示画像の画像視認動作を検出したことに応じて後述する画像合成を行うようにしてもよい。
一方の耳当て部611Rには、回路ブロック64が設けられており、回路ブロック64にはモーションセンサ部712と通信部72、視差算出部75、画像合成部76が設けられている。他方の耳当て部611Lには電源部65が設けられている。モーションセンサ部712は、例えば3軸加速度と3軸角速度及び3軸地磁気(方位)を検出する9軸センサを用いて構成されており、副撮像装置60の位置変化や姿勢変化の変化量等を示す動き情報を生成する。視差算出部75は、主撮像装置20の撮像部22と副撮像装置60の撮像部74との視差を算出する。画像合成部76は撮像部74で生成された撮像画像と通信部72で受信した撮像画像を合成して表示画像を生成する。また、画像合成部76は、視差算出部75で算出された視差に応じて画像合成動作を切り替える。また、画像合成部76は、表示画像の画像視認動作を検出したことに応じて画像合成を行い表示画像を生成してもよい。
通信部72は、測距部711で測定した注目被写体OBまでの距離とモーションセンサ部712で生成した動き情報を含む被写***置情報を主撮像装置20へ送信する。また、通信部72は主撮像装置20から送信された画像信号を受信して画像合成部76へ出力する。電源部65は、通信部72、撮像部74、視差算出部75、画像合成部76、表示部77、測距部711およびモーションセンサ部712に対して電力供給を行う。なお、図2に示す電源部65やモーションセンサ部712および通信部72、視差算出部75、画像合成部76の配置は例示であって、他の位置に設けられていてもよい。
<2−1.撮像システムの構成>
次に、撮像システムの構成について説明する。撮像システム10では、主撮像装置20の位置が固定されており、雲台40によって主撮像装置20の撮像方向がパン方向やチルト方向に移動可能とされている。また、副撮像装置60の位置は移動可能である。
次に、撮像システムの構成について説明する。撮像システム10では、主撮像装置20の位置が固定されており、雲台40によって主撮像装置20の撮像方向がパン方向やチルト方向に移動可能とされている。また、副撮像装置60の位置は移動可能である。
図3は、撮像システムの構成を例示している。主撮像装置20は、撮像光学系ブロック21、撮像部22、画像処理部23、通信部24、位置姿勢検出部28、制御部30を有している。また、主撮像装置20は、表示部25、記録部26、出力部27を有してもよい。
撮像光学系ブロック21は、フォーカスレンズを用いて構成されており、被写体光学像を撮像部22の撮像面に結像させる。また、撮像光学系ブロック21には、ズームレンズやアイリス機構等が設けられてもよい。
撮像部22は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の撮像素子と信号処理部を有している。撮像素子は、光電変換を行い被写体光学像に応じた画像信号を生成する。信号処理部は、撮像素子で生成された画素信号に対してノイズ除去処理や利得調整処理、アナログ/デジタル変換処理、欠陥画素補正、現像処理等を行う。撮像部は、生成した画像信号を画像処理部23へ出力する。また、撮像部22は、生成した画像信号を記録部26や出力部27へ出力する
画像処理部23は、撮像部22から供給された画像信号を副撮像装置60の表示部77の表示解像度に応じた画像信号に変換して、変換後の画像信号を通信部24へ出力する。また、画像処理部23は、撮像部22から供給された画像信号を表示部25の表示解像度に応じた画像信号に変換して表示部25へ出力する。
画像処理部23は、撮像部22から供給された画像信号を副撮像装置60の表示部77の表示解像度に応じた画像信号に変換して、変換後の画像信号を通信部24へ出力する。また、画像処理部23は、撮像部22から供給された画像信号を表示部25の表示解像度に応じた画像信号に変換して表示部25へ出力する。
位置姿勢検出部28は、主撮像装置20の姿勢あるいは姿勢と位置,姿勢変化,位置変化等を検出して位置姿勢検出結果を制御部30へ出力する。
通信部24は、副撮像装置60と通信を行い、画像処理部23から供給された画像信号を副撮像装置60へ送信する。また、副撮像装置60から送信された被写***置情報を受信して制御部30へ出力する。
表示部25は、液晶表示素子や有機EL表示素子等を用いて構成されている。表示部25は画像処理部23から供給された画像信号に基づき、主撮像装置20で生成した撮像画像を表示する。また、表示部25は、制御部30からの制御信号に基づき主撮像装置20のメニュー表示等を行う。
記録部26は、主撮像装置20に固定されている記録媒体、あるいは着脱可能の記録媒体を用いて構成されている。記録部26は、制御部30からの制御信号に基づき、撮像部22で生成された画像信号を記録媒体に記録する。また、出力部27は、制御部30からの制御信号に基づき、撮像部22で生成された画像信号を外部機器へ出力する。
制御部30は、CPU(Central Processing Unit)やROM(Read Only Memory),RAM(Random Access Memory)等を有している。ROMは、CPUにより実行される各種プログラムを記憶する。RAMは、各種パラメータ等の情報を記憶する。CPUは、ROMに記憶されている各種プログラムを実行して、ユーザ操作に応じた動作が主撮像装置20で行われるように各部を制御する。また、制御部30には、副撮像装置60から供給された被写***置情報に基づき、注目被写体OBを主撮像装置20で撮像するように制御する撮像制御部31が設けられている。
図4は、撮像制御部の機能構成を例示している。撮像制御部31は、被写***置算出部311と撮像方向制御部312およびフォーカス制御部313を有している。なお、主撮像装置20の被写界深度が大きくフォーカス調整が不要である場合、撮像制御部31は、フォーカス制御部313を有していなくともよい。
被写***置算出部311は、位置姿勢検出部28の位置姿勢検出結果と副撮像装置60から供給された被写***置情報に基づき、注目被写体の方向と注目被写体までの距離とを算出する。なお、注目被写体の方向と注目被写体までの距離の算出の詳細については後述する。被写***置算出部311は、注目被写体の方向の算出結果を撮像方向制御部312へ出力して、注目被写体までの距離の算出結果をフォーカス制御部313へ出力する。
撮像方向制御部312は、注目被写体の方向の算出結果に基づき、主撮像装置20の撮像方向が注目被写体の方向となるように方向制御信号を生成して雲台40へ出力する。また、フォーカス制御部313は、注目被写体までの距離の算出結果に基づき、主撮像装置20のフォーカス位置が注目被写体となるようにフォーカス制御信号を生成して撮像光学系ブロック21へ出力する。
図3に戻り、副撮像装置60の構成について説明する。副撮像装置60は、被写***置情報生成部71、通信部72、撮像光学系ブロック73、撮像部74、視差算出部75、画像合成部76、表示部77を有している。また、被写***置情報生成部71は、測距部711とモーションセンサ部712を有している。
上述したように、測距部711は、副撮像装置60を装着しているユーザの前方正面に位置する注目被写体までの距離を測定する。モーションセンサ部712は、副撮像装置60の位置変化や姿勢変化の変化量等を示す動き情報を生成する。被写***置情報生成部71は、測距部711で測定した注目被写体までの距離とモーションセンサ部712で生成した動き情報を含む被写***置情報を生成して通信部72へ出力する。
通信部72は、被写***置情報生成部71で生成された被写***置情報を主撮像装置20へ送信する。また、通信部72は、主撮像装置20から送信された画像信号を受信して画像合成部76へ出力する。
撮像光学系ブロック73は、フォーカスレンズを用いて構成されており、被写体光学像を撮像部74の撮像面に結像させる。また、撮像光学系ブロック73には、ズームレンズ等が設けられてもよい。
撮像部74は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)等の撮像素子と信号処理部を有している。撮像素子は、光電変換を行い被写体光学像に応じた画像信号を生成する。信号処理部は、撮像素子で生成された画素信号に対してノイズ除去処理や利得調整処理、アナログ/デジタル変換処理、欠陥画素補正、現像処理等を行う。撮像部は、生成した画像信号を画像合成部76へ出力する
視差算出部75は、被写***置情報生成部71で生成された被写***置情報に基づき、撮像部74と主撮像装置20の撮像部22との視差を算出する。視差算出部75は算出した視差を画像合成部76へ出力する。
視差算出部75は、被写***置情報生成部71で生成された被写***置情報に基づき、撮像部74と主撮像装置20の撮像部22との視差を算出する。視差算出部75は算出した視差を画像合成部76へ出力する。
画像合成部76は、撮像部74で生成された画像信号と通信部72で受信した主撮像装置20からの画像信号を用いて表示信号を生成する。また、表示信号の生成は、後述するように、視差算出部75で算出された視差に応じて行う。また、
画像合成部76は、生成した表示信号を表示部へ出力する。
画像合成部76は、生成した表示信号を表示部へ出力する。
表示部77は、液晶表示素子や有機EL表示素子等を用いて構成されている。表示部77は画像合成部76で生成した表示信号に基づき撮像画像を表示する。
<2−2.撮像システムの動作>
図5は、撮像システムの動作を例示したフローチャートである。ステップST1で撮像システム10はキャリブレーション処理を行う。撮像システム10は、主撮像装置20と副撮像装置60が対向する状態を初期状態として、例えば副撮像装置60によって主撮像装置20までの距離を算出して基準距離とする。また、主撮像装置20は副撮像装置60の方向を基準方向、副撮像装置60は主撮像装置20の方向を基準方向としてステップST2に進む。
図5は、撮像システムの動作を例示したフローチャートである。ステップST1で撮像システム10はキャリブレーション処理を行う。撮像システム10は、主撮像装置20と副撮像装置60が対向する状態を初期状態として、例えば副撮像装置60によって主撮像装置20までの距離を算出して基準距離とする。また、主撮像装置20は副撮像装置60の方向を基準方向、副撮像装置60は主撮像装置20の方向を基準方向としてステップST2に進む。
ステップST2で副撮像装置は注目被写体の位置を測定する。ユーザは、キャリブレーション処理後に注目被写体が前方正面となるように姿勢を変更して、副撮像装置60は、測距部711で前方正面に位置する注目被写体までの距離を測定して、モーションセンサ部712で基準方向を基準とした注目被写体方向への動き(姿勢変化を示す角度)を示す動き情報を生成する。また、ユーザが移動する場合、副撮像装置60のモーションセンサ部712では、移動した距離と方向を示す動き情報を生成する。副撮像装置60は、測定した距離と動き情報を含む被写***置情報を主撮像装置20へ送信してステップST3に進む。
ステップST3で主撮像装置の撮像制御部は注目被写体撮像制御を行う。撮像制御部31は、副撮像装置60から供給された被写***置情報に基づき、主撮像装置20における注目被写体方向と注目被写体までの距離を算出する。また、撮像制御部31は、注目被写体方向に基づき方向制御信号を生成して、注目被写体までの距離に基づきフォーカス制御信号を生成してステップST4に進む。
ステップST4で雲台と主撮像装置は駆動処理を行う。雲台40はステップST3で生成された方向制御信号に基づき主撮像装置20の撮像方向を注目被写体方向に移動させる。また、主撮像装置20では、ステップST3で生成されたフォーカス制御信号に基づき撮像光学系ブロック21を駆動して、焦点位置が注目被写体の位置となるようにフォーカス調整を行いステップST5に進む。なお、主撮像装置20の被写界深度が大きい場合はフォーカス調整を行わなくてもよい。
ステップST5で副撮像装置は画像表示処理を行う。副撮像装置60の画像合成部は、副撮像装置60で生成した撮像画像と主撮像装置20で生成された撮像画像等を用いて画像合成を行い、表示画像の画像信号を生成して表示部77へ出力してステップST2に戻る。
<2−3.撮像制御部の動作例>
次に、撮像制御部の動作例について説明する。図6は、撮像制御部における被写***置算出部の動作を説明するための図である。なお、図6では、雲台40に取り付けられた主撮像装置20の位置を「A」、副撮像装置60の位置を「B」、注目被写体の位置を「C」として示している。
次に、撮像制御部の動作例について説明する。図6は、撮像制御部における被写***置算出部の動作を説明するための図である。なお、図6では、雲台40に取り付けられた主撮像装置20の位置を「A」、副撮像装置60の位置を「B」、注目被写体の位置を「C」として示している。
撮像システム10では、主撮像装置20と副撮像装置60を対向させてキャリブレーションを行い、このときの主撮像装置20と副撮像装置60の姿勢を初期状態とする。また、副撮像装置60は、初期状態において主撮像装置20までの距離Dabを測定して主撮像装置20へ送信する。
その後、副撮像装置60を装着したユーザは、主撮像装置20から注目被写体の方向に向きを変えて、副撮像装置60の測距部711は、位置Bから位置Cまでの距離Dbcを測定する。また、モーションセンサ部712は、基準方向(位置Aの方向)に対する位置Cの方向の角度θabcを測定する。副撮像装置は距離Dbcと角度θabcを被写***置情報として主撮像装置20へ送信する。
主撮像装置20の被写***置算出部311は、式(1)に基づき主撮像装置の位置Aから被写体の位置Cまでの距離Dacを算出する。
また、被写***置算出部311は、式(2)に基づき主撮像装置20における基準方向(位置Bの方向)に対する位置Cの方向の角度θbacを算出する。
被写***置算出部311は、算出した角度θbacを撮像方向制御部312へ出力することで、撮像方向制御部312では、主撮像装置20の撮像方向を基準方向(位置Bの方向)に対して角度θbacの方向とする方向制御信号を生成して雲台40へ出力する。したがって、主撮像装置20の撮像方向を、注目被写体の方向とすることができる。
被写***置算出部311は、算出した距離Dacをフォーカス制御部313へ出力することで、フォーカス制御部313では、主撮像装置20の焦点位置を距離Dacとするフォーカス制御信号を生成して撮像光学系ブロック21へ出力する。したがって、主撮像装置20の焦点を注目被写体に合わせることができる。
また、ユーザは注目被写体を追従するように姿勢を変えれば、副撮像装置60では注目被写体までの距離や注目被写体を追従する動き情報を示す新たな被写***置情報が生成されて主撮像装置20へ送信される。したがって、主撮像装置20は、新たな被写***置情報に基づき撮像方向制御やフォーカス制御を行うことで、撮像方向やフォーカス位置を注目被写体に追従させて、注目被写体に焦点が合った撮像画像を連続して取得できるようになる。
さらに、主撮像装置20で取得された撮像画像は、副撮像装置60の表示部77に表示されるので、注目被写体に焦点が合っている状態で撮像動作が行われているか確認できるようになる。
<2−4.撮像制御部の他の動作例>
次に、撮像制御部の他の動作例として、注目被写体だけでなくユーザの位置が移動する場合について説明する。
次に、撮像制御部の他の動作例として、注目被写体だけでなくユーザの位置が移動する場合について説明する。
図7は、撮像制御部における被写***置算出部の他の動作を説明するための図である。なお、図7では、雲台40に取り付けられた主撮像装置20の位置を「A」、副撮像装置60の位置を「B」、注目被写体の位置を「C」、移動後の副撮像装置60の位置を「B’」、移動後の注目被写体の位置を「C’」として示している。また、位置Aと位置Bを結ぶ直線と位置B’と位置C’を結ぶ直線との交点を「q」とする。
撮像システム10では、主撮像装置20と副撮像装置60を対向させてキャリブレーションを行い、このときの主撮像装置20と副撮像装置60の姿勢を初期状態とする。また、副撮像装置60は、初期状態において主撮像装置20までの距離Dabを測定して主撮像装置20へ送信する。
その後、副撮像装置60を装着したユーザは、主撮像装置20から注目被写体の方向に向きを変えて、副撮像装置60の測距部711は、位置Bから位置Cまでの距離Dbcを測定する。また、モーションセンサ部712は、基準方向(位置Aの方向)に対する位置Cの方向の角度θabcを測定する。副撮像装置は距離Dbcと角度θabcを被写***置情報として主撮像装置20へ送信する。
主撮像装置20の被写***置算出部311は、式(1)に基づき主撮像装置の位置Aから被写体の位置Cまでの距離Dacを算出する。
副撮像装置60を装着したユーザが位置Bから位置B’に移動した場合、副撮像装置60のモーションセンサ部712は、位置Bから位置B’までの距離Dbb'と角度θaqc'を測定する。また、副撮像装置60の測距部711は、位置B’から移動後の被写体の位置C’までの距離Db'c'を測定する。副撮像装置60は距離Dbb'と距離Db'c'と角度θaqc'の測定結果を被写***置情報として主撮像装置20へ送信する。
主撮像装置20の被写***置算出部311は、距離Dabと距離Dbb'に基づいて距離Db'aを算出する。さらに、被写***置算出部311は、式(3)に基づき副撮像装置60が位置Bであるときの基準方向(位置Aの方向)に対する移動後の位置B’の方向の角度θabb’を算出する。
また、被写***置算出部311は、式(4)に基づき主撮像装置20における基準方向(位置Bの方向)から交点qまでの距離Dbqを算出する。なお、角度θbb'c'は、角度θabB'と角度θaqc'に基づいて算出される。
被写***置算出部311は、距離Dabから距離Dbqを減算することで距離Dqaを算出する。また、被写***置算出部311は、例えば距離Dbb'と角度θabb',θbb'qに基づいて距離Db'qを算出して、算出した距離Db'qを距離Db'c'から減算することで距離Dc'qを算出する。さらに、被写***置算出部311は、式(5)に基づき距離Dac'を算出する。
また、被写***置算出部311は、式(6)に基づき主撮像装置20における基準方向(位置Bの方向)に対する位置C’の方向の角度θbac'を算出する。
被写***置算出部311は、算出した角度θbac'を撮像方向制御部312へ出力することで、撮像方向制御部312では、主撮像装置20の撮像方向を基準方向(位置Bの方向)に対して角度θbac'の方向とする方向制御信号を生成して雲台40へ出力する。したがって、主撮像装置20の撮像方向を、移動後の注目被写体の方向とすることができる。
また、被写***置算出部311は、算出した距離Dac'をフォーカス制御部313へ出力することで、フォーカス制御部313では、主撮像装置20の焦点位置を距離Dac'とするフォーカス制御信号を生成して撮像光学系ブロック21へ出力する。したがって、主撮像装置20の焦点を移動後の注目被写体に合わせることができる。
また、ユーザは注目被写体を追従するように姿勢と位置を変えれば、副撮像装置60では注目被写体までの距離や注目被写体を追従する動き情報を示す新たな被写***置情報が生成されて主撮像装置20へ送信される。したがって、主撮像装置20は、新たな被写***置情報に基づき撮像方向制御やフォーカス制御を行うことで、ユーザが移動しても撮像方向やフォーカス位置を注目被写体に追従させて、注目被写体に焦点が合った撮像画像を連続して取得できるようになる。
また、主撮像装置は固定状態に限らず移動可能としてもよい。この場合、主撮像装置が初期状態であるときの方向を基準として注目被写体の方向を示す角度と注目被写体までの距離を算出する。さらに、注目被写体の方向を示す角度と注目被写体までの距離を、主撮像装置の移動方向や移動量に報じて補正して、注目被写体の方向と注目被写体までの距離を算出してもよい。
<2−5.表示画像の生成動作について>
副撮像装置60では、撮像部74で生成された副撮像画像と、副撮像画像と画角が異なる主撮像装置20で生成された主撮像画像を合成する。なお、主撮像画像は、上述のように副撮像装置60から供給した被写***置情報に基づき、撮像部74で撮像する被写体方向に撮像方向が制御された主撮像装置20で生成された撮像画像である。
副撮像装置60では、撮像部74で生成された副撮像画像と、副撮像画像と画角が異なる主撮像装置20で生成された主撮像画像を合成する。なお、主撮像画像は、上述のように副撮像装置60から供給した被写***置情報に基づき、撮像部74で撮像する被写体方向に撮像方向が制御された主撮像装置20で生成された撮像画像である。
図8は表示画像の生成動作例を示している。図8の(a)において、領域ARsは副撮像装置60の撮像範囲を示しており、中心に位置する被写体が注目被写体OBである。主撮像装置20は、副撮像装置60から供給した被写***置情報に基づき、撮像方向が制御されて注目被写体OBを撮像する。なお、領域ARmは主撮像装置20の撮像範囲を示しており、副撮像装置60に比べて主撮像装置20の倍率が高く画角が狭くなっている。
副撮像装置60の画像合成部76は、図8の(b)に示すように、主撮像装置20で生成された主撮像画像Pmを撮像部74で生成された副撮像画像Psの例えば中央部分に重畳して表示画像を生成すれば、注目被写体OBが主撮像装置20の撮像範囲である領域ARmから外れても、撮像部74で生成された副撮像画像Psに基づき注目被写体OBの位置を把握できる。このため、注目被写体OBが前方正面となるようにユーザが姿勢を変更することで、容易に注目被写体OBを主撮像装置20で追従して撮像できるようになる。なお、副撮像画像Psに対する主撮像画像Pmの重畳位置は、副撮像画像Psの中央に限られない。例えば、副撮像画像Psに対する主撮像画像Pmの重畳位置を中央位置から所定量だけずらして重畳させてもよい。
また、画像合成部76は、画角の狭い主撮像画像Pmに対して画角の広い副撮像画像を縮小して重畳することで表示画像を生成してもよい。このように表示画像を生成すれば、主撮像装置20で生成された撮像画像を確認しながら、縮小表示されている副撮像画像で全体の状況を確認できる。
このように、本技術によれば、主撮像装置20で所望の被写体を撮影中に撮像範囲から被写体が外れても、ユーザは副撮像装置60の撮像部74で生成された副撮像画像を利用して、所望の被写体が前方正面に位置するように姿勢を変更するだけで、引き続き主撮像装置20で所望の被写体を撮影できるようになる。また、副撮像装置60の表示部77では主撮像装置20で生成された主撮像画像が表示されるので主撮像装置20の動作状態を確認することができる。さらに、副撮像装置60は、主撮像装置20と一体に設ける必要がないので、特許文献1のようにアタッチメントを撮像装置に取り付けた場合のように、撮像装置に装着された撮像レンズによってアタッチメントで生成される画像にケラレを生じるような不具合を生じることもない。
また、副撮像装置60を例えばビューファインダとして機能させる場合、主撮像装置20は副撮像装置60で生成される副撮像画像よりも高画質の主撮像画像を生成して、副撮像装置60は主撮像装置20よりも小型軽量化すれば、操作性が良好で高画質の撮像画像を記録あるいは出力できる撮像システムを提供できる。
<2−6.表示画像の他の生成動作>
ところで、主撮像装置20から副撮像装置60までの距離が短く注目被写体までの距離が長い場合には視差が小さいことから、表示画像では視差の影響が少ない。しかし、視差が大きくなると、表示画像は異なる視点の合成画像であることが顕著となってしまう。そこで、他の表示動作では、視差に応じて画像合成部76の動作を切り替えて、視差の影響の少ない表示画像を生成する。
ところで、主撮像装置20から副撮像装置60までの距離が短く注目被写体までの距離が長い場合には視差が小さいことから、表示画像では視差の影響が少ない。しかし、視差が大きくなると、表示画像は異なる視点の合成画像であることが顕著となってしまう。そこで、他の表示動作では、視差に応じて画像合成部76の動作を切り替えて、視差の影響の少ない表示画像を生成する。
次に視差に応じて表示画像を切り替える場合の表示動作について説明する。この場合、視差算出部75は、副撮像装置60で撮像される注目被写体までの距離と副撮像装置60と主撮像装置20の初期状態からの動きに基づき注目被写体を副撮像装置と主撮像装置で撮像するときの視差を算出する。
視差算出部75は、上述の撮像制御部31と同様に角度θabcと角度θbacを算出して、三角形(ABC)の内角の和から角度θabcと角度θbaを減算して視差を示す角度θacbを算出する。また、ユーザと被写体が移動した場合、例えば角度θaqc'と角度θbac'を用いて角度θac'b'を算出すればよい。なお、以下の説明では、注目被写体の視差を「θp」とする。
視差算出部75は、算出した視差θpを画像合成部76へ出力する。画像合成部76は、視差算出部75で算出された視差θp(=θacb,θac'b')と、予め設定された第1閾値または第1閾値と第1閾値よりも大きい第2閾値との比較結果に応じて画像合成動作を切り替える。
図9は,画像合成動作を例示したフローチャートである。ステップST11で画像合成部は視差θpを取得する。画像合成部76は視差算出部75で算出された視差θpを取得してステップST12に進む。
ステップST12で画像合成部は視差θpが第1閾値θ1以下であるか判別する。第1閾値θ1は、主撮像装置20で生成された主撮像画像Pmと副撮像装置60の撮像部74で生成された副撮像画像Psで視差の影響を無視できる最大の視差として予め設定されている。画像合成部76は視差θpが予め設定された第1閾値θ1以下である場合はステップST13に進み、第1閾値θ1よりも大きい場合はステップST14に進む。
ステップST13で画像合成部は一方の撮像画像に他方の撮像画像を重畳する。画像合成部76は、図8を用いて説明したように、画角が異なる主撮像画像Pmと副撮像画像Psを合成する。例えば撮像部74で生成された副撮像画像Psに主撮像装置20で生成された主撮像画像Pmを重畳して表示画像を生成してステップST11に戻る。
ステップST14で画像合成部は視差θpが第2閾値θ2よりも大きいか判別する。第2閾値θ2(>θ1)は、視差が大きいために識別表示を有効に利用できない最小の視差として予め設定されている。画像合成部76は視差θpが予め設定された第2閾値θ2よりも大きい場合はステップST15に進み、第2閾値θ2以下である場合はステップST17に進む。
ステップST15で画像合成部は撮像画像の選択を行う。画像合成部76は、主撮像画像Pmまたは副撮像画像Psのいずれかを選択する。例えば画像合成部76は、画角の広い副撮像画像Psを選択してステップST16に進む。
ステップST16で画像合成部は選択画像にフォーカス位置表示FPを重畳する。画像合成部76は、ステップST15で選択された撮像画像に、選択されていない撮像画像のフォーカス位置を示すフォーカス位置表示FPを設けて表示画像を生成する。例えば、画像合成部76は、副撮像画像に主撮像装置のフォーカス位置を示すフォーカス位置表示FPを重畳して表示画像を生成してステップST11に戻る。
ステップST17で画像合成部は広画角撮像画像に撮像領域表示FRを重畳する。画像合成部76は、画角の広い撮像画像に他の撮像画像の撮像領域を示す撮像領域表示FR、例えば副撮像画像Psに主撮像装置20の撮像範囲を示す撮像領域表示FRを重畳して表示画像を生成してステップST11に戻る。
図10乃至図13は画像合成部の動作例を示している。また、副撮像装置60で生成される副撮像画像Psは主撮像装置20で生成される主撮像画像Pmよりも画角が広い画像とする。
図10の(1)に示すように注目被写体の位置Cが主撮像装置20の位置Aや副撮像装置60の位置Bから離れているため視差θpが第1閾値θ1以下となる場合、画像合成部76は、副撮像画像Psに主撮像画像Pmを重畳して表示画像を生成する。また、図10の(b)に示すように位置Cから位置Aや位置Bまでの距離が短くても主撮像装置20と副撮像装置60が接近している(位置Cからみて周方向の位置差が少ない)ため、視差θpが第1閾値θ1以下となる場合も、画像合成部76は、副撮像画像Psに主撮像画像Pmを重畳して表示画像を生成する。
図11は、視差に応じて生成される表示画像を例示している。図11の(a)において、領域ARsは副撮像装置60の撮像範囲を示しており、中心に位置する被写体が注目被写体OBである。主撮像装置20は、副撮像装置60から供給した被写***置情報に基づき、撮像方向が制御されて注目被写体OBを撮像する。また、領域ARmは主撮像装置20の撮像範囲を示しており、副撮像装置60に比べて主撮像装置20の倍率が高く画角が狭くなっている。図11の(b)は、副撮像画像Psに主撮像画像Pmを重畳して生成された表示画像を示している。このように、視差θpが第1閾値θ1以下である場合、副撮像画像Psに主撮像画像Pmを重畳して表示画像が生成されるので、被写体だけでなく周囲の状況を把握できるようになる。また、主撮像装置20で記録あるいは出力される主撮像画像を確認できる。
図12の(a)に示すように、注目被写体の位置Cが主撮像装置20の位置Aや副撮像装置60の位置Bから離れており、位置Aと位置Bも離れている(被写体からみて周方向の位置差が大きい)ため、視差θpが第1閾値θ1より大きく第2閾値θ2以下となる場合、画像合成部76は、画角の広い副撮像画像Psに主撮像装置20の撮像範囲を示す撮像領域表示を重畳して表示画像を生成する。また、図12の(b)に示すように、位置Cから位置Aや位置Bまでの距離が短くて、位置Aと位置Cが接近していない(被写体からみて周方向の位置差が少なくない)ため、視差θpが第1閾値θ1より大きく第2閾値θ2以下となる場合にも、画像合成部76は、画角の広い副撮像画像Psに主撮像装置20の撮像範囲を示す撮像領域表示を重畳して表示画像を生成する。図11の(c)は、副撮像画像Psに主撮像装置20の撮像範囲を示す撮像領域表示FRを重畳して生成された表示画像を示している。このように、視差θpが第1閾値θ1より大きく第2閾値θ2以下となる場合には、副撮像画像Psに撮像領域表示FRを重畳して表示画像が生成されるので、副撮像画像Psに視差の大きい撮像画像が重畳されることがなく、表示画像が見づらい画像となってしまうことを防止できる。また、撮像領域表示FRによって主撮像装置20で撮像されている領域を把握できる。
図13に示すように、注目被写体の位置Cから主撮像装置20の位置Aや副撮像装置60の位置Bまでの距離が短くて、位置Aと位置Bが離れている(被写体からみて周方向の位置差が大きい)ため、視差θpが第2閾値θ2よりも大きくなる場合、画像合成部76は、例えば副撮像画像Psに主撮像装置20のフォーカス位置を示すフォーカス位置表示FPを重畳して表示画像を生成する。図11の(d)は、副撮像画像Psに主撮像装置20のフォーカス位置を示すフォーカス位置表示FPを重畳して生成された表示画像を示している。このように、視差θpが第2閾値θ2より大きい場合には、副撮像画像Psにフォーカス位置表示FPを重畳して表示画像が生成されるので、副撮像画像Psに視差の大きい撮像画像が重畳されることがなく、表示画像が見づらい画像となってしまうことを防止できる。また、視差が大きいために、主撮像装置20で撮像されている領域を副撮像画像Psで表示することが困難であっても、フォーカス位置表示FPによって主撮像装置20がいずれの被写体を撮像しているか把握できる。
このような本技術によれば、主撮像装置と副撮像装置と注目被写体の位置関係に応じて最適な表示画像を副撮像装置の表示部に表示させることができるようになる。
<3.他の実施の形態>
ところで、上述の実施の形態では、主撮像装置20の撮像制御部31と視差算出部75で角度の算出等を行う場合を例示したが、撮像制御部31と視差算出部75の一方で角度の演算処理を行うようにしてもよい。例えば主撮像装置20の撮像制御部31で視差θpを算出して、副撮像装置60の画像合成部76へ供給するようにしてもよい。また、副撮像装置60の視差算出部75で角度の算出等を行って方向制御信号を生成して、主撮像装置20あるいは雲台40へ出力してもよい。
ところで、上述の実施の形態では、主撮像装置20の撮像制御部31と視差算出部75で角度の算出等を行う場合を例示したが、撮像制御部31と視差算出部75の一方で角度の演算処理を行うようにしてもよい。例えば主撮像装置20の撮像制御部31で視差θpを算出して、副撮像装置60の画像合成部76へ供給するようにしてもよい。また、副撮像装置60の視差算出部75で角度の算出等を行って方向制御信号を生成して、主撮像装置20あるいは雲台40へ出力してもよい。
<4.応用例>
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術システムや監視システム等に適用されてもよい。
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、手術システムや監視システム等に適用されてもよい。
図2に示す副撮像装置は術者(医師)に装着して、主撮像装置は術部を撮像できるように配置する。また、副撮像装置は主撮像装置よりも広画角の撮像画像を生成する。雲台は主撮像装置の撮像方向を少なくとも術部範囲で移動可能とする。このように副撮像装置と主撮像装置と雲台を設ければ、術者が注目する患部部分を主撮像装置で追従しながら撮影することができる。さらに、副撮像装置の接眼ブロックでは、術部を含む広い範囲の撮像画像と術部の画像が表示されるので、副撮像装置の撮像部で生成された撮像画像に基づき術部全体の状況を把握しながら主撮像装置で生成された撮像画像に基づき注目する部位の手術を行うことができる。また、副撮像装置では術部を撮像して、主撮像装置は副撮像装置よりも広画角の撮像画像を生成してもよい。この場合、副撮像装置で術部を高倍率で撮像して、主撮像装置は術部を含む広い範囲を撮像してもよい。
また、図2に示す副撮像装置は監視者に装着して、主撮像装置は監視対象領域を撮像できるように配置する。また、雲台は主撮像装置の撮像方向を少なくとも監視対象範囲で移動可能とする。このように副撮像装置と主撮像装置と雲台を設ければ、監視者が注目する監視対象者を主撮像装置で追従しながら撮影することができる。また、監視対象が主撮像装置の撮像範囲から外れても、ユーザは副撮像装置の撮像部で生成された撮像画像に基づき監視対象を確認することが可能となるので、ユーザが監視対象の方向を向き続けることで、主撮像装置によって監視対象の撮像を続けて行うことができるようになる。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやSSD(Solid State Drive)、ROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、BD(Blu-Ray Disc(登録商標))、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
また、本技術の画像処理装置は以下のような構成も取ることができる。
(1) 副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する画像合成部
を備える画像処理装置。
(2) 前記副撮像装置で生成される前記副撮像画像と前記主撮像装置で生成される前記主撮像画像は画角が異なる(1)に記載の画像処理装置。
(3) 前記被写体を撮像したときの前記主撮像装置と前記副撮像装置との視差を算出する視差算出部をさらに備え、
前記画像合成部は前記視差算出部で算出された視差に応じて画像合成動作を切り替える(1)または(2)に記載の画像処理装置。
(4) 前記画像合成部は前記視差算出部で算出された視差と、予め設定された第1閾値または前記第1閾値と前記第1閾値よりも大きい第2閾値との比較結果に応じて画像合成動作を切り替える(3)に記載の画像処理装置。
(5) 前記画像合成部は、前記視差算出部で算出された視差が前記第1閾値以下である場合、前記副撮像画像と前記主撮像画像を合成して前記表示画像を生成する(4)に記載の画像処理装置。
(6) 前記画像合成部は、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像を重畳して前記表示画像を生成する(5)に記載の画像処理装置。
(7) 前記画像合成部は、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像を縮小して他方の撮像画像に重畳して前記表示画像を生成する(5)に記載の画像処理装置。
(8) 前記画像合成部は、前記視差算出部で算出された視差が前記第1閾値よりも大きく前記第2閾値以下である場合、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像の撮像範囲を示す撮像領域表示を重畳して前記表示画像を生成する(4)乃至(7)のいずれかに記載の画像処理装置。
(9) 前記副撮像画像は前記主撮像画像よりも画角が広く、前記画像合成部は、前記副撮像画像に前記主撮像装置で撮像される範囲を示す撮像領域表示を重畳して前記表示画像を生成する(8)に記載の画像処理装置。
(10) 前記画像合成部は、前記視差算出部で算出された視差が前記第2閾値よりも大きい場合、前記副撮像画像と前記主撮像画像のいずれか一方の撮像画像に他方の撮像画像のフォーカス位置を示すフォーカス位置表示を設けて前記表示画像を生成する(4)乃至(9)のいずれかに記載の画像処理装置。
(11) 前記副撮像画像は前記主撮像画像よりも画角が広く、前記画像合成部は、前記副撮像画像に前記主撮像装置のフォーカス位置を示すフォーカス位置表示を重畳して前記表示画像を生成する(10)に記載の画像処理装置。
(12) 前記視差算出部は、前記副撮像装置で撮像される前記被写体までの距離と前記副撮像装置と前記主撮像装置の初期状態からの動きに基づき前記被写体を前記副撮像装置と前記主撮像装置で撮像するときの視差を算出する(3)乃至(11)のいずれかに記載の画像処理装置。
(13) 画像視認動作を検出する検出部を備え、前記画像合成部は、前記検出部で前記表示画像の画像視認動作が検出されたことに応じて前記表示画像を生成する(1)乃至(12)のいずれかに記載の画像処理装置。
(1) 副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する画像合成部
を備える画像処理装置。
(2) 前記副撮像装置で生成される前記副撮像画像と前記主撮像装置で生成される前記主撮像画像は画角が異なる(1)に記載の画像処理装置。
(3) 前記被写体を撮像したときの前記主撮像装置と前記副撮像装置との視差を算出する視差算出部をさらに備え、
前記画像合成部は前記視差算出部で算出された視差に応じて画像合成動作を切り替える(1)または(2)に記載の画像処理装置。
(4) 前記画像合成部は前記視差算出部で算出された視差と、予め設定された第1閾値または前記第1閾値と前記第1閾値よりも大きい第2閾値との比較結果に応じて画像合成動作を切り替える(3)に記載の画像処理装置。
(5) 前記画像合成部は、前記視差算出部で算出された視差が前記第1閾値以下である場合、前記副撮像画像と前記主撮像画像を合成して前記表示画像を生成する(4)に記載の画像処理装置。
(6) 前記画像合成部は、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像を重畳して前記表示画像を生成する(5)に記載の画像処理装置。
(7) 前記画像合成部は、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像を縮小して他方の撮像画像に重畳して前記表示画像を生成する(5)に記載の画像処理装置。
(8) 前記画像合成部は、前記視差算出部で算出された視差が前記第1閾値よりも大きく前記第2閾値以下である場合、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像の撮像範囲を示す撮像領域表示を重畳して前記表示画像を生成する(4)乃至(7)のいずれかに記載の画像処理装置。
(9) 前記副撮像画像は前記主撮像画像よりも画角が広く、前記画像合成部は、前記副撮像画像に前記主撮像装置で撮像される範囲を示す撮像領域表示を重畳して前記表示画像を生成する(8)に記載の画像処理装置。
(10) 前記画像合成部は、前記視差算出部で算出された視差が前記第2閾値よりも大きい場合、前記副撮像画像と前記主撮像画像のいずれか一方の撮像画像に他方の撮像画像のフォーカス位置を示すフォーカス位置表示を設けて前記表示画像を生成する(4)乃至(9)のいずれかに記載の画像処理装置。
(11) 前記副撮像画像は前記主撮像画像よりも画角が広く、前記画像合成部は、前記副撮像画像に前記主撮像装置のフォーカス位置を示すフォーカス位置表示を重畳して前記表示画像を生成する(10)に記載の画像処理装置。
(12) 前記視差算出部は、前記副撮像装置で撮像される前記被写体までの距離と前記副撮像装置と前記主撮像装置の初期状態からの動きに基づき前記被写体を前記副撮像装置と前記主撮像装置で撮像するときの視差を算出する(3)乃至(11)のいずれかに記載の画像処理装置。
(13) 画像視認動作を検出する検出部を備え、前記画像合成部は、前記検出部で前記表示画像の画像視認動作が検出されたことに応じて前記表示画像を生成する(1)乃至(12)のいずれかに記載の画像処理装置。
10・・・撮像システム
20・・・主撮像装置
21,73・・・撮像光学系ブロック
22,74・・・撮像部
23・・・画像処理部
24,72・・・通信部
25,77・・・表示部
26・・・記録部
27・・・出力部
28・・・位置姿勢検出部
30・・・制御部
31・・・撮像制御部
40・・・雲台
60・・・副撮像装置
61・・・ホールド部
62・・・アーム部
63・・・接眼ブロック
64・・・回路ブロック
65・・・電源部
71・・・被写***置情報生成部
75・・・視差算出部
76・・・画像合成部
311・・・被写***置算出部
312・・・撮像方向制御部
313・・・フォーカス制御部
610・・・ネックバンド
611L,611R・・・耳当て部
711・・・測距部
712・・・モーションセンサ部
20・・・主撮像装置
21,73・・・撮像光学系ブロック
22,74・・・撮像部
23・・・画像処理部
24,72・・・通信部
25,77・・・表示部
26・・・記録部
27・・・出力部
28・・・位置姿勢検出部
30・・・制御部
31・・・撮像制御部
40・・・雲台
60・・・副撮像装置
61・・・ホールド部
62・・・アーム部
63・・・接眼ブロック
64・・・回路ブロック
65・・・電源部
71・・・被写***置情報生成部
75・・・視差算出部
76・・・画像合成部
311・・・被写***置算出部
312・・・撮像方向制御部
313・・・フォーカス制御部
610・・・ネックバンド
611L,611R・・・耳当て部
711・・・測距部
712・・・モーションセンサ部
Claims (19)
- 副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する画像合成部
を備える画像処理装置。 - 前記副撮像装置で生成される前記副撮像画像と前記主撮像装置で生成される前記主撮像画像は画角が異なる
請求項1に記載の画像処理装置。 - 前記被写体を撮像したときの前記主撮像装置と前記副撮像装置との視差を算出する視差算出部をさらに備え、
前記画像合成部は前記視差算出部で算出された視差に応じて画像合成動作を切り替える
請求項1に記載の画像処理装置。 - 前記画像合成部は前記視差算出部で算出された視差と、予め設定された第1閾値または前記第1閾値と前記第1閾値よりも大きい第2閾値との比較結果に応じて画像合成動作を切り替える
請求項3に記載の画像処理装置。 - 前記画像合成部は、前記視差算出部で算出された視差が前記第1閾値以下である場合、前記副撮像画像と前記主撮像画像を合成して前記表示画像を生成する
請求項4に記載の画像処理装置。 - 前記画像合成部は、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像を重畳して前記表示画像を生成する
請求項5に記載の画像処理装置。 - 前記画像合成部は、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像を縮小して他方の撮像画像に重畳して前記表示画像を生成する
請求項5に記載の画像処理装置。 - 前記画像合成部は、前記視差算出部で算出された視差が前記第1閾値よりも大きく前記第2閾値以下である場合、前記副撮像画像と前記主撮像画像のいずれか画角の広い撮像画像に他方の撮像画像の撮像範囲を示す撮像領域表示を重畳して前記表示画像を生成する
請求項4に記載の画像処理装置。 - 前記副撮像画像は前記主撮像画像よりも画角が広く、前記画像合成部は、前記副撮像画像に前記主撮像装置で撮像される範囲を示す撮像領域表示を重畳して前記表示画像を生成する
請求項8に記載の画像処理装置。 - 前記画像合成部は、前記視差算出部で算出された視差が前記第2閾値よりも大きい場合、前記副撮像画像と前記主撮像画像のいずれか一方の撮像画像に他方の撮像画像のフォーカス位置を示すフォーカス位置表示を設けて前記表示画像を生成する
請求項4に記載の画像処理装置。 - 前記副撮像画像は前記主撮像画像よりも画角が広く、前記画像合成部は、前記副撮像画像に前記主撮像装置のフォーカス位置を示すフォーカス位置表示を重畳して前記表示画像を生成する
請求項10に記載の画像処理装置。 - 前記視差算出部は、前記副撮像装置で撮像される前記被写体までの距離と前記副撮像装置と前記主撮像装置の初期状態からの動きに基づき前記被写体を前記副撮像装置と前記主撮像装置で撮像するときの視差を算出する
請求項3に記載の画像処理装置。 - 画像視認動作を検出する検出部を備え、
前記画像合成部は、前記検出部で前記表示画像の画像視認動作が検出されたことに応じて前記表示画像を生成する
請求項1に記載の画像処理装置。 - 副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を画像合成部で生成すること
を含む画像処理方法。 - 表示画像の生成をコンピュータで実行させるプログラムであって、
副撮像装置で被写体を撮像して生成された副撮像画像と、前記副撮像装置で遠隔制御される主撮像装置によって前記被写体を撮像して生成された主撮像画像とを合成して表示画像を生成する手順
を前記コンピュータで実行させるプログラム。 - 被写体を撮像する撮像部と、
前記撮像部で撮像される前記被写体までの距離を測定する測距部と、
初期状態からの動きを測定するモーションセンサ部と、
前記測距部で測定された距離と前記モーションセンサ部で測定された動きを示す被写***置情報を主撮像装置へ送信する通信部と、
前記撮像部で生成された副撮像画像と、前記被写***置情報に基づき前記主撮像装置の撮像方向を制御して生成された主撮像画像とを合成して表示画像を生成する画像合成部と、
前記画像合成部で生成された表示画像を表示する表示部と
を備える撮像装置。 - 前記初期状態は前記測距部と前記主撮像装置を対向させた状態であり、前記測距部で測定された前記主撮像装置までの距離と前記主撮像装置の方向を前記動きの基準とする
請求項16に記載の撮像装置。 - 前記表示部をユーザの眼の位置として、前記撮像部をユーザの前方を撮像する位置として、前記測距部を前記ユーザの前方正面に位置する被写体までの距離を測定する位置として、前記表示部と前記撮像部と前記測距部を保持するホールド部をさらに備える
請求項16に記載の撮像装置。 - 画像視認動作を検出する検出部を備え、
前記画像合成部は、前記検出部で前記表示画像の画像視認動作が検出されたことに応じて前記表示画像を生成する
請求項16に記載の画像処理装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019066234A JP2020167517A (ja) | 2019-03-29 | 2019-03-29 | 画像処理装置と画像処理方法とプログラムおよび撮像装置 |
CN202080023002.6A CN113632448A (zh) | 2019-03-29 | 2020-01-07 | 图像处理装置、图像处理方法、程序和成像装置 |
PCT/JP2020/000145 WO2020202683A1 (ja) | 2019-03-29 | 2020-01-07 | 画像処理装置と画像処理方法とプログラムおよび撮像装置 |
US17/441,103 US20220150421A1 (en) | 2019-03-29 | 2020-01-07 | Image processing apparatus, image processing method, program, and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019066234A JP2020167517A (ja) | 2019-03-29 | 2019-03-29 | 画像処理装置と画像処理方法とプログラムおよび撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020167517A true JP2020167517A (ja) | 2020-10-08 |
Family
ID=72668911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019066234A Pending JP2020167517A (ja) | 2019-03-29 | 2019-03-29 | 画像処理装置と画像処理方法とプログラムおよび撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220150421A1 (ja) |
JP (1) | JP2020167517A (ja) |
CN (1) | CN113632448A (ja) |
WO (1) | WO2020202683A1 (ja) |
Family Cites Families (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997003416A1 (en) * | 1995-07-10 | 1997-01-30 | Sarnoff Corporation | Method and system for rendering and combining images |
US7071971B2 (en) * | 1997-08-25 | 2006-07-04 | Elbex Video Ltd. | Apparatus for identifying the scene location viewed via remotely operated television camera |
US6977676B1 (en) * | 1998-07-08 | 2005-12-20 | Canon Kabushiki Kaisha | Camera control system |
JP2000333161A (ja) * | 1999-05-21 | 2000-11-30 | Hitachi Denshi Ltd | 監視用cctvシステム |
US20050007453A1 (en) * | 2003-05-02 | 2005-01-13 | Yavuz Ahiska | Method and system of simultaneously displaying multiple views for video surveillance |
US7527439B1 (en) * | 2004-05-06 | 2009-05-05 | Dumm Mark T | Camera control system and associated pan/tilt head |
US7990422B2 (en) * | 2004-07-19 | 2011-08-02 | Grandeye, Ltd. | Automatically expanding the zoom capability of a wide-angle video camera |
JP2006262030A (ja) * | 2005-03-16 | 2006-09-28 | Fuji Xerox Co Ltd | 画角調整装置、カメラシステムおよび画角調整方法 |
JP4779481B2 (ja) * | 2005-07-19 | 2011-09-28 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
JP4199238B2 (ja) * | 2006-01-11 | 2008-12-17 | パナソニック株式会社 | 撮影システム |
JP4683103B2 (ja) * | 2008-09-22 | 2011-05-11 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
MX2011009681A (es) * | 2009-05-29 | 2012-01-27 | Youngkook Electronics Co Ltd | Aparato de camara de supervision inteligente y sistema de supervision de imagen que implementa el mismo. |
JP5450200B2 (ja) * | 2009-07-17 | 2014-03-26 | 富士フイルム株式会社 | 撮像装置、方法およびプログラム |
KR101078057B1 (ko) * | 2009-09-08 | 2011-10-31 | 주식회사 팬택 | 영상인식기법을 이용한 촬영 제어 기능을 구비한 이동단말 및 영상인식기법을 이용한 촬영 제어 시스템 |
JP5411842B2 (ja) * | 2010-12-07 | 2014-02-12 | シャープ株式会社 | 撮像装置 |
US9124875B2 (en) * | 2012-05-23 | 2015-09-01 | Fujifilm Corporation | Stereoscopic imaging apparatus |
JP6136189B2 (ja) * | 2012-10-22 | 2017-05-31 | 株式会社ニコン | 補助撮像装置および主撮像装置 |
JP6214236B2 (ja) * | 2013-03-05 | 2017-10-18 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
US9581431B1 (en) * | 2014-03-18 | 2017-02-28 | Jeffrey M. Sieracki | Method and system for parallactically synced acquisition of images about common target |
JP6175945B2 (ja) * | 2013-07-05 | 2017-08-09 | ソニー株式会社 | 視線検出装置及び視線検出方法 |
JP5877406B2 (ja) * | 2013-12-06 | 2016-03-08 | パナソニックIpマネジメント株式会社 | 撮像装置及び撮像システム |
US10306165B2 (en) * | 2013-12-06 | 2019-05-28 | Huawei Device Co., Ltd. | Image generating method and dual-lens device |
WO2016016984A1 (ja) * | 2014-07-31 | 2016-02-04 | 日立マクセル株式会社 | 撮像装置およびその被写体追尾方法 |
JP6436802B2 (ja) * | 2015-01-30 | 2018-12-12 | キヤノン株式会社 | 表示制御装置及びその制御方法 |
EP3289430B1 (en) * | 2015-04-27 | 2019-10-23 | Snap-Aid Patents Ltd. | Estimating and using relative head pose and camera field-of-view |
US9743015B2 (en) * | 2015-05-22 | 2017-08-22 | Samsung Electronics Co., Ltd. | Image capturing apparatus and method of controlling the same |
US10586469B2 (en) * | 2015-06-08 | 2020-03-10 | STRIVR Labs, Inc. | Training using virtual reality |
JP2017199972A (ja) * | 2016-04-25 | 2017-11-02 | オリンパス株式会社 | 端末装置、情報取得システム、情報取得方法およびプログラム |
JP6322312B2 (ja) * | 2017-02-21 | 2018-05-09 | オリンパス株式会社 | 画像表示機器及び画像表示機器の表示制御方法 |
JP6838994B2 (ja) * | 2017-02-22 | 2021-03-03 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法およびプログラム |
CN107948519B (zh) * | 2017-11-30 | 2020-03-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置及设备 |
JP7204346B2 (ja) * | 2018-06-05 | 2023-01-16 | キヤノン株式会社 | 情報処理装置、システム、情報処理方法及びプログラム |
-
2019
- 2019-03-29 JP JP2019066234A patent/JP2020167517A/ja active Pending
-
2020
- 2020-01-07 CN CN202080023002.6A patent/CN113632448A/zh active Pending
- 2020-01-07 WO PCT/JP2020/000145 patent/WO2020202683A1/ja active Application Filing
- 2020-01-07 US US17/441,103 patent/US20220150421A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
CN113632448A (zh) | 2021-11-09 |
US20220150421A1 (en) | 2022-05-12 |
WO2020202683A1 (ja) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4293053B2 (ja) | 撮像装置及び方法 | |
JP3788714B2 (ja) | 撮像装置及びデジタルカメラ | |
JP2010136302A (ja) | 撮像装置、撮像方法、およびプログラム | |
CN110612720B (zh) | 信息处理装置、信息处理方法以及可读存储介质 | |
JP2010088085A (ja) | 撮像装置、撮像方法、およびプログラム | |
CN110168605B (zh) | 用于动态范围压缩的视频信号处理装置、视频信号处理方法和计算机可读介质 | |
JP7400802B2 (ja) | 撮像装置、およびスイッチ | |
JP2005328497A (ja) | 撮像装置及び撮像方法 | |
JP2012065113A (ja) | 撮像装置、撮像方法及びプログラム | |
JP2020156814A (ja) | 内視鏡システム、内視鏡制御方法、及び、撮像制御装置 | |
KR20110074022A (ko) | 추적 경로 이미지 생성을 위한 촬영 방법 및 이를 이용한 촬영 장치 | |
WO2020188957A1 (ja) | リモートコントロール装置と撮像制御装置およびその方法 | |
WO2020202683A1 (ja) | 画像処理装置と画像処理方法とプログラムおよび撮像装置 | |
WO2020203167A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5750637B2 (ja) | 撮影装置 | |
US8619119B2 (en) | Digital photographing apparatus | |
JP7160042B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2009044403A (ja) | 撮像装置 | |
JP2013135448A (ja) | 撮像装置 | |
JPWO2018179875A1 (ja) | 撮像装置とフォーカス制御方法およびフォーカス判定方法 | |
JP2015135448A (ja) | フォーカス制御装置、フォーカス制御方法、カメラ装置およびカメラ装置におけるフォーカス制御方法 | |
JP7347499B2 (ja) | 撮像装置、撮像信号処理装置、撮像信号処理方法 | |
JP7444074B2 (ja) | 撮像装置、撮像制御装置、撮像方法 | |
US20230346196A1 (en) | Medical image processing device and medical observation system | |
JP7228190B2 (ja) | 額帯用撮像装置と画像制御方法 |