JP2016534610A - 複数のカメラモジュールを備える写真撮影装置 - Google Patents

複数のカメラモジュールを備える写真撮影装置 Download PDF

Info

Publication number
JP2016534610A
JP2016534610A JP2016530523A JP2016530523A JP2016534610A JP 2016534610 A JP2016534610 A JP 2016534610A JP 2016530523 A JP2016530523 A JP 2016530523A JP 2016530523 A JP2016530523 A JP 2016530523A JP 2016534610 A JP2016534610 A JP 2016534610A
Authority
JP
Japan
Prior art keywords
image
mobile phone
photographic
photography
less
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016530523A
Other languages
English (en)
Inventor
リエージュ,ブルーノ
ギシャール,フレデリク
グェン,ホアン−ファイ
タルシュナ,イメーヌ
ラヴォー,ステファーヌ
ハウザー,ヴォルフ
Original Assignee
ディーエックスオー・ラボ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ディーエックスオー・ラボ filed Critical ディーエックスオー・ラボ
Publication of JP2016534610A publication Critical patent/JP2016534610A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0254Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets comprising one or a plurality of mechanically detachable modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/0202Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026Details of the structure or mounting of specific components
    • H04M1/0264Details of the structure or mounting of specific components for a camera module assembly
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)

Abstract

本発明は、少なくとも3つのカメラモジュール(21、22、23、24、25)であって、各カメラモジュールが、解像度が13メガピクセル以上のセンサ(30)と、5mmから7mmであるセンサの感光面の対角線と、少なくとも1つの焦点距離値に対する最低開口がf/2.0である対物レンズ(40)とを備えるカメラモジュールを備える写真撮影装置であって、それ自体の電源手段(12)も有し、画面(51)を備える携帯電話またはタブレットタイプの装置(50)に剛性コネクタ(15)を介して接続されることも可能で、画像および/またはコマンドを携帯電話またはタブレットタイプの前記装置(50)と通信するための手段も備え、以下の基準:写真撮影装置(10)が携帯電話またはタブレットタイプの装置(50)に接続されていないとき、最小の長方形の平行六面体であって、内部で装置(10)が内接できる平行六面体の高さの最大値、幅の最大値および奥行きの最大値は、65mm未満であり、これらの高さ、幅および奥行きの最小値は、25mm未満であり、前記装置(10)の体積は58000mm3未満であるという基準を満たす寸法も有し、前記センサの1つが撮影した少なくとも1つの画像内のノイズを低減するとともにテクスチャを維持するためのデジタル処理手段も備える、写真撮影装置(10)に関する。【選択図】図10

Description

本発明は、電子機器および写真撮影の分野に関する。
本発明は、さらに詳細には、複数のカメラモジュールを備え、携帯電話またはデジタルタブレットに接続できる写真撮影装置に関する。
以下の文書では、「タブレット」という用語は、プロセッサおよびタッチスクリーンを備えるデジタルタブレットを意味するために使用される。このようなタブレットの一例が、Apple社が販売するiPad(登録商標)、あるいはまた、Samsung社が販売するGalaxy Tab 2(登録商標)である。
本発明による装置は、特に低照明または極めて低照明の状況で、レフタイプまたはDSLR(Digital Single Lens Reflex、デジタル一眼レフ)タイプのカメラの品質と等しい写真撮影の品質を有する。本発明による装置は、極めて小型(常時使用できるように衣服のポケットに入る)で軽量である。本発明による装置は、電話またはタブレットと本発明による装置とを組み合わせたものを保持するために片手または両手を用いて同装置の画面を使用するために、剛性のコネクタを介して携帯電話またはタブレットに装着できるものである。本装置は、例えば被写界深度が大きいなどの新たな特徴も提供する。
よく露出された画像(シーンの反射率が18%であり、撮影された可視画像でダイナミックレンジの中間に達する要素)を極めて低照明の状況で撮影することは、シーンの環境を変更するフラッシュタイプの追加の光源を使用するか、感度の高いセンサおよび開口の広い対物レンズを備えた写真機器を使用して最大量の光を捕らえることが理論上必要であるが、このような機器は非常にかさばるので衣服のポケットには入らない。
いずれの場合でも、これによって、十分短い露出時間を使用して、画像内で動きぶれを制限できると思われる。35mm判換算焦点距離値fに応じて使用できる最大露出時間Tを定義するのに一般的に許容される公式は、T=1/fである(非特許文献1)。
現時点で固定合焦機器の基準と考えられている35mm判換算焦点距離値は、28mmから35mmである。したがって、使用可能な最大露出時間は、1/28秒から1/35秒である。
追加の光源を使用することは、通常望ましくはない。なぜなら、それはシーンの低照明の雰囲気を変えてしまい、それによって写真を撮る個人が体験したシーンを再現できなくなるからである。
高感度のセンサおよび開口の広い対物レンズを備えた写真撮影機器は、一般に、交換可能な対物レンズを備えたレフカメラを指す。
この種の機器は、ノイズが少なく(信号ノイズ比(SNR)が高い)、鮮鋭度およびテクスチャのレベルが高く(SFRエッジおよびSFRテクスチャ値が高い)、ダイナミックレンジが極めて広いという極めて高質の画像を得ることを可能にする。
SNRを計算する際に使用されるようなノイズは、非特許文献2に記載されている「ビジュアルノイズ」から測定したような特徴とすることができる。このノイズの評価により、画像内の輝度およびクロミナンスの変化を同時に考慮することができる。
SFRエッジおよびSFRテクスチャは、鮮鋭度とテクスチャとの2つの測定結果である。この2つの測定結果は、それぞれ「Edge acutance」および「Texture blur」という見出しで同文献に記載されている。
しかしながら、この種の機器は重く扱いにくく、つまり、どのような状況でも常に自分の身の回りに持っておくことはできないということである。
さらに、極めて広い開口の使用と、大きいサイズのセンサの使用とを組み合わせると、被写界深度が小さくなり、フォーカスがさらに困難になる一方で、画像内の鮮鋭要素の数が減るということになる。
レフカメラまたはDSLRカメラタイプの写真撮影機器は先行技術で知られている。この種の機器は、かさばって重いという欠点がある。DSLRカメラは、優良な質の画像(SNRが極めて良好で、テクスチャレベルが極めて良好)を得ることを可能にする。なぜなら、そのセンサのサイズが大きく(対角線が22mm以上)、開口がf/2.0以上の対物レンズを装備できるからである。しかしながら、かさばって重いため、常に身に付けて持ち運ぶことはできない。その上、ほとんどの人にとってその費用は手が出ないものである。
携帯電話またはタブレットに内蔵された写真撮影機器も先行技術で知られている。現時点で販売されているほとんどの携帯電話またはタブレットは、画像およびビデオの撮影システムを内蔵している。それらを使用するため、携帯電話またはタブレットはそれほどかさばらない。つまり、衣服や鞄のポケットに入れてどこにでも持ち運べるということである。しかしながら、それが小型である故に、内蔵型カメラも小サイズである必要がある。したがって、センサは小サイズであり、センサの対角線は一般に7mm未満であり、光学系も小さく、その開口は最大でf/2.0である。センサが小サイズであることは、感度は低いが被写界深度は大きくなるということであり、これはすべてレフカメラまたはDSLRカメラと比較してのことである。光学系は小サイズである必要があるため、その開口は小さくなる。したがって、電話またはタブレットに組み込まれたカメラは、極めて低照明のシーンを満足に記録できる可能性が低くなる。この機器で見られる露出時間は、これらの条件下で約1/15秒である。これは、上記で定義した最大時間よりも長く、これによって写真を動きぶれなしで撮ることができる。したがって、デフォルトで、低照明の状況では、電話またはタブレットは、動きぶれなしで撮像するためにフラッシュを使用する傾向がある。高解像度のビデオ録画の場合(HD1080p以上のビデオフォーマット)、この1/15秒の露出時間は、少なくとも毎秒24画像のリフレッシュレートとは相容れない。
クリップオンカメラタイプの装置も先行技術から知られている。携帯電話にほとんど計画的にカメラが装備される以前は、メーカーによっては、電話に接続する外付けカメラモジュールを提供するところがあった。これらのモジュールは、光学ビューファインダ、VGAカメラおよびフラッシュを内蔵していた。これらによって電話にカメラ機能を追加できたが、写真を低照明状態で高解像度で撮ることはできなかった。
アクションカメラタイプの装置、例えばGoPro(登録商標)が販売する装置なども先行技術から知られている。これらの装置は、電話またはタブレットに強固に接続されるようになってはいないが、どこにでも持ち運べるようにはなっていない。アクションカメラタイプの装置は、主にいわゆるスポーツ環境でビデオを撮ることを想定した装置である。これらの装置は、ケースとともに使用するように設計されている。低照明状態で高解像度の静止画像を撮像するように最適化されてはいない。その制御画面から遠隔操作するように設計されている。
無線装置を介して電話またはタブレットに接続された監視カメラタイプの装置も先行技術で知られている。これらの装置は、固定箇所に設置したままにしておくように想定され、電話またはタブレットは、遠隔から監視するためだけに使用される。同装置は、電話またはタブレットに物理的に装着されてはいないため、手に持って使用することはできない。
マトリクスカメラを使用する写真撮影システムも先行技術で知られている。例として、以下の会社が販売するシステムを挙げることができる:Lytro、Pelican、RaytrixおよびToshiba(登録商標)。これらのシステムは、重大な欠点がある。例えば、Lytroのシステムは、低解像度の出力(1MPまたはメガピクセル)であり、最終画像を得るために撮像後の処理を必要とする。Pelicanのシステムは、複数(16)の低解像度モノクロセンサを有する。Raytrixのシステムは、極めてかさばり、コンピュータに接続する必要がある。これらは中位の解像度(3メガピクセル)で、極めて高コストで、大衆に広く利用できるものではない。最後に、Toshibaのシステムは、主に距離を検出する(3Dの推定)ように設計され、高解像度の画像を出力するようには設計されていない。
Xiao,F.Pincenti J.,John G.and Johnson K.,"Camera motion and mobile imaging",Proceeding of Electronic Imaging(2007) D.Baxter,F.Cao,H.Eliasson,J.Phillips.Development of I3A CPIQ spatial metrics.SPIE Conference on Electronic Imaging 2012 Robert D.Fiete,"Modeling the Imaging Chain of Digital Cameras",SPIE Tutorial Text Vol.TT92 A.Buades,B.Coll and J.Morel(2005b),‘A review of image denoising algorithms,with a new one’,Multiscale Model.Simul.4,490−530 A.Buades,B.Coll and J.Morel(2008b),‘Nonlocal image and movie denoising’,Internat.J.Computer Vision 76,123−139 K.Dabov,A.Foi,V.Katkovnik and K.Egiazarian(2007),‘Image denoising by sparse 3D transform−domain collaborative filtering’,IEEE Trans.Image Processing 16,2080−2095 K.Dabov,A.Foi,V.Katkovnik and K.Egiazarian(2009),BM3D image denoising with shape−adaptive principal component analysis.In Proc.Workshop on Signal Processing With Adaptive Sparse Structured Representations:SPARS 09,volume 49 Li Zhang,Sundeep Vaddadi,Hailin Jin,and Shree Nayar,Multiple View Image Denoising,In IEEE Computer Society Conference on Computer Vision and Pattern Recognition,June 2009 A.Buades,Y.Lou,J.M Morel,Z.Tang,A note on multi−image denoising,Local and Non−Local Approximation in Image Processing,LNLA 2009,pp:1−15,2009 Jeong−A Im,Dae−Woong Kim*,and Ki−Sang Hong,Digital video stabilization algorithm for CMOS image sensor in Image Processing,2006 IEEE International Conference on Greenleaf,Allen R.,Photographic Optics,The MacMillan Company,New York,1950,pp.25−27 Levoy,M.(2006).Light fields and computational imaging.Computer,39(8),46−55
したがって、本発明が対処する問題は、極めて低照明状態で、高解像度(13Mpix以上)の可視画像と、交換可能な対物レンズレフ(DSLR)カメラを使用して得られるものと同様またはそれ以上の画質とを提供すると同時に、かさばらずに軽量で、例えば(衣服や鞄の)ポケットに入れられる写真撮影装置を作製することである。
本発明の意味の範囲内では、低照明の環境とは、10ルクスを下回るシーンの照明であると理解する。
本発明の意味の範囲内では、生画像とは、デモザイキング動作の前、かつカラーマトリクスおよびトーンカーブを適用する前にセンサから得られた画像に付けた名前である。生画像は、様々な色のピクセルで構成され、Bayerフォーマット(例えば、偶数列に緑と赤のピクセルが交互に並び、奇数列に青と緑のピクセルが交互に並んでいる)または何らかの他のフォーマット(例えば白および/または緑および/または赤および/または青のピクセルからなる他の組み合わせ)であってよい。1つの別の形態では、生画像は、複数の、とりわけ4つの連続して撮影された生画像、または一連の生画像で構成されたビデオシーケンスで構成される。
本発明の意味の範囲内では、可視画像とは、カラー画像(YUV、RGBまたはその他の符号化規格を用いたもので、圧縮されていてもされていなくてもよい)に付けた名前である。可視画像は、生画像のデジタル処理によって得られ、デモザイキングの動作ならびにカラーマトリクスおよびトーンカーブの適用を最小限含む。
可視画像を得るための生画像のデジタル処理は、一般に、以下のステップの全部または一部を必要とする。
− 黒化
− 欠陥ピクセルの補正
− 統計の計算、および露出、ホワイトバランスおよびオートフォーカスの推定
− 口径食およびカラー口径食の補正
− ホワイトバランスの補正
− 生画像を空間的にフィルタリングすることによるノイズの低減
− 生画像を時間的にフィルタリングすることによるノイズの低減
− デモザイキング
− カラーマトリクス
− トーンカーブ
− YUVマトリクス
− 鮮鋭度フィルタ
− カラーフリンジ低減フィルタ
− 可視画像を空間的にフィルタリングすることによるノイズの低減
− 可視画像を時間的にフィルタリングすることによるノイズの低減
− 別々に露出された画像を組み合わせることによるダイナミックレンジの増大
− 局所コントラストアルゴリズム(ローカルトーンマッピング)によるコントラストの増大。
これらのステップは、当業者には公知であり、とりわけ非特許文献3に記載されている。
以下のパラメータは、本発明による装置を設計する際に考慮されたものである。
・ L:シーンを照明するのに必要な光の量
・ D:寸法;および
・ C:コスト
本発明で望ましいのは、パラメータLを最大にし、パラメータDおよびCを最小にすることである。
このようにするために、最も広義に許容される意味では、本発明は、少なくとも3つのカメラモジュールであって、各カメラモジュールが、解像度が13メガピクセル以上のセンサと、5mmから7mmであるセンサの感光面の対角線と、少なくとも1つの焦点距離値に対する最低開口がf/2.0である対物レンズとを備えるカメラモジュールを備える写真撮影装置であって、それ自体の電源手段も有し、画面を備える携帯電話またはタブレットタイプの装置に剛性コネクタを介して接続することも可能で、画像および/またはコマンドを携帯電話またはタブレットタイプの前記装置と通信するための手段も備え、以下の基準:写真撮影装置が携帯電話またはタブレットタイプの装置に接続されていないとき、最小の長方形の平行六面体であって、内部で装置が内接できる平行六面体の高さの最大値、幅の最大値および奥行きの最大値は、65mm未満であり、これらの高さ、幅および奥行きの最小値は、25mm未満であり、前記装置の体積は65000mm3未満であるという基準を満たす寸法も有し、前記センサの1つが撮影した少なくとも1つの画像内のノイズを低減するとともにテクスチャを維持するためのデジタル処理手段も備える、写真撮影装置に関する。
そのため、本発明による写真撮影装置は、低照明状態で高画質を有する。つまり、被写体に対して、最終のダイナミックレンジでの露出が平均的で、細部およびテクスチャが維持されてノイズレベルが低い。
装置の対物レンズの開口がより大きく、装置が有する複数のセンサの感度が、携帯電話またはタブレットタイプの前記装置の対物レンズおよびセンサと同等またはそれ以上であるため、かつ、オンボードでの画像処理により、写真撮影装置は、携帯電話またはタブレットタイプの前記装置よりも高い光感度を有する。
1つの実施形態によれば、前記装置は、センサを用いて撮影したP×N個の画像の空間的合体および時間的合体によって、解像度が前記センサの解像度と同一である画像を生成できる計算手段を備えるデジタル処理手段を備え、この場合のPおよびNはゼロ以外の自然数であり、Nはカメラモジュールの数を表し、3以上である。
有利には、前記装置は、少なくとも13メガピクセルの可視画像を生成するために、自律的に実装され、かつ/または前記携帯電話もしくは前記タブレットに内蔵された手段と組み合わされた手段であって、可視画像は、撮影されるシーンでの反射率が18%である要素を有するように露出され、その要素は可視画像でダイナミックレンジの中間に達し、ダイナミックレンジの中間でのSNR(信号ノイズ比)が35.5dB以上であり、SFRエッジとSFRテクスチャとの値は、10ルクス以下の照明レベルで照明されたシーンの1/30秒以下の露出時間で画像撮影したものを元に、10%未満の差があり、ナイキスト周波数の4分の1で120%以下であり、ナイキスト周波数の半分で50%以上である、手段を備える。
これらの手段により、本発明による装置は、10ルクス以下で照明されたシーンに対してリフレッシュレートが毎秒30画像以上の高解像度のビデオ(ビデオフォーマットがHD1080pまたはそれ以上)を録画することができ、ビデオの各フレームは、録画されるシーンでの反射率が18%である要素を有するように露出され、その要素はビデオ録画でダイナミックレンジの半分に達し、ダイナミックレンジの中間でのSNRが35.5dB以上であり、SFRエッジとSFRテクスチャとの値は、10%未満の差があり、ナイキスト周波数の4分の1で120%以下であり、ナイキスト周波数の半分で50%以上である。
有利には、前記合体は、まず空間平面で実施され、その後、時間平面で実施される。
1つの実施形態によれば、前記カメラモジュールは一直線に配置され、その数Nは3である。
もう1つの実施形態によれば、前記カメラモジュールは十字に配置され、その数Nは5である。
好ましくは、いくつかの前記カメラモジュールは、カラーセンサを使用するが、残りのカメラモジュールは、モノクロセンサを使用する。
これによってより多くの光を捕らえることができる。
好ましくは、写真撮影装置は、画像のプレビューまたはポストビューができる画面がない。
画面がないことは、装置のサイズおよびコストを抑えられるということである。
1つの実施形態によれば、画像および/またはコマンドを携帯電話またはタブレットタイプの前記装置と通信するための前記手段は、前記写真撮影装置で取得した画像を携帯電話またはタブレットタイプの前記装置の画面上でプレビューするのを可能にする。
有利には、画像および/またはコマンドを携帯電話またはタブレットタイプの前記装置と通信するための前記手段は、携帯電話またはタブレットタイプの前記装置の画面を用いて前記写真撮影装置を制御するのを可能にする。
好ましくは、画像および/またはコマンドを携帯電話またはタブレットタイプの前記装置と通信するための前記手段は、携帯電話またはタブレットタイプの前記装置の画面を用いて前記写真撮影装置のパラメータを設定するのを可能にする。
有利には、前記装置は、前記合体を考慮に入れるノイズ低減手段を備える。
1つの実施形態によれば、合体に用いられる前記計算手段は、携帯電話またはタブレットタイプの装置に遠隔から収容される。
1つの別の形態によれば、前記装置はさらに、デジタル処理動作が実施された後の可視画像の記録に加えて、またはその代わりに、生画像を記録する手段を備える。
1つの実施形態によれば、前記写真撮影装置の前記剛性コネクタは、前記装置に対する向きを変えられるヒンジ内に設置される。
好ましくは、前記写真撮影装置は、デジタル画像の安定化を可能にする画像処理手段を備える。
1つの別の形態によれば、前記写真撮影装置は、写真撮影および/または映像撮影される対象物の鮮鋭度を最大にするためのオートフォーカス機能を用いる。
1つの実施形態によれば、オートフォーカス機能は、対象の物体を恒久的にフォーカスしたままになるように連続的に動作する。
これにより、写真を撮る間の待ち時間を短縮することが可能になる。
1つの実施形態によれば、前記装置は、カメラモジュールから取得された画像の空間的合体のパラメータを修正することによって、画像の被写界深度を小さくし、撮像後の最初の被写界深度範囲内でフォーカスを調整することを可能にする手段を備える。
1つの実施形態によれば、前記装置は、別々の露出で撮像するようにいくつかの前記カメラモジュールを別々に露出するための手段を備える。そのため、空間的合体は、露出不足のカメラモジュールで撮影された画像からの高光度のデータを維持する一方で、露出過度のカメラモジュールで撮影された画像からの低光度のデータを維持するように設定される。この情報はその後、高ダイナミックレンジ(HDR)の画像を作成するために組み入れられる。
1つの実施形態によれば、前記装置は、記録を開始するためのボタンを備える。
このボタンは、写真の撮影を開始するため、またはビデオ録画の開始を始めるために使用される。
1つの実施形態によれば、前記記録を開始するためのボタンは、半押しと全押しとの2つの動作モードを有する。
好ましくは、前記装置は、プログラム可能なプロセッサを備える。
1つの実施形態によれば、前記装置は、少なくとも1つの生画像を携帯電話またはタブレットタイプの前記装置に少なくとも1つの動作モードで伝送するための手段を備える。
本発明は、上記の写真撮影装置を使用する写真撮影方法であって、1/30秒以下で10ルクス以下の照明を含むシーンを撮影するステップと、13メガピクセルよりも高い質の可視画像を生成するステップとを含み、前記画像は、撮影されるシーンでの反射率が18%である要素を有するように露出され、その要素はダイナミックレンジの中間に達し、ダイナミックレンジの中間でのSNRが35.5dB以上であり、SFRエッジとSFRテクスチャとの値は、10%未満の差があり、ナイキスト周波数の4分の1で120%以下であり、ナイキスト周波数の半分で50%以上である、方法にも関する。
本発明は、純粋に説明として以下に挙げた本発明の1つの実施形態についての説明を、図面を参照して読むことでよりよく理解されるであろう。
5つのカメラモジュールを十字に配置した本発明による写真撮影装置を示す図である。 カメラモジュールを3つ一直線に配置した本発明による写真撮影装置を示す図である。 本発明の1つの実施形態による写真撮影装置および最新の携帯電話に対して、照明に応じたダイナミックレンジの中間での信号ノイズ比を示す図である。 携帯電話タイプの装置に接続された本発明による装置を示す図である。 デジタルタブレットタイプの装置に接続された本発明による装置を示す図である。 携帯電話タイプの装置に接続された本発明による装置の背面図である。 デジタルタブレットタイプの装置に接続された本発明による装置の背面図である。 センサおよび光学ユニットを備えるカメラモジュールを示す図である。 電話/タブレットタイプの装置に接続された本発明による写真撮影装置が人に保持されている図である。 電話/タブレットタイプの装置に接続された本発明による写真撮影装置が手で保持され、電話/タブレットタイプの装置の画面にプレビューがある図である。 カラーセンサの分光感度を示す図である。 ブラックセンサおよびホワイトセンサの分光感度を示す図である。 電話/タブレットタイプの装置に接続された写真撮影装置の図であり、寸法が10×10×10mmである5つのカメラモジュールであって、各カメラモジュールが対物レンズおよびセンサを備えるカメラモジュールと、デジタル処理を含むプリント回路と、バッテリと、コネクタとを備える本発明による写真撮影装置の1つの実施形態の分解図である。 丸石の形態である一実施形態における本発明による写真撮影装置の図である。 「lightning」タイプのコネクタを介してiPhoneタイプ(Apple社の登録商標)の装置に接続された一実施形態における本発明による写真撮影装置の図である。 マイクロUSBタイプのコネクタを介して携帯電話に接続された一実施形態における本発明による写真撮影装置の図である。 ヒンジシステムにある本発明による写真撮影装置のコネクタの図である。 ヒンジ内で回転したコネクタの図である。 丸石が閉じた形状の一実施形態における本発明による写真撮影装置の図である。 丸石が開いた形状の一実施形態における本発明による写真撮影装置の図である。 本装置がコネクタを保護するための取り外し可能なキャップを備えている一実施形態を示す図である。 剛性コネクタが本発明による写真撮影装置内のヒンジに設置されている一実施形態を示す図である。 剛性コネクタが本発明による写真撮影装置内のヒンジに設置されている一実施形態を示す図である。
本発明は、複数のカメラモジュール21、22、23、24、25を備える写真撮影装置であって、各カメラモジュールが、解像度が13メガピクセル以上であるセンサ30と、寸法が5mmから7mmであるセンサの感光面の対角線と、少なくとも1つの焦点距離値に対して最低でf/2.0まで開口する対物レンズ40とを備えている写真撮影装置10に関する。写真撮影装置10は、剛性コネクタ15を介して、画面を備える携帯電話またはタブレットタイプの装置50に接続可能である。本発明による写真撮影装置はさらに、それ自体の電源手段12を有し、画像および/またはコマンドを携帯電話またはタブレットタイプの前記装置に通信するための手段を備える。さらに、本装置は、前記センサの1つが撮影した少なくとも1つの画像内のノイズを低減するとともにテクスチャを維持するためのデジタル処理手段14を有する。
本発明による写真撮影装置10は、ノイズを低減するとともにテクスチャを維持するためのデジタル処理手段を備える。図10は、電話/タブレットタイプの装置に接続された写真撮影装置を示し、寸法が10×10×10mmである5つのカメラモジュールであって、各カメラモジュールが対物レンズ40およびセンサ30を備えるカメラモジュールと、デジタル処理手段14を含むプリント回路と、バッテリ12とコネクタ15とを備える本発明による写真撮影装置の1つの実施形態の分解図である。
ノイズを低減するとともにテクスチャを維持するためのこれらのデジタル処理手段14は、非特許文献4もしくは非特許文献5に記載されているようなローカル以外で平均値を計算するタイプのもの、または「ブロックマッチング3D」の計算タイプのもので、非特許文献6もしくは非特許文献7に記載されているようなものであってよい。
前記デジタル処理手段は、センサを用いて撮影したP×N個の画像の空間的合体および時間的合体によって、解像度が前記センサの解像度と同一である画像を生成できる計算手段を備え、この場合のPおよびNはゼロ以外の自然数であり、Nはカメラモジュールの数を表し、3以上である。
前記装置10は、前記合体を考慮するノイズ低減手段を備えていることが好ましい。
1つの実施形態では、前記合体は、まず空間平面で実施されてから、時間平面で実施される。
装置の全カメラモジュールによって同時に撮影されたN個の画像の空間的合体は、非特許文献8に記載されているようなものであってよい。
空間的合体の出力として連続的に得られたP個の画像の時間的合体は、非特許文献9に記載されているようなものであってよい。
M=P×N個の画像の合体により、絞りのゲイン
Figure 2016534610
が可能になる。絞りが得られるたびにSNRでは3dBが得られる。そのため、カメラモジュールの感知面の対角線の寸法が6mmである5つのセンサであって、各センサの体積が1cm3であるセンサを用いる一実施形態によれば、N=5の画像の空間的合体およびP=4の画像の時間的合体で7.5dBのゲインが得られ、本発明による装置のサイズを縮小することが可能になる。実際、その際に得られる感度は、対角線の測定値が約32mmである単一のセンサの感度と同等(すなわち、センサおよび対物レンズは、xおよびyの寸法が本発明のカメラモジュールの5倍)であり、これは、同じ被写界(すなわちz方向の大きさが4倍)を得るために焦点距離の長さが4倍である対物レンズを必要とする。低照明の状態で同じ性能を得るためには、光学モジュール(センサ+対物レンズ)は、同じ感度に対して約13倍かさばることになり(5cm3ではなくおよそ64cm3)、装置をポケットに入れることはできなくなる。
有利には、時間的合体は、「ゴースト防止」機構として知られているものを使用し、この機構は、異なる画像要素どうしを区別することを可能にし、このようにしてこれらの画像要素が合体するのを避ける。時間的合体は、デモザイキングの前またはデモザイキングの後に画像上で実施されてよい。
有利には、1つのカメラモジュールの中心と、その最も近くにある隣のカメラモジュールの中心との間の隔たりは11mm未満である。カメラモジュールの対物レンズの35mm判換算焦点距離が28mmのとき、このことは、装置から15cmを超えて位置している物体の場合、各々のカメラモジュールで撮影された画像どうしの相違は、各センサで撮影された画像の幅の10%未満の値に限定できるということを意味する。その結果、これによってこれらの画像のよりよい空間的合体が可能になる。
図1は、本発明による写真撮影装置10を示し、前記カメラモジュール21、22、23、24、25が十字に配置され、同カメラモジュールの数Nが5である一実施形態を示している。
図2は、本発明による写真撮影装置10を示し、前記カメラモジュール21、22、23が一直線に配置され、同カメラモジュールの数Nが3である一実施形態を示している。
1つの実施形態によれば、ノイズを低減するとともにテクスチャを維持するための前記デジタル処理手段は、少なくとも部分的に携帯電話またはタブレットタイプの装置に遠隔から収容される。この実施形態では、ビデオ録画用のビデオのデジタル処理のプレビュー(写真撮影前のビデオ表示で、視野を定めるためのもの)およびデジタル処理は、装置内で実施される。この実施形態では、静止画像処理は以下のように実施される。好ましくは、1つ以上の連続する生画像は携帯電話またはタブレットに伝送され、携帯電話またはタブレットは生画像を可視画像に変換し、これにはノイズ低減処理、例えば複数の画像の空間的合体および/または時間的合体、ならびに/またはテクスチャを維持した空間ノイズの低減が伴う。
代替案として、例えば様々なセンサによって撮影された生画像の空間的合体や、生画像を少なくとも2つの画像の可視画像に変換することなどの処理動作が装置内で実施され、例えば複数の画像の時間的合体および/またはテクスチャを維持した空間的なノイズ除去などのノイズを低減する後処理動作は、電話またはタブレットで実施される。
代替案として、1つ以上の連続する生画像または可視画像は、パーソナルコンピュータまたはサーバに伝送され、パーソナルコンピュータまたはサーバは、ノイズ低減処理動作を実行し、必要に応じて生画像を可視画像に変換する。
ノイズ低減処理は、センサのゲインに応じて事前に設定されるか、あるいはユーザの設定(ノイズ除去レベル、ホワイトバランス、コントラストなど)を計算に入れるパラメータを用いて自動的に実行されてよい。
電話またはタブレット内での処理は、主要プロセッサ上のソフトウェアによって、かつ/またはグラフィックプロセッサ上のソフトウェアによって、かつ/または画像処理に適した有線の計算手段もしくはプログラム可能な計算手段を備える構成要素を用いて実行されてよい。
代替形態では、前記装置により、デジタル処理を受けた可視画像の記録に加えて、またはその代わりに、生画像を記録することが可能になる。その際、装置のユーザは、自身が選択したデジタル処理を記録済みの生画像に適用できるようになる。ユーザは、例えば空間的合体および時間的合体を適用することができるようになり、装置に適用された画像よりも画像が多くまたは少なくなる。
図8は、カラーセンサの分光感度を示し、図9は、ブラックセンサおよびホワイトセンサの分光感度を示している。
有利には、前記カメラモジュールのいくつかはカラーセンサを使用し、それ以外はモノクロセンサを使用する。モノクロセンサは、感度がカラーセンサの少なくとも3倍である。なぜなら、モノクロセンサの各々のピクセルは可視光線のスペクトル帯域(390〜700nm)全体にわたって光子を収集するのに対し、カラーセンサの場合、各ピクセルは、センサが記録する色に対応するスペクトル帯域の光子のみを収集するからである。これを図8および図9に示している。カラーフィルタの存在は、この同じスペクトル帯域での吸収低減にもつながる。したがって、モノクロセンサの各ピクセルは、カラーセンサのピクセルよりも多くの光を捕らえる。
図は、1つの実施形態では、本発明による写真撮影装置10が記録を開始するためのボタン17を備えていることも示している。
本発明による写真撮影装置10は、以下の基準を満たす寸法を有する。最小の長方形の平行六面体であって、内部で前記装置10が内接できる平行六面体の高さの最大値、幅の最大値および奥行きの最大値は、65mm未満でなければならず、これらの高さ、幅および奥行きの最小値は、25mm未満でなければならず、装置の体積は、65000mm3未満でなければならない。そのため、装置は鞄のポケットまたは衣服のポケットに容易に入る。これによってユーザは、極めて低照明状態で写真を撮ることができる高質のデジタルレフカメラである写真撮影装置を常に自分の手元に有することができ、これは特に、室内での写真撮影またはとりわけ子どもが動いているシーン向けに使用できるものである。この体積およびこれらの寸法内には、例えば図10に示したように、5つのカメラモジュールであって、各カメラモジュールの寸法が約1cm3で、各カメラモジュールが、感知面の対角線が6mmで、対物レンズの開口がf/2.0で、35mm判換算焦点距離が28mmであるセンサを備える、カメラモジュールと、本発明によるノイズを低減するとともにテクスチャを維持するデジタル処理手段および通信手段を備える電子機器(電子機器はおよそ10cm3)と、バッテリ(リチウムポリマー技術を用いる5Whの場合はおよそ15cm3)と、剛性コネクタ(ヒンジ装置を含めておよそ1cm3)と、および機械構造(およそ10cm3)とを収容することが可能である。
図4Aは、1つの実施形態における携帯電話タイプの装置50に接続された本発明による写真撮影装置10を示している。図4Bは、1つの実施形態におけるデジタルタブレットタイプの装置50に接続された本発明による写真撮影装置10を示している。この携帯電話またはタブレットタイプの装置50は、画面51を備える。本発明による写真撮影装置10は、携帯電話またはタブレットタイプの前記装置50に強固に接続される。これは、可撓性ケーブルを使用する接続ではなく、むしろBluetooth(登録商標)、Wi−FiまたはNFCタイプの無線接続である。
図4Cおよび図4Dは、携帯電話タイプの装置およびデジタルタブレットタイプの装置にそれぞれ接続された本発明による装置の背面図である。
強固な接続は、多くの形態を採用してよい。
・ 本発明による装置に固定され、電話またはタブレットに付属の対応するコネクタに差し込まれる固定コネクタ、および/または
・ 本発明による装置に固定され、ユーザが調節可能な方向でカメラの焦点を合わせられるように回転でき、電話またはタブレットに付属の対応するコネクタに差し込まれる固定コネクタ、および/または
・ 例えばクリップを用いた機械的装着具。
・ コネクタは、USB、マイクロUSB、lightningまたは何らかの他の形態のコネクタとすることができる。
・ コネクタは、プレビュー段階(写真撮影前のビデオ表示で、視野を定められるもの)、および/またはビデオ記録過程および/または静止画像が撮影された後に、電話またはタブレットに画像を送ることができ、かつ/または電話からまたはタブレットから本発明による装置へコマンドを送ることができる。
強固な接続15は、写真撮影装置10と携帯電話またはタブレットタイプの装置50とのアセンブリを片手で保持して、携帯電話またはタブレットタイプの装置50を保持することを可能にする。強固な接続は、写真撮影装置10および携帯電話またはタブレットタイプの装置50を両手で保持し、片手で携帯電話またはタブレットタイプの装置50を保持し、片手で写真撮影装置10の写真撮影ボタン17を押すことを可能にする。この強固な接続がなければ、片手に持ったカメラおよびもう片方の手で持った電話またはタブレットを用いて視野を定め、写真撮影することは極めて困難になる。
図5は、センサおよび光学ユニットを備えるカメラモジュールを示している。
図6は、この実施形態で本発明による写真撮影装置が人の手で保持されている図である。
強固な接続により、本発明による装置および電話またはタブレットを機械的に一つに固定でき、以下のために要求される電気信号を通すこともできる。
− 本発明による装置から電話またはタブレットへ画像を伝送して電話の画面またはタブレットの画面上で画像をプレビューするためであり、これらの画像をプログラム実行中に圧縮・復元して、電話またはタブレットと互換性のある、例えばH264またはH265/CHVCなどのフォーマット向けにビットレートを低減することが可能であり、かつ/または
− 電話またはタブレットから本発明による装置へ、コマンドおよび/または制御、とりわけ、
・ 写真を撮るためのコマンド:静止画像の撮影、ビデオ録画の開始/停止、
・ 解像度の選択、
・ 露出の選択:開口、露出時間、センサの感度、モード(開口を優先、露出時間を優先、感度を優先、手動、自動など)
・ ホワイトバランスの設定、
・ オートフォーカス設定(無効化、対象領域の選択など)、
・ 画像安定性の設定、
・ シーンの種類の選択:自動、景色、肖像など、
・ その他のカメラ設定、
を伝送するためであり、かつ/または
− 本発明による装置から電話またはタブレットへ、コマンドおよび/または制御、とりわけ、
・ 写真を撮影するためのコマンド、または本発明による装置にあり、携帯電話またはタブレットのアプリケーションに作用できるその他のコマンド、
・ シーンに関するデータであって、本発明による装置によって携帯電話またはタブレットに提供される画像に関する統計を元に、本発明による装置によって、かつ/または携帯電話によって、またはタブレットによって計算されたデータ、例えばホワイトバランスによって判定された光源、露出(露出時間、感度、ゲイン)、露出不足の警告、動きの警告、顔の存在および位置、シーンの種類など
を伝送するため。
1つの実施形態によれば、画像および/またはコマンドを携帯電話またはタブレットタイプの前記装置50に通信する手段13により、前記写真撮影装置10によって撮影された画像を携帯電話またはタブレットタイプの前記装置50の画面51上でプレビューすることができる。そのため、ユーザは、本発明による装置が大画面のない小サイズでポケットに入れられるとしても、大画面の利点を享受できる。
図7は、携帯電話タイプの装置の画面上でのシーンのプレビューを示している。
1つの実施形態では、これらの手段13により、前記写真撮影装置10を携帯電話またはタブレットタイプの前記装置50の画面51を介して制御できる。そのため、ユーザは、本発明による装置がボタン数の少ない小サイズでポケットに入れられるとしても、多数のコマンドおよび設定の利点を享受する可能性がある。
1つの実施形態では、これらの手段13により、携帯電話またはタブレットタイプの前記装置50の画面51を用いて前記写真撮影装置10のパラメータを設定できる。そのため、ユーザは、本発明による装置がボタン数の少ない小サイズでポケットに入れられるとしても、複数のコマンドおよび設定の利点を享受できる。
1つの実施形態では、携帯電話またはタブレットタイプの装置50は、次の3つのオペレーティングシステムのうちの1つを有する:Android、iOSまたはWindows Phone(登録商標)。携帯電話またはタブレットタイプの前記装置50の画面51を用いるための本発明による前記写真撮影装置10の手段13は、携帯電話またはタブレットの上記3つのオペレーティングシステムで動作する能力がある。
1つの実施形態では、前記装置10は、プログラム可能なプロセッサ60を備えている。
図3は、本発明の1つの実施形態による写真撮影装置および露出時間1/30秒の場合の現在の携帯電話またはタブレットに対する光に応じた信号ノイズ比を示すグラフである。
本発明による写真撮影装置10は、低照明状態で高画質であり、とりわけ、ダイナミックレンジの中間点に達する撮影シーンで反射率が18%である要素を有するように露出された可視画像で測定した場合に、ノイズレベルが低減され、
・ 100ルクスのシーンでは、ダイナミックレンジの中間での信号ノイズ比(SNR)は、本発明による写真撮影装置10の場合は約45.5dBであり、現在の電話またはタブレットの場合は約29dBであり、
・ 25ルクスのシーンでは、信号ノイズ比は、本発明による写真撮影装置10の場合は約39.5dBであり、現在の電話またはタブレットの場合は約23dBであり、
・ 10ルクスのシーンでは、信号ノイズ比は、本発明による写真撮影装置10の場合は約35.5dBであり、現在の電話またはタブレットの場合は約19dBである。
本装置と現在の電話またはタブレットとの間にある16.5dBのゲインは、以下のように分解できる。
・ センサの感度がより高い:現在の電話またはタブレットはRGBセンサを使用しており、このセンサの感光面の対角線の測定値は7mm未満である;写真撮影装置10はRGBセンサとモノクロセンサとの両方を使用しており、モノクロセンサの感度の方が3倍高い。センサ全体でピクセル数が同じ場合、ゲインは約3dBになる。
・ 20枚の画像の空間的合体および時間的合体:ゲインは絞り4.5、すなわち13.5dBである。
図11は、丸石の形態である一実施形態における本発明による写真撮影装置を示している。この形状でポケットに滑り込ませやすくなる。
図12は、lightningタイプのコネクタを介してiPhone(Apple社の登録商標)装置に接続された一実施形態における本発明による写真撮影装置を示している。このように、lightningタイプのコネクタは、その剛性コネクタとしての通常の通信機能に加えて使用され、これによって、電話またはタブレットおよび本発明による装置を機械的に一つに固定して、前述したように保持しやすく、写真撮影しやすくする。
図13は、マイクロUSBタイプのコネクタを介してAndroidオペレーティングシステムで動作している電話またはタブレットに接続された一実施形態における本発明による写真撮影装置を示している。このように、マイクロUSBコネクタは、その剛性コネクタとしての通常の通信機能に加えて使用され、これによって、電話またはタブレットおよび本発明による装置を機械的に一つに固定して、前述したように保持しやすく、写真撮影しやすくする。
図14Aは、ヒンジシステムにある本発明による写真撮影装置のコネクタを示している。このように、ユーザは、本発明による装置のサイズが小さくポケットに入れられるとしても、方向変換可能な画面の利点を享受でき、これによって例えば自身の顔の高さよりも上で自身の腕を用いて水平に焦点を合わせて写真を撮ることが可能になる。
図14Bは、ヒンジ内で回転したコネクタを示している。
図18Aおよび図18Bは、剛性コネクタが装置10内部のヒンジに設置されている一実施形態を示している。このヒンジにより、装置10をコネクタ周りに回動させ、装置10の向きを携帯電話またはタブレットタイプの装置50に対して変更することができる。そのため、ユーザは、本発明による装置のサイズが小さくポケットに入れられるとしても、方向変換可能な画面の利点を享受でき、これによって例えば自身の顔の高さよりも上で自身の腕を用いて水平に焦点を合わせて写真を撮ることが可能になる。
図15は、丸石が閉じた形状である一実施形態における本発明による写真撮影装置を示している。この形状で、コネクタを保護した状態でポケットに滑り込ませやすくなる。
図16は、丸石が開いた形状の一実施形態における本発明による写真撮影装置を示している。この形状により、携帯電話またはタブレットタイプの装置50にコネクタを挿入するためにコネクタにアクセスできる。
図10は、寸法が10×10×10mmである5つのカメラモジュールであって、各カメラモジュールが対物レンズおよびセンサを備えるカメラモジュールと、デジタル処理を含むプリント回路と、バッテリと、コネクタとを備える本発明による写真撮影装置の1つの実施形態の分解図である。
図16は、1つの実施形態によれば、記録を開始するためのボタン16が押されるときに沿う軸が、剛性コネクタ15の軸および装置を保持するのに使用される装置10の点を含む平面内に位置していることを示している。したがって本装置は、手で保持しやすく、本発明による装置と携帯電話またはタブレットとによって形成されたアセンブリをしっかりと保持して写真を撮って、動きぶれを軽減できる。
1つの実施形態では、本発明による前記写真撮影装置は、記録を開始するためのボタン16を備えている。
この記録を開始するためのボタン16は、図16に示されている。
ボタンは、写真の撮影を開始するため、またはビデオ録画の開始を始めるために使用される。
1つの実施形態では、記録を開始するための前記ボタンは、半押しと全押しとの2つの動作モードを有する。
半押しモードは、例えば露出および/またはホワイトバランスおよび/または焦点を合わせるパラメータを現在値にロックすることを可能にする。1つのカメラモジュールのみがアンダーサンプリングした画像を取り込む低消費力プレビューモードから、カメラモジュールをすべて使用するフル解像度の画像取得モードに切り替えて、ノイズを低減するデジタル処理を実行できると同時に、P×N個の画像の空間的合体および/または時間的合体を用いてテクスチャを維持することも可能であり、Nは3以上の自然数であり、Pは1以上の自然数である。
図17は、本装置がコネクタ15を保護するための取り外し可能なキャップを備えている1つの実施形態を示している。
1つの実施形態では、本発明による装置10は、撮影シーンでの反射率が18%である要素を有するように露出された少なくとも13メガピクセルの可視画像を生成するための手段を備え、その要素は可視画像でダイナミックレンジの中間に達し、ダイナミックレンジの中間でのSNRが35.5dB以上であり、SFRエッジとSFRテクスチャとの値は、10ルクス未満で照明されたシーンを1/30秒以下で画像撮影したものを元に、10%未満の差があり、ナイキスト周波数の4分の1で120%以下であり、ナイキスト周波数の半分で50%以上である。この実施形態では、前記装置10は、5つのカメラモジュールを備え、各カメラモジュールは、半分のナイキスト周波数でMTFが50%を上回る開口f/2.0の対物レンズと、感光面の対角線の測定値が6mmであるセンサ、例えばSony IMX135センサとを備える。前記装置は、フラッシュがなく、装置に給電するためのバッテリを有し、例えば、外部コネクタを用いて、かつ/または誘導によって、かつ/または装置から取り除くことによって、かつ/または電話またはタブレットを介して、実施形態に応じてバッテリを再充電することが可能である。ノイズを低減するとともにテクスチャを維持するデジタル処理手段は、非特許文献7に記載のノイズ除去アルゴリズムと、非特許文献8に記載の空間的合体と、非特許文献9に記載されている、センサによって連続的に記録された4枚の画像に対して実施される時間的合体とで構成される。そのため、本発明による装置は、低照明状態で写真を取ることを可能にすると同時に、小サイズでポケットに入る。
有利には、この実施形態では、装置10は、高解像度(ビデオフォーマットがHD1080pまたはそれ以上)のビデオを録画するためにこれらの手段を使用し、そのビデオは、10ルクス以下で照明されたシーンに対するリフレッシュレートが毎秒30画像以上で、そのビデオの各フレームは、録画されるシーンでの反射率が18%である要素を有するように露出され、その要素はビデオ録画でダイナミックレンジの中間点に達し、ダイナミックレンジの中間でのSNRが35.5dB以上であり、SFRエッジとSFRテクスチャとの値は、10%未満の差があり、ナイキスト周波数の4分の1で120%以下であり、ナイキスト周波数の半分で50%以上である。
1つの実施形態では、前記写真撮影装置10は、画像をプレビューまたはポストビューするための画面がない。これによって装置のサイズを縮小することが可能である。
1つの実施形態では、前記写真撮影装置10は、デジタル画像の安定化を可能にする画像処理手段を備える。これにより、かさばる光学安定化装置の必要性をなくすと同時に低照明状態での写真撮影の性能を向上させ、よりよい時間的合体を可能にし、それによってテクスチャを維持する性能を上げるとともにノイズを低減することを可能にすることによって、装置のサイズを縮小することが可能になる。
デジタル画像の安定化を可能にする画像処理手段は、非特許文献10に記載されているようなものであってよい。
非特許文献11は、所与の光学系に関して鮮鋭度の最初の平面に対する距離Dpおよび鮮鋭度の最後の平面に対する距離Ddと、焦点を合わせる最適な距離とを計算する以下の式を提供している。
Figure 2016534610
式中、
Figure 2016534610
である。
fは対物レンズの焦点距離である。
sは光学系が焦点を合わせた距離である。
Nは光学系の開口である。
cは錯乱円の直径である。
被写界深度Pcは、鮮鋭度の最初の平面と鮮鋭度の最後の平面との間の距離である。
Figure 2016534610
本発明の文脈では、各カメラモジュールに対して、焦点距離は3.65mmよりも大きくなり、開口はf/2.0以上になり、cは2.2μm以下になる。
sの値が1mである場合、Dpは0.75mであり、Ddは1.49mであり、Pcは0.74mである。全カメラモジュールが同じ距離に焦点を合わせ、この焦点が合体過程で使用される全画像に対して変化しない場合、合体から生じる画像は、デフォルトで個々のカメラモジュールの被写界深度を有する。
本発明と同じくらい多くの光を取り入れるためのより大きい単一のセンサおよび/または開口のより大きい対物レンズを使用する系は、被写界深度が短くなる。したがって、本発明により、その被写界深度がより大きいために、焦点をより容易に合わせることが可能である。
1つの実施形態によれば、前記装置は、カメラモジュールから取得された画像の空間的合体のパラメータを修正することによって、画像の被写界深度を小さくし、撮像後の最初の被写界深度範囲内でフォーカスを調整することを可能にし、これは、非特許文献12に記載の通りである。
1つの実施形態によれば、前記装置は、いくつかのカメラモジュールを別々に露出して別々の露出で撮像する。したがって、空間的合体は、露出不足のカメラモジュールで撮影された画像からの高光度のデータを維持する一方で、露出過度のカメラモジュールで撮影された画像からの低光度のデータを維持するように設定される。このデータはその後、高ダイナミックレンジ(HDR)画像を作成するために組み入れられる。
本発明は、例として上記に記載されている。当業者は、特許の範囲を逸脱しない限り、本発明を様々な異なる方法で実現できることを理解しなければならない。

Claims (25)

  1. 少なくとも3つのカメラモジュール(21、22、23、24、25)であって、各カメラモジュールが、解像度が13メガピクセル以上のセンサ(30)と、
    5mmから7mmである前記センサの感光面の対角線と、
    少なくとも1つの焦点距離値に対する最低開口がf/2.0である対物レンズ(40)と
    を備えるカメラモジュールを備える写真撮影装置であって、
    それ自体の電源手段(12)も有し、画面(51)を備える携帯電話またはタブレットタイプの装置(50)に剛性コネクタ(15)を介して接続することも可能で、
    画像および/またはコマンドを携帯電話またはタブレットタイプの前記装置(50)と通信するための手段(13)も備え、以下の基準:前記写真撮影装置(10)が携帯電話またはタブレットタイプの装置(50)に接続されていないとき、最小の長方形の平行六面体であって、内部で前記装置(10)が内接できる前記平行六面体の高さの最大値、幅の最大値および奥行きの最大値は、65mm未満であり、前記高さ、前記幅および前記奥行きの最小値は、25mm未満であり、前記装置(10)の体積は65000mm3未満であるという基準を満たす寸法も有し、
    前記センサの1つが撮影した少なくとも1つの画像内のノイズを低減するためのデジタル処理手段も備える、
    写真撮影装置(10)。
  2. 前記センサを用いて撮影したP×N個の画像の空間的合体および時間的合体によって、解像度が前記センサの解像度と同一である画像を生成できる計算手段を備えるデジタル処理手段を備え、この場合のPおよびNはゼロ以外の自然数であり、Nはカメラモジュールの数を表し、3以上である、請求項1に記載の写真撮影装置(10)。
  3. 自律的に実装され、かつ/または前記携帯電話または前記タブレットに内蔵された手段と組み合わされた手段であって、少なくとも13メガピクセルの可視画像を生成するように構成された手段を備え、前記可視画像は、撮影されるシーンでの反射率が18%である要素を有するように構成された露出を有し、前記要素は前記可視画像でダイナミックレンジの中間に達し、ダイナミックレンジの中間でのSNR(信号ノイズ比)が35.5dB以上であり、SFRエッジとSFRテクスチャとの値は、10ルクス以下の照明レベルで照明されたシーンの1/30秒以下の露出時間で画像撮影したものを元に、10%未満の差があり、ナイキスト周波数の4分の1で120%以下であり、ナイキスト周波数の半分で50%以上である、請求項1または2に記載の写真撮影装置(10)。
  4. 前記合体は、まず空間平面で実施され、その後、時間平面で実施される、請求項2に記載の写真撮影装置(10)。
  5. 前記カメラモジュールは一直線に配置され、その数Nは3である、請求項1〜4のうち少なくとも一項に記載の写真撮影装置(10)。
  6. 前記カメラモジュールは十字に配置され、その数Nは5である、請求項1〜4のうち少なくとも一項に記載の写真撮影装置(10)。
  7. いくつかの前記カメラモジュールは、カラーセンサを使用するが、残りの前記カメラモジュールは、モノクロセンサを使用する、請求項1〜6のうち少なくとも一項に記載の写真撮影装置(10)。
  8. 画像のプレビューまたはポストビューができる画面がない、請求項1〜7のうち少なくとも一項に記載の写真撮影装置(10)。
  9. 画像および/またはコマンドを携帯電話またはタブレットタイプの前記装置(50)と通信するための前記手段(13)は、前記写真撮影装置(10)で取得した画像を携帯電話またはタブレットタイプの前記装置(50)の前記画面上でプレビューするのを可能にする、請求項1〜8のうち少なくとも一項に記載の写真撮影装置(10)。
  10. 画像および/またはコマンドを携帯電話またはタブレットタイプの前記装置(50)と通信するための前記手段(13)は、携帯電話またはタブレットタイプの前記装置(50)の前記画面を用いて前記写真撮影装置(10)を制御するのを可能にする、請求項1〜9のうち少なくとも一項に記載の写真撮影装置(10)。
  11. 画像および/またはコマンドを携帯電話またはタブレットタイプの前記装置(50)と通信するための前記手段(13)は、携帯電話またはタブレットタイプの前記装置(50)の前記画面を用いて前記写真撮影装置(10)のパラメータを設定するのを可能にする、請求項1〜10のうち少なくとも一項に記載の写真撮影装置(10)。
  12. 前記合体を考慮に入れるノイズ低減手段を備える、請求項2に記載の写真撮影装置(10)。
  13. 前記合体に用いられる前記計算手段は、携帯電話またはタブレットタイプの前記装置(50)に遠隔から収容される、請求項2に記載の写真撮影装置(10)。
  14. デジタル処理動作が実施された後の前記可視画像の記録に加えて、またはその代わりに、生画像を記録する手段をさらに備える、請求項1〜13のうち少なくとも一項に記載の写真撮影装置(10)。
  15. 前記写真撮影装置(10)の前記剛性コネクタ(15)は、前記装置に対する向きを変えられるヒンジ内に設置される、請求項1〜14のうち少なくとも一項に記載の写真撮影装置(10)。
  16. デジタル画像の安定化を可能にする画像処理手段を備える、請求項1〜15のうち少なくとも一項に記載の写真撮影装置(10)。
  17. 写真撮影および/または映像撮影される対象物の鮮鋭度を最大にするためのオートフォーカス機能を用いる、請求項1〜16のうち少なくとも一項に記載の写真撮影装置(10)。
  18. 前記オートフォーカス機能は、対象の前記物体を恒久的にフォーカスしたままになるように連続的に動作する、請求項17に記載の写真撮影装置(10)。
  19. 前記カメラモジュール(21、22、23、24、25)から取得された前記画像の前記空間的合体のパラメータを修正することによって、前記画像の被写界深度を小さくし、撮像後の最初の被写界深度範囲内でフォーカスを調整することを可能にする手段を備える、請求項2に記載の写真撮影装置(10)。
  20. 別々の露出で撮像するようにいくつかの前記カメラモジュール(21、22、23、24、25)を別々に露出するための手段を備える、請求項1〜19のうち少なくとも一項に記載の写真撮影装置(10)。
  21. 前記記録を開始するためのボタン(16)を備える、請求項1〜20のうち少なくとも一項に記載の写真撮影装置(10)。
  22. 前記記録を開始するための前記ボタン(16)は、半押しと全押しとの2つの動作モードを有する、請求項21に記載の写真撮影装置(10)。
  23. プログラム可能なプロセッサ(60)を備える、請求項1〜22のうち少なくとも一項に記載の写真撮影装置(10)。
  24. 少なくとも1つの生画像を携帯電話またはタブレットタイプの前記装置(50)に少なくとも1つの動作モードで伝送するための手段を備える、請求項1〜23のうち少なくとも一項に記載の写真撮影装置(10)。
  25. 請求項1〜24のうち少なくとも一項に記載の写真撮影装置(10)を使用する写真撮影方法であって、1/30秒以下で10ルクス以下の照明を含むシーンを撮影するステップと、13メガピクセルよりも高い質の可視画像を生成するステップとを含み、前記画像は、撮影されるシーンでの反射率が18%である要素を有するように構成された露出を有し、前記要素はダイナミックレンジの中間に達し、ダイナミックレンジの中間での信号ノイズ比(SNR)が35.5dB以上であり、SFRエッジとSFRテクスチャとの値は、10%未満の差があり、ナイキスト周波数の4分の1で120%以下であり、ナイキスト周波数の半分で50%以上である、方法。
JP2016530523A 2013-07-31 2014-07-30 複数のカメラモジュールを備える写真撮影装置 Pending JP2016534610A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1357578A FR3009395B1 (fr) 2013-07-31 2013-07-31 Dispositif pour la prise de vue comportant une pluralite de modules cameras
FR1357578 2013-07-31
PCT/EP2014/066423 WO2015014908A1 (fr) 2013-07-31 2014-07-30 Dispositif pour la prise de vue comportant une pluralite de modules cameras

Publications (1)

Publication Number Publication Date
JP2016534610A true JP2016534610A (ja) 2016-11-04

Family

ID=49876766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016530523A Pending JP2016534610A (ja) 2013-07-31 2014-07-30 複数のカメラモジュールを備える写真撮影装置

Country Status (7)

Country Link
US (1) US9819861B2 (ja)
EP (1) EP3028442A1 (ja)
JP (1) JP2016534610A (ja)
KR (1) KR20160038020A (ja)
CN (1) CN105580347A (ja)
FR (1) FR3009395B1 (ja)
WO (1) WO2015014908A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021516797A (ja) * 2018-03-27 2021-07-08 華為技術有限公司Huawei Technologies Co.,Ltd. トリプルカメラデバイス及び端末デバイス

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109194849B (zh) 2013-06-13 2021-01-15 核心光电有限公司 双孔径变焦数字摄影机
US9857568B2 (en) 2013-07-04 2018-01-02 Corephotonics Ltd. Miniature telephoto lens assembly
KR101757101B1 (ko) 2013-07-04 2017-07-12 코어포토닉스 리미티드 소형 망원 렌즈 조립체
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
GR1008987B (el) * 2016-01-20 2017-03-17 Μαρκος Σκοπιωτη Παπαδατος Φορητη ηλεκτρονικη συσκευη πολλαπλων χρησεων, με ψηφιακη καμερα και φλας, για εξυπνες φορητες συσκευες
CN105704465A (zh) * 2016-01-20 2016-06-22 海信电子科技(深圳)有限公司 图像处理方法及终端
CN110235441B (zh) * 2017-03-24 2021-01-15 华为技术有限公司 用于低照度的多摄像头***
KR101919132B1 (ko) * 2017-05-15 2019-02-08 주식회사 뷰오 동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램
CN106973209B (zh) * 2017-05-15 2020-05-12 奇酷互联网络科技(深圳)有限公司 移动终端及其双摄像头模组
CN207612322U (zh) * 2017-11-24 2018-07-13 南昌黑鲨科技有限公司 一种用于智能终端的输入设备、外壳及一种智能终端
CN111641778B (zh) * 2018-03-26 2021-05-04 华为技术有限公司 一种拍摄方法、装置与设备
JP7252247B2 (ja) 2019-01-03 2023-04-04 コアフォトニクス リミテッド 2つのズーム状態を有する少なくとも1つのカメラを備えるマルチアパーチャカメラ
RU2754097C1 (ru) * 2019-02-27 2021-08-26 Российская Федерация, от имени которой выступает Министерство внутренних дел Российской федерации Аппаратно-программный комплекс для исследования специальных технических средств, предназначенных для негласного получения информации
CN112104796B (zh) * 2019-06-18 2023-10-13 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN114578519A (zh) 2019-08-21 2022-06-03 核心光电有限公司 镜头组件
CN116430537A (zh) * 2019-09-24 2023-07-14 核心光电有限公司 薄型弹出式相机及用于此类相机的镜头
US11656538B2 (en) 2019-11-25 2023-05-23 Corephotonics Ltd. Folded zoom camera module with adaptive aperture
CN117572549A (zh) 2020-05-30 2024-02-20 核心光电有限公司 用于获得超微距图像的***和方法
US11966147B2 (en) 2020-09-18 2024-04-23 Corephotonics Ltd. Pop-out zoom camera
CN114868065A (zh) 2020-12-01 2022-08-05 核心光电有限公司 具有连续自适应变焦系数的折叠摄像机
CN115885205B (zh) 2021-03-22 2024-04-16 核心光电有限公司 具有连续自适应缩放因子的折叠式相机
US12019363B2 (en) 2021-09-23 2024-06-25 Corephotonics Lid. Large aperture continuous zoom folded tele cameras
KR102610118B1 (ko) 2021-11-02 2023-12-04 코어포토닉스 리미티드 컴팩트형 더블 폴디드 텔레 카메라
US20230409188A1 (en) * 2022-05-24 2023-12-21 Motorola Mobility Llc Electronic Devices and Corresponding Methods for Capturing Image Quantities as a Function of Touch Input Type

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077701A (ja) * 2000-08-25 2002-03-15 Access:Kk デジタルカメラおよび携帯電話
JP2002152339A (ja) * 2000-11-07 2002-05-24 Matsushita Electric Ind Co Ltd 撮像機能付き携帯端末装置
JP2005323081A (ja) * 2004-05-07 2005-11-17 Fuji Photo Film Co Ltd 携帯電話機及びデジタルカメラ
US20060152576A1 (en) * 2005-01-11 2006-07-13 Agere Systems Incorporated Mobile communication device having detachable wireless camera and camera module for a mobile communication device
US20070257184A1 (en) * 2005-08-25 2007-11-08 Olsen Richard I Large dynamic range cameras
US20070263114A1 (en) * 2006-05-01 2007-11-15 Microalign Technologies, Inc. Ultra-thin digital imaging device of high resolution for mobile electronic devices and method of imaging
JP2008294601A (ja) * 2007-05-23 2008-12-04 Sony Corp 画像処理方法および画像処理装置
JP2009163551A (ja) * 2008-01-08 2009-07-23 Hitachi Ltd 画像処理システムおよびこれに用いるカメラと録画再生装置
JP2013128212A (ja) * 2011-12-19 2013-06-27 Canon Inc 画像処理装置および撮像装置並びにその方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2679196A (en) * 1950-03-12 1954-05-25 Optische Anstalt C P Goerz Ges Hand-held camera with pivoted finger grip
US7046286B1 (en) * 1997-12-24 2006-05-16 Canon Kabushiki Kaisha Video camera
US7492958B2 (en) * 2005-01-05 2009-02-17 Nokia Corporation Digital imaging with autofocus
US8045047B2 (en) * 2005-06-23 2011-10-25 Nokia Corporation Method and apparatus for digital image processing of an image having different scaling rates
CN2842900Y (zh) * 2005-09-07 2006-11-29 鸿富锦精密工业(深圳)有限公司 具外接式相机的便携电子装置
CN102739949A (zh) * 2011-04-01 2012-10-17 张可伦 多镜头相机和多镜头装置的控制方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002077701A (ja) * 2000-08-25 2002-03-15 Access:Kk デジタルカメラおよび携帯電話
JP2002152339A (ja) * 2000-11-07 2002-05-24 Matsushita Electric Ind Co Ltd 撮像機能付き携帯端末装置
JP2005323081A (ja) * 2004-05-07 2005-11-17 Fuji Photo Film Co Ltd 携帯電話機及びデジタルカメラ
US20060152576A1 (en) * 2005-01-11 2006-07-13 Agere Systems Incorporated Mobile communication device having detachable wireless camera and camera module for a mobile communication device
US20070257184A1 (en) * 2005-08-25 2007-11-08 Olsen Richard I Large dynamic range cameras
US20070263114A1 (en) * 2006-05-01 2007-11-15 Microalign Technologies, Inc. Ultra-thin digital imaging device of high resolution for mobile electronic devices and method of imaging
JP2008294601A (ja) * 2007-05-23 2008-12-04 Sony Corp 画像処理方法および画像処理装置
JP2009163551A (ja) * 2008-01-08 2009-07-23 Hitachi Ltd 画像処理システムおよびこれに用いるカメラと録画再生装置
JP2013128212A (ja) * 2011-12-19 2013-06-27 Canon Inc 画像処理装置および撮像装置並びにその方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021516797A (ja) * 2018-03-27 2021-07-08 華為技術有限公司Huawei Technologies Co.,Ltd. トリプルカメラデバイス及び端末デバイス

Also Published As

Publication number Publication date
KR20160038020A (ko) 2016-04-06
US20160212333A1 (en) 2016-07-21
CN105580347A (zh) 2016-05-11
EP3028442A1 (fr) 2016-06-08
FR3009395B1 (fr) 2016-12-23
FR3009395A1 (fr) 2015-02-06
WO2015014908A1 (fr) 2015-02-05
US9819861B2 (en) 2017-11-14

Similar Documents

Publication Publication Date Title
US9819861B2 (en) Picture taking device comprising a plurality of camera modules
TWI465107B (zh) 可顯示實況預覽圖像之攝像裝置
US9473725B2 (en) Image-processing and encoded aperture pattern setting device and method, and image pickup device comprising same
US8395694B2 (en) Apparatus and method for blurring image background in digital image processing device
CN108028894B (zh) 控制***、成像装置和计算机可读介质
JP5833794B2 (ja) 撮像装置
US20110193984A1 (en) Imaging apparatus
US9706144B2 (en) Device for picture taking in low light and connectable to a mobile telephone type device
JP5843027B1 (ja) 撮像装置、制御方法およびプログラム
WO2015180683A1 (zh) 移动终端及摄像参数的设置方法和装置、计算机存储介质
CN111314593A (zh) 终端设备、图像拍摄方法、装置及存储介质
US20100007766A1 (en) Camera device and image processing method
JP7112529B2 (ja) 撮像装置、撮像方法、及びプログラム
US20110134290A1 (en) Photographing apparatus and smear correction method thereof
JP6941744B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP2008199522A (ja) 撮像装置及び撮像方法
JP6492452B2 (ja) 制御システム、撮像装置、制御方法およびプログラム
WO2020161969A1 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
WO2019072222A1 (zh) 一种图像处理方法、装置与设备
JP2014006407A (ja) 携帯型撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180814

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190319