JP2016140069A - ビデオカメラと、最大ロール角で生じるアーチファクトの補償手段とを備えた無人機 - Google Patents
ビデオカメラと、最大ロール角で生じるアーチファクトの補償手段とを備えた無人機 Download PDFInfo
- Publication number
- JP2016140069A JP2016140069A JP2016011421A JP2016011421A JP2016140069A JP 2016140069 A JP2016140069 A JP 2016140069A JP 2016011421 A JP2016011421 A JP 2016011421A JP 2016011421 A JP2016011421 A JP 2016011421A JP 2016140069 A JP2016140069 A JP 2016140069A
- Authority
- JP
- Japan
- Prior art keywords
- drone
- capture area
- configuration
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000006866 deterioration Effects 0.000 claims abstract description 11
- 230000008859 change Effects 0.000 claims abstract description 4
- 238000000605 extraction Methods 0.000 claims abstract description 3
- 238000006731 degradation reaction Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 14
- 230000015556 catabolic process Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 230000000087 stabilizing effect Effects 0.000 claims description 2
- 230000007547 defect Effects 0.000 abstract description 6
- 230000009467 reduction Effects 0.000 abstract description 2
- 230000001105 regulatory effect Effects 0.000 abstract 1
- 238000012937 correction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 230000006641 stabilisation Effects 0.000 description 5
- 238000011105 stabilization Methods 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 241000287531 Psittacidae Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H27/00—Toy aircraft; Other flying toys
- A63H27/12—Helicopters ; Flying tops
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
- A63H30/02—Electrical arrangements
- A63H30/04—Electrical arrangements using wireless transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/20—Remote controls
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- Studio Devices (AREA)
- Mechanical Engineering (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】無人機が大きく横に傾いた場合に、無人機が一定の展開を行うさいに現れる特定の欠陥を解消することである。
【解決手段】無人機は、カメラと、無人機の角度を測定する慣性ユニットと、センサのキャプチャ領域(ZC)内に規定された縮小サイズを有する画像領域(ZI)のデータを送る抽出モジュールとを備える。フィードバック制御モジュールは、慣性ユニットによって測定された角度の変化の方向とは反対の方向に、キャプチャ領域内の画像領域の位置および向きを動的に修正する。センサは、ロール角(θ)の値が小さい場合にベースキャプチャ領域(ZCB)を用いる基本構成と、ロール角(θ)の値が大きい場合にベースキャプチャ領域(ZCB)より大きいサイズの拡張キャプチャ領域(ZCE)を用いる少なくとも1つの劣化モード構成とを含む、動的に選択可能な複数の異なる構成に応じて動作してもよい。
【選択図】図8c
【解決手段】無人機は、カメラと、無人機の角度を測定する慣性ユニットと、センサのキャプチャ領域(ZC)内に規定された縮小サイズを有する画像領域(ZI)のデータを送る抽出モジュールとを備える。フィードバック制御モジュールは、慣性ユニットによって測定された角度の変化の方向とは反対の方向に、キャプチャ領域内の画像領域の位置および向きを動的に修正する。センサは、ロール角(θ)の値が小さい場合にベースキャプチャ領域(ZCB)を用いる基本構成と、ロール角(θ)の値が大きい場合にベースキャプチャ領域(ZCB)より大きいサイズの拡張キャプチャ領域(ZCE)を用いる少なくとも1つの劣化モード構成とを含む、動的に選択可能な複数の異なる構成に応じて動作してもよい。
【選択図】図8c
Description
本発明は、移動体装置、特に、無人機などの電動飛行機に搭載されたカメラによって撮像されたデジタル画像の処理に関する。
本発明は、好適には、クアッドリコプター(quadricopter:4翼ヘリコプター)などの回転翼無人機の前面カメラによって収集される画像に適用される。
Parrot SA(フランス、パリ)のAR.Drone 2.0またはBebop Droneは、このようなクアッドリコプターの一般的な例である。これらの無人機は、一連のセンサ(加速度計、3軸ジャイロ、高度計)と、無人機の進行方向の景色の画像を撮像する前面カメラと、上空飛行時の地面の画像を撮像する垂直視野カメラとを装備している。このような無人機は、複数のモータによってそれぞれ駆動される複数のロータを備え、姿勢や速度についてこれらのモータを個別に制御して、無人機の操縦が行われる。特に、特許文献1、特許文献2、特許文献3または特許文献4(Parrot SA)に、上記無人機のさまざまな態様が記載されている。
非特許文献1には、特に、画像安定化制御システムに関連する魚眼レンズを備えた無人機である上述したBebop Drone装置が記載されている。
前面ビデオカメラは、特に、「没入モード」の操縦、すなわち、ユーザが無人機に実際に乗っているような感覚でカメラの画像を利用する操縦モードで使用することができる。また、前面ビデオカメラは、無人機の進行方向にある景色の一連の画像を撮像する機能を有してもよい。このように、ユーザは、カメラやカムコーダを手に持つ代わりに、無人機に搭載した状態と同じように無人機を使用することができる。取得した画像は、記録された後、配信、ビデオシーケンスホスティングウェブサイト上でのオンライン保存、他のインターネットユーザに向けた送信、ソーシャルネットワークでの共有などがなされうる。
これらの画像は、記録や通信を意図したものであるため、画像の欠陥、特に、例えば、無人機の挙動によって生じる欠陥であって、カメラによって撮像された画像に揺れや歪みまたはタイミング悪く生じるその他のアーチファクトを発生しうる欠陥をできるだけ抑制することが望ましい。しかしながら、このようなアーチファクトの出現は、無人機の展開モード固有のものであり、無人機が前方、後方または横へ線形変位するさいには、無人機が傾き、ひいては、カメラが取得した画像に、シフト、回転、揺動などの無人機の傾きに関連する望ましくない影響が生じる。
これらの欠陥は、「没入操縦」構成のものであれば許容できる。一方で、一連の画像を撮像するために移動ビデオカメラとして無人機を使用し、撮像された画像を記録描写する場合、これらの欠陥は大きな問題となるため、最小限に抑えられることが望ましい。
上述したBebop Droneの場合、この無人機が実装するカメラは、約180°の視野をカバーした魚眼タイプの半球視野レンズを備えているが、撮像された視野のうち、従来のカメラによって撮像された角度セクタにほぼ相当する一部の視野しか使用されない。
この目的のために、センサによって出力として送られた原画像(以下、センサの表面に形成された半球画像全体の一部分である「キャプチャ領域」)において、特定のウィンドウ(以下、「画像領域」)が選択される。特徴として、このウィンドウは、慣性の中心により決定される無人機の動きに応じて、検出された変位とは反対の方向に回転移動および平行移動して永続的に変位される可動ウィンドウである。魚眼レンズによって取得される画像も従来のカメラと同様の揺動や回転の動きを受けることは避けられないが、画像領域の変位は、これらの動きを補償し、ひいては、無人機の動きに対して安定化された画像を生成するようにフィードバック制御される。
したがって、「仮想カメラ」は、撮像された景色(キャプチャ領域)から、キャプチャ領域において無人機の動きとは反対の方向に回転および平行移動して動的に変位されることで、画像に観察されていたであろう揺動をなくす特定の領域(画像領域)を抜き出すことによって規定される。
この技術は、特許文献5(Parrot)に記載されている。
Timothy McDougal、インターネット上に公開、「The New Parrot Bebop Drone: Built for Stabilized Aerial Video」、2014年6月10日(XP055233862)
本発明の目的は、無人機が大きく横に傾いた場合に、無人機が一定の展開を行うさいに現れる特定の欠陥を解消することである。
このような状況は、特に、無人機が左右に突然平行移動するときや急旋回するときに起こる。これらの動きは、特に、無人機のロール軸回りの旋回によって生じ、この旋回は、ひいては、カメラによって取り込まれる景色が、画像において一方向または他方向に回転することになる旋回である。
これらの回転は、キャプチャ領域にある画像領域の反対方向に回転することによって補償されてもよい。しかしながら、それでも、無人機の傾斜角が大きい場合、修正済み表示を完全に生成できる画像領域の位置は存在しない。実際、画像領域の回転が大きすぎると、この画像領域の対向角や対向縁が、半球画像に規定されたキャプチャ領域を「越えた範囲に及ぶ」ことで、補正モジュールの出力に送られた修正画像の角や縁がグレーになって現れるようになる。これらのグレー領域は、無人機の姿勢の傾斜度が軽減して姿勢が戻ると自然になくなるが、記録し、後で再生することが意図された一連の画像に、問題となるアーチファクトが生じ、見える状態で残ることになる。
また、この状況は、モータを停止させた状態でユーザが無人機を手に持ち、システムの動的安定化から得られる利点を利用して景色を撮影するために従来のカメラとして無人機を使用する場合にも起きる。例えば、ユーザが一定のしきい値を超えて無人機を傾けると、欠落画素がある領域が画像の境界に現れるが、安定化用システムは、カメラが傾いていないという錯覚を与える。
本発明は、まず、センサの動作構成を複数与え、無人機の傾斜角に応じて最良に適応された構成を動的に選択することを実質的に含み、傾斜補正処理において、画像領域が、画像を生成するように初期選択されたセンサの領域を越えた範囲に及ばないようにする。
「動作構成」という用語は、
−カメラによって出力として送信される画像(画像領域)の出力解像度、すなわち、画素単位で表されるサイズと、
−センサ表面で取得される範囲(キャプチャ領域)のキャプチャ解像度、すなわち、画素単位で表されるサイズと、
−キャプチャ解像度から出力解像度へ切り換えを可能にする処理と、
を含む、カメラのキャプチャパラメータのセットを意味する。
−カメラによって出力として送信される画像(画像領域)の出力解像度、すなわち、画素単位で表されるサイズと、
−センサ表面で取得される範囲(キャプチャ領域)のキャプチャ解像度、すなわち、画素単位で表されるサイズと、
−キャプチャ解像度から出力解像度へ切り換えを可能にする処理と、
を含む、カメラのキャプチャパラメータのセットを意味する。
キャプチャモードは、特に、「ノーマル」(すべての取得画素をそのまま出力として送信。出力解像度およびキャプチャ解像度は同一)、「ビニング」(取得画素をまとめてグループ化してマクロ画素にし、出力として送出)、「スケーリング」(画素毎に画像の隣り合う画素を考慮しながらフィルタリングをかけて画素をまとめる)と呼ばれるモードを含む。ビニングおよびスケーリングの技術は、ノーマルモードに比べ、特に、幅広いキャプチャ表面から画像を生成できるが、精細度の低下を招く。
通常、これらのキャプチャパラメータは、カメラの初期化時に決定される。具体的に言えば、上述したBebop Droneに相当する構成の場合、ノーマルモードでは、画素がない領域を導入することなく、±15°のロール角を補償することが可能である。
本発明の課題は、画素の損失なしに(すなわち、角や縁がグレーになって現れることなく)、そしてビデオフローの流動性の劣化なしに(すなわち、一定のフレームレート)、この範囲を超える安定化ドメインを増大させることである。
上記目的を達成するために、本発明は、センサのいくつかの動作構成を使用し、画像撮影の過程で、最適な画質を有する全修正視野を生成するための最良に適応された構成を、無人機のロール角に応じて動的に選択することを本質的に提案する。
この原理では、例えば、無人機がセンサの異なるモード(ノーマル・ビニング・スケーリング)で作用することで、無人機が大きく傾くと、(例えば、ノーマルモードからビニングモードまたはスケーリングモードへ切り換えることによって)キャプチャ表面を一時的に増大させる。このような修正では、画質が一時的に劣化するという代償がつきものであるが(ビニングモードやスケーリングモードの実施により)、アーチファクト(縁部や角隅部のグレー化)が生じず、フレームレートの修正もないため、ビデオフローの流動性の劣化がない。
さらに正確に言えば、本発明により、撮像画像の安定化用システムを備えた電動飛行機であって、公知の方法で、特に、上述した非特許文献1の記事に記載されている方法で、
‐魚眼タイプの半球視野レンズと、半球視野レンズによって形成された画像を取得するデジタルセンサとを備え、デジタルセンサに形成された画像の画素のうち、キャプチャ領域内に位置する一部のみが、原画素データを送るために取り込まれる、無人機の本体に接続されたカメラと、
‐絶対地球基準系に対して無人機の瞬間姿勢を表すオイラー角を測定するように構成された慣性ユニットと、
‐キャプチャ領域の原画素データを入力として受信し、キャプチャ領域内にあり、従来のカメラによって撮像された角度セクタに相当する縮小サイズの画像領域の画素データを出力として送り出す抽出モジュールと、
‐慣性ユニットから送られる角度値を入力として受信し、慣性ユニットによって測定された角度値の変化の方向とは反対の方向に、キャプチャ領域内の画像領域の位置および向きを動的に修正するように構成されたフィードバック制御モジュールとを備える電動飛行機が提供される。
‐魚眼タイプの半球視野レンズと、半球視野レンズによって形成された画像を取得するデジタルセンサとを備え、デジタルセンサに形成された画像の画素のうち、キャプチャ領域内に位置する一部のみが、原画素データを送るために取り込まれる、無人機の本体に接続されたカメラと、
‐絶対地球基準系に対して無人機の瞬間姿勢を表すオイラー角を測定するように構成された慣性ユニットと、
‐キャプチャ領域の原画素データを入力として受信し、キャプチャ領域内にあり、従来のカメラによって撮像された角度セクタに相当する縮小サイズの画像領域の画素データを出力として送り出す抽出モジュールと、
‐慣性ユニットから送られる角度値を入力として受信し、慣性ユニットによって測定された角度値の変化の方向とは反対の方向に、キャプチャ領域内の画像領域の位置および向きを動的に修正するように構成されたフィードバック制御モジュールとを備える電動飛行機が提供される。
本発明の特徴として、
‐デジタルセンサは、複数の異なる動作構成に応じて動作可能であって、カメラの同一の画像撮像シーケンス中に動的に選択可能であるセンサであり、前記動作構成は、
・キャプチャ領域としてベースキャプチャ領域を用いる基本構成と、
・ベースキャプチャ領域より大きいサイズの拡張キャプチャ領域をキャプチャ領域として用いる少なくとも1つの劣化モード構成であって、拡張キャプチャ領域のサイズをベースキャプチャ領域のサイズに縮小する変換処理を拡張キャプチャ領域の画素に適用する少なくとも1つの劣化モード構成とを備え、
‐慣性ユニットから送られる無人機の連続したロール角値を入力として受信し、
・ロール角値が第1の限界値より低い場合、デジタルセンサが基本構成に応じて動作し、
・ロール角値が第2の限界値より高い場合、デジタルセンサが劣化モード構成に応じて動作するように、デジタルセンサの現行の動作構成を動的に修正するように構成された補償モジュールをさらに備える。
‐デジタルセンサは、複数の異なる動作構成に応じて動作可能であって、カメラの同一の画像撮像シーケンス中に動的に選択可能であるセンサであり、前記動作構成は、
・キャプチャ領域としてベースキャプチャ領域を用いる基本構成と、
・ベースキャプチャ領域より大きいサイズの拡張キャプチャ領域をキャプチャ領域として用いる少なくとも1つの劣化モード構成であって、拡張キャプチャ領域のサイズをベースキャプチャ領域のサイズに縮小する変換処理を拡張キャプチャ領域の画素に適用する少なくとも1つの劣化モード構成とを備え、
‐慣性ユニットから送られる無人機の連続したロール角値を入力として受信し、
・ロール角値が第1の限界値より低い場合、デジタルセンサが基本構成に応じて動作し、
・ロール角値が第2の限界値より高い場合、デジタルセンサが劣化モード構成に応じて動作するように、デジタルセンサの現行の動作構成を動的に修正するように構成された補償モジュールをさらに備える。
好ましくは、ロール効果補償手段は、デジタルセンサの現行の動作構成を、ロール角値が第1の所定のしきい値を上回ると、基本構成から劣化モード構成へ動的に修正し、無人機のロール角が第2の所定のしきい値を下回ると、劣化モード構成から基本構成へ動的に修正するように構成され、第2のしきい値は第1のしきい値とは異なり、第1のしきい値より低い。
動作構成は、
・ベースキャプチャ領域をキャプチャ領域として用いる基本構成と、
・ベースキャプチャ領域より大きいサイズの第1の拡張キャプチャ領域をキャプチャ領域として用いる中度劣化モード構成であって、第1の拡張キャプチャ領域のサイズをベースキャプチャ領域のサイズに縮小するするように構成された第1の変換処理を第1の拡張キャプチャ領域の画素に適用する中度劣化モード構成と、
・第1の拡張キャプチャ領域よりサイズが大きい第2の拡張キャプチャ領域をキャプチャ領域として用いる強度劣化モード構成であって、第1の処理とは異なる第2の変換処理であって第2の拡張キャプチャ領域のサイズをベースキャプチャ領域のサイズに縮小するように構成された第2の変換処理を、第2の拡張キャプチャ領域の画素に適用する強度劣化モード構成とを備える。
動作構成は、
・ベースキャプチャ領域をキャプチャ領域として用いる基本構成と、
・ベースキャプチャ領域より大きいサイズの第1の拡張キャプチャ領域をキャプチャ領域として用いる中度劣化モード構成であって、第1の拡張キャプチャ領域のサイズをベースキャプチャ領域のサイズに縮小するするように構成された第1の変換処理を第1の拡張キャプチャ領域の画素に適用する中度劣化モード構成と、
・第1の拡張キャプチャ領域よりサイズが大きい第2の拡張キャプチャ領域をキャプチャ領域として用いる強度劣化モード構成であって、第1の処理とは異なる第2の変換処理であって第2の拡張キャプチャ領域のサイズをベースキャプチャ領域のサイズに縮小するように構成された第2の変換処理を、第2の拡張キャプチャ領域の画素に適用する強度劣化モード構成とを備える。
補償モジュールは、デジタルセンサがロール角値が前記第1の限界値より低い場合、基本構成に応じて動作し、ロール角値が第2の限界値より高く第3の限界値より低い場合、中度劣化モード構成に応じて動作し、ロール角値が第3の限界値より高い場合、強度劣化モード構成に応じて動作するように、センサの現行の動作構成を動的に修正するようにさらに構成される。
以下、図面を通して同一の参照番号が同一または機能的に同様の要素を示す添付の図面を参照しながら、本発明の例示的な実施形態について説明する。
以下、本発明の例示的な実施形態について説明する。
図1において、参照符号10は、概して、無人機を示し、この無人機は、例えば、Parrot SA(フランス、パリ)のBebop Droneモデルなどのクアッドリコプターである。この無人機は、一体型の航行姿勢制御システムによってそれぞれ独立して操縦されるモータを有する4つの同一平面ロータ12を備える。無人機は、進行方向の景色の画像を得ることが可能な前面視野カメラ14を備える。
また、無人機は、下向きの垂直視野カメラ(図示せず)を備え、この垂直視野カメラは、上空飛行中に地上の画像を連続して撮像するように構成され、特に、地面に対して無人機の速度を評価するために使用される。慣性センサ(加速度計およびジャイロ)では、無人機の角速度および姿勢、すなわち、固定された地球基準系の水平面に対する無人機の傾きを表すオイラー角(ピッチφ、ロールθ、ヨーψ)を一定の精度で測定することができる。また、無人機の下に配設された超音波遠隔計器が、地面に対する高度の測定を行う。
無人機10は、搭載された前面カメラ14の画像と、ユーザが指20でタッチスクリーン18に触れるだけでコマンドを作動可能な一定数の記号とを重ねて表示するタッチスクリーン18を備えた遠隔制御装置16によって操縦される。遠隔制御装置16は、無人機10から遠隔制御装置16へデータを双方向にやり取りするために、特に、カメラ14によって撮像された画像を送信したり、遠隔制御装置16から操縦コマンドを無人機10へ送ったりするために、例えば、Wi−Fi(IEEE802.11)ローカルネットワークタイプなど、無人機との無線リンク手段を備える。
また、遠隔制御装置16は、ロール軸およびピッチ軸回りの対応する傾きを制御装置に与えることによって無人機姿勢の制御を可能にする傾きセンサを備える。なお、無人機10の水平速度の縦軸成分および横軸成分の2つの成分が、2つのそれぞれのピッチ軸およびロール軸回りの傾きに密接に関わりがあることを理解されたい。無人機の操縦では、以下によって無人機を展開させる。
a)無人機を前後に移動させるためのピッチ軸22回りの回転、
b)無人機を左右にシフトさせるためのロール軸24回りの回転、
c)無人機の主軸を左右に旋回させるためのヨー軸26回りの回転、
d)ガス制御を変化させて、無人機の高度をそれぞれ下げたり上げたりする下方または上方の平行移動。
a)無人機を前後に移動させるためのピッチ軸22回りの回転、
b)無人機を左右にシフトさせるためのロール軸24回りの回転、
c)無人機の主軸を左右に旋回させるためのヨー軸26回りの回転、
d)ガス制御を変化させて、無人機の高度をそれぞれ下げたり上げたりする下方または上方の平行移動。
これらの操縦コマンドは、遠隔制御装置16からユーザによって適用される場合、ピッチ軸22およびロール軸24回りを旋回するコマンドa)およびb)は、遠隔制御装置16を長軸28および短軸30回りでそれぞれ傾けることによって得られる。例えば、無人機を前方に動かすためには、遠隔制御装置16を長軸28回りに傾斜させて遠隔制御装置16を前方に傾ければよく、無人機を右側へ寄せて移動させるために、遠隔制御装置16を短軸30回りに傾斜させて遠隔制御装置16を傾ければよく、他も同様である。コマンドc)およびd)は、タッチスクリーン18の対応する特定領域をユーザが指20で触れることで適用される操作から生じる。
無人機は、ホバリング飛行時の安定化を行う自動自立システムを備え、この自動自立システムの作動は、特に、遠隔制御装置のタッチスクリーンからユーザが指を離すとすぐに行われるか、離陸段階完了時に自動的に行われるか、または遠隔制御装置と無人機との間の無線リンクが途切れた場合に行われる。
図2Aは、リフト状態にある無人機の静止時の姿勢のプロファイルを概略的に示す図である。
従来のタイプの前面カメラ14がカバーする視野、例えば、54°の視野をカバーし、中心に合った視野軸δを有するカメラがカバーする視野を参照符号36で図式化されている。
図2bに示すように、無人機が計画的に非ゼロ水平速度で前進している場合、無人機のヨー軸26は、垂直方向Vに対して角度φ(ピッチ角)だけ前方に傾く。矢印38で概略的に示したこのような前方への傾きは、矢印40で概略的に示すように、カメラの視野軸δが水平方向HZの平面に対する同じ値の傾きに関係する。したがって、無人機の加速、減速など、無人機の展開中、視野軸δが水平方向HZ回りを永続的に揺動することで、画像も永続的な上向きおよび下向きの揺動の動きを受けることになる。
同様に、無人機が左右に寄せて移動する場合、ロール軸24回りの旋回によってこのような動きが起こり、画像はカメラによって取り込まれる景色の一方向または他方向における回転を受けることになる。
上記の欠点を補償するために、上述した特許文献5において説明されているように、図2aの参照符号42で概略的に示すような、約180°の視野をカバーする魚眼タイプの半球視野レンズを備えたカメラを設けることが提案されてきた。このような魚眼レンズを備えるカメラによって撮像された画像も、従来のカメラと同じ揺動および回転の動きを受けることに違いはないが、従来のカメラによって取り込まれる角度セクタ36に相当する「キャプチャ領域」と呼ばれる特定のウィンドウを選択することで、このカメラの撮像視野の一部のみしか使用されず、慣性中心によって決定される無人機の動きに対して反対方向に半球状画像において動的に変位されることで、画像にて観察されることになっていたであろう揺動がなくなる。
したがって、無人機が垂直方向Vに対してピッチ角φ(矢印38)だけ下方に急降下する図2bに示す場合において、キャプチャウィンドウは、同じ値の角度だけ上向き(矢印44)に変位され、したがって、画像領域に相当する視野をカバーする「仮想カメラ」のセクタ36の中心軸を水平方向HZの方へ戻す。
図面に示すように、無人機の前方運動の頻度が後方運動より高く、また、対象となる領域(上空飛行時の地上)が無人機の上方ではなく無人機のレベルより低い位置にある限り、無人機のさまざまな数の展開構成をカバーし、「仮想カメラ」のキャプチャ領域に相当するセクタ36が魚眼レンズの視野42に常に留まるようにするように、魚眼レンズの主軸Δを(例えば、−20°の高低角だけ)下向きに傾けることが好適なこともある。
図3は、魚眼レンズを備えたビデオカメラのセンサで検出した景色の一例を示す。
図から分かるように、この景色の画像Iは、センサの平面で修正される有効範囲であって、魚眼レンズの半球状または準半球状の有効範囲に固有の非常に高い幾何学的歪みを含む。
魚眼レンズによって生成される画像Iの一部分のみしか使用されない。この部分は、i)「仮想カメラ」の向き、ii)「仮想カメラ」の視野(図2aおよび図2bの参照符号36で概略的に示す)、iii)「仮想カメラ」の縦横比に応じて決定される。 原画素データを含む「キャプチャ領域」ZCはこのようにして規定され、この領域は、魚眼レンズによって生じる幾何学的歪みを補償した後、仮想カメラの視野に相当する「有効領域」ZUを含む。
なお、センサに形成された画像Iの画素のすべてを撮像することは有益ではなく、キャプチャ領域ZCに相当するこれらの画素の一部のみを撮像すればよい。したがって、例えば、HD画質(1920×1080画素、すなわち、有効領域ZUに対して2M画素)の画像を得ることが望ましい場合、仮想カメラの向きに関わらず高品質のHD表示を抽出可能なように、非常に高解像度の魚眼画像を最初に有する必要があり、これは、通常、14M画素(4608×3288画素)の解像度を有するセンサを備えることを意味する。このような状況において、画像Iの全体を処理に回す場合、このような処理は画像毎に14M画素の画素データの流れに相当し、この解像度で毎秒約6画素(ips)のフレームレートになり、(30ipsに近いフレームレートを課す)流動的なビデオシーケンスには不十分なものになる。したがって、キャプチャ領域ZCの中から実際に必要な画素データのみ、例えば、約2M画素のキャプチャウィンドウZCを回すことで、特に問題なく30ipsのレートでリフレッシュされうる。したがって、高画像フローレートを維持しながら、高解像度センサが選択されてもよい。
図3の図(a)〜(d)は、幾何学的歪みが補償された最終画像を得るために、キャプチャ領域ZCの画素データに対して実行したさまざまな処理を示す。
この処理では、キャプチャ領域ZC(図(b))から転送した画素データに基づいて、原有効領域ZUB(図(c))から画素データを抽出し、抽出した画素データに三角メッシュ技術(既知の技術)を適用する。三角メッシュ技術では、各三角形を伸張させ画像を修正することで、修正された画素データを有する修正済み有効画像ZUR(図(d))を与えることができる。特に、魚眼画像の湾曲が強い横線を直線にし、幾何学的歪みのない自然な視野に相当する画像を生成するように補正する。
本発明の目的は、無人機のロール角(長軸24回りの回転)が大きい場合、一般的には、およそ15°の値を超える場合、キャプチャ領域ZCから画像領域ZIを抽出するさいに現れる特定の欠点を解消することである。このような欠点は、特に、無人機が左右へ横方向に突然触れたり、一方向から他方向へ急旋回するさいに起こることがある(ロール角に応じた傾きが、無人機の水平速度が速いほど大きくなるピッチ角に応じた傾きと組み合わさる)。
図4aおよび図4bにこの現象を例示する。例えば、無人機のピッチが水平(ホバリング飛行に相当する姿勢)の場合、センサの表面で取得した画像は、図4aに示すものとなり、同図において、矩形状のキャプチャ領域ZCは、魚眼レンズによって生成される半球状の画像の中心にあり、より小さいサイズの矩形状の画像領域ZIは、キャプチャ領域ZC内に位置し、同様に中心に位置する。
ロール軸回りの無人機の左右の回転に伴い、例えば、図4bに示すように、無人機が右に角度θだけ回転して無人機の姿勢が変化する場合、センサに形成された画像は、その変化に対応する回転を受ける。
しかし、ロール角の値があるしきい値を超えている場合、画像領域ZIは、キャプチャ領域ZC内にすべて収まりきれず、この画像領域ZIの2つの対向角がキャプチャ領域ZCを越えた範囲に及んでしまう。これらの領域ZXにおいて、画素データは送られないため(カメラの出力で抽出され送られるセンサの画素がキャプチャ領域ZCに制限されているため)、これらの領域に対応する2つの対向角が2つのグレー領域になった最終画像となる。これらのグレー領域は、無人機の展開中に非常に稀にしか現れないとしても、記録し後で再生することが意図された一連の画像に見える状態で残るアーチファクトとなり、問題である。
無人機が単に停止状態で使用され、手に持って単なるカメラとし使用される場合にも同じ現象が現れる。例えば、無人機(カメラ)が長軸回りに大きく傾けられると、このような過度の傾きが続く限りグレー領域ZXのアーチファクトが存在することになる。
このような欠点を解消するために、本発明は、センサの異なる動作構成を動的に切り換えることを提案する。
「動作構成」とは、本明細書の冒頭で示したように、
‐カメラによって出力として送信される画像(画像領域ZI)の画素単位で表される出力解像度、すなわち、サイズと、
‐センサの表面にて取得される領域(キャプチャ領域ZC)の画素単位で表されるキャプチャ解像度、すなわち、サイズと、
‐キャプチャモード、すなわち、キャプチャ解像度から出力解像度への切り換えを可能にする処理と、
を含むカメラのキャプチャパラメータセットを意味する。
「動作構成」とは、本明細書の冒頭で示したように、
‐カメラによって出力として送信される画像(画像領域ZI)の画素単位で表される出力解像度、すなわち、サイズと、
‐センサの表面にて取得される領域(キャプチャ領域ZC)の画素単位で表されるキャプチャ解像度、すなわち、サイズと、
‐キャプチャモード、すなわち、キャプチャ解像度から出力解像度への切り換えを可能にする処理と、
を含むカメラのキャプチャパラメータセットを意味する。
上記キャプチャパラメータについて、デジタルカメラは、いくつかのビデオデータ取得モードを提案し、そのうち最も一般的なものは、
‐所与のウィンドウ内で取得したすべての画素がセンサの出力として送信される「ノーマル」モード。したがって、キャプチャ解像度は、出力解像度と同一であり、画像の品質は最大である。
‐隣り合う画素を電気的にまとめてマクロ画素を形成し、これらのマクロ画素を画素データとして出力にて送られる、いわゆる、「ビニング」モード。したがって、より広範な表面の撮像を同等の取得時間で行うことが可能になるが(したがって、映像シーケンスの流動性に影響なし)、引き替えに少なくとも50%の重大な精細度損失を被ることになる。実際、水平方向および/または垂直方向に画素を少なくとも2×2にまとめて、個々の画素を平均化することによってマクロ画素を形成する。
‐ビニングモードより低減レベルをさらに微調整することができる、いわゆる、「スケーリング」モード。実際、ビニングは、ピクセルのグループ化によって作用することから、2nタイプの比率に限定されるが、一方で、スケーリングの操作では、隣り合う画素の値に応じて各画素を個別にフィルタリングでソフトウェア低減させる。このように、3/4、2/3などの倍率の低減が行われ、ビニングモードより品質の良い画像が生成される。一方で、このスケーリングモードは、画質低減のために必要な計算が多いため速度が遅く、フィルタリングを実行するためには、キャプチャ表面の画素をすべて取得しなければならない。
‐所与のウィンドウ内で取得したすべての画素がセンサの出力として送信される「ノーマル」モード。したがって、キャプチャ解像度は、出力解像度と同一であり、画像の品質は最大である。
‐隣り合う画素を電気的にまとめてマクロ画素を形成し、これらのマクロ画素を画素データとして出力にて送られる、いわゆる、「ビニング」モード。したがって、より広範な表面の撮像を同等の取得時間で行うことが可能になるが(したがって、映像シーケンスの流動性に影響なし)、引き替えに少なくとも50%の重大な精細度損失を被ることになる。実際、水平方向および/または垂直方向に画素を少なくとも2×2にまとめて、個々の画素を平均化することによってマクロ画素を形成する。
‐ビニングモードより低減レベルをさらに微調整することができる、いわゆる、「スケーリング」モード。実際、ビニングは、ピクセルのグループ化によって作用することから、2nタイプの比率に限定されるが、一方で、スケーリングの操作では、隣り合う画素の値に応じて各画素を個別にフィルタリングでソフトウェア低減させる。このように、3/4、2/3などの倍率の低減が行われ、ビニングモードより品質の良い画像が生成される。一方で、このスケーリングモードは、画質低減のために必要な計算が多いため速度が遅く、フィルタリングを実行するためには、キャプチャ表面の画素をすべて取得しなければならない。
図5は、本発明により、動作構成の動的切り換えを制御することが可能な画像処理回路の異なる要素を示すブロック図である。
無人機のカメラ14は、角変位を受ける。これらの変位は、無人機、ひいては、カメラの瞬間的な回転を表す信号を送る慣性ユニットIMU50によって測定され、慣性ユニット50およびカメラ14は機械的に固定されている。これらの回転は、固定された地球基準系(オイラー角)に関して三次元における無人機の傾きを表すピッチ角φ、ロール角θ、ヨー角ψによって与えられる。
これらの回転測定値は、ビデオ処理モジュール52に適用され、ウィンドウ調整、画像の安定化およびカメラ14によって送られる原画像信号のアーチファクトの補正を確保する。ビデオ処理モジュール52は、補正され安定化された画像信号を出力として送り、遠隔画面上での視覚化、デジタルメモリへの記録などのためにユーザに送信される。ビデオ処理モジュール52によって実行されるウィンドウ処理は、予測モジュール56によって送られた回転角φ、θ、ψの予測値から、デジタルセンサに形成された半球状の画像におけるキャプチャウィンドウZCの位置の計算を行うモジュール54によって制御され、予測モジュール56は、慣性ユニット50によって送られる無人機の回転の瞬間的な値を入力として受信する。このデータは、ビデオカメラによる画像の取得周波数、一般的に、30Hzの周波数より非常に高いジャイロの取得周波数、一般的に、990Hzの周波数で送られる。
本発明の特徴として、モジュール54は、予測モジュール56によって予測されるロール角に応じてセンサの最良の構成を選択するためのモジュール58さらに含む。
図6は、無人機のロール角に応じて、2つの異なる可能な構成の選択がどのように行われるかを概略的に示す。ここで、2つの異なる可能な構成は、例えば、以下の2つである。
‐ロール角θが15°未満の場合の「ノーマルモード」構成。選択された構成により、例えば、1408×2112画素に等しい出力キャプチャ解像度の最高品質が得られる。
‐劣化モード構成。例えば、ロール角が、全画像領域を生成できないしきい値(例えば、しきい値θ=15°)を超える場合の「水平ビニング」モード(図4aおよび図4bを参照して上記において記載)。劣化モード構成では、1408×2112画素の出力解像度を得るために、例えば、2816×2112画素のキャプチャ解像度が得られる。
‐ロール角θが15°未満の場合の「ノーマルモード」構成。選択された構成により、例えば、1408×2112画素に等しい出力キャプチャ解像度の最高品質が得られる。
‐劣化モード構成。例えば、ロール角が、全画像領域を生成できないしきい値(例えば、しきい値θ=15°)を超える場合の「水平ビニング」モード(図4aおよび図4bを参照して上記において記載)。劣化モード構成では、1408×2112画素の出力解像度を得るために、例えば、2816×2112画素のキャプチャ解像度が得られる。
しきい値を超えると、モジュール58は、低品質であるが、キャプチャ領域がさらに拡張されてカメラを動作させるセンサ再構成の信号をカメラ14に送る。ビニングモードのこのような低品質構成は、ロール角θが上述したしきい値を超える限り維持される。好ましくは、しきい値付近での複数のスイッチング現象を解消するために、ロール角が、例えば、12°を下回る場合のみノーマルモード構成への復帰を引き起こすことによって、ヒステリシスを導入することが可能である(一方で、ロール角が15°を超えると、逆の傾きが制御される)。
図7は、図6に類似しており、3つの異なる可能な構成について、例えば、ノーマルモードの最高品質とビニングモードのより強い劣化の品質との間の中間である弱い劣化の品質のスケーリングモードの中間構成を備える。
3つのモード間の切り換えは上述したものと同じように操作され、例えば、ノーマルモードの0〜15°のロール角範囲、スケーリングモードの15〜25°、ビニングモードの25〜45°に基づいて操作され、いずれの場合も、ある構成から他の構成への切り換え時にヒステリシスが導入される。
図8aから図8eは、無人機はまずフラット状態にあり、わずかに傾いた後、さらに顕著に傾いた後、フラット状態に戻る工程で、2つの異なる構成である最高および低の間で切り換える一例を示す。
これらの図において、画像領域ZIは点線で示され、キャプチャ領域は鎖線で示される。このキャプチャ領域は、カメラがノーマルモードで操作される場合、ベースキャプチャ領域ZCBであってもよく、カメラが劣化モードで操作される場合、例えば、ベースキャプチャ領域ZCBの4倍拡張された拡張キャプチャ表面ZCEを有する2×2ビニングモードにおいて、このキャプチャ領域は、拡張キャプチャ領域ZCEであってもよい。
最初(図8a)、無人機は水平であり、一般的に、ホバリング飛行状況に相当する。ロール角θは0°であり、ベースキャプチャ領域の軸Dおよび画像領域ZIの軸B’は一致している。
ロール角θが15°未満、例えば、ロール角θ=12°に無人機がわずかに傾くと(図8b)、画像領域ZIは、ベースキャプチャ領域ZCBにすべて収まったままである。
無人機がさらに顕著に傾くと(図8c)、例えば、ロール角θ=30°に傾くと、ベースキャプチャ領域ZCBは画像領域ZIを含まなくなり、画像領域ZIは、ベースキャプチャ領域を越えて非キャプチャ領域ZXに及ぶ。センサは、ほとんどの極限構成(θ=45°まで)でも、画像領域ZIを常に含むことが可能な拡張キャプチャ領域ZCEを有する劣化構成(ビニングまたはスケーリング)に切り換わる。
無人機が逆動作を行うと、この構成は、ロール角θ=12°に達するまで維持される(図8d)。なお、図8dにおいて、傾きは図8bと同じであるが、キャプチャ領域は、拡張キャプチャ領域ZCEのままである(ヒステリシス効果)。実際、早急にノーマルモードに戻ると、許容誤差が低すぎて、キャプチャ領域の表面が画像領域を常に含むことができるか確実ではなくなることがある。
ノーマルモードへの切り換えは、許容誤差が十分に高い場合のみにすることで(図8e)、ノーマルモードへのセンサの逆切り換え操作を最高品質で行うことが可能になる。
したがって、いずれの場合も、ロールが大きい場合であっても、画像に欠落ピクセルが生じることなく安定化された視野が常に生成されることが分かる。ビニングモードが使用される場合(図8cおよび図8dの状況)、当然ながら画像のぼけはわずかに強くなるが、このような修正は一時的なもので、いずれにせよ、ピクセルが欠落してユーザに渡る最終画像の帯や角がグレーになる場合と比較するとほとんど気が付きにくい。
Claims (3)
- 撮像画像の安定化用システムを備えた無人機(10)などの電動飛行機であって、
前記無人機の本体に接続されたカメラ(14)であって、魚眼タイプの半球視野レンズと、前記半球視野レンズによって形成された画像を取得するデジタルセンサとを備え、前記デジタルセンサに形成された前記画像の画素のうち、キャプチャ領域(ZC)内に位置する一部のみが、原画素データを送るために取り込まれるカメラと、
絶対地球基準系に対して前記無人機の瞬間姿勢を表すオイラー角(φ、θ、ψ)を測定するように構成された慣性ユニット(50)と、
前記キャプチャ領域(ZC)の前記原画素データを入力として受信し、前記キャプチャ領域内にあり且つ従来のカメラによって撮像された角度セクタ(36)に相当する縮小サイズの画像領域(ZI)の画素データを出力として送り出す抽出モジュール(52)と、
前記慣性ユニットから送られる角度値を入力として受信し、前記慣性ユニットによって測定された前記角度値の変化の方向とは反対の方向に、前記キャプチャ領域内の前記画像領域の位置および向きを動的に修正するように構成されたフィードバック制御モジュール(54、56)と、
を備え、
前記デジタルセンサは、複数の異なる動作構成に応じて動作可能であって、前記カメラの同一の画像撮像シーケンス中に動的に選択可能であるセンサであり、前記動作構成は、
キャプチャ領域(ZC)としてベースキャプチャ領域(ZCB)を用いる基本構成と、
前記ベースキャプチャ領域(ZCB)より大きいサイズの拡張キャプチャ領域(ZCE)をキャプチャ領域(ZC)として用いる少なくとも1つの劣化モード構成であって、前記拡張キャプチャ領域のサイズを前記ベースキャプチャ領域のサイズに縮小する変換処理を前記拡張キャプチャ領域の画素に適用する少なくとも1つの劣化モード構成とを備え、
前記慣性ユニットから送られる前記無人機の連続したロール角値(θ)を入力として受信し、
前記ロール角値(θ)が第1の限界値より低い場合、前記デジタルセンサが前記基本構成に応じて動作し、且つ前記ロール角値(θ)が第2の限界値より高い場合、前記デジタルセンサが劣化モード構成に応じて動作するように、前記デジタルセンサの現行の動作構成を動的に修正するように構成された補償モジュール(58)をさらに備えることを特徴とする電動飛行機。 - ロール効果補償手段は、前記デジタルセンサの前記現行の動作構成を、前記ロール角値が第1の所定のしきい値を上回ると、前記基本構成から前記劣化モード構成へ動的に修正し、前記無人機の前記ロール角が第2の所定のしきい値を下回ると、前記劣化モード構成から前記基本構成へ動的に修正するように構成され、
前記第2のしきい値は前記第1のしきい値とは異なり、前記第1のしきい値より低い、請求項1に記載の無人機。 - 前記動作構成は、
前記ベースキャプチャ領域(ZCB)をキャプチャ領域(ZC)として用いる前記基本構成(第1構成)と、
前記ベースキャプチャ領域より大きいサイズの第1の拡張キャプチャ領域をキャプチャ領域(ZC)として用いる中度劣化モード構成であって、前記第1の拡張キャプチャ領域のサイズを前記ベースキャプチャ領域のサイズに縮小するように構成された第1の変換処理を前記第1の拡張キャプチャ領域の画素に適用する中度劣化モード構成(第2構成)と、
前記第1の拡張キャプチャ領域よりサイズが大きい第2の拡張キャプチャ領域をキャプチャ領域(ZC)として用いる強度劣化モード構成であって、前記第1の処理とは異なる第2の変換処理であって前記第2の拡張キャプチャ領域のサイズを前記ベースキャプチャ領域のサイズに縮小するように構成された第2の変換処理を、前記第2の拡張キャプチャ領域の画素に適用する強度劣化モード構成(第3構成)とを備え、
前記補償モジュールは、前記デジタルセンサが、前記ロール角値が前記第1の限界値より低い場合、前記基本構成に応じて動作し、前記ロール角値が前記第2の限界値より高く第3の限界値より低い場合、前記中度劣化モード構成に応じて動作し、前記ロール角値が前記第3の限界値より高い場合、前記強度劣化モード構成に応じて動作するように、前記センサの前記現行の動作構成を動的に修正するようにさらに構成された請求項1に記載の無人機。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1550568A FR3032052B1 (fr) | 2015-01-26 | 2015-01-26 | Drone muni d'une camera video et de moyens de compensation des artefacts produits aux angles de roulis les plus importants |
FR1550568 | 2015-01-26 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016140069A true JP2016140069A (ja) | 2016-08-04 |
Family
ID=52737342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016011421A Withdrawn JP2016140069A (ja) | 2015-01-26 | 2016-01-25 | ビデオカメラと、最大ロール角で生じるアーチファクトの補償手段とを備えた無人機 |
Country Status (5)
Country | Link |
---|---|
US (2) | US9876959B2 (ja) |
EP (1) | EP3048789B1 (ja) |
JP (1) | JP2016140069A (ja) |
CN (1) | CN105915786A (ja) |
FR (1) | FR3032052B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018119555A1 (zh) * | 2016-12-26 | 2018-07-05 | 深圳市大疆创新科技有限公司 | 无人机 |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3032052B1 (fr) * | 2015-01-26 | 2017-03-10 | Parrot | Drone muni d'une camera video et de moyens de compensation des artefacts produits aux angles de roulis les plus importants |
FR3055075B1 (fr) * | 2016-08-09 | 2021-09-17 | Vincent Boucher | Dispositif de prise de vue stabilisee et omnidirectionnelle a 4 pi steradians permettant d'obtenir une image fixe lorsque ledit dispositif est en mouvement |
FR3055078B1 (fr) * | 2016-08-11 | 2019-05-31 | Parrot Drones | Procede de capture d'image(s), programme d'ordinateur, et systeme electronique de capture d'une video associes |
FR3055077B1 (fr) * | 2016-08-11 | 2018-10-05 | Parrot Drones | Procede de capture d'une video, programme d'ordinateur, et systeme electronique de capture d'une video associes |
KR102514566B1 (ko) * | 2016-08-23 | 2023-03-27 | 삼성전자주식회사 | 전자 장치 및 그의 동작 방법 |
WO2018053785A1 (en) | 2016-09-23 | 2018-03-29 | Qualcomm Incorporated | Image processing in an unmanned autonomous vehicle |
WO2018053809A1 (en) * | 2016-09-23 | 2018-03-29 | Qualcomm Incorporated | Adaptive image processing in an unmanned autonomous vehicle |
CA3037409C (en) | 2016-09-23 | 2023-03-14 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method for transmitting srs, network device and terminal device |
WO2018053786A1 (en) * | 2016-09-23 | 2018-03-29 | Qualcomm Incorporated | Adaptive motion filtering in an unmanned autonomous vehicle |
CN106375669B (zh) * | 2016-09-30 | 2019-08-06 | 天津远度科技有限公司 | 一种稳像方法、装置和无人机 |
KR102599776B1 (ko) * | 2016-11-15 | 2023-11-08 | 삼성전자 주식회사 | 전자 장치 및 이를 이용한 동체를 제어하는 방법 |
KR20180068411A (ko) * | 2016-12-14 | 2018-06-22 | 삼성전자주식회사 | 무인 비행 전자 장치의 운행 제어 방법 및 이를 지원하는 전자 장치 |
US20180231379A1 (en) * | 2017-02-14 | 2018-08-16 | Honeywell International Inc. | Image processing system |
CN108521805A (zh) * | 2017-03-28 | 2018-09-11 | 深圳市大疆灵眸科技有限公司 | 基于云台的安装状态的控制方法及飞行器 |
CN107632974B (zh) * | 2017-08-08 | 2021-04-13 | 北京微瑞思创信息科技股份有限公司 | 适用于多领域的中文分析平台 |
CN109600543B (zh) * | 2017-09-30 | 2021-01-22 | 京东方科技集团股份有限公司 | 用于移动设备拍摄全景图像的方法以及移动设备 |
KR101951666B1 (ko) * | 2017-10-05 | 2019-02-25 | 윤태기 | 촬영용 드론 및 그 제어 방법 |
US10502819B2 (en) * | 2017-12-21 | 2019-12-10 | GM Global Technology Operations LLC | Systems and methods for aligning an inertial measurement unit in a vehicle |
EP3550506B1 (en) | 2018-04-05 | 2021-05-12 | Everdrone AB | A method for improving the interpretation of the surroundings of a uav, and a uav system |
US10917573B1 (en) | 2019-05-21 | 2021-02-09 | Gopro, Inc. | Systems and methods for stabilizing videos |
US20220114382A1 (en) * | 2019-06-05 | 2022-04-14 | Hewlett-Packard Development Company, L.P. | Structural measurement using a fixed pattern |
EP3761220A1 (en) | 2019-07-05 | 2021-01-06 | Everdrone AB | Method for improving the interpretation of the surroundings of a vehicle |
US11677912B2 (en) * | 2019-10-23 | 2023-06-13 | Alarm.Com Incorporated | Robot sensor installation |
US11706527B1 (en) * | 2022-04-06 | 2023-07-18 | Gopro, Inc. | Systems and methods for stabilizing videos |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6672538B2 (en) * | 2002-05-23 | 2004-01-06 | Sikorsky Aircraft Corporation | Transmission for a coaxial counter rotating rotor system |
JP2007306353A (ja) * | 2006-05-12 | 2007-11-22 | Opt Kk | 動画の表示方法、動画表示システムおよび広角動画撮像装置 |
FR2938774A1 (fr) | 2008-11-27 | 2010-05-28 | Parrot | Dispositif de pilotage d'un drone |
US20110128350A1 (en) * | 2009-11-30 | 2011-06-02 | Motorola, Inc. | Method and apparatus for choosing a desired field of view from a wide-angle image or video |
FR2957266B1 (fr) | 2010-03-11 | 2012-04-20 | Parrot | Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante. |
FR2961601B1 (fr) * | 2010-06-22 | 2012-07-27 | Parrot | Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote |
EP3549872B1 (en) * | 2011-09-09 | 2021-02-24 | SZ DJI Osmo Technology Co., Ltd. | Dual-axis platform for use in a small unmanned aerial vehicle and tri-axis platform for use in a small unmanned aerial vehicle |
CN102566441A (zh) * | 2011-12-29 | 2012-07-11 | 成都飞机工业(集团)有限责任公司 | 用于无人机的可视仿真试验*** |
FR2985329B1 (fr) | 2012-01-04 | 2015-01-30 | Parrot | Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande. |
FR2985581B1 (fr) * | 2012-01-05 | 2014-11-28 | Parrot | Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs |
WO2014058511A2 (en) * | 2012-08-01 | 2014-04-17 | Bye Uas, Inc. | Small uas with high definition video |
US9070289B2 (en) * | 2013-05-10 | 2015-06-30 | Palo Alto Research Incorporated | System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform |
US8903568B1 (en) * | 2013-07-31 | 2014-12-02 | SZ DJI Technology Co., Ltd | Remote control method and terminal |
FR3020169A1 (fr) | 2014-04-16 | 2015-10-23 | Parrot | Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees |
CN106471337B (zh) * | 2014-04-28 | 2020-12-18 | 深圳市大疆创新科技有限公司 | 可替换的安装平台 |
KR102219698B1 (ko) * | 2014-04-30 | 2021-02-24 | 엘지전자 주식회사 | 무인 항공기 제어 장치 및 방법 |
US9586683B1 (en) * | 2014-12-22 | 2017-03-07 | Amazon Technologies, Inc. | Transitioning an unmanned aerial vehicle to horizontal flight |
FR3032052B1 (fr) * | 2015-01-26 | 2017-03-10 | Parrot | Drone muni d'une camera video et de moyens de compensation des artefacts produits aux angles de roulis les plus importants |
-
2015
- 2015-01-26 FR FR1550568A patent/FR3032052B1/fr not_active Expired - Fee Related
-
2016
- 2016-01-22 EP EP16152385.7A patent/EP3048789B1/fr active Active
- 2016-01-22 US US15/004,733 patent/US9876959B2/en active Active
- 2016-01-25 JP JP2016011421A patent/JP2016140069A/ja not_active Withdrawn
- 2016-01-26 CN CN201610255068.3A patent/CN105915786A/zh active Pending
-
2017
- 2017-12-14 US US15/842,710 patent/US10326939B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018119555A1 (zh) * | 2016-12-26 | 2018-07-05 | 深圳市大疆创新科技有限公司 | 无人机 |
Also Published As
Publication number | Publication date |
---|---|
US20180109731A1 (en) | 2018-04-19 |
CN105915786A (zh) | 2016-08-31 |
US10326939B2 (en) | 2019-06-18 |
FR3032052A1 (fr) | 2016-07-29 |
EP3048789A1 (fr) | 2016-07-27 |
US9876959B2 (en) | 2018-01-23 |
EP3048789B1 (fr) | 2016-12-28 |
US20160219223A1 (en) | 2016-07-28 |
FR3032052B1 (fr) | 2017-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016140069A (ja) | ビデオカメラと、最大ロール角で生じるアーチファクトの補償手段とを備えた無人機 | |
JP2017103751A (ja) | 姿勢に依存しない制御パラメータ、特に自動露出制御を伴う前方視カメラを含むドローン | |
JP2015204633A (ja) | 安定化した一続きの画像を提供するビデオカメラが設けられた回転翼無人機 | |
EP3078402B1 (fr) | Système de pilotage de drone en immersion | |
US9747725B2 (en) | Video system for piloting a drone in immersive mode | |
JP2017085550A (ja) | 自動露光制御のために空の画像の区分を用いる前方視カメラ付きドローン | |
US10659690B2 (en) | Systems and methods for mobile platform imaging | |
JP2017142226A (ja) | ウォブル効果を訂正された画像のシーケンスを送信するビデオカメラが設けられたドローン | |
US11076082B2 (en) | Systems and methods for digital video stabilization | |
US20200154026A1 (en) | Imaging control method, imaging device and unmanned aerial vehicle | |
JP2019080226A (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
JP2017034320A (ja) | 移動機構を持った撮像装置 | |
KR102381007B1 (ko) | 이중 폴딩 랜딩기어 및 이를 구비한 무진동 짐벌 장치 | |
JP7191257B1 (ja) | ドローン | |
WO2018179403A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP2018078388A (ja) | 映像投射システム | |
FR3020168A1 (fr) | Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170425 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181015 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20190527 |