以下、添付の図面を参照して、この出願の実施形態の技術的解決策を明確に説明する。この出願の実施形態の説明においては、特に断らない限り、「/」は、「又は」を示す。例えば、A/Bは、A又はBを示すことができる。本明細書における「及び/又は」という用語は、関連付けられた物体を説明するための関連関係を示すに過ぎず、3つの関係が存在し得ることを示している。例えば、A及び/又はBは、Aのみが存在する、AとBの両方が存在する、Bのみが存在する3つの場合を示すことができる。追加的に、この出願の実施形態の説明では、「複数の」とは、2つ以上を意味する。
下記の「第1の」及び「第2の」という用語は、単に説明を意図したものであり、相対的重要性の表示若しくは暗示、又は示された技術的特徴の数の暗示的な表示として理解されるものではない。したがって、「第1の」又は「第2の」によって限定される特徴は、1つ以上の特徴を明示的又は暗示的に含むことができる。この出願の実施形態の説明では、特に規定がない限り、「複数の」とは、2つ以上を意味する。
図1は、移動端末100の概略構造図である。
移動端末100は、以下、実施形態を詳細に説明するための例として使用される。図1に示す移動端末100は、単なる一例であり、移動端末100は、図1に示すものよりも構成要素が多くても少なくてもよいし、2つ以上の構成要素を組み合わせて、もよいし、異なる構成要素を有してもよいことを理解されたい。図に示される種々の構成要素は、1つ以上の信号処理及び/又は特定用途向け集積回路、ソフトウェア、又はハードウェアとソフトウェアの組み合わせを含むハードウェア上に実装することができる。
移動端末100は、プロセッサ110、外部メモリインターフェース120、内部メモリ121、ユニバーサルシリアルバス(universal serial bus、USB)インターフェース130、充電管理モジュール140、電力管理モジュール141、バッテリ142、アンテナ1、アンテナ2、移動通信モジュール150、無線通信モジュール160、オーディオモジュール170、スピーカ170A、電話受信機170B、マイクロホン170C、ヘッドセットジャック170D、センサモジュール180、キー190、モータ191、インジケータ192、カメラ193、ディスプレイ194、加入者識別モジュール(subscriber identification module、SIM)カードインターフェース195などを含み得る。センサモジュール180は、圧力センサ180A、ジャイロセンサ180B、気圧センサ180C、磁気センサ180D、加速度センサ180E、レンジセンサ180F、光近接センサ180G、指紋センサ180H、温度センサ180J、タッチセンサ180K、周辺光センサ180L、骨伝導センサ180Mなどを含み得る。
本発明のこの実施形態における例示的な構造は、移動端末100に対する特定の限定を構成しないと理解されよう。この出願の他のいくつかの実施形態において、移動端末100は、図に示されているものよりも多くの又は少ない構成要素を含んでもよく、いくつかの構成要素を組み合わせてもよく、いくつかの構成要素を分割してもよく、異なる構成要素アレンジメントを使用してもよい。図における構成要素は、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの組み合わせを使用することによって実施することができる。
プロセッサ110は、1つ以上の処理ユニットを含み得る。例えば、プロセッサ110は、アプリケーションプロセッサ(application processor、AP)、モデムプロセッサ、グラフィックス処理ユニット(graphics processing unit、GPU)、画像信号プロセッサ(image signal processor、ISP)、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ(digital signal processor、DSP)、ベースバンドプロセッサ、及び/又はニューラル処理ユニット(neural-network processing unit、NPU)を含み得る。異なる処理ユニットは、独立した構成要素であってもよく、1つ以上のプロセッサに統合されてもよい。
コントローラは、移動端末100の神経センター及びコマンドセンターであり得る。コントローラは、命令読み出し及び命令実行の制御を完了するために、命令動作コード及び時間シーケンス信号に基づいて動作制御信号を生成することができる。
命令及びデータを記憶するために、メモリが、さらに、プロセッサ110内に配置されてもよい。いくつかの実施形態において、プロセッサ110内のメモリはキャッシュメモリである。メモリは、プロセッサ110によって単に使用されるか又は周期的に使用される命令又はデータを記憶することができる。プロセッサ110が命令又はデータを再度使用する必要がある場合、プロセッサ110は、メモリから命令又はデータを直接呼び出して、繰り返されるアクセスを回避し、プロセッサ110の待ち時間を短縮することができる。したがって、システム効率が改善される。
いくつかの実施形態において、プロセッサ110は、1つ以上のインターフェースを含み得る。インターフェースは、集積回路間(inter-integrated circuit、I2C)インターフェース、集積回路間音響(inter-integrated circuit sound、I2S)インターフェース、パルスコード変調(pulse code modulation、PCM)インターフェース、ユニバーサル非同期受信機/送信機(universal asynchronous receiver/transmitter、UART)インターフェース、モバイル産業用プロセッサインターフェース(mobile industry processor interface、MIPI)、汎用入力/出力(general-purpose input/output、GPIO)インターフェース、加入者識別モジュール(subscriber identity module、SIM)インターフェース、ユニバーサルシリアルバス(universal serial bus、USB)インターフェースなどを含み得る。
I2Cインターフェースは、双方向同期シリアルバスであり、1つのシリアルデータライン(serial data line、SDA)と1つのシリアルクロックライン(serial clock line、SCL)を含む。いくつかの実施形態において、プロセッサ110は、複数のI2Cバスのグループを含み得る。プロセッサ110は、異なるI2Cバスインターフェースを使用することによって、タッチセンサ180K、充電器、フラッシュライト、カメラ193などに結合され得る。例えば、プロセッサ110は、I2Cインターフェースを使用することによってタッチセンサ180Kに結合されてもよく、その結果、プロセッサ110は、移動端末100のタッチ機能を実施するために、I2Cバスインターフェースを使用することによってタッチセンサ180Kと通信する。
I2Sインターフェースはオーディオ通信に使用され得る。いくつかの実施形態において、プロセッサ110は、複数のグループのI2Sバスを含み得る。プロセッサ110は、プロセッサ110とオーディオモジュール170との間の通信を実施するために、I2Sバスを使用することによってオーディオモジュール170に結合され得る。いくつかの実施形態において、オーディオモジュール170は、Bluetoothヘッドセットを介して呼に応答する機能を実施するために、I2Sインターフェースを使用することによってオーディオ信号を無線通信モジュール160に転送することができる。
PCMインターフェースはまた、オーディオ通信のために使用されてもよく、アナログ信号をサンプリング、量子化、及びコード化する。いくつかの実施形態において、オーディオモジュール170は、PCMバスインターフェースを使用することによって無線通信モジュール160に結合され得る。いくつかの実施形態において、オーディオモジュール170はまた、Bluetoothヘッドセットを使用して呼に応答する機能を実施するために、PCMインターフェースを使用することによってオーディオ信号を無線通信モジュール160に転送してもよい。I2SインターフェースとPCMインターフェースの両方は、オーディオ通信に使用され得る。
UARTインターフェースは汎用シリアルデータバスであり、非同期通信に使用される。バスは、双方向通信バスであり得る。バスは、直列通信と並列通信の変換を送信予定データに対して実行する。いくつかの実施形態において、UARTインターフェースは、通常、プロセッサ110を無線通信モジュール160に接続するように構成されている。例えば、プロセッサ110は、Bluetooth機能を実施するために、UARTインターフェースを使用することによって無線通信モジュール160内のBluetoothモジュールと通信する。いくつかの実施形態において、オーディオモジュール170は、Bluetoothヘッドセットを介して音楽を再生する機能を実施するために、UARTインターフェースを使用することによってオーディオ信号を無線通信モジュール160に転送することができる。
MIPIインターフェースは、プロセッサ110をディスプレイ194又はカメラ193などの周辺デバイスに接続するように構成され得る。MIPIインターフェースは、カメラシリアルインターフェース(camera serial interface、CSI)、ディスプレイシリアルインターフェース(display serial interface、DSI)などを含む。いくつかの実施形態において、プロセッサ110は、移動端末100の撮影機能を実施するために、CSIインターフェースを使用することによってカメラ193と通信する。プロセッサ110は、移動端末100の表示機能を実施するために、DSIインターフェースを使用することによってディスプレイ194と通信する。
GPIOインターフェースは、ソフトウェアを使用することによって構成されている。GPIOインターフェースは、制御信号として構成されてもよいし、データ信号として構成されてもよい。いくつかの実施形態において、GPIOインターフェースは、プロセッサ110をカメラ193、ディスプレイ194、無線通信モジュール160、オーディオモジュール170、センサモジュール180などに接続するように構成され得る。代替的には、GPIOインターフェースは、I2Cインターフェース、I2Sインターフェース、UARTインターフェース、MIPIインターフェースなどとして構成されてもよい。
USBインターフェース130は、USB標準仕様に準拠したインターフェースであり、具体的には、ミニUSBインターフェース、マイクロUSBインターフェース、USBタイプCインターフェースなどであり得る。USBインターフェース130は、移動端末100を充電するために充電器に接続するように構成されてもよいし、移動端末100と周辺デバイスとの間でデータを送信するように構成されてもよい。代替的には、USBインターフェース130は、ヘッドセットに接続し、ヘッドセットを介してオーディオを再生するように構成されてもよい。代替的には、USBインターフェース130は、ARデバイスなどの別の移動端末に接続するように構成されてもよい。
本発明の実施形態に示されたモジュール間のインターフェース接続関係は、単なる説明の例であり、移動端末100の構造に対する限定を構成しないと理解されよう。この出願のいくつかの他の実施形態において、移動端末100は、代替的には、前述の実施形態とは異なるインターフェース接続モードを使用してもよく、又は複数のインターフェース接続モードの組み合わせを使用してもよい。
充電管理モジュール140は、充電器からの充電入力を受信するように構成されている。充電器は、無線充電器又は有線充電器であり得る。有線充電のいくつかの実施形態において、充電管理モジュール140は、USBインターフェース130を使用することによって有線充電器の充電入力を受信してもよい。無線充電のいくつかの実施形態において、充電管理モジュール140は、移動端末100の無線充電コイルを使用することによって無線充電入力を受信してもよい。充電管理モジュール140は、さらに、バッテリ142を充電しながら、電力管理モジュール141を使用することによって移動端末に電力を供給することができる。
電力管理モジュール141は、バッテリ142、充電管理モジュール140、及びプロセッサ110に接続するように構成されている。電力管理モジュール141は、バッテリ142及び/又は充電管理モジュール140から入力を受信し、プロセッサ110、内部メモリ121、外部メモリ、ディスプレイ194、カメラ193、無線通信モジュール160などに電力を供給する。電力管理モジュール141は、さらに、バッテリ容量、バッテリサイクル、及びバッテリ健康状態(漏電又はインピーダンス)などのパラメータを監視するように構成され得る。いくつかの他の実施形態において、電力管理モジュール141は、代替的には、プロセッサ110内に配置されてもよい。いくつかの他の実施形態において、電力管理モジュール141及び充電管理モジュール140は、代替的には、同じ構成要素内に配置されてもよい。
移動端末100の無線通信機能は、アンテナ1、アンテナ2、移動通信モジュール150、無線通信モジュール160、モデムプロセッサ、ベースバンドプロセッサなどを使用することによって実施され得る。
アンテナ1及びアンテナ2は、電磁波信号を送信及び受信するように構成されている。移動端末100内の各アンテナは、1つ以上の通信帯域をカバーするように構成され得る。アンテナの利用を改善するために、異なるアンテナは、さらに、多重化され得る。例えば、アンテナ1は、無線ローカルエリアネットワークのダイバーシチアンテナとして多重化され得る。いくつかの他の実施形態において、アンテナは、同調スイッチと組み合わせて使用されてもよい。
移動通信モジュール150は、移動端末100に適用される2G/3G/4G/5Gなどを含む無線通信のための解決策を提供することができる。移動通信モジュール150は、少なくとも1つのフィルタ、スイッチ、電力増幅器、低ノイズ増幅器(low noise amplifier、LNA)などを含み得る。移動通信モジュール150は、アンテナ1を使用することによって電磁波を受信し、受信した電磁波に対するフィルタリングや増幅などの処理を実行し、復調のために電磁波をモデムプロセッサに転送することができる。移動通信モジュール150は、さらに、モデムプロセッサによって変調された信号を増幅し、アンテナ1を使用することによって信号を放射のための電磁波に変換することができる。いくつかの実施形態において、移動通信モジュール150内の少なくともいくつかの機能モジュールは、プロセッサ110内に配置されてもよい。いくつかの実施形態において、移動通信モジュール150内の少なくともいくつかの機能モジュール及びプロセッサ110内の少なくともいくつかのモジュールは、同じ構成要素内に配置されてもよい。
モデムプロセッサは、変調器及び復調器を含むことができる。変調器は、送信されるべき低周波ベースバンド信号を中高周波信号に変調するように構成されている。復調器は、受信電磁波信号を低周波ベースバンド信号に復調するように構成されている。次に、復調器は、復調を通じて取得された低周波ベースバンド信号を処理のためにベースバンドプロセッサに転送する。低周波ベースバンド信号は、ベースバンドプロセッサによって処理され、次に、アプリケーションプロセッサに転送される。アプリケーションプロセッサは、オーディオデバイス(スピーカ170A、電話受信機170Bなどに限定されない)を使用することによって音声信号を出力するか、又はディスプレイ194を使用することによって画像やビデオを表示する。いくつかの実施形態において、モデムプロセッサは、独立した構成要素であってもよい。いくつかの他の実施形態において、モデムプロセッサは、プロセッサ110から独立していてもよく、移動通信モジュール150又は別の機能モジュールと同じ構成要素内に配置される。
無線通信モジュール160は、無線ローカルエリアネットワーク(wireless local area networks、WLAN)(例えば、無線フェデリティ(wireless fidelity、Wi-Fi)ネットワーク)、Bluetooth(bluetooth、BT)、グローバルナビゲーション衛星システム(global navigation satellite system、GNSS)、周波数変調(frequency modulation、FM)、近接場通信(near field communication、NFC)技術、又は移動端末100に適用される赤外線(infrared、IR)技術などの無線通信のための解決策を提供することができる。無線通信モジュール160は、少なくとも1つの通信プロセッサモジュールを統合する1つ以上の構成要素であり得る。無線通信モジュール160は、アンテナ2を使用することにより電磁波を受信し、電磁波信号に対して周波数変調及びフィルタ処理を実行し、処理された信号をプロセッサ110に送信する。無線通信モジュール160は、さらに、プロセッサ110から送信されるべき信号を受信し、その信号に対して周波数変調を実行し、増幅し、アンテナ2を使用することによって、その信号を電磁波に変換することができる。
いくつかの実施形態において、移動端末100のアンテナ1及び移動通信モジュール150は結合され、移動端末100のアンテナ2及び無線通信モジュール160は結合され、その結果、移動端末100は、無線通信技術を使用することによって、ネットワーク及び別のデバイスと通信することができる。無線通信技術は、移動通信のためのグローバルシステム(global system for mobile communications、GSM)、一般パケット無線サービス(general packet radio service、GPRS)、符号分割多元接続(code division multiple access、CDMA)、広帯域符号分割多元接続(wideband code division multiple access、WCDMA)、時分割符号分割多元接続(time-division code division multiple access、TD-SCDMA)、ロングタームエボリューション(long term evolution、LTE)、BT、GNSS、WLAN、NFC、FM、及び/又はIRなどの技術を含み得る。GNSSは、全地球測位システム(global positioning system、GPS)、全地球航法衛星システム(global navigation satellite system、GLONASS)、北斗航法衛星システム(BeiDou navigation satellite system、BDS)、準天頂衛星システム(quasi-zenith satellite system、QZSS)、及び/又は衛星ベースの増強システム(satellite based augmentation systems、SBAS)を含み得る。
移動端末100は、GPU、ディスプレイ194、アプリケーションプロセッサなどを使用することによりディスプレイ機能を実施する。GPUは画像処理のためのマイクロプロセッサであり、ディスプレイ194及びアプリケーションプロセッサに接続される。GPUは、数学的及び幾何学的計算を実行するように構成され、画像をレンダリングするように構成されている。プロセッサ110は、表示情報を生成又は変更するためのプログラム命令を実行する1つ以上のGPUを含み得る。
ディスプレイ194は、画像、ビデオなどを表示するように構成されている。ディスプレイ194は、ディスプレイパネルを含む。表示パネルは、液晶ディスプレイ(liquid crystal display、LCD)、有機発光ダイオード(organic light-emitting diode、OLED)、アクティブマトリックス有機発光ダイオード又はアクティブマトリックス有機発光ダイオード(active-matrix organic light emitting diode、AMOLED)、フレキシブル発光ダイオード(flex light-emitting diode、FLED)、ミニLED、マイクロLED、マイクロ有機EL、量子ドット発光ダイオード(quantum dot light emitting diodes、QLED)などを使用し得る。いくつかの実施形態において、移動端末100は、1つ又はN個のディスプレイ194を含んでもよく、Nは、1よりも大きい正の整数である。
移動端末100は、ISP、カメラ193、ビデオコーデック、GPU、ディスプレイ194、アプリケーションプロセッサなどを使用することによって、撮影機能を実施することができる。
ISPは、カメラ193によってフィードバックされたデータを処理するように構成されている。例えば、撮影中にシャッタをオンにし、レンズを通して光線をカメラの感光体に透過させ、光信号を電気信号に変換し、カメラの感光体は電気信号を処理のためにISPに送信し、電気信号を見ることができる画像に変換する。ISPは、さらに、画像のノイズ、輝度、及び顔色に関してアルゴリズム最適化を実行することができる。ISPは、さらに、撮影シナリオの露光及び色温度などのパラメータを最適化することができる。いくつかの実施形態において、ISPは、カメラ193に配置されてもよい。
カメラ193は、静止画像又はビデオをキャプチャするように構成されている。レンズを使用することによって物体の光学画像を生成し、感光体に投影する。感光体は、電荷結合素子(charge coupled device、CCD)又は相補型金属酸化物半導体(complementary metal-oxide-semiconductor、CMOS)光電トランジスタであり得る。感光体は、光信号を電気信号に変換し、次に、電気信号をISPに送信して、電気信号をデジタル画像信号に変換する。ISPは、デジタル画像信号を処理のためにDSPに出力する。DSPは、デジタル画像信号をRGB又はYUVなどのフォーマットで標準画像信号に変換する。いくつかの実施形態において、移動端末100は、1つ又はN個のカメラ193を含んでもよく、Nは1よりも大きい正の整数である。
デジタル信号プロセッサは、デジタル信号を処理するように構成されている。デジタル画像信号に加えて、デジタル信号プロセッサは、さらに、別のデジタル信号を処理してもよい。例えば、移動端末100が周波数を選択するときに、デジタル信号プロセッサは、周波数エネルギーに対してフーリエ変換を実行するように構成されている。
ビデオコーデックは、デジタルビデオを圧縮又は解凍するように構成されている。移動端末100は、1つ以上のタイプのビデオコーデックをサポートすることができる。このようにして、移動端末100は、複数の符号化フォーマット、例えば、動画専門家グループ(moving picture experts group、MPEG)1、MPEG2、MPEG3、及びMPEG4でビデオを再生又は記録することができる。
NPUは、例えば、ヒト脳ニューロン間の伝達モードを参照することにより、生物学的ニューラルネットワークの構造を参照することにより入力情報を迅速に処理し、さらに、自己学習を継続的に実行するニューラルネットワーク(neural-network、NN)計算プロセッサである。NPUは、画像認識、顔認識、音声認識、及びテキスト理解のような、移動端末100のインテリジェント認知及び他のアプリケーションを実施するために使用され得る。
外部メモリインターフェース120は、移動端末100の記憶能力を拡張するために、マイクロSDカードのような外部記憶カードに接続するように構成され得る。外部記憶カードは、外部メモリインターフェース120を使用することによってプロセッサ110と通信し、データ記憶機能を実現する。例えば、音楽やビデオなどのファイルは、外部記憶カードに記憶される。
内部メモリ121は、コンピュータ実行可能プログラムコードを記憶するように構成されてもよく、実行可能プログラムコードは、命令を含む。プロセッサ110は、内部メモリ121に記憶された命令を動作させ、移動端末100の様々な機能アプリケーションを実施し、データを処理する。内部メモリ121は、プログラム記憶領域及びデータ記憶領域を含み得る。プログラム記憶領域は、オペレーティングシステム、少なくとも1つの機能(例えば、音声再生機能又は画像再生機能)によって必要とされるアプリケーションプログラムなどを記憶することができる。データ記憶領域は、移動端末100の使用中に生成されたデータなど(オーディオデータ及びアドレスブックなど)を記憶することができる。追加的に、内部メモリ121は、高速ランダムアクセスメモリを含んでもよく、さらに、不揮発性メモリ、例えば、少なくとも1つの磁気ディスク記憶デバイス、フラッシュ記憶デバイス、又はユニバーサルフラッシュストレージ(universal flash storage、UFS)を含んでもよい。
移動端末100は、オーディオモジュール170、スピーカ170A、電話受信機170B、マイクロホン170C、ヘッドセットジャック170D、アプリケーションプロセッサなどを使用することによって、オーディオ機能、例えば、音楽の再生及び記録を実施することができる。
オーディオモジュール170は、デジタルオーディオ情報をアナログオーディオ信号出力に変換するように構成され、またアナログオーディオ入力をデジタルオーディオ信号に変換するように構成されている。オーディオモジュール170は、さらに、オーディオ信号を符号化及び復号するように構成されてもよい。いくつかの実施形態において、オーディオモジュール170は、プロセッサ110内に配置されてもよく、又はオーディオモジュール170内のいくつかの機能モジュールは、プロセッサ110内に配置される。
スピーカ170Aは、「ホーン」とも呼ばれ、オーディオ電気信号を音声信号に変換するように構成されている。移動端末100は、スピーカ170Aを介して音楽を聞いたり、ハンズフリーモードで呼に応答するために使用され得る。
「イヤピース」とも呼ばれる電話受信機170Bは、オーディオ電気信号を音声信号に変換するように構成されている。移動端末100を使用することによって呼に応答したり、オーディオ情報を聞いたりするときに、電話受信機170Bを人間の耳に近づけてボイスを聞くことができる。
マイクロホン170Cは、「マイク」又は「ボイス送信機」とも呼ばれ、音声信号を電気信号に変換するように構成されている。発呼やボイス情報の送信のときに、ユーザは、ユーザの口を使用することによってマイクロホン170C付近で音声を発し、音声信号をマイクロホン170Cに入力することができる。少なくとも1つのマイクロホン170Cが、移動端末100内に配置されてもよい。いくつかの他の実施形態において、2つのマイクロホン170Cが移動端末100内に配置されて、音声信号を収集し、ノイズ低減機能を実施してもよい。いくつかの他の実施形態において、3つ、4つ、又はそれ以上のマイクロホン170Cが、代替的には、移動端末100内に配置されて、音声信号を収集し、ノイズを低減し、音源を識別し、方向性記録機能などを実施してもよい。
ヘッドセットジャック170Dは、有線ヘッドセットに接続するように構成されている。ヘッドセットジャック170Dは、USBインターフェース130、3.5mmオープン移動端末プラットフォーム(open mobile terminal platform、OMTP)標準インターフェース、又は米国のセルラー通信業界協会(cellular telecommunications industry association of the USA、CTIA)標準インターフェースであり得る。
圧力センサ180Aは、圧力信号を感知するように構成され、圧力信号を電気信号に変換することができる。いくつかの実施形態において、圧力センサ180Aは、ディスプレイ194上に配置されてもよい。圧力センサ180Aには、抵抗圧力センサ、誘導圧力センサ、及び容量性圧力センサなど、多くのタイプがある。容量性圧力センサは、少なくとも2つの導電性材料を含む平行プレートであってもよい。圧力センサ180Aに力が加えられると、電極間のキャパシタンスが変化する。移動端末100は、キャパシタンス変化に基づいて圧力強度を判定する。ディスプレイ194上でタッチ操作が実行されると、移動端末100は、圧力センサ180Aを使用することによりタッチ操作の強度を検出する。移動端末100は、さらに、圧力センサ180Aの検出信号に基づいて、タッチ位置を計算してもよい。いくつかの実施形態において、同じタッチ位置に適用されるが、異なるタッチ操作強度を有するタッチ操作は、異なる操作命令に対応してもよい。例えば、タッチ操作強度が第1の圧力閾値よりも小さいタッチ操作がSMSアプリケーションアイコンに実行されるときに、SMSメッセージを閲覧するための指示が実行される。タッチ操作強度が第1の圧力閾値以上であるタッチ操作がSMSアプリケーションアイコンに実行されるときに、SMSメッセージを作成するための指示が実行される。
ジャイロセンサ180Bは、移動端末100の運動姿勢を判定するように構成され得る。いくつかの実施形態において、3つの軸(すなわち、x、y、及びz軸)周りの移動端末100の角速度は、ジャイロセンサ180Bを使用することによって判定されてもよい。ジャイロセンサ180Bは、撮影中の手ぶれ補正に使用され得る。例えば、シャッタがオンにされると、ジャイロセンサ180Bは、移動端末100がジッタする角度を検出し、レンズモジュールが補償する必要がある距離をその角度に基づいて計算し、レンズが移動端末100のジッタを反転運動によって相殺することを可能にして、手ぶれ補正を実現する。ジャイロセンサ180Bはまた、ナビゲーション及びモーション感知ゲームシーンのために使用され得る。
気圧センサ180Cは、気圧を測定するように構成されている。いくつかの実施形態において、移動端末100は、位置決め及びナビゲーションを支援するために、気圧センサ180Cによって測定された気圧値を使用することによって高度を計算する。
磁気センサ180Dは、ホールセンサを含む。移動端末100は、磁気センサ180Dを使用することによって、フリップレザーケースの開閉を検出することができる。いくつかの実施形態において、移動端末100がフリップ電話であるときに、移動端末100は、磁気センサ180Dに基づいてフリップカバーの開閉を検出することができる。さらに、検出された皮革ケースの開閉状態、又は検出されたフリップカバーの開閉状態に基づいて、フリップカバーの自動ロック解除などの機能が設定される。
加速度センサ180Eは、移動端末100の様々な方向(通常は3軸)の加速度値を検出することができる。移動端末100が静止しているときに、値及び重力の方向を検出することができる。加速度センサ180Eは、さらに、移動端末の姿勢を識別するように構成されてもよく、景観モードとポートレイトモードと歩数計との間の画面スイッチングのような用途に適用される。
レンジセンサ180Fは、距離を測定するように構成されている。移動端末100は、赤外線又はレーザを使用することによって距離を測定することができる。いくつかの実施形態において、撮影シナリオにおいて、移動端末100は、レンジセンサ180Fを使用して、距離を測定し、高速フォーカシングを実施してもよい。
光近接センサ180Gは、例えば、発光ダイオード(LED)と、フォトダイオードなどの光学検出器とを含み得る。発光ダイオードは赤外線発光ダイオードであり得る。移動端末100は、発光ダイオードを使用することにより赤外線を外部に放出する。移動端末100は、フォトダイオードを使用して、近くの物体からの赤外線反射光を検出する。十分な反射光が検出されるときに、移動端末100の近くに物体が存在すると判定することができる。不十分な反射光が検出されるときに、移動端末100は、移動端末100の近くに物体が存在しないと判定することができる。移動端末100は、光近接センサ180Gを使用することによって、ユーザが移動端末100を耳の近くに保持して発呼することを検出して、電力節約のためにディスプレイを自動的にオフにすることができる。光近接センサ180Gはまた、スマートカバーモード又はポケットモードで使用して、画面を自動的にロック解除又はロックすることができる。
周辺光センサ180Lは、周辺光輝度を感知するように構成されている。移動端末100は、感知された周辺光輝度に基づいてディスプレイ194の輝度を適応的に調整することができる。周辺光センサ180Lは、さらに、撮影中にホワイトバランスを自動的に調整するように構成されてもよい。周辺光センサ180Lは、さらに、光近接センサ180Gと協働して、移動端末100が誤ったタッチを防止するためにポケット内にあるかどうかを検出してもよい。
指紋センサ180Hは、指紋を収集するように構成されている。移動端末100は、収集された指紋の特徴を使用して、指紋のロック解除、アプリケーションアクセスのロック、指紋の撮影、指紋呼び出し応答などを実施することができる。
温度センサ180Jは、温度を検出するように構成されている。いくつかの実施形態において、移動端末100は、温度センサ180Jによって検出された温度を使用することによって温度処理方針を実行する。例えば、温度センサ180Jによって報告された温度が閾値を超えるときに、移動端末100は、温度センサ180Jの近くに位置するプロセッサの性能を低下させて、熱保護を実施するための電力消費を低減する。いくつかの他の実施形態において、温度が別の閾値を下回るときに、移動端末100は、低温による移動端末100の異常なシャットダウンを防止するために、バッテリ142を加熱する。いくつかの他の実施形態において、温度がさらに別の閾値を下回るときに、移動端末100は、低温による異常なシャットダウンを防止するために、バッテリ142の出力電圧を上昇させる。
タッチセンサ180Kは、「タッチパネル」とも呼ばれる。タッチセンサ180Kは、ディスプレイ194内に配置されてもよく、タッチセンサ180K及びディスプレイ194が、タッチ画面を構成する。タッチセンサ180Kは、タッチセンサ180K上又はその付近でのタッチ操作を検出するように構成されている。タッチセンサは、タッチイベントのタイプを判定するために、検出されたタッチ操作をアプリケーションプロセッサに転送することができる。タッチ操作に関連する視覚出力は、ディスプレイ194を使用することによって提供され得る。いくつかの他の実施形態において、タッチセンサ180Kはまた、ディスプレイ194とは異なる位置の移動端末100の表面に配置されてもよい。
骨伝導センサ180Mは、振動信号を収集することができる。いくつかの実施形態において、骨伝導センサ180Mは、ヒト声帯部の振動骨の振動信号を取得することができる。骨伝導センサ180Mはまた、血圧脈動信号を受信するために身体パルスに接触してもよい。いくつかの実施形態において、骨伝導センサ180Mは、骨伝導ヘッドセットを取得するために、代替的にヘッドセット内に配置されてもよい。オーディオモジュール170は、声帯部分の振動骨の骨伝導センサ180Mによって取得された振動信号に基づいて解析を通じてボイス信号を取得して、ボイス機能を実施することができる。アプリケーションプロセッサは、骨伝導センサ180Mによって取得された血圧拍動信号に基づいて心拍数情報を解析して、心拍数検出機能を実施することができる。
キー190は、電源キー、ボリュームキーなどを含む。キー190は、機械的キーであってもよいし、タッチキーであってもよい。移動端末100は、キー入力を受信し、移動端末100のユーザ設定及び機能制御に関連するキー信号入力を生成することができる。
モータ191は、振動プロンプトを生成することができる。モータ191は、着呼振動プロンプト及びタッチ振動フィードバックのために使用され得る。例えば、異なるアプリケーション(例えば、撮影及びオーディオ再生)に対して実行されるタッチ操作は、異なる振動フィードバック効果に対応することができる。モータ191はまた、ディスプレイ194の異なる領域に適用されるタッチ操作に対する異なる振動フィードバック効果に対応してもよい。異なるアプリケーションシナリオ(例えば、時間リマインダ、情報受信、目覚まし時計、及びゲーム)がまた、異なる振動フィードバック効果に対応することができる。タッチ振動フィードバック効果のカスタマイズが、さらに、サポートされてもよい。
インジケータ192は、充電状態及び電力変化を示すように構成されてもよいし、メッセージ、不在着信、通知などを示すように構成されてもよいインジケータライトであり得る。
SIMカードインターフェース195は、SIMカードに接続するように構成されている。SIMカードは、移動端末100との接触又は移動端末100からの分離を実施するために、SIMカードインターフェース195に挿入されてもよく、又はSIMカードインターフェース195からプラグ接続されてもよい。移動端末100は、1つ又はN個のSIMカードインターフェースをサポートすることができ、Nは1よりも大きい正の整数である。SIMカードインターフェース195は、ナノSIMカード、マイクロSIMカード、SIMカードなどをサポートすることができる。複数のカードが同時に同じSIMカードインターフェース195に挿入されてもよい。複数のカードは、同じタイプ又は異なるタイプのものであってもよい。SIMカードインターフェース195はまた、異なるタイプのSIMカードと互換性があり得るSIMカードインターフェース195はまた、外部記憶カードと互換性があり得る。移動端末100は、SIMカードを使用することによりネットワークと対話し、呼び出しやデータ通信などの機能を実施する。いくつかの実施形態において、移動端末100は、eSIM、すなわち、埋め込みSIMカードを使用する。eSIMカードは、移動端末100に埋め込まれてもよく、移動端末100から分離することができない。
移動端末100のソフトウェアシステムは、階層アーキテクチャ、イベント駆動アーキテクチャ、マイクロカーネルアーキテクチャ、マイクロサービスアーキテクチャ、又はクラウドアーキテクチャを使用することができる。本発明の実施形態において、階層アーキテクチャを使用するAndroidシステムが、移動端末100のソフトウェア構造を例示するための一例として使用される。
図2は、本発明の一実施形態による移動端末100のソフトウェア構造のブロック図である。
階層アーキテクチャでは、ソフトウェアは複数の階層に分割され、各階層は明確な役割とタスクを有する。これらの階層は、ソフトウェアインターフェースを使用することによって互いに通信する。いくつかの実施形態において、Androidシステムは、上から下に4つの階層、すなわち、アプリケーションプログラム層、アプリケーションプログラムフレームワーク層、Androidランタイム(Android runtime)、システムライブラリ、及びカーネル層に分割される。
アプリケーションプログラム層は、一連のアプリケーションプログラムパッケージを含むことができる。
図2に示すように、アプリケーションプログラムパッケージは、カメラ、ギャラリー、カレンダー、電話、マップ、ナビゲーション、WLAN、Bluetooh、音楽、ビデオ、及びメッセージングのようなアプリケーションプログラムを含むことができる。
アプリケーションプログラムフレームワーク層は、アプリケーションプログラム層におけるアプリケーションプログラムのためのアプリケーションプログラミングインターフェース(application programming interface、API)及びプログラミングフレームワークを提供する。アプリケーションプログラムフレームワークレイヤは、いくつかの定義済みの機能を含む。
図2に示すように、アプリケーションプログラムフレームワーク層は、ウィンドウマネージャ、コンテンツプロバイダ、ビューシステム、電話マネージャ、リソースマネージャ、通知マネージャなどを含むことができる。
ウィンドウマネージャは、ウィンドウプログラムを管理するように構成されている。ウィンドウマネージャは、ディスプレイのサイズを取得し、ステータスバーがあるかどうかを判定し、画面をロックし、画面ショットを撮影するなどすることができる。
コンテンツプロバイダは、データを保存し、取得し、データをアプリケーションプログラムにアクセス可能にするように構成されている。データは、ビデオ、画像、オーディオ、発呼と着呼、閲覧履歴とブックマーク、アドレス帳などを含み得る。
ビューシステムは、テキストを表示するための制御及びピクチャを表示するための制御などの視覚的制御を含む。ビューシステムは、アプリケーションプログラムを構築するように構成され得る。ディスプレイインターフェースは、1つ以上のビューを含んでもよい。例えば、SMSメッセージ通知アイコンを含むディスプレイインターフェースは、テキストを表示するためのビューと、ピクチャを表示するためのビューとを含んでもよい。
電話マネージャは、移動端末100の通信機能、例えば、通話状態の管理(応答又は拒否を含む)を提供するように構成されている。
リソースマネージャは、アプリケーションプログラムのためのローカライズされた文字列、アイコン、ピクチャ、レイアウトファイル、及びビデオファイルなどの様々なリソースを提供する。
通知マネージャは、アプリケーションプログラムが通知情報をステータスバーに表示することを可能にし、通知タイプのメッセージを伝達するように構成され得る。通知タイプのメッセージは、ユーザの対話なしに短い一時停止の後、自動的に消滅することができる。例えば、通知マネージャは、ダウンロード完了の通知、メッセージプロンプトなどを提供するように構成されている。通知マネージャは、グラフ又はスクロールバーテキストの形式でシステムの最上位ステータスバーに現れる通知、例えば、バックグラウンドで動作するアプリケーションプログラムの通知であってもよいし、ダイアログウィンドウの形式で画面に現れる通知であってもよい。例えば、テキスト情報がステータスバーにプロンプト表示されたり、アナウンスが生成されたり、移動端末が振動したり、インジケータライトが点滅したりする。
Androidランタイムは、カーネルライブラリと仮想マシンを含む。Androidランタイムは、Androidシステムのスケジューリングと管理を担当する。
カーネルライブラリは、Java言語で呼び出す必要のある関数と、Androidのカーネルライブラリの2つの部分が含む。
アプリケーションプログラム層とアプリケーションプログラムフレームワーク層は、仮想マシン上で動作する。仮想マシンは、アプリケーションプログラム層とアプリケーションプログラムフレームワーク層のJavaファイルをバイナリファイルとして実行する。仮想マシンは、物体ライフサイクル管理、スタック管理、スレッド管理、セキュリティと例外管理、及びガーベジコレクションなどの機能を実行するように構成されている。
システムライブラリは、複数の機能モジュール、例えば、サーフェスマネージャ(surface manager)、メディアライブラリ(Media Libraries)、3次元グラフィックス処理ライブラリ(例えば、OpenGL ES)、及び2Dグラフィックスエンジン(例えば、SGL)を含んでもよい。
サーフェスマネージャは、ディスプレイサブシステムを管理し、複数のアプリケーションプログラムに対して2D及び3D層の融合を提供するように構成されている。
メディアライブラリは、複数の一般的に使用されるオーディオ及びビデオフォーマット、静止画像ファイルなどにおける再生及び記録をサポートする。メディアライブラリは、例えばMPEG-4、H.264、MP3、AAC、AMR、JPG、及びPNGである複数のオーディオ及びビデオ符号化フォーマットをサポートすることができる。
3次元グラフィックス処理ライブラリは、3次元グラフィックス描画、画像レンダリング、合成、レイヤ処理などを実施するように構成されている。
2Dグラフィックスエンジンは2D描画用の描画エンジンである。
カーネル層は、ハードウェアとソフトウェアとの間の層である。カーネル層は、少なくともディスプレイドライバ、カメラドライバ、オーディオドライバ、及びセンサドライバを含む。
以下、撮影キャプチャシナリオを参照した例を使用することにより移動端末100のソフトウェア及びハードウェアの動作プロセスについて説明する。
タッチセンサ180Kがタッチ操作を受信するときに、対応するハードウェア割り込みがカーネル層に送信される。カーネル層は、タッチ操作を生の入力イベント(タッチ座標やタッチ操作のタイムスタンプなどの情報を含む)に処理する。生の入力イベントはカーネル層に記憶される。アプリケーションプログラムフレームワーク層は、カーネルレイヤから生の入力イベントを取得し、入力イベントに対応する制御を識別する。例えば、タッチ操作はタッチタップ操作であり、タップ操作に対応する制御はカメラアプリケーションのアイコンの制御である。カメラアプリケーションは、カメラアプリケーションを有効にするために、アプリケーションフレームワーク層においてインターフェースを呼び出し、カーネル層を起動することによってカメラドライバを可能にし、カメラ193を使用することにより静的画像又はビデオをキャプチャする。
以下、この出願の実施形態において、移動端末がビデオを撮影する際のフレームレートを説明する。
フレームレート(frame rate)はまた、フレームレートと呼ばれ、フレーム/秒(fps)の単位である。移動端末がビデオを記録するために使用されるときに、フレームレートは、1秒当たりの移動端末によってキャプチャされるの静止ピクチャの数を参照することができる。移動端末が同じフレームレートで動画を再生しているときに、1秒当たり同じ数の静止ピクチャが再生される。ユーザの視点から見ると、これらの静止ピクチャは動的な効果を有する。一般に、フレームレートが8fps以上であるときに、ユーザはビデオが滑らかに再生されていると感じる。動画の標準フレームレートは24fps以上である。移動端末によって撮影された動画のフレームレートが低下するときに、1秒当たりの移動端末によってキャプチャされた静止画像の数が少なくなり、各静止画像の露光期間が長くなり、静止画像の輝度が高くなる。
動的ブラーとも呼ばれるモーションブラー(motion blur)は、シーン画像内の動くエフェクトであり、シーン内の物体の長時間の露光又は高速移動中に確実に現れる。移動端末がビデオを撮影しているときに、移動端末が高速で動いているときや、撮影された画像内の物体が高速で動いているが、記録フレームレートが比較的低い場合、モーションブラーが発生する。その理由は、記録フレームレートが比較的低いときに、1秒当たりで移動端末は比較的少ない数の静止画像をキャプチャするためである。この場合、静止画像の露光期間が増加する。移動端末が高速で動いているか、又は撮影された画像内の物体が高速で動いているため、静止画像内の物体がぼやけたり、ドラッグされているように見える。
この出願の実施形態は、移動端末によって実行されるビデオ記録中に撮影シナリオにおける光強度、移動端末の運動状態、撮影対象の運動状態の3つの要因のうちの1つ以上に基づいて移動端末の記録フレームレートを制御する記録フレームレート制御方法を提供する。移動端末は、撮影シナリオにおける光強度に基づいて記録フレームレートを自動的に調整し、低輝度シナリオにおけるビデオ画像の輝度を、高輝度シナリオにおけるビデオの滑らかさを改善する。移動端末は、移動端末の運動状態に基づいてフレームレートを制御し、運動中に移動端末によって撮影されたビデオの滑らかさを改善する。移動端末は、撮影対象の運動状態に基づいてフレームレートを制御し、ビデオ画像内に動いている物体があるときに、画像の滑らかさを改善し、撮影された画像内の撮影対象の運動によるモーションブラーを低減する。このようにして、移動端末の記録フレームレートが自動的に調整され、ビデオ画像の画質が改善される。
以下、アプリケーションシナリオに関連して、この出願の実施形態において提供される記録フレームレート制御方法を具体的に説明する。
いくつかのアプリケーションシナリオでは、移動端末がビデオを記録しているとき、撮影される撮影シナリオにおける光強度が変化することがある。例えば、移動端末がビデオを記録しているtきに、撮影シナリオの一部における光強度は比較的強くなることがあり、撮影シナリオの別の部分における光強度は比較的弱いくなることがある。また、撮影シナリオにおける光強度が比較的弱いときに、ビデオ記録を通じて移動端末によって生成されたビデオの画像輝度も比較的弱くなるため、撮影シナリオの詳細が不明瞭となる。例えば、ユーザが移動端末を使用して夜間にビデオを記録するときに、ユーザは最初に、室内照明の下で家族のメンバーを撮影する、すなわち、最初は、移動端末の撮影シナリオが建物内にある。次に、レンズを光のない屋外環境に向けて、屋外の夜景の撮影を続ける。この場合、移動端末の撮影シナリオが屋外シナリオに切り替えられる。この場合、屋外の夜景の光が不十分であるため、ビデオの画像輝度も比較的低くなる。したがって、この出願の一実施形態では、図3に示す記録フレームレート制御方法が提供される。移動端末は、撮影シナリオにおける光強度に基づいて記録フレームレートを自動的に制御することができる。ビデオの記録を開始するときに、移動端末はデフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集する。次に、撮影シナリオにおける光強度が強いときに、移動端末は、第2のフレームレート(例えば、60fps)でビデオフレームを収集することができる。移動端末は、撮影シナリオにおける光強度が弱いと判定したときに、移動端末は、第3のフレームレート(例えば、24fps)でビデオフレームを収集することができる。移動端末は、撮影シナリオにおける光強度が中程度であると判定したときに、移動端末は、第1のフレームレート(例えば、30fps)でビデオフレームの収集を続けることができる。第2のフレームレートは第1のフレームレートよりも大きく、第1のフレームレートは第3のフレームレートよりも大きい。記録フレームレートが低下するときに、移動端末によって撮影された各画像のフレームの露光期間が増加し、撮影されたビデオの画像輝度を改善する。撮影シナリオにおける光強度が比較的強いときに、移動端末によって撮影されたビデオの露光が十分であり、移動端末は撮影されたビデオのフレームレートを上昇させることができる。フレームレートの上昇により、1秒当たりの移動端末によって撮影された画像のフレーム数が増加し、動画がより滑らかになる。撮影シナリオにおける光強度に基づいてフレームレートを動的に調整することにより、比較的暗い撮影シナリオにおける移動端末により撮影されたビデオの画像輝度を改善し、比較的明るい撮影シナリオにおける移動端末により撮影されたビデオの画像の滑らかさを改善し、ビデオ画像の品質を改善することができる。
図4aは、この出願の一実施形態により移動端末によって実行されたビデオ記録中の撮影シナリオにおける光強度変化を示す例示的な図であり、図4bは、この出願の一実施形態による移動端末によって実行されたビデオ撮影中のフレームレート変化を示す図である。
図4aに示すように、移動端末の撮影期間が0秒~10秒であるときに、移動端末によって実行されるビデオ記録中の撮影シナリオにおける光強度は、第1の光強度閾値(例えば1000ルクス)よりも大きく、撮影シナリオは高輝度シナリオである。移動端末の撮影期間が10秒~25秒であるときに、撮影シナリオにおける光強度は、第2の光強度閾値(例えば、100ルクス)と第1の光強度閾値(例えば、1000ルクス)の間である。移動端末の撮影期間が25秒~40秒であるときに、撮影シナリオにおける光強度は第2の光強度閾値(例えば100ルクス)よりも小さい。移動端末の撮影期間が40秒~55秒であるときに、撮影シナリオにおける光強度は第2の光強度閾値(例えば、100ルクス)と第1の光強度閾値(例えば、1000ルクス)の間である。移動端末の撮影期間が55秒~65秒であるときに、撮影シナリオにおける光強度は第1の光強度閾値(例えば1000ルクス)よりも大きい。第1の光強度閾値は、第2の光強度閾値よりも大きい。
図4bに示すように、移動端末がビデオの記録を開始するとき(例えば、0秒~2秒の撮影期間)、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末の撮影期間が2秒~10秒であるときに、撮影シナリオにおける光強度が第1の光強度閾値(例えば1000ルクス)よりも大きく、撮影シナリオが高輝度環境であるため、移動端末は第2のフレームレート(例えば60fps)でビデオを撮影し、ビデオの滑らかさを確保する。移動端末の撮影期間が10秒~25秒であるときに、撮影シナリオにおける光強度が第2の光強度閾値(例えば100ルクス)と第1の光強度閾値(例えば1000ルクス)の間であり、撮影シナリオが中輝度環境であるため、移動端末は記録フレームレートを低下させ、第1のフレームレート(例えば30fps)でビデオフレームを収集することができる。このようにして、ビデオの各画像のフレームの露光期間が長くなり、移動端末によって撮影されたビデオの画像輝度が開示されるとともに、ビデオ画像の滑らかさを確保する。移動端末の撮影期間が25秒~40秒であるときに、撮影シナリオにおける光強度が第2の光強度閾値(例えば100ルクス)よりも小さく、撮影シナリオにおける光強度が低輝度撮影シナリオであるため、移動端末はさらに記録フレームレートを低下させ、第3フレームレート(例えば24fps)でビデオフレームを収集することができる。このようにして、ビデオの各画像のフレームの露光期間がさらに長くなり、移動端末によって撮影されたビデオの画像輝度が低輝度撮影シナリオにおいて改善される。第2のフレームレート(たとえば60fps)は第1のフレームレート(たとえば30fps)よりも大きく、第1のフレームレートは第3のフレームレート(たとえば24fps)よりも大きい。第2のフレームレートは、図4bに示す60fpsに限定されず、別の値であってもよい。第1のフレームレートは、図4bに示す30fpsに限定されず、別の値であってもよい。第3のフレームレートは、図4bに示す24fpsに限定されず、別の値であってもよい。
いくつかの可能な実施態様において、移動端末が記録フレームレートを低下させるときに、移動端末は、さらに、ビデオ画像の輝度を段階的に調整することができる。例えば、移動端末の撮影シナリオにおける光強度が100ルクスであるときに、移動端末の記録フレームレートが30fpsである場合、移動端末によって撮影されたビデオの画像輝度の値は40であり、移動端末の記録フレームレートが24fpsに低下された場合、移動端末によって撮影されたビデオの画像輝度の値は80である。移動端末の記録フレームレートが30fpsから24fpsに変化するときに、移動端末は、撮影されたビデオの画像輝度の値を40から80まで、一定期間(例えば、1秒以内)に段階的に調整する。このようにして、ビデオの画像輝度が変化するときに、移行期間があり、移動端末によって撮影されたビデオの画質を改善し、ユーザの体験を改善することができる。
いくつかの可能な実施態様において、移動端末がビデオを記録しているときに、移動端末は第1のフレームレート(例えば30fps)でビデオフレームを収集することができる。移動端末は、撮影シナリオにおける光強度が第1の光強度閾値(例えば、1000ルクス)よりも大きいことを検出する場合、移動端末は第2のフレームレート(例えば、60fps)でビデオフレームを収集することができる。移動端末が第2のフレームレートでビデオフレームを収集するときに、移動端末は、撮影シナリオにおける光強度が第4の光強度閾値(例えば、150ルクス)と第3の光強度閾値(950ルクス)との間であることを検出した場合、移動端末は第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末がビデオを記録しているときに、移動端末は第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末は、撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)よりも小さいことを検出した場合、移動端末は第3のフレームレート(例えば、24fps)でビデオフレームを収集することができる。移動端末が第3のフレームレート(例えば、24fps)でビデオフレームを収集する場合、移動端末は、撮影シナリオにおける光強度が第4の光強度閾値(例えば、150ルクス)と第3の光強度閾値(例えば、950ルクス)の間にあることを検出したときに、移動端末は第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。第1の光強度閾値(例えば、1000ルクス)は、第3の光強度閾値(例えば、950ルクス)よりも大きく、第3の光強度閾値は、第4の光強度閾値(例えば、150ルクス)よりも大きく、第4の光強度閾値は、第2の光強度閾値(例えば、100ルクス)よりも大きい。追加的に、第3の光強度閾値と第1の光強度閾値との間の差は、指定された輝度差(例えば、50ルクス)であり、第4の光強度閾値と第2の光強度閾値との間の差は、指定された輝度差(例えば、50ルクス)である。このようにして、撮影シナリオにおける光強度が第1の光強度閾値又は第2の光強度閾値付近で変化するときに生じる記録フレームレートの頻繁な変化を防止することができる。
移動端末のいくつかのモーションシナリオにおいて、例えば、ユーザが移動車両上にビデオを記録するために移動端末を使用するとき、又はユーザがいくつかの移動物体を撮影するために移動端末をすばやく回転するときに、移動端末の運動状態が変化するため、移動端末がビデオを撮影するときに、撮影されたビデオ中の各画像のフレームの露光期間は、記録フレームレートが比較的低いために、過度に長くなる。画像のフレーム内の物体は、移動端末の運動により画像のフレーム内の異なる位置に現れることがあり、画像のぼやけを引き起こす。したがって、この出願の一実施形態では、図5に示す記録フレームレート制御方法が提供される。移動端末は、移動端末の運動状態に基づいて記録フレームレートを自動的に制御することができる。ビデオの記録を開始するときに、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。次に、移動端末が激しい運動状態にあるときに、移動端末は第2のフレームレート(例えば、60fps)でビデオフレームを収集することができる。移動端末がわずかな運動状態にあるときに、移動端末は第3のフレームレート(例えば、24fps)でビデオを撮影することができる。第2のフレームレートは第1のフレームレートよりも大きく、第1のフレームレートは第3のフレームレートよりも大きい。移動端末が中程度の運動状態にあるときに、移動端末は第2のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末が激しく動くときに、記録フレームレートが上昇し、移動端末によって撮影された各画像のフレームの露光期間が短縮され、移動端末の運動によるビデオ画像のぼやけが低減される。このようにして、激しい運動状態にある移動端末によって撮影されたビデオのモーションブラーを低減し、ビデオ画像の滑らかさと品質を改善する。
図6aは、この出願の一実施形態による移動端末の運動状態を示す例示的な図であり、図6bは、この出願の一実施形態による移動端末によって実行されるビデオ撮影中のフレームレートの変化を示す図である。
図6aに示すように、移動端末の撮影期間が0秒~5秒であるときに、移動端末は移動端末の運動状態が中程度の運動状態であることを検出する。移動端末の撮影期間が5秒~30秒であるときに、移動端末は移動端末の運動状態がわずかな運動状態であることを検出する。移動端末の撮影期間が30秒~65秒であるときに、移動端末は移動端末の運動状態が激しい運動状態であることを検出する。
図6bに示すように、移動端末がビデオの記録を開始するとき(例えば、0秒~2秒の撮影期間)、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末の撮影期間が2秒~5秒であるときに、移動端末の運動状態は中程度の運動状態であるため、移動端末は、第1のフレームレート(例えば、30fps)でビデオフレームの収集を続けて、ビデオの滑らかさを確保する。移動端末の撮影期間が5秒~30秒であるときに、移動端末の運動状態はわずかな運動状態であるため、移動端末は、記録フレームレートを低下させ、第3のフレームレート(例えば、24fps)でビデオフレームを収集することができる。このようにして、各画像のフレームの露光期間が長くなり、各画像のフレームの輝度が改善される。移動端末の撮影期間が30秒~65秒であるときに、移動端末の運動状態が激しい運動状態であるため、移動端末は、記録フレームレートを上昇させ、第2のフレームレート(例えば、60fps)でビデオフレームを収集することができる。このようにして、各画像のフレームの露光期間を短縮し、移動端末の運動によるモーションブラーを低減し、移動端末によって撮影されたビデオの画像滑らかさが改善される。第2のフレームレート(たとえば60fps)は第1のフレームレート(たとえば30fps)よりも大きく、第1のフレームレートは第3のフレームレート(たとえば24fps)よりも大きい。第2のフレームレートは、図6bに示す60fpsに限定されず、別の値であってもよい。第1のフレームレートはまた、図6bに示される30fpsに限定されず、別の値であってもよい。第3のフレームレートは、図6bに示す24fpsに限定されず、別の値であってもよい。
撮影対象のいくつかの運動シナリオでは、例えば、ユーザが移動車両を撮影するために移動端末を使用するときに、撮影対象の運動状態が変化するため、移動端末がビデオを撮影するときに、撮影されたビデオ内の各画像のフレームの露光期間は、記録フレームレートが比較的低いために、過度に長くなる。画像のフレーム内を高速で移動する物体は、画像のフレーム内の異なる位置に現れて、画像のぼやけを引き起こすことがある。したがって、この出願の一実施形態では、図7に示す記録フレームレート制御方法が提供される。移動端末は、撮影対象の運動状態に基づいて記録フレームレートを自動的に制御することができる。ビデオの記録を開始するときに、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。次に、移動端末は、撮影対象の運動状態が激しい運動状態であることを検出するときに、移動端末は第2のフレームレート(例えば、60fps)でビデオを撮影することができる。移動端末は、撮影対象の運動状態がわずかな運動状態であることを検出するときに、移動端末は第3のフレームレート(例えば、24fps)でビデオを撮影することができる。移動端末は、撮影対象の運動状態が中程度の運動状態であることを検出するときに、i移動端末は第1のフレームレート(例えば、30fps)でビデオを撮影することができる。第2のフレームレートは第1のフレームレートよりも大きく、第1のフレームレートは第3のフレームレートよりも大きい。撮影対象が激しく動くときに記録フレームレートが上昇するため、移動端末によって撮影された各画像のフレームの露光期間が短くなり、撮影対象の運動によるビデオが像のぼやけが軽減される。撮影対象がわずかに動くときに記録フレームレートが低下するため、1秒当たりの撮影される画像のフレーム数が減少するため、各画像のフレームの露光期間が長くなる。したがって、撮影されたビデオの画像輝度を確保することができ、移動端末が撮影された画像を処理するときに生じる電力消費を低減する。このようにして、撮影対象が激しい運動状態にあるときに撮影されたビデオのモーションブラーを低減し、ビデオ画像のビデオ滑らかさ及び品質を改善することができる。
図8aは、この出願の一実施形態による移動端末によって撮影された物体の運動状態を示す例示的な図であり、図8bは、この出願の一実施形態による移動端末によって実行されるビデオ撮影中のフレームレートの変化を示す図である。
図8aに示すように、移動端末の撮影期間が0秒~15秒であるときに、移動端末は撮影対象の運動状態が中程度の運動状態であることを検出する。移動端末の撮影期間が15秒~35秒であるときに、移動端末は撮影対象の運動状態がわずかな運動状態であることを検出する。移動端末の撮影期間が35秒~65秒であるときに、移動端末は撮影対象の運動状態が激しい運動状態であることを検出する。
図8bに示すように、移動端末がビデオの記録を開始するとき(例えば、0秒~2秒の撮影期間)、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末の撮影期間が2秒~15秒であるときに、移動端末は撮影対象の運動状態が中程度の運動状態であることを検出するため、移動端末は第1のフレームレート(例えば、30fps)でビデオの撮影を続けて、ビデオの滑らかさを確実にする。移動端末の撮影期間が15秒~35秒であるときに、撮影対象の運動状態がわずかな運動状態であるため、移動端末はフレームレートを低下させて、第3のフレームレート(例えば24fps)でビデオを撮影することができる。このようにして、各画像のフレームの露光期間が長くなり、各画像のフレームの輝度を改善する。移動端末の撮影期間が35秒~65秒であるときに、移動端末の運動状態が激しい運動状態であるため、移動端末は記録フレームレートを上昇させて、第2のフレームレート(例えば、60fps)でビデオを撮影することができる。このようにして、各画像のフレームの露光期間を短縮し、撮影対象の運動によるモーションブラーを低減し、移動端末によって撮影された動画の画像の滑らかさを改善する。第2のフレームレート(たとえば60fps)は第1のフレームレート(たとえば30fps)よりも大きく、第1のフレームレートは第3のフレームレート(たとえば24fps)よりも大きい。第2のフレームレートは、図8bに示す60fpsに限定されず、別の値であってもよい。第1のフレームレートは、図8bに示される30fpsに限定されず、別の値であってもよい。第3のフレームレートは、図8bに示す24fpsに限定されず、別の値であってもよい。
いくつかのアプリケーションシナリオにおいて、移動端末の撮影シナリオにおける光強度は時には弱く強く、移動端末は運動中にビデオを記録する。例えば、夜間、ユーザは移動端末を保持し、屋内の高輝度シナリオから屋外の低輝度撮影シナリオに移動し、ビデオのセグメントを撮影する。移動端末の撮影シナリオにおける光強度は、時には弱く強くなるため、撮影シナリオにおける光強度が比較的弱く、記録フレームレートが極端に高いときに、各画像のフレームの露光期間が不十分であり、移動端末によって記録されたビデオの画像輝度も比較的低下する。移動端末は、移動中にビデオを記録するため、移動端末が激しい運動状態にあるときに、過度に低いフレームレートにより、ショットビデオの画像にモーションブラーが発生する可能性がある。したがって、この出願の一実施形態では、図9に示す記録フレームレート制御方法が提供される。移動端末は、撮影シナリオにおける光強度及び移動端末の運動状態に基づいて記録フレームレートを自動的に制御することができる。ビデオの記録を開始するときに、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。次に、撮影シナリオにおける光強度が強く、移動端末が激しい運動状態にあるときに、移動端末は、第2のフレームレート(例えば、60fps)でビデオフレームを収集することができる。撮影シナリオにおける光強度が弱く、移動端末の運動状態がわずかな運動状態であるときに、移動端末は、第3のフレームレート(例えば、24fps)でビデオフレームを収集することができる。別の場合には、移動端末は、第1のフレームレート(例えば、30fps)でビデオフレームを収集する。第2のフレームレートは第1のフレームレートよりも大きく、第1のフレームレートは第3のフレームレートよりも大きい。撮影シナリオにおいて光強度が強く、移動端末が激しい運動状態にあるときに記録フレームレートが高いため、1秒当たりの移動端末によって撮影された画像のフレーム数が増加し、各画像のフレームの露光期間が短くなる。このようにして、移動端末の激しい運動状態にするビデオ画像のモーションブラーを低減し、ビデオの滑らかさを改善することができる。追加的に、撮影シナリオにおける光強度が強いため、記録フレームレートが高くても、各画像のフレームが比較的明るい。撮影シナリオにおける光強度が弱く、移動端末がわずかな運動状態にあるときに記録フレームレートが低いため、1秒当たりの移動端末によって撮影された画像のフレーム数が減少し、各画像のフレームの露光期間が長くなる。このようにして、低輝度環境におけるビデオの画像輝度を改善する。このようにして、移動端末の周辺光強度及び移動端末の運動状態を参照して、ビデオの画像輝度と高輝度シナリオにおけるビデオの滑らかさは、いくつかのレベルのフレームレートの制御を通じて改善される。
図10aは、この出願の一実施形態による移動端末の撮影シナリオにおける光強度変化を示す例示的な図であり、図10bは、この出願の一実施形態による移動端末の運動状態変化を示す図であり、図10cは、この出願の一実施形態による移動端末によって実行さるビデオ撮影中のフレームレート変化を示す図である。
図10aに示すように、移動端末の撮影期間が0秒~10秒であるときに、移動端末は撮影シナリオにおける光強度が第1の光強度閾値(例えば、1000ルクス)よりも大きいことを検出する。移動端末の撮影期間が10秒~25秒であるときに、移動端末は撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)と第1の光強度閾値(例えば、1000ルクス)との間であることを検出する。移動端末の撮影期間が25秒~40秒であるときに、移動端末は撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)よりも小さいことを検出する。移動端末の撮影期間が40秒~55秒であるときに、移動端末は撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)と第1の光強度閾値(例えば、1000ルクス)の間であることを検出する。移動端末の撮影期間が55秒~65秒の間であるときに、移動端末は撮影シナリオにおける光強度が第1の光強度閾値(例えば、1000ルクス)よりも大きいことを検出する。第1の光強度閾値は、第2の光強度閾値よりも大きい。
図10bに示すように、移動端末の撮影期間が0秒~5秒であるときに、移動端末は移動端末の運動状態が中程度の運動状態であることを検出する。移動端末の撮影期間が5秒~30秒であるときに、移動端末は移動端末の運動状態がわずかな運動状態であることを検出する。移動端末の撮影期間が30秒~65秒であるときに、移動端末は移動端末の運動状態が激しい運動状態であることを検出する。
図10cに示すように、移動端末がビデオの記録を開始するとき(例えば、0秒~2秒の撮影期間)、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末の撮影期間が2秒~5秒であるときに、移動端末の撮影シナリオにおける光強度が第1の光強度閾値(例えば1000ルクス)よりも大きく、撮影シナリオは高輝度環境であり、移動端末の運動状態は中程度の運動状態であるため、移動端末は第1のフレームレート(例えば30fps)でビデオフレームの収集を続ける。移動端末の撮影期間が5秒~10秒であるときに、移動端末の撮影シナリオにおける光強度が第1の光強度閾値よりも大きく、撮影シナリオが高輝度シナリオであり、移動端末の運動状態がわずかな運動状態であるため、移動端末は、第1のフレームレートでビデオの撮影を続ける。移動端末の撮影期間が10秒~25秒であるときに、移動端末の撮影シナリオにおける光強度は第2の光強度閾値(例えば100ルクス)と第1の光強度閾値との間であり、撮影シナリオは中輝度シナリオであり、移動端末の運動状態がわずかな運動状態であるため、移動端末は第1のフレームレートでビデオフレームの収集を続ける。移動端末の撮影期間が25秒~30秒であるときに、移動端末の撮影シナリオにおける光強度が第2の光強度閾値よりも小さく、撮影シナリオが低輝度シナリオであり、移動端末の運動状態がわずかな運動状態であるため、移動端末は第3フレームレート(例えば、24fps)でビデオフレームを収集する。移動端末の撮影期間が30秒~40秒であるときに、移動端末の撮影シナリオにおける光強度が第2の光強度閾値よりも小さく、撮影シナリオが低輝度シナリオであり、移動端末の運動状態が激しい運動状態であるため、移動端末は第1のフレームレートでビデオを撮影する。移動端末の撮影期間が40秒~55秒であるときに、移動端末の撮影シナリオにおける光強度が第2の光強度閾値と第1の光強度閾値との間であり、撮影シナリオは中輝度環境であり、移動端末の運動状態は激しい運動状態であるため、移動端末は第1のフレームレートでビデオを撮影する。移動端末の撮影期間が55秒~65秒であるときに、移動端末の撮影シナリオにおける光強度が第1の光強度閾値よりも大きく、撮影シナリオが高輝度シナリオであり、移動端末の運動状態が激しい運動状態であり、移動端末は第2のフレームレート(例えば、60fps)でビデオを撮影する。第2のフレームレート(たとえば60fps)は第1のフレームレート(たとえば30fps)よりも大きく、第1のフレームレートは第3のフレームレート(たとえば24fps)よりも大きい。
いくつかのアプリケーションシナリオでは、移動端末がビデオを記録する撮影シナリオが高輝度シナリオと低輝度シナリオとの間で切り替えられ、移動端末によって撮影される物体が移動している。撮影シナリオにおける光強度が比較的弱いときに、記録フレームレートが極端に高い場合、各画像のフレームの露光期間が不十分であり、移動端末によって撮影されたビデオの画像輝度も比較的低い。移動端末が激しい運動状態にあるときに、極端に低い記録フレームレートにより、撮影されたビデオの画像にモーションブラーが発生することがある。したがって、この出願の一実施形態では、図11に示す記録フレームレート制御方法が提供される。移動端末は、撮影シナリオにおける光強度と撮影対象の運動状態に基づいて、自動的に記録フレームレートを制御することができる。ビデオの記録を開始するときに、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。次に、撮影シナリオにおける光強度が強く、撮影対象が激しい運動状態にあるときに、移動端末は、第2のフレームレート(例えば、60fps)でビデオフレームを収集することができる。撮影シナリオにおける光強度が弱く、撮影対象の運動状態がわずかな運動状態であるときに、移動端末は、第3のフレームレート(例えば、24fps)でビデオフレームを収集することができる。別の場合には、移動端末は、第1のフレームレート(例えば、30fps)でビデオフレームを収集する。第2のフレームレートは第1のフレームレートよりも大きく、第1のフレームレートは第3のフレームレートよりも大きい。撮影シナリオにおける光強度が強く、移動端末が激しい運動状態にあるときに記録フレームレートが高いため、1秒当たりの移動端末によって撮影された画像のフレーム数が増加し、各画像のフレームの露光期間が短くなる。このようにして、撮影対象の激しい運動状態によるビデオ画像のモーションブラーを低減し、ビデオの滑らかさを改善することができる。追加的に、撮影シナリオにおける光強度が強いため、記録フレームレートが高くても、各画像のフレームが比較的明るい。撮影シナリオにおける光強度が弱く、撮影対象がわずかな運動状態にあるときに撮影フレームレートが低いため、1秒当たりの移動端末によって撮影された画像のフレーム数が減少し、各画像のフレームの露光期間が長くなる。このようにして、低輝度撮影シナリオにおけるビデオの画像輝度が改善される。他の状態では、移動端末は、一般的なフレームレート(高いフレームレートよりも小さく、低いフレームレートよりも大きい)でビデオを撮影することができる。このようにして、撮影シナリオにおける光強度及び撮影対象の運動状態を参照して、ビデオの画像輝度及び高輝度シナリオにおけるビデオの滑らかさは、いくつかのレベルのフレームレートの制御を通じて改善される。
図12aは、この出願の一実施形態による移動端末の撮影シナリオにおける光強度変化を示す例示的な図であり、図12bは、この出願の一実施形態による撮影対象の運動状態変化を示す図であり、図12cは、この出願の一実施形態による移動端末によって実行されるビデオ撮影中のフレームレート変化を示す図である。
図12aに示すように、移動端末の撮影期間が0秒~10秒であるときに、移動端末は、撮影シナリオにおける光強度が第1の光強度閾値(例えば、1000ルクス)よりも大きいことを検出する。移動端末の撮影期間が10秒~25秒であるときに、移動端末は、撮影シナリオにおける光強度が第2の光強度閾値(例えば100ルクス)と第1の光強度閾値(例えば1000ルクス)の間であることを検出し、撮影シナリオは中程度の輝度シナリオである。移動端末の撮影期間が25秒~40秒であるときに、移動端末は、撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)よりも小さいことを検出する。移動端末の撮影期間が40秒~55秒であるときに、移動端末は、撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)と第1の光強度閾値(例えば、1000ルクス)の間であることを検出する。移動端末の撮影期間が55秒~65秒であるときに、移動端末は、撮影シナリオにおける光強度が第1の光強度閾値(例えば、1000ルクス)よりも大きいことを検出する。第1の光強度閾値は、第2の光強度閾値よりも大きい。
図12(b)に示すように、移動端末は、移動端末の撮影期間が0秒~15秒であるときに、撮影対象の運動状態が中速であることを検出する。移動端末は、移動端末の撮影期間が15秒~35秒であるときに、撮影対象の運動状態がわずかな運動状態であることを検出する。移動端末の撮影期間が35秒~65秒であるときに、撮影対象の運動状態が激しい運動状態であることを検出する。
図12cに示すように、移動端末がビデオの記録を開始するとき(例えば、0秒~2秒までの撮影期間)、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末の撮影期間が2秒~10秒であるときに、撮影シナリオにおける光強度が第1の光強度閾値(例えば、1000ルクス)よりも大きいため、撮影シナリオは高輝度シナリオであり、撮影された物体の運動状態は中程度の運動状態であるため、移動端末は第1のフレームレート(例えば、30fps)でビデオフレームの収集を続けることができる。移動端末の撮影期間が10秒~15秒であるときに、移動端末の撮影シナリオにおける光強度は第2の光強度閾値(例えば100ルクス)と第1の光強度閾値の間であり、撮影シナリオが中程度の輝度シナリオであり、撮影対象の運動状態が中程度の運動状態であるため、移動端末は第1のフレームレートでビデオフレームの収集を続ける。移動端末の撮影期間が15秒~25秒であるときに、撮影シナリオにおける光強度が第2の光強度閾値(例えば100ルクス)と第1の光強度閾値の間であり、撮影シナリオが中程度の輝度シナリオであり、撮影対象の運動状態がわずかな運動状態であるため、移動端末は第1のフレームレートでビデオフレームの収集を続ける。移動端末の撮影期間が25秒~35秒であるときに、移動端末の撮影シナリオにおける光強度が第2の光強度閾値よりも小さく、撮影シナリオが低輝度シナリオであり、撮影対象の運動状態がわずかな運動状態であるため、移動端末は第3フレームレート(例えば、24fps)でビデオフレームを収集する。移動端末の撮影期間が35秒~40秒であるときに、移動端末の撮影シナリオにおける光強度が第2の光強度閾値よりも小さく、撮影シナリオが低輝度シナリオであり、撮影対象の運動状態が激しい運動状態であるため、移動端末は第1のフレームレート(例えば、30fps)でビデオフレームを収集する。移動端末の撮影期間が40秒~55秒であるときに、移動端末の撮影シナリオにおける光強度が第2の光強度閾値と第1の光強度閾値との間であり、撮影シナリオは中程度の輝度環境であり、撮影対象の運動状態は激しい運動状態であるため、移動端末は第1のフレームレート(例えば、30fps)でビデオフレームを収集する。移動端末の撮影期間が55秒~65秒であるときに、移動端末の撮影シナリオにおける光強度が第1の光強度閾値よりも大きく、撮影シナリオが高輝度環境であり、撮影対象の運動状態が激しい運動状態であるため、移動端末は第2のフレームレート(例えば、60fps)でビデオフレームを収集する。第2のフレームレート(たとえば60fps)は第1のフレームレート(たとえば30fps)よりも大きく、第1のフレームレートは第3のフレームレート(たとえば24fps)よりも大きい。
いくつかのアプリケーションシナリオでは、移動端末は移動するときにビデオを記録し、移動端末によって撮影された物体も移動している。移動端末が激しい運動状態にあるとき、又は撮影された撮影対象が激しい運動状態ときは、比較的低い記録フレームレートにより、撮影されたビデオの画像にモーションブラーが発生する可能性がある。したがって、この出願の一実施形態では、図13に示す記録フレームレート制御方法が提供される。移動端末は、移動端末の運動状態及び撮影対象の運動状態に基づいて記録フレームレートを自動的に制御することができる。ビデオの記録を開始するときに、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。次に、移動端末が激しい運動状態にあるとき、又は撮影対象が激しい運動状態にあるときに、移動端末は、第2のフレームレート(例えば、60fps)でビデオを撮影することができる。移動端末がわずかな運動状態にあり、移動端末の運動状態がわずかな運動状態であるときに、移動端末は、第3のフレームレート(例えば、24fps)でビデオを撮影することができる。別の場合では、移動端末は第1のフレームレート(例えば、30fps)でビデオを撮影する。第2のフレームレートは第1のフレームレートよりも大きく、第1のフレームレートは第3のフレームレートよりも大きい。移動端末が激しい運動状態にあるとき、又は撮影対象が激しい運動状態にあるときに記録フレームレートが高いため、1秒間当たりの移動端末によって撮影された画像のフレーム数が増加し、各画像のフレームの露光期間が短くなる。このようにして、撮影対象の激しい運動状態によるビデオ画像のモーションブラーを低減し、ビデオの滑らかさを改善することができる。移動端末がわずかな運動状態にあり、撮影対象がわずかな運動状態にあるときにビデオ画像が低フレームレートで撮影されるため、移動端末によってビデオを撮影する電力消費を低減することができる。このようにして、移動端末の運動状態及び撮影対象の運動状態を参照して、ビデオの滑らかさは、いくつかのレベルのフレームレートの制御を通じて改善される。
図14aは、この出願の一実施形態による移動端末の運動状態変化を示す例示的な図であり、図14bは、この出願の一実施形態による撮影対象の運動状態変化を示す図であり、図14cは、この出願の一実施形態による移動端末によって実行されるビデオ撮影中のフレームレート変化を示す図である。
図14aに示すように、移動端末の撮影期間が0秒~5秒であるときに、移動端末の運動状態は中程度の運動状態である。移動端末の撮影期間が5秒~30秒であるときに、移動端末の運動状態はわずかな運動状態である。移動端末の撮影期間が30秒~65秒であるときに、移動端末の運動状態は激しい運動状態である。
図14bに示すように、移動端末の撮影期間が0秒~15秒であるときに、移動端末は撮影対象の運動状態が中程度の運動状態であることを検出する。移動端末の撮影期間が15秒~35秒であるときに、移動端末は撮影対象の運動状態がわずかな運動状態であることを検出する。移動端末の撮影期間が35秒~65秒であるときに、移動端末は撮影対象の運動状態が激しい運動状態であることを検出する。
図14cに示すように、移動端末がビデオの記録を開始するとき(例えば、0秒~2秒の撮影期間)、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末の撮影期間が2秒~5秒であるときに、移動端末の運動状態は中程度の運動状態であり、撮影対象の運動状態は中程度の運動状態であるため、移動端末は第1のフレームレート(例えば、30fps)でビデオフレームの収集を続けることができる。移動端末の撮影期間が5秒~15秒であるときに、移動端末の運動状態がわずかな運動状態であり、撮影対象の運動状態が中程度の運動状態であるため、移動端末は第1のフレームレート(例えば、30fps)でビデオフレームの収集を続けることができる。移動端末の撮影期間が15秒~30秒であるときに、移動端末の運動状態がわずかな運動状態であり、撮影対象の運動状態がわずかな運動状態であるため、移動端末は、第3のフレームレート(例えば、24fps)でビデオフレームを収集することができる。移動端末の撮影期間が30秒~35秒であるときに、移動端末の運動状態は激しい運動状態であり、撮影対象の運動状態は激しい運動状態であるため、移動端末は第2のフレームレート(例えば、60fps)でビデオフレームを収集することができる。移動端末の撮影期間が35秒~65秒であるときに、移動端末の運動状態が激しい運動状態であり、撮影対象の運動状態が激しい運動状態であるため、移動端末は第2のフレームレート(例えば、60fps)でビデオを撮影することができる。第2のフレームレート(たとえば60fps)は第1のフレームレート(たとえば30fps)よりも大きく、第1のフレームレートは第3のフレームレート(たとえば24fps)よりも大きい。
アプリケーションシナリオでは、移動端末がビデオを記録する撮影シナリオが高輝度シナリオと低輝度シナリオとの間で切り替えられ、移動端末は移動するときに移動している物体を撮影する。撮影シナリオにおける光強度が比較的弱いときに、記録フレームレートが極端に高い場合、各画像のフレームの露光期間が不十分であり、移動端末によって撮影されたビデオの画像輝度も比較的低い。移動端末が激しい運動状態にあるとき、又は撮影対象が激しい運動状態にあるときに、極端に低い記録フレームレートにより、撮影されたビデオの画像にモーションブラーが発生することがある。したがって、この出願の一実施形態では、図15に示す記録フレームレート制御方法が提供される。移動端末は、撮影シナリオにおける光強度、移動端末の運動状態、及び撮影対象の運動状態に基づいて記録フレームレートを自動的に制御することができる。ビデオの記録を開始するときに、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。次に、移動端末の撮影シナリオにおける光強度が強く、移動端末が激しい運動状態にあるとき、又は移動端末の撮影シナリオにおける光強度が強く、撮影対象が激しい運動状態にあるときに、移動端末は、第2のフレームレート(例えば、60fps)でビデオフレームを収集することができる。撮影シナリオにおける光強度が弱く、撮影対象の運動状態がわずかな運動状態であるときに、移動端末は、第3のフレームレート(例えば、24fps)でビデオフレームを収集することができる。別の場合には、移動端末は、第1のフレームレート(例えば、30fps)でビデオフレームを収集する。第2のフレームレートは第1のフレームレートよりも大きく、第1のフレームレートは第3のフレームレートよりも大きい。移動端末の撮影シナリオにおける光強度が強く、移動端末が激しい運動状態にあるとき、又は移動端末の撮影シナリオにおける光強度が強く、撮影対象が激しい運動状態にあるときに、記録フレームレートは高い。したがって、1秒当たりの移動端末によって撮影された画像のフレーム数が増加し、各画像のフレームの露光期間が短くなる。このようにして、撮影対象の激しい運動状態によるビデオ画像のモーションブラーを低減し、ビデオの滑らかさを改善することができる。撮影シナリオにおける光強度が弱いときに記録フレームレートが低く、移動端末がわずかな運動状態にあり、撮影対象がわずかな運動状態にあるため、1秒当たりの移動端末によって撮影された画像のフレーム数が減少し、各画像のフレームの露光期間が長くなる。このようにして、低輝度シナリオにおけるビデオの画像輝度が改善される。このようにして、周辺光強度、移動端末の運動状態、及び撮影対象の運動状態を参照して、ビデオの画像輝度及び高輝度シナリオにおけるビデオの滑らかさは、いくつかのレベルのフレームレートの制御を通じて改善される。
図16aは、この出願の一実施形態による移動端末の撮影シナリオにおける光強度変化を示す例示的な図、図16bは、この出願の一実施形態による移動端末の運動状態変化を示す図、図16cは、この出願の一実施形態による撮影対象の運動状態変化を示す例示的な図、図16dは、この出願の一実施形態による移動端末によって実行されるビデオ撮影中のフレームレート変化を示す図である。
図16aに示すように、移動端末の撮影期間が0秒~5秒であるときに、移動端末は撮影シナリオにおける光強度が第1の光強度閾値(例えば、1000ルクス)よりも大きいことを検出する。移動端末の撮影期間が10秒~25秒であるときに、移動端末は撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)と第1の光強度閾値(例えば、1000ルクス)の間であることを検出する。移動端末の撮影期間が25秒~40秒であるときに、移動端末は撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)よりも小さいことを検出する。移動端末の撮影期間が40秒~55秒であるときに、移動端末は、撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)と第1の光強度閾値(例えば、1000ルクス)の間であることを検出する。移動端末の撮影期間が55秒~65秒であるときに、移動端末は、撮影シナリオにおける光強度が第1の光強度閾値(例えば、1000ルクス)よりも大きいことを検出する。第1の光強度閾値は、第2の光強度閾値よりも大きい。
図16bに示すように、移動端末の撮影期間が0秒~5秒であるときに、移動端末は移動端末の運動状態が中程度の運動状態であることを検出する。移動端末の撮影期間が5秒~30秒であるときに、移動端末は移動端末の運動状態がわずかな運動状態であることを検出する。移動端末の撮影期間が30秒~65秒であるときに、移動端末は移動端末の運動状態が激しい運動状態であることを検出する。
図16cに示すように、移動端末の撮影期間が0秒~15秒であるときに、移動端末は撮影対象の運動状態が中程度の運動状態であることを検出する。移動端末の撮影期間が15秒~35秒であるときに、移動端末は撮影対象の運動状態が運動状態わずかな運動状態であることを検出する。移動端末の撮影期間が35秒~65秒であるときに、移動端末は撮影対象の運動状態が激しいことを検出する。
図16dに示すように、移動端末がビデオの記録を開始するとき(例えば、0秒~2秒の撮影期間)に、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末の撮影期間が2秒~5秒であるときに、移動端末の撮影シナリオにおける光強度が第1の光強度閾値(例えば1000ルクス)よりも大きく、撮影シナリオは高輝度シナリオであり、移動端末の運動状態は中程度の運動状態であり、撮影対象の運動状態は中程度の運動状態であるため、移動端末は第1のフレームレート(例えば30fps)でビデオフレームの収集を続けることができる。移動端末の撮影期間が5秒~10秒であるときに、移動端末の撮影シナリオにおける光強度が第1の光強度閾値よりも大きく、撮影シナリオは高輝度シナリオであり、移動端末の運動状態はわずかな運動状態であり、撮影対象の運動状態は中程度の運動状態であるため、移動端末は第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末の撮影期間が10秒~15秒であるときに、移動端末の撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)と第1の光強度閾値との間であり、撮影シナリオが中程度の輝度撮影シナリオであり、移動端末の運動状態がわずかな運動状態であり、撮影対象の運動状態が中程度の運動状態であるため、移動端末は、第1のフレームレート(例えば、30fps)でビデオフレームの収集を続けることができる。移動端末の撮影期間が15秒~25秒であるときに、移動端末の撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)と第1の光強度閾値との間であり、撮影シナリオが中程度の輝度撮影シナリオであり、移動端末の運動状態がわずかな運動状態であること、撮影対象の運動状態がわずかな運動状態であることから、移動端末は、第1のフレームレート(例えば、30fps)でビデオフレームの収集を続けることができる。移動端末の撮影期間が25秒~30秒であるときに、移動端末の撮影シナリオにおける光強度が第2の光強度閾値(例えば100ルクス)よりも小さく、撮影シナリオは低輝度撮影シナリオであり、移動端末の運動状態はわずかな運動状態であり、撮影対象の運動状態はわずかな運動状態であるため、移動端末は第3フレームレート(例えば24fps)でビデオフレームを収集することができる。移動端末の撮影期間が30秒~35秒であるときに、移動端末が位置する環境における光強度が第2の光強度閾値(例えば、100ルクス)よりも小さく、撮影シナリオが低輝度撮影シナリオであり、移動端末の運動状態が激しい運動状態であり、撮影対象の運動状態がわずかな運動状態であることから、移動端末は第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末の撮影期間が35秒~40秒であるときに、移動端末の撮影シナリオにおける光強度が第2の光強度閾値(例えば100ルクス)よりも小さく、撮影シナリオは低輝度撮影シナリオであり、移動端末の運動状態は激しい運動状態であり、撮影対象の運動状態はわずかな運動状態であるため、移動端末は第1のフレームレート(例えば30fps)でビデオを撮影することができる。移動端末の撮影期間が40秒~55秒であるときに、移動端末の撮影シナリオにおける光強度が第2の光強度閾値と第1の光強度閾値との間であり、撮影シナリオが低輝度撮影シナリオであり、移動端末の運動状態が激しい運動状態であり、撮影対象の運動状態が激しい運動状態であるため、移動端末は、第1のフレームレート(例えば、30fps)でビデオを撮影することができる。移動端末の撮影期間が55秒~65秒であるときに、移動端末の撮影シナリオにおける光強度が第1の光強度閾値よりも大きく、撮影シナリオが高輝度撮影シナリオであり、移動端末の運動状態が激しい運動状態であり、撮影対象の運動状態がわずかな運動状態であるため、移動端末は第2のフレームレート(例えば、60fps)でビデオを撮影することができる。第2のフレームレート(たとえば60fps)は第1のフレームレート(たとえば30fps)よりも大きく、第1のフレームレートは第3のフレームレート(たとえば24fps)よりも大きい。
いくつかの実施態様では、移動端末がビデオを撮影するときに、移動端末は、タッチ画面上に現在の記録フレームレートを表示し、記録フレームレートが変化したときに、移動端末は、記録フレームレートが変化したことをユーザにプロンプト表示することができる。
例えば、図17Aは、画像を撮影するために使用されるユーザインターフェース1710の一例を示す。ユーザインターフェース1710は、カメラアイコンをタップすることによってユーザがアクセスするユーザインターフェースであってもよく、これに限定されない。代替的には、ユーザは、別のアプリケーションプログラムにおいて、画像を撮影するために使用されるユーザインターフェース1710を表示してもよい。例えば、ユーザは、画像を撮影するために使用されるユーザインターフェース1710を表示するために、WeChatアプリケーションにおける撮影制御をタップする。図17Aに示すように、画像を撮影するために使用されるユーザインターフェース1710は、フラッシュライトのオン/オフにするために使用される制御1711A、撮影カラーモードを設定するために使用される制御1711B、撮影中に様々なパラメータを設定するために使用される制御1711C、ビューファインダフレーム1713に表示される焦点距離を調整するために使用される制御1712、カメラの切り替えに使用される制御1715、撮影制御1716、撮影画像再生制御1717、及び撮影モード制御(例えば、ナイトモード制御1718A、ポートレイトモード制御1718B、共通の撮影モード制御1718C、ビデオモード制御1718D、プロフェッショナルモード制御1718E、又はそれ以上のモード制御1718F)を含み得る。
撮影モードがビデオモードに切り替わり、移動端末が、撮影制御1716上でユーザによって実行される入力操作1719(例えば、タップ)を受信するときに、入力操作1719に応答して、移動端末は、ビデオの記録を開始し、図17Bに示される記録インターフェース1720を表示することができる。図17Bに示すように、移動端末の記録インターフェース1720は、フラッシュライトをオン/オフにするために使用される制御1721、フレームレート表示領域1722、ビューファインダフレーム1724に表示される焦点距離を調整するために使用される制御1723、記録時間表示領域1725、ピクチャ撮影制御1726、記録停止制御1727、及び記録一時停止制御1728を含む。
図3に示す撮影シナリオにおける光強度に基づいて記録フレームレートを制御する前述の実施形態を参照して、ビデオの記録を開始するときに、移動端末は、デフォルトで、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。図17Bに示すように、撮影時点が1秒のときに、移動端末は、デフォルトで30fpsでビデオフレームを収集し、図17Bに示すフレームレート表示領域1722に現在の撮影フレームレート値(例えば、「fps: 30」)を表示する。図17Cに示すように、移動端末の撮影時点が9秒のときに、撮影シナリオにおける光強度は第1の光強度閾値(例えば、1000ルクス)よりも大きく、移動端末は高輝度撮影シナリオにある。移動端末は、第2のフレームレート(例えば、60fps)でビデオフレームを収集し、図17Cに示されるフレームレート表示領域1722に現在の撮影フレームレート値(例えば、「fps: 60」)を表示することができる。図17Dに示すように、移動端末の撮影時点が25秒であるときに、撮影シナリオにおける光強度は第2の光強度閾値(例えば100ルクス)と第1の光強度閾値(例えば1000ルクス)との間であり、撮影シナリオは中程度の輝度撮影シナリオである。移動端末は、第1のフレームレート(例えば、30fps)でビデオフレームを収集し、図17Dに示されるフレームレート表示領域1722に現在の撮影フレームレート値(例えば、「fps: 30」)を表示することができる。図17Eに示すように、移動端末の撮影時点が26秒であるときに、撮影シナリオにおける光強度は第2の光強度閾値(例えば100ルクス)よりも小さく、撮影シナリオは低輝度撮影シナリオである。移動端末がまだ第1のフレームレート(例えば、30fps)でビデオフレームを収集する場合、ビデオ画像の輝度は比較的低い。図17Fに示すように、移動端末の撮影時点が27秒であるときに、撮影シナリオにおける光強度は第2の光強度閾値(例えば100ルクス)よりも小さく、撮影シナリオは低輝度撮影シナリオである。移動端末は、ビデオ画像の輝度を改善するために、第3のフレームレート(例えば、24fps)でビデオフレームを収集し、図17Fに示すフレームレート表示領域1722に現在の記録フレームレート値(例えば、「fps: 24」)を表示する。低輝度撮影シナリオでは、記録フレームレートが低下するため、移動端末によって撮影されたビデオ画像が明るくなる。
この出願の実施態様において、ビデオの任意の時間間隔において、移動端末による撮影中の記録フレームレートは、撮影が完了した後にビデオが再生されるときに使用される再生フレームレートと同じである。例えば、移動端末は、ビデオの0秒~2秒では30fpsのフレームレートでビデオフレームを収集し、ビデオの2秒~10秒では60fpsのフレームレートでビデオフレームを収集し、ビデオの10秒~55秒では30fpsのフレームレートでビデオフレームを収集し、ビデオの25秒~40秒では24fpsのフレームレートでビデオフレームを収集し、ビデオの40秒~55秒では30fpsのフレームレートでビデオフレームを収集し、ビデオの55秒~65秒では60fpsのフレームレートでビデオフレームを収集する。この場合、ビデオが撮影されビデオファイルが生成された後、移動端末はビデオファイルを、ビデオの0秒~2秒では30fpsのフレームレート、ビデオの2秒~10秒では60fpsのフレームレート、ビデオの10秒~25秒では30fpsのフレームレート、ビデオの25秒~40秒では24fpsのフレームレート、ビデオの40秒~55秒では30fpsのフレームレート、ビデオの55秒~65秒では60fpsのフレームレートで再生する。
以下、この出願の実施形態に提供される記録フレームレート制御システム1800を説明する。
図18は、この出願の一実施形態による記録フレームレート制御システムの概略ブロック図である。図18に示すように、記録フレームレート制御システム1800は、中央処理ユニット10、画像センサ1830、画像プロセッサ1840、符号化モジュール1850、メモリ1860、角速度センサ1870、及び変位センサ1880を含み得る。
中央処理ユニット1810は、周辺輝度検出モジュール1811、移動端末運動検出モジュール1812、撮影対象運動検出モジュール1813、及び撮影対象認識ユニット1820を含み得る。撮影対象認識ユニット1820は、顔認識モジュール1821、人体認識モジュール1822、行動認識モジュール1823、及び車両認識モジュール1824を含み得る。中央処理ユニット1810は、ビデオ撮影中に、撮影シナリオの輝度、移動端末の運動状態、及び撮影対象の運動状態の3つの要因のうちの1つ以上に基づいて、画像センサ1830の記録フレームレートを制御するように構成され得る。
移動端末運動検出モジュール1812は、角度センサ1870によって送信される角速度データ及び/又は変位センサ1880によって送信される変位データに基づいて、移動端末の運動状態を検出することができる。撮影対象運動検出モジュール1813は、撮影対象認識ユニット1820によって認識された撮影対象に基づいて、撮影対象(例えば、顔、人体、行動、車両)の運動状態を検出するように構成され得る。顔認識モジュール1821は、カメラによってキャプチャされた画像から顔を認識するように構成され、人体認識モジュール1822は、カメラによってキャプチャされた画像から人体を認識するように構成され、行動認識モジュール1823は、カメラによってキャプチャされた画像から行動を認識するように構成され、車両認識モジュール1824は、カメラによってキャプチャされた画像から車両を認識するように構成されている。
画像センサ1830は、光を感知し、画像を生成するように構成され得る。画像センサ1830は、相補型金属酸化物半導体(complementary metal oxide semiconductor、CMOS)センサであってもよいし、電荷結合素子(charge-coupled device、CCD)センサなどの光学イメージセンサであってもよい。画像プロセッサ1840は、画像センサ1830によって生成された画像を処理して、画像データ及び露光パラメータなどのデータを取得し、そのデータを中央処理ユニット1810に送信するように構成され得る。画像センサ1830は、さらに、光検出を通じて画像センサ1830によって生成された画像に対してデータ処理を実行し、画像データを取得し、画像データを符号化モジュール1850に送信するように構成されている。符号化モジュール1850は、画像データを符号化してビデオファイル1861を取得し、ビデオファイル1861をメモリ1860に記憶するように構成され得る。
角度センサ1870は、3次元座標系におけるX方向、Y方向、及びZ方向のデバイスの回転運動を検出するように構成され得る。角度センサ1870は、ジャイロスコープ又は別の運動センサであり得る。角度センサ1870は、デバイス本体上又はカメラモジュール内に設置され得る。角度センサ1870がジャイロスコープである場合、ジャイロスコープによって出力される信号は、移動端末の角度運動速度である。ジャイロスコープ信号を一度積分することにより、移動端末が回転する角度を取得することができる。ジャイロスコープは、微小機械(micro electro mechanical systems、MEMS)ジャイロスコープであり得る。
変位センサ1880は、3次元座標系におけるX、Y、及びZ方向のデバイスの並進運動を検出するように構成されてもよい。変位センサ1880は、加速度計又は別の運動センサであり得る。変位センサ1880は、移動端末の本体に設置されてもよいし、カメラモジュールに設置されてもよい。変位センサ1880が加速度センサである場合、加速度センサが出力する信号は、デバイスの運動加速度である。デバイスの運動中の直線速度は、加速度センサの信号に対して一度積分を行うことによって取得されてもよく、装置が移動する距離は、直線速度に対して積分を行うことによって取得されてもよい。加速度センサは、圧電MEMS加速度計又は容量性MEMS加速度計であってもよい。圧電MEMS加速度計は、圧電効果を使用する。圧電MEMS加速度計では、剛体によって支持された質量ブロックがある。デバイスが動くときに、質量ブロックが圧力を発生し、剛体が歪を発生し、加速度を出力のための電気信号に変換する。容量性MEMS加速度計の内部にも質量ブロックがあり、質量ブロックは標準的なプレートキャパシタである。加速度の変化は、移動する質量ブロックの運動を駆動し、プレートコンデンサの2つの極と重複領域の間の間隔を変化させ、加速度は、キャパシタンス変化量を測定することによって計算される。実施態様では、ジャイロスコープ及び加速度計は、同じ電子部品内に設計されてもよいし、2つの独立した電子部品として別々に設計されてもよい。
以下、移動端末がビデオを記録する撮影シナリオにおける光強度が、この出願のこの実施形態において、強いか、中程度か、または弱いかを移動端末が判定する方法について説明する。
移動端末は、画像処理を実行することにより画像プロセッサ1840によって取得された画像露光パラメータを使用することにより撮影シナリオにおける光強度を判定することができる。
画像露光パラメータISO値が第1の露光パラメータ閾値(例えば、800)よりも小さいときに、それは、撮影シナリオにおける光強度が第1の光強度閾値(例えば、1000ルクス)よりも大きいことを示すことができ、移動端末は、撮影シナリオにおける光強度が強いことを判定することができる。
ISO値が第2の露光パラメータ閾値(例えば、2000)よりも大きいときに、それは、撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)よりも小さいことを示すことができ、移動端末は、撮影シナリオにおける輝度が低いと判定することができる。
ISO値が、第1の露光パラメータ閾値(例えば、800)と第2の露光パラメータ閾値(例えば、2000)との間にあるときに、それは、撮影シナリオにおける光強度が、第2の光強度閾値(例えば、100ルクス)と第1の光強度閾値(例えば、1000ルクス)との間にあることを示すことができ、移動端末は、撮影シナリオにおける光強度が中程度であることを判定することができる。
第1の光強度閾値は、第2の光強度閾値よりも大きい。第1の露光パラメータ閾値は、第2の露光パラメータ閾値よりも小さい。第1の露光パラメータ閾値は、別の標準値であってもよく、800に限定されない。第2の露光パラメータ閾値は、別の標準値であってもよく、2000に限定されない。撮影シナリオにおける光強度を判定するためのパラメータは、代替的には、自動露光期間又は画像画素情報などのISOとは異なる別の露光パラメータ又は画像情報であってもよい。これは、本明細書に限定されない。
例えば、図19は、この出願の一実施形態による記録フレームレート制御方法の概略フローチャートである。図19において、移動端末は、撮影シナリオにおける光強度を判定するための基準として、画像露光パラメータISO値を使用し、撮影シナリオにおける光強度、移動端末の運動状態、撮影対象の運動状態に基づいて、ビデオ記録中の記録フレームレートを制御する。
図19に示すように、移動端末は、最初にデフォルトで、第2のフレームレート(例えば、30fps)でビデオを記録し、撮影シナリオにおける光強度、移動端末の運動状態、及び撮影対象の運動状態に基づいて、第1のフレームレート(例えば、60fps)又は第3のフレームレート(例えば、24fps)に動的に切り替えることができる。画像露光パラメータISO値が800よりも小さく、移動端末が激しい運動状態にあるときに、又は画像露光パラメータISO値が800よりも小さく、撮影対象が激しい運動状態にあるときに、移動端末は、第1のフレームレート(すなわち、60fps)でビデオを記録することができる。画像露光パラメータISO値が2000よりも大きく、移動端末がわずかな運動状態にあり、撮影対象がわずかな運動状態にあるときに、移動端末は、第3のフレームレート(例えば、24fps)でビデオを記録することができる。他の条件では、移動端末は、第2のフレームレート(例えば、30fps)でビデオを記録することができる。
代替的には、移動端末は、最初に第1のフレームレート(例えば、60fps)又は第3のフレームレート(例えば、24fps)でビデオを記録し、次に、撮影シナリオにおける輝度、移動端末の運動状態、及び撮影対象の運動状態に基づいて、記録フレームレートを60fps、30fps、又は24fpsに動的に切り替えることができる。これは、本明細書に限定されない。
このようにして、移動端末が高輝度撮影シナリオにあり、移動端末が激しい運動状態シナリオにあるか、又は、撮影対象が激しい運動状態シナリオにあるときに、撮影されたビデオの画像がより滑らかになり、画像がより鮮明になる。低輝度撮影シナリオでは、移動端末がわずかな運動状態シナリオにあり、撮影対象がわずかな運動状態シナリオにあるときに、撮影されたビデオの画像の輝度が高くなり、ノイズが少なくなる。
実施態様において、移動端末がビデオを記録しているとき、移動端末は、最初に第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末は、収集されたビデオフレームの画像露光パラメータISO値が第1の露光パラメータ閾値(例えば、800)よりも小さいことを検出した場合、移動端末は、第1のフレームレートを第2のフレームレート(例えば、60fps)に調整して、ビデオフレームを収集することができる。移動端末が第2のフレームレート(例えば、60fps)でビデオフレームを収集するときに、移動端末は、収集されたビデオフレームの画像露光パラメータISO値が第3の露光パラメータ閾値(例えば、800)と第4の露光パラメータ閾値(例えば、1900)の間にあることを検出する場合、移動端末は第2のフレームレートを第1のフレームレート(例えば、30fps)に調整して、ビデオフレームを収集することができる。移動端末がビデオを記録しているときに、移動端末は、第1のフレームレート(例えば、30fps)でビデオフレームを収集することができる。移動端末は、収集されたビデオフレームの画像露光パラメータISO値が第2の露光パラメータ閾値(例えば、2000)よりも大きいことを検出した場合、移動端末は、第1のフレームレートを第3のフレームレート(例えば、24fps)に調整して、ビデオフレームを収集してもよい。移動端末が、最初に第3のフレームレート(例えば、24fps)でビデオフレームを収集する場合、移動端末は、収集されたビデオフレームの画像露光パラメータISO値が第3の露光パラメータ閾値(例えば、900)と第4の露光パラメータ閾値(例えば、1900)との間にあることを検出したときに、移動端末は第3のフレームレートを第1のフレームレート(例えば、30fps)に調整して、ビデオフレームを収集することができる。第1の露光パラメータ閾値が第3の露光パラメータ閾値よりも小さく、第3の露光パラメータ閾値が第4の露光パラメータ閾値よりも小さく、第4の露光パラメータ閾値が第2の露光パラメータ閾値よりも小さい。第1の露光パラメータ閾値と第3の露光パラメータ閾値との間の差は、特定の差(例えば、100)であり、第3の露光パラメータ閾値と第4の露光パラメータ閾値との間の差は、特定の差(例えば、100)である。このようにして、ビデオフレームの露光パラメータISO値が第1の露光パラメータ閾値又は第2の露光パラメータ閾値付近で変化するときに生じる記録フレームレートの頻繁な変化を回避することができる。
以下、この出願のこの実施形態において、移動端末が、移動端末の運動状態が、激しい運動状態、中程度の運動状態、又はわずかな運動状態であると判定する方法について説明する。
(1) 移動端末は、ジャイロスコープによって測定されたデータを使用することにより移動端末の運動状態を判定することができる。
移動端末は、X-Y-Z3軸ジャイロスコープによって測定されたデータを使用することにより、3次元座標系におけるX、Y、及びZ方向の測定データの二乗平均二乗Rx、Ry、及びRzを計算することができる。RxはジャイロスコープがX軸方向に測定したデータの二乗平均平方根、RyはジャイロスコープがY軸方向に測定したデータの二乗平均平方根、RzはジャイロスコープがZ軸方向に測定したデータの二乗平均平方根である。Rxは、次式(1)に従って計算することができ、Nは、ジャイロスコープによって定されるデータ群数であり、x
iは、X軸上のジャイロスコープによって測定されるのi番目のデータのグループである。Ryは、以下の式(2)に従って計算することができ、y
iは、Y軸上のジャイロスコープによって測定されるi番目のデータのグループである。Rzは、以下の式(3)によって計算することができ、z
iは、Z軸上のジャイロスコープによって測定されるi番目のデータのグループである。
Rx、Ry、又はRzが第1の値よりも大きいときに、移動端末は、移動端末の運動状態が激しい運動状態であると判定することができる。
Rx、Ry、及びRzが全て第2の値よりも小さい場合、移動端末は、移動端末の運動状態が、わずかな運動状態であると判定することができ、第1の値が第2の値よりも大きい。
Rx、Ry、及びRzが別の条件にある場合、移動端末は、移動端末の運動状態が中程度の運動状態であると判定することができる。
実施態様において、端末が一定速度で回転する場合、端末は、激しい運動状態であるとみなされ得る。移動端末が一定速度で回転するときに、1つの軸(例えば、X軸、Y軸、又はZ軸)上のジャイロスコープデータは、他の2つの軸上のジャイロスコープデータよりも明らかに大きくなり、この方向の軸のジャイロスコープデータは、安定しており、逆極性フラッピングがない。したがって、移動端末は、信号標準偏差及び信号振幅を使用することによって回転状態を検出することができる。Sxは、次式(4)に従って計算されてもよく、Nはジャイロスコープによって測定されるデータ群数であり、x
iはX軸上のジャイロスコープによって測定されるi番目のデータのグループであり、rはX軸上のジャイロスコープデータのN個のグループの平均値である。Sxは、次式(5)に従って計算されてもよく、y
iはY軸上のジャイロスコープによって測定されるi番目のデータのグループであり、sはY軸上のジャイロスコープデータのN個のグループの平均値である。Szは、次式(6)に従って計算されてもよく、z
iはZ軸上のジャイロスコープによって測定されるi番目のデータのグループであり、tはZ軸上のジャイロスコープデータのN個のグループの平均値である。
Sx、Sy、及びSzが全てある値よりも小さく、Rx、Ry、又はRzのいずれかが第1の値よりも大きいときに、移動端末は、移動端末の運動状態が激しい運動状態であると判定することができる。
Rx、Ry、及びRzが全て第2の値よりも小さいときに、移動端末は、移動端末の運動状態がわずかな運動状態であると判定することができる。
Rx、Ry、及びRzが別の状態にあるときに、移動端末は、移動端末の運動状態が中程度の運動状態であると判定することができる。
(2) 移動端末は、加速度計によって測定されたデータを使用することによって、移動端末の運動状態を判定することができる。
移動端末は、X-Y-Z3軸加速度計によって測定されたデータを使用することにより、3次元座標系におけるX、Y及びZ方向の測定されたデータの二乗平均平方根Ax、Ay、Azを計算することができる。Axは、X軸方向において加速度計によって測定されたデータの二乗平均平方根であるAyは、Y軸方向において加速度計によって測定されたデータの二乗平均平方根である。Azは、Z軸方向において加速度計によって測定されたデータの二乗平均平方根である。Rxは、以下の式(7)に従って計算することができ、Mは加速度計によって測定されたデータ群の量であり、a
iはX軸上の加速度計によって測定されたi番目のデータのグループである。Ryは、以下の式(8)に従って計算することができ、b
iは、Y軸上の加速度計によって測定されたi番目のデータのグループである。Rzは、以下の式(9)に従って計算することができ、c
iは、Z軸上の加速度計によって測定されたi番目のデータのグループである。
Ax、Ay、又はAzが第3の値よりも大きいときに、移動端末は、移動端末の運動状態が激しい運動状態であると判定することができる。
Ax、Ay、及びAzが全て第4の値よりも小さいときに、移動端末は、移動端末の運動状態がわずかな運動状態であると判定することができ、第3の値は第4の値よりも大きい。
Ax、Ay、及びAzが別の条件にあるときに、移動端末は、移動端末の運動状態が中程度の運動状態であると判定することができる。
以下、この出願のこの実施形態において、移動端末が、撮影されたビデオの画像において、撮影対象の運動状態を判定する方法について説明する。
移動端末は、顔認識モジュール1821、人体認識モジュール1822、行動認識モジュール1823、車両認識モジュール1824などを使用することにより、ビデオの画像内の顔、人体、又は車両などの撮影対象を検出することができる。移動端末は、2つ以上の連続した画像のフレームにおける同じ撮影対象の位置を比較することによって、撮影対象の運動状態を判定することができる。
2つ以上の画像のフレーム間の同じ撮影対象の運動距離が第1の距離の閾値よりも大きいときに、移動端末は、撮影対象の運動状態が激しい運動状態であると判定することができる。
2つ以上の画像のフレーム間の同じ撮影対象の運動距離が第1の距離閾値と第2距離閾値との間にあるときに、移動端末は、撮影対象の運動状態が中程度の運動状態であると判定することができる。
2つ以上の画像のフレーム間の同じ撮影対象の運動距離が第2の距離閾値よりも小さいときに、移動端末は、撮影対象の運動状態がわずかな運動状態であると判定することができる。
図20は、この出願の一実施形態による記録フレームレート制御方法の概略フローチャートである。図20に示すように、記録フレームレート制御方法は、以下のステップを含み得る。
S2001:移動端末は、ユーザの第1の入力を受信する。
第1の入力は、図17Aに示される入力操作1719であってもよい。具体的な内容については、図17Aに示す前述の実施形態を参照のこと。詳細は、ここでは再度説明しない。
S2002:第1の入力に応答して、移動端末はビデオの記録を開始する。
詳細については、図17Bに示される前述の実施形態を参照のこと。詳細は、ここでは再度説明しない。
S2003:移動端末は、第1のフレームレートで撮影シナリオのN個のビデオフレームを収集する。
第1のフレームレートは30fpsであってもよいが、30fpsに限定されない。これは、本明細書に限定されない。写真撮影シナリオは、図17A~図17Fの写真撮影シナリオであってもよい。例えば、ユーザが移動端末を使用して夜間にビデオを記録するときに、ユーザは最初に、室内照明の下で家族のメンバーを撮影する、すなわち、最初は、移動端末の撮影シナリオが建物内にある。次に、レンズを光のない屋外環境に向けて、屋外の夜景の撮影を続ける。この場合、移動端末の撮影シナリオが屋外シナリオに切り替えられる。
S2004:移動端末は、収集されたN個のビデオフレームに基づいて撮影シナリオにおける光強度を判定し、撮影シナリオにおける光強度に基づいて移動端末の記録フレームレートを自動的に調整する。
移動端末は、前記N個のビデオフレームの露光パラメータが第1の露光パラメータ閾値よりも小さいかどうかを判定し、そうである場合、前記移動端末は、前記撮影シナリオにおける前記光強度が第1の光強度閾値よりも大きいと判定する。移動端末は、前記N個のビデオフレームの前記露光パラメータが第2の露光パラメータ閾値よりも大きいかどうかを判定し、そうである場合、前記移動端末は、前記撮影シナリオにおける前記光強度が第2の光強度閾値よりも小さいと判定する。例えば、露光パラメータはISOであってもよく、第1の露光パラメータ閾値(例えば、800)は第2の露光パラメータ閾値(例えば、2000)よりも小さい。第1の光強度閾値(例えば、1000ルクス)は、第2の光強度閾値(例えば、100ルクス)よりも大きい。前述の例は、単にこの出願を説明するために使用されたものであり、本明細書において限定を構成するものではない。
実装において、移動端末は、撮影シナリオにおける光強度が第1の光強度閾値(例えば、2000ルクス)よりも大きいときに、移動端末の記録フレームレートを第2のフレームレートに調整し、第2のフレームレート(例えば、60fps)は第1のフレームレート(例えば、30fps)よりも大きい。このようにして、撮影シナリオにおける光強度が比較的強いときに、移動端末によって撮影されたビデオの露光が十分であり、移動端末は撮影されたビデオのフレームレートを上昇させることができる。フレームレートの上昇により、1秒当たりの移動端末によって撮影された画像のフレーム数が増加し、ビデオがより滑らかになる。撮影シナリオにおける光強度に基づいてフレームレートを動的に調整することにより、比較的暗い撮影シナリオにおける移動端末により撮影されたビデオの画像輝度を改善し、比較的明るい撮影シナリオにおける移動端末により撮影されたビデオの画像の滑らかさを改善し、ビデオ画像の品質を改善することができる。
実施態様において、移動端末は、撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)よりも小さいときに、移動端末の記録フレームレートを第3のフレームレートに調整し、第3のフレームレート(例えば、24fps)は、第1のフレームレート(例えば、30fps)よりも大きい。このようにして、撮影シナリオにおける光強度が比較的弱いときに、移動端末によって撮影されたビデオの露光が不十分であり、移動端末は、撮影されたビデオのフレームレートを低下させることができる。フレームレートの低下により、移動端末上の各ビデオフレームの露光期間が長くなり、ビデオ画像の輝度が改善され得る。
実施態様において、移動端末が第2のフレームレート(例えば、60fps)で撮影シナリオのビデオフレームを収集するときに、移動端末は、現在収集されているビデオフレームの露光パラメータ(例えば、ISO値)が第3の露光パラメータ閾値(例えば、900)よりも大きく、第2の露光パラメータ閾値(例えば、2000)よりも小さいかどうかを判定することができる。そうである場合、移動端末は、移動端末の記録フレームレートを第1のフレームレート(例えば、30fps)に調整する。第1の露光パラメータ閾値(例えば、800)は、第3の露光パラメータ閾値(例えば、900)よりも小さく、第3の露光パラメータ閾値は、第2の露光パラメータ閾値(例えば、2000)よりも小さい。このようにして、ビデオフレームの露光パラメータが第1の露光パラメータ閾値付近で変化するときに、第1のフレームレートと第2のフレームレートとの間の記録フレームレートの頻繁な切り替えを回避することができる。
実施態様において、移動端末が第3のフレームレート(例えば、24fps)で写真撮影シナリオのビデオフレームを収集するときに、移動端末は、現在収集されているビデオフレームの露光パラメータ(例えば、ISO値)が第4の露光パラメータ閾値(例えば、1900)よりも小さく、第1の露光パラメータ閾値(例えば、800)よりも大きいかどうかを判定することができる。そうである場合、移動端末は、移動端末の記録フレームレートを第1のフレームレート(例えば、30fps)に調整する。第1の露光パラメータ閾値(例えば、800)は、第4の第2の露光パラメータ閾値(例えば、1900)よりも小さく、第4の露光パラメータ閾値は、第2の露光パラメータ閾値(例えば、2000)よりも小さい。このようにして、ビデオフレームの露光パラメータが第2の露光パラメータ閾値付近で変化するときに、第1のフレームレートと第3のフレームレートとの間の記録フレームレートの頻繁な切り替えを回避することができる。
実施態様において、移動端末は、写真撮影シナリオにおける光強度が1の光強度閾値(例えば、1000ルクス)よりも大きく、移動端末の運動変位が第1の距離閾値(例えば、1メートル)よりも大きいかどうかを判定するか、又は写真撮影シナリオにおける光強度が第1の光強度閾値よりも大きく、移動端末の運動速度が第1の速度閾値(例えば、1メートル/秒)よりも大きいかどうかを判定したりすることができ、そうである場合、移動端末は、移動端末の記録フレームレートを第2のフレームレート(例えば、60fps)に調整し、第2のフレームレート(例えば、60fps)が第1のフレームレート(例えば、30fps)よりも大きい。
移動端末は、撮影シナリオにおける光強度が2の光強度閾値(例えば、100ルクス)よりも小さいか、移動端末の移動が第2の距離閾値(例えば、0.5メートル)よりも小さいか、及び運動速度が第2の速度閾値(例えば、0.5メートル/秒)よりも小さいかどうかを判定することができる。そうである場合、移動端末は、移動端末の記録フレームレートを第3のフレームレート(例えば、24fps)に調整し、第3のフレームレート(例えば、24fps)は、第1のフレームレート(例えば、30fps)よりも小さい。第2の距離閾値(例えば、0.5メートル)は第1の距離閾値(例えば、1メートル/秒)よりも小さく、2の速度閾値(例えば、0.5メートル/秒)は1の速度閾値(例えば、1メートル/秒)よりも小さい。移動端末による運動変位及び運動速度の測定の具体的な実施態様については、移動端末による運動状態の判定の前述の内容を参照のこと。詳細は、ここでは再度説明しない。
このようにして、移動端末が激しく移動するときに、記録フレームレートが上昇し、移動端末によって撮影された各画像のフレームの露光期間が短くなり、移動端末の運動状態によるビデオ画像のぼやけが少なくなる。このようにして、激しい運動状態で移動端末によって撮影されたビデオのモーションブラーを低減し、ビデオ画像の滑らかさと品質を改善することができる。
実施形態において、移動端末は、撮影シナリオにおける光強度が第1の光強度閾値(例えば、1000ルクス)よりも大きく、N個のビデオフレームのうちの任意の2つにおける同じ撮影対象の変位が第3の距離閾値(例えば、1センチメートル)よりも大きいかどうかを判定することができる。そうである場合、移動端末は移動端末の記録フレームレートを第2のフレームレート(例えば60fps)に調整し、第2のフレームレート(例えば60fps)は、第1のフレームレート(例えば30fps)よりも大きい。
移動端末は、撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)よりも小さいか、及びN個のビデオフレームのうちの任意の2つにおける同じ撮影対象の変位が第4の距離閾値(例えば、1センチメートル)よりも小さいかどうかを判定することができる。そうである場合、移動端末は、移動端末の記録フレームレートを第3のフレームレート(例えば、24fps)に調整し、第3のフレームレート(例えば、24fps)は、第1のフレームレート(例えば、30fps)よりも小さい。移動端末による撮影対象の変位を測定する具体的な実施態様については、移動端末により撮影された画像内の撮影対象の運動状態を判定する前述の内容を参照のこと。詳細は、ここでは再度説明しない。
このようにして、撮影対象が激しく動くときに記録フレームレートが上昇するため、移動端末によって撮影された各画像のフレームの露光期間が短くなり、撮影対象の運動によるビデオが像のぼやけが軽減される。撮影対象がわずかに動くときに記録フレームレートが低下するため、1秒当たりの撮影される画像のフレーム数が減少するため、各画像のフレームの露光期間が長くなる。したがって、撮影されたビデオの画像輝度を確保することができ、移動端末が撮影された画像を処理するときに生じる電力消費を低減する。このようにして、撮影対象が激しい運動状態にあるときに撮影されたビデオのモーションブラーを低減し、ビデオ画像のビデオ滑らかさ及び品質を改善することができる。
実施態様において、移動端末は、以下の条件が満たされているかどうかを判定することができる。すなわち、撮影シナリオにおける光強度が1の光強度閾値(例えば、1000ルクス)よりも大きく、移動端末の運動変位が第1の距離閾値(例えば、1メートル)よりも大きいことか、若しくは移動端末の運動速度が第1の速度閾値(例えば、1メートル/秒)よりも大きいことか、又は撮影シナリオにおける光強度が第1の光強度閾値(例えば、1000ルクス)よりも大きく、N個のビデオフレームのうちの任意の2つにおける同じ撮影対象の変位が第3の距離閾値(例えば、2センチメートル)よりも小さいことである。そうである場合、移動端末は移動端末の記録フレームレートを第2のフレームレート(例えば60fps)に調整し、第2のフレームレート(例えば60fps)は、第1のフレームレート(例えば30fps)よりも大きい。
移動端末は、以下の条件が満たされているかどうかを判定することができる。すなわち、撮影シナリオにおける光強度が2の光強度閾値(例えば、100ルクス)よりも小さく、移動端末の運動変位が第2の距離閾値(例えば、0.5メートル)よりも小さく、N個のビデオフレームのうちの任意の2つの同じ撮影対象の変位が第4の距離閾値(例えば、1センチメートル)よりも小さいことか、又は撮影シナリオにおける光強度が第2の光強度閾値(例えば、100ルクス)よりも小さく、移動端末の運動速度が第2の速度閾値(例えば、0.5メートル/秒)よりも小さく、N個のビデオフレームのうちの任意の2つの同じ撮影対象の変位が第4の距離閾値(例えば、1センチメートル)よりも小さいことである。そうである場合、移動端末は移動端末の記録フレームレートを第3のフレームレート(例えば、24fps)に調整する。
このようにして、撮影シナリオにおける光強度が強く、移動端末が激しい運動状態にあるときに記録フレームレートが高くなるため、1秒当たりの移動端末によって撮影された画像のフレーム数が増加し、各画像のフレームの露光期間が短くなる。このようにして、移動端末の激しい運動状態によるビデオ画像のモーションブラーを低減し、ビデオ画像の滑らかさを改善することができる。追加的に、撮影シナリオにおける光強度が強いため、記録フレームレートが高くても、各画像のフレームが比較的明るい。撮影シナリオにおける光強度が弱く、移動端末がわずかに動いているときに記録フレームレートが低いため、1秒当たりの移動端末によって撮影された画像フレーム数が減少し、各画像のフレームの露光期間が長くなる。このようにして、低輝度環境でのビデオ画像の明るさが向上する。このようにして、周辺光強度と移動端末の運動状態を参照して、ビデオの画像輝度及び高輝度シナリオにおけるビデオの滑らかさは、いくつかのレベルのフレームレートの制御を通じて改善される。
S2005:移動端末は、調整後に取得された記録フレームレートに基づいて、撮影シナリオのビデオフレームの収集を続ける。
S2006:移動端末は、第1のフレームレートで収集されたビデオフレームと、調整後に取得された記録フレームレートで収集されたビデオフレームとに基づいてビデオファイルを生成する。
移動端末がビデオファイルを生成する処理については、図18に示す前述の実施形態を参照のこと。詳細は、ここでは再度説明しない。
この出願のこの実施形態では、移動端末によって実行されるビデオ記録中に撮影シナリオにおける光強度、移動端末の運動状態、撮影対象の運動状態の3つの要因のうちの1つ以上に基づいて制御され得る。移動端末は、撮影シナリオにおける光強度に基づいて記録フレームレートを自動的に調整し、低輝度シナリオにおけるビデオ画像の輝度を、高輝度シナリオにおけるビデオの滑らかさを改善する。移動端末は、移動端末の運動状態に基づいてフレームレートを制御し、運動中に移動端末によって撮影されたビデオの滑らかさを改善する。移動端末は、撮影対象の運動状態に基づいてフレームレートを制御し、ビデオ画像内に動いている物体があるときに、画像の滑らかさを改善し、撮影された画像内の撮影対象の運動によるモーションブラーを低減する。このようにして、移動端末の記録フレームレートが自動的に調整され、ビデオ画像の画質が改善される。
結論として、前述の実施形態は、この出願の技術的解決策を説明することを単に意図したものであって、この出願を限定するものではない。この出願は、前述の実施形態を参照して詳細に説明されているが、当業者は、前述の実施形態に説明された技術的解決策を依然として修正し得るか、又はその技術的特徴のいくつかを同等に置き換えることができると理解すべきである。これらの修正又は置き換えは、対応する技術的解決策の本質を、この出願の実施形態の技術的解決策の範囲外にはしない。