JP7311418B2

JP7311418B2 - 焦点合わせの方法、端末、およびコンピュータ可読記憶媒体

Info

Publication number: JP7311418B2
Application number: JP2019544741A
Authority: JP
Inventors: リ、シャオペン
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2017-06-16
Filing date: 2018-06-14
Publication date: 2023-07-19
Anticipated expiration: 2038-06-14
Also published as: EP3416373B1; KR20190104216A; KR102137921B1; CN107257433A; EP3416373A1; WO2018228503A1; CN107257433B; US10602055B2; US20180367725A1; JP2020511685A; ES2856336T3

Description

本開示は、焦点合わせ技術の分野に関し、詳細には、焦点合わせの方法、端末、およびコンピュータ可読記憶媒体に関する。

スマート端末の急速な発展に伴い、スマート端末の撮影機能は、特に人々を撮影するためにますます頻繁に使用されるようになってきている。ショッピングモール、アトラクション、および関心のある場所は、集合写真または自撮り写真を撮っている人をよく見ることができる。現在の業界では、端末内のカメラは、通常、顔領域の検出に基づいて焦点合わせがトリガされる技術である、フェイスフォーカス機能をサポートする。すなわち、顔を最も鮮明な焦点として焦点合わせおよび撮影が実現される。

顔を撮影するとき、取得される顔の関心領域（ＲＯＩ）が安定した後に、自動焦点（ＡＦ）モードが、通常、撮影を完了するためにトリガされる。しかしながら、撮影中の被写体の動きは、取得される写真をぼかす可能性がある。

本開示の実施形態は、高速かつ正確な焦点合わせで動く顔を鮮明に撮影できることを保証することが可能な焦点合わせの方法、端末、およびコンピュータ可読記憶媒体を提供する。

一態様によれば、焦点合わせの方法が提供される。方法は、撮影プレビューモードで画像内の顔の関心領域を取得するステップと、第１の焦点合わせモードで顔の関心領域に焦点を合わせるステップと、第１の焦点合わせモードにおける顔の関心領域が安定しているかどうかを判定するステップと、第１の焦点合わせモードにおける顔の関心領域が安定しているという判定に応答して、顔の関心領域に再び焦点を合わせるために第２の焦点合わせモードをトリガするステップであって、第１の焦点合わせモードが第２の焦点合わせモードとは異なる、ステップとを含む。

別の態様によれば、端末が提供される。端末は、撮像デバイス、表示デバイス、メモリ、プロセッサ、およびコンピュータプログラムを含む。コンピュータプログラムはメモリに記憶され、１つまたは複数の動作を実施するためにプロセッサによって実行されるように構成される。１つまたは複数の動作は、撮影プレビューモードで画像内の顔の関心領域を取得することと、第１の焦点合わせモードで顔の関心領域に焦点を合わせることと、第１の焦点合わせモードにおける顔の関心領域が安定しているかどうかを判定することと、第１の焦点合わせモードにおける顔の関心領域が安定しているという判定に応答して、顔の関心領域に再び焦点を合わせるために第２の焦点合わせモードをトリガすることであって、第１の焦点合わせモードが第２の焦点合わせモードとは異なる、トリガすることとを含む。

さらに、コンピュータプログラムを記憶しているコンピュータ可読記憶媒体が提供される。コンピュータプログラムは、１つまたは複数の動作を実施するためにプロセッサによって実行されるように構成される。１つまたは複数の動作は、撮影プレビューモードで画像内の顔の関心領域を取得することと、第１の焦点合わせモードで顔の関心領域に焦点を合わせることと、第１の焦点合わせモードにおける顔の関心領域が安定しているかどうかを判定することと、第１の焦点合わせモードにおける顔の関心領域が安定しているという判定に応答して、顔の関心領域に再び焦点を合わせるために第２の焦点合わせモードをトリガすることであって、第１の焦点合わせモードが第２の焦点合わせモードとは異なる、トリガすることとを含む。

本技術の他の特徴は、以下の発明を実施するための形態に含まれる情報を考慮することから明らかになる。

本開示の技術スキームをよりよく示すために、本明細書で使用される添付図面の簡単な説明が以下に与えられる。明らかに、以下に列挙される図面は単なる実施形態であり、当業者は、創造的な活動なしにこれらの例示的な図面に基づいて他の図面も得ることができることに留意されたい。

一実施形態における端末の内部構造の概略図である。一実施形態における焦点合わせの方法の流れ図である。一実施形態における人物の顔の関心領域を示す図である。別の実施形態における焦点合わせの方法の流れ図である。一実施形態における焦点合わせデバイスの構造ブロック図である。一実施形態において、コンピュータプログラムを実行するときに端末プロセッサによって実施されるステップの流れ図である。一実施形態において、コンピュータ可読記憶媒体に記憶されたコンピュータプログラム（命令）がプロセッサによって実行されるときに実施される動作の流れ図である。

本開示の目的、技術的解決策、および利点をより明確にするために、添付図面および実施形態を参照して本開示がさらに詳細に記載される。本明細書に記載された具体的な実施形態は、本開示を説明するためにのみ使用され、同じものに限定されるものではないことを理解されたい。

添付の図面を参照して、本開示の様々な実施形態における端末が次に記載される。以下の説明では、要素を表すための「モジュール」または「ユニット」などの語句は、説明を容易にするために使用されるにすぎず、特定の意味を有するものではない。したがって、「モジュール」および「ユニット」は混在して使用することができる。

一実施形態で提供される焦点合わせデバイスは、コンピュータまたはモバイル端末を含む、撮影することが可能な端末などの端末に適用されてもよい。

端末は様々な形態で実装することができる。たとえば、本開示に記載される端末は、携帯電話、スマートフォン、ノートブックコンピュータ、携帯情報端末（ＰＤＡ）、タブレット（ＰＡＤ）、携帯型マルチメディアプレーヤ（ＰＭＰ）、ナビゲーションデバイスなどのモバイル端末、およびデジタルテレビ、デスクトップコンピュータなどの固定デバイスを含んでもよい。以下では、端末がモバイル端末であると仮定する。しかしながら、特に移動の目的で使用される要素を除いて、本実施形態による構成は固定タイプの端末にも適用できることを当業者なら理解されよう。図１は、一実施形態における端末の内部構造の概略図である。図１に示されたように、端末は、システムバスを介して接続された撮像デバイス１１０、プロセッサ１２０、メモリ１３０、内部メモリ１４０、ネットワークインターフェース１５０、スピーカ１６０、表示デバイス１７０、および入力デバイス１８０を含む。端末のメモリ１３０は、オペレーティングシステムおよびコンピュータ可読命令を記憶する。コンピュータ可読命令は、焦点合わせの方法を実施するためにプロセッサ１２０によって実行される。プロセッサ１２０は、計算機能および制御機能を提供して端末全体の動作をサポートするために使用される。端末内の内部メモリ１４０は、メモリ１３０内のコンピュータ可読命令を実行するための環境を提供する。ネットワークインターフェース１５０は、サーバとのネットワーク通信に使用される。端末の表示スクリーン１７０は、液晶ディスプレイまたは電子インクディスプレイであってもよく、入力デバイス１８０は、表示スクリーンを覆うタッチ層、ボタン、トラックボール、または端末筐体に設けられたタッチパッドであってもよく、外付けキーボード、タッチパッド、またはマウスであってもよい。当業者は、図１に示された構造が本開示の解決策に関連する部分的な構造の単なるブロック図であり、本出願の解決策が適用される端末に対する制限を構成しないことを理解することができる。具体的な端末は、図に示された構成要素よりも多いかもしくは少ない構成要素、またはいくつかの構成要素の組合せ、または様々な構成要素の配置を含んでもよい。

図２は、一実施形態における焦点合わせの方法のフローチャートである。本実施形態では、焦点合わせの方法が提供される。２１０において、画像内の顔の関心領域が撮影プレビューモードで取得される。

本開示のこの実施形態で提供される焦点合わせの方法は、端末上で撮影が行われるシーンにおいて実施されることに留意されたい。ユーザが写真を撮りたいとき、端末の撮像デバイス１１０を起動することができる。撮像デバイス１１０は、フロントカメラ、リアカメラ、デュアルカメラなどであってもよい。撮影プレビューモードに入るために端末の撮像デバイス１１０が起動される。画像内の顔が事前設定された顔認識アルゴリズムによって検出され、画像内の顔の位置情報が取得される。通常、画像内の顔は顔枠によって囲むことができ、その顔枠の境界パラメータ情報が顔位置情報と見なされる。顔枠は、ボックス、丸みを帯びたボックス、または他の幾何学的な閉じたボックスであり得る。

具体的には、顔枠がボックスである場合、顔位置情報は、顔枠の始点の水平および垂直の座標情報、顔枠の長さ情報、ならびに顔枠の幅情報を含む。

検出された顔の位置情報によれば、取得された顔の位置情報は、事前設定されたオートフォーカスアルゴリズム（ＡＦ）により、焦点合わせプロセスに必要な顔の関心領域（ＲＯＩ）の情報に変換されてもよい。顔の関心領域は、機械視覚および画像処理の分野では、処理画像からボックス、円、楕円、不規則な多角形などを含む様々な形状で輪郭を描かれた処理されるべき領域である。Ｈａｌｃｏｎ、ＯｐｅｎＣＶ、Ｍａｔｌａｂなどの機械視覚ソフトウェアでは、顔の関心領域を取得し、画像処理の次のステップを実行するために、様々な演算子および関数が一般的に使用される。一般に、上記の変換プロセスは、顔の関心領域を形成するように顔枠を拡大および／または伸張することである。

具体的には、本開示の実施形態では、顔の関心領域は、処理画像から輪郭を描かれたボックス内で処理されるべき領域である。顔の関心領域の位置情報は、ボックスの境界座標パラメータ情報である。図３を参照すると、境界座標パラメータ情報は、ボックスのある頂点の水平および垂直の座標情報Ｏ（ｘ，ｙ）、ボックスの長さ情報Ｌ、および幅情報Ｗを含む。

２２０において、方法は、第１の焦点合わせモードで顔の関心領域に焦点を合わせることに進む。

たとえば、第１の焦点合わせモードは、ＰＤＡＦモードと略される位相検出オートフォーカスモードであってもよい。各フレーム内の顔の関心領域は、ＰＤＡＦモードで焦点を合わせることができる。ＰＤＡＦモードの原理は、感光素子上の位相検出に特化したいくつかの遮蔽されたピクセルを確保し、ピクセル間の距離およびその変化に従って焦点合わせのオフセット値を決定することであり、それにより、正確な焦点合わせが実現される。ＰＤＡＦモードでは、オフセット値のみが検出され、「正確な焦点」または「不正確な焦点」の信号のみが提供される。焦点合わせシステムは、それにより、信号のピーク位置に従ってオフセットの方向を知ることができる。

具体的には、本実施形態では、ＰＤＡＦモードは、オートフォーカスセンサとピクセルセンサを直接集積すること、すなわち、ピクセルセンサから左右一対のピクセル点を取り出して、シーン内の被写体の光量などの情報をそれぞれ検出することに関連する。左右の関連値を比較することにより、レンズモータが焦点合わせを完了するために対応する位置に一度でレンズを近づける前に、正確な焦点をすぐに見つけることが可能である。

ＰＤＡＦはレンズの繰返しの動きを必要とせず、したがって、焦点合わせストロークはかなり短くなることができ、焦点合わせプロセスは巧妙かつ速い。ＰＤＡＦのこれらの特性によって、顔が安定するのを待つ必要がなく、それにより、顔のリアルタイム追跡を実現することができる。

２３０において、方法は、第１の焦点合わせモードにおける顔の関心領域が安定しているかどうかを判定することに進む。

２４０において、第１の焦点合わせモードにおける顔の関心領域が安定しているという判定に応答して、顔の関心領域に再び焦点を合わせるために第２の焦点合わせモードがトリガされる。第１の焦点合わせモードは第２の焦点合わせモードとは異なる。

第１の焦点合わせモードにおける顔の関心領域が安定しているかどうかを判定することにより、第１の焦点合わせモードにおける顔の関心領域が安定しているという判定に応答して、顔の関心領域に再び焦点を合わせるために、補助焦点合わせモードであり得る第２の焦点合わせモードがトリガされる。このようにして、粗い焦点合わせモードであるＰＤＡＦによって実質的な焦点領域を迅速に決定することが可能であり、顔の関心領域が安定した後、最も正確な焦点位置を決定するために、補助焦点合わせモードで細かい焦点合わせが実行される。すなわち、ＰＤＡＦモードおよび補助焦点合わせモードの組み合わされた焦点合わせにより、焦点合わせ時間を大幅に短縮することができ、顔の関心領域への自動焦点合わせを迅速かつ正確に実現することができる。

上記の焦点合わせの方法では、画像内で検出された位置情報に従って焦点合わせプロセスにおける顔の関心領域が決定され、顔の関心領域が決定されるとＰＤＡＦモードで焦点合わせが実行される。すなわち、顔が撮影プレビューモードで表示されている限り、顔はどのように動いても常に鮮明である。同時に、ＰＤＡＦモードにおける顔の関心領域が安定しているとき、顔の関心領域に再び焦点を合わせるために、補助焦点合わせモードがトリガされる。ＰＤＡＦモードおよび補助焦点合わせモードの組み合わされた焦点合わせにより、焦点合わせ時間を大幅に短縮することができ、顔の関心領域への自動焦点合わせを迅速かつ正確に実現することができる。

一実施形態では、顔の関心領域の安定性を判定するための基準は、連続するＮ個のフレーム内の第１の焦点合わせモードにおける顔の関心領域の位置情報を取得することと、顔の関心領域の位置情報が変化しているかどうかを判定することとを含む。

具体的には、Ｎは３～５の範囲、すなわち３≦Ｎ≦５である。

Ｎ＝３のとき、まず、第１のフレーム内の顔の関心領域の位置情報が検出され記憶される。次いで、第２のフレーム内の顔の関心領域の位置情報が取得され、第２のフレーム内の顔の関心領域の位置情報が、第１のフレーム内の顔の関心領域の位置情報に対して変化しているかどうかが判定される。第２のフレーム内の顔の関心領域の位置情報が変化している場合、それは、顔の関心領域が安定していないことを示す。変化が起きていない場合、第３のフレーム内の顔の関心領域の位置情報が取得され、第３のフレーム内の顔の関心領域の位置情報が、第１のフレーム内の顔の関心領域の位置情報に対して変化しているかどうかが判定される。第３のフレーム内の顔の関心領域の位置情報が変化している場合、それは、顔の関心領域が安定していないことを示す。変化が起きてない場合、それは、顔の関心領域が安定していることを示す。

場合によっては、Ｎ＝４またはＮ＝５のとき、連続するＮ個のフレーム内の顔の関心領域の安定性を判定するために、上記の方法をまた使用することができる。

一実施形態では、連続するＮ個のフレーム内の顔の関心領域の位置情報が変化しているかどうかを判定することは、連続するＮ個のフレームの顔の関心領域の境界座標パラメータ情報を取得し、それが変化しているかどうかを判定することを含む。具体的には、顔の関心領域は閉じたボックスであり、境界座標パラメータ情報は、ボックスのある頂点の水平および垂直の座標情報（Ｏ）、ボックスの長さ情報、および幅情報である。連続するＮ個のフレーム内の顔の関心領域の境界座標パラメータ情報内のパラメータのうちのいずれか１つが変化している場合、顔の関心領域は安定していないと考えられる。境界座標パラメータ情報内のすべてのパラメータが変化していない場合、顔の関心領域は安定していると考えられる。

一実施形態では、図４を参照すると、焦点合わせの方法が詳細に示される。４４０において、顔の関心領域が安定していないことが検出されると、第１の焦点合わせモードにおける顔の関心領域が安定するまで、第１の焦点合わせモードにおける顔の関心領域は、連続的にＰＤＡＦモードで焦点が合わされる。

ブロック４１０、４２０、４３０、および４４０は、図２の２１０、２２０、２３０、および２４０と一対一に対応し、詳細は本明細書では再び記載されない。

４５０における方法は以下のように理解されてもよい：第２のフレーム内の顔の関心領域の位置情報が第１のフレーム内の顔の関心領域の位置情報と一致しないとき、第２のフレーム内の顔の関心領域はＰＤＡＦモードで焦点が合わされる。第３のフレーム内の顔の関心領域の位置情報が第２のフレーム内の顔の関心領域の位置情報と一致しない場合、４番目から５番目のフレーム内の顔の関心領域の位置情報が第３のフレーム内の顔の関心領域の位置情報と一致するまで、第３のフレームモードにおける顔の関心領域は、ＰＤＡＦモードで焦点が合わされる。

一実施形態では、補助焦点合わせモードはコントラスト焦点合わせモードである。

コントラスト焦点技術では、撮像デバイス１１０が焦点合わせを開始すると、駆動されたレンズが徐々に移動する。焦点領域の焦点値（ＦＶ）は、事前設定されたアルゴリズムに従ってレンズ移動プロセス中にリアルタイムで計算される。焦点値が徐々に大きくなり、焦点合わせにおいて（焦点領域の鮮明度が最も高い）フレームの焦点領域の最大値に達することがわかる。焦点値は、画像の鮮明度を表し、撮像デバイス１１０によって出力された画像を処理することによって取得される。一般に、焦点領域のコントラストが高いほど、画像の焦点値は大きくなる。したがって、コントラスト焦点合わせモードは、画像の最大焦点値に対応する焦点位置を見つけることによって焦点合わせを実現する。

具体的には、コントラスト焦点合わせモードでは、粗い走査は第１のステップ長においてより広い範囲の探索を実行する。モータの総ストロークが１０００であると仮定すると、粗い走査プロセスにおいて、モータは第１のステップ長（８０）で探索を開始し、モータが８０の距離だけ移動するたびに焦点値が計算される。モータの移動中、焦点値が減少傾向にある位置（Ａ）にモータが移動するまで、焦点値は徐々に増大する。この時点で、粗い走査プロセスは終了し、細かい走査が開始される。細かい走査は、粗い走査が終了したポイント（Ａ）から第２のステップ長（３０）で後方への探索を開始する。細かい走査のプロセスにおいて、モータが３０の距離だけ移動するたびに焦点値が計算される。モータの移動中、焦点値が減少傾向にある特定の位置（Ｂ）にモータが移動するまで、焦点値は徐々に増大する。この時点で、細かい走査プロセスは終了する。モータの駆動距離、ならびに細かい走査のプロセスにおける位置Ａ、位置Ｂ、およびＡまたはＢと一致しない位置Ｑにおける対応する焦点値が、それぞれ取得される。３つの位置に従って単純な二次関数が適合する。焦点合わせ時のフレームの焦点領域の最大焦点値である二次関数の頂点座標が取得される。それに応じて、駆動モータが２次関数の頂点の横座標に移動し、焦点合わせを実現することができる。

場合によっては、補助焦点合わせモードはレーザ焦点合わせモードであってもよい。

リアカメラに隣接して設置された赤外線レーザセンサにより、端末は、撮影される被写体に低出力のレーザビームを照射することができる。レーザビームが障害物、すなわち焦点対象に遭遇すると、それは戻ってきてセンサによって受け取られる。次いで、その移動時間に基づいて、センサと撮影される被写体との間の距離を計算することができる。レンズ間モータは、次いで、焦点合わせを完了するために対応する位置にレンズを直接近づけることができる。

加えて、本開示の一実施形態は焦点合わせデバイスをさらに提供する。図５を参照すると、焦点合わせデバイスは、取得モジュール５１０、第１の焦点合わせモジュール５２０、および第２の焦点モジュール５３０を含む。取得モジュール５１０は、撮影プレビューモードで画像内の顔の関心領域を取得するように構成される。第１の焦点合わせモジュール５２０は、第１の焦点合わせモードで顔の関心領域に焦点を合わせるように構成される。第２の焦点モジュール５３０は、第１の焦点合わせモードにおける顔の関心領域が安定しているかどうかを判定し、顔の関心領域が安定しているという判定に応答して、顔の関心領域に再び焦点を合わせるために第２の焦点合わせモードをトリガするように構成される。第１の焦点合わせモードは第２の焦点合わせモードとは異なる。一実施形態では、第１の焦点合わせモードは位相検出オートフォーカス（ＰＤＡＦ）モードであり、第２の焦点合わせモードは補助焦点合わせモードである。

焦点合わせデバイスにおいて、取得モジュール５１０は、画像内で検出された位置情報に従って、焦点合わせプロセスにおける顔の関心領域を取得することができる。顔の関心領域が決定されると、第１の焦点合わせモジュール５２０は、ＰＤＡＦモードで焦点合わせプロセスを実行することができる。すなわち、顔が撮影プレビューモードで表示されている限り、顔はどのように動いても常に鮮明である。一方、顔の関心領域が安定しているとき、第２の焦点モジュール５３０は、顔の関心領域に再び焦点を合わせるために、補助焦点合わせモードをトリガする。ＰＤＡＦモードおよび補助焦点合わせモードの組み合わされた焦点合わせにより、焦点合わせ時間を大幅に短縮することができ、顔の関心領域への自動焦点合わせを迅速かつ正確に実現することができる。

一実施形態では、第２の焦点合わせモジュール５３０は、検出ユニット５３１、判定ユニット５３３、制御ユニット５３５、および焦点合わせユニット５３７を含む。検出ユニット５３１は、連続するＮ個のフレーム内の顔の関心領域の位置情報を検出するように構成される。判定ユニット５３３は、連続するＮ個のフレーム内の顔の関心領域の位置情報が変化しているかどうかを判定するように構成される。制御ユニット５３５は、判定ユニット５３３の判定結果に従って、顔の関心領域が安定しているか否かを判定し、顔の関心領域が安定しているときは第１の焦点信号を生成し、顔の関心領域が安定していないときは第２の焦点信号を生成するように構成される。焦点合わせユニット５３７は、第２の焦点信号を受信し、顔の関心領域に再び焦点を合わせるために補助焦点合わせモードをトリガするように構成される。

Ｎ＝３のとき、まず、第１のフレーム内の顔の関心領域の位置情報が検出され記憶される。次いで、第２のフレーム内の顔の関心領域の位置情報が検出され、第２のフレーム内の顔の関心領域の位置情報が、第１のフレーム内の顔の関心領域の位置情報に対して変化しているかどうかが判定される。第２のフレーム内の顔の関心領域の位置情報が変化している場合、それは、顔の関心領域が安定していないことを示す。変化が起きていない場合、第３のフレーム内の顔の関心領域の位置情報が検出され、第３のフレーム内の顔の関心領域の位置情報が、第１のフレーム内の顔の関心領域の位置情報に対して変化しているかどうかが判定される。位置情報が変化している場合、それは、顔の関心領域が安定していないことを示す。変化が起きてない場合、それは、顔の関心領域が安定していることを示す。

場合によっては、Ｎ＝４またはＮ＝５のとき、連続するＮ個のフレーム内の顔の関心領域の安定性を判定するために、上記のデバイスをまた使用することができる。

制御ユニット５３５は、判定ユニット５３３の判定結果に従って顔の関心領域の安定性を判定し、顔の関心領域が安定していないときに第２の焦点信号を生成することができる。焦点合わせユニット５３７は、第２の焦点信号を受信し、顔の関心領域に再び焦点を合わせるために補助焦点合わせモードをトリガする。

一実施形態では、第１の焦点モジュール５２０は、第１の焦点信号を受信し、顔の関心領域が安定するまでＰＤＡＦモードを連続的に使用して顔の関心領域に焦点を合わせるようにさらに構成される。

第２のフレーム内の顔の関心領域の位置情報が第１のフレーム内の顔の関心領域の位置情報と一致しない場合、第１の焦点モジュール５２０は、ＰＤＡＦモードで第２のフレーム内の顔の関心領域に連続的に焦点を合わせることができると理解されてもよい。第３のフレーム内の顔の関心領域の位置情報が第２のフレーム内の顔の関心領域の位置情報とまだ一致しない場合、第１の焦点モジュール５２０は、４番目から５番目のフレーム内の顔の関心領域の位置情報が第３のフレーム内の顔の関心領域の位置情報と一致するまで、ＰＤＡＦモードで第３のフレーム内の顔の関心領域に連続的に焦点を合わせることができる。

ＰＤＡＦモードにおける顔の関心領域の位置情報は、顔の関心領域の境界座標パラメータ情報である。

具体的には、顔の関心領域は閉じたボックスであり、境界座標パラメータ情報は、ボックスのある頂点の水平および垂直の座標情報（Ｏ）、ボックスの長さ情報、および幅情報である。連続するＮ個のフレーム内の顔の関心領域の境界座標パラメータ情報内のパラメータのうちのいずれか１つが変化している場合、顔の関心領域は安定していないと考えられる。境界座標パラメータ情報内のすべてのパラメータが変化していない場合、顔の関心領域は安定していると考えられる。

上述された焦点合わせデバイス内の各モジュールの分割は、例示のためにのみ使用されている。他の実施の形態では、焦点合わせデバイスは、必要に応じて様々なモジュールに分割されて、上述された焦点合わせデバイスの機能の全部または一部を完成することができる。

本開示の実施形態は端末も提供する。図１に示されたように、説明を容易にするために、本開示の実施形態に関連する部分のみが示される。開示されない具体的な技術的詳細については、本開示の実施形態の方法部分を参照されたい。端末は、撮像デバイス１１０、プロセッサ１２０、メモリ１３０、表示デバイス１７０、およびメモリに記憶されプロセッサ１２０上で動作可能なコンピュータプログラムを含む。

本開示の実施の形態では、端末に含まれるプロセッサ１２０は、メモリに記憶されたコンピュータプログラムを実行するときに１つまたは複数の動作を実施することができる。１つまたは複数の動作は、６１０において、撮影プレビューモードで画像内の顔の関心領域を取得することを含む。６２０において、顔の関心領域は第１の焦点合わせモードで焦点が合わされる。６３０において、第１の焦点合わせモードにおける顔の関心領域が安定しているかどうかが判定される。６４０において、第１の焦点合わせモードにおける顔の関心領域が安定しているという判定に応答して、顔の関心領域に再び焦点を合わせるために、第２の焦点合わせモードがトリガされる。第１の焦点合わせモードは第２の焦点合わせモードとは異なる。一実施形態では、第１の焦点合わせモードは位相検出オートフォーカス（ＰＤＡＦ）モードであり、第２の焦点合わせモードはコンタクト焦点合わせモードまたはレーザ焦点合わせモードである。

端末のプロセッサ１２０によってコンピュータプログラムを実行すると、画像内で検出された位置情報に従って焦点合わせプロセスにおける顔の関心領域を決定することができ、顔の関心領域が決定されるとＰＤＡＦモードで焦点合わせが実行される。すなわち、顔が撮影プレビューモードで表示されている限り、顔がどのように動いても顔は常に鮮明である。同時に、ＰＤＡＦモードにおける顔の関心領域が安定しているとき、顔の関心領域に再び焦点を合わせるために、補助焦点合わせモードがトリガされる。ＰＤＡＦモードおよび補助焦点合わせモードの組み合わされた焦点合わせにより、焦点合わせ時間を大幅に短縮することができ、顔の関心領域への自動焦点合わせを迅速かつ正確に実現することができる。

図７は、一実施形態において、コンピュータ可読記憶媒体に記憶されたコンピュータプログラム（命令）がプロセッサ１２０によって実行されるときに実施される動作の流れ図である。図７に示されたように、コンピュータ可読記憶媒体はコンピュータプログラム（命令）を記憶しており、プログラム（命令）は１つまたは複数の動作を実施するためにプロセッサ１２０によって実行される。１つまたは複数の動作は、７１０において、撮影プレビューモードで画像内の顔の関心領域を取得することを含む。７２０において、顔の関心領域は第１の焦点合わせモードで焦点が合わされる。７３０において、第１の焦点合わせモードにおける顔の関心領域が安定しているかどうかが判定される。７４０において、第１の焦点合わせモードにおける顔の関心領域が安定しているという判定に応答して、顔の関心領域に再び焦点を合わせるために、補助焦点合わせモードがトリガされる。第１の焦点合わせモードは第２の焦点合わせモードとは異なる。一実施形態では、第１の焦点合わせモードは位相検出オートフォーカス（ＰＤＡＦ）モードであり、第２の焦点合わせモードはコンタクト焦点合わせモードまたはレーザ焦点合わせモードである。

コンピュータ可読記憶媒体に記憶されたコンピュータプログラム（命令）が実行されると、画像内で検出された位置情報に従って焦点合わせプロセスにおける顔の関心領域を決定することができ、顔の関心領域が決定されるとＰＤＡＦモードで焦点合わせが実行される。すなわち、顔が撮影プレビューモードで表示されている限り、顔はどのように動いても常に鮮明である。同時に、ＰＤＡＦモードにおける顔の関心領域が安定しているとき、顔の関心領域に再び焦点を合わせるために、補助焦点合わせモードがトリガされる。ＰＤＡＦモードおよび補助焦点合わせモードの組み合わされた焦点合わせにより、焦点合わせ時間を大幅に短縮することができ、顔の関心領域への自動焦点合わせを迅速かつ正確に実現することができる。

上述された実施形態の技術的特徴は、任意に組み合わされてもよい。説明を簡潔にするために、上記の実施形態における技術的特徴のすべての可能な組合せが記載されているわけではない。しかしながら、組合せに矛盾がない限り、これらの技術的特徴の任意の組合せは、本明細書に記載されていると考えられるべきである。

上述された実施形態は、単に本開示のいくつかの実装形態を表すものであり、その説明はより具体的かつ詳細であるが、開示特許の範囲が限定されると理解されるべきではない。当業者にとって、本開示の概念から逸脱することなくいくつかの変形および改良が行われてもよく、これらはすべて本開示の保護範囲内であることに留意されたい。したがって、本開示の保護範囲は添付の特許請求の範囲に従うべきである。

Claims

撮影プレビューモードで画像内の顔の関心領域を取得するステップと、
位相検出オートフォーカスモードで前記顔の関心領域に焦点を合わせるステップと、
前記位相検出オートフォーカスモードにおける前記顔の関心領域が安定しているかどうかを判定するステップと、
前記位相検出オートフォーカスモードにおける前記顔の関心領域が安定しているという判定に応答して、前記顔の関心領域に再び焦点を合わせるためにレーザ焦点合わせモードをトリガするステップと、を含み、
前記位相検出オートフォーカスモードにおける前記顔の関心領域が安定しているかどうかを判定するステップが、
第１のフレーム内の前記顔の関心領域の位置情報を取得するステップであって、前記第１のフレームが、前記顔の関心領域が前記位相検出オートフォーカスモードで焦点が合わされたフレームである、ステップと、
第２のフレームから数えて連続するＮ－１個のフレーム内の前記顔の関心領域の位置情報を取得し、前記連続するＮ－１個のフレームの各々の中の前記顔の関心領域の前記位置情報と、前記第１のフレーム内の前記顔の関心領域の前記位置情報との間の差が事前設定されたしきい値を超えるかどうかを判定し、３≦N≦５である、ステップと、
前記連続するＮ－１個のフレームの各々の中の前記顔の関心領域の前記位置情報と前記第１のフレーム内のそれとの間の前記差が事前設定されたしきい値を超えない場合、前記連続するＮ個のフレーム内の前記顔の関心領域の前記位置情報が変化していないと判定するステップと、
前記連続するＮ－１個のフレームの各々の中の前記顔の関心領域の前記位置情報と前記第１のフレーム内のそれとの間の前記差が事前設定されたしきい値を超える場合、前記連続するＮ個のフレーム内の前記顔の関心領域の前記位置情報が変化していると判定するステップと、
前記顔の関心領域の前記位置情報が変化していないという前記判定に応答して、前記位相検出オートフォーカスモードにおける前記顔の関心領域が安定していると判定するステップと、
前記顔の関心領域の前記位置情報が変化しているという前記判定に応答して、前記位相検出オートフォーカスモードにおける前記顔の関心領域が安定していないと判定するステップと、を含むものであり、
前記位相検出オートフォーカスモードにおける前記顔の関心領域の前記位置情報が、前記顔の関心領域の境界座標パラメータ情報であり、
前記位相検出オートフォーカスモードにおける前記顔の関心領域が安定するまで、前記位相検出オートフォーカスモードで前記顔の関心領域に連続的に焦点を合わせるステップをさらに含み、
前記顔の関心領域が安定するまで、前記位相検出オートフォーカスモードで前記顔の関心領域に連続的に焦点を合わせる前記ステップが、
前記連続するＮ－１個のフレームのうちの第ｎのフレーム内の前記顔の関心領域の前記位置情報と前記第１のフレーム内のそれとの間の前記差が事前設定されたしきい値を超えるとき、前記位相検出オートフォーカスモードで前記第ｎのフレーム内の前記顔の関心領域に焦点を合わせ、前記第ｎのフレーム内の前記顔の関心領域の前記位置情報を取得するステップと、
前記第ｎのフレームから数えて連続するＮ－１個のフレーム内の前記顔の関心領域の位置情報を取得し、前記連続するＮ－１個のフレームの各々の中の前記顔の関心領域の前記位置情報と、前記第ｎのフレーム内の前記顔の関心領域の前記位置情報との間の差が事前設定されたしきい値を超えるかどうかを判定するステップと
を含むことを特徴とする、焦点合わせの方法。
撮像デバイス、表示デバイス、メモリ、プロセッサ、および前記メモリに記憶され前記プロセッサ上で実行可能なコンピュータプログラムを備える端末であって、前記プロセッサが前記コンピュータプログラムを実行して請求項１に記載の方法を実施する、端末。
コンピュータプログラムを記憶したコンピュータ可読記憶媒体であって、前記コンピュータプログラムが、請求項１に記載の方法を実施するためにプロセッサによって実行されるように構成されることを特徴とする、コンピュータ可読記憶媒体。