JP7425678B2 - Variable focus glasses, control method and control program for variable focus glasses - Google Patents
Variable focus glasses, control method and control program for variable focus glasses Download PDFInfo
- Publication number
- JP7425678B2 JP7425678B2 JP2020101151A JP2020101151A JP7425678B2 JP 7425678 B2 JP7425678 B2 JP 7425678B2 JP 2020101151 A JP2020101151 A JP 2020101151A JP 2020101151 A JP2020101151 A JP 2020101151A JP 7425678 B2 JP7425678 B2 JP 7425678B2
- Authority
- JP
- Japan
- Prior art keywords
- variable focus
- glasses
- distance
- server
- focal length
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims description 175
- 238000000034 method Methods 0.000 title claims description 32
- 238000010295 mobile communication Methods 0.000 claims description 83
- 238000001514 detection method Methods 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 65
- 238000004891 communication Methods 0.000 description 62
- 238000010586 diagram Methods 0.000 description 29
- 239000004973 liquid crystal related substance Substances 0.000 description 20
- 208000001491 myopia Diseases 0.000 description 14
- 230000004438 eyesight Effects 0.000 description 12
- 238000004590 computer program Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 7
- 230000004304 visual acuity Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000012546 transfer Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 239000012530 fluid Substances 0.000 description 4
- 230000004379 myopia Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 201000010041 presbyopia Diseases 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Landscapes
- Eyeglasses (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Automatic Focus Adjustment (AREA)
Description
本発明は、可変焦点眼鏡、可変焦点眼鏡の制御方法及び制御プログラムに関する。 The present invention relates to variable focus eyeglasses, a control method for variable focus eyeglasses, and a control program.
視力を矯正する器具として眼鏡が広く使用されている。眼鏡はレンズを使用してユーザの視力を矯正するが、使用されるレンズの焦点距離は固定である。例えば、近視症状が変化するにつれて、装着者は新たな眼鏡を購入する必要がある。又、近視である人が老眼となった場合は、近視用眼鏡に加え、近距離にある対象物、例えば新聞、書籍を見るための老眼用眼鏡が必要となる。 Glasses are widely used as a device to correct vision. Eyeglasses use lenses to correct a user's vision, but the lenses used have a fixed focal length. For example, as myopia symptoms change, the wearer may need to purchase new glasses. Furthermore, if a person with myopia develops presbyopia, in addition to glasses for myopia, glasses for presbyopia are required for viewing objects at close range, such as newspapers and books.
5m以上の距離で測定される視力を遠見視力といい、近視に対する矯正に関しては、5mの距離での遠見視力が1.0程度になるようにレンズの焦点距離が調整される。処方箋に記載されるレンズ度数は、レンズの焦点距離の逆数である。一方、30cmの距離で測定される視力を近見視力という。30cmの距離で像がぼやけて見える人には、老眼鏡の使用が勧められる。実際には、ユーザの眼からユーザが見たい対象物までの距離は5m、30cmに固定されておらず、様々に変化する。ユーザが見たい対象物の大きさ、例えは10ポイントの活字と16ポイントの活字では、適切なレンズの焦点距離は異なる。従って、ユーザからユーザが見たい対象物をより明確に見るためには、ユーザの眼と対象物との距離に応じて眼鏡レンズの焦点距離は変更できることが好ましい。 Visual acuity measured at a distance of 5 m or more is called distance visual acuity, and to correct myopia, the focal length of the lens is adjusted so that the distance visual acuity at a distance of 5 m is approximately 1.0. The lens power written on the prescription is the reciprocal of the focal length of the lens. On the other hand, visual acuity measured at a distance of 30 cm is called near visual acuity. For people who see blurry images at a distance of 30 cm, the use of reading glasses is recommended. In reality, the distance from the user's eyes to the object the user wants to see is not fixed at 5 m or 30 cm, but varies variously. The appropriate focal length of the lens differs depending on the size of the object that the user wants to see, for example, 10-point type and 16-point type. Therefore, in order for the user to see the object that the user wants to see more clearly, it is preferable that the focal length of the spectacle lens can be changed depending on the distance between the user's eyes and the object.
焦点距離が固定されたレンズに代えて、焦点距離が変更できる可変焦点レンズを使用した眼鏡が知られている。 2. Description of the Related Art Eyeglasses are known that use variable focus lenses that can change the focal length instead of lenses that have a fixed focal length.
特許文献1は、硬質光学コンポーネントと透明な伸張性メンブレンとの間にキャビティを構成し、キャビティを満たす可変量の流体と、追加の流体を収容するリザーバとを有するレンズを有する可変焦点眼鏡を開示する。リザーバは、力又は衝撃に応答してキャビティ内への流体の注入又はキャビティからの流体の抜き出し動作を行うことにより焦点を変更することできる。 U.S. Pat. No. 5,001,002 discloses variable focus eyeglasses having lenses that define a cavity between a rigid optical component and a transparent stretchable membrane, with a variable amount of fluid filling the cavity and a reservoir containing additional fluid. do. The reservoir can change focus by injecting fluid into or withdrawing fluid from the cavity in response to a force or impact.
特許文献2には、可変焦点レンズの焦点距離を変化させる駆動部と、駆動部を駆動する操作を行うスイッチと、スイッチの操作を受けて駆動部を制御する制御部を有する可変焦点メガネを開示する。ユーザは、視認対象物とーザとの距離に対応した適切なレンズ焦点距離をあらかじめ教示しておき、所望の焦点距離となるようユーザのスイッチ操作によって制御部が駆動部を制御することが示されている。
特許文献1は、ユーザが所望の対象物を明瞭に見るために、可変焦点眼鏡のレンズ焦点距離をユーザがどのように設定するかについては言及していない。
また、特許文献2は、ユーザの眼から対象物までの距離が変化する都度、ユーザは焦点距離を変更せねばならず煩瑣である。
Further, in
本発明は、上述の問題を解決するためになされたものであり、ユーザが所望の対象物を明瞭に見るための操作が容易な可変焦点眼鏡を提供することを目的とする。 The present invention was made to solve the above-mentioned problems, and an object of the present invention is to provide variable focus glasses that are easy to operate so that a user can clearly see a desired object.
上記目的を達成するため、本発明に係る可変焦点眼鏡は、可変焦点レンズと、可変焦点レンズの前方にある画像を撮像する撮像センサと、撮像された画像から対象物と可変焦点眼鏡との距離を検出する検出部と、距離を示す距離信号を送信する眼鏡送信部と、距離に関連する可変焦点レンズの焦点距離を示す焦点信号を受信する眼鏡受信部と、焦点信号に対応して、可変焦点レンズの焦点距離を調整する調整部と、を有することを特徴とする。 In order to achieve the above object, variable focus glasses according to the present invention include a variable focus lens, an image sensor that captures an image in front of the variable focus lens, and a distance between an object and the variable focus glasses from the captured image. a detection unit that detects the distance, a glasses transmission unit that transmits a distance signal indicating the distance, a glasses reception unit that receives a focus signal indicating the focal length of the variable focus lens related to the distance, It is characterized by comprising an adjustment section that adjusts the focal length of the focusing lens.
本発明に係る可変焦点眼鏡は、検出部が、対象物候補の特徴を抽出し、特徴に基づいて対象物を判定する判定部を更に有し、可変焦点眼鏡と対象物と判定された対象物との距離を検出する、ことが好ましい。 The variable focus glasses according to the present invention further include a determination unit in which the detection unit extracts the characteristics of the object candidate and determines the object based on the characteristics, and the detection unit extracts the characteristics of the object candidate and determines the object based on the characteristics. It is preferable to detect the distance to.
本発明に係る可変焦点眼鏡は、眼鏡送信部が、距離信号を、前記可変焦点眼鏡のユーザに関する登録データを記憶した携帯通信端末に送信し、携帯通信端末は、登録データを示す登録信号と距離信号をクラウドサーバに転送し、クラウドサーバは、クラウドサーバ上の焦点距離データベースを検索して、登録データと距離に対応する焦点距離を決定し、決定された焦点距離を示す焦点距離信号を携帯通信端末に送信し、携帯通信端末は、焦点距離信号を眼鏡受信部に転送する、ことが好ましい。 In the variable focus glasses according to the present invention, the glasses transmission unit transmits a distance signal to a mobile communication terminal that stores registration data regarding the user of the variable focus glasses, and the mobile communication terminal transmits the registration signal indicating the registration data and the distance. The signal is transferred to the cloud server, and the cloud server searches the focal length database on the cloud server to determine the focal length corresponding to the registration data and distance, and transmits the focal length signal indicating the determined focal length to the mobile communication. Preferably, the focal length signal is transmitted to the terminal, and the mobile communication terminal transfers the focal length signal to the glasses receiver.
本発明に係る可変焦点眼鏡は、投影部を更に有し、眼鏡送信部は、対象物の特徴を示す特徴信号を更に送信し、携帯通信端末は、特徴信号をクラウドサーバに更に転送し、クラウドサーバはクラウドサーバ上のコンテンツデータベースを検索して、特徴に対応するコンテンツデータを決定し、決定されたコンテンツデータを示すコンテンツ信号を携帯通信端末に更に送信し、携帯通信端末は、コンテンツ信号を眼鏡受信部に更に転送し、投影部は、可変焦点レンズにコンテンツデータを投影する、ことが好ましい。 The variable focus glasses according to the present invention further include a projection section, the glasses transmission section further transmits a characteristic signal indicating the characteristics of the object, and the mobile communication terminal further transmits the characteristic signal to a cloud server, The server searches the content database on the cloud server to determine content data corresponding to the feature, further transmits a content signal indicating the determined content data to the mobile communication terminal, and the mobile communication terminal transmits the content signal to the mobile communication terminal. Preferably, the content data is further transferred to the receiving unit, and the projecting unit projects the content data onto a variable focus lens.
本発明に係る、可変焦点レンズを有する可変焦点眼鏡を制御する方法は、撮像センサが可変焦点レンズの前方にある画像を撮像することと、撮像センサに撮像された画像から対象物と可変焦点眼鏡との距離を検出することと、距離を示す距離信号を送信することと、距離に関連する可変焦点レンズの焦点距離を示す焦点信号を受信することと、焦点信号に対応して、記可変焦点レンズの焦点距離を調整することと、を有することを特徴とする。 A method of controlling variable focus glasses having variable focus lenses according to the present invention includes the steps of: an image sensor capturing an image in front of the variable focus lens; and identifying an object and the variable focus glasses from the image captured by the image sensor. detecting a distance to the variable focus lens; transmitting a distance signal indicative of the distance; receiving a focus signal indicative of a focal length of the variable focus lens associated with the distance; Adjusting the focal length of the lens.
本発明に係る制御プログラムは、可変焦点レンズを有する可変焦点眼鏡を制御するプログラムであって、撮像センサが可変焦点レンズの前方にある画像を撮像することと、撮像センサに撮像された画像から対象物と前記可変焦点眼鏡との距離を検出することと、距離を示す距離信号を送信することと、距離に関連する可変焦点レンズの焦点距離を示す焦点信号を受信することと、焦点信号に対応して、可変焦点レンズの焦点距離を調整することと、を含む処理をプロセッサに実行させることを特徴とする。 The control program according to the present invention is a program for controlling variable focus glasses having variable focus lenses, and includes the following steps: an image sensor captures an image in front of the variable focus lens; detecting a distance between an object and the variable focus glasses; transmitting a distance signal indicative of the distance; receiving a focus signal indicative of a focal length of the variable focus lens related to the distance; and responsive to the focus signal. and adjusting the focal length of the variable focus lens.
本開示に係る可変焦点眼鏡は、ユーザが所望の対象物を明瞭に見るための操作が容易な可変焦点眼鏡である。 The variable focus glasses according to the present disclosure are variable focus glasses that are easy to operate so that a user can clearly see a desired object.
以下、本開示の一側面に係る可変焦点眼鏡について、図を参照しつつ説明する。但し、本開示の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。尚、以下の説明及び図において、同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, variable focus glasses according to one aspect of the present disclosure will be described with reference to the drawings. However, it should be noted that the technical scope of the present disclosure is not limited to these embodiments, but extends to the inventions described in the claims and their equivalents. In the following description and figures, components having the same functional configuration are designated by the same reference numerals, thereby omitting redundant explanation.
[第1実施形態]
図1は、第1実施形態に係る可変焦点眼鏡と携帯通信端末とクラウドサーバの一例を示す図である。可変焦点眼鏡1は、焦点距離が変更可能な2つの例えば液晶レンズ111、112と、液晶レンズを保持する2つのレンズ枠121、122を有するフレーム12を有する。液晶レンズ111、112は、液晶層に印加する電圧により焦点距離を制御可能としたレンズである。可変焦点レンズは、液晶レンズに限られず液体間の境界面を変化させ、焦点を変更することができるものであればよい。
[First embodiment]
FIG. 1 is a diagram showing an example of variable focus glasses, a mobile communication terminal, and a cloud server according to the first embodiment. The
フレーム12のフロント上端の左右には、2つの撮像センサ131、132が設けられている。撮像センサは、例えば、CCDイメージセンサ、CMOSイメージセンサである。2つの撮像センサ131、132は、可変焦点眼鏡1を装着したユーザの顔の反対側の可変焦点レンズ面の前方にある画像を撮像することになる。2つの撮像センサ131、132はステレオ撮像センサを構成するので、撮像された画像から可変焦点レンズ111、112の焦点距離を設定するための対象物Pを特定し、対象物Pと可変焦点眼鏡1との距離を検出するために使用することができる。
Two
2つの撮像センサ131、132の取り付け位置は、フレーム12のフロント上端の左右に限られず、例えば、フレーム下部でもよく、又、つる部123,124に取り付けられてもよい。
The mounting positions of the two
フレーム12はつる部123、124を有し、例えば、つる部123には、眼鏡制御部(不図示)が内蔵されていて、対象物Pと可変焦点眼鏡1との距離を検出するための処理を行う。例えば、つる部124には、眼鏡制御部と接続された眼鏡通信インターフェース(不図示)が内蔵されていて、ユーザの携帯通信端末2と無線通信することができる。可変焦点眼鏡1と携帯通信端末間の無線通信方式は、例えば、ブルートゥース(登録商標)、Wi-Fi、その他の近距離無線通信方式である。通信インターフェースは、対象物と可変焦点レンズとの距離を示す距離信号を携帯通信端末2に送信する。フレーム12には無線通信のためのアンテナ(不図示)が内蔵されている。携帯通信端末2は、例えば、スマートフォン、タブレット端末である。
The
携帯通信端末2は、可変焦点眼鏡1と無線通信するための第1通信インターフェース21、インターネット上のクラウドサーバ3と無線通信するための第2通信インターフェース22を有する。携帯通信端末2は、第1通信インターフェース21、第2通信インターフェースに接続される端末制御部23を有する。第2通信インターフェース22の無線通信方式は、例えば、Wi-Fi、移動通信方式である。移動通信方式は、例えは、GSM,CDMA,第4世代移動通信(4G)、第5世代移動通信(5G)である。例えば、可変焦点眼鏡1と携帯通信端末2間の無線通信はブルートゥース(登録商標)、携帯通信端末2とクラウドサーバ3間の無線通信は、Wi-Fi及び4Gである。このとき携帯通信端末2は、ブルートゥース(登録商標)用アンテナ241、Wi-Fi用アンテナ242、及び4G用アンテナ243を有する。
The
端末制御部23は、端末記憶部231と端末処理部232を有し、端末記憶部231にはユーザに関する登録データが記憶されている。ユーザに関する登録データは、例えば、ユーザ識別データ、ユーザの遠見視力に関する矯正のためのレンズ度数、近見視力に関する矯正のためのレンズ度数を含む。レンズ度数は右眼、左眼ごとに記憶される。右眼、左眼の視力が異なることがあるためである。なお、レンズ度数はレンズ焦点距離の逆数で表される。ユーザ識別データは、例えば、ユーザの携帯電話番号、メールアドレス、特定のサービス・アプリケーション利用のためのユーザID、その他のユーザ識別IDデータである。登録データは、その他のユーザに関する生体情報(年齢、性別、身長、体重等)を含んでもよい。
The
携帯通信端末2は、可変焦点眼鏡1から、例えばブルートゥース(登録商標)を介して、対象物と可変焦点レンズとの距離を示す距離信号を受信する。携帯通信端末2は、受信した距離信号を移動通信方式のフォーマットに変換してインターネット上のクラウドサーバ3に転送する。通信端末2は、端末記憶部231からユーザの登録データ、例えば、携帯電話番号、ユーザの遠見視力に関する矯正のためのレンズ度数、近見視力に関する矯正のためのレンズ度数を呼出して登録信号として、距離信号と共にクラウドサーバ3に転送する。
The
クラウドサーバ3は、焦点距離データベース322を有している。焦点距離データベース322は、遠見視力に関する矯正のためのレンズ度数、近見視力に関する矯正のためのレンズ度数に関連し、対象物と可変焦点レンズとの距離ごとに設定される可変焦点レンズの焦点距離を記憶したデータベースである。クラウドサーバ3は、携帯通信端末2から取得した対象物と可変焦点レンズとの距離と、登録データに含まれる遠見視力に関する矯正のためのレンズ度数、近見視力に関する矯正のためのレンズ度数を検索条件として焦点距離データベース322を検索する。クラウドサーバ3は、検索によってレンズの焦点距離を決定し、決定されたレンズの焦点距離を示す焦点距離信号を携帯通信端末2に送信する。
The
携帯通信端末2は、受信した焦点距離信号を通信フォーマット変換して、可変焦点眼鏡1に転送する。焦点距離信号を受信した可変焦点眼鏡1は、液晶レンズ111、112に印加する電圧を制御してレンズが適切な焦点距離となるようにすることができる。可変焦点眼鏡を装着した、ユーザは煩雑な調整操作をすることなく、所望の対象物を明瞭に見ることができる。
The
[可変焦点眼鏡]
図2は、可変焦点眼鏡の一例を示す外観斜視図である。可変焦点眼鏡1は、装着するユーザの左右の眼に対応する2つの液晶レンズ111、112とフレーム12を有する。2つの液晶レンズ111、112は、フレーム12の2つのレンズ枠121、122にそれぞれはめ込まれている。液晶レンズ111、112は、各液晶レンズに印加される電圧によってレンズの焦点距離が変更できる可変焦点レンズである。
[Variable focus glasses]
FIG. 2 is an external perspective view showing an example of variable focus glasses. The
フレーム12のフロント上端の左右には、2つの撮像センサ131、132が設けられている。2つ撮像センサは、ユーザの顔の反対側の可変焦点レンズ面の前方にある画像を撮像する。2つの撮像センサ131、132はステレオ撮像センサであり、撮像された画像から可変焦点レンズ111、112の焦点距離を設定するための対象物Pを特定し、対象物Pと可変焦点眼鏡1との距離を検出するために使用することができる。
Two
2つのつる部123、124のいずれかには、眼鏡操作部14が設けられる。眼鏡操作部14は、例えば、1つ又は複数のタッチスイッチ、プッシュスイッチ、スライドスイッチを有する。ユーザは、眼鏡操作部14を操作して、例えば、可変焦点眼鏡1から対象物までの距離検出処理をスタートさせる。つる部123、124のいずれかには、眼鏡操作部14と接続される眼鏡制御部15が内蔵されていて、例えば、対象物Pと可変焦点眼鏡1との距離を検出するための処理を行う。
The
つる部123、124のいずれかには、眼鏡制御部15と接続された眼鏡通信インターフェース16と、眼鏡通信インターフェース16と接続された眼鏡アンテナ17が内蔵されていて、ユーザの携帯通信端末2と無線通信することができる。更につる部123、124のいずれかには、眼鏡制御部15に接続された電源部18が内蔵されている。各つる部123,124には電源部18と眼鏡制御部15に接続された2つの電圧回路191、192が内蔵されている。2つの電圧回路191、192は、それぞれ液晶レンズ111、112に接続され、液晶レンズに電圧を印加するために使用される。電源部18は、眼鏡制御部15を動作させるための電源と、液晶レンズ111,112に電圧を印加するための電源を、別々に有してもよい。
Either of the
図3は、可変焦点眼鏡のブロック構成の一例を示す図である。つる部123、124のいずれかに内蔵される眼鏡制御部15は、フレーム12のフロント上端の左右に設けられた撮像センサ131、132、及びつる部123、124のいずれかに設けられた眼鏡操作部14に接続している。眼鏡制御部15は、眼鏡通信インターフェース16と接続され、眼鏡通信インターフェース16は眼鏡アンテナ17と接続している。電源部18は、撮像センサ131、132、眼鏡制御部15、及び2つの電圧回路191と192に接続され、各部に電力を供給する。電圧回路191は、液晶レンズ111の電極117,118に接続される。同様に電圧回路192は、液晶レンズ112の電極117,118に接続される。
FIG. 3 is a diagram showing an example of a block configuration of variable focus glasses. The
眼鏡操作部14は、可変焦点眼鏡1の外部に設けられてもよい。例えば、腕に装着するスマートリング、スマートウォッチに眼鏡操作部14を設け、眼鏡操作部14は眼鏡通信インターフェース16を介して眼鏡制御部15を操作してもよい。又、眼鏡操作部14は、携帯通信端末2のソフトキーとして定義してもよい。
The
眼鏡制御部15は、各電圧回路を制御して、各液晶レンズの電極117,118への印加電圧を変更することができる。各液晶レンズの電極117,118への印加電圧が変化すると、各液晶レンズの焦点が変化する。
The
眼鏡制御部15は、眼鏡記憶部151と眼鏡処理部152を有する。眼鏡記憶部151は、1又は複数の半導体メモリにより構成される。例えば、RAMや、フラッシュメモリ、EPROM、EEPROM等の不揮発性メモリの少なくとも一つを有する。眼鏡記憶部151は、眼鏡処理部152による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。
The glasses control
例えば、眼鏡記憶部151は、ドライバプログラムとして、撮像センサ131、132を制御するデバイスドライバや、眼鏡通信インターフェース16を制御するデバイスドライバプログラムを記憶する。コンピュータプログラムは、例えば、CD-ROM、DVD-ROM、USBメモリ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて眼鏡記憶部151にインストールされてもよい。また、プログラムサーバ等からダウンロードしてインストールしてもよい。
For example, the
更に、眼鏡記憶部151は、所定の処理に係る一時的なデータを一時的に記憶することができる。眼鏡記憶部151は、液晶レンズの焦点距離を所定の値に設定するための印加電圧に関する焦点・電圧ファイル1511、対象物の特徴抽出のための特徴ファイル1512、携帯通信端末2とのペアリング等のための型名・識別IDファイル1513、通信パラメータや各種設定閾値を記憶するパラメータファイル1514等を記憶する。
Furthermore, the
眼鏡処理部152は、一又は複数個のプロセッサ及びその周辺回路を有する。眼鏡処理部152は、可変焦点眼鏡1の全体的な動作を統括的に制御するものであり、例えば、MCU(Micro Controller Unit)である。
The
眼鏡処理部152は、眼鏡記憶部151に記憶されているプログラム(オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、眼鏡処理部152は、複数のプログラム(アプリケーションプログラム等)を並列に実行してもよい。眼鏡処理部152は、操作処理部1521、モード切換部1522、検出部1523、判定部1524、距離検出部1525、眼鏡送信部1526、眼鏡受信部1527、調整部1528等を有する。
The
眼鏡処理部152が有するこれらの各部は、独立した集積回路、回路モジュール、マイクロプロセッサ、FPGA(Field Programmable Gate Array)又はファームウェアとして眼鏡制御部15に実装されてもよい。
Each of these units included in the
図4は、2つの撮像センサを使用した可変焦点眼鏡から対象物までの距離を検出する方法の一例を説明する図である。2つの撮像センサをステレオカメラとして使用する例である。 FIG. 4 is a diagram illustrating an example of a method for detecting the distance from variable focus glasses to an object using two image sensors. This is an example in which two image sensors are used as a stereo camera.
ユーザは可変焦点眼鏡1をとおして対象物Pを視認したとする。フレーム12のフロント上端の左右には、2つの撮像センサ131、132が設けられ、2つの撮像センサ間の距離はBである。各撮像センサは対象物P側に光学レンズを有する。光学レンズから撮像面までの焦点距離はFである。対象物Pからの光は右撮像センサ131の光学レンズの点Rをとおり撮像面上のR´に入射する。対象物Pからの光は左撮像センサ132の光学レンズの点Lをとおり撮像面上のL´に入射する。左撮像センサ132への入射線を平行移動させて右撮像センサ131の右撮像面に外挿した点をL´´とすると、撮像面を底面とする三角形RL´´R´ができる。線分L´´R´は視差と呼ばれDで表される。
It is assumed that the user visually recognizes the object P through the
三角形RL´´R´は三角形PLRと相似であるので、可変焦点眼鏡から対象物までの距離Zは、撮像センサ間の距離B、焦点距離F、視差Dから、
Z=(B×F)/D
によって求められる。
Since the triangle RL''R'' is similar to the triangle PLR, the distance Z from the variable focus glasses to the object is calculated from the distance B between the image sensors, the focal length F, and the parallax D.
Z=(B×F)/D
It is determined by
視差Dを検出するためには、対象物Pを特定する必要がある。本実施例では、対象物を特定するために、特徴がはっきりしている特定のマークを対象物として検出する。マークは、周囲のものとは異なる特徴を有する識別マーク、例えば、QRコード(登録商標)、合わせマーク、特定の文字又は文字列、カラーパターン配列、その他特定の形状を有する物である。識別マークは1つに限られず、複数のマークを組み合わせたものでもよい。例えば、QRコード(登録商標)は画像であるが、QRコード(登録商標)が示しているURL等のテキストデータに変換して特徴が検出される。対象物の特徴は、対象物の種類、例えば、新聞、写真、絵画、花に対応するコードとして示してもよい。例えば、照合のため識別マークは、眼鏡記憶部151の特徴ファイルにテキストデータ又は画像データとして記憶されていてもよい。対象物Pの検出は、SGM(Semi Global Matching)方式、SAD(Sum of Absolute Difference)方式を使用してもよい。
In order to detect the parallax D, it is necessary to specify the target object P. In this embodiment, in order to identify a target object, a specific mark with clear characteristics is detected as the target object. A mark is an identification mark that has characteristics different from those around it, such as a QR code (registered trademark), a matching mark, a specific character or string of characters, a color pattern arrangement, or another object that has a specific shape. The number of identification marks is not limited to one, and may be a combination of multiple marks. For example, a QR code (registered trademark) is an image, but its characteristics are detected by converting it into text data such as a URL indicated by the QR code (registered trademark). The characteristics of the object may be indicated as a code corresponding to the type of object, for example, a newspaper, a photograph, a painting, or a flower. For example, the identification mark for verification may be stored as text data or image data in the feature file of the
対象物Pが検出されると、眼鏡制御部15は、対象物Pの画像データ又はテキストデータを対象物Pの特徴を示す特徴信号として携帯通信端末2に送信することができる。例えばQRコード(登録商標)は画像であるが、QRコード(登録商標)が示しているURL等のテキストデータに変換して特徴信号とすることができる。
When the target object P is detected, the glasses control
なお、2つの撮像センサが撮像した左右画像間で、視差Dを計測するための方法の一つにブロックマッチングと呼ばれる方法がある。ブロックマッチングは、一方の画像(左画像)のある点に注目し、その周囲の数ピクセルの矩形をブロックとし、もう一方の画像からそのブロックともっとも相関のある位置を探しだす方法である。例えば、左右の画像が、ゆがみなく、上下方向のずれや、光軸のずれなどがなく、真に左右のみの平行移動分のずれであるとすると、同一の対象物は画像中でも同じY座標に表れるはずである。従ってブロックの相関を検索する対象物は、同じY座標においてX方向にのみずらしていけばよくなり、最も相関の高かった位置(ずれ)を視差値とすることができる。 Note that one method for measuring the parallax D between the left and right images captured by two image sensors is a method called block matching. Block matching is a method that focuses on a certain point in one image (the left image), uses a rectangle of several pixels around it as a block, and searches for a position in the other image that is most correlated with that block. For example, if the left and right images have no distortion, no vertical shift, no optical axis shift, etc., and the only shift is the horizontal translation, then the same object will be at the same Y coordinate in the image. It should appear. Therefore, the object to be searched for block correlation need only be shifted in the X direction at the same Y coordinate, and the position (shift) with the highest correlation can be taken as the disparity value.
図5は、可変焦点眼鏡の処理の一例を示すフローチャート図である。図5に示す処理は、眼鏡記憶部151に予め記憶されたコンピュータプログラムに従って眼鏡制御部15にて実行される。
FIG. 5 is a flowchart showing an example of processing for variable focus glasses. The process shown in FIG. 5 is executed by the glasses control
眼鏡操作部14の例えばプッシュスイッチがユーザによって押されたことを、操作処理部1521がスイッチの押下を検出することにより本処理はスタートする。モード切換部1522は、撮像センサ131、132を起動させ、眼鏡制御部15を、省電力モードから動作モードに切換える(ST501)。検出部1523の判定部1524は、撮像センサ131、132の撮像画像から対象物候補の特徴を抽出し、抽出された特徴に基づいて対象物を判定する(ST502)。検出部1523の距離検出部1525は、撮像センサ131、132の撮像画像から判定された対象物と可変焦点眼鏡との距離を検出する(ST503)。
This process starts when the
眼鏡通信インターフェース16を介して眼鏡送信部1526は、対象物と可変焦点眼鏡との距離を示す距離信号と対象物の特徴を示す特徴信号を携帯通信端末2に送信する(ST504)。眼鏡通信インターフェース16を介して眼鏡受信部1527は、携帯通信端末2から可変焦点レンズの焦点距離を示す焦点信号を受信する(ST505)。調整部1528は、焦点信号に対応して、前記可変焦点レンズの焦点距離を調整する(ST506)。調整が終了すると、モード切換部1522は、撮像センサ131、132をOFFにし、眼鏡制御部15を、動作モードから省電力モードに切換える(ST507)。処理は終了する。
Via the
[携帯通信端末]
携帯通信端末2は、可変焦点眼鏡1からの対象物と可変焦点眼鏡との距離を示す距離信号をクラウドサーバに転送する処理を行う。携帯通信端末2は、可変焦点眼鏡1を装着したユーザに関する登録データを記憶している。距離信号を転送するとき、携帯通信端末2は、端末記憶部231からユーザの登録データ、例えば、携帯電話番号、ユーザの遠見視力に関する矯正のためのレンズ度数、近見視力に関する矯正のためのレンズ度数を呼出して登録信号とする。登録信号は、対象物と可変焦点眼鏡との距離を示す距離信号と共にクラウドサーバ3に転送する。携帯通信端末2は、対象物Pの特徴を示す特徴信号を受信し、クラウドサーバに転送することができる。携帯通信端末2は、例えばスマートフォン、タブレット端末である。
[Mobile communication terminal]
The
図6は、携帯通信端末のブロック構成の一例を示す図である。携帯通信端末2は、可変焦点眼鏡1と無線通信するための第1通信インターフェース21、インターネット上のクラウドサーバ3と無線通信するための第2通信インターフェース22を有する。第1通信インターフェース21は、ブルートゥース(登録商標)用アンテナ241に接続している。第2通信インターフェース22は、Wi-Fi用アンテナ242、移動通信用アンテナ243に接続している。携帯通信端末2は、第1通信インターフェース21と第2通信インターフェースとに接続する端末制御部23を有する。携帯通信端末2は、GPS(Global Positioning System)からの電波を受信するGPSアンテナ244、GPSアンテナ244と接続するGPS受信部25を有し、GPS受信部25は端末制御部23と接続する。
FIG. 6 is a diagram showing an example of a block configuration of a mobile communication terminal. The
携帯通信端末2は、端末制御部23に接続する表示部26と端末操作部27とを有する。表示部26は、例えば液晶ディスプレイである。端末操作部27は、例えば、表示部と一体化したタッチパネルディスプレイである。携帯通信端末2は、端末制御部23に接続する外部記憶部28、例えば、SDメモリカードを有することができる。
The
端末制御部23は、端末記憶部231と端末処理部232を有する。端末記憶部231は、1又は複数の半導体メモリにより構成される。例えば、RAMや、フラッシュメモリ、EPROM、EEPROM等の不揮発性メモリの少なくとも一つを有する。端末記憶部231は、端末処理部232による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。
The
例えば、端末記憶部231は、ドライバプログラムとして、表示部26を制御するデバイスドライバや、通信インターフェース21,22を制御するデバイスドライバプログラムを記憶する。コンピュータプログラムは、例えば、CD-ROM、DVD-ROM、USBメモリ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて端末記憶部231にインストールされてもよい。また、プログラムサーバ等からダウンロードしてインストールすることができる。
For example, the
更に、端末記憶部231は、所定の処理に係る一時的なデータを一時的に記憶することができる。端末記憶部231は、ユーザに関する登録データファイル2311、可変焦点眼鏡1が使用されている状態を示す状態データファイル2312、可変焦点眼鏡1とのペアリング等のための型名・識別IDファイル2313、対象物の特徴を抽出した特徴抽出ファイル2314等を記憶する。
Furthermore, the
端末処理部232は、一又は複数個のプロセッサ及びその周辺回路を有する。端末処理部232は、携帯通信端末2の全体的な動作を統括的に制御するものであり、例えば、MCU(Micro Controller Unit)である。
The
端末処理部232は、端末記憶部231に記憶されているプログラム(オペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム等)に基づいて処理を実行する。また、端末処理部232は、複数のプログラム(アプリケーションプログラム等)を並列に実行してもよい。端末処理部232は、端末受信部2321、登録データ取得部2322、状態データ取得部2323、端末送信部2324等を有する。
The
端末処理部232が有するこれらの各部は、独立した集積回路、回路モジュール、マイクロプロセッサ、FPGA(Field Programmable Gate Array)又はファームウェアとして眼鏡制御部15に実装されてもよい。
Each of these units included in the
図7は、端末記憶部に記憶される登録データファイルと状態データファイルの一例を示す図であり、(a)は登録データファイル、(b)は状態データファイルを示す図である。 FIG. 7 is a diagram showing an example of a registration data file and a state data file stored in a terminal storage unit, in which (a) is a diagram showing a registration data file and (b) is a diagram showing a state data file.
可変焦点眼鏡1を装着するユーザの登録データは、携帯通信端末2の表示部26と端末操作部27を使用してユーザが入力することができる。登録データは、ユーザ識別データ、ユーザの遠見視力に関する矯正のためのレンズ度数、近見視力に関する矯正のためのレンズ度数を含む。レンズ度数は右眼、左眼ごとに記憶される。右眼、左眼の視力が異なることがあるためである。なお、レンズ度数はレンズ焦点距離の逆数で表される。ユーザ識別データは、例えば、ユーザの携帯電話番号、メールアドレス、特定のサービス・アプリケーション利用のためのユーザID、その他のユーザ識別IDデータである。登録データは、その他のユーザに関する生体情報(年齢、性別、身長、体重等)を含む。登録データをクラウドサーバ3に送ることにより、可変焦点眼鏡1の焦点距離をユーザにとって見やすい焦点距離とすることが可能となる。
The registration data of the user who wears the
登録データは、頻繁に変更されることはないので、携帯通信端末2から、クラウドサーバ3に送信されると、クラウドサーバ3は、登録データをユーザ登録データベース内に登録データを管理することができる。登録データが、クラウドサーバ3のユーザ登録データベースに登録された以降は、携帯通信端末2は、ユーザ識別コード、例えば携帯電話番号をクラウドサーバ3に送信すればよい。クラウドサーバ3は、ユーザ識別コードを用いて、ユーザ登録データベースを検索できるからである。
Since the registered data is not frequently changed, when the registered data is sent from the
携帯通信端末2は、可変焦点眼鏡1が使用されている状態を状態データとして取得し、状態を示す状態信号をクラウドサーバ3に送信することができる。可変焦点眼鏡1が使用されている状態データは、例えば、使用されている時刻、使用されている場所、使用されている場所の天気、使用されている場所が屋外又は屋内、である。時刻は、GPS衛星、固定基地局からの電波信号に含まれる時刻を使用できる。場所は、GPS衛星からの信号に基づいて決定できる。天気は、使用されている場所に関する天気情報サービスを利用できる。屋外又は屋内であることは、例えばGPS衛星からの電波受信状況から検出することができる。
The
状況信号をクラウドサーバ3に送ることにより、可変焦点眼鏡1の焦点距離をユーザにとって更に見やすい焦点距離とすることが可能となる。携帯通信端末2は、クラウドサーバ3に対象物と可変焦点眼鏡との距離を示す距離信号を送信する都度、状態データを取得して状態データを送信することが好ましい。状態データの一部、例えば、場所や、天気データの取得は、定期的に取得して端末記憶部231に記憶しておいてもよい。取得に要する時間を短く、且つ、負荷を軽くすることができる。
By sending the situation signal to the
図8は、携帯通信端末の処理の一例を示すフローチャート図である。図8に示す処理は、端末記憶部231に予め記憶されたコンピュータプログラムに従って端末制御部23にて実行される。
FIG. 8 is a flowchart diagram illustrating an example of processing of the mobile communication terminal. The process shown in FIG. 8 is executed by the
端末受信部2321は、第1通信インターフェース21を介して、可変焦点眼鏡1から送信される対象物と可変焦点眼鏡との距離を示す距離信号と対象物の特徴を示す特徴信号を受信する(ST801)。
The
登録データ取得部2322は、端末記憶部231の登録データファイル2311から登録データを取得する(ST802)。状態データ取得部2323は、状態データファイルから状態データを取得する(ST803)。
The registration
端末送信部2324は、第2通信インターフェース22を介して、クラウドサーバ3に対象物と可変焦点眼鏡との距離を示す距離信号と対象物の特徴を示す特徴信号を送信する(ST804)。端末送信部2324は、第2通信インターフェース22を介して、クラウドサーバ3に登録データを示す登録信号と状態データを示す状態信号を送信する(ST805)。
The
端末受信部2321は、第2通信インターフェースを介してクラウドサーバ3から、クラウドサーバ3が決定した可変焦点レンズの焦点距離を示す焦点信号を受信する(ST806)。端末送信部2324は、第1通信インターフェースを介して可変焦点眼鏡1に、可変焦点レンズの焦点距離を示す焦点信号を送信する(ST807)。処理は終了する。
The
[クラウドサーバ]
クラウドサーバ3は、例えば、対象物と可変焦点レンズとの距離と、登録データに含まれる遠見視力に関する矯正のためのレンズ度数、近見視力に関する矯正のためのレンズ度数を検索条件として焦点距離データベース322を検索する。クラウドサーバ3は、検索によって決定したレンズの焦点距離を焦点信号として携帯通信端末2に送信する。携帯通信端末2は、可変焦点眼鏡に決定されたレンズの焦点距離を示す焦点信号を転送する。
[Cloud server]
The
登録データはユーザ登録データベースとしてクラウドサーバ3に登録されていてよい。本例では、クラウドサーバ3は、焦点距離データベース322とユーザ登録データベース321を有するものとする。携帯通信端末2から、対象物と可変焦点レンズとの距離を示す距離信号と、登録データに含まれるユーザ識別コートを含む登録信号を受信したときの例について説明する。
The registration data may be registered in the
図9は、クラウドサーバのブロック構成の一例を示す概略図である。クラウドサーバ3は、クラウドネットワークを介して携帯通信端末2と通信するサーバ通信インターフェース31と、サーバ記憶部32と、サーバ処理部33とを有する。サーバ通信インターフェース31とサーバ記憶部32は、サーバ処理部33に接続している。
FIG. 9 is a schematic diagram showing an example of a block configuration of a cloud server. The
サーバ記憶部32は、例えば、半導体メモリ、磁気ディスク装置及び光ディスク装置の内の少なくとも一つを有する。サーバ記憶部32は、サーバ処理部33による処理に用いられるドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム、データ等を記憶する。例えば、サーバ記憶部32は、ドライバプログラムとして、サーバ通信インターフェース31を制御する通信デバイスドライバプログラム等を記憶する。コンピュータプログラムは、例えばCD-ROM、DVD-ROM等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いてサーバ記憶部32にインストールされてもよい。また、プログラムサーバ等からダウンロードしてインストールしてもよい。
The
サーバ記憶部32は、データとして、ユーザ登録データベース321と、焦点距離データベース322等を記憶する。
The
ユーザ登録データベース321は、携帯通信端末2から送信されるユーザ識別データを検索キーとして、各ユーザのレンズ度数と生体情報が検索可能なデータベースである。ユーザ識別データの種類には、例えば、ユーザの携帯電話番号、メールアドレス、特定のサービス・アプリケーション利用のためのユーザID等があるが、個々のユーザは、いずれか1つのユーザ識別データを使うことが可能である。例えは、ユーザAは、ユーザ識別データとして携帯電話番号を使用し、ユーザ識別データの他の種類については登録されていなくともよい。ユーザBは、メールアドレスを使用し、ユーザ識別データの他の種類については登録されていなくともよい。
The
焦点距離データベース322は、個々のユーザのレンズ度数と、対象物と可変焦点眼鏡の距離を検索キーとして、対象物に対する適正な可変焦点レンズの焦点距離が検索可能なデータベースである。
The
別の例として、焦点距離データベース322は、個々のユーザのレンズ度数、対象物と可変焦点眼鏡の距離、及び対象物の特徴を検索キーとして、対象物に対する適正な可変焦点レンズの焦点距離が検索可能なデータベースとすることができる。対象物と可変焦点眼鏡の距離が同じであっても、新聞を読むときと写真を見るときでは、異なる焦点距離に設定したほうがよいケースもあるからである。
As another example, the
別の例として、焦点距離データベース322は、個々のユーザのレンズ度数、対象物と可変焦点眼鏡の距離、対象物の特徴、及び可変焦点眼鏡1が使用されている状態を検索キーとすることができる。対象物と可変焦点眼鏡の距離が同じであっても、新聞を読むときと写真を見るときでは、異なる焦点距離に設定したほうが明瞭に見えるケースもあるからである。
As another example, the
サーバ処理部33は、一又は複数個のプロセッサ及びその周辺回路を備える。サーバ処理部33は、クラウドサーバ3の全体的な動作を統括的に制御するものであり、例えば、CPU(central processing unit)である。サーバ処理部33は、クラウドサーバ3の各種処理がサーバ記憶部32に記憶されているプログラム等に基づいて適切な手順で実行されるように、サーバ通信インターフェース31等の動作を制御する。サーバ処理部33は、サーバ記憶部32に記憶されているオペレーティングシステムプログラムやドライバプログラム、アプリケーションプログラム等のプログラムに基づいて処理を実行する。また、サーバ処理部33は、アプリケーションプログラム等の複数のプログラムを並列に実行することができる。
The
サーバ処理部33は、サーバ受信部331、ユーザ登録データベース検索部332、焦点距離データベース検索部333、及びサーバ送信部334を有する。サーバ処理部33が有するこれらの各部は、サーバ処理部33が有するプロセッサ上で実行されるプログラムによって実装される機能モジュールである。あるいは、サーバ処理部33が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、又はファームウェアとしてクラウドサーバ3に実装されてもよい。クラウドサーバ3は、1台のサーバ装置だけでなく、複数のサーバ装置によって構成することができる。例えば、ユーザ登録データベース321を有するサーバ装置と、焦点距離データベース322を有するサーバ装置が複合してクラウドサーバ3を構成してもよい。
The
図10は、クラウドサーバ3で使用される焦点距離データベースの例を示す図である。
FIG. 10 is a diagram showing an example of a focal length database used in the
表T1は、焦点距離データベースに含まれる表であって、遠見視力に関する矯正のためのレンズ度数DD1、近見視力に関する矯正のためのレンズ度数ND1のときの、対象物Pと可変焦点眼鏡1との距離に対するレンズの焦点距離fを示す表である。対象物と可変焦点眼鏡の距離が10cm以上50cm未満のときは、10cm毎にレンズの焦点距離が設定され、対象物と可変焦点眼鏡の距離が100cm以上のときは100cm毎にレンズの焦点距離が設定されている。表T1は、レンズ度数DD1、DND2を有する複数ユーザのデータを元に、統計的方法、例えば、平均値、最頻値を用いて作成される。例えば、対象物と可変焦点眼鏡との距離が40cm以上50cm未満のときは、焦点距離f14は推奨される。
Table T1 is a table included in the focal length database, and shows the relationship between the object P and the
表T2は、焦点距離データベースに含まれる表であって、遠見視力のレンズ度数DD1、近見視力レンズ度数ND1に加え、対象物の特徴として、例えば対象物が花のときの、対象物Pと可変焦点眼鏡1との距離に対するレンズの焦点距離fを示す表である。表T1は、レンズ度数DD1、DND2を有する複数ユーザがいろいろな花を見たときのデータを元に、統計的方法、例えば、平均値、最頻値を用いて作成される。例えば、対象物と可変焦点眼鏡との距離が40cm以上50cm未満のときは、焦点距離f24が推奨される。
Table T2 is a table included in the focal length database, and in addition to the lens power for distance vision DD1 and the lens power for near vision ND1, table T2 is a table that includes the lens power for distance vision DD1 and the lens power for near vision ND1. 3 is a table showing the focal length f of the lens relative to the distance to the
表T3は、焦点距離データベースに含まれる表であって、レンズ度数がDD1、ND1、対象物対象物が花、可変焦点眼鏡1が公園で使用されているときの、対象物Pと可変焦点眼鏡1との距離に対するレンズの焦点距離fを示す表である。表T3は、レンズ度数DD1、DND2を有する複数ユーザがいろいろな花を公園で見たときのデータを元に、統計的方法、例えば、平均値、最頻値を用いて作成される。例えば、対象物と可変焦点眼鏡との距離が40cm以上50cm未満のときは、焦点距離f34が推奨される。
Table T3 is a table included in the focal length database, and shows the object P and the variable focus glasses when the lens powers are DD1 and ND1, the object is a flower, and the
焦点距離データベースは、大量のデータを収集して分析する人工知能(AI:artificial intelligence)学習によって作成されてもよい。例えば、表T、T2,T2のレンズの焦点距離fの設定幅は同一として説明したが、AI学習によるクラスタリング手法を用いて様々な検索条件に対応した焦点距離fの設定幅とすることができる。更に、検索条件としてユーザの生体情報を使用してもよい。生体情報が近しいユーザ間は、同じレンズ焦点距離設定が好ましいケースがあるからである。 The focal length database may be created by artificial intelligence (AI) learning that collects and analyzes large amounts of data. For example, although the setting range of the focal length f of the lenses in Tables T, T2, and T2 has been explained as being the same, it is possible to set the setting range of the focal length f corresponding to various search conditions using a clustering method using AI learning. . Furthermore, the user's biometric information may be used as a search condition. This is because there are cases where it is preferable to set the same lens focal length for users whose biological information is close to each other.
図11は、クラウドサーバの処理の一例を示すフローチャート図である。図11に示す処理は、サーバ記憶部32に予め記憶されたコンピュータプログラムに従ってサーバ処理部33にて実行される。
FIG. 11 is a flowchart diagram illustrating an example of processing by the cloud server. The process shown in FIG. 11 is executed by the
サーバ受信部331は、サーバ通信インターフェース31を介して、携帯通信端末2から送信される対象物と可変焦点眼鏡との距離を示す距離信号と対象物の特徴を示す特徴信号を受信する(ST1101)。サーバ受信部331は、サーバ通信インターフェース31を介して、携帯通信端末2から送信されるユーザ識別コードを含む登録信号と状態信号を受信する(ST1102)。
The
ユーザ登録データベース検索部332は、ユーザ識別コードを検索キーとしてサーバ記憶部32のユーザ登録データベース321からユーザ登録データを取得する(ST1103)。焦点距離データベース検索部333は、取得されたユーザ登録データに含まれるユーザのレンズ度数と、対象物と可変焦点眼鏡の距離を検索キーとして、サーバ記憶部32の焦点距離データベース322から可変焦点レンズの焦点距離を取得する(ST1104)。
The user registration
サーバ送信部334は、サーバ通信インターフェース31を介して、携帯通信端末2に取得した対象物に対する適正な可変焦点レンズの焦点距離を示す焦点信号を送信する(ST1105)。送信後、処理は終了する。
The
[第2実施形態]
第1実施形態は、可変焦点眼鏡から、対象物と可変焦点眼鏡との距離と対象物の特徴を、携帯通信端末を経由して、クラウドサーバから適切なレンズ焦点距離を得る例を説明した。第2実施形態は、更に対象物に関連するコンテンツ画像を可変焦点レンズに投影する例を説明する。
[Second embodiment]
In the first embodiment, an example has been described in which an appropriate lens focal length is obtained from a cloud server via a mobile communication terminal based on the distance between the object and the variable focus glasses and the characteristics of the object. The second embodiment further describes an example in which a content image related to an object is projected onto a variable focus lens.
図12は、第2実施形態に係る可変焦点眼鏡の一例を示す図である。可変焦点眼鏡1´は、第1実施形態で説明した可変焦点眼鏡1にAR(AR:Augmented Reality)投影部10を更に備え、可変焦点レンズ表面上に対象物に関連するコンテンツ画像101を投影することができる。なお、ARとは、「拡張現実感(Augmented Reality)」の略で、実際の対象物、景色、地形等に、コンピュータを使ってさらに情報を加える技術を指す。以下、第1実施形態1と異なる部分を中心に説明する。対象物の関連するコンテンツとは、例えば、対象物の説明、対象物の解説、対象物の広告、対象物の購入方法、対象物の使い方等である。対象物に関連するコンテンツ画像101は静止画、動画像いずれでもよい。
FIG. 12 is a diagram showing an example of variable focus glasses according to the second embodiment. Variable focus glasses 1' further include an AR (Augmented Reality)
図13は、第2実施形態に係る可変焦点眼鏡のブロック構成の一例を示す図である。可変焦点眼鏡1´は、AR投影部10を有し、AR投影部10は、眼鏡制御部15と接続している。眼鏡処理部152は、AR投影部10が対象物Pに関連するコンテンツ画像101を投影するようにAR投影部10を制御するAR部1529を有する。眼鏡受信部1527は、眼鏡通信インターフェース16を介して、携帯通信端末2から対象物に関連するコンテンツ画像を示すコンテンツ信号を更に受信する。
FIG. 13 is a diagram showing an example of a block configuration of variable focus glasses according to the second embodiment. The variable focus glasses 1' have an
図14は、第2実施形態に係る可変焦点眼鏡の処理の一例を示すフローチャート図である。図14に示す処理は、眼鏡記憶部151に予め記憶されたコンピュータプログラムに従って眼鏡制御部15にて実行される。
FIG. 14 is a flowchart illustrating an example of processing of variable focus glasses according to the second embodiment. The process shown in FIG. 14 is executed by the glasses control
眼鏡操作部14の例えばプッシュスイッチがユーザによって押されたことを、操作処理部1521がスイッチの押下を検出することにより本処理はスタートする。モード切換部1522は、撮像センサ131、132を起動させ、眼鏡制御部15を、省電力モードから動作モードに切換える(ST1401)。検出部1523の判定部1524は、撮像センサ131、132の撮像画像から対象物候補の特徴を抽出し、抽出された特徴に基づいて対象物を判定する(ST1402)。検出部1523の距離検出部1525は、撮像センサ131、132の撮像画像から判定された対象物と可変焦点眼鏡との距離を検出する(ST1403)。
This process starts when the
眼鏡通信インターフェース16を介して眼鏡送信部1526は、対象物と可変焦点眼鏡との距離を示す距離信号と対象物の特徴を示す特徴信号を携帯通信端末2に送信する(ST1404)。眼鏡通信インターフェース16を介して眼鏡受信部1527は、携帯通信端末2から可変焦点レンズの焦点距離を示す焦点信号と、対象物に関連するコンテンツ画像を示すコンテンツ信号を受信する(ST1405)。調整部1528は、焦点信号に対応して、前記可変焦点レンズの焦点距離を調整する(ST1406)。AR部1529は、AR投影部10にコンテンツ画像を投影させる(ST1407)。投影が終了すると処理は終了する。
Via the
図15は、第2実施形態に係るクラウドサーバのブロック構成の一例を示す概略図である。サーバ記憶部32は、更に対象物に関連するコンテンツデータを含むコンテンツデータベースを記憶する。サーバ処理部33は、更にコンテンツデータベース検索部335を有する。コンテンツデータベース検索部335は、対象物の特徴を主検索キーとして検索し、ユーザ登録データと状態データを副検索キーとして使用することができる。
FIG. 15 is a schematic diagram showing an example of a block configuration of a cloud server according to the second embodiment. The
サーバ送信部334は、コンテンツデータベース検索により得られたコンテンツデータをコンテンツ信号として、サーバ通信インターフェース31を介して携帯通信端末2に送信する。
The
図16は、第2実施形態に係るクラウドサーバの処理の一例を示すフローチャート図である。図16に示す処理は、サーバ記憶部32に予め記憶されたコンピュータプログラムに従ってサーバ処理部33にて実行される。
FIG. 16 is a flowchart diagram illustrating an example of processing by the cloud server according to the second embodiment. The process shown in FIG. 16 is executed by the
サーバ受信部331は、サーバ通信インターフェース31を介して、携帯通信端末2から送信される対象物と可変焦点眼鏡との距離を示す距離信号と対象物の特徴を示す特徴信号を受信する(ST1601)。サーバ受信部331は、サーバ通信インターフェース31を介して、携帯通信端末2から送信されるユーザ識別コードを含む登録信号と状態信号を受信する(ST1602)。
The
ユーザ登録データベース検索部332は、ユーザ識別コードを検索キーとしてサーバ記憶部32のユーザ登録データベース321からユーザ登録データを取得する(ST1603)。焦点距離データベース検索部333は、取得されたユーザ登録データに含まれるユーザのレンズ度数と、対象物と可変焦点眼鏡の距離を検索キーとして、サーバ記憶部32の焦点距離データベース322から可変焦点レンズの焦点距離を取得する(ST1604)。
The user registration
コンテンツデータベース検索部335は、取得された対象物の特徴、ユーザ登録データ状態データを検索キーとして、サーバ記憶部32のコンテンツデータベース323から対象物に関連するコンテンツを取得する(ST1605)。
The content
サーバ送信部334は、サーバ通信インターフェース31を介して、携帯通信端末2に取得した対象物に対する適正な可変焦点レンズの焦点距離を示す焦点信号とコンテンツを示すコンテンツ信号を送信する(ST1606)。送信後、処理は終了する。
The
図17は、第2実施形態に係る携帯通信端末のブロック構成の一例を示す図である。端末処理部は、更にコンテンツ取得部2325を有する。第2通信インターフェースを介して、端末受信部2321は、クラウドサーバ3からコンテンツ信号を受信する。コンテンツ取得部2325は、コンテンツ信号からコンテンツデータを取得し、例えば、外部記憶部28に記憶させることができる。例えば、コンテンツデータが動画像である場合は、適宜、可変焦点眼鏡1´に送信でき、可変焦点眼鏡1´の負荷を軽くすることができる。コンテンツデータは端末記憶部231に記憶してもよい。
FIG. 17 is a diagram illustrating an example of a block configuration of a mobile communication terminal according to the second embodiment. The terminal processing section further includes a
図18は、第2実施形態に係る携帯通信端末の処理の一例を示すフローチャート図である。図18に示す処理は、端末記憶部231に予め記憶されたコンピュータプログラムに従って端末制御部23にて実行される。
FIG. 18 is a flowchart diagram illustrating an example of processing of the mobile communication terminal according to the second embodiment. The process shown in FIG. 18 is executed by the
端末受信部2321は、第1通信インターフェース21を介して、可変焦点眼鏡1´から送信される対象物と可変焦点眼鏡との距離を示す距離信号と対象物の特徴を示す特徴信号を受信する(ST1801)。
The
登録データ取得部2322は、端末記憶部231の登録データファイル2311から登録データを取得する(ST1802)。状態データ取得部2323は、状態データファイルから状態データを取得する(ST1803)。
The registration
端末送信部2324は、第2通信インターフェース22を介して、クラウドサーバ3に対象物と可変焦点眼鏡との距離を示す距離信号と対象物の特徴を示す特徴信号を送信する(ST1804)。端末送信部2324は、第2通信インターフェース22を介して、クラウドサーバ3に登録データを示す登録信号と状態データを示す状態信号を送信する(ST1805)。
The
端末受信部2321は、第2通信インターフェースを介してクラウドサーバ3から、クラウドサーバ3が決定した可変焦点レンズの焦点距離を示す焦点信号とコンテンツ信号を受信する(ST1806)。コンテンツ取得部2325は、コンテンツデータを取得し外部記憶部に記憶する(ST1807)。端末送信部2324は、第1通信インターフェースを介して可変焦点眼鏡1´に、可変焦点レンズの焦点距離を示す焦点信号を送信する(ST1808)。端末送信部2324は、第1通信インターフェースを介して可変焦点眼鏡1´に、外部記憶部28に記憶されたコンテンツデータを示すコンテンツ信号を送信する(ST1808)。処理は終了する。
The
当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換、及び修正をこれに加えることが可能であることを理解されたい。 It should be understood that those skilled in the art can make various changes, substitutions, and modifications thereto without departing from the spirit and scope of the invention.
1,1´ 可変焦点眼鏡
111、112 可変焦点レンズ
12 フレーム
131、132 撮像センサ
14 眼鏡操作部
15 眼鏡制御部
16 眼鏡通信インターフェース
18 電源部
191、192 電圧回路
10 AR投影部
2 携帯通信端末
21 第1通信インターフェース
22 第2通信インターフェース
23 端末制御部
241、242、243、244 アンテナ
25 GPS受信部25
26 表示部
27 端末操作部
3 クラウドサーバ
31 サーバ通信インターフェース
32 サーバ記憶部
33 サーバ処理部
1, 1'
26
Claims (4)
前記可変焦点眼鏡は、
可変焦点レンズと、
前記可変焦点レンズの前方にある画像を撮像する撮像センサと、
前記撮像された画像から識別マークを検出し、前記識別マークに基づいて、対象物の種類を検出するとともに前記対象物と前記可変焦点眼鏡との距離を検出する検出部と、
前記対象物の種類を示す特徴信号および前記距離を示す距離信号を送信する眼鏡送信部と、
前記サーバから送信された、前記可変焦点レンズの焦点距離を示す焦点信号を受信する眼鏡受信部と、
前記焦点信号に対応して、前記可変焦点レンズの焦点距離を調整する調整部と、を有し、
前記サーバは、
前記対象物の種類、前記対象物と前記可変焦点眼鏡との間の距離、および前記可変焦点レンズの焦点距離を関連付けて記憶する記憶部と、
前記特徴信号および前記距離信号を受信するサーバ受信部と、
前記特徴信号が示す対象物の種類および前記距離信号が示す距離に関連する前記焦点距離を前記記憶部から取得する検索部と、
前記取得された焦点距離を示す前記焦点信号を送信するサーバ送信部と、を有する
システム。 A system comprising variable focus glasses and a server ,
The variable focus glasses include:
variable focus lens,
an image sensor that captures an image in front of the variable focus lens;
a detection unit that detects an identification mark from the captured image, and detects the type of object and the distance between the object and the variable focus glasses based on the identification mark ;
an eyeglass transmitter that transmits a feature signal indicating the type of the object and a distance signal indicating the distance;
an eyeglass reception unit that receives a focus signal indicating the focal length of the variable focus lens transmitted from the server ;
an adjustment unit that adjusts the focal length of the variable focus lens in accordance with the focus signal ,
The server is
a storage unit that associates and stores the type of the object, the distance between the object and the variable focus glasses, and the focal length of the variable focus lens;
a server receiving unit that receives the feature signal and the distance signal;
a search unit that acquires the focal length related to the type of object indicated by the feature signal and the distance indicated by the distance signal from the storage unit;
a server transmitter that transmits the focus signal indicating the acquired focal length;
system.
前記サーバ受信部は、前記登録データを示す登録信号と前記特徴信号と前記距離信号とを前記携帯通信端末から受信し、
前記記憶部は、前記登録データ、前記対象物の種類、前記対象物と前記可変焦点眼鏡との間の距離および前記可変焦点レンズの焦点距離を関連付けて記憶し、
前記検索部は、前記登録データと前記対象物の種類と前記距離とに対応する焦点距離を取得し、
前記サーバ送信部は、取得された焦点距離を示す前記焦点信号を前記携帯通信端末に送信し、
前記眼鏡受信部は、前記焦点信号を前記携帯通信端末から受信する、
請求項1に記載のシステム。 The glasses transmitting unit transmits the characteristic signal and the distance signal to a mobile communication terminal that stores registration data regarding the user of the variable focus glasses,
The server reception unit receives a registration signal indicating the registration data , the characteristic signal, and the distance signal from the mobile communication terminal,
The storage unit stores the registration data, the type of the object, the distance between the object and the variable focus glasses, and the focal length of the variable focus lens in association with each other,
The search unit acquires a focal length corresponding to the registration data, the type of object, and the distance,
The server transmission unit transmits the focus signal indicating the acquired focal length to the mobile communication terminal,
The glasses receiving section receives the focus signal from the mobile communication terminal.
The system of claim 1 .
前記検索部は、前記特徴信号が示す対象物の種類に関連するコンテンツデータを決定し、
前記サーバ送信部は、前記決定されたコンテンツデータを示すコンテンツ信号を前記携帯通信端末に更に送信し、
前記眼鏡受信部は、前記コンテンツ信号を前記携帯通信端末からさらに受信し、
前記可変焦点眼鏡は、前記可変焦点レンズに前記コンテンツデータを投影する投影部を更に有する、
請求項2に記載のシステム。 The storage unit further stores the type of object and content data in association with each other,
The search unit determines content data related to the type of object indicated by the feature signal ,
The server transmission unit further transmits a content signal indicating the determined content data to the mobile communication terminal,
The glasses receiving section further receives the content signal from the mobile communication terminal ,
The variable focus glasses further include a projection unit that projects the content data onto the variable focus lenses.
The system according to claim 2 .
撮像センサが前記可変焦点レンズの前方にある画像を撮像することと、
前記可変焦点眼鏡が、前記撮像センサに撮像された画像から識別マークを検出し、前記識別マークに基づいて、対象物の種類を検出するとともに前記対象物と前記可変焦点眼鏡との距離を検出することと、
前記可変焦点眼鏡が、前記対象物の種類を示す特徴信号および前記距離を示す距離信号を送信することと、
前記サーバが、前記特徴信号および前記距離信号を受信することと、
前記サーバが、前記特徴信号が示す対象物の種類および前記距離信号が示す距離に関連する焦点距離を前記サーバの記憶部から取得することと、
前記サーバが、前記取得された焦点距離を示す焦点信号を送信することと、
前記可変焦点眼鏡が、前記サーバから送信された前記焦点信号を受信することと、
前記可変焦点眼鏡が、前記焦点信号に対応して、前記可変焦点レンズの焦点距離を調整することと、
を有する方法。 A method for controlling variable focus glasses, the system comprising variable focus glasses having variable focus lenses and a server, the system comprising :
an image sensor capturing an image in front of the variable focus lens;
The variable focus glasses detect an identification mark from the image captured by the image sensor, and based on the identification mark, detect the type of object and the distance between the object and the variable focus glasses. And,
the variable focus glasses transmitting a feature signal indicating the type of the object and a distance signal indicating the distance;
the server receiving the feature signal and the distance signal;
The server acquires from a storage unit of the server the type of object indicated by the feature signal and the focal length related to the distance indicated by the distance signal;
the server transmitting a focus signal indicating the acquired focal length;
the variable focus glasses receiving the focus signal transmitted from the server ;
The variable focus glasses adjust the focal length of the variable focus lenses in response to the focus signal;
How to have.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020101151A JP7425678B2 (en) | 2020-06-10 | 2020-06-10 | Variable focus glasses, control method and control program for variable focus glasses |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020101151A JP7425678B2 (en) | 2020-06-10 | 2020-06-10 | Variable focus glasses, control method and control program for variable focus glasses |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021196426A JP2021196426A (en) | 2021-12-27 |
JP7425678B2 true JP7425678B2 (en) | 2024-01-31 |
Family
ID=79197876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020101151A Active JP7425678B2 (en) | 2020-06-10 | 2020-06-10 | Variable focus glasses, control method and control program for variable focus glasses |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7425678B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024096460A1 (en) * | 2022-10-31 | 2024-05-10 | 삼성전자주식회사 | Electronic device for acquiring distance information, and operation method thereof |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016002296A1 (en) | 2014-07-01 | 2016-01-07 | ソニー株式会社 | Optical control device and optical control method |
US20160370605A1 (en) | 2013-12-17 | 2016-12-22 | Liron Ain-Kedem | Controlling vision correction using eye tracking and depth detection |
-
2020
- 2020-06-10 JP JP2020101151A patent/JP7425678B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160370605A1 (en) | 2013-12-17 | 2016-12-22 | Liron Ain-Kedem | Controlling vision correction using eye tracking and depth detection |
WO2016002296A1 (en) | 2014-07-01 | 2016-01-07 | ソニー株式会社 | Optical control device and optical control method |
Also Published As
Publication number | Publication date |
---|---|
JP2021196426A (en) | 2021-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20100220285A1 (en) | Fitting of spectacles | |
KR20120127790A (en) | Eye tracking system and method the same | |
KR101528132B1 (en) | The method for measuring the power of glass lens by personal mobile device | |
KR20220074847A (en) | Method and apparatus for changing focus of camera | |
WO2015035823A1 (en) | Image collection with increased accuracy | |
KR20150057048A (en) | Glass appratus using eyesignt-based virtual screen | |
CN103941574A (en) | Intelligent spectacles | |
US20160116740A1 (en) | Display device, control method for display device, display system, and computer program | |
JP7425678B2 (en) | Variable focus glasses, control method and control program for variable focus glasses | |
US20200107720A1 (en) | Calibration and Image Procession Methods and Systems for Obtaining Accurate Pupillary Distance Measurements | |
CN103690171A (en) | Glasses measuring and matching device, glasses measuring and matching server and glasses measuring and matching method | |
KR20190024861A (en) | Method for Providing Glasses Fitting Service by using Augmented Reality | |
CN109804301B (en) | Method for determining parameters of an optical device | |
US20160189341A1 (en) | Systems and methods for magnifying the appearance of an image on a mobile device screen using eyewear | |
KR20200050095A (en) | Method for Providing Wearing Service by Using Augment Reality | |
US9501840B2 (en) | Information processing apparatus and clothes proposing method | |
KR101937327B1 (en) | Method for Providing Augmented Glasses Service | |
CN104062758A (en) | Image display method and display equipment | |
US20190364256A1 (en) | Method and System for Dynamically Generating Scene-Based Display Content on a Wearable Heads-Up Display | |
CN110120062B (en) | Image processing method and device | |
JP2014232158A (en) | Diopter adjustment system | |
KR20190127470A (en) | Method for Providing Augmented Wrist Watch Service Based on Mobile Web | |
KR20190127487A (en) | Method for Providing Augmented Helmet Service Based on Mobile Web | |
EP4350417A1 (en) | Augmented reality apparatus and method for providing vision measurement and vision correction | |
KR20190085811A (en) | Method for Providing Augmented Ring Service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231102 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7425678 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |