JP2015509336A - 共有秘密構成及び光データ転送 - Google Patents

Abstract

デジタルデータが、ＬＥＤ固体ランプ又は他の照明光源（例えば、テレビジョンスクリーン及びバックライトコンピュータディスプレイ）の輝度又はクロミナンスを制御可能に切り替えることによって環境を通して光学的に同報送信される。この光データチャネルは、環境内のデバイスが安全なネットワークに対してそれ自体を認証することができる暗号化鍵データを伝達するのに有用である。いくつかの実施形態では、光変調がスマートフォンのカメラによって感知される。スマートフォンのカメラセンサによって出力された行データを処理して、変調データ信号を抽出する。いくつかの単色の実施形態では、カメラのフレームレート（例えば、３０／秒）、又はさらにカメラの行レート（例えば、１４４００／秒）をはるかに上回るデータ通信速度が達成される。さらに大きいレートが、異なるクロミナンスチャンネルで異なるデータを伝達することによって達成されうる。多くの他の特徴及び構成も詳述される。【選択図】 図１

Description

本技術は、例えば、秘密の共有と、モバイル電話のカメラによるシリアル光データの検出とを伴う光データ通信とその用途とに関する。

［関連出願データ］
米国において、本出願は、２０１２年１月２０日に出願された米国特許仮出願第６１／５８９，２４１号の優先権を主張する。

［緒言］
無線ネットワークセキュリティは、普通、共有秘密を使用することにより達成される。例えば、会社への訪問者がラップトップコンピュータを会社の無線ネットワークに接続しようとする場合、訪問者は、一般に、最初に、ラップトップスクリーンに示されるＵＩに秘密ネットワークパスワードを入力しなければならない。訪問者が正しいパスワードを入力した場合、デバイス及びネットワークは安全な（暗号化された）通信チャネルを確立することができ、ネットワークはネットワーク上の許可されたデバイスとしてラップトップを登録する。

時には、認証を達成するのに、ネットワーク関連パスワードを登録デバイスに入力することができない。例えば、登録デバイスが、１組の無線スピーカ、又はＵＩを提示することができるディスプレイを有していない他のハードウェアであることがある。そのような状況では、ネットワークへの認証は、ネットワークへのデバイス関連パスワード（デバイスへのネットワーク関連パスワードの代わりに）を用意することによって達成することができる。ワイファイプロテクテッドセットアップ（Ｗｉ−Ｆｉ Ｐｒｏｔｅｃｔｅｄ Ｓｅｔｕｐ）として知られるこの構成の業界標準は、４又は８桁ＰＩＮ符号をデバイスに割り当てる（例えば、デバイスに貼られるタグに印刷される）。デバイスをネットワークに接続するには、ユーザは、既に接続されているネットワークデバイス（例えば、ネットワークルータに接続されているＰＣ）に提示されたＵＩにデバイスＰＩＮ符号を入力する。新しいデバイスとネットワークとの間でこのデバイス関連パスワード秘密を共有すると、再び、構成要素は安全な（暗号化された）通信チャネルを確立することができ、このデバイスはネットワークが許可したデバイスとして登録される。

米国特許出願公開第２０１１０２７７０２３号は、デバイスのＰＩＮを、ＵＩのテキスト文字の入力によってではなくデバイスからネットワークに音声で与えることができることを詳述している。１つの実施形態では、これは、登録デバイスにスピーカ、及びネットワークルータにマイクロホンを備えることによって行われる。デバイス秘密は一連の可聴音で伝達することができる。

共有秘密の可聴式伝達は理論的には魅力的であるが、実際には困難である。屋内環境には、普通、様々な異なるノイズ源がある。これらのノイズ源は前もって十分に特徴付けることができない。それらのスペクトルの内容もそれらの振幅もそれらの時間特性も予測することができない。そのため、あり得るノイズ源からの干渉を信頼性高く克服しなければならない場合、可聴様式で秘密を共有するデバイスは互いに隣接して配置されなければならず、伝達される音声信号はかなり大きい振幅でなければならない。

本技術の１つの態様によれば、秘密が２つのデバイス間で光学的に共有される。いくつかの実装形態では、発光ダイオード（オフィス照明及びディスプレイバックライティング（例えばスマートフォンスクリーン及びより大きい情報ディスプレイにおける）でますます使用されているような）は秘密データを伝達するために変調される。いくつかの実装形態では、ネットワーク接続されたスマートフォンのカメラが光変調を感知するために使用される。屋内環境は音響的によりも光学的に静かであるので、そのような手法は、音声ベース構成の雑音関連の欠点を受けない。

１つの特定の実施形態では、家庭におけるＬＥＤライティングは、ホームネットワークに無線で接続するために他のデバイスが必要とするネットワーク関連秘密を同報送信するために変調される。

この技術の別の態様によれば、ＬＥＤライティングは、スマートフォンなどのカメラ搭載携帯デバイスにデータを光学的に伝達するために使用される。そのようなカメラは毎秒３０フレームの像（ｉｍａｇｅｒｙ）しか（すなわち、毎秒１４４００ラインの像しか）捕捉しないが、これらの数値をはるかに上回るビットデータレートの光通信を達成することができる。

本技術の前述の及び追加の特徴及び利点は、添付図面を参照して進める以下の説明からより容易に明らかになる。

本技術の１つの実施形態によるデバイスの図である。 ホームネットワークにおけるデバイスを示す図である。 スマートフォンカメラの行の時間シフトされたサンプリング間隔を詳述する図である。 スマートフォンカメラの行の時間シフトされたサンプリング間隔を詳述する図である。 ２進記号を伝達するための光変調を示す図である。 カメラ行の時間シフトサンプリング間隔がどのように光データを回復するかをより詳細に示す図である。 異なる行サンプリング関係を示す図である。 異なる行サンプリング関係を示す図である。 異なる行サンプリング関係を示す図である。 異なる行サンプリング関係を示す図である。 データ期間を行サンプリング間隔よりも小さくすることができることを示す図である。 データ期間を行サンプリング間隔よりも小さくすることができることを示す図である。 画素データを多数回読み取ることによって、その中間でリセットすることなしに、どのように符号化開口を達成することができるかを示す図である。 単色画像センサと制御された照明とを使用して、どの色の像を生成することができるかの態様を示す図である。 単色画像センサと制御された照明とを使用して、どの色の像を生成することができるかの態様を示す図である。 単色画像センサと制御された照明とを使用して、どの色の像を生成することができるかの態様を示す図である。 単色画像センサと制御された照明とを使用して、どの色の像を生成することができるかの態様を示す図である。 単色画像センサと制御された照明とを使用して、どの色の像を生成することができるかの態様を示す図である。 本技術の実施形態で使用することができるスマートフォンのブロック図である。

図１を参照すると、本技術のいくつかの態様を組み込んだ実施形態１０は、プロセッサ１４、メモリ１６、無線インタフェース１８、及び光制御出力部２０を含むルータ又は他のデバイス１２を利用する。

メモリは、動作のためのデバイスハードウェア（プロセッサを含む）を構成し制御するプログラム命令を含む。メモリは、ネットワークセキュリティのために使用されるパスワードをさらに含む。パスワードを利用する例示的なネットワークセキュリティ構成はＷＥＰ、ＷＰＡ、及びＷＰＡ２を含む。

ルータ１２は、光制御出力部２０以外は従来のものである。この出力部は、ルータパスワードを他のデバイスに光学的に伝達するのに使用される信号を供給する。

図１の右側は、光制御出力部からの信号を受信し、対応する光信号をユーザの環境に放出することができる多くの異なるデバイス２２のうちのいくつかを示す。そのようなデバイスは、普通、１つ又は複数の発光ダイオードを含む。

１つの特定のタイプの発光体２２はＬＥＤベースホーム／オフィスライティングである。ＮＸＰセミコンダクタによるグリーンチップ（Ｇｒｅｅｎｃｈｉｐ）ラインのライティングは例示であり、一体型ＩＰ６接続能力をもつＬＥＤライト（時には、「ＳＳＬ」−固体ライトと呼ばれる）を含む。すなわち、すべてのライトがそれ自体のインターネットアドレスを有する。「ジェンネット（ＪｅｎＮｅｔ）」−ＩＰネットワークソフトウェアは、ＬＥＤデバイスに無線接続能力を与える。ジェンネットは、ＩＥＥＥの８０２．１５．４ベースネットワーキングを利用する６ＬｏＷＰＡＮメッシュアンダーツリーネットワークである。この構成により、ライトの動作パラメータは、配線ネットワークを介して送信されるＩＰ６データに基づいて変更することができる。ＳＳＬは、一般に、別個に制御することができる３つ以上の色のＬＥＤを含むので、これらのパラメータは振幅だけでなくクロミナンスも含む。

そのような実装形態において、デバイス１２の光制御出力部２０から供給される信号は、電力ネットワークを介して伝達され、ライト２２によって放出される光の輝度及び／又はクロミナンスを制御してデバイスパスワードを伝達するように働くＩＰ６データストリームである。

他の実施形態では、ルータ出力部２０によって供給される制御信号は、フラットパネルテレビジョン又はスマートフォンのＬＥＤバックライトを制御することができる。実装形態に応じて、制御信号はアナログとすることができる。

さらなる他の実施形態では、デバイス１２は、それ自体、動作が光制御出力部からの信号に従って制御されるＬＥＤを装備することができる。例えば、プリンタは、ＬＥＤバックライトがプリンタのパスワードデータを放出するように制御されるバックライトディスプレイパネルを含むことができる。

図２は、前に論じたルータと、ホームネットワークにリンクされる（有線で、又は無線で）様々な他のデバイスとを含む例示的な実装形態を示す。詳述するデバイスは各々発光体及び／又は光センサを含むことができる。

信号データを伝達するための光の変調は任意の既知の手段によることができる。例えば、パスワードの文字を表すＡＳＣＩＩ記号は、輝度出力を１０％（又は５％又は２％など）変化させることによってパルス幅変調符号化することができる。データは際限なく繰り返すことができ、同期記号はシリーズの開始を指し示す。誤り訂正符号技法を利用することができる。データレートは、アプリケーションが指示するのと同じ程度に速く又は遅くすることができる。（ある実施形態では、秘密を見分けるのに３０秒以上の間周囲光視野（ａｍｂｉｅｎｔ ｌｉｇｈｔ ｆｉｅｌｄ ）をサンプリングすることが許容されることがあり、他の実施形態では、３秒未満の時間が所望されることがある。）

別の構成では、光データは、ディスプレイデバイスで示される画像情報と一緒に伝達される。すなわち、パスワードデータを同様に符号化するために、ディスプレイで提示される像は人間が感知できない様式で変化させられる。多くの異なるそのような技術が知られており、少なくとも米国特許第４，８０７，０３１号までさかのぼり、特許文献の米国特許出願公開第２００４０２５００７９号を含む。（他のものは以下で詳述される。）

様々な異なる構成を使用して、そのような光信号を感知することができる。恐らく、最も普通のものは、現在、ほとんどすべての携帯電話に含まれているカメラである。ラップトップ及びタブレットも多くの場合カメラを有する（よく知られているように、そのようなカメラは、一般に、ＣＭＯＳ又はＣＣＤ技術で実装された光検出器の格子状アレイを備える平面センサを含み、レンズが光検出器の格子状アレイに被写体の画像を投影する）。

カメラベース受信機では、焦点が合わされた画像の回復は必要でない。代わりに、カメラ焦点制御部（例えば、距離感知モジュール、局所コントラスト決定モジュール、機械焦点システムなど）のうちの１つ又は複数を無効にすることができ、その結果、焦点が合っていない照明がセンサに突き当たる。そのような構成によって、カメラの焦点は、カメラと、カメラが指している被写体との間の距離と無関係な値とすることができる。

カメラの焦点を合わせるのに使用される信号又は機構を無効にする代わりに、カメラの焦点制御構成を利用して、意図的に、捕捉された画像データの最大のぼやけをもたらす焦点面にカメラの焦点を合わせることができる。例えば、カメラが５フィート離れた天井に向けられ、カメラが３．５フィートと無限大との間の被写体に焦点を合わせる能力を有する場合、カメラの焦点を無限大に設定することができる。同様に、カメラがはるかに遠い被写体に向けられている場合、カメラ焦点は、捕捉された像のぼやけを最大化するために３．５フィートに設定することができる。

カメラ光検出器の一部又はすべての出力を平均化して単一出力信号を生み出すことができる。例えば、１つ又は複数の選択した行の光検出器のすべてを使用することができ、又はフレームの端から端までの光検出器の規則的な又は不規則的な又は中心視（ｆｏｖｅａｌ）のサンプリングを使用することができる。クロミナンスベース構成では、平均化する際にある特定の色の画素のみを使用することができる。（構成によっては、すべてのセル／行を平均化のために使用することができる。）

カメラが新しいフレームを捕捉するたびに、出力信号の新しい値が供給される。カメラが毎秒３０フレームを出力する場合、出力信号は３３．３ミリ秒ごとに変化することができる。

この出力信号の値は、カメラが向けられた被写体に部分的に依存することになる。カメラが暗い壁の方に向けられた場合、信号は、カメラが白い壁の方に向けられた場合よりも低い値を有する傾向があることになる。しかし、カメラが比較的静止して保持される場合、出力信号の被写体依存性は比較的一定であることになる。そのとき、出力信号の変化は、主として、例えば、変調された頭上のライティング器具からの、壁を照明する周囲光の変化に起因することになる。

変調された光源がテレビジョンスクリーン又は他のディスプレイのバックライトである場合、同じ効果がある。スクリーンディスプレイに提示された画像の平均輝度は時間とともに変化することになるが、それは３０フレーム／秒よりも非常に遅いレートで変化する。（平均すると、テレビジョン又は図形像の各フレームは、次のフレームと高度に相関がある（明るさ及びクロミナンスに関して）。）したがって、高域通過フィルタを平均化出力信号に適用して、遅い変化の画像表現の効果を減衰させ、発光体の本技術の変調によって引き起こされるより迅速に変化する信号を通過させることができる。

本技術による他の受信デバイスは、画像センサを使用する代わりに、テレビジョン及び他の家庭用娯楽構成要素で利用されるタイプなどの単一のフォトセルを使用して、リモートコントロールユニットからの赤外制御信号を受信することができる。

１つの特定の実装形態では、デバイス１２は無線ルータであり、ルータで使用されるＷＰＡパスワードは、家庭又はオフィスの全体にわたって固体光で放出される照明にパルス幅変調される。無線ネットワークへのアクセスを望む訪問者は、電話カメラで周囲光を感知するアイフォン（ｉＰｈｏｎｅ）でアプリを開始し（例えば、壁の空の空間に又は光の方にカメラを向けて）、変調信号を見分け／復号してＷＰＡパスワードを回復する。次に、アプリは既知の様式でこのパスワードを使用して、無線ネットワークにログインする。

別の特定の実装形態では、デバイス１２はプリンタである。そのデバイスパスワードは、プリンタの制御パネルの背後のバックライトによって放出される照明に変調される。プリンタをネットワークに接続するために、ユーザはネットワークで既に許可されているスマートフォンを使用して、変調されたバックライトをサンプリングする。スマートフォンアプリは、デバイスパスワードを復号し、それをネットワークを介して無線ルータに渡し、次に、無線ルータは既知の構成（例えば、ワイファイプロテクテッドセットアップ）を使用してプリンタとの安全な接続を確立する。

ＤＶＤプレーヤ、ストリーミング（インターネット）ビデオデバイス（ボクシー（Ｂｏｘｅｅ）、アップルＴＶ（ＡｐｐｌｅＴＶ）など）、衛星放送受信機、テレビジョン、セットトップボックスなどのような家庭用娯楽構成要素は、表提示されているビデオ像を変調して、構成要素に関連するＰＩＮ又は他の秘密をサブリミナル的に伝達することができる。スマートフォンは、このＰＩＮデータを像から復号し、この共有秘密を使用して、構成要素との安全で認証されたセッションを確立することができる。例えば、秘密を用いて、電話は、無線ネットワークを介して家庭用娯楽構成要素と直接通信することができる。又は、電話は、構成要素を制御することができるＵＩとして働く安全なウェブページにアクセスすることができる。共有秘密によって許可された後、スマートフォンを使用して、チャネルの変更、ビデオオンデマンドのオーダー、投票及びクイズを含む双方向テレビジョン機能への係合などのような構成要素動作のいかなる態様も制御することができる。異なるＵＩが、これらの目的のために、１つ又は複数のスマートフォンアプリによって、又はリモートサーバからアクセスされるウェブインタフェースによってスマートフォンのスクリーンに提示されうる。

代替として、家庭用娯楽構成要素は、その秘密データを近くの光センサに伝達するために光ビーコンを送り出す前面パネルに可視ＬＥＤ又はＩＲ ＬＥＤを有することができる。

認証データを光伝達する利点のうちの１つは、それを、一般に、建物の外から使用することができない（ハッカーが、会社の駐車場に座って、ワイファイ（ＷｉＦｉ）で会社のネットワークに接続することと異なり）ことである。代わりに、透視線が、普通、必要とされる。しかし、時には、透視線の要求が障害となる。

そのような場合、スマートフォンはリレーとして働くことができる。例えば、家庭において、住宅所有者はスマートフォンカメラを使用して、変調光源から光送信された認証データ（例えば、ルータからの認証データに基づく）を一階で受け取ることができる。次に、住宅所有者は電話を階上に持って行きホームネットワークにログオンするのに認証データを必要とする別のデバイス（例えば、家庭用娯楽システム構成要素）に認証データを再び同報送信することができる。（例えば、電話は、復号化された認証データを階下に持って行き、それを光伝送のために再符号化し、次に、符号化済み信号に従って電話のＬＥＤトーチ（ＬＥＤ ｔｏｒｃｈ）を制御し、それによって、家庭の新しい場所から信号を再び同報送信することができる。）

セキュリティプロトコルが双方向であり、発信元のデバイス（例えば、ルータ）への情報の送り返しを家庭用娯楽システムに要求する場合、情報の送り返しはホームネットワーク上で行うことができる。代替として、プロセスを繰り返すことができる。家庭用娯楽システム構成要素は、情報を電話に送信することができる（例えば、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））又は光信号伝達によって）。この情報は電話で復号することができ、その情報を住宅所有者は階下に持って行くことができる。次に、電話は、ルータによる受信のために、復号したばかりのデータを再生する（例えば、光学的に）ように動作させることができる。

技術のいくつかの実装形態により、室内の多数の視聴者が、家庭電子構成要素又は他のデバイスを通じて制御を行うことができることを理解するであろう。一人の視聴者に任される単一の遠隔制御はもはや存在しない。

光センサは光信号の発生源に向けることができ、その信号にのみ反応することができる。しかし、無線ルータは多数の異なるデバイスと通信できるように、光受信機も同様にいくつかの異なる光データストリームをモニタすることができる。例えば、スマートフォンアプリはいくつかの異なる検出器に実装し、電話カメラによって収集される光情報はいくつかの異なる検出器に適用することができ、検出器の各々は、異なる検出方策に該当するか、又は異なる信号伝達プロトコルを探し求める。例えば、あるものは輝度ベース信号伝達を探すことができ、一方、他のものはクロミナンスベース信号伝達を探すことができる。あるものは振幅変調を探すことができ、他のものは位相変調を探すことができる。あるものは毎秒３０ビットのデータレートの信号を探すことができ、他のものは毎秒３００ビットのデータレートの信号を探すことができる。あるものはパルス幅変調を探すことができ、他のものはパルス位置変調を探すことができる。同じトランスポートプロトコル内でさえ、ソニー（Ｓｏｎｙ）アプリは、ペイロードがソニーデバイスを識別する信号を探すことができ、一方、サムスン（Ｓａｍｓｕｎｇ）アプリはその信号を無視し、代わりに、ペイロードがサムスンデバイスに対応する信号に応答する。

同様に、いくつかの異なる発光体からの感知された情報を使用して、いくつかの異なるデバイスとの認証されたセッションを確立することができる。例えば、光信号が受信され、いくつかのトランスポートストリームが復号され識別された後、スマートフォンの単一のアプリ又は様々なアプリは、異なる遠隔デバイスと暗号化通信を確立することができ、これらのリンクは、光照明が初めに感知された環境をユーザが去った場合を含めて、同時に維持することができる。すなわち、いくつかの実装形態は持続性認証セッションを設定し、持続性認証セッションは、それが確立された家庭（又はオフィス）をユーザが去った後、利用することができる。

したがって、単一のスマートフォンアプリ（又は多数のアプリ）は、頭上のライティング、ホームステレオシステムのＩＲ発光体、テレビジョンのスクリーンなどからの信号を受信することができる。これらの光源から受信した情報に基づいて、スマートフォンは、ワイファイ、ブルートゥース、及びジグビー（Ｚｉｇｂｅｅ（登録商標））無線リンクを確立し又は利用し、さらに、これらのリンクを使用して、ホームＨＶＡＣシステム、ホームセキュリティシステム、家庭電化製品、プリンタなどとの認証されたセッションを確立することができる。

本技術は、デバイス間で娯楽コンテンツ（歌、ビデオなど）を交換するのに使用することもできる。例えば、ユーザのスマートフォンは、家庭のライティングシステムによって同報送信されるパスワードデータを使用してホームワイファイネットワークにログインすることができる。家庭のＤＶＤプレーヤは映画を放映していることがあり、ユーザはスマートフォンにコピーを記憶したいことがある。

（光データ受信機としての電話カメラの詳しい情報）

スマートフォンカメラ及び大部分の他の画像センサは、一度に１フレームの像を捕捉すると考えられるが、多くは、実際には、連続する行単位で（又は、あまり普通ではないが、連続する画素単位で）光検出器データをサンプリングする。例えば、毎秒３０フレーム（ここで、各フレームは４８０行×６４０列である）を捕捉するスマートフォンカメラは、より正確には、毎秒１４４００行からの光検出器データをサンプリングすると考えることができる（各行は異なる時間間隔にわたって光を集める）。したがって、画像のすべての部分が同時に記録されるとは限らない。

さらに、次のフレームの準備をするためにいくつかの論理回路がリセットされる短い間隔が各フレーム読取りの端部に存在することがある。そのため、個々の行ごとの読取り期間は、１秒の１／１４４００ではなく、むしろ１秒の１／１５０００（すなわち６６．７マイクロ秒）であることがある。そのとき、４８０連続行を読み取るには合計で３２ミリ秒を要し、それに引き続いて、次のシーケンスの４８０行が読み取られる前に、１．３３ミリ秒の論理回路リセット間隔を要する。

特定の実装形態では、本技術は、行の６４０画素の値を平均化して、その行の出力値を生成する。引き続いての行の各々でも同じようにする。カメラが焦点を合わされていない場合、これらの出力値は、カメラが指している被写体に関する情報とそれほど強く相関しないことになり、その行のそれぞれのサンプリング間隔の間の周囲照明とより強く相関することになる。

カメラが低照度条件で毎秒３０フレームを捕捉している場合、各行は、３３．３ミリ秒のあり得る最大間隔の間露光されることがある（３０個のそのようなフレームが１秒で捕捉され、逐次処理が仮定されるので）。しかし、連続する行の露光間隔は、６６．７マイクロ秒（すなわち、０．０６６７ミリ秒）だけ連続的にずらされる。例えば、Ｒｏｗ２から読み取られる信号は、Ｒｏｗ１の露光間隔よりも６６．７マイクロ秒後に始まる露光間隔から生じる。Ｒｏｗ２の露光間隔は、同様に、Ｒｏｗ１の露光間隔よりも６６．７マイクロ秒後に終了する。Ｒｏｗ２の露光間隔のほとんどはＲｏｗ１のほとんどと重なるが、差が存在する。この差は、ある距離において２つの行の露光間隔が全く重ならなくなるまで行間の距離とともにより大きくなる。これにより、毎秒３０フレームを超えて周囲光視野のサンプリングが可能になる。

サンプルタイミングが図３Ａ及び３Ｂに示される。図３Ａは、どのように各行のサンプリング間隔の開始（及び終了）が前の行に対して６６．７マイクロ秒だけ遅れるかを示す。図３Ａの図示の行サンプリング間隔の各々は１０６７マイクロ秒である。（菱形形体は、動作の光感知／電荷蓄積フェーズと対立するものとして、センサ動作の読取りフェーズを示す。）

図３Ｂは、同様であるが、サンプリングされる前により短い間隔によってセンサに電荷を蓄積させる明るい照明の環境又は他の条件（例えば、電子ＩＳＯ設定）でどのようにサンプリング間隔を短くすることができるかを示す。図３Ｂの図示の行サンプリング間隔の各々は５３３マイクロ秒である。

図３Ｂの場合では、連続する行の間の重なりの間隔は、各行がより短い間隔の間露光されるので図３Ａよりも小さい。（図３Ａの連続する行の間の重なりは９３３マイクロ秒であるのに対して図３Ｂでは４００マイクロ秒である。）重なりのこのより短い間隔は、特定の瞬間の周囲ライティングの変化がより少ない数の行で表されることになることを意味する。例えば、図３Ａの走査の間にセンサに突き当たる光の閃光は、１６行（すなわち、行間に６６．７マイクロ秒の遅延がある場合、一度に露光される行の数）の出力信号に影響を及ぼすことになるが、図３Ｂでは８行のみである。

さらに、行サンプリング間隔が短いほど、周囲ライティングの所与の変化は目立つことになる。例えば、センサに突き当たる周囲照明が１００マイクロ秒の期間の間５％だけ増加する場合、それは、影響される行によって生成される出力信号に、図３Ａにおけるよりも図３Ｂにおいてより強くバイアスをかけることになり、それは、１００マイクロ秒が、図３Ａの１０６７マイクロ秒のサンプリング間隔よりも図３Ｂの５３３マイクロ秒のサンプリング間隔にとって長い断片であるからである。したがって、ライティングのそのような変化は、図３Ｂからの行平均データ出力において、図３Ａからの出力よりも高い信号対雑音比で現われることになる。

図４は、センサに突き当たる周囲光の例示的な変調を示す。ここで、各記号は立上がりエッジで始まり、短い正パルスの各々は「０」の信号を伝達し、長い正パルスの各々は「１」の信号を伝達する。短い正パルスは長い正パルスの持続期間の半分である。この例では、記号は、３．３３ミリ秒ごとに送信される（すなわち、３００ビット／秒）。短い正パルスの各々は立上がりエッジに続いて６６７マイクロ秒の持続期間を有し、長い正パルスの各々は１３３３マイクロ秒の持続期間を有する。

例証のために、光データ記号の立上がりエッジが、電話のカメラに突き当たる周囲光を５パーセントだけ増加させることを考える。各画素によって感知された光が８ビット（０〜２５５）に量子化され、周囲光が平均行画素に１００の出力信号を生成させる場合、周囲光が５％大きい間に全露光期間が起こるならば、そのような行は１０５の出力信号を生成することになる。

行からの平均出力信号への影響は、行の露光間隔の間で、いつデータ記号の立上がりエッジが生じたか依存することになる。立上がりエッジが生じたときにちょうど行の露光間隔が始まった場合、行の画素は露光の全持続期間の間増加した光にさらされ、それにより、行の出力信号が１０５まで増加することになる。立上がりエッジが生じたときに行の露光間隔がちょうど終了した場合、行の画素は光の増加が生じたときにちょうど電荷の収集を停止することになり、そこで、行出力は依然として１００であることになる。これらの両極端の間の行では、平均行画素出力値は１０５と１００との間にあることになる。

前述のことが図５で示される。ここで、水平の矢印は図３Ｂのものに対応するが、より多くの行が示される。図５は、さらに、その上部に沿って、水平の矢印と同じ時間スケールで図４の波形を示す。行の平均出力信号の数値も示される。（空白制約のために、１つおきの行のみの出力値が示されている。）右側の＋記号のプロットは、グラフ式に、各行による周囲光のサンプリングを示す。

見て分かるように、上部の行は、１００の平均画素出力値を有する。周囲照明が上部の波形の立上がりエッジにより増加すると平均出力信号は、照明の増加が行の露光間隔にますます影響を与えるので連続する行において１００から１０５まで徐々に増加する。それは、多くの行に対して１０５の値を保持する（すなわち、光データが周囲照明を増加させている間、露光間隔が全面的に生じているすべての行）。上部の波形の立下がりエッジが生じると、行の平均出力信号は減少して、１０５から１００に戻る。行は、次の立上がりエッジ（図５の行では特にとりたてて示されていない）まで１００の平均値を出力し続ける。したがって、矩形波光データ信号は、光信号の鋭い（高周波の）立上がり及び立下がり移行の代わりに緩やかな立上がり及び立下がり移行をもつ、１００の平均画素出力信号の上のローパスフィルタ処理された矩形波として行出力データに現れる。

光送信されるメッセージは、堅固な回復を可能にするために誤り訂正符号を使用して符号化されることが望ましい。例には、ビタビ（Ｖｉｔｅｒｂｉ）、ＢＣＨ、リードソロモン、畳込み及びターボ符号などが含まれる。そのような符号の冗長度のために、誤り訂正されたスループットデータは若干少なく、例示的な実施形態は、例えば、３００ビット／秒の基本となる未処理レート（ｒａｗ ｒａｔｅ）の代わりに、５、２０、又は１００ビット／秒の誤り訂正されたデータを伝達することができる。

周囲光がゆっくり時間変化する変調を導入する光源（例えば、テレビジョンスクリーンに提示される画像）を含む場合、ハイパスフィルタ処理を行平均化出力信号に適用して、そのような低周波効果を緩和することができる。代替として、自動利得制御モジュールは出力信号のこれらの遅い変化を補償することができ、それにより、光学的に伝達されるデータに起因するより速い変化をより容易に区別することができる。

次に、結果として生じる出力信号は、ＦＦＴなどによって周波数ドメインに変換されて、光変調の１又は複数の周波数を識別することができる。どの周波数（１又は複数）が検出されるに基づいて、ソフトウェアは、いくつかの候補変調プロトコルのうちのどれが存在するかを見分ける。次に、適切な復号化が続いて行われ、それは、同調フィルタの適用を含むことができる。明らかに使用されている符号化方式に応じて、復号化は誤り回復技法の適用を含むことができる。（ターボ符号化、ＢＣＨ符号化、及びリードソロモン符号化は誤り回復を可能にする技術の例である。）

（追加情報）

前に記したように、デバイスカメラは毎秒３０フレームで映像を捕捉することができるが、そのような像を使用して、これをはるかに上回るレートで光データを回復させることができ、それは、行（ライン）がフレームよりも非常に高いレートで捕捉されるからである。

より詳細には、光レベルは、ビデオカメラモードで操作された２Ｄカメラ画像を使用して１Ｄ信号（すなわち、ある期間にわたる光レベル）として捕捉される。１Ｄ信号は、ビデオカメラの行レートのサンプルレート（すなわち、フレームレート×フレーム当たりの行）で捕捉される。図５の例で示されているように、捕捉された信号の各行のサンプルは、カメラの開口時間により本質的にローパスフィルタ処理されており、いくつかのさらなる後処理から利益を得ることができる。

ＡＧＣをもつビデオカメラでは、より明るい画像は、開口時間を減少させ、回復された信号コンテンツの周波数応答を改善する（固有ローパスフィルタリング極（ｉｎｈｅｒｅｎｔ ｌｏｗ−ｐａｓｓ ｆｉｌｔｅｒｉｎｇ ｐｏｌｅ）が周波数において上昇する）ことになる。

さらに、カメラの空間分解能は、より高い時間分解能とトレードオフすることができる。これは、カメラの焦点をぼかすか、又は空の壁などの拡散性の又は単調な表面からの光源を捕捉することによって最良に達成される。

以下の議論は行走査をさらに考え、各行の露光は前の行に対してずらされる（時には、「巻上げシャッタ」と呼ばれる）。

（フォトン捕捉時間（開口時間）に基づく可変露光時間）

特定の実施形態では、画素の行がその行リセット信号が除去されたときに開始し、蓄積電荷データがその画素行から読み取られたときに終了する間隔の間、フォトンは個々の行の画素によって捕捉される。（画素のそのような個々の行の各々に対して、信号情報は、一般に、サンプリング期間の間入手できないが、フォトンは捕捉されている。代わりに、全蓄積フォトンの総和のみがサンプリング間隔の端部で入手できる。）

信号情報は、画像の下方に画素行ごとの変動を測定することによって見いだされ、それは、画素行が時間において間断なく捕捉されるからである。各行の信号レベルは、情景／画像の内容と光強度の変動（変調）の両方を含む。屋内映像では、光強度は、光レベルが電源の周波数で変化することに起因して室内ライティングから低周波数（５０／６０／１００／１２０Ｈｚ）で変調される。室内ライティングのフリッカ補償が、多くの場合、ビデオカメラに実装されて、この影響を緩和している。

この光変調は非常に高いレートに選ぶことができる。ビデオカメラのラインレートは、フレーム当たりのライン×フレームレートの程度である。

例えば、ＶＧＡでは、４８０ライン×１５ｆｐｓ＝７２００Ｈｚである。３０ｆｐｓで１０８０ラインをもつ高解像度（ＨＤ）映像では、ビデオカメラのライン周波数は３２４００Ｈｚである。

カメラ内部で、フォトン捕捉時間（開口時間）は、映像フレームレートの逆数（全フレームを読み取るのに要する時間）となる最長から、映像ラインレートの逆数（カメラセンサから読み取られる画素行ごとの期間）となる最短まで調整可能である。

Ｙ行の画素、ｔの画素行間サンプリングオフセット時間、及び行露光間隔Ｅをもつカメラでは、露光間隔は、ｔの所与の値に対して、Ｅ＝１からＥ＝Ｙに及ぶことができる。（普通でない場合に、例えば、読み取られるフレーム間に追加の露光時間があり、その期間の間フォトンを捕捉することができる場合、サンプリング期間がＥ＝Ｙを超えることがある。）

Ｅ＞１の場合、光時間周波数応答（ｏｐｔｉｃａｌ ｔｅｍｐｏｒａｌ ｆｒｅｑｕｅｎｃｙ ｒｅｓｐｏｎｓｅ）が低下し、その上、信号対雑音比（ＳＮＲ）が低下する。

最善の場合はＥ＝１のときである。この場合、サンプリング開口（その間フォトンが捕捉される）は時間において隣接しており、重ならない。これは、直截な逐次サンプリングであり、図６によって示される。光信号は、サンプル（すなわち、連続する行の平均画素値）から直接読み取ることができる。

Ｅ＝２は図７に示される状況に対応し、フォトンが捕捉される期間のサンプリング開口は、隣接する行のサンプリング開口期間と５０％重なる。

Ｅ＝３は図８に示される状況に対応し、各行のサンプリング開口は、隣接する行のサンプリング開口期間と６７％重なる。

大きい値のＥ（長い露光間隔）では、サンプリング開口期間が、隣接する行の開口期間とほとんど完全に重なる。これが図９に示される。

図９の行から入手できるデータは、Ａ−Ｄデータ変換の限定的な分解能のために、及びデータ信号の特定の瞬間のフォトンが、延ばされた露光期間の他のすべての光と一緒に蓄積されるために、図６〜８の行から入手できるＳＮＲよりもＳＮＲが劣っていることが認識されよう。

各行のすべての画素のデータは、時間ドメインのウィンドウからの蓄積光電子電荷を含むことも理解されよう。このサンプリングウィンドウは、フレームの下方に行ごとに時間においてｔだけ前進するスライディングウィンドウである。

信号回復を最適化するために、画像センサは、サンプリング開口を短くし、隣接する行との時間重なりを減少させるように構成することができる。

前に説明した図５の例では、記号期間（３．３３ミリ秒）はカメラフレーム期間（３３．３ミリ秒）よりも非常に小さいが、行露光間隔（５３３マイクロ秒）よりも非常に大きい。そのような場合の復号化は、上に論じたように比較的直截である。

さらに高いデータレートを使用することが可能であり、例えば、記号期間はまさに行露光間隔よりも小さい。例えば、記号期間は、２００マイクロ秒とすることができる（５０００ビット／秒の未処理ビットレートに対応する）。これが図１０Ａ及び１０Ｂに示される。

この実施形態では、各行は５００マイクロ秒の露光間隔を有する。図４と同じデータ信号が利用されているが、はるかに速い。記号は２００マイクロ秒ごとに生じる。「０」は４０マイクロ秒のパルス幅で表され、「１」は８０マイクロ秒のパルス幅で表される。

図１０Ｂは図１０Ａのサブセットに焦点を合わせており、光信号トレイン中の異なるパルスに文字を割り当てて、異なる行に行番号を割り当てている。

連続する各行は、前進している時間間隔に及ぶ。図示の行は時間ウィンドウとみなすことができ、各々は、右側に、サンプリングされたことがない光データの瞬間を包含する「先頭」部分を有する。逆に、各時間ウィンドウは、左側に「後置」部分を有し、「後置」部分の外に、多くの前の行によってサンプリングされた光データの瞬間が存在する。

特に、パルスＤを考える。Ｒｏｗ ３４０からの出力信号はパルスＤによって影響を受けない。Ｒｏｗ ３４０は、パルスＤが始まる前に電荷蓄積ウィンドウを開始し終了している。

対照的に、Ｒｏｗ ３４１の電荷蓄積期間は、パルスＤが発生する瞬間に及ぶ（しかし、パルスＤが終わる瞬間ではない）。それ故に、Ｒｏｗ ３４１からの出力信号は、パルスＤの光の一部を反映する。他の条件がすべて同じならば、Ｒｏｗ ３４１からの出力信号は、パルスＤからの光の一部を捕捉していることのためＲｏｗ ３４０からの出力信号よりもわずかに大きい。

Ｒｏｗ ３４２に関しては、パルスＤは終了している。Ｒｏｗ ３４２の電荷蓄積ウィンドウはパルスの全期間の間活性であったが、そのため、その光はＲｏｗ ３４２からの出力値に完全に反映される。

Ｒｏｗ ３４３〜３５２に対して同じことが言える。

Ｒｏｗ ３５３において、パルスＤはウィンドウの後置部分を落ち始める。すなわち、Ｒｏｗ ３５３の電荷蓄積期間は、パルスＤの中間の間に終了する。したがって、他のすべての条件が同じならば、Ｒｏｗ ３５３からの出力信号は、露光間隔が全パルスを捕捉しないのでＲｏｗ ３５２と比べて若干落ちることになる。

Ｒｏｗ ３５４はパルスＤによる信号を反映せず、パルスは、電荷蓄積間隔が始まる前に終了している。再び、Ｒｏｗ ３５４からの出力信号は、この理由でＲｏｗ ３５３からの出力信号よりも若干少ないことになる。

前述から、ある行の露光ウィンドウの先頭エッジへのパルスの参入は、１２行後の（センサのエッジの場合を無視する）別の行の露光ウィンドウの後置エッジからのそのパルスの退出に対応することが認識されよう。これらの事象は相関がある。ある行の露光ウィンドウへのパルスのすべての参入は、１２行後で、別の行の露光ウィンドウからのそのパルスの退出によって対応（ｍａｔｃｈ）される。パルスの参入に起因する前の行の出力信号の増加は、そのパルスの退出に起因する後の行からの出力信号の減少と相関する。

改変した相関検出器は、これらの相関事象を探すことができる。しかし、それは、同じタイプ（符号）の相関変化を探す代わりに、逆のタイプの相関変化を探す。ある行は値が増加し（その前のものと比較して）、１２行後の別の行は同様の量だけ値が減少する（その前のものと比較して）場合、これは、正パルスが前のサンプルウィンドウに参入し、後のサンプルウィンドウを退出していることを示している。

そのような構成によって、図１０ＢのパルスＡ、Ｂ、Ｃ、Ｄなどは、たとえ各行のサンプリング間隔がどのパルスよりも何倍も長くても検出することができる。

前述は改変した相関検出器を参照しているが、そのタスクは、同様に、逆畳込みのうちの１つと見ることができ、光パルストレインは、代わりに、逆畳込み原理によって回復することができることを当業者なら認識されよう。

検出は、より直截な相互相関又は自己相関に基づくこともできる。前者は、受信されると予想される記号に関する知見（例えば、図４における３．３３ミリ秒ごとの６６７マイクロ秒パルス又は１３３３マイクロ秒パルス、）を利用し、行データをそのようなパターンと相関させてそれらの発生を識別する。相関値が閾値を超えた場合、対応する記号が検出されたと判断する。

相互相関は、予想されるデータ信号のタイミングに関する先験的情報を必要としない（そのような情報を使用して利益をもたらすことができるけれども）。代わりに、行データのパターンがある期間にわたって自己相似性を調査され、反復性の記号の発生が見分けられる。再び、閾値メトリックが超えられる場合、検出された発生は所望のデータ信号と考えられる。特定の実施形態では、相互相関検出器の出力は、現在の信号が前の信号との相関の閾値量を超えているかどうかに応じて０と１との間で変動する。

例示的な実施形態は、ＬＥＤのオン及びオフを循環することによって光データを送信する（すなわち、１００％の振幅変調）。実際には、時には、知覚性を低減するために１００％未満で変調することが望ましい。（そのような高いデータレートのフリッカは、通常、知覚できないが、動き及び眼のサッカードにより、そのようなフリッカは知覚可能で、うるさく、アーチファクトになる。）

別の変調手法は、色チャネル（例えば、赤色／緑色／青色）間で色を差別的に変調することである。例えば、信号伝達光の輝度は一定にしておくが、データを伝達するために色組成を切り替えることができる。

簡単な例として、ＹＵＶ色空間において、赤色、緑色、及び青色の重み付け値を合計して、人間の眼によって知覚されるような「Ｙ」（輝度／明るさの尺度）を生成する。緑色は５９％重み付けされ、赤色は３０％重み付けされ、青色は１１％重み付けされる（すなわち、眼は青色よりも緑色に対してはるかに敏感である）。あるデータ状態（例えば、図４の信号のオフ状態）では、１．０の強度の緑色が使用され、０．５９の明瞭な輝度がもたらされる。別のデータ状態（例えば、図４の信号のオン状態）では、２．０の強度の赤色が使用され、０．６０の明瞭な輝度がもたらされる。これらの状態間の切替は、人間の観察者に対してネット輝度を本質的に不変のままにする。しかし、電話カメラは異なる画素で赤色、緑色、及び青色をサンプリングし、そこで、そのようなクロミナンス変調を行出力データから容易に検出することができる。

（実質的に一定の輝度レベルを維持するクロミナンス変調は多くのフリッカアーチファクトを避けるが、いくつかの移動物体は虹色エッジを発現することがある。）

図４に示したパルス幅変調は例示であり、他の多くの形態の変調を利用することができることが理解されよう。これらには、パルス振幅変調（ＰＡＭ）、パルス位置変調（ＰＰＭ）などが含まれる。符号化の形態は、同様に、設計者の選択肢であり、ＮＲＺ、マンチェスタ符号化、ＰＳＫ、ＦＳＫ、ＱＡＭなど（単色又は２色光源）を含むことができる。

前述のものの変形及び組合せを使用することもできる。例えば、光データ送信源（例えばＬＥＤ）は、その出力を、簡単な２レベル切替の代わりに、パルス期間当たり多数のレベル、例えば、光の２５６レベルのうちの１つに符号化することができ、それによって、より大きいデータレートが可能になる。これは、多色チャネルデータ送信と組み合わせることができ、さらに大きいデータレートを可能にする。

前に記したように、自動利得制御（ＡＧＣ）は、情景の明るさに従って、行露光間隔を変動させることができる。ＡＧＣによる露光間隔の変動はソフトウェアで感知することができ、所望であれば、対応する補正を行出力データに適用して、そのような変化を打ち消すことができる。

現在の大量市場向けスマートフォンに直ちに適してはいないが、時間符号化開口技法は、例えば、背景像の影響を緩和するためにいくつかの実施形態で使用することができる。（既存のカメラセンサは、一般に、行画素へのリセット信号を無効にすることによって開口を開け、次に、行の画素データをサンプリングして、例えば、出力ＣＣＤバケットブリゲードチェーンに入れることによって開口を閉じる。）

時間符号化開口を実装する１つの方法は、記憶キャパシタへの切替を介して各フォトダイオードを結合させることによるものである。各フォトダイオードは、さらに、リセット／クランプトランジスタに結合され、セット／クランプトランジスタはダイオード及びキャパシタが切断されるときに電荷がダイオードに蓄積されないようにする。キャパシタは、従来の設計と同様な方法でバッファ（例えば、ソースホロワトランジスタ）を使用して読み取られる。露光時間の間、フォトダイオード及びキャパシタに接続及び切断し、同時にダイオードをリセットレールにアンクランプ／クランプすることによって、開口はオン及びオフに切り替えられる。したがって、電荷は、行公称露光間隔中の孤立した期間の間のみ蓄積される。電荷が蓄積された後、画素行は通常通り読み取られる。次に、トランジスタは両方ともフォトダイオード及びキャパシタの両方をリセットすることができる。

そのような開口符号化変調は、フレーム全体に、同時に又は行単位で、各行の露光開口に個別に同期された変調パターンを用いて行うことができる。

別の手法（再び、既存のカメラと比較して改変したハードウェアを必要する）は、多数の異なる瞬間に、中間でリセットすることなしに、画素の各々からデータを読み取ることである。そのような構成のタイミング図が図１１に示される。（行は、リセット信号がハイとなるときにリセットする。）

ハードウェア制約に応じて、２つの行を同時に読み取る必要がない読取りパターンを選択することが望ましいことがある。行公称サンプリング間隔内の読取りパターンは非周期的であることが望ましい。すなわち、それは、互いに自動相関する要素を有していない。

図１１の実施形態では、画素データが１行当たり多数回読み取られて符号化開口が達成されるので、十分な行読取り期間をサポートするために、より遅い全体フレームレートを必要とすることがある。

（行は、各「符号化」サンプリング／読取りの間にリセットすることができるが、全リセットに必要とされる時間が意図した動作を妨害するほどの長さとなることがある。）

そのような符号化開口手法は図１０Ａ／１０Ｂの構成に基礎を置くことが認識されよう。図１０Ａ／１０Ｂにおいて、信号は、本質的に、行の露光間隔への参入と、それからの退出とによって検出された。すなわち、ウィンドウの２つのフィーチャ（ｆｅａｔｕｒｅ）のみがデータ記号を検出するのに有用である。時間符号化開口手法では、対照的に、データ記号を検出するのに活用することができる多数のそのようなフィーチャ、すなわち、各々列状の読取りサンプルが存在する。

（単色センサによる色画像作成）

本技術の別の態様によれば、色画像作成が単色センサで達成される。

１つのそのような実施形態では、異なる色のＬＥＤ（又は他の光源、例えばレーザ）が、異なるセンサ行の露光間隔と同調して連続的に動作される（例えば、視空間を照明するために閃光が発せられる）。

例えば、行の露光間隔の間に時間的重なりがない（例えば、図６に示すような）場合、行１、４、７などを赤色照明の下で露光することができ、行２、５、８などを緑色照明の下で露光することができ、行３、６、９などを青色照明の下で露光することができる。次のフレームでは、行１などを赤色などで露光することができ、次に続くフレームでは、行１などを青色で露光することができる。このサイクルを繰り返すことができる。

行露光期間の間に時間的重なりがある場合、対応する調整を行うことができる。例えば、図８に示した行重なり状況では、行１は赤色照明の下で露光することができる、行４は緑色照明の下で露光することができる、行７は青色照明の下で露光することができる、などである。（行２はほとんど赤色で及び部分的に緑色で露光され、行３は部分的に赤色で及びほとんど緑色で露光される。同様に、行５は大部分は緑色で及び部分的に青色で露光され、行６は部分的に緑色で大部分は青色で露光されるなどである。）

他の構成では、同じ色照明がいくつかの連続する行で維持される。例えば、図６において、赤色照明を行１〜４に使用し、次に、緑色照明を行５〜８に使用し、次に、青色照明を行９〜１２に使用することができ、そのようにパターンを繰り返す。

さらなる他の実施形態では、２つの色の照明（例えば、赤色及び緑色）のみが１つのフレームを露光する際に交互に利用され、異なる対の色（例えば、赤色及び青色）が引き続いてのフレームで使用され、第３の対の色（例えば、緑色及び青色）が次に続くフレームで使用される。

さらなる他の構成では、１つ又は複数の全部のフレームを赤色照明の下でサンプリングし、それに続いて、１つ又は複数の全部のフレームを緑色照明の下でサンプリングし、それに続いて、１つ又は複数の全部のフレームを青色照明の下でサンプリングすることができる。

追加の変形が図１２Ａ〜１２Ｅで詳述される。これらのすべては、赤色照明の期間と緑色照明の期間とが交互に生じる。図１２Ｅでは、赤色と緑色とが重なる。

図１２Ａは、連続する多数の行が同じ照明の下で露光されることを示す。

図１２Ｂは、行露光が重なることがあり、いくつかの行が２つの連続する照明色に及ぶことを示す。ここで、第１列は赤色照明のみを受け取る、行２は赤色＋緑色を受け取る、などである。第１列の赤色の積分された量は第２の行の量の２倍であり、そこで、２Ｒの値を有する。（第２列は値Ｒ＋Ｇを有する。）

これらのタイプのパターンは、図１２Ｃ及び１２Ｄに示すように、画像全体にわたりライン当たりのいくつかのＲ＋Ｇ露光の違いを保持するように拡張することができる。

空間的（及び時間的）分離が少ない変動は、空間色分解能のトレードオフを伴って、＋／−１を超える赤色／緑色変調を有しうる。（低い空間色分解能は、例えば、低密度色空間透かしでは許容されうる。）同じことが図１２Ｄに示される。

図１２Ｅでは、赤色と緑色とが重なる。

上述の構成のすべてにおいて、第３の色又はさらなる他の色を含むことができるように、白色光を照明シーケンスに含むことができる。

次に、前述のライティング環境で単色センサによって生成されたデータを処理して、画像の画素ごとの色情報を編集し、いくつかの実装形態ではフルカラー像をもたらすことができる。

（前述の実施形態のいくつかは、ＣＩＳ ＣＭＯＳ／ＣＣＤ画像センサを使用するフラットベッドスキャナのＲＧＢ ＬＥＤライティングと似通っていることが認識されよう。）

光の色の制御は、カメラドライバからの信号に基づいて（又は補足論理回路がカメラ制御信号をタップオフすることによって）達成することができる。

前述の構成の光源は、赤色、緑色、及び青色である必要がなく、それらは、例えば、以下のようにすることができる。
・白色／白色＋色、普通の照明と特定の色の強調とのため、
・色１／色１＋色２、
・色１／色２、
・グループの又は順繰りの多数の異なる色、ＩＲ、ＮＩＲ、Ｒ、Ｇ、Ｙ、Ｂ、Ｖ、ＵＶ、
・色ＬＥＤにおける微細な変動（例えば、５２０ｎｍ及び５２５ｎｍ）、
・ＲＧＢベースの色調整可能な室内ライティングのための室内照明色相変調、
・個別に変調されたＲ、Ｇ，Ｂ（例えば、わずかな時間ベース変調から１００％の振幅変調まで）。

多数の光源を利用する実施形態では、ある色チャネルはクロック信号（例えば、検出器同期のための）として働くことができ、別の色チャネルは同期データチャネルとして働くことができる。

そのような構成によって、安価で単色の（アクロマティック）ＣＣＤ／ＣＭＯＳカメラを、スペクトル観察及びフルカラー画像作成で使用することができる。そのような技術の多くの用途のうちの１つは、例えば、クロミナンス情報に埋め込まれているデジタル透かしデータを読み取るときのものである。（同じことが、米国特許出願公開第２０１００１５０４３４号に教示されている。）

特定の実装形態では、携帯デバイス（例えば、スマートフォン）は、デバイスカメラによって捕捉される情景を照明するためにデバイス「トーチ」として制御可能に動作することができる多色ＬＥＤを有する。そのような一体化は、照明とデータ捕捉との間の調整を簡単にする。

（他のコメント）

様々な例を参照して本発明の作用の原理を説明及び例示したが、本技術はこれに限らないことを認識されたい。

例えば、詳述した実施形態は発光ダイオードベース光源を利用しているが、これは必須ではない。例えば、プロジェクタ（例えば、ＤＬＰプロジェクタ）は、時には、レーザ光源（それはＬＥＤベースでなくてもよい）を利用している。タングステン及び他の白熱光源を使用することもできる。いくつかの実装形態では、輝度又はクロミナンス出力を変化させるために、電子シャッタ又は他の光電子変調器を静的光源と組み合わせて使用することができる。

同様に、いくつかの実施形態はデバイス間の暗号秘密（例えば、ネットワークパスワード）の伝達に焦点を合わせているが、他の情報を追加として又は代替として伝達することができる。あるものはネットワークログインを容易にするためのＳＳＩＤ識別子である。別のものはデバイス通信の他のパラメータを識別するデータである。例えば、ホームサーモスタットは、それ自体のＰＩＮ符号を伝達し、さらにそれがブルートゥースを使用して通信するように装備されていることを明記することができる。本質的に、本明細書で詳述する技術を使用して、いかなるデジタルデータも電話に光学的に伝達することができる（オプションとして、別の伝送媒体を使用して、別の行き先に電話で送られる）。

デバイス１０によって出力される光制御信号は様々な手段で発光体に伝達することができる。物理的配線を当然使用することができる。しかし、発光体をもつデバイスに（又は発光体をもつデバイスに連結されているデバイスに）出力情報を無線で同様に伝達することもできる。

無線ネットワーキングは、現在既知であるか又は今後開発される任意の種類のものとすることができる。言及したワイファイ、ブルートゥース、及びジグビー技術はごくわずかな現在の例である。

いくつかの実施形態では、秘密は、画像又は映像に適用される透かしのペイロードで伝達することができる。いくつかのそのような場合、焦点を合わせたカメラを使用して画像データを収集し、画像データから透かしペイロードを回復することができる。例示的な透かし入れ技法は、特許文献の米国特許第６，５９０，９９６号、米国特許第６，８６５，５８９号、米国特許第７，９９６，６７８号、米国特許出願公開第２０１００１５０４３４号、米国特許出願公開第２００９０２２００７０号、及び米国特許出願公開第２００６０１３３６号に教示されており、他のものはその前に述べられている。

本技術は、秘密データを伝達する印刷されたバーコード又はデジタル透かしラベルを使用することによって、発光体を有していないシステムに適応することができる。

訪問者がホームネットワーク及びオフィスネットワークに容易にログインできるようにする実施形態に言及したが、従来の技術を使用することによりそのようなネットワーク上の異なるユーザに異なる権限を与えることができることが理解されよう。例えば、家庭への来客は映画の再生を停止するためにテレビジョンと対話することができるが、プログラム記録動作を変更すること、又はネットワークを再構成することはできない。

本技術の実装形態によって伝達される秘密データは静的である必要はない。異なるデバイスは、時が経つにつれて、例えば、毎時、毎日、毎月変更されるパスワード又は他の秘密を利用することができる。共働するデバイスが最新のパスワードを受信していない限り、保護されたデバイスとの対話が防止される。

本明細書における「光（ｌｉｇｈｔ）」及び「光（ｏｐｔｉｃａｌ）」などへの言及は、遠赤外からそれより短い（すなわち、１ｍｍ未満の）波長を有する電磁放射を指すことを当業者は理解されたい。この範囲は可視光範囲（すなわち、約３９０〜７５０ｎｍ）を含む。

詳述した実施形態では、電話は一度に単一の行の画素データのみを読み取ることができることが意図されていたが、他の実施形態では、並列アーキテクチャを利用することができ、それにより、多数の行が同時に又は重なっている時間で読み取られるようになる。本技術の原理はそのような実施形態に適応することができることが認識されよう。フレームの２つ以上の異なる部分が時間の異なる瞬間の間に光を収集している限り、そのような差を活用して、映像フレームレートよりも大きいデータレートを有する光情報を抽出することができる（単色の実装形態において）。

輝度を実質的に一定の値で維持する（その一方、クロミナンスを切り替える）実施形態を上述で言及した。「実質的に一定の」の範囲は用途に依存する。いくつかの実施形態では、５０％以下の輝度の変動を「実質的に一定の」と考えることができる。他の実施形態では、２０％、５％、又は２％未満の変動を利用することができる。

本明細書で提供されるデータレート情報（例えば、フレームレート又は行レートを上回るデータレート）は、グレースケール又は単色の像に基づく。これらのレートは、データの一部を赤色チャネルで、一部を緑色で、及び一部を青色で送ることによって２倍又は３倍にすることができる。スマートフォン画像センサは、一般に、色フィルタアレイ（例えば、ベイヤー（Ｂａｙｅｒ））又はフォビオン（Ｆｏｖｅｏｎ）技術などを使用する色画像センサを有する。（前者の場合、各行は２つの色の画素、すなわち、赤色／緑色又は青色／緑色の画素を有する。）赤色画素からのデータを処理して、赤色クロミナンスチャンネルで送られたデータを回復することができ、緑色及び青色についても同様である。したがって、ある実施形態では、毎秒６０又は９０個の記号を上回るデータレートを達成することができ（毎秒３０フレームで動作するカメラを使用して）、他の実施形態では、毎秒２８８００又は４３２００個の記号を上回るレートを達成することができる（毎秒４８０行で動作するカメラを使用して）。

詳述した技術の別の用途は科学捜査にある。ＬＥＤ又は他のライティングを使用して、特定の場所及び／又は時間を指し示す光学指紋（例えば、ユニークキー）として働く時間的光パターンで環境を照明することができる。このライティング下で撮られた映像（又は静止画）は、この指紋パターンをはっきり示し、それにより、像が捕捉された場所及び時間を見分けることができる。これは、例えば、安全な設備の内部からの流出映像を追跡する際に有用である。

時には、電話のカメラサブシステムの動作に関する情報は容易には入手できない。そのような場合、電話のカメラサブシステムを分解工学することができる。例えば、連続する映像フレームの捕捉の間のデッドタイムは、出力ビデオファイル情報と、又はカメラのデバイスドライバ若しくはオペレーティングシステムからのタイミング情報と見分けることができる。

上述の実施形態のうちのいくつかに関しての詳述した機能は、例えば、スマートフォンのアプリソフトウェアによって実現することができ、他の実施形態では、そのような機能は、例えば、スマートフォンのオペレーティングシステムモジュール、リモートコンピュータで実行する符号などによって別の方法で行うことができる。

いくつかのデジタルカメラ及びカメラアプリは、明瞭な顔が画像フレームで見分けられたときユーザに注意を喚起する（多くの場合、境界ボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）などのグラフィカルな印でそれを目立たせて）「顔検出」機構を有するのと全く同じように、本技術の実施形態も同様に「データ検出」機構を有することができる。そのような機構は、カメラによって感知されたライティングがシリアルデジタルデータを伝達しているように見えるとユーザに注意を喚起すことができる。ユーザインタフェースは、画像フレームの１つ又は複数の領域をグラフィック的に目立たせることができ、そのようなデータが特に感知され（例えば、画像フレーム内の検出データの空間ＳＮＲマップに基づいて）、その結果、ユーザはそのような方向にカメラを向けることができる。ユーザ命令に応答して又は自動的にのいずれかで、カメラは焦点を変更して、データ信号の検出を最適化する（例えば、空間分解能よりも良好な時間分解能を与えるために視野内の対象物の焦点をぼかす）ことができる。

変形した実施形態では、デバイスユーザインタフェースは、そのようなデータを検出することが困難であるか又は不可能である画像フレームの１つ又は複数の領域を指し示すことができ、その結果、ユーザはそのような方向から離れたところにカメラを向けることができる。

前述の開示はスマートフォンベースの実施形態に焦点を合わせていたが、この技術はあらゆる種類のデバイス（携帯及び固定の両方）に有用であることが認識されよう。

特に意図しているスマートフォンには、アップル アイフォン（Ａｐｐｌｅ ｉＰｈｏｎｅ） ５、及びグーグル（Ｇｏｏｇｌｅ）のアンドロイド（Ａｎｄｒｏｉｄ（登録商標））仕様に従ったスマートフォン（例えば、ＨＴＣ Ｃｏｒｐ．によって製造されたベライゾンドロイドエリスフォン（Ｖｅｒｉｚｏｎ Ｄｒｏｉｄ Ｅｒｉｓ ｐｈｏｎｅ）、及びモトローラドロイド３フォン（Ｍｏｔｏｒｏｌａ Ｄｒｏｉｄ ３ ｐｈｏｎｅ）が含まれる。

（タッチインタフェースを含むアイフォンの詳細は、アップルの公表された米国特許出願公開第２００８０１７４５７０号に提供されている。）

本開示で参照したスマートフォン及び他のデバイスの設計は、当業者にはよく知られている。各々は、普通、１つ又は複数のプロセッサ、１つ又は複数のメモリ（例えば、ＲＡＭ）、記憶装置（例えば、ディスク又はフラッシュメモリ）、ユーザインタフェース（それは、グラフィカルユーザインタフェースを備えるためのソフトウェア命令と一緒に、例えば、キーパッド、ＴＦＴ ＬＣＤ又はＯＬＥＤディスプレイスクリーン、タッチ又は他のジェスチャセンサ、カメラ又は他の光センサ、コンパスセンサ、３Ｄ磁力計、３軸加速度計、３軸ジャイロスコープ、１つ又は複数のマイクロホンなどを含むことができる）、これらの要素間の相互接続（例えば、バス）、及び他のデバイスと通信するためのインタフェース（それは、ＧＳＭ（登録商標）、ＣＤＭＡ、Ｗ−ＣＤＭＡ、ＣＤＭＡ２０００、ＴＤＭＡ、ＥＶ−ＤＯ、ＨＳＤＰＡ、ワイファイ、ワイマックス（ＷｉＭａｘ）、ジグビー、又はブルートゥースなどの無線、及び／又は、例えば、インターネットを利用している、イーサネット（Ｅｔｈｅｒｎｅｔ）（登録商標）ローカルエリアネットワーク、Ｔ−１インターネット接続などによる有線とすることができる）を含む。

例示的なスマートフォンのブロック図が図１３に示される。この図において、モジュールは、光データ復号化のために別個に特定されている。ソフトウェア、ハードウェア、又は組合せで実装することができるこのモジュールは、前に詳述した動作を行って、スマートフォンカメラによって出力された行データからデータストリームを回復する。

本明細書で詳述するプロセス及び構成は、マイクロプロセッサ（例えば、アトム（Ａｔｏｍ）及びＡ５）、グラフィック処理装置（エヌビディア テグラ（ｎＶｉｄｉａ Ｔｅｇｒａ） ＡＰＸ ２６００などのＧＰＵ）、及びデジタル信号プロセッサ（例えば、テキサスインスツルメンツ（Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ） ＴＭＳ３２０シリーズデバイス）など含む様々なプログラマブルプロセッサのための汎用プロセッサ命令を含むコンピューティングデバイスの命令として実装することができる。これらの命令は、ソフトウェア、ファームウェアなどとして実装することができる。これらの命令は、さらに、デジタル、アナログ、及び混合アナログ／デジタル回路を含む、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ、フィールドプログラマブルオブジェクトアレイ、及び特定用途向け回路を含む様々な形態のプロセッサ回路で実装することができる。命令の実行は、プロセッサ間に分配することができ、及び／又はデバイス内のプロセッサを介して又はデバイスのネットワークを介して並列に行うことができる。データの処理は、さらに、異なるプロセッサ及びメモリデバイスの間に分配することができる。「クラウド」コンピューティングリソースを同様に使用することができる。「プロセッサ」、「モジュール」、又は「構成要素」への言及は、特定の形態の実装形態を必要とするのではなく、機能を参照していると理解されたい。

詳述した機能を実装するためのソフトウェア命令は、必要以上の実験なしに、本明細書で提供される説明から当業者が書くことができ、例えば、Ｃ、Ｃ＋＋、ビジュアルベーシック（Ｖｉｓｕａｌ Ｂａｓｉｃ）、ジャバ（Ｊａｖａ（登録商標））、ペイトン（Ｐｙｔｈｏｎ）、テル（Ｔｅｌ）、パール（Ｐｅｒｌ）、スキーム（Ｓｃｈｅｍｅ）、ルビー（Ｒｕｂｙ）などで書かれる。本技術のいくつかの実装形態による電話及び他のデバイスは、異なる機能及び作用を行うためのソフトウェアモジュールを含むことができる。

既知のブラウザソフトウェア、通信ソフトウェア、及びメディア処理ソフトウェアは、本明細書で詳述した使用法の多くに適応することができる。

特徴及び構成がいくつかの場合には個別に説明されているが、出願人は、それらが一緒に使用されることも意図している。逆に、いくつかのシステムは多数の特徴を含むように詳述されているが、出願人は、他の実施形態ではそれらの個々の特徴が独立して使用可能であると考える。

同様に、本開示は作用の特定の順序及び要素の特定の組合せを詳述したが、他の考えられる方法は作用を再度順序付ける（多分、あるものを省略し、他のものを追加する）ことができる、他の考えられる組合せはいくつかの要素を省略し、他の要素を追加することができる、などであることが認識されよう。

同様に、異なる実施形態の態様は容易に変更し取り替えることができる。

完結した方法として開示されているが、詳述した構成のサブ組合せも別個に考えられる。

同様に、方法として詳述されているが、本技術は、方法の作用を行うためのシステムと、方法を行うようにハードウェアを構成するためのソフトウェア命令を含むコンピュータ可読媒体とを含むことが認識されよう。

２０１１年１１月１７日に出願された譲受人の米国特許出願第１３／２９９，１４０号（現在、米国特許出願公開第２０１２０２０８５９２号として公開された）は、上記のジェンネット ＩＰ６システムを使用してＬＥＤベース周囲ライティングによりデータを伝達することと、スマートフォンデバイスによってそのようなデータを受信することとをさらに詳述している。その特許出願は、本技術を組み合わせることができる様々な他の新規のスマートフォン対話技法も詳述している（米国特許出願公開第２０１１０２１２７１７号及び米国特許出願公開第２０１１０１６１０７６号にも同様に詳述されている。）

米国特許出願公開第２００９０１２９７８２号は、データがＬＥＤライティングによって伝達されるオフィスネットワークを示している。

米国特許出願公開第２０１００２６１４６５号は、どのようにスマートフォンが、サーモスタット、駐車メーター、及び他のデバイスと無線通信を確立し、それを、スマートフォンＵＩを介して、スマートフォンカメラの使用により制御することができるかを詳述している。

巻上げシャッタ及び関連する技術に関する他の特許文献は、米国特許第７，２２３，９５６号、米国特許第８，１５０，２５５号、米国特許第８，２７９，１３８号、米国特許第８，３３４，８９８号、及び米国特許出願公開第２０１００１７１８７５号を含む。

暗号鍵伝達のために上述の光技術を利用する実装形態は、音響ベース手法に勝る様々な利点を提供することが認識されよう。１つの点では、これは、光雑音から見れば家庭及びオフィスが比較的静かであるということによる。周囲照明は、通常、振幅及びスペクトル特性が一定である。少しの雑音スパー（ｎｏｉｓｅ ｓｐｕｒ）（例えば、いくつかのランプの５０／６０Ｈｚの電気的励振、他のランプのより高い周波数の励振、及びいくつかのディスプレイのスクリーンリフレッシングに起因する）を、容易に見分け、所望であれば適応的にフィルタ処理することができる。

再吟味すると、本技術によって包含される新規な構成のうちのいくつかは以下を含む。

ネットワークインタフェース、プロセッサ、及びメモリを含む第１のネットワークデバイス、ここで、メモリは、第２のネットワークデバイスとのネットワーキングを可能にする秘密データを記憶し、デバイスは、秘密データが放出のために光信号として伝達される出力部をさらに含む。この出力部は、発光体を含む別個のデバイスに結合するように構成することができる。

デバイスのメモリから秘密データを読み取ることと、このデータを放出のために光信号として出力することとを含む、第１の無線デバイスで実行される方法。そのような方法は、データの光放出の結果として、第１の無線デバイスと第２の無線デバイスとの間に安全な無線接続を確立することをさらに含むことができる。それは、出力データに従って光源を制御する（例えば、クロミナンス又は明るさに関して）ことをさらに含むことができる。この光源は、建物照明のためのＬＥＤベースシステム、又は人が見るための像を同時に提示している電子ディスプレイデバイスを含む様々なタイプのものとすることができる。

別の方法は、被写体に向けられたスマートフォンカメラを必要とし、ここで、焦点は、被写体に焦点を合わさないように設定される。カメラで捕捉されたデータを処理して、暗号鍵が引き出され、暗号鍵は、次に、安全な無線トランザクションで遠隔デバイスを結合させるのに使用される。

さらなる方法は、毎秒Ｎフレームの像を捕捉するスマートフォンビデオカメラデバイスを利用する（ここで、各フレームは画素データの複数の行を含む）。この方法は、画素データの行を処理して（例えば、平均化して）、時間変化する出力信号を生み出すことと、次に、毎秒Ｎ個を超える記号を伝達するデータ信号とこの出力信号とを見分けることとを含む。このデータ信号を暗号プロトコルで使用して、ネットワーク上の２つのデバイス間に安全なセッションを確立することができる。

そのような方法を、行ごとに２つ又は３つの異なる色の画素で別々に実践して、そのようなデータレートを効率的に２倍又は３倍にすることができる。

スマートフォンカメラセンサは、毎秒Ｍ行の像を出力することができる。そのような行データを処理して、毎秒Ｍ個を超える記号を伝達するデータ信号を見分けることができる。（再び、そのようなデータレートを２倍又は３倍にすることが、異なるクロミナンスチャンネルを使用することによって達成されうる。）

光信号伝達の関連方法は、画素の行が巻上げシャッタ様式で操作される（すなわち、捕捉された画像のすべての部分が同時に記録されるとは限らない）携帯デバイスカメラを使用する。カメラは、毎秒Ｎフレームでビデオモードで像のフレームを捕捉し、捕捉された行を処理して、毎秒Ｎ個を超える記号のデータレートを有する光データ信号を抽出する。特定のそのような実施形態では、カメラは、毎秒Ｍ行で像の行を捕捉し、抽出された光データ信号は、毎秒Ｍ個を超える記号のデータレートを有する（例えば、毎秒２Ｍ記号、又はそれ以上）。再び、抽出された光データ信号を鍵データとして使用して、ネットワーク上の２つのデバイス間に認証されたセッションを確立することができる。

さらなる方法は、情報出力中のシリアル光データを携帯デバイスのカメラで感知することを必要とする。この方法は、カメラの視野内の１つ又は複数の特定の領域を、そのような領域（１又は複数）のシリアル光データの検出能に基づいて見分けることをさらに含む。次に、そのような領域（１又は複数）がデバイスのディスプレイで識別され、その結果、そのような情報に基づいてユーザは携帯デバイスの向きを再度定めることができる。

さらなる別の方法は、情報出力中のシリアル光データを携帯デバイスのカメラで感知することと、次に、カメラの焦点を変更して、感知されるシリアル光データの信号対雑音比を改善することとを含む。この焦点の変更は、人間の操作による制御の下でではなく、そのような作用を行うように構成されたプロセッサによって引き受けられることが望ましい。

この技術は、カメラと複数の異なる色の光源とを有する携帯デバイス、並びにプロセッサ及びメモリをさらに含む。メモリは、フレーム中の像の異なる行を露光している間に光源のうちの異なるものを動作させるようにデバイスを構成するソフトウェア命令を含む。次に、像の結果として生じる行を処理して、色画素情報を引き出す。

包括的な開示を提供するために、簡明に関する法的要件を遵守しながら、出願人は、本明細書で参照した文献の各々を参照により組み込んでいる（そのような資料は、それらの教示の細部に関連して上述で引用されている場合でさえ、それらの全体が組み込まれる）これらの参考文献は、本明細書で詳述した構成に組み込むことができる技術及び教示を開示しており、それらに本明細書で詳述した技術及び教示を組み込むことができる。読者は、そのような先行する成果に精通していると推定される。

上に論じた原理及び特徴を適用することができる多岐にわたる実施形態に鑑みて、詳述した実施形態は単に例示であり、本発明の範囲の限定するものと解釈されるべきでないことは明らかなはずである。むしろ、発明者は、以下の特許請求の範囲及びその均等物の範囲及び趣旨内にあるようなすべての改変を本発明として主張する。

Claims (24)

1. 毎秒Ｎフレームの像を捕捉するスマートフォンビデオカメラデバイスを利用する方法であって、各フレームが画素データの複数の行を含み、前記方法が、
   画素データの行を処理して、時間変化する出力信号を生み出すステップと、
   毎秒Ｎ個を超える記号を伝達するデータ信号と前記出力信号とを見分けるステップと
   を含む、方法。
2. 前記データ信号によって伝達された情報を使用して、ネットワーク上の２つのデバイス間に安全な無線接続を確立するステップを含む、請求項１に記載の方法。
3. 第１の色の画素データの行を処理して、第１の時間変化する出力信号を生み出すステップと、
   第２の色の画素データの行を処理して、第２の時間変化する出力信号を生み出すステップと、
   毎秒２Ｎ個を超える記号を伝達するデータ信号と前記出力信号とを見分けるステップと
   を含む、請求項１に記載の方法。
4. 第３の色の画素データの行を処理して、第３の時間変化する出力信号を生み出すステップと、毎秒３Ｎ個を超える記号を伝達するデータ信号と前記出力信号とを見分けるステップとをさらに含む、請求項３に記載の方法。
5. 前記カメラが毎秒Ｍ行で像の行を捕捉し、前記方法が、毎秒Ｍ個を超える記号を伝達するデータ信号と前記出力信号とを見分けるステップを含む、請求項１に記載の方法。
6. 第１の色の画素データの行を処理して、第１の時間変化する出力信号を生み出すステップと、
   第２の色の画素データの行を処理して、第２の時間変化する出力信号を生み出すステップと、
   第３の色の画素データの行を処理して、第３の時間変化する出力信号を生み出すステップと、
   毎秒３Ｍ個を超える記号を伝達するデータ信号と前記出力信号とを見分けるステップと
   を含む、請求項５に記載の方法。
7. 巻上げシャッタ様式で操作される画素の行を含む携帯デバイスカメラを使用して光信号伝達する方法であって、捕捉される画像のすべての部分が同時に記録されるとは限らず、前記カメラが毎秒Ｎフレームでビデオモードで像のフレームを捕捉し、前記方法が、前記捕捉されたフレームの行データを処理して、毎秒Ｎ個を超える記号のデータレートを有する光データ信号を抽出するステップを含む、方法。
8. 前記カメラが毎秒Ｍ行で像の行を捕捉し、前記方法が、前記行データを処理して、毎秒Ｍ個を超える記号のデータレートを有する光データ信号を抽出するステップを含む、請求項７に記載の方法。
9. 前記行データを処理して、毎秒２Ｍ個を超える記号のレートを有する光データ信号を抽出するステップを含む、請求項８に記載の方法。
10. 情報出力中のシリアル光データを携帯デバイスのカメラで感知するステップと、
    前記カメラの視野内の１つ又は複数の特定の領域を、そのような領域の前記シリアル光データの検出能に基づいて見分けるステップと、
    前記デバイスのディスプレイで前記１つ又は複数の領域を識別し、その結果、それに基づいてユーザが前記携帯デバイスの向きを再度定めることができるステップと
    を含む方法。
11. 情報出力中のシリアル光データを携帯デバイスのカメラで感知するステップと、
    前記カメラの焦点を変更して、前記感知されるシリアル光データの信号対雑音比を改善するステップと
    を含む方法であって、
    前記焦点の変更が、そのような作用を行うように構成されたプロセッサによって引き受けられる、方法。
12. カメラと複数の異なる色の光源とを含む携帯デバイスであって、前記デバイスがプロセッサとメモリとをさらに含み、前記メモリが、フレーム中の像の異なる行を露光している間に前記光源のうちの異なるものを動作させるように前記デバイスを構成するソフトウェア命令を含み、前記像の結果として生じる行を処理して、色画素情報を引き出す、携帯デバイス。
13. ネットワークインタフェース、プロセッサ、及びメモリを含む第１のネットワークデバイスであって、前記メモリが、第２のネットワークデバイスとのネットワーキングを可能にする秘密データを記憶し、前記デバイスは、前記秘密データが放出のために光信号として伝達される出力部をさらに含む、第１のネットワークデバイス。
14. 前記出力部が、発光体を含む別個のデバイスに結合するように構成される、請求項１３に記載のデバイス。
15. 第１の無線デバイスで行われる方法であって、
    前記デバイスのメモリから秘密データを読み取る作用と、
    前記データを放出のために光信号として出力する作用と
    を含む、方法。
16. 前記データの光放出の結果として、前記第１の無線デバイスと第２の無線デバイスとの間に安全な無線接続を確立するステップをさらに含む、請求項１５に記載の方法。
17. 前記出力データに従って光源を制御するステップをさらに含む、請求項１５に記載の方法。
18. 前記出力データに従って前記光源の輝度及び／又はクロミナンスを制御するステップを含む、請求項１７に記載の方法。
19. 前記光源が、人が見るための像を同時に提示している電子ディスプレイデバイスを含む、請求項１７に記載の方法。
20. 前記出力データに従って周囲ライティングを屋内環境に与える光源を制御するステップをさらに含む、請求項１５に記載の方法。
21. 前記出力データに従って赤外ＬＥＤを制御するステップをさらに含む、請求項１５に記載の方法。
22. 被写体に向けられたスマートフォンカメラを利用する方法であって、
    前記被写体に焦点を合わされないように前記スマートフォンカメラの焦点を設定するステップと、
    前記カメラで捕捉されたデータを処理して、暗号鍵を引き出すステップと、
    前記引き出された暗号鍵を使用することにより、安全な無線トランザクションで遠隔デバイスに係合するステップと
    を含む、方法。
23. 設定する前記ステップが、前記カメラと前記被写体との間の距離に関係しない初期設定値に焦点制御信号を設定するステップを含む、請求項２２に記載の方法。
24. 設定する前記ステップが、前記カメラで画像化されるとき前記被写体の最大のぼやけをもたらす値に焦点制御信号を設定するステップを含む、請求項２２に記載の方法。

Images