JP2019114884A - 検出装置、表示装置、検出方法 - Google Patents
検出装置、表示装置、検出方法 Download PDFInfo
- Publication number
- JP2019114884A JP2019114884A JP2017245838A JP2017245838A JP2019114884A JP 2019114884 A JP2019114884 A JP 2019114884A JP 2017245838 A JP2017245838 A JP 2017245838A JP 2017245838 A JP2017245838 A JP 2017245838A JP 2019114884 A JP2019114884 A JP 2019114884A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- image sensor
- line
- movement amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims description 25
- 230000001133 acceleration Effects 0.000 claims abstract description 43
- 238000003384 imaging method Methods 0.000 claims abstract description 16
- 238000005096 rolling process Methods 0.000 claims abstract description 10
- 238000000034 method Methods 0.000 claims description 21
- 230000008859 change Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 11
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004069 differentiation Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
Abstract
【課題】1フレームよりも短い周期で加速度対応値を求めること。【解決手段】ローリング方式によって被写体を撮像するエリアイメージセンサーによって撮像される第1フレームに含まれる第mブロックの画像と、第1フレームよりも後に撮像された第2フレームに含まれる第mブロックにおいて撮像された画像とを比較することによって、ラインの主走査方向についての画像の移動量を取得する第1移動量取得部と、第1フレームに含まれる第pブロックの画像と、第2フレームに含まれる第pブロックにおいて撮像された画像とを比較することによって、主走査方向についての画像の移動量を取得する第2移動量取得部と、第mブロックにおいて取得された移動量と、第pブロックにおいて取得された移動量との差分を、被写体に対するエリアイメージセンサーの加速度に対応する値として取得する差分取得部と、を備える検出装置。【選択図】図5
Description
本開示は、加速度に対応する値の検出に関する。
撮像装置によって撮像された画像の位置変化を解析する技術が知られている。例えば、特許文献1は、撮像装置で撮像された画像からテンプレートマッチングによって動きベクトルの検出対象となる矩形領域を抽出し、当該矩形領域のフレーム間の相関値に基づいて動きベクトルを算出する構成を開示している。
一般的に、動きベクトルの次元は、距離である。動きベクトルをフレームレートの逆数で除算すれば、次元を速度に変換できる。さらに、次元を加速度にする場合には、上記の速度が、1フレーム毎にどの程度変化したかを演算すればよい。上記のようにして加速度の次元を有する値(以下、「加速度に対応する値」または「加速度対応値」ともいう)を求める演算は、従来、1フレーム単位で実施することが通常であった。
上記の手法では、1フレーム単位よりも短い時間についての加速度対応値を求めることはできない。本開示は、上記を踏まえ、加速度対応値を、1フレーム単位よりも短い周期で求めることを解決課題とする。
本開示の一形態は、各々が1以上のラインを含む第1〜第n(nは2以上の整数)ブロック毎に順次、画像を取得するローリング方式によって被写体を撮像するエリアイメージセンサーと;前記エリアイメージセンサーによって撮像される第1フレームに含まれる第m(mはn以下の正の整数)ブロックの画像と、前記第1フレームよりも後に撮像された第2フレームに含まれる前記第mブロックにおいて撮像された画像とを比較することによって、前記ラインの主走査方向についての画像の移動量を取得する第1移動量取得部と;前記第1フレームに含まれる第p(pはn以下の正の整数、且つm≠p)ブロックの画像と、前記第2フレームに含まれる前記第pブロックにおいて撮像された画像とを比較することによって、前記主走査方向についての画像の移動量を取得する第2移動量取得部と;前記第mブロックにおいて取得された移動量と、前記第pブロックにおいて取得された移動量との差分を、前記被写体に対する前記エリアイメージセンサーの加速度に対応する値として取得する差分取得部と;を備える検出装置である。この形態によれば、加速度対応値を、1フレーム単位よりも短い周期で取得できる。この形態では、フレーム単位で求めた2ブロックにおける移動量の差分を求めるため、1フレーム中の2ブロックの間の移動量の差分を、加速度対応値として求めることができるからである。
上記形態において、前記第2フレームは、前記第1フレームの次のフレームでもよい。この形態によれば、第1フレームと第2フレームとの間に他のフレームが存在する場合に比べて、第1フレームと第2フレームとの時間差が短くなる。このため、加速度対応値が、短時間における移動量に基づいて取得されるので、短時間における移動量の変化を反映した値になる。
上記形態において、前記pは、前記mに1を足した値でもよい。この形態によれば、加速度対応値が、短時間における移動量の変化に基づいて取得されるので、短時間における移動量の変化を反映した値になる。
上記形態において、前記ブロックは、1ラインで構成されてもよい。この形態によれば、加速度対応値を取得する周期が、1ライン分の処理時間になる。
上記形態において、前記第1及び第2移動量取得部は、前記比較に、エッジ強調処理を用いてもよい。この形態によれば、移動量の検出の精度が高くなる。
本開示は、上記以外の種々の形態で実現できる。例えば、上記の検出装置を備える表示装置や、検出装置が実行する方法等の形態で実現できる。
図1は、表示装置の一種であるヘッドマウントディスプレイ(Head Mounted Display、HMD)1の外観を示す。図2は、ヘッドマウントディスプレイ1の機能ブロック図である。ヘッドマウントディスプレイ1は、シースルータイプであり、眼鏡形状を有している。眼鏡のレンズに相当する部分には、表示部10とカメラユニット30とが組み込まれている。眼鏡のレンズに相当する部分にはユーザーの耳に掛けられる保持部40が連結されている。保持部40には制御部20が取り付けられている。
表示部10は、VRAM11、RAM12、画像合成部13、タイミング制御部14、出力コントローラー15、第1パネルドライバー16a、第2パネルドライバー16b、第1表示パネル17a、第2表示パネル17bを備えている。これら表示部10の各要素については後述する。
カメラユニット30は、エリアイメージセンサー31と、タイミング制御部32と、画像処理部33と、移動量取得部34と、差分取得部35とを備えている。カメラユニット30は、検出装置である。エリアイメージセンサー31は、第1エリアイメージセンサー31aと、第2エリアイメージセンサー31bとを備えている。第1エリアイメージセンサー31a及び第2エリアイメージセンサー31bは、各々、光学系とCMOSセンサーとを備えている。
光学系は、ヘッドマウントディスプレイ1を装着したユーザーの視野方向に存在する物体からの光をCMOSセンサーに結像させる。CMOSセンサーは、カラーフィルターと、複数のフォトダイオードとを備えており、視野内の像を示すカラーの画像データを出力する。複数のフォトダイオードの各々は、光量に応じた電荷を光電変換によって画素毎に蓄積する。
第1エリアイメージセンサー31aは、ヘッドマウントディスプレイ1の筐体において右の端に固定されている。第2エリアイメージセンサー31bは、ヘッドマウントディスプレイ1の筐体において左の端に固定されている。第1エリアイメージセンサー31aは主に右目の視野内の画像データを出力するセンサーである。第2エリアイメージセンサー31bは主に左目の視野内の画像データを出力するセンサーである。第1エリアイメージセンサー31aと第2エリアイメージセンサー31bとの撮像範囲は、ほぼ重なっている。
第1エリアイメージセンサー31a,第2エリアイメージセンサー31bにおいて、画素の位置は直交座標系における座標で規定される。本実施形態において、第1エリアイメージセンサー31aのラインは、X方向に平行であり、このため、第1エリアイメージセンサー31aのラインはY方向に配列している。本実施形態では、ラインに平行な方向を主走査方向、ラインに垂直な方向を副走査方向と呼ぶ。
本実施形態においてエリアイメージセンサー31の第1エリアイメージセンサー31aおよび第2エリアイメージセンサー31bは、タイミング制御部32が出力する各種信号に同期した動作を行う。すなわち、タイミング制御部32は、基準のクロック信号に基づいて各種信号を生成することが可能である。
本実施形態において、各種信号には、1フレーム(各エリアイメージセンサーの全画素によって構成される1画面)分のフォトダイオードの検出結果を読み出すための期間を規定する垂直同期信号(SVsync)、1ライン分のフォトダイオードの検出結果を読み出すための期間を規定する水平同期信号(SHsync)、各画素の画像データの読み出しタイミング等を規定するデータクロック信号(SDotclock)が含まれる。
エリアイメージセンサー31は、垂直同期信号SVsyncに応じて1フレーム分の出力データの出力を開始し、水平同期信号SHsyncにて規定される期間内にデータクロック信号SDotclockに応じたタイミングで第1エリアイメージセンサー31aおよび第2エリアイメージセンサー31bの1ライン内の画素に対応するフォトダイオードの検出結果を示す出力データを逐次読み出す。
本実施形態では、ローリングシャッター方式なので、各ラインの露光時間がライン単位で異なるタイミングで露光される。これを詳しく述べると、以下のようになる。本実施形態における第1エリアイメージセンサー31aにおいて、水平同期信号SHsync1の位相はライン毎に少しずつずれている。第2エリアイメージセンサー31bにおいても同様に、水平同期信号SHsync2の位相がライン毎に少しずつずれている。すなわち、本実施形態において、同一ラインは同一のタイミングで露光されるが、副走査方向に隣接するライン同士では異なるタイミングで露光される。
副走査開始ラインから副走査終了ラインまでに並ぶ各ラインにおいて、ライン番号が増加するたびに露光開始タイミングが遅れ、各ラインで異なるタイミングで順次露光が開始されるように構成されている。すなわち、本実施形態における第1エリアイメージセンサー31aおよび第2エリアイメージセンサー31bは、ローリングシャッター方式のCMOSセンサーである。ローリングシャッター方式は、ローリング方式ともいう。以下、第1エリアイメージセンサー31a、第2エリアイメージセンサー31b用の信号や第1表示パネル17a、第2表示パネル17b用の信号を区別する際には、信号を示す符号に1,2等の符号を付して示す。
画像処理部33は、図示しないバッファーメモリーを利用し、第1エリアイメージセンサー31a及び第2エリアイメージセンサー31bからライン順次に出力される撮像データに既定の画像処理を行う。本実施形態における画像処理は、第1エリアイメージセンサー31aおよび第2エリアイメージセンサー31bが撮像した画像を第1表示パネル17a,第2表示パネル17bのそれぞれに対して表示させるための処理であり、例えば、色再現処理、フィルター処理、ガンマ補正、リサイズ処理等によって構成される。
なお、リサイズ処理は、第1エリアイメージセンサー31aおよび第2エリアイメージセンサー31bの有効撮像領域の画素数と第1表示パネル17aおよび第2表示パネル17bの有効表示領域の画素数との差を吸収し、撮像画像を第1表示パネル17aおよび第2表示パネル17bに表示可能な大きさにするための処理である。従って、画像処理部33から出力される撮像画像は、第1表示パネル17a、第2表示パネル17bで表示できるように変換された画像である。
画像処理部33における処理は第1エリアイメージセンサー31aおよび第2エリアイメージセンサー31bのそれぞれについてライン順次に実行され、処理後のデータは表示部10が備えるVRAM11に出力される(図2に示すVRAM11内の撮像画像)。VRAM11には、少なくとも1フレーム前の1フレーム分の撮像画像と現フレームの撮像中の画像とが保存されていく。画像処理部33による処理後のデータは、移動量取得部34にも出力される。
移動量取得部34は、詳しくは、図3〜図6と共に説明するように、エリアイメージセンサー31で撮像された画像のライン毎のフレーム間差分に基づいてエリアイメージセンサー31の位置の変化を検出する機能を有している。本実施形態においては、第1エリアイメージセンサー31aの出力に対して画像処理部33で処理されたデータが移動量取得部34に出力される構成が採用されている。
差分取得部35は、詳しくは、図3〜図6と共に説明するように、移動量取得部34によって取得される位置の変化について、ブロック間での差分を取る。ブロックは、1以上のラインから構成される。本実施形態におけるブロックは、1のラインから構成される。この差分は、詳しくは、後述するように、加速度に対応する値である。
次に、表示部10の各要素について説明する。第1表示パネル17aは、ユーザーがヘッドマウントディスプレイ1を装着した状態において、右目の視野を遮るように配置されている。第2表示パネル17bは、ユーザーがヘッドマウントディスプレイ1を装着した状態において、左目の視野を遮るように配置されている。なお、第1表示パネル17aおよび第2表示パネル17bは透明であるので、ユーザーは、第1表示パネル17aと第2表示パネル17bとを通して外界を視認できる。
VRAM11は、第1表示パネル17a,第2表示パネル17bに表示される画像を記憶する。本実施形態においては、画像処理部33が出力する撮像画像(表示用に変換済の画像)、撮像画像に重畳されてAR(Augmented Reality)表示を行うためのオブジェクト画像、撮像画像に重畳されて各種の情報をユーザーに伝達するためのOSD画像、これらの画像が合成された合成画像がVRAM11に記憶され得る。
オブジェクト画像のデータおよびOSD画像のデータは予め作成され、制御部20の制御により表示対象のオブジェクト画像のデータおよびOSD画像のデータがVRAM11に記憶される。制御部20は、表示部10やカメラユニット30、図示しない入力部の入力に応じた出力の制御など、各種の処理を実行可能である。合成に関して制御部20は、オブジェクト画像やOSD画像の選択および位置の決定を行う。制御部20は、オブジェクト画像に表示位置を対応づけてVRAM11に記憶する。OSD画像が表示されない場合、OSD画像のデータは記憶されなくて良い。
RAM12には移動量取得部34が出力する移動量が記憶される。本実施形態においては、第1エリアイメージセンサー31aの位置の変化がゼロである場合のオブジェクトの表示位置が制御部20によって決められる。第1エリアイメージセンサー31aの位置の変化がゼロではない場合、画像合成部13は、第1エリアイメージセンサー31aの位置の変化を相殺するように、オブジェクトの位置を表示位置に対して変化させる。
第1エリアイメージセンサー31aの位置の変化を反映してオブジェクトの表示位置が補正されると、画像合成部13は、撮像画像に対してオブジェクト画像を合成する。合成する際には、補正後のオブジェクトの表示位置を反映していれば良く、種々の手法で合成が行われてよい。例えば、スプライト機能等によって実現されて良い。スプライト機能が利用されるのであれば、画像合成部13は、VRAM11に記憶されたオブジェクト画像の表示位置が補正後の表示位置であると見なし、撮像画像に対してオブジェクト画像を重畳表示するための合成画像のデータを生成する。
なお、本実施形態においては、第1エリアイメージセンサー31aの撮像画像が第1表示パネル17aに表示され、第2エリアイメージセンサー31bの撮像画像が第2表示パネル17bに表示される。このため、第1エリアイメージセンサー31aの撮像画像と第2エリアイメージセンサー31bの撮像画像とのそれぞれがVRAM11に記憶されており、画像合成部13は、各撮像画像に対して補正後のオブジェクトの表示位置にオブジェクト画像を合成する。本実施形態において、以上の処理はライン順次に実行される。なお、OSD表示の必要がある場合、画像合成部13はOSD画像を既定の位置に重畳する処理も行う。
本実施形態において、第1表示パネル17a、第2表示パネル17bは、OLED(Organic Light Emitting Diode)パネルであり、白色の発光体のそれぞれに対してRGB(赤、緑、青)のカラーフィルターが設けられることで構成された画素が複数個形成されている。従って、各発光体の発光強度が変化することで各画素において多色の表示を行うことができる。第1表示パネル17a、第2表示パネル17bにおいても画素の位置は直交座標系における座標で規定される。また、一方の座標軸(本実施形態ではX軸)に平行な方向に並ぶ複数の画素によってラインが構成され、複数のラインが他方の座標軸(本実施形態ではY軸)に平行な方向に並ぶように構成されている。本実施形態では、ラインに平行な方向を主走査方向、ラインに垂直な方向を副走査方向と呼び、各パネルの全画素によって構成される1画面を1フレームと呼ぶ。
第1パネルドライバー16a、第2パネルドライバー16bは、各画素を合成画像のデータに応じた発光強度で発光させるための信号を第1表示パネル17a、第2表示パネル17bに対して出力する。第1表示パネル17a、第2表示パネル17bは、図示しない主走査方向ドライバーおよび副走査方向ドライバーを備えており、第1パネルドライバー16a、第2パネルドライバー16bから出力される信号に応じて主走査方向ドライバーが各ラインの各画素における表示タイミングを制御し、副走査方向ドライバーが表示タイミングとされているラインの各画素の発光体を駆動することによって表示を行う。
すなわち、第1パネルドライバー16a、第2パネルドライバー16bは、第1表示パネル17a、第2表示パネル17bにおける表示を行うための各種信号、例えば、1フレーム分の表示を行うための期間を規定する垂直同期信号(DVsync)、1ライン分の表示を行うための期間を規定する水平同期信号(DHsync)、各ライン内での合成画像のデータの取り込み期間を規定するデータアクティブ信号(DDactive)、各画素のデータの取り込みタイミング等を規定するデータクロック信号(DDotclock)、各画素のデータ(Data)を出力するように構成されている。
第1表示パネル17aは、第1エリアイメージセンサー31aで撮像され、画像処理部33によって生成された撮像画像の表示を垂直同期信号DVsync1に応じて開始し、水平同期信号DHsync1にて規定される期間内にデータクロック信号DDotclock1に応じたタイミングで第1表示パネル17aの各ライン上の表示対象画素を駆動して表示を行う。第2表示パネル17bは、第2エリアイメージセンサー31bで撮像され、画像処理部33によって生成された撮像画像の表示を垂直同期信号DVsync2に応じて開始し、水平同期信号DHsync2にて規定される期間内にデータクロック信号DDotclock2に応じたタイミングで第2表示パネル17bの各ライン上の表示対象画素を駆動して表示を行う。
表示部10のタイミング制御部14は、カメラユニット30のタイミング制御部32と接続されている。すなわち、カメラユニット30における撮像と表示部10における表示とを同期させる必要がある場合には、タイミング制御部14とタイミング制御部32との少なくとも一方で生成されたクロック信号を他方で使用することにより、同期を行うことが可能である。
以上のように、第1表示パネル17aおよび第2表示パネル17bにおいては、ライン順次に表示を行うことができる。そして、本実施形態において、第1エリアイメージセンサー31aおよび第2エリアイメージセンサー31bはローリングシャッター方式のセンサーであるため、各ラインの撮像画像を表示するための撮像画像は少しずつずれたタイミングで生成される。本実施形態においては、1フレーム分の撮像画像の生成が完了するのを待つことなく、表示の準備が完了したラインから順に表示を行えるように構成されている。
すなわち、Kライン目の撮像画像に基づいて第1エリアイメージセンサー31aの位置の変化が特定され、オブジェクトの表示位置が特定され、Kライン目における撮像画像とオブジェクト画像との合成が完了すると、Kライン目の表示が可能になる。そこで、タイミング制御部14は、当該Kライン目の合成が完了するタイミングを指示する信号を出力コントローラー15に指示する。
出力コントローラー15が当該指示を受け付けると、出力コントローラー15は、画像合成部13に指示を行い、画像合成部13はKライン目の合成画像のデータをVRAM11から取得し、出力コントローラー15に出力する。出力コントローラー15は、第1エリアイメージセンサー31aの撮像画像に基づいて生成されたKライン目のデータに基づいて第1パネルドライバー16aを駆動し、第2エリアイメージセンサー31bの撮像画像に基づいて生成されたKライン目のデータに基づいて第2パネルドライバー16bを駆動する。この結果、第1表示パネル17aおよび第2表示パネル17bは、撮像画像にオブジェクト画像が重畳されたKライン目の画像を表示する。
なお、Kライン目の合成が完了するタイミングを指示する信号は、各種の態様であって良く、第1エリアイメージセンサー31aおよび第2エリアイメージセンサー31bにおいてKライン目の撮像が開始されてから、一定期間後のタイミングであってもよいし、画像合成部13でKライン目の合成が完了したことが特定されたタイミングであっても良い。前者の一定期間は、例えば、画像処理部33や画像合成部13の処理に要する期間以上の固定期間等によって定義可能である。後者は、画像合成部13で各ラインの合成が終了した場合に画像合成部13等からパルス信号がタイミング制御部14や出力コントローラー15に出力される構成等によって実現可能である。
以上のように、本実施形態においては、ライン毎に第1エリアイメージセンサー31aの位置の変化が検出され、当該ライン毎の位置の変化が反映した状態でオブジェクトの合成および表示が行われる。
図3は、検出処理を示すフローチャートである。本実施形態における検出処理は、詳しくは後述するように、第1エリアイメージセンサー31aの撮像を利用して、ヘッドマウントディスプレイ1のX方向の加速度に対応する値(以下、加速度対応値ΔS)を取得することを目的とした処理である。加速度対応値ΔSとは、詳しくは後述するように、並進運動と回転運動とを、ラインの主走査方向という1次元の運動に統合し、時間での2回微分に相当する演算を施すことによって得られる値を意味する。
図4〜図6は、加速度対応値ΔSの検出の具体例を説明するための図である。フレームFは、本実施形態においては768本のラインによって構成されるが、図示を簡単にするため、図4〜図6では、10本のラインで構成されているものとする。各ラインの横に示された数字は、ライン番号を示す。
図4〜図6に示されたフレームFは、第1エリアイメージセンサー31aによる撮像画像を示す。図4〜図6に示されたフレームFは何れも、最終ライン(10ライン目)の読み出しが完了した時点における撮像画像を示す。図4〜図6に示されたフレームFは、連続する3枚のフレームを示す。つまり、図4に示されたフレームFの最終ラインの次に読み出されるのは、図5の1ライン目であり、図5に示されたフレームFの最終ラインの次に読み出されるのは、図6の1ライン目である。
これらの図は、第1エリアイメージセンサー31aの視野に長方形の物体Bが存在する場合の例である。図4は、第1エリアイメージセンサー31aが静止した状態において撮像された画像を示す。ここでいう静止とは、物体Bの撮像結果が変化しないことを意味する。つまり、ここでいう静止とは、第1エリアイメージセンサー31aが物体Bに対して相対的に静止していることを意味する。同様に、第1エリアイメージセンサー31aが移動しているという場合には、物体Bに対して相対的に移動していることを意味する。以下、単に「静止」や「移動」という場合、上記のように、物体Bとの相対的な関係を意味する。
図5,図6は、第1エリアイメージセンサー31aが主走査方向(つまりX軸方向)に沿って移動している状態において撮像された画像を示す。第1エリアイメージセンサー31aがX軸方向に移動している状態は、例えば、ヘッドマウントディスプレイ1を装着したユーザーが頭部を回転させることによって発生する。より正確には、ヘッドマウントディスプレイ1を装着したユーザーが頭部を水平方向に左右に回転運動させることによって発生する。ユーザーの頭部の回転は、実際にはX軸方向に沿った水平移動とは異なるものの、物体Bの撮像結果を基準にすると、X軸方向に沿った移動として観測される。
図5の最終ラインを読み出した時刻(以下「図5の時刻」という。図4,図6の場合も同様である。)を現在時刻とする場合、図5のフレームFを現フレーム、図4のフレームFを前フレームという。同様に、図6の時刻を現在時刻とする場合、図6のフレームFを現フレーム、図5のフレームFを前フレームという。図5,図6には、現フレームが実線、前フレームが破線で示されている。なお、図4は、現フレームと前フレームとが一致しているので、前フレームを示していない。
第1エリアイメージセンサー31aが移動している状態においては、ローリングシャッター方式によって各ラインの露光開始タイミングがずれることにより、移動による位置変化が反映された状態で画像が撮像される。図5においては、露光開始タイミングが早いラインの撮像段階で第1エリアイメージセンサー31aが静止しており、途中で第1エリアイメージセンサー31aの移動が開始されたことを反映し、矩形の物体が歪んだ状態で撮像されている。図6は、図5に示す状態から更に時間が進んだ状態であり、図6の時刻においては、第1エリアイメージセンサー31aの移動は終了している。
検出処理が開始されると、画像処理部33は、ライン番号Kを1に初期化する(S100)。次に、画像処理部33は、Kライン目の画像処理を実行する(S105)。すなわち、第1エリアイメージセンサー31aから1ライン分の出力が行われると、画像処理部33は、それぞれのラインの出力に対して色再現処理、フィルター処理、ガンマ補正、リサイズ処理等を実施する。S105が実行されると、撮像画像は表示用の画像に変換された状態になり、VRAM11に記憶される。本実施形態においては詳しく説明しないが、S105によって得られる画像は、表示部10によって表示されてもよい。
次に、画像処理部33は、前フレームにおけるKライン目の画像処理結果を取得する(S110)。VRAM11においては、少なくとも前フレームの撮像画像は保持する。VRAM11にKライン目の変換後の撮像画像のデータが蓄積される際、2フレーム以前の撮像画像が存在するならば当該2フレーム以前のKライン目のデータは破棄される。データを破棄するタイミングはVRAM11の容量に応じて変化して良く、VRAM11の容量が多い場合に3フレーム以前の撮像画像が存在する際に破棄される構成等であっても良い。
次に、移動量取得部34は撮像画像に対してエッジ強調処理を施す(S113)。エッジ強調処理を施された画像を、以下、エッジ画像という。
次に、移動量取得部34は、パターンマッチングによって、ブロック単位で移動量ΔLを取得し、出力する(S115)。移動量取得部34は、前フレームのKライン目におけるエッジ画像をX軸方向に移動させ、移動後のエッジ画像の階調値と、現フレームのKライン目におけるエッジ画像の階調値との差分を取得する。そして、差分が最小になる場合のX軸方向への移動量ΔLを取得する。移動量ΔLは、画素を単位として取得される。このように、本実施形態においては、1ラインを1ブロックとして取り扱う。
図4〜図6に示された例では、物体BのX方向のマイナス側のエッジが、物体Bの位置として取り扱われている。X印は現フレームの位置、四角印は前フレームの位置を示す。
例えば、図4に示された例では、第1エリアイメージセンサー31aが静止した場合に撮像されているので、現フレームのエッジの位置と、前フレームのエッジの位置とが一致している。このため、移動量ΔLは、図4に示すように、何れのラインにおいてもゼロである。
図5に示された例では、3ライン目以降において、現フレームのエッジが、前フレームのエッジに対し、X方向プラス側に位置する。さらに、3ライン目以降において、現フレームのエッジは、Kが増大すればするほど(つまり10ライン目に近づくほど)、X方向プラス側に位置する。これは、3ライン目の露光時刻以降、第1エリアイメージセンサー31aが同じ向きに移動を継続していることを反映している。
図6に示された例では、3〜10ライン目について、現フレームのエッジのX方向の位置は、同じである。これは、3ライン目の露光時刻において、第1エリアイメージセンサー31aの移動が終了したことを反映している。
次に、差分取得部35は、加速度対応値ΔSを検出する(S117)。加速度対応値ΔSを説明する前に、速度に対応する値(以下、速度対応値)について説明する。先述した移動量ΔLは、画素数を単位としたパラメーターでありつつも、実質的に速度対応値を示すパラメーターである。なぜなら、同じラインに着目した場合、現フレームと前フレームとでの時間差は、フレームレート(フレーム/秒)で定まるので、(移動量ΔL×フレームレート)によって、1秒当たりの移動量(画素/秒)が求まる。フレームレートは一定であるので、移動量ΔLの値そのものを速度対応値として取り扱っても差し支えない。
速度対応値と呼称しているのは、物体BがX方向に移動するのは、並進運動と回転運動との何れか一方に起因したり、両方に起因したりするからである。このため、並進運動の速度の次元(m/秒)や、角速度の次元(rad/秒)とは異なり、速度対応値の次元は画素/秒である。このように、並進運動の速度や、角速度とは、物理量が厳密に一致することは限らないことを表すために、本実施形態においては速度対応値という用語を用いる。このような事情は、加速度対応値についても同じである。
上記のように移動量ΔLを速度対応値として取り扱う場合、移動量ΔLを対象に、時間による微分に相当する演算を実行すれば、加速度対応値ΔSが求まる。本実施形態における差分取得部35は、上記演算を、ΔS=ΔLK−ΔLK-1によって実行する。ΔLKはKライン目の移動量ΔLであり、ΔLK-1はK−1ライン目の移動量ΔLである。K=1の場合、最終ライン(図示された例では10ライン目)をK−1ライン目と見なす。差分取得部35は、移動量取得部34からΔLKを順次、取得して、上記の演算を実行する。
上記の演算によるΔSは、速度対応値としての移動量ΔLが、K−1ライン目を露光してからKライン目を露光するまでの時間で、どの程度変化したかを示している。このため、ΔSを加速度対応値(画素/秒2)として取り扱うことができる。なお、本実施形態におけるフレームレートは60fpsであり、ライン数は768本である。60fpsを周期に変換すると1フレーム当たり16.6msなので、ΔSが出力される周期は、16.6ms/768=21.7μsである。
次に、画像処理部33は、ライン番号Kが最終ラインの番号であるか否かを判定し(S120)、最終ラインでなければ、Kをインクリメントして(S125)、S105以降を繰り返す。S120で最終ラインであると判定された場合、画像処理部33はS100以降を繰り返す。
本実施形態によれば、21.7μs毎という1フレーム分の時間よりも大幅に短い周期で、且つ、上記したように簡単な演算で加速度対応値ΔSを取得できる。さらに、加速度対応値ΔSは、画素を単位としているので、高い空間分解能を有すると共に、21.7μsという高い時間分解能を有する。
加速度対応値ΔSは、物体Bに対する第1エリアイメージセンサー31aの相対的な運動を表す値として取り扱うことができる。このため、加速度対応値ΔSを用いることによって、ジャイロセンサー等に比べて、短周期、且つ、高精度で、第1エリアイメージセンサー31aの加速度対応値を求めることができる。第1エリアイメージセンサー31aは、ヘッドマウントディスプレイ1に固定されているので、第1エリアイメージセンサー31aの加速度対応値は、ヘッドマウントディスプレイ1と同じであると見なすことができる。
しかも、加速度対応値ΔSによれば、ジャイロセンサーとは異なり、積分による誤差が蓄積することがなく、且つ、温度変化による影響が小さい。このため、ジャイロセンサー等に比べて、高精度に加速度対応値を求めることができる。
本開示は、本明細書の実施形態や実施例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現できる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、実施例中の技術的特徴は、先述の課題の一部又は全部を解決するために、或いは、先述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせができる。その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除できる。例えば、以下の実施形態が例示される。
上記の加速度対応値ΔSを求める構成を備える表示装置は、シースルータイプのヘッドマウントディスプレイ1に限られず、ビデオシースルータイプ、クローズタイプ(Virtual Reality用)等のヘッドマウントディスプレイでもよい。或いは、ヘッドマウントディスプレイ以外の表示装置でよく、例えば、スマートフォン、タブレット型端末等でもよいし、表示装置を備えたロボットでもよい。
カメラユニットとしての検出装置は、表示装置と一体に設けられていなくてもよく、単体で実装されてもよい。
移動量ΔLを算出する際、前フレームは、現フレームの1フレーム前のフレームでなくてもよく、2フレーム以上前のフレームでもよい。
移動量ΔLを算出する際、1ブロックは、1ラインでなくてもよく、2以上のラインによって構成されてもよい。
加速度対応値ΔSを算出する際、Kライン目との比較対象は、K−1ライン目でなくてもよく、K−q(qは2以上の整数)ライン目でもよい。
検出処理に用いるエリアイメージセンサーの主走査方向は、X方向に平行でなくてもよく、例えばY方向に平行でもよい。つまり、第2エリアイメージセンサー31bを用いて、Y方向について加速度対応値ΔSを求めてもよい。また、第1エリアイメージセンサー31aと第2エリアイメージセンサー31bとを用いて、X方向とY方向とのそれぞれについて加速度対応値ΔSを求めてもよい。或いは、X方向ともY方向とも平行でない方向に主走査方向が向くようにエリアイメージセンサーを配置し、その方向について加速度対応値ΔSを求めてもよい。
上記実施形態において、ソフトウエアによって実現された機能及び処理の一部又は全部は、ハードウエアによって実現されてもよい。また、ハードウエアによって実現された機能及び処理の一部又は全部は、ソフトウエアによって実現されてもよい。ハードウエアとしては、例えば、集積回路、ディスクリート回路、または、それらの回路を組み合わせた回路モジュールなど、各種回路を用いてもよい。
第2エリアイメージセンサー31bのラインは、Y方向に平行でもよい。つまり、第2エリアイメージセンサー31bのラインは、第1エリアイメージセンサー31aラインと直交していてもよい。この場合、第2エリアイメージセンサー31bのラインはX方向に配列する。或いは、第2エリアイメージセンサー31bのラインは、X方向およびY方向の何れに対しても平行でなくてもよい。
1…ヘッドマウントディスプレイ、10…表示部、11…VRAM、12…RAM、13…画像合成部、14…タイミング制御部、15…出力コントローラー、16a…第1パネルドライバー、16b…第2パネルドライバー、17a…第1表示パネル、17b…第2表示パネル、20…制御部、30…カメラユニット、31…エリアイメージセンサー、31a…第1エリアイメージセンサー、31b…第2エリアイメージセンサー、32…タイミング制御部、33…画像処理部、34…移動量取得部、35…差分取得部、40…保持部
Claims (7)
- 各々が1以上のラインを含む第1〜第n(nは2以上の整数)ブロック毎に順次、画像を取得するローリング方式によって被写体を撮像するエリアイメージセンサーと、
前記エリアイメージセンサーによって撮像される第1フレームに含まれる第m(mはn以下の正の整数)ブロックの画像と、前記第1フレームよりも後に撮像された第2フレームに含まれる前記第mブロックにおいて撮像された画像とを比較することによって、前記ラインの主走査方向についての画像の移動量を取得する第1移動量取得部と、
前記第1フレームに含まれる第p(pはn以下の正の整数、且つm≠p)ブロックの画像と、前記第2フレームに含まれる前記第pブロックにおいて撮像された画像とを比較することによって、前記主走査方向についての画像の移動量を取得する第2移動量取得部と、
前記第mブロックにおいて取得された移動量と、前記第pブロックにおいて取得された移動量との差分を、前記被写体に対する前記エリアイメージセンサーの加速度に対応する値として取得する差分取得部と、
を備える検出装置。 - 前記第2フレームは、前記第1フレームの次のフレームである
請求項1に記載の検出装置。 - 前記pは、前記mに1を足した値である
請求項1から請求項2までの何れか一項に記載の検出装置。 - 前記ブロックは、1ラインで構成される
請求項1から請求項3までの何れか一項に記載の検出装置。 - 前記第1及び第2移動量取得部は、前記比較に、エッジ強調処理を用いる
請求項1から請求項4までの何れか一項に記載の検出装置。 - 請求項1から請求項5までの何れか一項に記載の検出装置を備えた表示装置。
- 各々が1以上のラインを含む第1〜第n(nは2以上の整数)ブロック毎に順次、画像を取得するローリング方式によって被写体を撮像するエリアイメージセンサーを用いた検出方法であって、
前記エリアイメージセンサーによって撮像される第1フレームに含まれる第m(mはn以下の正の整数)ブロックの画像と、前記第1フレームよりも後に撮像された第2フレームに含まれる前記第mブロックにおいて撮像された画像とを比較することによって、前記ラインの主走査方向についての画像の移動量を取得し、
前記第1フレームに含まれる第p(pはn以下の正の整数、且つm≠p)ブロックの画像と、前記第2フレームに含まれる前記第pブロックにおいて撮像された画像とを比較することによって、前記主走査方向についての画像の移動量を取得し、
前記第mブロックにおいて取得された移動量と、前記第pブロックにおいて取得された移動量との差分を、前記被写体に対する前記エリアイメージセンサーの加速度に対応する値として取得する
検出方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017245838A JP2019114884A (ja) | 2017-12-22 | 2017-12-22 | 検出装置、表示装置、検出方法 |
CN201811563321.7A CN109963047B (zh) | 2017-12-22 | 2018-12-20 | 检测装置、显示装置、检测方法 |
US16/229,511 US10778893B2 (en) | 2017-12-22 | 2018-12-21 | Detection device, display device and detection method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017245838A JP2019114884A (ja) | 2017-12-22 | 2017-12-22 | 検出装置、表示装置、検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019114884A true JP2019114884A (ja) | 2019-07-11 |
Family
ID=66950845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017245838A Pending JP2019114884A (ja) | 2017-12-22 | 2017-12-22 | 検出装置、表示装置、検出方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10778893B2 (ja) |
JP (1) | JP2019114884A (ja) |
CN (1) | CN109963047B (ja) |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3992206B2 (ja) | 1998-01-23 | 2007-10-17 | Necトーキン株式会社 | 姿勢角検出装置 |
JP2003279882A (ja) | 2002-03-22 | 2003-10-02 | Victor Co Of Japan Ltd | ヘッドマウントディスプレイ装置 |
JP2004085476A (ja) | 2002-08-28 | 2004-03-18 | Sony Corp | ヘッドトラッキング方法及び装置 |
US7760997B2 (en) | 2006-04-14 | 2010-07-20 | Seiko Epson Corporation | Shake detection device, shake detection method, and shake detection program |
WO2009063968A1 (ja) | 2007-11-16 | 2009-05-22 | Nikon Corporation | 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法 |
JP5428261B2 (ja) | 2008-09-16 | 2014-02-26 | 株式会社ニコン | 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法 |
JP2009141717A (ja) | 2007-12-07 | 2009-06-25 | Hitachi Ltd | 撮像装置 |
JP5406768B2 (ja) | 2010-03-24 | 2014-02-05 | 富士フイルム株式会社 | 撮像装置およびその制御方法 |
JP5683025B2 (ja) * | 2010-04-19 | 2015-03-11 | パナソニックIpマネジメント株式会社 | 立体画像撮影装置および立体画像撮影方法 |
JP4957851B2 (ja) | 2011-01-28 | 2012-06-20 | セイコーエプソン株式会社 | 手ぶれ検出装置、手ぶれ検出方法、および手ぶれ検出プログラム |
JP5522078B2 (ja) | 2011-02-16 | 2014-06-18 | 株式会社Jvcケンウッド | 撮像装置及び撮像装置の画像歪補正方法 |
JP2012222374A (ja) | 2011-04-04 | 2012-11-12 | Hitachi Consumer Electronics Co Ltd | 車載カメラシステム |
JP2013083731A (ja) | 2011-10-06 | 2013-05-09 | Murata Mach Ltd | 画像表示システム |
KR101856947B1 (ko) * | 2011-10-07 | 2018-05-11 | 삼성전자주식회사 | 촬영장치, 움직임 추정장치, 영상 보정 방법, 움직임 추정방법 및 컴퓨터 판독가능 기록매체 |
JP6434788B2 (ja) * | 2014-03-06 | 2018-12-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 計測システム、計測方法およびビジョンチップ |
JP2016052114A (ja) | 2014-08-29 | 2016-04-11 | キヤノン株式会社 | 画像処理システム、画像処理方法、及び、プログラム |
JP2016066848A (ja) | 2014-09-24 | 2016-04-28 | キヤノン株式会社 | 撮像装置およびその制御方法 |
JP2016149587A (ja) | 2015-02-10 | 2016-08-18 | セイコーエプソン株式会社 | ヘッドマウントディスプレイ、およびその制御方法と制御プログラム |
US20160216792A1 (en) | 2015-01-26 | 2016-07-28 | Seiko Epson Corporation | Head mounted display, and control method and control program for head mounted display |
JP6250592B2 (ja) | 2015-06-02 | 2017-12-20 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイ、情報処理装置、表示制御方法及びプログラム |
US20170069103A1 (en) * | 2015-09-08 | 2017-03-09 | Microsoft Technology Licensing, Llc | Kinematic quantity measurement from an image |
JP6645279B2 (ja) * | 2016-03-11 | 2020-02-14 | セイコーエプソン株式会社 | 撮影装置 |
JP6481701B2 (ja) | 2017-03-01 | 2019-03-13 | セイコーエプソン株式会社 | 撮影表示装置、制御方法、制御装置、表示装置及び撮影装置 |
-
2017
- 2017-12-22 JP JP2017245838A patent/JP2019114884A/ja active Pending
-
2018
- 2018-12-20 CN CN201811563321.7A patent/CN109963047B/zh active Active
- 2018-12-21 US US16/229,511 patent/US10778893B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10778893B2 (en) | 2020-09-15 |
US20190199927A1 (en) | 2019-06-27 |
CN109963047A (zh) | 2019-07-02 |
CN109963047B (zh) | 2021-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11024082B2 (en) | Pass-through display of captured imagery | |
US11190714B2 (en) | Electronic device, head-mounted display, gaze point detector, and pixel data readout method | |
CN109194876B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
US8957973B2 (en) | Shutter release using secondary camera | |
JP4790086B2 (ja) | 多眼撮像装置および多眼撮像方法 | |
US10834323B2 (en) | Electronic apparatus, motion sensor, position change detection program, and position change detection method | |
CN107430324B (zh) | 具有不可见光通道的数字光投影仪 | |
US11095816B2 (en) | Image pickup element, image pickup method, and electronic device for image stabilization | |
JP2012195668A (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR20150120832A (ko) | 디지털 촬영시스템 및 그 제어방법 | |
US12044805B2 (en) | Image-capturing device, image-capturing apparatus and method of acquiring distance image | |
US20120162453A1 (en) | Image pickup apparatus | |
US20200021787A1 (en) | Projector, projection method, image processing system, and method | |
US11030732B2 (en) | Information processing device, information processing system, and image processing method for generating a sum picture by adding pixel values of multiple pictures | |
JPWO2017094122A1 (ja) | 撮像装置、内視鏡装置及び撮像方法 | |
JP2008244649A (ja) | 動き検出撮像装置 | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
JP2019114884A (ja) | 検出装置、表示装置、検出方法 | |
JP2004184699A (ja) | 共焦点顕微鏡装置 | |
JP6645949B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
JP2015108688A (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
JP2012175668A (ja) | 画像合成方法 | |
US20230396746A1 (en) | Image projection system and image projection method | |
WO2022168501A1 (ja) | カメラモジュール、撮影方法、及び、電子機器 | |
WO2019207922A1 (ja) | 表示撮像装置 |