JP2007518357A - Method and apparatus for optimizing capture device settings with depth information - Google Patents
Method and apparatus for optimizing capture device settings with depth information Download PDFInfo
- Publication number
- JP2007518357A JP2007518357A JP2006549296A JP2006549296A JP2007518357A JP 2007518357 A JP2007518357 A JP 2007518357A JP 2006549296 A JP2006549296 A JP 2006549296A JP 2006549296 A JP2006549296 A JP 2006549296A JP 2007518357 A JP2007518357 A JP 2007518357A
- Authority
- JP
- Japan
- Prior art keywords
- image
- capture device
- scene
- image capture
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
- H04N5/2226—Determination of depth image, e.g. for foreground/background separation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1012—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals involving biosensors worn by the player, e.g. for measuring heart beat, limb activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Exposure Control For Cameras (AREA)
- Focusing (AREA)
Abstract
画像キャプチャ装置の画像キャプチャ設定を調整する方法が提供される。この方法は、最初にシーンを特定する。次に、シーンの画像がキャプチャされる。この方法では、シーンの画像を定義しているデータからシーンの深度マスクを生成する。次に、キャプチャされた画像の前景領域及び背景領域の一方又は両方内の物体に対応するピクセル値が、深度マスクのビット値に基づいて調整される。画像キャプチャ装置及びシステムが提供される。 A method for adjusting image capture settings of an image capture device is provided. This method first identifies the scene. Next, an image of the scene is captured. In this method, a scene depth mask is generated from data defining an image of the scene. Next, pixel values corresponding to objects in one or both of the foreground region and the background region of the captured image are adjusted based on the bit value of the depth mask. An image capture device and system are provided.
Description
本発明は、一般に、画像キャプチャ技術に関し、より詳細には、深度情報により可能となる調整によって、シーンのキャプチャ画像を改善することに関する。 The present invention relates generally to image capture technology, and more particularly to improving a captured image of a scene by adjustments made possible by depth information.
画像キャプチャ装置は、カメラやビデオをベースとしたものであっても、一般にシーンで最も暗い部分と最も明るい部分との差を示す尺度であるコントラスト比が低い。代表的なシーンの1つに、人物が日陰にいて、背景に明るい日光が当っているシーンがある。画像キャプチャ装置の露出を背景に合わせると、日陰になっている人物の顔の細部がほとんど或いはまったくわからなくなってしまう。 Even if the image capture device is based on a camera or a video, the contrast ratio, which is a measure indicating the difference between the darkest part and the brightest part in the scene, is generally low. One of the typical scenes is a scene where a person is in the shade and the background is brightly lit. When the exposure of the image capture device is matched to the background, little or no detail of the face of the person in shade is visible.
キャプチャ装置の輝度レベルを設定するために、自動露出機能とオートゲイン機能が一般に用いられる。このような機能は、シーン全体を撮り、その平均をとって、所定の露出又はゲインの設定に適用することが多い。平均をとる方法は、画像と色数に非常に富むシーンでは有効であるが、変化に乏しいシーンではすぐに機能しなくなる。 In order to set the brightness level of the capture device, an automatic exposure function and an auto gain function are generally used. Such a function is often applied to a predetermined exposure or gain setting by taking the entire scene and taking the average. The averaging method is effective for scenes with a large number of images and colors, but quickly fails in scenes with little change.
現行のキャプチャ装置のコントラスト比の低さを解決する試みの1つに、逆光機能を用いる方法がある。例えば、日光などの明るい光源が背景に存在する場合、逆光補償は、シーンの中央をとり、その領域を平均として使用する。これにより、シーンの中央を明るくし、端の明るい日光を褪せさせる(washed out)(すなわち暗くする)ことができる。この逆光補償の短所は、明るくする物体がシーンの中央になければならない点にある。更に、平均の計算に、実際の物体自体ではなくシーンの一領域が使用されることで、表示に人為的な影響(artifacts)が生じてしまう可能性がある。また、逆光補償は、シーンの異なる領域に複数の前景画像が存在する場合は解決策とならない。更に、逆光補償によって前景の物体が明るくなるが、これと引き替えに背景の細部が失われてしまう。このためにユーザは、前景の細部と背景の細部のいずれをとるかを選択しなければならない。上記の欠点の幾つかは、インタラクティブなエンターテイメントアプリケーションに用いることができるビデオキャプチャ装置にも及ぶことがある。例えば、ビデオゲームにユーザの画像を取り込む際に、明るい光源が上記のような悪影響を表示画像に及ぼす可能性がある。この悪影響は、画像の表示画質を低下させることに加え、画像の物体のトラッキングの妨げとなる可能性がある。 One of the attempts to solve the low contrast ratio of current capture devices is a method using a backlight function. For example, if a bright light source such as sunlight is present in the background, backlight compensation takes the center of the scene and uses that area as an average. This can brighten the center of the scene and wash out (ie, darken) bright sunlight at the edges. The disadvantage of this backlight compensation is that the brightening object must be in the middle of the scene. Furthermore, the use of a region of the scene rather than the actual object itself for the average calculation can cause artifacts in the display. Also, backlight compensation is not a solution when there are multiple foreground images in different areas of the scene. Furthermore, the foreground object is brightened by the backlight compensation, but the background details are lost in exchange for this. For this purpose, the user must choose between taking foreground details and background details. Some of the above drawbacks may also extend to video capture devices that can be used for interactive entertainment applications. For example, when capturing a user's image in a video game, a bright light source may have the above-described adverse effects on the display image. This adverse effect may hinder the tracking of the object of the image in addition to lowering the display quality of the image.
したがって、従来技術の課題を解決するための、前景と背景の両方に対して、露出/ゲイン及びその他の関連パラメータが調整された画像を生成するシステム及び方法を提供することが求められている。 Therefore, there is a need to provide a system and method for generating images with adjusted exposure / gain and other related parameters for both foreground and background to solve the problems of the prior art.
おおまかにいうと本発明は、前景画像及び背景画像等のシーンの一部の調整を可能にする方法及びシステムを提供することによって、このようなニーズを満たす。これらにおいては、深度マスクにより前景画像と背景画像とが識別される。本発明は、プロセス、システム又は装置など、多くの方法で実装することができる点を理解されたい。以下に本発明のいくつかの発明の実施形態を記載する。 Broadly speaking, the present invention meets such needs by providing a method and system that allows for adjustment of portions of a scene, such as foreground and background images. In these, the foreground image and the background image are identified by the depth mask. It should be understood that the present invention can be implemented in many ways, such as a process, system or apparatus. Several inventive embodiments of the present invention are described below.
一実施形態において、画像キャプチャ装置によってキャプチャされるシーン内の前景の物体と背景の物体とを判別する方法が提供される。この方法は、光源から前記シーンの物体に向けて光線を射出するステップで始まる。この方法は、前記光源から出て反射された光が前記画像キャプチャ装置のセンサに入るように絞りカバーを開くステップを含む。前記光が進む最大距離に対応する所定の設定時間後に前記絞りカバーが閉じられる。次に、前記設定時間の間にキャプチャされた光に基づいて、前記シーンの前景領域内の物体を特定するための深度マスクが生成される。次に、前記シーンの後続の対応する画像をキャプチャする前に、前記深度マスクのビット値に従って画像キャプチャ装置のパラメータが調整される。 In one embodiment, a method for determining foreground and background objects in a scene captured by an image capture device is provided. The method begins with emitting light rays from a light source toward the object in the scene. The method includes the step of opening the aperture cover so that the light reflected from the light source enters the sensor of the image capture device. The aperture cover is closed after a predetermined set time corresponding to the maximum distance traveled by the light. A depth mask is then generated for identifying objects in the foreground region of the scene based on the light captured during the set time. Next, before capturing a subsequent corresponding image of the scene, parameters of the image capture device are adjusted according to the bit value of the depth mask.
別の実施形態では、画像キャプチャ装置の画像キャプチャ設定を調整する方法が提供される。この方法は、シーンを特定するステップで始まる。次に、前記シーンの画像がキャプチャされる。この方法は、前記シーンの前記画像を定義するデータから前記シーンの深度マスクを生成するステップを含む。次に、前記キャプチャされた画像の前景領域及び背景領域の一方又は両方の物体に対応するピクセル値が、深度マスクのビット値に基づいて調整される。 In another embodiment, a method for adjusting image capture settings of an image capture device is provided. This method begins with the step of identifying the scene. Next, an image of the scene is captured. The method includes generating a depth mask for the scene from data defining the image of the scene. Next, pixel values corresponding to one or both objects of the foreground region and the background region of the captured image are adjusted based on the bit value of the depth mask.
更に別の実施形態では、シーンの画像をキャプチャするように構成された画像キャプチャ装置が提供される。この画像キャプチャ装置は、前記シーンに対応付けられた深度マスクを提供するように構成された深度ロジックを有する。前記深度マスクは、前記シーン内の前景の物体と背景の物体とを判別するように構成されている。上記画像キャプチャ装置は、前記深度マスクの対応するビット値に基づいて前記画像に関連する特性を調整するように構成された画像キャプチャロジックも有する。前記ビット値は、ピクセル毎に前記前景の物体と前記背景の物体のいずれに対応するかを決定する。 In yet another embodiment, an image capture device configured to capture an image of a scene is provided. The image capture device includes depth logic configured to provide a depth mask associated with the scene. The depth mask is configured to discriminate between foreground and background objects in the scene. The image capture device also includes image capture logic configured to adjust characteristics associated with the image based on a corresponding bit value of the depth mask. The bit value determines which of the foreground object and the background object corresponds to each pixel.
更に別の実施形態では、システムが提供される。このシステムは、コンピューティング装置と、このコンピューティング装置と通信するディスプレイ画面とを有する。前記ディスプレイ画面はシーンの画像を表示するように構成されている。前記コンピューティング装置と通信するビデオキャプチャ装置が含まれる。前記ビデオキャプチャ装置は、前記ディスプレイ画面に提示するためのシーンの画像データを、前記コンピューティング装置に提供する。前記ビデオキャプチャ装置は、深度ロジックと画像キャプチャロジックとを有する。前記深度ロジックは、前記シーンに関連付けられた深度マスクを提供するように構成されている。前記深度マスクは、前記シーン内の前景の物体と背景の物体とを判別するように構成されている。前記画像キャプチャロジックは、前記深度マスクの対応するデータに基づいて前記画像データの各ピクセルに関連する特性を調整するように構成されている。前記深度マスクの前記データは、前記対応するピクセルに関連する物体と前記ビデオキャプチャ装置の間の相対距離を決定する。 In yet another embodiment, a system is provided. The system has a computing device and a display screen in communication with the computing device. The display screen is configured to display an image of a scene. A video capture device in communication with the computing device is included. The video capture device provides image data of a scene to be presented on the display screen to the computing device. The video capture device has depth logic and image capture logic. The depth logic is configured to provide a depth mask associated with the scene. The depth mask is configured to discriminate between foreground and background objects in the scene. The image capture logic is configured to adjust characteristics associated with each pixel of the image data based on corresponding data in the depth mask. The data of the depth mask determines the relative distance between the object associated with the corresponding pixel and the video capture device.
本発明の他の態様及び利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。 Other aspects and advantages of the present invention will become apparent from the following detailed description, taken in conjunction with the accompanying drawings, illustrating by way of example the principles of the invention.
本発明とその更なる利点とは、添付の図面を参照して以下の記載をよめば、よりよく理解できるであろう。 The invention and its further advantages will be better understood from the following description with reference to the accompanying drawings.
シーンの前景の物体と背景の物体とを判別して、物体が前景と背景のいずれに存在するかに基づいて、画像特性又はビデオ特性を調整するためのシステム及び方法に関して、発明が開示される。別の実施形態では、画像特性又はビデオ特性が、物体と画像キャプチャ装置間の相対距離に基づいて調整されうる。以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部又はすべてを用いなくとも本発明を実施し得ることは、当業者にとって自明である。場合によっては、本発明が不必要にわかりづらくならないように、公知のプロセス操作については詳しく記載しない。 The invention is disclosed with respect to systems and methods for discriminating foreground and background objects of a scene and adjusting image or video characteristics based on whether the object is in the foreground or background. . In another embodiment, image characteristics or video characteristics may be adjusted based on the relative distance between the object and the image capture device. In the following description, numerous specific details are set forth in order to provide a thorough understanding of the present invention. However, it will be apparent to those skilled in the art that the present invention may be practiced without some or all of these details. In some instances, well known process operations have not been described in detail so as not to unnecessarily obscure the present invention.
本発明の実施形態は、シーンの前景の物体か背景の物体かの選択からユーザを排除する方法及びシステムを提供する。深度情報を用いることにより、シーンが、深度の異なる領域に分割されうる。更に、深度情報により、画像の正確な輪郭の定義が可能となり、これにより、露出/ゲイン/輝度/ゲイン、及び焦点などの画像キャプチャ装置のパラメータを制御するための固有かつ高精度の機構が提供される。深度情報に基づいて分割することにより、デジタルキャプチャ装置のピクセル領域毎に異なるパラメータ値を割り当てることが可能となる。このため、後述する実施形態により、前景と背景との両方について露出/ゲインが適切に調整された画像が実現される。深度に基づく分割は、後述する深度機能を有する画像キャプチャ装置或いはタイムオブフライトカットオフ(time of flight cut-off)技術による光パルス/フラッシュを使用して生成することが可能な、前景/背景の深度マスクによって行われる。 Embodiments of the present invention provide a method and system that excludes a user from the selection of foreground or background objects in a scene. By using the depth information, the scene can be divided into regions having different depths. In addition, depth information allows the definition of the exact contour of an image, which provides a unique and precise mechanism for controlling image capture device parameters such as exposure / gain / brightness / gain and focus. Is done. By dividing based on the depth information, it is possible to assign different parameter values for each pixel region of the digital capture device. For this reason, an image in which the exposure / gain is appropriately adjusted for both the foreground and the background is realized by an embodiment described later. Depth-based segmentation can be generated using an image capture device with depth functionality, described below, or light pulses / flash using time of flight cut-off technology, foreground / background This is done with a depth mask.
図1は、本発明の一実施形態による画像キャプチャ装置によってキャプチャされ、その後表示される前景の物体と背景の物体とが存在するシーンを示す簡略模式図である。画像キャプチャ装置100は、前景の人物102と背景の景色104を含むシーンの画像をキャプチャするように構成されている。シーンのキャプチャ画像は、次いで表示パネル106に表示される。表示パネル106は、画像キャプチャ装置がデジタルカメラ又はカムコーダの場合には、画像キャプチャ装置100に固定された、例えば液晶ディスプレイ(LCD)パネル等の表示パネルである。その他に、画像キャプチャ装置がコンピューティング装置(ゲームコンソール等)と併用されるウェブカムの場合には、表示パネル106が画像キャプチャ装置100と離れていてもよく、例えばテレビ画面であってもよい。下記に詳述するように、前景画像102と背景の景色104は、それぞれ前景又は背景のどこに位置していても、対応する画像特性又はビデオ特性の補償を独立して受けることができる。図1には前景画像102が1つしか図示されていないが、複数の前景画像がキャプチャされてもよい点に留意されたい。複数の前景画像がある場合、それぞれの画像特性又はビデオ特性が、深度情報に基づいて独立して調整されうる。本明細書で用いられる、“画像特性又はビデオ特性”とは、画像表示のために調整することができる輝度、露出、ゲイン、焦点、及び他の適切な特性を指しうる。画像特性又はビデオ特性は、単に“特性”と呼ばれ、本明細書に記載の実施形態を用いて、画像データの表示品質を改良する固有の画像データに対応することがあるという点に留意すべきである。更に画像キャプチャ装置100は、デジタルスチルカメラ、一眼レフカメラ、ウェブカム又はカムコーダ等のビデオキャプチャ装置、又は他の適切な画像キャプチャ装置であってよい。
FIG. 1 is a simplified schematic diagram showing a scene in which there are foreground objects and background objects that are captured by an image capture device according to an embodiment of the present invention and then displayed. The
図1の画像キャプチャ装置100は、後で詳述するように、物体が前景領域と背景領域とのいずれに存在するかを特定するために、マスクを生成、利用することができる。このマスクは、その後、前景領域及び背景領域内の物体の細部を表示するために、前景領域、背景領域の両方の補償に使用されうる。例えば、シーンにおいて太陽108等の明るい光源の影響を減らす逆光補償を用いると、前景の物体(すなわち物体102)の細部が定義される一方、背景画像が暗くされる(washed out)。表示パネル106に太陽108が図示されているが、これは例示のために示した過ぎず、シーンは、太陽からの光によって悪影響を及ぼす、太陽の実際の画像を含む必要がない。逆光補償を行わなければ、前景の物体が暗くなり、生成される表示内でその細部が失われてしまう。下記で更に詳しく説明する深度マスク機能を用いると、前景及び背景の正確な位置と、シーン内の背景の物体を決定することができる。対応するピクセル値を操作して生成される画像を改善するために、この位置が、生成されるシーンの画像に変換されうる。更に、シーンに最適な設定のために、画像キャプチャ装置の設定(生成画像の画像特性又はビデオ特性に影響する機械的設定及び電気的設定等)が調整されうる。
The
画像キャプチャ装置100がウェブカム等のビデオキャプチャ装置の場合には、画像表示を改良又は改善するために、マスクが提供する深度情報によって可能となった改良された機能が、キャプチャされたビデオフレームに適用されうる。例えば、ビデオキャプチャ装置が、後にインタラクティブなエンタテインメントアプリケーションに取り込まれる物体又は人物のトラッキングに使用される場合、マスクを適用して、明るい光源の下で物体又は人物をトラッキングする際の不具合を回避することができる。本願の譲受人が所有するEYETOY(登録商標)アプリケーションなど、家庭用のビデオゲームアプリケーションでは、トラッキングされてビデオゲームに取り込まれるユーザが窓の前にいることがある。図4を参照して更に詳細に後述するように、明るい光源からの光が窓から入ってくる場合、ユーザが暗くなり(washed out)、窓にキャプチャ装置の焦点が合うことがある。この場合、ユーザがキャプチャ領域の中央にいなければ、逆光補償技術は効果がないという点に留意すべきである。
If the
図2は、本発明の一実施形態による、前景の物体と背景の物体との判別に用いる深度マスクを生成する様子を示す簡略模式図である。“深度マスク”及び“マスク”の文言は、本明細書中で置き換え可能に用いられ、複数の深度レイヤが含まれてもよい点に留意すべきである。例えば、前景と背景は2つの深度レイヤとなるが、シーンが3以上の深度レイヤに分割されてもよい。画像キャプチャ装置100は、光源110を備える。一実施形態では、光源110がバースト又はパルスの光を送出し、これが前景の物体114、116によって反射される。この反射光は、画像キャプチャ装置100のレンズ112の後方にあるセンサによって最終的にキャプチャされる。当然、光源110はカメラによく用いられるフラッシュであってもよい。センサは、画像キャプチャ装置100の任意の場所に配置することができ、所定の時間の間、シーン内の前景の物体から反射光を受け取ることができるものであることを当業者は理解するであろう。
FIG. 2 is a simplified schematic diagram illustrating the generation of a depth mask used to distinguish between foreground and background objects according to an embodiment of the present invention. It should be noted that the terms “depth mask” and “mask” are used interchangeably herein and may include multiple depth layers. For example, the foreground and the background are two depth layers, but the scene may be divided into three or more depth layers. The
光速は公知であるため、図2の画像キャプチャ装置100は、光源110の光のバーストをパルスとして送出し、前景の物体からの反射光を受光できるように、画像キャプチャ装置100の絞りを開くように構成されうる。絞りは、予め定められた所定の時間の間、開けておかれる。この予め定められた所定の時間は、光源110から送出されて反射されて画像キャプチャ装置100に戻る光が、定められた最長距離を通るように決められる。画像キャプチャ装置100からの最大距離は線117で示される。このため、線117より遠くにある反射源によって反射された光は、この反射光が画像キャプチャ装置のセンサに到達する前に絞りが閉じられるため、画像キャプチャ装置によって受光されなくなる。当然、光源の光のバーストにより発生したものではない周辺光は、受信光から差し引かれる。
Since the speed of light is known, the
タイムオブフライト(time of flight)によって前景の物体を決定するために、様々な技術を用いることができる。一つの技術に、周辺光には存在しない光の周波数を用いるものがある。別の実施形態では、発光しない状態でシーンの画像を取得して、次に光源から発光させた状態で画像を取得する。光源が発する光は、発光させたときの画像から、光源から光が発せられない、すなわち発光させないときの画像を差し引くことによって求めることができる。更に別の実施形態では、各ピクセルに当るべき光量のしきい値を定めることによって、光源からの反射光量を、周辺光と見分けることができる。このため、このしきい値未満の値は、装置から出た光ではないとみなされ、しきい値以上の値は、キャプチャ装置の光源から出た光であるとみなされる。更に別の実施形態では変調光源を使用する。この場合、光源からの光が変調形式(正弦波など)に形成される。選択される周波数は、光源を出てから装置に戻るまでの全飛程をカバーする変調期間が、複数存在しない範囲によって決まる。 Various techniques can be used to determine the foreground object by time of flight. One technique uses light frequencies that do not exist in ambient light. In another embodiment, an image of a scene is acquired without light emission, and then an image is acquired with light emitted from a light source. The light emitted from the light source can be obtained by subtracting the image when no light is emitted from the light source, that is, when no light is emitted, from the image when the light is emitted. In yet another embodiment, the amount of light reflected from the light source can be distinguished from ambient light by defining a threshold for the amount of light that should strike each pixel. Thus, values below this threshold are considered not to be light emitted from the device, and values above the threshold are considered to be light emitted from the light source of the capture device. In yet another embodiment, a modulated light source is used. In this case, the light from the light source is formed in a modulation format (such as a sine wave). The selected frequency is determined by a range in which a plurality of modulation periods that cover the entire range from exiting the light source to returning to the apparatus do not exist.
一実施形態では、最大距離は画像キャプチャ装置から4メートルに定義される。このデータから、深度マスクが生成されて画像キャプチャ装置のメモリに記憶される。この深度マスクは、これに従って前景の物体及び背景の物体の画像特性又はビデオ特性を補償するために、同時或いは続いてキャプチャされるシーンの画像と共に用いられうる。光源110が射出する光は、任意の適切な波長の光であってもよいことは、当業者にとって明らかであろう。一実施形態では、赤外光が光源110から射出される。
In one embodiment, the maximum distance is defined as 4 meters from the image capture device. From this data, a depth mask is generated and stored in the memory of the image capture device. This depth mask can be used with the scene image captured simultaneously or subsequently to compensate for the image or video characteristics of the foreground and background objects accordingly. It will be apparent to those skilled in the art that the light emitted by the
別の実施形態では、反射光によって定義される深度マスクはバイナリのビットマスクである。この場合、マスク内の、前景画像に対応する位置に第1の論理値が割り当てられ、背景画像に対応する位置に第2の論理値が割り当てられる。このため、画像キャプチャ装置100がデジタル装置の場合には、深度マスクと対応付けられた画像のピクセルデータが操作されて、前景画像及び背景画像の輝度が調整される。画像キャプチャ装置が従来のカメラの場合には、前景画像と背景画像が、光のバーストを発する上記の方法によって検出されうる。シーンの画像を取得する前に、前景画像及び背景画像の検出結果に基づいて、露出、ゲイン、輝度、焦点等のカメラの設定が調整されうる。上記のように、絞りのサイズが変更されて、画像キャプチャ装置が受け取る光量が調整されうる。当然、他の機械的設定及び電気的設定が生成画像の品質に影響する場合には、その機械的設定及び電気的設定が調整されうる。このように、前景か背景かのいずれかを選択するのではなく、前景と背景との両方のプロパティが調整されうる。
In another embodiment, the depth mask defined by the reflected light is a binary bit mask. In this case, the first logical value is assigned to the position corresponding to the foreground image in the mask, and the second logical value is assigned to the position corresponding to the background image. Therefore, when the
図3A、3Bは、本発明の一実施形態による、前景の物体の定義により可能となった詳細の量を示す簡略模式図である。図3Aは、矩形領域122によって定義された前景の物体を表示しているディスプレイ画面120を示す。図3Bは前景の物体124を表示しているディスプレイ画面120を示しており、この例では、前景画像の正確な輪郭をキャプチャするために本明細書に記載のようにマスクが定義されている。すなわち現行のオートフォーカス、オートゲイン、逆光補償の各技術では、画像キャプチャ装置が対象とするシーンの中央が、通常は領域として表され、画像の輪郭を正確に得ることができない。このため、図3Aに示すように、矩形領域122には前景の物体の他に、別の画像データも含まれる。更に、前景の物体が画像の中央の領域に存在しなければならず、外れている場合には、オートフォーカス、オートゲイン、又は逆光補償が機能しなくなる。これに対して深度マスクは、シーン内の位置に関係なく、どのような前景の物体でもキャプチャする。更に、前景の物体は、他の画像データを含まない形でキャプチャされる。上記のように、デジタル装置では、どのような前景の物体の画像特性又はビデオ特性も、ピクセル値を調整することによって操作することができる。従来のフィルムカメラの場合、ゲイン、露出、焦点、及び輝度を、深度マスクに対応して機械的又は電気的に調整することによって操作することができる。
3A and 3B are simplified schematic diagrams illustrating the amount of detail made possible by defining the foreground object, according to one embodiment of the invention. FIG. 3A shows the
図4は、本発明の一実施形態による、背景画像及び前景画像を定義するために生成されたマスクにより改善されたキャプチャ画像を示す簡略模式図である。ここで画像シーン128は、参加者130がインタラクティブなゲームアプリケーションに取り込まれる場合に、このインタラクティブなゲームアプリケーションのために、ビデオカム又はウェブカム等の画像キャプチャ装置によってキャプチャされるシーンでありえる。代表的なインタラクティブゲームアプリケーションに、EYETOY(登録商標)インタラクティブゲームアプリケーションがある。ここで、参加者130は、ウェブカム又は他の適切なビデオキャプチャ装置の前に立っている。参加者130の背後に窓132がある。窓132から明るい光が差し込んでいる場合に、参加者130が画像キャプチャ装置によってキャプチャされて生成された画像が暗くなるという点に留意すべきである。ユーザのトラッキングが重要なインタラクティブなビデオゲームアプリケーションでは、明るい光のためにユーザの画像が暗くなると、トラッキングが困難になる。このため、ビデオカムが本明細書に記載の実施形態を含む場合、ユーザのトラッキングがより容易になる。すなわち、上記のように生成されたマスクを使用して、ピクセル値を操作して輝度を下げることができる。
FIG. 4 is a simplified schematic diagram illustrating a captured image improved by a mask generated to define a background image and a foreground image according to an embodiment of the present invention. Here, the
図5は、本発明の一実施形態による、ユーザをより効果的にトラッキングするために生成されたマスクを利用する、インタラクティブなエンタテインメントシステムの簡略模式図である。ここで画像キャプチャ装置100は、ユーザの画像がディスプレイ画面136に表示されるように、ユーザ134の画像をキャプチャするように構成される。画像キャプチャ装置100はコンピューティング装置138と通信しており、コンピューティング装置138はディスプレイ画面136と通信している。図からわかるように、ユーザ134の画像135がディスプレイ画面136に表示されている。このためユーザ134が移動すると、この移動が画像キャプチャ装置100によってキャプチャされて、エンタテインメントアプリケーションと対話するためにディスプレイ画面136に表示される。上記のように、画像キャプチャ装置は、窓132から入ってくる明るい光を補償するように構成されている。
FIG. 5 is a simplified schematic diagram of an interactive entertainment system that utilizes a generated mask to more effectively track a user, according to one embodiment of the present invention. Here, the
引き続き図5を参照すると、画像キャプチャ装置100はビデオキャプチャ装置である。ここで、各ビデオフレームに対応するピクセルデータが、対応する深度マスクに従って調整されうる。一実施形態では、深度マスクがビデオフレーム毎に生成される。別の実施形態では、深度マスクがx個のフレーム毎に生成される(xは任意の整数でありえる)。本実施形態では、マスクと対応付けられていないフレームについては、マスクと対応付けられている直近のフレームの画像特性又はビデオ特性が適用される。このため、新しいマスクが生成されるまで、一定数のフレームについて画像特性又はビデオ特性が固定される。本明細書に記載の機能の処理がコンピューティング装置138のプロセッサによって実行されうるということは、当業者にとって明らかであろう。しかし、深度マスクは、画像キャプチャ装置100によって生成され、画像キャプチャ装置のメモリに記憶されてもよい。当然、画像キャプチャ装置が、深度マスクを生成し、画像特性又はビデオ特性を調整したり装置のパラメータを調整する機能を実行するマイクロプロセッサを備えていてもよい。
Still referring to FIG. 5, the
図5の画像キャプチャ装置100は、図2を参照して記載した技術によってマスクを生成するが、別の実施形態として、画像キャプチャ装置100が、3DV SYSTEM社のZCAM(登録商標)、又はCANESTA(登録商標)社から商業的に入手可能な同様の製品などの深度キャプチャロジックを備えていてもよい。深度キャプチャロジックは、本明細書に記載のように用いられる深度マスクを生成するために、シーン内の各ピクセルの深度値をキャプチャするイメージセンサを備える。図5には1人のユーザ134が図示されているが、本明細書に記載の実施形態において複数人のユーザが取り込まれてもよいという点に留意されたい。深度マスクにより、前景の物体と背景の物体の両方の画像特性又はビデオ特性の調整が可能となるため、ユーザ134が、画像キャプチャ装置100のために、キャプチャ領域の中央或いは他の特定の場所にいる必要がなくなる。図5に示すシステムの一例に、上記のEYETOY(登録商標)システムがあるという点に更に留意すべきである。
The
図6は、本発明の一実施形態よる画像キャプチャ装置の簡略模式図である。画像キャプチャ装置100は、深度ロジック140、画像キャプチャ装置ロジック142、及びメモリ144を備えており、これらはすべて相互に通信する。本明細書に記載のように、深度ロジック140は、深度情報を用いて画像キャプチャ装置100がキャプチャ画像を改善するためのマスクを生成するように構成された回路を備える。例えば、深度ロジック140は、画像シーン内の前景の物体と背景の物体とを判別するためにマスクを生成し、このマスクがメモリ144に記憶されうる。次に、画像キャプチャ装置ロジック142によってキャプチャされ処理された対応する画像のシーンが改善される。すなわち、深度マスクによって決定されるシーン内の物体が前景に存在するか背景に存在するかに応じて、特定の画像特性又はビデオ特性が、本明細書に記載のように操作される。一実施形態では、深度ロジック140は、ボタン141又はその他の適切な起動機構によって起動される。このためにユーザは、改善された画像を表現させるために深度ロジックを起動するか、或いは画像の表現を回避するかを選択することができる。
FIG. 6 is a simplified schematic diagram of an image capture device according to an embodiment of the present invention.
図7は、本発明において、前景画像と背景画像とを判別するように構成されたロジックを有する画像キャプチャ装置の別の簡略模式図である。画像キャプチャ装置100はレンズ150を備え、その背後に電荷結合素子(CCD)152が設けられる。深度ロジック140、マイクロプロセッサ(MPU)148、及びメモリ144も備えられている。画像キャプチャ装置100は表示パネル154を有する。画像キャプチャ装置100は図7においてデジタルカメラとして示されているが、本発明がデジタルカメラに限定されないということは当業者にとって明らかであろう。各フレーム或いはx番目のフレームの画像特性又はビデオ特性を調整するために、深度ロジックモジュール140がビデオキャプチャ装置に備えられていてもよい。
FIG. 7 is another simplified schematic diagram of an image capture device having logic configured to discriminate between foreground and background images in the present invention. The
図8は、本発明の一実施形態による、画像キャプチャ装置の画像キャプチャ設定を調整するための方法オペレーションを示すフローチャート図である。この方法は、シーンが特定される操作160で始まる。ここでは、画像キャプチャ装置を使用して、キャプチャ領域によって定義されるシーンが特定されうる。当然、画像キャプチャ装置はビデオキャプチャ装置であってもよい。次に、本方法は操作162に進み、前景領域と背景領域とに分割するためのシーンの深度マスクが生成される。一実施形態で深度マスクは、図2を参照して記載したように、光のパルスを発して、一定の距離内の物体からの反射をキャプチャすることによって生成される。ここで、光は赤外光でありえる。別の実施形態では、画像キャプチャ装置は、各ピクセルの深度値をキャプチャすることが可能な深度ロジックを備える。深度ロジックを有する代表的な画像キャプチャ装置に、上記のZCAM(登録商標)がある。次に、本方法は操作164に進み、深度マスクに対応するシーンの画像がキャプチャされる。ZCAM(登録商標)を用いた実施形態では、操作162と操作164が同時に実行される点に留意すべきである。次に、本方法は操作166に移動し、キャプチャ画像の前景領域、背景領域のいずれか、又は両方の物体のピクセル値が調整される。この調整は、上で定義した深度マスクに基づくものである。
FIG. 8 is a flowchart diagram illustrating method operations for adjusting image capture settings of an image capture device, in accordance with one embodiment of the present invention. The method begins at
例えば、深度マスクがビット値によって定義されてもよく、その場合、前景の物体に第1のビット値が割り当てられ、背景の物体に第2のビット値が割り当てられる。一実施形態では、調整の結果、前景の物体の輝度が上げられる一方、明るい光源が存在する背景の物体の輝度が下げられる。画像キャプチャ装置が、一眼レフ(SLR)カメラ等のデジタル装置ではない場合、画像キャプチャ装置のパラメータが、ビットマスクによって特定された前景の物体及び背景の物体に基づいて、機械的又は電気的に調整されうる。この機械的又は電気的な調整には、特定の露光レベルに対応した絞りサイズの調整、特定の焦点レベルに対応したレンズの設定の調整等がある。別の実施形態では、画像データに含まれる深度情報(すなわち画像データの各ピクセルに対応付けられた距離情報)に従ってピクセル値が調整される。絞りのサイズは、機械的又は電子的に制御できることを当業者は認めるであろう。電子制御は、チップ上のセンサによって実行されうる。このため、各ピクセルが電子制御によって個々に調整される。 For example, a depth mask may be defined by a bit value, in which case a foreground object is assigned a first bit value and a background object is assigned a second bit value. In one embodiment, the adjustment results in the brightness of the foreground object being increased while the brightness of the background object in the presence of a bright light source is decreased. If the image capture device is not a digital device such as a single lens reflex (SLR) camera, the parameters of the image capture device are adjusted mechanically or electrically based on the foreground and background objects specified by the bit mask Can be done. This mechanical or electrical adjustment includes adjustment of an aperture size corresponding to a specific exposure level, adjustment of lens settings corresponding to a specific focus level, and the like. In another embodiment, the pixel value is adjusted according to depth information included in the image data (ie, distance information associated with each pixel of the image data). Those skilled in the art will appreciate that the size of the iris can be controlled mechanically or electronically. Electronic control can be performed by sensors on the chip. For this reason, each pixel is individually adjusted by electronic control.
以上まとめると、シーンの対応する部分に対する深度マスクを生成することが可能な画像キャプチャ装置が提供される。本発明を、シーンの背景部分と前景部分(2レイヤ)に関して記載したが、本明細書に記載した実施形態は、任意の数のシーンのレイヤにも拡張することができるという点に留意すべきである。深度マスクにより、物体がシーンのどこに存在していても、画像の画像特性又はビデオ特性が選択的に調整されうる。更に、本明細書に記載したキャプチャ装置は、インタラクティブなエンタテインメントアプリケーションに改善された機能を実現する。例えば、ユーザがトラッキングされてその画像がビデオゲームに取り込まれるビデオゲームアプリケーションの場合、上記したキャプチャ装置により、ユーザのトラッキングの改善が実現される。ユーザは、キャプチャ領域のどこにでも自由に移動でき、中央の領域等の特定の領域に制約されることはない。更に、ユーザが明るい光源の前、例えば窓から日光が差し込む場所に移動しても、ユーザの画像の細部が失われることはない。ビデオキャプチャ装置の場合、調整が常に行われることのないように、フレームの間隔毎に調整が適用されてもよい。例えば、ユーザが短時間の間、体の前に黒い紙を掲げたときに、フレーム間隔の遅延により、ユーザが急に暗くなることがなくなる。また、ユーザが一時的に画像キャプチャ装置の視野を出てから戻って来たときに、シーンの調整と再調整が行われない。 In summary, an image capture device capable of generating a depth mask for a corresponding portion of a scene is provided. It should be noted that although the present invention has been described with respect to the background portion and foreground portion (two layers) of the scene, the embodiments described herein can be extended to any number of scene layers. It is. The depth mask allows the image characteristics or video characteristics of the image to be selectively adjusted wherever the object is present in the scene. In addition, the capture device described herein provides improved functionality for interactive entertainment applications. For example, in the case of a video game application in which a user is tracked and an image thereof is captured in a video game, the above-described capture device improves the user tracking. The user can freely move anywhere in the capture area and is not restricted to a specific area such as the center area. Furthermore, if the user moves in front of a bright light source, for example where sunlight enters through a window, the details of the user's image are not lost. In the case of a video capture device, the adjustment may be applied at every frame interval so that the adjustment is not always performed. For example, when the user holds black paper in front of his / her body for a short time, the user does not suddenly become dark due to the delay of the frame interval. Also, when the user comes out of the field of view of the image capture device and returns, the scene adjustment and readjustment are not performed.
上記の実施形態は、インタラクティブなエンタテインメント入力装置、すなわちEYETOY(登録商標)システムキャプチャ装置以外のシステムにも拡張することができるという点に留意すべきである。例えば、ビデオキャプチャ装置は、会議のための改良されたビデオ画像を提供するために、テレビ会議システムに使用されてもよい。ここでキャプチャ装置は、トラッキング目的に使用されなくてもよく、深度情報によって実現される画像特性又はビデオ特性の改善を目的としてもよい。 It should be noted that the above embodiments can be extended to systems other than interactive entertainment input devices, ie EYETOY® system capture devices. For example, a video capture device may be used in a video conference system to provide improved video images for a conference. Here, the capture device may not be used for tracking purposes, and may be intended to improve image characteristics or video characteristics realized by depth information.
本発明は、コンピュータシステムに記憶されているデータに関わる、各種のコンピュータに実装された操作を使用し得る。これらの操作は、物理量の物理的操作を必要とする。この物理量は通常、記憶、転送、結合、比較等の操作が可能な電気信号又は磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定、又は比較等と呼ばれることが多い。 The present invention can use various computer-implemented operations involving data stored in a computer system. These operations require physical manipulation of physical quantities. This physical quantity usually takes the form of an electrical or magnetic signal that can be stored, transferred, combined, compared, etc., but is not necessarily limited thereto. Furthermore, the operations performed are often referred to as generation, identification, determination, or comparison.
本発明の一部を構成する本明細書に記載された操作は、いずれも有用な機械的操作である。本発明は、これらの操作を実行するデバイス又は装置にも関係する。この装置は、所望の目的のために特別に構成されたものであっても、或いは汎用コンピュータで、そのコンピュータに記憶されているコンピュータプログラムによって選択的に動作若しくは構成されてもよい。特に、各種の汎用の機械を、本明細書の開示に従って記述したコンピュータプログラムと併用してもよく、或いは所望の操作を実行するために特化した機械を構成するほうが利便性が高いこともある。 Any of the operations described herein that form part of the present invention are useful mechanical operations. The present invention also relates to a device or apparatus that performs these operations. This device may be specially configured for the desired purpose, or it may be a general purpose computer selectively operated or configured by a computer program stored in the computer. In particular, various general-purpose machines may be used in combination with the computer program described in accordance with the disclosure of the present specification, or it may be more convenient to construct a specialized machine for executing a desired operation. .
上記に、本発明を明確に理解できるように本発明を多少詳細に記載したが、変更例又は変形例を実施可能であることは明らかである。したがって、本実施形態は例に過ぎず、限定を意図したものではなく、本発明は、本明細書に記載されている詳細な事項に限定されることはなく、明細書の範囲及びその均等物の範囲内で変更することができる。 Although the present invention has been described in some detail for purposes of clarity of understanding, it will be apparent that certain changes and modifications may be practiced. Accordingly, the embodiments are merely examples, and are not intended to be limiting. The present invention is not limited to the detailed matters described in the present specification, and the scope of the specification and equivalents thereof. It can be changed within the range.
Claims (32)
光源から前記シーンの物体に向けて光線を射出するステップと、
前記光源から出て反射された光が前記画像キャプチャ装置のセンサに入るように絞りカバーを開くステップと、
前記光が進む最大距離に対応する所定の設定時間後に前記絞りカバーを閉じるステップと、
前記設定時間の間にキャプチャされた光に基づいて、前記シーンの前景領域内の物体を特定する深度マスクを生成するステップと、
前記シーンの後続の対応する画像をキャプチャする前に、前記深度マスクのビット値に従って画像キャプチャ装置のパラメータを調整するステップと、を含む、
方法。 A method for determining a foreground object and a background object in a scene captured by an image capture device,
Emitting light from a light source toward the object in the scene;
Opening the aperture cover so that the light reflected from the light source enters the sensor of the image capture device;
Closing the aperture cover after a predetermined set time corresponding to the maximum distance traveled by the light;
Generating a depth mask that identifies objects in the foreground region of the scene based on light captured during the set time;
Adjusting a parameter of the image capture device according to the bit value of the depth mask before capturing a subsequent corresponding image of the scene;
Method.
請求項1記載の方法。 Storing the depth mask in a memory of the image capture device;
The method of claim 1.
請求項1記載の方法。 The light source is configured to emit infrared light;
The method of claim 1.
前記前景領域内の前記物体から反射光を受け取るステップを含む、
請求項1記載の方法。 Opening the aperture cover to enter the sensor of the image capture device,
Receiving reflected light from the object in the foreground region,
The method of claim 1.
第1のビット値により前記前景領域内の物体を特定するステップと、
第2のビット値により背景領域内の物体を特定するステップと、を含む、
請求項1記載の方法。 Based on the light captured during the set time, the step of generating a depth mask that identifies objects in the foreground region of the scene comprises:
Identifying an object in the foreground region by a first bit value;
Identifying an object in the background region by a second bit value,
The method of claim 1.
前記深度マスクに基づいて最適光量を決めるステップと、
前記最適光量が前記画像キャプチャ装置に入るように前記絞りカバーを調整するステップと、を含む、
請求項1記載の方法。 Adjusting the parameters of the image capture device according to the bit value of the depth mask before capturing a subsequent corresponding image of the scene,
Determining an optimum amount of light based on the depth mask;
Adjusting the aperture cover so that the optimum light quantity enters the image capture device,
The method of claim 1.
請求項1記載の方法。 The image capture device parameters are selected from the group consisting of focus, brightness, exposure, and gain.
The method of claim 1.
前記光源から赤外光をパルスとして送出するステップを含む、
請求項1記載の方法。 The step of emitting light from a light source toward the object of the scene comprises:
Sending infrared light as pulses from the light source,
The method of claim 1.
シーンを特定するステップと、
前記シーンの画像をキャプチャするステップと、
前記シーンの前記画像を定義するデータから前記シーンの深度マスクを生成するステップと、
前記キャプチャされた画像の前景領域及び背景領域の一方又は両方の物体に対応するピクセル値を調整するステップと、を含む、
方法。 A method of adjusting image capture settings of an image capture device,
Identifying the scene,
Capturing an image of the scene;
Generating a depth mask for the scene from data defining the image of the scene;
Adjusting pixel values corresponding to objects in one or both of the foreground region and the background region of the captured image.
Method.
前記シーンの前記前景領域と背景領域とを分割するステップを含む、
請求項9記載の方法。 Generating the scene depth mask from data defining the image of the scene;
Dividing the foreground region and the background region of the scene,
The method of claim 9.
請求項9記載の方法。 The data defining the image of the scene includes pixel data in which distance information is associated with each pixel.
The method of claim 9.
前記前景領域に対応するピクセル値を、前記背景領域に対応するピクセル値とは独立して調整するステップを含む、
請求項9記載の方法。 Adjusting the pixel values corresponding to one or both objects in the foreground region and the background region of the captured image based on the bit value of the depth mask;
Adjusting the pixel value corresponding to the foreground region independently of the pixel value corresponding to the background region;
The method of claim 9.
請求項9記載の方法。 The image capture device is selected from the group consisting of a digital camera, a webcam, and a camcorder;
The method of claim 9.
請求項9記載の方法。 Further comprising displaying a portion of the image of the scene using the adjusted pixel values.
The method of claim 9.
請求項14記載の方法。 The part of the image of the scene is an image of a participant for use in an interactive game application;
The method of claim 14.
前記深度マスクのビット値に従って前記ピクセル値を調整するステップを含む、
請求項9記載の方法。 Adjusting the pixel values corresponding to one or both objects in the foreground region and background region of the captured image;
Adjusting the pixel value according to the bit value of the depth mask;
The method of claim 9.
前記シーンに対応付けられ、前記シーン内の前景の物体と背景の物体とを判別するように構成された深度マスクを提供するように構成された深度ロジックと、
前記深度マスクの対応するビット値に基づいて前記画像に関連する特性を調整するように構成された画像キャプチャロジックと、を備え、
前記ビット値は、ピクセル毎に前記前景の物体と前記背景の物体のいずれに対応するかを定義する、
画像キャプチャ装置。 An image capture device configured to provide an image of a scene,
Depth logic associated with the scene and configured to provide a depth mask configured to discriminate between foreground and background objects in the scene;
Image capture logic configured to adjust characteristics associated with the image based on corresponding bit values of the depth mask; and
The bit value defines, for each pixel, whether to correspond to the foreground object or the background object;
Image capture device.
請求項17記載の画像キャプチャ装置。 The depth mask is a bit mask having a first logical value assigned to represent the foreground object and a second logical value assigned to represent the background object;
The image capture device according to claim 17.
請求項17記載の画像キャプチャ装置。 The sensor further comprises a sensor in communication with the depth logic, wherein the sensor is configured to receive a light signal reflected from one of the foreground objects, wherein the reception of the light signal is performed on the foreground. Indicates a position corresponding to one of the objects,
The image capture device according to claim 17.
請求項17記載の画像キャプチャ装置。 Each logic element is one of hardware and software, or a combination of hardware and software.
The image capture device according to claim 17.
請求項17記載の画像キャプチャ装置。 The image capture device is a video capture device;
The image capture device according to claim 17.
請求項21記載の画像キャプチャ装置。 The depth logic is further configured to periodically provide a depth mask to a series of video frames captured by the video capture device;
The image capture device according to claim 21.
請求項17記載の画像キャプチャ装置。 The characteristic is selected from the group consisting of exposure, gain, focus, and brightness.
The image capture device according to claim 17.
請求項17記載の画像キャプチャ装置。 The image capture logic is further configured to adjust each pixel of the image data of the scene;
The image capture device according to claim 17.
前記コンピューティング装置と通信して、シーンの画像を表示するように構成されたディスプレイ画面と、
前記コンピューティング装置と通信して、前記ディスプレイ画面に提示するために、シーンの画像データを前記コンピューティング装置に提供するように構成されたビデオキャプチャ装置と、を備えており、
前記ビデオキャプチャ装置は、
前記シーンに対応付けられ、前記シーン内の前景の物体と背景の物体とを判別するように構成された深度マスクを提供するように構成された深度ロジックと、
深度情報に基づいて前記画像データの各ピクセルに関連する特性を調整するように構成された画像キャプチャロジックと、を備える、
システム。 A computing device;
A display screen configured to communicate with the computing device to display an image of a scene;
A video capture device configured to provide image data of a scene to the computing device for communication with the computing device for presentation on the display screen;
The video capture device includes:
Depth logic associated with the scene and configured to provide a depth mask configured to discriminate between foreground and background objects in the scene;
Image capture logic configured to adjust characteristics associated with each pixel of the image data based on depth information;
system.
請求項25記載のシステム。 The computing device is a game console;
26. The system of claim 25.
請求項25記載のシステム。 The depth logic is further configured to periodically provide a depth mask for a series of video frames captured by the video capture device;
26. The system of claim 25.
請求項25記載のシステム。 The characteristic is selected from the group consisting of exposure, gain, focus, and brightness.
26. The system of claim 25.
請求項25記載のシステム。 The video capture device is a webcam;
26. The system of claim 25.
請求項25記載のシステム。 The image data defines data for each pixel, and the data for each pixel includes distance information;
26. The system of claim 25.
請求項26記載のシステム。 The image data of the scene includes an image of a person, and the image of the person is captured in the video game for interaction with the video game.
27. The system of claim 26.
請求項25記載のシステム。 The depth information is obtained from a depth mask, the depth mask defining a relative distance between an object corresponding to a corresponding pixel and the video capture device;
26. The system of claim 25.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/758,817 US7663689B2 (en) | 2004-01-16 | 2004-01-16 | Method and apparatus for optimizing capture device settings through depth information |
PCT/US2004/042448 WO2005074257A1 (en) | 2004-01-16 | 2004-12-17 | Method and apparatus for optimizing capture device settings through depth information |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007518357A true JP2007518357A (en) | 2007-07-05 |
JP4452891B2 JP4452891B2 (en) | 2010-04-21 |
Family
ID=34749580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006549296A Expired - Fee Related JP4452891B2 (en) | 2004-01-16 | 2004-12-17 | Method and apparatus for optimizing capture device settings with depth information |
Country Status (7)
Country | Link |
---|---|
US (2) | US7663689B2 (en) |
EP (2) | EP2290949B1 (en) |
JP (1) | JP4452891B2 (en) |
KR (1) | KR100810844B1 (en) |
CN (1) | CN1926851B (en) |
TW (1) | TWI266248B (en) |
WO (1) | WO2005074257A1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019194670A (en) * | 2018-02-25 | 2019-11-07 | オルボテック リミテッド | Range differentiators for auto-focusing in optical imaging systems |
WO2023047645A1 (en) * | 2021-09-21 | 2023-03-30 | ソニーグループ株式会社 | Information processing device, image processing method, and program |
Families Citing this family (124)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8897596B1 (en) * | 2001-05-04 | 2014-11-25 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with translucent elements |
US8401336B2 (en) | 2001-05-04 | 2013-03-19 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with augmented computer-generated elements |
US9286941B2 (en) | 2001-05-04 | 2016-03-15 | Legend3D, Inc. | Image sequence enhancement and motion picture project management system |
US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
US7782297B2 (en) * | 2002-07-27 | 2010-08-24 | Sony Computer Entertainment America Inc. | Method and apparatus for use in determining an activity level of a user in relation to a system |
US8326084B1 (en) * | 2003-11-05 | 2012-12-04 | Cognex Technology And Investment Corporation | System and method of auto-exposure control for image acquisition hardware using three dimensional information |
US7663689B2 (en) * | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
IL162921A0 (en) * | 2004-07-08 | 2005-11-20 | Hi Tech Solutions Ltd | Character recognition system and method |
WO2007043452A1 (en) * | 2005-10-12 | 2007-04-19 | Pioneer Corporation | Vehicle-mounted imaging device and method of measuring imaging/movable range |
US7821570B2 (en) * | 2005-11-30 | 2010-10-26 | Eastman Kodak Company | Adjusting digital image exposure and tone scale |
US8229166B2 (en) * | 2009-07-07 | 2012-07-24 | Trimble Navigation, Ltd | Image-based tracking |
EP3711828B1 (en) * | 2006-05-04 | 2023-03-15 | Sony Interactive Entertainment LLC | Scheme for detecting and tracking user manipulation of a game controller body and for translating movements thereof into inputs and game commands |
EP2584494A3 (en) * | 2006-08-03 | 2015-02-11 | Alterface S.A. | Method and device for identifying and extracting images of multiple users, and for recognizing user gestures |
US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
US20090017910A1 (en) * | 2007-06-22 | 2009-01-15 | Broadcom Corporation | Position and motion tracking of an object |
WO2008102296A2 (en) * | 2007-02-23 | 2008-08-28 | Koninklijke Philips Electronics N.V. | Method for enhancing the depth sensation of an image |
US10063848B2 (en) * | 2007-08-24 | 2018-08-28 | John G. Posa | Perspective altering display system |
US8237850B2 (en) * | 2007-08-27 | 2012-08-07 | Sanyo Electric Co., Ltd. | Electronic camera that adjusts the distance from an optical lens to an imaging surface |
JP5210121B2 (en) * | 2007-11-16 | 2013-06-12 | キヤノン株式会社 | Imaging apparatus and control method thereof |
US8358370B2 (en) * | 2007-12-05 | 2013-01-22 | Nxp B.V. | Flash light compensation system for digital camera system |
WO2009073950A1 (en) * | 2007-12-13 | 2009-06-18 | Keigo Izuka | Camera system and method for amalgamating images to create an omni-focused image |
US8282485B1 (en) * | 2008-06-04 | 2012-10-09 | Zhang Evan Y W | Constant and shadowless light source |
US8311275B1 (en) | 2008-06-10 | 2012-11-13 | Mindmancer AB | Selective viewing of a scene |
TWI374400B (en) * | 2008-06-11 | 2012-10-11 | Vatics Inc | Method for auto-exposure control |
JP4655238B2 (en) * | 2008-09-19 | 2011-03-23 | ソニー株式会社 | Image processing apparatus and method, and program |
ES2346949B1 (en) * | 2009-04-20 | 2011-08-18 | Imagsa Technologies S.A. | PROCEDURE FOR IDENTIFICATION OF REFLECTIVE OBJECTS SUBJECT TO VARIABLE LIGHTING CONDITIONS AND SYSTEM FOR CARRYING OUT SUCH PROCEDURE. |
US8374454B2 (en) * | 2009-07-28 | 2013-02-12 | Eastman Kodak Company | Detection of objects using range information |
US8509519B2 (en) * | 2009-07-29 | 2013-08-13 | Intellectual Ventures Fund 83 Llc | Adjusting perspective and disparity in stereoscopic image pairs |
US8213052B2 (en) * | 2009-07-31 | 2012-07-03 | Eastman Kodak Company | Digital image brightness adjustment using range information |
US8218823B2 (en) * | 2009-08-11 | 2012-07-10 | Eastman Kodak Company | Determining main objects using range information |
US20110044552A1 (en) * | 2009-08-24 | 2011-02-24 | Jonathan Yen | System and method for enhancement of images in a selected region of interest of a captured image |
US20110216160A1 (en) * | 2009-09-08 | 2011-09-08 | Jean-Philippe Martin | System and method for creating pseudo holographic displays on viewer position aware devices |
US8941726B2 (en) * | 2009-12-10 | 2015-01-27 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for segmenting moving objects from images using foreground extraction |
US8933884B2 (en) * | 2010-01-15 | 2015-01-13 | Microsoft Corporation | Tracking groups of users in motion capture system |
CA2788933C (en) * | 2010-02-03 | 2017-04-25 | Visual Sports Systems | Collapsible enclosure for playing games on computers and gaming consoles |
TWI454140B (en) * | 2010-06-08 | 2014-09-21 | Univ Nat Taiwan | Method for interacting with a video and simulation game system |
US20120050491A1 (en) * | 2010-08-27 | 2012-03-01 | Nambi Seshadri | Method and system for adjusting audio based on captured depth information |
JP5175910B2 (en) * | 2010-09-16 | 2013-04-03 | 株式会社東芝 | Image processing apparatus, image processing method, and program |
US8687914B2 (en) * | 2010-10-13 | 2014-04-01 | Ability Enterprise Co., Ltd. | Method of producing an image |
US9628755B2 (en) * | 2010-10-14 | 2017-04-18 | Microsoft Technology Licensing, Llc | Automatically tracking user movement in a video chat application |
US8773577B2 (en) * | 2010-10-27 | 2014-07-08 | Qualcomm Incorporated | Region of interest extraction |
CN102479032A (en) * | 2010-11-26 | 2012-05-30 | 腾讯科技(深圳)有限公司 | Method and system for regulating background during watching of ipad video, and ipad video player |
US9848106B2 (en) * | 2010-12-21 | 2017-12-19 | Microsoft Technology Licensing, Llc | Intelligent gameplay photo capture |
CN103283241B (en) * | 2011-01-07 | 2016-03-16 | 索尼电脑娱乐美国公司 | The multisample of the reprojection of two dimensional image is resolved |
US9288476B2 (en) | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
US9407904B2 (en) | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
US9282321B2 (en) | 2011-02-17 | 2016-03-08 | Legend3D, Inc. | 3D model multi-reviewer system |
US9241147B2 (en) | 2013-05-01 | 2016-01-19 | Legend3D, Inc. | External depth map transformation method for conversion of two-dimensional images to stereoscopic images |
US9307134B2 (en) * | 2011-03-25 | 2016-04-05 | Sony Corporation | Automatic setting of zoom, aperture and shutter speed based on scene depth map |
EP2541945A3 (en) * | 2011-06-30 | 2013-08-21 | Broadcom Corporation | Method and system for utilizing an image sensor pipeline (ISP) for 3D imaging processing utilizing Z-depth information |
US8509545B2 (en) | 2011-11-29 | 2013-08-13 | Microsoft Corporation | Foreground subject detection |
JP5713885B2 (en) * | 2011-12-26 | 2015-05-07 | キヤノン株式会社 | Image processing apparatus, image processing method, program, and storage medium |
US8619148B1 (en) * | 2012-01-04 | 2013-12-31 | Audience, Inc. | Image correction after combining images from multiple cameras |
US8638989B2 (en) | 2012-01-17 | 2014-01-28 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9679215B2 (en) | 2012-01-17 | 2017-06-13 | Leap Motion, Inc. | Systems and methods for machine control |
US10691219B2 (en) | 2012-01-17 | 2020-06-23 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US8693731B2 (en) | 2012-01-17 | 2014-04-08 | Leap Motion, Inc. | Enhanced contrast for object detection and characterization by optical imaging |
US9501152B2 (en) | 2013-01-15 | 2016-11-22 | Leap Motion, Inc. | Free-space user interface and control using virtual constructs |
US11493998B2 (en) | 2012-01-17 | 2022-11-08 | Ultrahaptics IP Two Limited | Systems and methods for machine control |
US9070019B2 (en) | 2012-01-17 | 2015-06-30 | Leap Motion, Inc. | Systems and methods for capturing motion in three-dimensional space |
US9894269B2 (en) * | 2012-10-31 | 2018-02-13 | Atheer, Inc. | Method and apparatus for background subtraction using focus differences |
TWI489090B (en) * | 2012-10-31 | 2015-06-21 | Pixart Imaging Inc | Detection system |
US9285893B2 (en) | 2012-11-08 | 2016-03-15 | Leap Motion, Inc. | Object detection and tracking with variable-field illumination devices |
US9007365B2 (en) | 2012-11-27 | 2015-04-14 | Legend3D, Inc. | Line depth augmentation system and method for conversion of 2D images to 3D images |
US9547937B2 (en) | 2012-11-30 | 2017-01-17 | Legend3D, Inc. | Three-dimensional annotation system and method |
US20140184586A1 (en) * | 2013-01-02 | 2014-07-03 | International Business Machines Corporation | Depth of field visualization |
US10609285B2 (en) | 2013-01-07 | 2020-03-31 | Ultrahaptics IP Two Limited | Power consumption in motion-capture systems |
US9465461B2 (en) | 2013-01-08 | 2016-10-11 | Leap Motion, Inc. | Object detection and tracking with audio and optical signals |
US9459697B2 (en) | 2013-01-15 | 2016-10-04 | Leap Motion, Inc. | Dynamic, free-space user interactions for machine control |
US9632658B2 (en) | 2013-01-15 | 2017-04-25 | Leap Motion, Inc. | Dynamic user interactions for display control and scaling responsiveness of display objects |
US9498885B2 (en) | 2013-02-27 | 2016-11-22 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with confidence-based decision support |
US9798302B2 (en) | 2013-02-27 | 2017-10-24 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with redundant system input support |
US9393695B2 (en) | 2013-02-27 | 2016-07-19 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with person and object discrimination |
US9804576B2 (en) | 2013-02-27 | 2017-10-31 | Rockwell Automation Technologies, Inc. | Recognition-based industrial automation control with position and derivative decision reference |
WO2014200589A2 (en) | 2013-03-15 | 2014-12-18 | Leap Motion, Inc. | Determining positional information for an object in space |
US9860510B2 (en) * | 2013-03-15 | 2018-01-02 | Intuitive Surgical Operations, Inc. | Depth based modification of captured images |
US9007404B2 (en) | 2013-03-15 | 2015-04-14 | Legend3D, Inc. | Tilt-based look around effect image enhancement method |
US10620709B2 (en) | 2013-04-05 | 2020-04-14 | Ultrahaptics IP Two Limited | Customized gesture interpretation |
US9916009B2 (en) | 2013-04-26 | 2018-03-13 | Leap Motion, Inc. | Non-tactile interface systems and methods |
US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
US9747696B2 (en) | 2013-05-17 | 2017-08-29 | Leap Motion, Inc. | Systems and methods for providing normalized parameters of motions of objects in three-dimensional space |
US9894255B2 (en) | 2013-06-17 | 2018-02-13 | Industrial Technology Research Institute | Method and system for depth selective segmentation of object |
CN103399629B (en) * | 2013-06-29 | 2017-09-19 | 华为技术有限公司 | The method and apparatus for obtaining gesture screen display coordinate |
US10281987B1 (en) | 2013-08-09 | 2019-05-07 | Leap Motion, Inc. | Systems and methods of free-space gestural interaction |
US9721383B1 (en) | 2013-08-29 | 2017-08-01 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
US9632572B2 (en) | 2013-10-03 | 2017-04-25 | Leap Motion, Inc. | Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation |
KR20150047397A (en) * | 2013-10-24 | 2015-05-04 | 삼성전자주식회사 | Image processing device for extracting foreground object and image processing method thereof |
US9996638B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Predictive information for free space gesture control and communication |
CN103606182B (en) | 2013-11-19 | 2017-04-26 | 华为技术有限公司 | Method and device for image rendering |
US20150172541A1 (en) * | 2013-12-17 | 2015-06-18 | Glen J. Anderson | Camera Array Analysis Mechanism |
TWI532026B (en) * | 2013-12-18 | 2016-05-01 | 原相科技股份有限公司 | Image beightness adjusting method, object tracking method and object tracking apparatus |
US9613262B2 (en) | 2014-01-15 | 2017-04-04 | Leap Motion, Inc. | Object detection and tracking for providing a virtual device experience |
KR101844278B1 (en) * | 2014-01-23 | 2018-04-02 | 삼성전자주식회사 | Parameter learning method for estimating posture of articulated object and posture estimating method of articulated object |
US9807372B2 (en) | 2014-02-12 | 2017-10-31 | Htc Corporation | Focused image generation single depth information from multiple images from multiple sensors |
CN104853080B (en) * | 2014-02-13 | 2018-05-11 | 宏达国际电子股份有限公司 | Image processing apparatus |
WO2015136323A1 (en) * | 2014-03-11 | 2015-09-17 | Sony Corporation | Exposure control using depth information |
US9196027B2 (en) | 2014-03-31 | 2015-11-24 | International Business Machines Corporation | Automatic focus stacking of captured images |
US9449234B2 (en) | 2014-03-31 | 2016-09-20 | International Business Machines Corporation | Displaying relative motion of objects in an image |
US9300857B2 (en) | 2014-04-09 | 2016-03-29 | International Business Machines Corporation | Real-time sharpening of raw digital images |
DE202014103729U1 (en) | 2014-08-08 | 2014-09-09 | Leap Motion, Inc. | Augmented reality with motion detection |
US9350924B2 (en) | 2014-08-25 | 2016-05-24 | John G. Posa | Portable electronic devices with integrated image/video compositing |
US9804392B2 (en) | 2014-11-20 | 2017-10-31 | Atheer, Inc. | Method and apparatus for delivering and controlling multi-feed data |
US9638984B2 (en) * | 2015-03-10 | 2017-05-02 | Qualcomm Incorporated | Search range extension for depth assisted autofocus |
US9826149B2 (en) * | 2015-03-27 | 2017-11-21 | Intel Corporation | Machine learning of real-time image capture parameters |
US9756256B2 (en) * | 2015-05-28 | 2017-09-05 | Intel Corporation | Spatially adjustable flash for imaging devices |
CN105991939A (en) * | 2015-06-19 | 2016-10-05 | 乐视移动智能信息技术(北京)有限公司 | Image processing method and device |
US9609307B1 (en) | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
US10708577B2 (en) | 2015-12-16 | 2020-07-07 | Facebook Technologies, Llc | Range-gated depth camera assembly |
US10089964B2 (en) * | 2015-12-18 | 2018-10-02 | Intel Corporation | Graphics processor logic for encoding increasing or decreasing values |
CN105608699B (en) * | 2015-12-25 | 2019-03-29 | 联想(北京)有限公司 | A kind of image processing method and electronic equipment |
CN105872319B (en) * | 2016-03-29 | 2018-12-18 | 深圳迪乐普数码科技有限公司 | A kind of depth of field measurement method |
DE102016119639A1 (en) * | 2016-10-14 | 2018-04-19 | Uniqfeed Ag | System for dynamic contrast maximization between foreground and background in images or / and image sequences |
US10867491B2 (en) * | 2016-10-24 | 2020-12-15 | Signify Holding B.V. | Presence detection system and method |
JP7320352B2 (en) * | 2016-12-28 | 2023-08-03 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 3D model transmission method, 3D model reception method, 3D model transmission device, and 3D model reception device |
CN108446705B (en) * | 2017-02-16 | 2021-03-23 | 华为技术有限公司 | Method and apparatus for image processing |
CN107071282B (en) * | 2017-04-19 | 2020-04-24 | 维沃移动通信有限公司 | Photo processing method and mobile terminal |
WO2018205229A1 (en) * | 2017-05-11 | 2018-11-15 | 深圳市大疆创新科技有限公司 | Supplemental light control device, system, method, and mobile device |
CN108024057B (en) * | 2017-11-30 | 2020-01-10 | Oppo广东移动通信有限公司 | Background blurring processing method, device and equipment |
US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
CN110209063A (en) * | 2019-05-23 | 2019-09-06 | 成都世纪光合作用科技有限公司 | A kind of smart machine control method and device |
Family Cites Families (294)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3943277A (en) * | 1969-02-20 | 1976-03-09 | The United States Of America As Represented By The Secretary Of The Navy | Digital memory area correlation tracker |
US4313227A (en) * | 1979-01-29 | 1982-01-26 | Texas Instruments Incorporated | Light energy information transmission system |
US4263504A (en) * | 1979-08-01 | 1981-04-21 | Ncr Corporation | High density matrix code |
US6772057B2 (en) | 1995-06-07 | 2004-08-03 | Automotive Technologies International, Inc. | Vehicular monitoring systems using image processing |
US4565999A (en) * | 1983-04-01 | 1986-01-21 | Prime Computer, Inc. | Light pencil |
US4591842A (en) * | 1983-05-26 | 1986-05-27 | Honeywell Inc. | Apparatus for controlling the background and foreground colors displayed by raster graphic system |
US4558864A (en) | 1984-06-13 | 1985-12-17 | Medwedeff Marion C | Handgrip exercising, computer game controller |
US4843568A (en) * | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
JPS6347616A (en) * | 1986-08-15 | 1988-02-29 | Ricoh Co Ltd | Measurement of moving quantity |
JPH07119893B2 (en) * | 1986-09-22 | 1995-12-20 | オリンパス光学工業株式会社 | Endoscope optical system |
EP0348430A4 (en) | 1987-02-04 | 1992-08-19 | Mayo Foundation For Medical Education And Research | Joystick apparatus having six degrees freedom of motion |
US4802227A (en) * | 1987-04-03 | 1989-01-31 | American Telephone And Telegraph Company | Noise reduction processing arrangement for microphone arrays |
GB2206716A (en) | 1987-07-06 | 1989-01-11 | Gen Electric Plc | Apparatus for monitoring the presence or movement of an object |
IT1219405B (en) | 1988-06-27 | 1990-05-11 | Fiat Ricerche | PROCEDURE AND DEVICE FOR INSTRUMENTAL VISION IN POOR CONDITIONS VISIBILITY IN PARTICULAR FOR DRIVING IN THE MIST |
JPH05501020A (en) | 1988-12-20 | 1993-02-25 | ミート リサーチ コーポレーション | optically readable coded target |
US5034986A (en) | 1989-03-01 | 1991-07-23 | Siemens Aktiengesellschaft | Method for detecting and tracking moving objects in a digital image sequence having a stationary background |
US5055840A (en) | 1990-01-16 | 1991-10-08 | Carroll Touch Incorporated | Infrared touch input device and light emitted activation circuit |
DE69016463T2 (en) * | 1990-05-01 | 1995-09-07 | Wang Laboratories | HAND-FREE HARDWARE KEYBOARD. |
US5111401A (en) * | 1990-05-19 | 1992-05-05 | The United States Of America As Represented By The Secretary Of The Navy | Navigational control system for an autonomous vehicle |
US5662111A (en) * | 1991-01-28 | 1997-09-02 | Cosman; Eric R. | Process of stereotactic optical navigation |
US5485273A (en) | 1991-04-22 | 1996-01-16 | Litton Systems, Inc. | Ring laser gyroscope enhanced resolution system |
US5534917A (en) | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5144594A (en) | 1991-05-29 | 1992-09-01 | Cyber Scientific | Acoustic mouse system |
US5455685A (en) * | 1991-09-04 | 1995-10-03 | Fuji Photo Film Co., Ltd. | Video camera exposure control apparatus for controlling iris diaphragm and automatic gain control operating speed |
US5889670A (en) * | 1991-10-24 | 1999-03-30 | Immersion Corporation | Method and apparatus for tactilely responsive user interface |
US5444462A (en) | 1991-12-16 | 1995-08-22 | Wambach; Mark L. | Computer mouse glove with remote communication |
US5790834A (en) | 1992-08-31 | 1998-08-04 | Intel Corporation | Apparatus and method using an ID instruction to identify a computer microprocessor |
JP3244798B2 (en) | 1992-09-08 | 2002-01-07 | 株式会社東芝 | Moving image processing device |
US7098891B1 (en) | 1992-09-18 | 2006-08-29 | Pryor Timothy R | Method for providing human input to a computer |
US5394168A (en) | 1993-01-06 | 1995-02-28 | Smith Engineering | Dual-mode hand-held game controller |
US5335011A (en) | 1993-01-12 | 1994-08-02 | Bell Communications Research, Inc. | Sound localization system for teleconferencing using self-steering microphone arrays |
EP0613294B1 (en) | 1993-02-24 | 1998-10-28 | Matsushita Electric Industrial Co., Ltd. | Gradation correction device and image sensing device therewith |
JP3679426B2 (en) * | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | A system that encodes image data into multiple layers, each representing a coherent region of motion, and motion parameters associated with the layers. |
US5677710A (en) | 1993-05-10 | 1997-10-14 | Apple Computer, Inc. | Recognition keypad |
US5297061A (en) * | 1993-05-19 | 1994-03-22 | University Of Maryland | Three dimensional pointing device monitored by computer vision |
US5959596A (en) | 1993-06-24 | 1999-09-28 | Nintendo Co., Ltd. | Airline-based video game and communications system |
US5473701A (en) | 1993-11-05 | 1995-12-05 | At&T Corp. | Adaptive microphone array |
JP2552427B2 (en) * | 1993-12-28 | 1996-11-13 | コナミ株式会社 | Tv play system |
FR2714502A1 (en) | 1993-12-29 | 1995-06-30 | Philips Laboratoire Electroniq | An image processing method and apparatus for constructing from a source image a target image with perspective change. |
US5611000A (en) * | 1994-02-22 | 1997-03-11 | Digital Equipment Corporation | Spline-based image registration |
JPH086708A (en) * | 1994-04-22 | 1996-01-12 | Canon Inc | Display device |
US5543818A (en) | 1994-05-13 | 1996-08-06 | Sony Corporation | Method and apparatus for entering text using an input device having a small number of keys |
US5846086A (en) | 1994-07-01 | 1998-12-08 | Massachusetts Institute Of Technology | System for human trajectory learning in virtual environments |
US5563988A (en) | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
JP3270643B2 (en) | 1994-12-22 | 2002-04-02 | キヤノン株式会社 | Pointed position detection method and device |
US5929444A (en) | 1995-01-31 | 1999-07-27 | Hewlett-Packard Company | Aiming device using radiated energy |
US5568928A (en) | 1995-02-01 | 1996-10-29 | Exertron, Inc. | Video game controller for use with an exercise apparatus |
US5638228A (en) * | 1995-02-14 | 1997-06-10 | Iomega Corporation | Retroreflective marker for data storage cartridge |
US5930741A (en) | 1995-02-28 | 1999-07-27 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
US5583478A (en) | 1995-03-01 | 1996-12-10 | Renzi; Ronald | Virtual environment tactile system |
US5900863A (en) * | 1995-03-16 | 1999-05-04 | Kabushiki Kaisha Toshiba | Method and apparatus for controlling computer without touching input device |
WO1996034332A1 (en) * | 1995-04-28 | 1996-10-31 | Matsushita Electric Industrial Co., Ltd. | Interface device |
US5706364A (en) * | 1995-04-28 | 1998-01-06 | Xerox Corporation | Method of producing character templates using unsegmented samples |
US5913727A (en) * | 1995-06-02 | 1999-06-22 | Ahdoot; Ned | Interactive movement and contact simulation game |
US5649021A (en) | 1995-06-07 | 1997-07-15 | David Sarnoff Research Center, Inc. | Method and system for object detection for instrument control |
IL114278A (en) | 1995-06-22 | 2010-06-16 | Microsoft Internat Holdings B | Camera and method |
EP0886790B1 (en) * | 1995-06-22 | 2006-03-01 | 3DV Systems Ltd. | Telecentric 3d camera and method |
CN1154910C (en) | 1995-07-26 | 2004-06-23 | 蒂吉通信***公司 | Reduced keyboard disambiguating system |
US6311214B1 (en) * | 1995-07-27 | 2001-10-30 | Digimarc Corporation | Linking of computers based on optical sensing of digital data |
US5841447A (en) * | 1995-08-02 | 1998-11-24 | Evans & Sutherland Computer Corporation | System and method for improving pixel update performance |
US5611731A (en) | 1995-09-08 | 1997-03-18 | Thrustmaster, Inc. | Video pinball machine controller having an optical accelerometer for detecting slide and tilt |
US5768415A (en) * | 1995-09-08 | 1998-06-16 | Lucent Technologies Inc. | Apparatus and methods for performing electronic scene analysis and enhancement |
US5850222A (en) | 1995-09-13 | 1998-12-15 | Pixel Dust, Inc. | Method and system for displaying a graphic image of a person modeling a garment |
US5818424A (en) | 1995-10-19 | 1998-10-06 | International Business Machines Corporation | Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space |
US5963250A (en) | 1995-10-20 | 1999-10-05 | Parkervision, Inc. | System and method for controlling the field of view of a camera |
US6281930B1 (en) | 1995-10-20 | 2001-08-28 | Parkervision, Inc. | System and method for controlling the field of view of a camera |
US5719561A (en) | 1995-10-25 | 1998-02-17 | Gilbert R. Gonzales | Tactile communication device and method |
US5870100A (en) * | 1995-11-22 | 1999-02-09 | Compaq Computer Corporation | Filling of graphical regions |
WO1997020305A1 (en) | 1995-11-30 | 1997-06-05 | Virtual Technologies, Inc. | Tactile feedback man-machine interface device |
JP4079463B2 (en) * | 1996-01-26 | 2008-04-23 | ソニー株式会社 | Subject detection apparatus and subject detection method |
US6049619A (en) * | 1996-02-12 | 2000-04-11 | Sarnoff Corporation | Method and apparatus for detecting moving objects in two- and three-dimensional scenes |
JP2891159B2 (en) * | 1996-02-14 | 1999-05-17 | 日本電気株式会社 | Object detection method from multi-view images |
RU2069885C1 (en) | 1996-03-01 | 1996-11-27 | Йелстаун Корпорейшн Н.В. | Method and device for observing objects at low illumination intensity |
JPH09244793A (en) * | 1996-03-04 | 1997-09-19 | Alps Electric Co Ltd | Input device |
EP0835676B1 (en) | 1996-03-05 | 2004-10-13 | Sega Enterprises, Ltd. | Controller and extension unit for controller |
WO1997039416A2 (en) | 1996-04-02 | 1997-10-23 | Cognex Corporation | Image formation apparatus for viewing indicia on a planar specular substrate |
US5937081A (en) | 1996-04-10 | 1999-08-10 | O'brill; Michael R. | Image composition system and method of using same |
US5923318A (en) | 1996-04-12 | 1999-07-13 | Zhai; Shumin | Finger manipulatable 6 degree-of-freedom input device |
JP3752510B2 (en) * | 1996-04-15 | 2006-03-08 | イーストマン コダック カンパニー | Automatic subject detection method for images |
US5917493A (en) * | 1996-04-17 | 1999-06-29 | Hewlett-Packard Company | Method and apparatus for randomly generating information for subsequent correlating |
US6310733B1 (en) * | 1996-08-16 | 2001-10-30 | Eugene Dolgoff | Optical elements and methods for their manufacture |
US6151009A (en) | 1996-08-21 | 2000-11-21 | Carnegie Mellon University | Method and apparatus for merging real and synthetic images |
US6400374B2 (en) | 1996-09-18 | 2002-06-04 | Eyematic Interfaces, Inc. | Video superposition system and method |
US5930383A (en) | 1996-09-24 | 1999-07-27 | Netzer; Yishay | Depth sensing camera systems and methods |
US5832931A (en) * | 1996-10-30 | 1998-11-10 | Photogen, Inc. | Method for improved selectivity in photo-activation and detection of molecular diagnostic agents |
NL1004648C2 (en) * | 1996-11-11 | 1998-05-14 | Johan Michiel Schaaij | Computer game system. |
JPH10145583A (en) * | 1996-11-14 | 1998-05-29 | Casio Comput Co Ltd | Image processor |
US5914723A (en) * | 1996-12-30 | 1999-06-22 | Sun Microsystems, Inc. | Method and system for converting images in computer systems |
US6243491B1 (en) * | 1996-12-31 | 2001-06-05 | Lucent Technologies Inc. | Methods and apparatus for controlling a video system with visually recognized props |
US6021219A (en) * | 1997-01-07 | 2000-02-01 | Lucent Technologies Inc. | Methods and apparatus for distinguishing among several visual patterns |
US5850473A (en) | 1997-01-07 | 1998-12-15 | Lucent Technologies Inc. | Method and apparatus for compensating for color variation in a video system |
US6252632B1 (en) * | 1997-01-17 | 2001-06-26 | Fox Sports Productions, Inc. | System for enhancing a video presentation |
US5796354A (en) | 1997-02-07 | 1998-08-18 | Reality Quest Corp. | Hand-attachable controller with direction sensing |
US5993314A (en) | 1997-02-10 | 1999-11-30 | Stadium Games, Ltd. | Method and apparatus for interactive audience participation by audio command |
US6009210A (en) | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
AU2228197A (en) | 1997-03-07 | 1998-09-22 | 3Dv Systems Ltd. | Optical shutter |
US6061055A (en) * | 1997-03-21 | 2000-05-09 | Autodesk, Inc. | Method of tracking objects with an imaging device |
US6144367A (en) | 1997-03-26 | 2000-11-07 | International Business Machines Corporation | Method and system for simultaneous operation of multiple handheld control devices in a data processing system |
US8120652B2 (en) * | 1997-04-02 | 2012-02-21 | Gentex Corporation | System for controlling vehicle equipment |
US6587573B1 (en) | 2000-03-20 | 2003-07-01 | Gentex Corporation | System for controlling exterior vehicle lights |
US6215898B1 (en) * | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
WO1998048571A1 (en) | 1997-04-23 | 1998-10-29 | Thomson Consumer Electronics, Inc. | Control of video level by region and content of information displayed |
US6809776B1 (en) | 1997-04-23 | 2004-10-26 | Thomson Licensing S.A. | Control of video level by region and content of information displayed |
US6428411B1 (en) * | 1997-05-02 | 2002-08-06 | Konami Co., Ltd. | Volleyball video game system |
US6075895A (en) * | 1997-06-20 | 2000-06-13 | Holoplex | Methods and apparatus for gesture recognition based on templates |
DE69811050T2 (en) | 1997-07-29 | 2003-11-06 | Koninkl Philips Electronics Nv | Reconstruction method, device and decoding system for three-dimensional scenes. |
US6044181A (en) * | 1997-08-01 | 2000-03-28 | Microsoft Corporation | Focal length estimation method and apparatus for construction of panoramic mosaic images |
US20020036617A1 (en) * | 1998-08-21 | 2002-03-28 | Timothy R. Pryor | Novel man machine interfaces and applications |
US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6243074B1 (en) * | 1997-08-29 | 2001-06-05 | Xerox Corporation | Handedness detection for a physical manipulatory grammar |
US6297838B1 (en) | 1997-08-29 | 2001-10-02 | Xerox Corporation | Spinning as a morpheme for a physical manipulatory grammar |
AU1099899A (en) | 1997-10-15 | 1999-05-03 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
US6101289A (en) | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6031934A (en) * | 1997-10-15 | 2000-02-29 | Electric Planet, Inc. | Computer vision system for subject characterization |
JPH11154240A (en) * | 1997-11-20 | 1999-06-08 | Nintendo Co Ltd | Image producing device to produce image by using fetched image |
US6677987B1 (en) * | 1997-12-03 | 2004-01-13 | 8×8, Inc. | Wireless user-interface arrangement and method |
US6195104B1 (en) * | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6160540A (en) | 1998-01-12 | 2000-12-12 | Xerox Company | Zoomorphic computer user interface |
US6134346A (en) * | 1998-01-16 | 2000-10-17 | Ultimatte Corp | Method for removing from an image the background surrounding a selected object |
JP4195189B2 (en) | 1998-02-08 | 2008-12-10 | スリーディーヴィー システムズ リミテッド | Large aperture light image shutter |
US6115052A (en) | 1998-02-12 | 2000-09-05 | Mitsubishi Electric Information Technology Center America, Inc. (Ita) | System for reconstructing the 3-dimensional motions of a human figure from a monocularly-viewed image sequence |
US6037942A (en) * | 1998-03-10 | 2000-03-14 | Magellan Dis, Inc. | Navigation system character input device |
US6411392B1 (en) * | 1998-04-15 | 2002-06-25 | Massachusetts Institute Of Technology | Method and apparatus for data hiding in printed images |
US6393142B1 (en) * | 1998-04-22 | 2002-05-21 | At&T Corp. | Method and apparatus for adaptive stripe based patch matching for depth estimation |
US6173059B1 (en) * | 1998-04-24 | 2001-01-09 | Gentner Communications Corporation | Teleconferencing system with visual feedback |
US6593956B1 (en) | 1998-05-15 | 2003-07-15 | Polycom, Inc. | Locating an audio source |
US6473516B1 (en) * | 1998-05-22 | 2002-10-29 | Asa Systems, Inc. | Large capacity steganography |
JP3646969B2 (en) * | 1998-05-25 | 2005-05-11 | 富士通株式会社 | 3D image display device |
JP3841132B2 (en) | 1998-06-01 | 2006-11-01 | 株式会社ソニー・コンピュータエンタテインメント | Input position detection device and entertainment system |
FR2780176B1 (en) | 1998-06-17 | 2001-01-26 | Gabriel Guary | SHOOTING GUN FOR VIDEO GAME |
US6513160B2 (en) * | 1998-06-17 | 2003-01-28 | Opentv, Inc. | System and method for promoting viewer interaction in a television system |
IL125221A0 (en) * | 1998-07-06 | 1999-03-12 | Toy Control Ltd | Motion activation using passive sound source |
US6256398B1 (en) * | 1998-08-22 | 2001-07-03 | Kenneth H. P. Chang | Encoding and decoding a message within an image |
US6970183B1 (en) | 2000-06-14 | 2005-11-29 | E-Watch, Inc. | Multimedia surveillance and monitoring system including network configuration |
US6621938B1 (en) | 1998-09-18 | 2003-09-16 | Fuji Photo Film Co., Ltd. | Image capture apparatus and method |
US6184863B1 (en) * | 1998-10-13 | 2001-02-06 | The George Washington University | Direct pointing apparatus and method therefor |
US6765618B1 (en) * | 1998-10-19 | 2004-07-20 | Pentax Corporation | Subject selection device and in-focus portion indicating device |
DE19849515C1 (en) | 1998-10-19 | 2000-12-28 | Gerhard Wergen | Method for transferring characters in particular to a computer and input device using this method |
US6307568B1 (en) | 1998-10-28 | 2001-10-23 | Imaginarix Ltd. | Virtual dressing over the internet |
JP2000172431A (en) | 1998-12-09 | 2000-06-23 | Sony Corp | Information input device and game device |
US6533420B1 (en) | 1999-01-22 | 2003-03-18 | Dimension Technologies, Inc. | Apparatus and method for generating and projecting autostereoscopic images |
US7139767B1 (en) | 1999-03-05 | 2006-11-21 | Canon Kabushiki Kaisha | Image processing apparatus and database |
JP2000261752A (en) | 1999-03-05 | 2000-09-22 | Hewlett Packard Co <Hp> | Device for recording and reproducing image having sound |
US6323942B1 (en) | 1999-04-30 | 2001-11-27 | Canesta, Inc. | CMOS-compatible three-dimensional image sensor IC |
US7164413B2 (en) * | 1999-05-19 | 2007-01-16 | Digimarc Corporation | Enhanced input peripheral |
US6791531B1 (en) | 1999-06-07 | 2004-09-14 | Dot On, Inc. | Device and method for cursor motion control calibration and object selection |
JP2000350865A (en) | 1999-06-11 | 2000-12-19 | Mr System Kenkyusho:Kk | Game device for composite real space, image processing method therefor and program storage medium |
US6952198B2 (en) | 1999-07-06 | 2005-10-04 | Hansen Karl C | System and method for communication with enhanced optical pointer |
US6819318B1 (en) | 1999-07-23 | 2004-11-16 | Z. Jason Geng | Method and apparatus for modeling via a three-dimensional image mosaic system |
US6545706B1 (en) * | 1999-07-30 | 2003-04-08 | Electric Planet, Inc. | System, method and article of manufacture for tracking a head of a camera-generated image of a person |
US6417836B1 (en) | 1999-08-02 | 2002-07-09 | Lucent Technologies Inc. | Computer input device having six degrees of freedom for controlling movement of a three-dimensional object |
JP2001056742A (en) | 1999-08-19 | 2001-02-27 | Alps Electric Co Ltd | Input device |
US6556704B1 (en) * | 1999-08-25 | 2003-04-29 | Eastman Kodak Company | Method for forming a depth image from digital image data |
AU5646299A (en) | 1999-09-08 | 2001-04-10 | 3Dv Systems Ltd. | 3d imaging system |
CA2385173A1 (en) | 1999-09-17 | 2001-03-29 | Nature Technology Co., Ltd. | Image capturing system, image processing system, and camera |
US6441825B1 (en) | 1999-10-04 | 2002-08-27 | Intel Corporation | Video token tracking system for animation |
JP3847058B2 (en) | 1999-10-04 | 2006-11-15 | 任天堂株式会社 | GAME SYSTEM AND GAME INFORMATION STORAGE MEDIUM USED FOR THE SAME |
US6753849B1 (en) | 1999-10-27 | 2004-06-22 | Ken Curran & Associates | Universal remote TV mouse |
US20050037844A1 (en) * | 2002-10-30 | 2005-02-17 | Nike, Inc. | Sigils for use with apparel |
JP4403474B2 (en) | 1999-12-09 | 2010-01-27 | ソニー株式会社 | Tactile sense presentation mechanism and force-tactile sense presentation device using the same |
US6785329B1 (en) * | 1999-12-21 | 2004-08-31 | Microsoft Corporation | Automatic video object extraction |
KR100384406B1 (en) | 2000-01-24 | 2003-05-22 | (주) 베스트소프트 | A program drive divice for computer |
TW522732B (en) | 2000-02-15 | 2003-03-01 | Sorceron Inc | Method and system for distributing captured motion data over a network |
WO2001064481A2 (en) | 2000-03-02 | 2001-09-07 | Donnelly Corporation | Video mirror systems incorporating an accessory module |
JP2001265275A (en) * | 2000-03-16 | 2001-09-28 | Olympus Optical Co Ltd | Picture display device |
US6924787B2 (en) | 2000-04-17 | 2005-08-02 | Immersion Corporation | Interface for controlling a graphical image |
TW527518B (en) | 2000-07-14 | 2003-04-11 | Massachusetts Inst Technology | Method and system for high resolution, ultra fast, 3-D imaging |
US6795068B1 (en) | 2000-07-21 | 2004-09-21 | Sony Computer Entertainment Inc. | Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program |
AUPQ896000A0 (en) | 2000-07-24 | 2000-08-17 | Seeing Machines Pty Ltd | Facial image processing system |
US7227526B2 (en) | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
WO2002008849A2 (en) | 2000-07-24 | 2002-01-31 | Herman Ehrenburg | Computer-compatible, color-coded manual input system |
JP4815661B2 (en) * | 2000-08-24 | 2011-11-16 | ソニー株式会社 | Signal processing apparatus and signal processing method |
FR2814965A1 (en) | 2000-10-11 | 2002-04-12 | Janick Simeray | Remote communicating game personal computer having game transducers sound/ultrasonic signals transmitting and computer with microphone processing detections/identifying signals/computer programme interacting. |
US7061507B1 (en) * | 2000-11-12 | 2006-06-13 | Bitboys, Inc. | Antialiasing method and apparatus for video applications |
US6371897B1 (en) * | 2000-11-29 | 2002-04-16 | Shun-Tsai Huang | Both feet-used arch swinging exerciser |
KR100385563B1 (en) | 2000-12-01 | 2003-05-27 | 한국과학기술원 | Spectrophotometer With Driving Means And Intensity Of Light Measurement Method |
US6952286B2 (en) * | 2000-12-07 | 2005-10-04 | Eastman Kodak Company | Doubleprint photofinishing service with the second print having subject content-based modifications |
US6751338B1 (en) | 2000-12-15 | 2004-06-15 | Cognex Corporation | System and method of using range image data with machine vision tools |
US20020085097A1 (en) | 2000-12-22 | 2002-07-04 | Colmenarez Antonio J. | Computer vision-based wireless pointing system |
EP1371019A2 (en) | 2001-01-26 | 2003-12-17 | Zaxel Systems, Inc. | Real-time virtual viewpoint in simulated reality environment |
DE10103922A1 (en) | 2001-01-30 | 2002-08-01 | Physoptics Opto Electronic Gmb | Interactive data viewing and operating system |
US6741741B2 (en) | 2001-02-01 | 2004-05-25 | Xerox Corporation | System and method for automatically detecting edges of scanned documents |
US6789967B1 (en) | 2001-02-02 | 2004-09-14 | George Forester | Distal chording keyboard |
US20020134151A1 (en) | 2001-02-05 | 2002-09-26 | Matsushita Electric Industrial Co., Ltd. | Apparatus and method for measuring distances |
US6746124B2 (en) | 2001-02-06 | 2004-06-08 | Robert E. Fischer | Flashlight producing uniform high brightness |
US7116330B2 (en) * | 2001-02-28 | 2006-10-03 | Intel Corporation | Approximating motion using a three-dimensional model |
GB2376397A (en) | 2001-06-04 | 2002-12-11 | Hewlett Packard Co | Virtual or augmented reality |
JP2003018604A (en) * | 2001-07-04 | 2003-01-17 | Matsushita Electric Ind Co Ltd | Image signal encoding method, device thereof and recording medium |
US6931125B2 (en) | 2001-07-10 | 2005-08-16 | Gregory N. Smallwood | Telephone equipment compatible, twelve button alphanumeric keypad |
US7039253B2 (en) * | 2001-07-24 | 2006-05-02 | Casio Computer Co., Ltd. | Image display device, image display method, program, and projection system |
KR20030009919A (en) | 2001-07-24 | 2003-02-05 | 삼성전자주식회사 | Inputting device for computer game having inertial sense |
US6956612B2 (en) * | 2001-07-31 | 2005-10-18 | Hewlett-Packard Development Company, L.P. | User selectable focus regions in an image capturing device |
US7084901B2 (en) * | 2001-08-01 | 2006-08-01 | Steven Winn Smith | Surveillance camera with flicker immunity |
US7148922B2 (en) * | 2001-08-02 | 2006-12-12 | Olympus Optical Co., Ltd. | Electronic camera which detects flash influence on an image and controls white balance in accordance with the flash influence |
JP3442754B2 (en) * | 2001-08-10 | 2003-09-02 | 株式会社コナミコンピュータエンタテインメント東京 | Gun shooting game apparatus, computer control method and program |
US6709108B2 (en) * | 2001-08-31 | 2004-03-23 | Adaptive Optics Associates, Inc. | Ophthalmic instrument with adaptive optic subsystem that measures aberrations (including higher order aberrations) of a human eye and that provides a view of compensation of such aberrations to the human eye |
KR100846761B1 (en) | 2001-09-11 | 2008-07-16 | 삼성전자주식회사 | Pointer control method, pointing apparatus and host apparatus therefor |
JP2003114640A (en) * | 2001-10-04 | 2003-04-18 | Nec Corp | Plasma display panel and its driving method |
US20030093591A1 (en) * | 2001-11-09 | 2003-05-15 | David Hohl | System and method for fast data transfer to display driver |
FR2832892B1 (en) | 2001-11-27 | 2004-04-02 | Thomson Licensing Sa | SPECIAL EFFECTS VIDEO CAMERA |
US20030100363A1 (en) * | 2001-11-28 | 2003-05-29 | Ali Guiseppe C. | Method and apparatus for inputting appearance of computer operator into a computer program |
US20040070565A1 (en) * | 2001-12-05 | 2004-04-15 | Nayar Shree K | Method and apparatus for displaying images |
KR20030048570A (en) | 2001-12-12 | 2003-06-25 | 한국전자통신연구원 | A keypad assembly with the supplementary buttons and its operating method |
US7106366B2 (en) * | 2001-12-19 | 2006-09-12 | Eastman Kodak Company | Image capture system incorporating metadata to facilitate transcoding |
US7305114B2 (en) | 2001-12-26 | 2007-12-04 | Cognex Technology And Investment Corporation | Human/machine interface for a machine vision sensor and method for installing and operating the same |
US7436887B2 (en) | 2002-02-06 | 2008-10-14 | Playtex Products, Inc. | Method and apparatus for video frame sequence-based object tracking |
US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
US20030160862A1 (en) | 2002-02-27 | 2003-08-28 | Charlier Michael L. | Apparatus having cooperating wide-angle digital camera system and microphone array |
US6847311B2 (en) * | 2002-03-28 | 2005-01-25 | Motorola Inc. | Method and apparatus for character entry in a wireless communication device |
GB2388418A (en) | 2002-03-28 | 2003-11-12 | Marcus James Eales | Input or pointing device with a camera |
US20030199324A1 (en) | 2002-04-23 | 2003-10-23 | Xiaoling Wang | Apparatus and a method for more realistic shooting video games on computers or similar devices using visible or invisible light |
JP2004021345A (en) * | 2002-06-12 | 2004-01-22 | Toshiba Corp | Image processing device and its method |
US20040001082A1 (en) * | 2002-06-26 | 2004-01-01 | Amir Said | System and method of interaction with a computer controlled image display system using a projected light source |
CA2390072C (en) * | 2002-06-28 | 2018-02-27 | Adrian Gh Podoleanu | Optical mapping apparatus with adjustable depth resolution and multiple functionality |
US7227976B1 (en) | 2002-07-08 | 2007-06-05 | Videomining Corporation | Method and system for real-time facial image enhancement |
US7783061B2 (en) | 2003-08-27 | 2010-08-24 | Sony Computer Entertainment Inc. | Methods and apparatus for the targeted sound detection |
US7545926B2 (en) | 2006-05-04 | 2009-06-09 | Sony Computer Entertainment Inc. | Echo and noise cancellation |
US7697700B2 (en) | 2006-05-04 | 2010-04-13 | Sony Computer Entertainment Inc. | Noise removal for electronic device with far field microphone on console |
US7613310B2 (en) * | 2003-08-27 | 2009-11-03 | Sony Computer Entertainment Inc. | Audio input system |
US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
US7102615B2 (en) | 2002-07-27 | 2006-09-05 | Sony Computer Entertainment Inc. | Man-machine interface using a deformable device |
US7970147B2 (en) | 2004-04-07 | 2011-06-28 | Sony Computer Entertainment Inc. | Video game controller with noise canceling logic |
US7623115B2 (en) | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
US7809145B2 (en) | 2006-05-04 | 2010-10-05 | Sony Computer Entertainment Inc. | Ultra small microphone array |
US8073157B2 (en) | 2003-08-27 | 2011-12-06 | Sony Computer Entertainment Inc. | Methods and apparatus for targeted sound detection and characterization |
US20040017355A1 (en) * | 2002-07-24 | 2004-01-29 | Youngtack Shim | Cursor control systems and methods |
US7627139B2 (en) | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
US8160269B2 (en) | 2003-08-27 | 2012-04-17 | Sony Computer Entertainment Inc. | Methods and apparatuses for adjusting a listening area for capturing sounds |
US8233642B2 (en) | 2003-08-27 | 2012-07-31 | Sony Computer Entertainment Inc. | Methods and apparatuses for capturing an audio signal based on a location of the signal |
US20070260517A1 (en) | 2006-05-08 | 2007-11-08 | Gary Zalewski | Profile detection |
US20060282873A1 (en) | 2002-07-27 | 2006-12-14 | Sony Computer Entertainment Inc. | Hand-held controller having detectable elements for tracking purposes |
US7850526B2 (en) | 2002-07-27 | 2010-12-14 | Sony Computer Entertainment America Inc. | System for tracking user manipulations within an environment |
US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
US20070015559A1 (en) | 2002-07-27 | 2007-01-18 | Sony Computer Entertainment America Inc. | Method and apparatus for use in determining lack of user activity in relation to a system |
US20060256081A1 (en) | 2002-07-27 | 2006-11-16 | Sony Computer Entertainment America Inc. | Scheme for detecting and tracking user manipulation of a game controller body |
US8139793B2 (en) | 2003-08-27 | 2012-03-20 | Sony Computer Entertainment Inc. | Methods and apparatus for capturing audio signals based on a visual image |
US20070261077A1 (en) | 2006-05-08 | 2007-11-08 | Gary Zalewski | Using audio/visual environment to select ads on game platform |
US7803050B2 (en) | 2002-07-27 | 2010-09-28 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
US20060264260A1 (en) | 2002-07-27 | 2006-11-23 | Sony Computer Entertainment Inc. | Detectable and trackable hand-held controller |
US7352359B2 (en) | 2002-07-27 | 2008-04-01 | Sony Computer Entertainment America Inc. | Method and system for applying gearing effects to inertial tracking |
US7391409B2 (en) | 2002-07-27 | 2008-06-24 | Sony Computer Entertainment America Inc. | Method and system for applying gearing effects to multi-channel mixed input |
US20070061413A1 (en) | 2005-09-15 | 2007-03-15 | Larsen Eric J | System and method for obtaining user information from voices |
US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
US7854655B2 (en) | 2002-07-27 | 2010-12-21 | Sony Computer Entertainment America Inc. | Obtaining input for controlling execution of a game program |
US7918733B2 (en) | 2002-07-27 | 2011-04-05 | Sony Computer Entertainment America Inc. | Multi-input game control mixer |
US10086282B2 (en) | 2002-07-27 | 2018-10-02 | Sony Interactive Entertainment Inc. | Tracking device for use in obtaining information for controlling game program execution |
US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
US7039199B2 (en) * | 2002-08-26 | 2006-05-02 | Microsoft Corporation | System and process for locating a speaker using 360 degree sound source localization |
KR100467610B1 (en) * | 2002-09-06 | 2005-01-24 | 삼성전자주식회사 | Method and apparatus for improvement of digital image quality |
US6917688B2 (en) | 2002-09-11 | 2005-07-12 | Nanyang Technological University | Adaptive noise cancelling microphone system |
DE60325536D1 (en) * | 2002-09-20 | 2009-02-12 | Nippon Telegraph & Telephone | Apparatus for generating a pseudo-three-dimensional image |
US20040063480A1 (en) * | 2002-09-30 | 2004-04-01 | Xiaoling Wang | Apparatus and a method for more realistic interactive video games on computers or similar devices |
EP1411461A1 (en) | 2002-10-14 | 2004-04-21 | STMicroelectronics S.r.l. | User controlled device for sending control signals to an electric appliance, in particular user controlled pointing device such as mouse or joystick, with 3D-motion detection |
US6995666B1 (en) | 2002-10-16 | 2006-02-07 | Luttrell Clyde K | Cellemetry-operated railroad switch heater |
JP2004145448A (en) | 2002-10-22 | 2004-05-20 | Toshiba Corp | Terminal device, server device, and image processing method |
DE60330885D1 (en) | 2002-10-30 | 2010-02-25 | Nike International Ltd | CLOTHING PIECES WITH MOTION DETECTION MARKERS FOR VIDEO GAMES |
US8206219B2 (en) * | 2002-10-30 | 2012-06-26 | Nike, Inc. | Interactive gaming apparel for interactive gaming |
US20040095327A1 (en) * | 2002-11-14 | 2004-05-20 | Lo Fook Loong | Alphanumeric data input system and method |
US8012025B2 (en) | 2002-12-13 | 2011-09-06 | Applied Minds, Llc | Video game controller hub with control input reduction and combination schemes |
US7212308B2 (en) * | 2002-12-18 | 2007-05-01 | Morgan Carol L | Interactive photo kiosk |
US20040140955A1 (en) | 2003-01-21 | 2004-07-22 | Metz Kristofer Erik | Input device for a computer and method of operation |
US9177387B2 (en) * | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
JP2004261236A (en) | 2003-02-20 | 2004-09-24 | Konami Co Ltd | Game system |
GB2398690B (en) | 2003-02-21 | 2006-05-10 | Sony Comp Entertainment Europe | Control of data processing |
GB2398691B (en) * | 2003-02-21 | 2006-05-31 | Sony Comp Entertainment Europe | Control of data processing |
US7161634B2 (en) * | 2003-03-06 | 2007-01-09 | Huaya Microelectronics, Ltd. | Encoding system for error diffusion dithering |
US7519186B2 (en) | 2003-04-25 | 2009-04-14 | Microsoft Corporation | Noise reduction systems and methods for voice applications |
US7379559B2 (en) * | 2003-05-28 | 2008-05-27 | Trw Automotive U.S. Llc | Method and apparatus for determining an occupant's head location in an actuatable occupant restraining system |
US6881147B2 (en) * | 2003-06-06 | 2005-04-19 | Nyko Technologies, Inc. | Video game controller with integrated microphone and speaker |
TW571812U (en) | 2003-06-11 | 2004-01-11 | Vision Electronics Co Ltd | Audio device for TV game machine |
ATE339757T1 (en) | 2003-06-17 | 2006-10-15 | Sony Ericsson Mobile Comm Ab | METHOD AND DEVICE FOR VOICE ACTIVITY DETECTION |
EP1694195B1 (en) * | 2003-10-28 | 2009-04-08 | Welch Allyn, Inc. | Digital documenting ophthalmoscope |
US20050105777A1 (en) * | 2003-11-18 | 2005-05-19 | Kozlowski William J.Jr. | Personalized multimedia summary |
US7663689B2 (en) * | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
US7296007B1 (en) | 2004-07-06 | 2007-11-13 | Ailive, Inc. | Real time context learning by software agents |
US7263462B2 (en) | 2004-07-30 | 2007-08-28 | Ailive, Inc. | Non-disruptive embedding of specialized elements |
US7613610B1 (en) | 2005-03-14 | 2009-11-03 | Escription, Inc. | Transcription data extraction |
KR100630118B1 (en) * | 2005-04-21 | 2006-09-27 | 삼성전자주식회사 | Internetwork optical fiber sharing system |
US7927216B2 (en) * | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
US7620316B2 (en) * | 2005-11-28 | 2009-11-17 | Navisense | Method and device for touchless control of a camera |
US7834850B2 (en) * | 2005-11-29 | 2010-11-16 | Navisense | Method and system for object control |
US7616254B2 (en) * | 2006-03-16 | 2009-11-10 | Sony Corporation | Simple method for calculating camera defocus from an image scene |
US7636645B1 (en) | 2007-06-18 | 2009-12-22 | Ailive Inc. | Self-contained inertial navigation system for interactive control using movable controllers |
JP4481280B2 (en) * | 2006-08-30 | 2010-06-16 | 富士フイルム株式会社 | Image processing apparatus and image processing method |
US8277316B2 (en) * | 2006-09-14 | 2012-10-02 | Nintendo Co., Ltd. | Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting |
GB0622451D0 (en) | 2006-11-10 | 2006-12-20 | Intelligent Earth Ltd | Object position and orientation detection device |
US8159331B2 (en) * | 2007-07-17 | 2012-04-17 | Psion Teklogix Inc. | Method and system for radiated power control for short range RFID tag reading |
US7937243B2 (en) | 2007-08-03 | 2011-05-03 | Ailive, Inc. | Method and apparatus for non-disruptive embedding of specialized elements |
US20090221368A1 (en) | 2007-11-28 | 2009-09-03 | Ailive Inc., | Method and system for creating a shared game space for a networked game |
US8419545B2 (en) | 2007-11-28 | 2013-04-16 | Ailive, Inc. | Method and system for controlling movements of objects in a videogame |
US8655622B2 (en) | 2008-07-05 | 2014-02-18 | Ailive, Inc. | Method and apparatus for interpreting orientation invariant motion |
-
2004
- 2004-01-16 US US10/758,817 patent/US7663689B2/en active Active
- 2004-12-17 EP EP10012182.1A patent/EP2290949B1/en active Active
- 2004-12-17 EP EP04814607.0A patent/EP1704711B1/en active Active
- 2004-12-17 CN CN2004800423797A patent/CN1926851B/en active Active
- 2004-12-17 JP JP2006549296A patent/JP4452891B2/en not_active Expired - Fee Related
- 2004-12-17 KR KR1020067014268A patent/KR100810844B1/en active IP Right Grant
- 2004-12-17 WO PCT/US2004/042448 patent/WO2005074257A1/en active Application Filing
- 2004-12-24 TW TW093140603A patent/TWI266248B/en not_active IP Right Cessation
-
2009
- 2009-12-23 US US12/646,938 patent/US8085339B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019194670A (en) * | 2018-02-25 | 2019-11-07 | オルボテック リミテッド | Range differentiators for auto-focusing in optical imaging systems |
WO2023047645A1 (en) * | 2021-09-21 | 2023-03-30 | ソニーグループ株式会社 | Information processing device, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
KR100810844B1 (en) | 2008-03-06 |
JP4452891B2 (en) | 2010-04-21 |
CN1926851A (en) | 2007-03-07 |
US7663689B2 (en) | 2010-02-16 |
CN1926851B (en) | 2011-10-05 |
KR20070006692A (en) | 2007-01-11 |
EP2290949A3 (en) | 2013-09-25 |
TWI266248B (en) | 2006-11-11 |
EP2290949A2 (en) | 2011-03-02 |
TW200539055A (en) | 2005-12-01 |
EP1704711B1 (en) | 2019-12-11 |
EP1704711A1 (en) | 2006-09-27 |
US20050157204A1 (en) | 2005-07-21 |
WO2005074257A1 (en) | 2005-08-11 |
US8085339B2 (en) | 2011-12-27 |
EP2290949B1 (en) | 2019-12-04 |
US20100097476A1 (en) | 2010-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4452891B2 (en) | Method and apparatus for optimizing capture device settings with depth information | |
CN108322646B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
CN107743590B (en) | Method and apparatus for performing exposure estimation using time-of-flight sensor | |
US10084967B1 (en) | Systems and methods for regionally controlling exposure time in high dynamic range imaging | |
US11284015B2 (en) | Image pickup apparatus capable of performing image pickup with reduced flicker influence, method for controlling the same, and storage medium | |
US8754977B2 (en) | Second camera for finding focal target in poorly exposed region of frame taken by first camera | |
WO2016000330A1 (en) | Focal length adjustment method, device and terminal, and computer storage medium | |
JPWO2009139154A1 (en) | Imaging apparatus and imaging method | |
US10609265B2 (en) | Methods and apparatus for synchronizing camera flash and sensor blanking | |
US20130242061A1 (en) | Camera module and portable device using the same | |
CN110677557B (en) | Image processing method, image processing device, storage medium and electronic equipment | |
US11947045B2 (en) | Controlling method for electronic device, and electronic device | |
JP2003309764A (en) | Method for real-time processing of signal representing image | |
WO2023236215A1 (en) | Image processing method and apparatus, and storage medium | |
WO2020087486A1 (en) | Depth image processing method, depth image processing apparatus and electronic apparatus | |
US9936158B2 (en) | Image processing apparatus, method and program | |
WO2021041318A1 (en) | 3d active depth sensing with laser pulse train bursts and a gated sensor | |
JP2020107205A (en) | Image recognition device for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070921 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091109 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091215 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100114 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130212 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140212 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |