JP6747292B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP6747292B2 JP6747292B2 JP2016548769A JP2016548769A JP6747292B2 JP 6747292 B2 JP6747292 B2 JP 6747292B2 JP 2016548769 A JP2016548769 A JP 2016548769A JP 2016548769 A JP2016548769 A JP 2016548769A JP 6747292 B2 JP6747292 B2 JP 6747292B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- captured image
- camera
- target object
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19678—User interface
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
- G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
- G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
- H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20096—Interactive definition of curve of interest
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20101—Interactive definition of point of interest, landmark or seed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Emergency Management (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Processing Or Creating Images (AREA)
Description
図1は、実施形態1に係る画像処理装置2000を例示するブロック図である。図1において、矢印は情報の流れを表している。さらに、図1において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
図3は、実施形態1の画像処理装置2000が実行する処理の流れを例示するフローチャートである。ステップS102において、表示部2020は、カメラによって撮像された撮像画像を表示する。ステップS104において、入力部2060は、撮像画像上の第1位置の指定を受け付ける。ステップS106において、パラメータ取得部2040は、カメラの位置及び姿勢などを表すカメラパラメータを取得する。ステップS108において、提示部2080は第1画像を生成する。前述したように、第1画像は、第2位置に置いた場合に上記カメラパラメータによって定まるカメラに写るときの、撮像画像上における対象オブジェクトを表す。そしてステップS110において、提示部2080は、生成した第1画像を撮像画像上の第1位置に提示する。
本実施形態によれば、提示部2080によって提示されるオブジェクトを画像処理装置2000のユーザが見ることにより、カメラパラメータが、表示部2020よって表示される撮像画像を撮像したカメラ(以下、実カメラ)の位置及び姿勢などを適切に表しているか否かを容易に確かめることができる。以下、図4を用いて詳しく説明する。
画像処理装置2000の各機能構成部は、各機能構成部を実現するハードウエア構成要素(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエア構成要素とソフトウエア構成要素との組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。
前述したように、カメラパラメータは、カメラの位置及び姿勢以外のパラメータを含んでもよい。例えばカメラパラメータには、焦点距離、レンズ歪み、又は画像中心の座標など、カメラの内部的な特徴を表す内部パラメータが含まれる。なお、カメラの位置及び姿勢は、カメラの外部的な特徴を表す外部パラメータである。カメラパラメータは、撮像画像上の2次元座標と、実空間上の3次元座標とを対応づけることにより算出できる。
表示部2020は、ディスプレイ等の表示画面に撮像画像を表示する。ここで、この表示画面は据え置き型のディスプレイであってもよいし、携帯端末等に備えられている可搬型のディスプレイであってもよい。
入力部2060は、撮像画像上の位置を特定できる様々な方法で、第1位置の指定を受け付けることができる。例えば、入力部2060は、マウス等の入力デバイスによって撮像画像上の任意の位置を指定する操作(クリック操作など)を受け付ける。また、撮像画像がタッチパネル上に表示されている場合、入力部2060は、撮像画像上の任意の位置に対するタッチ入力等を受け付ける。また入力部2060は、撮像画像上の位置を表す座標の入力を受け付けてもよい。
対象オブジェクトは、例えば予め定められた実空間上のサイズ及び形状を持つオブジェクトである。例えば前述した、「高さ 170cm、かつ縦及び横の長さが 30cm である直方体」という所定の対象オブジェクトを定義する情報が画像処理装置2000の内部又は外部に予め格納されている。この場合、提示部2080は、この所定の対処オブジェクトを利用する。
前述したように、提示部2080は、第2位置に置いた場合の対象オブジェクトが、上記カメラパラメータによって定まるカメラに写るときの、撮像画像上の対象オブジェクトを表す画像を生成する。例えば提示部2080は、以下のような処理を行う。
図7は、実施形態2に係る画像処理装置2000を例示するブロック図である。図7において、矢印は情報の流れを表している。さらに図7において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
図11は、実施形態2の画像処理装置2000が実行する処理の流れを例示するフローチャートである。なお、ステップS102及びS106で行われる処理は、図3のステップS102及びS106で行われる処理と同様の処理である。ステップS202において、第2入力部2100は、表示部2020によって表示された撮像画像に対する点又は線の入力を受け付ける。ステップS204において、第2表示部2120は、地表面と平行な平面上にマッピングした場合における上記点又は線を表す画像を表示する。
本実施形態の画像処理装置2000によれば、ユーザは撮像画像に対して本来の形状や位置関係が特定しやすい線などを入力し、第2表示部2120によって表示される線などが本来の形状や位置関係を満たしているか否かを見ることで、カメラパラメータが実カメラの位置及び姿勢などを適切に表しているか否かを容易に確認することができる。
図15は、実施形態3に係る画像処理装置3000を例示するブロック図である。図15において、矢印は情報の流れを表している。さらに図15において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
図16は、実施形態3の画像処理装置3000が実行する処理の流れを例示するフローチャートである。ステップS302において、入力部3020は、撮像画像上に重畳された第1画像に対する移動の操作の入力を受け付ける。ステップS304において、提示部3040は、カメラパラメータの基で、移動後の撮像画像上の位置に対応する見え方で前記対象オブジェクトを表す第1画像を提示する。
本実施形態によれば、例えば図13や図14に表されているように、ユーザは、撮像画像10上に写っている人物などの横を通るように対象オブジェクトを移動させることで、対象オブジェクトの見え方に違和感がないかどうかを容易に確認できる。特に、連続的に移動して対象オブジェクトの見え方を提供することにより、人間の視覚による正当性や違和感がより強調され、検証に対して有効に機能する。
画像処理装置2000は、次のような機能を有していてもよい。以下の機能を有する画像処理装置2000を変形例1の画像処理装置2000と表記する。なお、変形例1の画像処理装置2000は、上述した実施形態1や2の画像処理装置2000が有する機能を有していてもよいし、有していなくてもよい。
1. カメラによって撮影された撮像画像に対して、当該カメラの位置及び姿勢を表す所定のカメラパラメータの基で重畳された、実空間上における所定形状及び所定サイズが定められた対象オブジェクトを表す第1画像に対する、前記撮像画像上における移動の操作の入力を受け付ける入力手段と、
前記カメラパラメータの基で、前記移動後の前記撮像画像上の位置に対応する見え方で前記対象オブジェクトを表す第1画像を提示する提示手段と、
を有する画像処理装置。
2. 前記入力手段は、前記撮像画像上の第1位置の指定を繰り返し受け付けることで前記移動の操作を受け付け、
前記提示手段は、或る第1位置が指定された際、前記カメラパラメータ、前記対象オブジェクトの実空間上における所定形状及び所定サイズ、並びに前記第1位置に対応する実空間上の第2位置に基づいて、前記対象オブジェクトを前記第2位置に置いた場合に前記カメラパラメータによって定まるカメラに写る前記撮像画像上の前記対象オブジェクトを表す第1画像を生成して、前記撮像画像上の前記第1位置に提示する1.に記載の画像処理装置。
3. 前記提示手段は、
前記第2位置の高さ情報を取得し、
前記カメラパラメータ、前記第1位置、及び前記第2位置の高さ情報に基づいて、前記第2位置を算出する2.に記載の画像処理装置。
4. 前記提示手段は、前記第2位置の高さ情報として、実空間における地表面の高さを示す情報を取得する3.に記載の画像処理装置。
5. 前記提示手段は、前記第2位置の高さ情報として、前記撮像画像上における複数の領域毎に異なる高さの情報を取得する3.に記載の画像処理装置。
6. 前記対象オブジェクトは、平面形状である1.乃至5.いずれか一つに記載の画像処理装置。
7. 前記撮像画像に対する点又は線の入力を受け付ける第2入力手段と、
前記カメラパラメータ、前記点又は線の前記撮像画像上の位置、及び前記点又は線の実空間上の高さ情報に基づいて、地表面と平行な面上にマッピングした場合の前記点又は線を表す第2画像を表示する第2表示手段と、
を有する1.乃至6.いずれか一つに記載の画像処理装置。
8. 撮像画像上の第1位置の指定を受け付ける入力手段と、
カメラの位置及び姿勢を表す所定のカメラパラメータ、対象オブジェクトの実空間上における所定形状及び所定サイズ、並びに前記第1位置に対応する実空間上の第2位置に基づいて、前記対象オブジェクトを前記第2位置に置いた場合に前記カメラパラメータによって定まるカメラに写る前記撮像画像上の前記対象オブジェクトを表す第1画像を、前記撮像画像上の前記第1位置に提示する提示手段と、
を有する画像処理装置。
9. 前記入力手段は、複数の第1位置の指定を受け付け、
前記提示手段は、前記複数の第1位置に対応する複数の対象オブジェクトを表す第1画像を、前記撮像画像上で各々対応する第1位置に提示する8.に記載の画像処理装置。
10. 前記入力手段は、前記第1位置の指定を繰り返し受け付け
前記提示手段は、或る第1位置が指定された時、その第1位置に対応する実空間上の第2位置に置かれた前記対象オブジェクトを表す第1画像を生成して、前記撮像画像上のその第1位置に提示する8.又は9.に記載の画像処理装置。
11. カメラによって撮影された撮像画像に対する点又は線の入力を受け付ける入力手段と、
カメラの位置及び姿勢を表す所定のカメラパラメータ、前記点又は線の前記撮像画像上の位置、及び前記点又は線の実空間上の高さ情報に基づいて、地表面と平行な面上にマッピングした場合の前記点又は線を表す第1画像を表示する表示手段と、
を有する画像処理装置。
12. コンピュータによって実行される画像処理方法であって、
カメラによって撮影された撮像画像に対して、当該カメラの位置及び姿勢を表す所定のカメラパラメータの基で重畳された、実空間上における所定形状及び所定サイズが定められた対象オブジェクトを表す第1画像に対する、前記撮像画像上における移動の操作の入力を受け付ける入力ステップと、
前記カメラパラメータの基で、前記移動後の前記撮像画像上の位置に対応する見え方で前記対象オブジェクトを表す第1画像を提示する提示ステップと、
を有する画像処理方法。
13. 前記入力ステップは、前記撮像画像上の第1位置の指定を繰り返し受け付けることで前記移動の操作を受け付け、
前記提示ステップは、或る第1位置が指定された際、前記カメラパラメータ、前記対象オブジェクトの実空間上における所定形状及び所定サイズ、並びに前記第1位置に対応する実空間上の第2位置に基づいて、前記対象オブジェクトを前記第2位置に置いた場合に前記カメラパラメータによって定まるカメラに写る前記撮像画像上の前記対象オブジェクトを表す第1画像を生成して、前記撮像画像上の前記第1位置に提示する12.に記載の画像処理方法。
14. 前記提示ステップは、
前記第2位置の高さ情報を取得し、
前記カメラパラメータ、前記第1位置、及び前記第2位置の高さ情報に基づいて、前記第2位置を算出する13.に記載の画像処理方法。
15. 前記提示ステップは、前記第2位置の高さ情報として、実空間における地表面の高さを示す情報を取得する14.に記載の画像処理方法。
16. 前記提示ステップは、前記第2位置の高さ情報として、前記撮像画像上における複数の領域毎に異なる高さの情報を取得する14.に記載の画像処理方法。
17. 前記対象オブジェクトは、平面形状である12.乃至16.いずれか一つに記載の画像処理方法。
18. 前記撮像画像に対する点又は線の入力を受け付ける第2入力ステップと、
前記カメラパラメータ、前記点又は線の前記撮像画像上の位置、及び前記点又は線の実空間上の高さ情報に基づいて、地表面と平行な面上にマッピングした場合の前記点又は線を表す第2画像を表示する第2表示ステップと、
を有する12.乃至17.いずれか一つに記載の画像処理方法。
19. コンピュータによって実行される画像処理方法であって、
撮像画像上の第1位置の指定を受け付ける入力ステップと、
カメラの位置及び姿勢を表す所定のカメラパラメータ、対象オブジェクトの実空間上における所定形状及び所定サイズ、並びに前記第1位置に対応する実空間上の第2位置に基づいて、前記対象オブジェクトを前記第2位置に置いた場合に前記カメラパラメータによって定まるカメラに写る前記撮像画像上の前記対象オブジェクトを表す第1画像を、前記撮像画像上の前記第1位置に提示する提示ステップと、
を有する画像処理方法。
20. 前記入力ステップは、複数の第1位置の指定を受け付け、
前記提示ステップは、前記複数の第1位置に対応する複数の対象オブジェクトを表す第1画像を、前記撮像画像上で各々対応する第1位置に提示する19.に記載の画像処理方法。
21. 前記入力ステップは、前記第1位置の指定を繰り返し受け付け
前記提示ステップは、或る第1位置が指定された時、その第1位置に対応する実空間上の第2位置に置かれた前記対象オブジェクトを表す第1画像を生成して、前記撮像画像上のその第1位置に提示する19.又は20.に記載の画像処理方法。
22. コンピュータによって実行される画像処理方法であって、
カメラによって撮影された撮像画像に対する点又は線の入力を受け付ける入力ステップと、
カメラの位置及び姿勢を表す所定のカメラパラメータ、前記点又は線の前記撮像画像上の位置、及び前記点又は線の実空間上の高さ情報に基づいて、地表面と平行な面上にマッピングした場合の前記点又は線を表す第1画像を表示する表示ステップと、
を有する画像処理方法。
23. コンピュータを、1.乃至11.いずれか一つに記載の画像処理装置として動作させるプログラム。
Claims (16)
- カメラによって撮影された撮像画像に対して、当該カメラの位置及び姿勢を表す所定のカメラパラメータの基で重畳された、実空間上における所定の立体形状及び所定サイズが定められた対象オブジェクトを表す第1画像に対する、前記撮像画像上における移動の操作の入力を受け付ける入力手段と、
前記カメラパラメータの基で、前記移動後の前記撮像画像上の位置に対応する見え方で前記対象オブジェクトを表す第1画像を提示する提示手段と、を有し、
前記移動後の前記撮像画像上の位置に対応する見え方は、前記移動前の前記撮像画像上の位置に対応する見え方とは異なる、
画像処理装置。 - カメラによって撮影された撮像画像に対して、当該カメラの位置及び姿勢を表す所定のカメラパラメータの基で重畳された、実空間上における所定の立体形状及び所定サイズが定められた対象オブジェクトを表す第1画像に対する、前記撮像画像上における移動の操作の入力を受け付ける入力手段と、
前記カメラパラメータの基で、前記移動後の前記撮像画像上の位置に対応する見え方で前記対象オブジェクトを表す第1画像を提示する提示手段と、を有し、
前記入力手段は、前記撮像画像上の第1位置の指定を繰り返し受け付けることで前記移動の操作を受け付け、
前記提示手段は、或る第1位置が指定された際、前記カメラパラメータ、前記対象オブジェクトの実空間上における所定の立体形状及び所定サイズ、並びに前記第1位置に対応する実空間上の第2位置に基づいて、前記対象オブジェクトを前記第2位置に置いた場合に前記カメラパラメータによって定まるカメラに写る前記撮像画像上の前記対象オブジェクトを表す第1画像を生成して、前記撮像画像上の前記第1位置に提示し、
前記提示手段は、
前記第2位置の高さ情報を取得し、
前記カメラパラメータ、前記第1位置、及び前記第2位置の高さ情報に基づいて、前記第2位置を算出する、
画像処理装置。 - 前記提示手段は、前記第2位置の高さ情報として、実空間における地表面の高さを示す情報を取得する請求項2に記載の画像処理装置。
- 前記提示手段は、前記第2位置の高さ情報として、前記撮像画像上における複数の領域毎に異なる高さの情報を取得する請求項2に記載の画像処理装置。
- 前記撮像画像に対する点又は線の入力を受け付ける第2入力手段と、
前記カメラパラメータ、前記点又は線の前記撮像画像上の位置、及び前記点又は線の実空間上の高さ情報に基づいて、地表面と平行な面上にマッピングした場合の前記点又は線を表す第2画像を表示する第2表示手段と、
を有する請求項1乃至4のいずれか一項に記載の画像処理装置。 - カメラによって撮影された撮像画像に対して、当該カメラの位置及び姿勢を表す所定のカメラパラメータの基で重畳された、実空間上における所定の立体形状及び所定サイズが定められた対象オブジェクトを表す第1画像に対する、前記撮像画像上における移動の操作の入力を受け付ける入力手段と、
前記カメラパラメータの基で、前記移動後の前記撮像画像上の位置に対応する見え方で前記対象オブジェクトを表す第1画像を提示する提示手段と、
前記撮像画像に対する点又は線の入力を受け付ける第2入力手段と、
前記カメラパラメータ、前記点又は線の前記撮像画像上の位置、及び前記点又は線の実空間上の高さ情報に基づいて、地表面と平行な面上にマッピングした場合の前記点又は線を表す第2画像を表示する第2表示手段と、
を有する画像処理装置。 - 前記対象オブジェクトは、直方体である請求項1乃至6のいずれか一項に記載の画像処理装置。
- 撮像画像上の第1位置の指定を受け付ける入力手段と、
カメラの位置及び姿勢を表す所定のカメラパラメータ、対象オブジェクトの実空間上における所定の立体形状及び所定サイズ、並びに前記第1位置に対応する実空間上の第2位置に基づいて、前記対象オブジェクトを前記第2位置に置いた場合に前記カメラパラメータによって定まるカメラに写る前記撮像画像上の前記対象オブジェクトを表す第1画像を、前記撮像画像上の前記第1位置に提示する提示手段と、を有し、
前記提示手段は、
前記第2位置の高さ情報を取得し、
前記カメラパラメータ、前記第1位置、及び前記第2位置の高さ情報に基づいて、前記第2位置を算出する、
画像処理装置。 - 撮像画像上の第1位置の指定を受け付ける入力手段と、
カメラの位置及び姿勢を表す所定のカメラパラメータ、対象オブジェクトの実空間上における所定の立体形状及び所定サイズ、並びに前記第1位置に対応する実空間上の第2位置に基づいて、前記対象オブジェクトを前記第2位置に置いた場合に前記カメラパラメータによって定まるカメラに写る前記撮像画像上の前記対象オブジェクトを表す第1画像を、前記撮像画像上の前記第1位置に提示する提示手段と、
前記撮像画像に対する点又は線の入力を受け付ける第2入力手段と、
前記カメラパラメータ、前記点又は線の前記撮像画像上の位置、及び前記点又は線の実空間上の高さ情報に基づいて、地表面と平行な面上にマッピングした場合の前記点又は線を表す第2画像を表示する第2表示手段と、
を有する画像処理装置。 - 前記入力手段は、複数の第1位置の指定を受け付け、
前記提示手段は、前記複数の第1位置に対応する複数の対象オブジェクトを表す第1画像を、前記撮像画像上で各々対応する第1位置に提示する請求項8または9に記載の画像処理装置。 - 前記入力手段は、前記第1位置の指定を繰り返し受け付け前記提示手段は、或る第1位置が指定された時、その第1位置に対応する実空間上の第2位置に置かれた前記対象オブジェクトを表す第1画像を生成して、前記撮像画像上のその第1位置に提示する請求項8乃至10のいずれか一項に記載の画像処理装置。
- コンピュータによって実行される画像処理方法であって、
カメラによって撮影された撮像画像に対して、当該カメラの位置及び姿勢を表す所定のカメラパラメータの基で重畳された、実空間上における所定の立体形状及び所定サイズが定められた対象オブジェクトを表す第1画像に対する、前記撮像画像上における移動の操作の入力を受け付ける入力ステップと、
前記カメラパラメータの基で、前記移動後の前記撮像画像上の位置に対応する見え方で前記対象オブジェクトを表す第1画像を提示する提示ステップと、を有し、
前記入力ステップにおいて、前記撮像画像上の第1位置の指定を繰り返し受け付けることで前記移動の操作を受け付け、
前記提示ステップにおいて、或る第1位置が指定された際、前記カメラパラメータ、前記対象オブジェクトの実空間上における所定の立体形状及び所定サイズ、並びに前記第1位置に対応する実空間上の第2位置に基づいて、前記対象オブジェクトを前記第2位置に置いた場合に前記カメラパラメータによって定まるカメラに写る前記撮像画像上の前記対象オブジェクトを表す第1画像を生成して、前記撮像画像上の前記第1位置に提示し、
さらに前記提示ステップにおいて、
前記第2位置の高さ情報を取得し、
前記カメラパラメータ、前記第1位置、及び前記第2位置の高さ情報に基づいて、前記第2位置を算出する、
画像処理方法。 - コンピュータによって実行される画像処理方法であって、
カメラによって撮影された撮像画像に対して、当該カメラの位置及び姿勢を表す所定のカメラパラメータの基で重畳された、実空間上における所定の立体形状及び所定サイズが定められた対象オブジェクトを表す第1画像に対する、前記撮像画像上における移動の操作の入力を受け付ける入力ステップと、
前記カメラパラメータの基で、前記移動後の前記撮像画像上の位置に対応する見え方で前記対象オブジェクトを表す第1画像を提示する提示ステップと、
前記撮像画像に対する点又は線の入力を受け付ける第2入力ステップと、
前記カメラパラメータ、前記点又は線の前記撮像画像上の位置、及び前記点又は線の実空間上の高さ情報に基づいて、地表面と平行な面上にマッピングした場合の前記点又は線を表す第2画像を表示する表示ステップと、
を有する画像処理方法。 - コンピュータによって実行される画像処理方法であって、
撮像画像上の第1位置の指定を受け付ける入力ステップと、
カメラの位置及び姿勢を表す所定のカメラパラメータ、対象オブジェクトの実空間上における所定の立体形状及び所定サイズ、並びに前記第1位置に対応する実空間上の第2位置に基づいて、前記対象オブジェクトを前記第2位置に置いた場合に前記カメラパラメータによって定まるカメラに写る前記撮像画像上の前記対象オブジェクトを表す第1画像を、前記撮像画像上の前記第1位置に提示する提示ステップと、を有し、
前記提示ステップにおいて、
前記第2位置の高さ情報を取得し、
前記カメラパラメータ、前記第1位置、及び前記第2位置の高さ情報に基づいて、前記第2位置を算出する、
画像処理方法。 - コンピュータによって実行される画像処理方法であって、
撮像画像上の第1位置の指定を受け付ける入力ステップと、
カメラの位置及び姿勢を表す所定のカメラパラメータ、対象オブジェクトの実空間上における所定の立体形状及び所定サイズ、並びに前記第1位置に対応する実空間上の第2位置に基づいて、前記対象オブジェクトを前記第2位置に置いた場合に前記カメラパラメータによって定まるカメラに写る前記撮像画像上の前記対象オブジェクトを表す第1画像を、前記撮像画像上の前記第1位置に提示する提示ステップと、
前記撮像画像に対する点又は線の入力を受け付ける第2入力ステップと、
前記カメラパラメータ、前記点又は線の前記撮像画像上の位置、及び前記点又は線の実空間上の高さ情報に基づいて、地表面と平行な面上にマッピングした場合の前記点又は線を表す第2画像を表示する表示ステップと、
を有する画像処理方法。 - コンピュータを、請求項1乃至11のいずれか一項に記載の画像処理装置として動作させるプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014191480 | 2014-09-19 | ||
JP2014191480 | 2014-09-19 | ||
JP2014257137 | 2014-12-19 | ||
JP2014257137 | 2014-12-19 | ||
PCT/JP2015/071750 WO2016042926A1 (ja) | 2014-09-19 | 2015-07-31 | 画像処理装置、画像処理方法、及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020129925A Division JP6996594B2 (ja) | 2014-09-19 | 2020-07-31 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2016042926A1 JPWO2016042926A1 (ja) | 2017-07-20 |
JP6747292B2 true JP6747292B2 (ja) | 2020-08-26 |
Family
ID=55532970
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016548769A Active JP6747292B2 (ja) | 2014-09-19 | 2015-07-31 | 画像処理装置、画像処理方法、及びプログラム |
JP2020129925A Active JP6996594B2 (ja) | 2014-09-19 | 2020-07-31 | 画像処理装置、画像処理方法、及びプログラム |
JP2021201328A Active JP7294396B2 (ja) | 2014-09-19 | 2021-12-13 | 画像処理装置、画像処理方法、及びプログラム |
JP2023093623A Pending JP2023111962A (ja) | 2014-09-19 | 2023-06-07 | 画像処理装置、画像処理方法、及びプログラム |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020129925A Active JP6996594B2 (ja) | 2014-09-19 | 2020-07-31 | 画像処理装置、画像処理方法、及びプログラム |
JP2021201328A Active JP7294396B2 (ja) | 2014-09-19 | 2021-12-13 | 画像処理装置、画像処理方法、及びプログラム |
JP2023093623A Pending JP2023111962A (ja) | 2014-09-19 | 2023-06-07 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (5) | US10911645B2 (ja) |
JP (4) | JP6747292B2 (ja) |
WO (1) | WO2016042926A1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
JP2016213674A (ja) * | 2015-05-08 | 2016-12-15 | キヤノン株式会社 | 表示制御システム、表示制御装置、表示制御方法、及びプログラム |
AU2017100670C4 (en) | 2016-06-12 | 2019-11-21 | Apple Inc. | User interfaces for retrieving contextually relevant media content |
CN117193617A (zh) * | 2016-09-23 | 2023-12-08 | 苹果公司 | 头像创建和编辑 |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
DK201870374A1 (en) | 2018-05-07 | 2019-12-04 | Apple Inc. | AVATAR CREATION USER INTERFACE |
SG10201809572RA (en) * | 2018-10-29 | 2020-05-28 | Nec Asia Pacific Pte Ltd | Methods and apparatus to cluster and collect head-toe lines for automatic camera calibration |
JP7277187B2 (ja) | 2019-03-13 | 2023-05-18 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
JP7310252B2 (ja) * | 2019-04-19 | 2023-07-19 | 株式会社リコー | 動画生成装置、動画生成方法、プログラム、記憶媒体 |
US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
DK202070625A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
US11714536B2 (en) | 2021-05-21 | 2023-08-01 | Apple Inc. | Avatar sticker editor user interfaces |
US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2622620B2 (ja) | 1989-11-07 | 1997-06-18 | プロクシマ コーポレイション | コンピュータにより発生されたデイスプレイ可視像を変更するためのコンピュータ入力システム |
US6463121B1 (en) * | 1999-10-13 | 2002-10-08 | General Electric Company | Interactive x-ray position and exposure control using image data as reference information |
EP1102211A3 (en) * | 1999-11-19 | 2006-09-13 | Matsushita Electric Industrial Co., Ltd. | Image processor, method of providing image processing services and order processing method |
JP2001209827A (ja) | 1999-11-19 | 2001-08-03 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理サービス提供方法および受注処理方法 |
WO2002073955A1 (en) * | 2001-03-13 | 2002-09-19 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, studio apparatus, storage medium, and program |
US7307654B2 (en) * | 2002-10-31 | 2007-12-11 | Hewlett-Packard Development Company, L.P. | Image capture and viewing system and method for generating a synthesized image |
JP4217100B2 (ja) | 2003-04-17 | 2009-01-28 | 本田技研工業株式会社 | 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム |
JP2005142938A (ja) * | 2003-11-07 | 2005-06-02 | Casio Comput Co Ltd | 電子カメラ、制御プログラム |
JP2005301492A (ja) * | 2004-04-08 | 2005-10-27 | Olympus Corp | 画像履歴処理プログラム、画像履歴処理方法、画像履歴処理装置及び記録媒体 |
JP4244040B2 (ja) * | 2005-03-10 | 2009-03-25 | 任天堂株式会社 | 入力処理プログラムおよび入力処理装置 |
US7801330B2 (en) | 2005-06-24 | 2010-09-21 | Objectvideo, Inc. | Target detection and tracking from video streams |
JP4730141B2 (ja) * | 2006-03-06 | 2011-07-20 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びに、プログラム |
EP2000889B1 (en) * | 2006-03-15 | 2018-06-27 | Omron Corporation | Monitor and monitoring method, controller and control method, and program |
EP1862969A1 (en) * | 2006-06-02 | 2007-12-05 | Eidgenössische Technische Hochschule Zürich | Method and system for generating a representation of a dynamically changing 3D scene |
JP5223318B2 (ja) * | 2007-12-07 | 2013-06-26 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP5040734B2 (ja) * | 2008-03-05 | 2012-10-03 | ソニー株式会社 | 画像処理装置、画像記録方法およびプログラム |
US20110187703A1 (en) | 2010-01-29 | 2011-08-04 | Kedar Anil Patwardhan | Method and system for object tracking using appearance model |
JP5656567B2 (ja) | 2010-11-05 | 2015-01-21 | キヤノン株式会社 | 映像処理装置および方法 |
JP6121647B2 (ja) * | 2011-11-11 | 2017-04-26 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2013110551A (ja) * | 2011-11-21 | 2013-06-06 | Sony Corp | 情報処理装置、撮像装置、情報処理方法およびプログラム |
JP2013165366A (ja) * | 2012-02-10 | 2013-08-22 | Sony Corp | 画像処理装置、画像処理方法及びプログラム |
US8836768B1 (en) | 2012-09-04 | 2014-09-16 | Aquifi, Inc. | Method and system enabling natural user interface gestures with user wearable glasses |
JP5516693B2 (ja) * | 2012-10-29 | 2014-06-11 | 富士通モバイルコミュニケーションズ株式会社 | 携帯情報機器及び情報処理プログラム |
DE102013211492B4 (de) | 2013-06-19 | 2020-10-15 | Trimble Jena Gmbh | Bestimmung eines Messfehlers |
JP2017093803A (ja) * | 2015-11-24 | 2017-06-01 | 富士通株式会社 | 評価プログラム、評価方法及び評価装置 |
-
2015
- 2015-07-31 JP JP2016548769A patent/JP6747292B2/ja active Active
- 2015-07-31 US US15/512,340 patent/US10911645B2/en active Active
- 2015-07-31 WO PCT/JP2015/071750 patent/WO2016042926A1/ja active Application Filing
-
2019
- 2019-05-10 US US16/409,320 patent/US20190268509A1/en not_active Abandoned
-
2020
- 2020-07-31 JP JP2020129925A patent/JP6996594B2/ja active Active
- 2020-12-22 US US17/131,306 patent/US20210112181A1/en not_active Abandoned
-
2021
- 2021-12-13 JP JP2021201328A patent/JP7294396B2/ja active Active
-
2023
- 2023-06-07 JP JP2023093623A patent/JP2023111962A/ja active Pending
- 2023-09-01 US US18/241,301 patent/US20230412903A1/en active Pending
- 2023-09-01 US US18/241,299 patent/US20230412902A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2023111962A (ja) | 2023-08-10 |
US20230412903A1 (en) | 2023-12-21 |
WO2016042926A1 (ja) | 2016-03-24 |
JP7294396B2 (ja) | 2023-06-20 |
US20210112181A1 (en) | 2021-04-15 |
JP2020182251A (ja) | 2020-11-05 |
US20170289411A1 (en) | 2017-10-05 |
JPWO2016042926A1 (ja) | 2017-07-20 |
US10911645B2 (en) | 2021-02-02 |
JP2022022434A (ja) | 2022-02-03 |
JP6996594B2 (ja) | 2022-01-17 |
US20190268509A1 (en) | 2019-08-29 |
US20230412902A1 (en) | 2023-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6747292B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US11232593B2 (en) | Calibration apparatus, calibration system, and calibration method | |
US10469829B2 (en) | Information processor and information processing method | |
US11039121B2 (en) | Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method | |
TWI486551B (zh) | 三維資料擷取方法及其系統 | |
JP6344050B2 (ja) | 画像処理システム、画像処理装置、プログラム | |
US20140218354A1 (en) | View image providing device and method using omnidirectional image and 3-dimensional data | |
JP2004062758A (ja) | 情報処理装置および方法 | |
JP2020187358A (ja) | 投影システム、投影装置及びその表示画像の校正方法 | |
JP6174968B2 (ja) | 撮像シミュレーション装置 | |
JP2007036482A (ja) | 情報投影表示装置およびプログラム | |
US20240071016A1 (en) | Mixed reality system, program, mobile terminal device, and method | |
JPWO2018167918A1 (ja) | プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム | |
KR101847996B1 (ko) | 곡면 투사영역에 대한 이미지 투사 방법 및 이를 위한 투사 시스템 | |
JP2016142991A (ja) | 画像処理システム、情報処理装置、画像処理方法、及びプログラム | |
JP6800599B2 (ja) | 情報処理装置、方法及びプログラム | |
JPWO2017057426A1 (ja) | 投影装置、コンテンツ決定装置、投影方法、および、プログラム | |
JP6124863B2 (ja) | ポインティング・ジェスチャ位置を認識する方法、コンピュータ、およびコンピュータ・プログラム | |
JP6984583B2 (ja) | 情報処理装置および情報処理方法 | |
JP6482307B2 (ja) | 情報処理装置およびその方法 | |
JP2020057430A (ja) | 複合現実システム、プログラム、携帯端末装置、及び方法 | |
CN117640904A (zh) | 投影控制方法、装置、投影设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180615 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190806 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191004 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200514 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6747292 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |