JP5772540B2 - Portable terminal device, area designation method, and area designation program - Google Patents
Portable terminal device, area designation method, and area designation program Download PDFInfo
- Publication number
- JP5772540B2 JP5772540B2 JP2011255644A JP2011255644A JP5772540B2 JP 5772540 B2 JP5772540 B2 JP 5772540B2 JP 2011255644 A JP2011255644 A JP 2011255644A JP 2011255644 A JP2011255644 A JP 2011255644A JP 5772540 B2 JP5772540 B2 JP 5772540B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- portable terminal
- terminal device
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 29
- 230000001133 acceleration Effects 0.000 claims description 57
- 238000000605 extraction Methods 0.000 claims description 43
- 230000005484 gravity Effects 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 20
- 239000000284 extract Substances 0.000 claims description 7
- 230000033001 locomotion Effects 0.000 description 35
- 230000002093 peripheral effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 238000004891 communication Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
Description
開示の技術は、例えば携帯型端末装置、エリア指定方法及びエリア指定プログラムに関する。 The disclosed technology relates to, for example, a portable terminal device, an area designation method, and an area designation program.
例えばスマートフォンなどの携帯型端末装置を周辺機器と連携させる場合、携帯型端末装置に周辺機器のＩＰアドレスやＭＡＣアドレス等を入力して、ターゲットとなる周辺機器を指定しなければならない。このような作業を省略するために、利用者が実世界で見ている物体、即ち周辺機器を直接ポインティングし、物体に紐づいた情報を取得する物体指定技術が開発されている。 For example, when a portable terminal device such as a smartphone is linked with a peripheral device, the peripheral device to be targeted must be specified by inputting the IP address or MAC address of the peripheral device into the portable terminal device. In order to omit such work, an object designation technique has been developed in which an object that a user sees in the real world, that is, a peripheral device is directly pointed and information associated with the object is acquired.
物体指定技術としては、例えば、物体に貼り付けられた光ＩＤタグに光ビームを照射し、光ＩＤタグでの光ビームの反射光に基づき、光ＩＤタグの識別情報を読み取るＩＤリーダが開示されている。従来技術にかかる光ＩＤタグは、光ＩＤリーダから放射された光ビームを、光ＩＤタグのメモリに記憶された識別情報で変調することで、光ＩＤタグの反射光に識別情報を付加する。このため、ＩＤリーダは、光ＩＤタグの反射光を受信することで、光ＩＤタグの識別情報を取得することができる。 As an object designating technique, for example, an ID reader is disclosed that irradiates an optical ID tag attached to an object with a light beam and reads identification information of the optical ID tag based on reflected light of the optical ID tag. ing. The optical ID tag according to the prior art modulates the light beam emitted from the optical ID reader with the identification information stored in the memory of the optical ID tag, thereby adding the identification information to the reflected light of the optical ID tag. For this reason, the ID reader can acquire the identification information of the optical ID tag by receiving the reflected light of the optical ID tag.
ところで、従来技術にかかるＩＤリーダによれば、光ＩＤタグに光ビームを照射しなければならない。しかし、遠隔地にある光ＩＤタグに光ビームを正確に照射することは容易ではない。 By the way, according to the ID reader according to the prior art, the optical ID tag must be irradiated with a light beam. However, it is not easy to accurately irradiate a light beam to a remote optical ID tag.
開示の技術は、撮影画像からターゲットのエリアを指定できる携帯型端末装置、エリア指定方法及びエリア指定プログラムを提供する。 The disclosed technology provides a portable terminal device, an area designation method, and an area designation program that can designate a target area from a captured image.
開示の技術の一観点によれば、携帯型端末装置に於いて、カメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する決定部と、前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得する第１の取得部と、前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出する第１の算出部と、前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する第２の算出部と、前記表示画像の前記座標にポインタを重畳する重畳部と、前記ポインタが重畳された前記表示画像を前記表示画面に表示する表示部と、前記表示画像から前記ポインタを包含する画像領域を抽出する抽出部と、を備える携帯型端末装置が提供される。 According to one aspect of the disclosed technology, a determination unit that determines a display image to be displayed on a display screen among a plurality of captured images captured by a camera in a portable terminal device; A first acquisition unit that acquires a first angular velocity and a second angular velocity centered on a first axis and a second axis defined in a plane intersecting a normal line of the display screen; A first rotation amount and a second rotation amount about the first axis and the second axis of the portable terminal device are calculated based on an angular velocity of 1 and the second angular velocity. A calculation unit; a second calculation unit that calculates coordinates that are included in the range of the display screen and that are linked to the optical axis of the camera based on the first rotation amount and the second rotation amount; and the display A superimposing unit that superimposes a pointer on the coordinates of the image, and before the pointer is superimposed A display unit for displaying a display image on the display screen, an extraction unit that extracts an image area including the pointer from the display image, the portable terminal device with a provided.
開示の技術によれば、撮影画像からターゲットのエリアを指定することができる。 According to the disclosed technology, a target area can be designated from a captured image.
［第１の実施形態］
以下、図１−図１２を参照しながら、第１の実施形態を説明する。
[First Embodiment]
The first embodiment will be described below with reference to FIGS.
（スマートフォン１０の概略）
図１は、第１の実施形態にかかるスマートフォン１０の斜視図である。
(Outline of smartphone 10)
FIG. 1 is a perspective view of a
図１に示すように、本実施形態にかかるスマートフォン１０は、矩形箱型の筺体１１と、長方形型の表示画面１２と、丸型の操作ボタン１３と、を備える。なお、本実施形態では、スマートフォン１０を説明するが、カメラ機能を搭載する携帯性端末であれば、スマートフォン１０に限定されるものではない。
As shown in FIG. 1, the
本実施形態にかかるスマートフォン１０は、相互に直交する３軸、即ちｘ軸、ｙ軸、ｚ軸が規定されている。なお、図示するように、ｘ軸は、表示画面１２の長手方向に、ｙ軸は、表示画面１２の短手方向に、ｚ軸は、表示画面１２の直交方向に、それぞれ延在している。
The
（スマートフォン１０のハードウェア）
図２は、第１の実施形態にかかるスマートフォン１０のハードウェアの概略図である。
(
FIG. 2 is a schematic diagram of hardware of the
図２に示すように、本実施形態にかかるスマートフォン１０は、コントローラ２１、メモリ２２、フラッシュメモリ２３、通信モジュール２４、リアルタイムクロック２５、ディスプレイ２６、カメラ２７、慣性センサ２８を備える。
As shown in FIG. 2, the
コントローラ２１、メモリ２２、フラッシュメモリ２３、通信モジュール２４、リアルタイムクロック２５、ディスプレイ２６、カメラ２７、慣性センサ２８は、例えばバスＢにより相互に接続されている。 The controller 21, the memory 22, the flash memory 23, the communication module 24, the real time clock 25, the display 26, the camera 27, and the inertial sensor 28 are connected to each other by a bus B, for example.
コントローラ２１は、フラッシュメモリ２３に格納された各種プログラムを読み出して、メモリ２２に展開するとともに、該メモリ２２に展開された各種プログラムを実行することで、各種機能を実現する。各種機能の詳細は、後述することとする。 The controller 21 reads out various programs stored in the flash memory 23 and develops them in the memory 22, and implements various functions by executing the various programs developed in the memory 22. Details of the various functions will be described later.
メモリ２２は、コントローラ２１によりフラッシュメモリ２３から読み出された各種プログラムを記憶する。さらに、メモリ２２は、例えば画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３、として機能して、コントローラ２１により各種機能が実行されるときに使用される各種データなどを記憶する。画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３の詳細は、後述することとする。
The memory 22 stores various programs read from the flash memory 23 by the controller 21. Furthermore, the memory 22 functions as, for example, the
フラッシュメモリ２３は、スマートフォン１０の動作を制御するための各種プログラムを記憶する。本実施形態にかかるエリア指定プログラムもフラッシュメモリ２３に記憶されている。なお、本実施形態では、フラッシュメモリ２３を使用しているが、不揮発性メモリであれば、これに限定されるものではない。
The flash memory 23 stores various programs for controlling the operation of the
通信モジュール２４は、後述する表示画像Ｉから抽出された画像領域Ｒの画像情報を、例えばスマートフォン１０の通信機能により、例えば外部のサーバＳに送信する。さらに、通信モジュール２４は、周辺機器Ａ、Ｂ…のそれぞれに紐づけられた情報、例えば周辺機器Ａ、Ｂ…の識別情報や、周辺機器Ａ、Ｂ…の操作プログラムなどを、例えば外部のサーバＳから受信する。
The communication module 24 transmits the image information of the image region R extracted from the display image I described later to, for example, an external server S by using the communication function of the
リアルタイムクロック２５は、例えば、コントローラ２１のイベントタイマ（図示しない）の校正や、例えば複数の撮影画像から表示画像Ｉを取得するために使用される。 The real-time clock 25 is used, for example, to calibrate an event timer (not shown) of the controller 21 and to acquire the display image I from a plurality of captured images, for example.
ディスプレイ２６は、筺体１１の内部に配置され、筺体１１の前面から表示画面１２を露出させている。ディスプレイ２６の種類は、特に限定されるものではないが、表示画面１２には、タッチスクリーン（図示しない）が貼り付けられている。
The display 26 is disposed inside the
カメラ２７は、筺体１１の内部に配置され、筺体１１の後面からレンズユニット（図示しない）を露出させ、筺体１１の後側、即ち該ディスプレイ２６の表示画面１２とは逆側を撮影する。但し、本実施形態は、これに限定されるものではなく、例えば筺体１１の前面からカメラ２７のレンズユニット（図示しない）を露出させ、筺体１１の前側を撮影させても良い。
The camera 27 is disposed inside the
慣性センサ２８は、加速度センサ２８ａ及びジャイロセンサ２８ｂを備える。本実施形態では、加速度センサ２８ａ及びジャイロセンサ２８ｂを、慣性センサ２８の１パッケージに組み込んでいるが、別々のパッケージとしても良い。 The inertial sensor 28 includes an acceleration sensor 28a and a gyro sensor 28b. In this embodiment, the acceleration sensor 28a and the gyro sensor 28b are incorporated in one package of the inertial sensor 28, but may be separate packages.
加速度センサ２８ａは、スマートフォン１０のｘ軸、ｙ軸、ｚ軸の軸方向の加速度、即ち第１の加速度ａｘ、第２の加速度ａｙ、第３の加速度ａｚを、それぞれ検知する。但し、スマートフォン１０の姿勢によっては、第１の加速度ａｘ、第２の加速度ａｙ、第３の加速度ａｚが、スマートフォン１０の動きに由来する動き成分のほかに、地球の重力成分を含むこともある。
The acceleration sensor 28a detects the x-axis, y-axis, and z-axis accelerations of the
ジャイロセンサ２８ｂは、スマートフォン１０のｘ軸、ｙ軸、ｚ軸を中心とする角速度、即ち第１の角速度ωｘ、第２の角速度ωｙ、第３の角速度ωｚを検出する。なお、第１の角速度ωｘ、第２の角速度ωｙ、第３の角速度ωｚは、スマートフォン１０の動きに由来する動き成分の他に、ジャイロセンサ２８ｂのドリフトに由来するドリフト成分を含むこともある。
The gyro sensor 28b detects angular velocities around the x-axis, y-axis, and z-axis of the
（コントローラ２１の機能ブロック）
図３は、第１の実施形態にかかるコントローラ２１の機能ブロックの概略図である。
(Function block of controller 21)
FIG. 3 is a schematic diagram of functional blocks of the controller 21 according to the first embodiment.
図３に示すように、本実施形態にかかるコントローラ２１は、加速度取得部２１１、角速度取得部２１２、角度算出部２１３、座標算出部２１４、画像取得部２１５、表示画像決定部２１６、ポインタ重畳部２１７、画像表示部２１８、画像領域抽出部２１９、画像比較部２２０、情報取得部２２１、時間管理部２２２、画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３を備える。
As shown in FIG. 3, the controller 21 according to the present embodiment includes an acceleration acquisition unit 211, an angular velocity acquisition unit 212, an angle calculation unit 213, a coordinate calculation unit 214, an image acquisition unit 215, a display image determination unit 216, and a pointer superimposition unit. 217, an image display unit 218, an image region extraction unit 219, an image comparison unit 220, an information acquisition unit 221, a time management unit 222, an
加速度取得部２１１、角速度取得部２１２、角度算出部２１３、座標算出部２１４、画像取得部２１５、表示画像決定部２１６、ポインタ重畳部２１７、画像表示部２１８、画像領域抽出部２１９、画像比較部２２０、情報取得部２２１、時間管理部２２２、画像記憶部２５０、テンプレート記憶部２５１、表示画像記憶部２５２、特徴量記憶部２５３は、何れもメモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１により実現される。
Acceleration acquisition unit 211, angular velocity acquisition unit 212, angle calculation unit 213, coordinate calculation unit 214, image acquisition unit 215, display image determination unit 216, pointer superimposition unit 217, image display unit 218, image region extraction unit 219, image comparison unit 220, the information acquisition unit 221, the time management unit 222, the
加速度取得部２１１は、慣性センサ２８の加速度センサ２８ａにより検出された加速度、即ちｘ軸の軸方向の第１の加速度ａｘ、ｙ軸の軸方向の第２の加速度ａｙ、ｚ軸の軸方向の第３の加速度ａｙ、を所定時間ごとに、例えば２０［ｍｓ］ごとに取得する。 The acceleration acquisition unit 211 detects the acceleration detected by the acceleration sensor 28a of the inertial sensor 28, that is, the first acceleration a x in the axial direction of the x axis, the second acceleration a y in the axial direction of the y axis, and the axis of the z axis. The third acceleration a y in the direction is acquired every predetermined time, for example, every 20 [ms].
角速度取得部２１２は、慣性センサ２８のジャイロセンサ２８ｂにより検出された角速度、即ちｘ軸を中心とする第１の角速度ωｘ、ｙ軸を中心とする第２の角速度ωｙ、ｚ軸を中心とする第３の角速度ωｚ、を所定時間ごとに、例えば２０［ｍｓ］ごとに取得する。 The angular velocity acquisition unit 212 is centered on the angular velocity detected by the gyro sensor 28b of the inertial sensor 28, that is, the first angular velocity ω x centered on the x axis, the second angular velocity ω y centered on the y axis, and the z axis. a third angular velocity omega z that, every predetermined time, acquires for example, every 20 [ms].
角度算出部２１３は、角速度取得部２１２により取得された第１の角速度ωｘ、第２の角速度ωｙ、第３の角速度ωｚに基づき、ｘ軸を中心とする第１の角度θ、ｙ軸を中心とする第２の角度φ、ｚ軸を中心とする第３の角度ψを、それぞれ算出する。 The angle calculation unit 213 uses the first angular velocity ω x , the second angular velocity ω y , and the third angular velocity ω z acquired by the angular velocity acquisition unit 212 to perform the first angle θ, y centered on the x axis. A second angle φ centered on the axis and a third angle ψ centered on the z axis are calculated.
第１の角度θ、第２の角度φ、第３の角度ψは、表示画像決定部２１６により表示画像Ｉが決定されたときのスマートフォン１０の姿勢（以下、初期姿勢とする）を基準とする、ｘ軸、ｙ軸、ｚ軸を中心とした回転量（回転角）である。従って、第１の角度θ、第２の角度φ、第３の角度ψが算出されると、初期姿勢を基準とするスマートフォン１０の姿勢が決まる。以下、第１の角度θ、第２の角度φ、第３の角度ψの算出法を説明する。
1st angle (theta), 2nd angle (phi), and 3rd angle (psi) are based on the attitude | position (henceforth an initial attitude | position) of the
本実施形態では、第１の角度θ、第２の角度φ、第３の角度ψを算出するために、四元数を使用する。四元数をＱ（ｑ０、ｑ１、ｑ２、ｑ３）とし、角速度取得部２１２により取得されるｘ軸、ｙ軸、ｚ軸を中心とする加速度をΩ（ωｘ、ωｙ、ωｚ）とすると、姿勢更新運動微分方程式は、以下の数式（１）のように表現される。 In the present embodiment, a quaternion is used to calculate the first angle θ, the second angle φ, and the third angle ψ. The quaternion is Q (q 0 , q 1 , q 2 , q 3 ), and the acceleration centered on the x, y, and z axes acquired by the angular velocity acquisition unit 212 is Ω (ω x , ω y , Assuming that ω z ), the posture update motion differential equation is expressed as the following mathematical formula (1).
なお、四元数Ｑの初期値は、Ｑ０（１、０、０、０）と定義される。 The initial value of the quaternion Q is defined as Q 0 (1, 0 , 0 , 0 ).
数式（１）に於いて、ジャイロセンサ２８ｂのサンプリング周期を固定すると、数式（１）の姿勢更新運動微分方程式の解は、以下の数式（２）のように表現される。 In Expression (1), when the sampling period of the gyro sensor 28b is fixed, the solution of the posture update motion differential equation of Expression (1) is expressed as Expression (2) below.
数式（２）に於いて、ジャイロセンサ２８ｂのサンプリング間隔内の角速度を一定とすると、数式（２）の積分項は、以下の数式（３）のように近似される。 In the formula (2), if the angular velocity within the sampling interval of the gyro sensor 28b is constant, the integral term of the formula (2) is approximated as the following formula (3).
なお、数式（３）に於いて、Δθx、Δθy、Δθzは、それぞれ区間［ｔｋ、ｔｋ+１］に於ける角度の増量である。 In Equation (3), Δθ x , Δθ y , and Δθ z are increases in angle in the section [t k , t k + 1 ], respectively.
数式（３）を利用して、数式（１）をテイラー展開すると、姿勢更新運動微分方程式の解を求めることができる。姿勢更新運動微分方程式の解は、以下の数式（４）のように表現される。 When Equation (1) is Taylor-expanded using Equation (3), a solution to the posture update motion differential equation can be obtained. The solution of the posture update motion differential equation is expressed as the following mathematical formula (4).
但し、実際に、スマートフォン１０に於いて、数値演算を実行する場合、数式（４）に於けるsin項およびcos項を級数展開すれば良い。なお、級数展開による、数式（４）の１次近似式は、以下の数式（５）のように、２次近似式は、以下の数式（６）のように表現される。本実施形態では、数式（５）を使用する。
However, in actuality, when a numerical operation is performed in the
数式（５）によれば、ある時刻ｔｋの四元数Ｑ（ｔｋ）がわかれば、次の時刻ｔｋ＋１の四元素Ｑ（ｔｋ＋１）を求めることができる。本実施形態では、四元数Ｑの初期値をＱ０（１、０、０、０）としているので、数式（５）を使用すれば、表示画面１２に表示する表示画像Ｉの決定時から任意の時間ｔが経過したときの四元数Ｑ（ｔ）を算出することができる。
According to Equation (5), if the quaternion Q (t k ) at a certain time t k is known, the four elements Q (t k + 1 ) at the next time t k + 1 can be obtained. In the present embodiment, the initial value of the quaternion Q is Q 0 (1, 0, 0, 0 ). Therefore, when the mathematical expression (5) is used, the display image I to be displayed on the
さらに、四元数Ｑによる姿勢表現をオイラー角（θ、φ、ψ）による姿勢表現に変換すれば、表示画面１２に表示する表示画像Ｉの決定時からのｘ軸、ｙ軸、ｚ軸を中心とする回転角、即ち第１の角度θ、第２の角度φ、第３の角度ψを算出することができる。四元数をオイラー角に変換する変換式は、以下の数式（７）、（８）、（９）のように表現される。
Further, if the posture expression by the quaternion Q is converted into the posture expression by Euler angles (θ, φ, ψ), the x-axis, y-axis, and z-axis from the time of determining the display image I to be displayed on the
座標算出部２１４は、角度算出部２１３により算出された第１の角度θ、第２の角度φ、第３の角度ψのうち、ｘ軸を中心とする第１の角度θ及びｙ軸を中心とする第２の角度φに基づき、表示画面１２の範囲に包含される座標（ｘｉ、ｙｉ）を算出する。座標（ｘｉ、ｙｉ）は、カメラ２７の光軸、即ちカメラ２７のレンズ（図示しない）の中心軸の動きに連動する。但し、表示画面１２に表示する表示画像Ｉの決定時には、座標（ｘｉ、ｙｉ）が表示画面１２の中心、即ちＣ０（Ｗ／２、Ｈ／２）に位置するものとする。従って、表示画面１２に表示する表示画像Ｉの決定後に、スマートフォン１０を前傾させると、カメラ２７の光軸も前傾するので、座標算出部２１４により算出される座標（ｘｉ、ｙｉ）は、表示画面１２の中心Ｃ０（Ｗ／２、Ｈ／２）よりも下側に移動する。同様に、表示画面１２に表示する表示画像Ｉの決定後に、スマートフォン１０を後傾させると、カメラ２７の光軸も後傾するので、座標算出部２１４により算出される座標（ｘｉ、ｙｉ）は、表示画面１２の中心Ｃ０（Ｗ／２、Ｈ／２）よりも上側に移動する。なお、Ｗは、表示画面１２のｘ軸の軸方向の長さ、Ｈは、表示画面１２のｙ軸の軸方向の長さ、をそれぞれ示している。
The coordinate calculation unit 214 is centered on the first angle θ centered on the x axis and the y axis among the first angle θ, the second angle φ, and the third angle ψ calculated by the angle calculation unit 213. The coordinates (x i , y i ) included in the range of the
画像取得部２１５は、カメラ２７により撮影された複数の撮影画像を取得する。画像取得部２１５により取得された複数の撮影画像は、それぞれメモリ２２に構築される画像記憶部２５０に記憶される。なお、画像取得部２１５により取得された複数の撮影画像を、それぞれの撮影時刻を対応づけて、画像記憶部２５０に記憶しても良い。
The image acquisition unit 215 acquires a plurality of captured images captured by the camera 27. The plurality of captured images acquired by the image acquisition unit 215 are stored in the
表示画像決定部２１６は、画像取得部２１５により取得された複数の撮影画像から、ディスプレイ２６の表示画面１２に表示する表示画像Ｉを決定する。表示画像決定部２１６により決定された表示画像Ｉは、表示画面１２に表示されたまま固定される。即ち、表示画像Ｉは、いわゆる背景画像として、表示画面１２に表示される。表示画像Ｉの決定プロセスは、後述することとする。
The display image determination unit 216 determines the display image I to be displayed on the
ポインタ重畳部２１７は、表示画像決定部２１６により決定された表示画像Ｉに於ける、座標算出部２１４により算出された座標（ｘｉ、ｙｉ）に、それぞれポインタｐｉを重畳する。ポインタＰｉの形態は、特に限定されるものではないが、本実施形態では、赤色の丸型ドットを用いる。なお、座標算出部２１４は、所定時間ごとに、例えば１００［ｍｓ］ごとに座標（ｘｉ、ｙｉ）を算出する。従って、ポインタ重畳部２１７は、座標算出部２１４により座標（ｘｉ、ｙｉ）が算出されるたびに、表示画像Ｉにポインタｐｉを追加的に重畳することとなる。このため、表示画面１２に表示する表示画像Ｉを決定してから、ある程度の時間が経過すると、表示画面１２には、表示画面１２の中心である座標Ｃ０（Ｗ／２、Ｈ／２）を始点とする、複数のポインタＰｉの軌跡Ｔｐが表示される。
The pointer superimposing unit 217 superimposes the pointers p i on the coordinates (x i , y i ) calculated by the coordinate calculating unit 214 in the display image I determined by the display image determining unit 216, respectively. Form of the pointer P i is not particularly limited, in the present embodiment, a red round dots. The coordinate calculation unit 214 calculates the coordinates (x i , y i ) every predetermined time, for example, every 100 [ms]. Therefore, the pointer superimposing unit 217 additionally superimposes the pointer p i on the display image I every time the coordinates (x i , y i ) are calculated by the coordinate calculating unit 214. For this reason, when a certain amount of time elapses after the display image I to be displayed on the
画像表示部２１８は、ポインタ重畳部２１７によりポインタＰｉが重畳された表示画像Ｉを、ディスプレイ２６の表示画面１２に表示する。但し、表示画像Ｉが決定されるまでの期間は、カメラ２７により撮影された複数の撮影画像をディスプレイ２６の表示画面１２に表示する。
The image display unit 218 displays the display image I on which the pointer Pi is superimposed by the pointer superimposing unit 217 on the
画像領域抽出部２１９は、ポインタ重畳部２１７により表示画像Ｉに重畳された複数のポインタＰｉの座標（ｘｉ、ｙｉ）に基づき、表示画像Ｉから画像領域Ｒを抽出する。画像領域Ｒは、少なくとも表示画像Ｉよりも小さいことが好ましい。画像領域Ｒの抽出法は、種々の形態をとり得るが、本実施形態では、例えば表示画像Ｉに重畳された複数のポインタＰｉの軌跡Ｔｐの外接矩形、いわゆるＡＡＢＢ（Axis Aligned Bounding Box）を、画像領域Ｒとして抽出する。 The image region extraction unit 219 extracts the image region R from the display image I based on the coordinates (x i , y i ) of the plurality of pointers P i superimposed on the display image I by the pointer superimposing unit 217. The image region R is preferably smaller than at least the display image I. Extraction of the image region R, but may take various forms, in the present embodiment, for example, a circumscribed rectangle of the trajectory T p of the plurality of pointer P i superimposed on the display image I, the so-called AABB (Axis Aligned Bounding Box) Are extracted as an image region R.
画像比較部２２０は、画像領域抽出部２１９により抽出された画像領域Ｒの画像情報と、事前に準備されている複数のパターン情報と、を比較する。画像領域Ｒの画像情報と、パターン情報との比較プロセスは、後述することとする。 The image comparison unit 220 compares the image information of the image region R extracted by the image region extraction unit 219 with a plurality of pattern information prepared in advance. The comparison process between the image information of the image region R and the pattern information will be described later.
情報取得部２２１は、画像比較部２２０による比較結果に基づき、画像領域Ｒに包含される物体に関連する情報を、例えばサーバＳから取得する。画像領域Ｒに周辺機器Ａが包含されている場合、例えば周辺機器Ａの識別情報もしくは周辺機器Ａの操作プログラムなどを取得しても良い。 The information acquisition unit 221 acquires information related to the object included in the image region R from the server S, for example, based on the comparison result by the image comparison unit 220. When the peripheral device A is included in the image region R, for example, identification information of the peripheral device A or an operation program of the peripheral device A may be acquired.
時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、表示画像Ｉの決定時からの経過時間、エリア指定プログラムの起動時からの経過時間、などを管理する。 Based on the output from the real-time clock 25, the time management unit 222 manages the elapsed time from the determination of the display image I, the elapsed time from the start of the area designation program, and the like.
（コントローラ２１による処理フロー）
図４は、第１の実施形態にかかるコントローラ２１による処理のフローチャートである。図５は、第１の実施形態にかかるスマートフォン１０の動きにより表示画面１２に表示されるポインタＰｉの軌跡Ｔｐの概略図である。図６は、第１の実施形態にかかるスマートフォン１０を動かして、表示画像Ｉから画像領域Ｒを抽出する抽出プロセスの概略図である。
(Processing flow by the controller 21)
FIG. 4 is a flowchart of processing by the controller 21 according to the first embodiment. Figure 5 is a schematic diagram of the trajectory T p of the pointer P i that is displayed on the
本実施形態にかかる処理フローは、エリア指定プログラムを起動することで開始する。処理フローが開始したら、図４に示すように、画像取得部２１５は、カメラ２７により撮影された複数の撮影画像を取得する（ステップＳ１０１）。画像取得部２１５により取得された複数の撮影画像は、逐次メモリ２２に構築された画像記憶部２５０に記憶される。
The processing flow according to the present embodiment is started by starting an area designation program. When the processing flow is started, as shown in FIG. 4, the image acquisition unit 215 acquires a plurality of captured images captured by the camera 27 (step S101). The plurality of captured images acquired by the image acquisition unit 215 are stored in the
次に、表示画像決定部２１６は、画像取得部２１５により取得された複数の撮影画像から、１枚の表示画像Ｉを決定する（ステップＳ１０２）。表示画像決定部２１６により決定された表示画像Ｉは、ディスプレイ２６の表示画面１２に背景画像として表示される。表示画像Ｉの決定プロセスは、後述することとする。
Next, the display image determination unit 216 determines one display image I from the plurality of captured images acquired by the image acquisition unit 215 (step S102). The display image I determined by the display image determination unit 216 is displayed as a background image on the
次に、角度算出部２１３は、角速度取得部２１２により取得されたｘ軸、ｙ軸、ｚ軸を中心とする第１の角速度ωｘ、第２の角速度ωｙ、第２の角速度ωｚに基づき、ｘ軸、ｙ軸、ｚ軸を中心とするスマートフォン１０の回転量、即ち第１の角度θ、第２の角度φ、第３の角度ψを算出する（ステップＳ１０３）。
Next, the angle calculation unit 213 converts the first angular velocity ω x , the second angular velocity ω y , and the second angular velocity ω z around the x axis, the y axis, and the z axis acquired by the angular velocity acquisition unit 212. Based on this, the rotation amount of the
次に、座標算出部２１４は、角度算出部２１３により算出された第１の角度θ、第２の角度φ、第３の角度ψのうち、第１の角度θ及び第２の角度φに基づき、ディスプレイ２６の表示画面１２の範囲に包含され、カメラ２７の光軸の動きに連動する座標（ｘｉ、ｙｉ）を、所定時間ごとに算出する（ステップＳ１０４）。
Next, the coordinate calculation unit 214 is based on the first angle θ and the second angle φ among the first angle θ, the second angle φ, and the third angle ψ calculated by the angle calculation unit 213. The coordinates (x i , y i ) included in the range of the
次に、ポインタ重畳部２１７は、表示画像決定部２１６により決定された表示画像Ｉに於ける、座標算出部２１４により算出された座標（ｘｉ、ｙｉ）に、それぞれポインタｐｉを重畳する（ステップＳ１０５）。 Next, the pointer superimposing unit 217 superimposes the pointers p i on the coordinates (x i , y i ) calculated by the coordinate calculating unit 214 in the display image I determined by the display image determining unit 216, respectively. (Step S105).
例えば、図５（ａ）に示すように、利用者Ｕが、ｘ軸を中心にスマートフォン１０を回動させると、本実施形態にかかるエリア指定プログラムの機能により、表示画面１２に表示された表示画像Ｉに、複数のポインタＰｉが次々と重畳され、表示画像Ｉの特定領域に、ｘ方向に往復するジグザグ型の軌跡Ｔｐが描写される。
For example, as shown in FIG. 5A, when the user U rotates the
又、図５（ｂ）に示すように、利用者Ｕが、ｙ軸を中心にスマートフォン１０を回動させると、本実施形態にかかるエリア指定プログラムの機能により、表示画面１２に表示された表示画像Ｉに、複数のポインタＰｉが次々と重畳され、表示画像Ｉの特定領域に、ｙ方向に往復するジグザグ型の軌跡Ｔｐが描写される。
Further, as shown in FIG. 5B, when the user U rotates the
次に、時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、表示画像決定部２１６により表示画像Ｉが決定された時点からの経過時間が、事前に決められた閾値を超えたか判断する（ステップＳ１０６）。 Next, based on the output from the real-time clock 25, the time management unit 222 determines whether the elapsed time from the time when the display image I is determined by the display image determination unit 216 exceeds a predetermined threshold ( Step S106).
表示画像Ｉが決定された時点からの経過時間が閾値を超えたと判断されない場合（ステップＳ１０６のＮｏ）、角度算出部２１３は、第１の角度θ、第２の角度φ、第３の角度ψの算出を継続する（ステップＳ１０３）。 When it is not determined that the elapsed time from the time when the display image I is determined exceeds the threshold (No in step S106), the angle calculation unit 213 determines the first angle θ, the second angle φ, and the third angle ψ. Is continuously calculated (step S103).
一方、表示画像Ｉが決定された時点からの経過時間が閾値を超えたと判断された場合（ステップＳ１０６のＹｅｓ）、画像領域抽出部２１９は、複数のポインタＰｉの軌跡Ｔｐに外接する矩形領域を、表示画像Ｉから画像領域Ｒとして抽出する（ステップＳ１０７）。 On the other hand, when the elapsed time from when the display image I is determined is determined to have exceeded the threshold value (Yes in step S106), the image area extracting unit 219, a rectangle circumscribing the trajectory T p of the plurality of pointer P i An area is extracted from the display image I as an image area R (step S107).
次に、画像比較部２２０は、画像領域抽出部２１９により抽出された画像領域Ｒの画像情報と、事前に準備された複数のパターン情報と、のマッチングを実施する（ステップＳ１０８）。画像領域Ｒの画像情報と、画像パターン情報とのマッチングプロセスは、後述することとする。 Next, the image comparison unit 220 performs matching between the image information of the image region R extracted by the image region extraction unit 219 and a plurality of pieces of pattern information prepared in advance (step S108). The matching process between the image information of the image region R and the image pattern information will be described later.
画像領域Ｒの画像領域と、複数のパターン情報の何れかとのマッチングが成功したと判断されなければ（ステップＳ１０９のＮｏ）、画像取得部２１５は、カメラ２７により撮影された撮影画像の取得を継続する（ステップＳ１０１）。 If it is not determined that the matching between the image area R and any of the plurality of pattern information is successful (No in step S109), the image acquisition unit 215 continues to acquire the captured image captured by the camera 27. (Step S101).
一方、画像領域Ｒの画像情報と、複数のパターン情報の何れかとのマッチングが成功したと判断されたら（ステップＳ１０９のＹｅｓ）、情報取得部２２１は、マッチングが成功したときのパターン情報に対応する関連情報を、例えばサーバＳから取得する。例えば、画像領域Ｒに周辺機器Ａが包含されている場合、周辺機器Ａの識別情報もしくは周辺機器Ａの操作プログラムなどを関連情報として取得しても良い。 On the other hand, if it is determined that the matching between the image information of the image region R and any of the plurality of pattern information is successful (Yes in step S109), the information acquisition unit 221 corresponds to the pattern information when the matching is successful. The related information is acquired from the server S, for example. For example, when the peripheral device A is included in the image region R, the identification information of the peripheral device A or the operation program of the peripheral device A may be acquired as related information.
本実施形態にかかるスマートフォン１０は、以上の処理フローを実現するためのエリア指定プログラムを搭載している。このため、カメラ２７の光軸を回転させるようにスマートフォン１０を動かすと、表示画面１２に表示された表示画像Ｉには、エリア指定プログラムの機能により、図６（ａ）に示すような、ポインタＰｉの軌跡Ｔｐが描写される。さらに、図６（ａ）に示すような、ポインタＰｉの軌跡Ｔｐが描写されると、エリア指定プログラムの機能により、図６（ｂ）に示すような、ポインタＰｉの軌跡Ｔｐに外接する矩形領域が、画像領域Ｒとして生成される。
The
従って、表示画像Ｉに表示されているターゲットとしての周辺機器Ａに、ポインタＰｉの軌跡Ｔｐが重畳するようにスマートフォン１０を動かせば、周辺機器Ａが包含された、表示画像Ｉよりも小さい矩形領域を、画像領域Ｒとして指定することができる。
Thus, the peripheral device A as a target displayed on the display image I, if moving the
以上の処理フローを経ることで、スマートフォン１０は、撮影画像に表示されている物体、例えば周辺機器Ａの関連情報を、スマートフォン１０に取り込むことができる。これにより、スマートフォン１０は、非常に簡単に、例えば周辺機器Ａと機能連携することができる。
Through the processing flow described above, the
（表示画像決定部２１６の詳細）
図７は、第１の実施形態にかかる表示画像決定部２１６の機能ブロックの概略図である。図８（ａ）は、第１の実施形態にかかるスマートフォン１０の動きに由来する加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍのグラフである。図８（ｂ）は、第１の実施形態にかかるスマートフォン１０の加速度の動き成分から算出されたＳＭＡ値のグラフである。なお、図８（ａ）に於ける３本のグラフは、それぞれ動き成分ａｘｍ、ａｙｍ、ａｚｍの何れかを示している。図８（ｂ）に於ける二点鎖線は、ＳＭＡ値の閾値を示している。
(Details of display image determination unit 216)
FIG. 7 is a schematic diagram of functional blocks of the display image determination unit 216 according to the first embodiment. FIG. 8A is a graph of motion components a xm , a ym , and a zm of acceleration derived from the motion of the
図７に示すように、本実施形態にかかる表示画像決定部２１６は、ＡＣ成分取得部２１６ａ、ＳＭＡ算出部２１６ｂ、静止判定部２１６ｃ、撮影指示部２１６ｄ、表示画像取込部２１６ｅを備える。 As shown in FIG. 7, the display image determination unit 216 according to this embodiment includes an AC component acquisition unit 216a, an SMA calculation unit 216b, a stillness determination unit 216c, a shooting instruction unit 216d, and a display image capture unit 216e.
ＡＣ成分取得部２１６ａは、加速度取得部２１１により取得されたｘ軸、ｙ軸、ｚ軸の軸方向の第１の加速度ａｘ、第２の加速度ａｙ、第３の加速度ａｚから重力成分を除去して、スマートフォン１０の動きに由来する加速度の成分、即ち動き成分ａｘｍ、ａｙｍ、ａｚｍを取得する。ＡＣ成分取得部２１６ａとしては、いわゆるハイパスフィルタが用いられる。
The AC component acquisition unit 216a obtains the gravity component from the first acceleration a x , the second acceleration a y , and the third acceleration a z in the axial directions of the x axis, the y axis, and the z axis acquired by the acceleration acquisition unit 211. , And acceleration components derived from the movement of the
図８（ａ）に示すように、スマートフォン１０が動作している区間Ａ、区間Ｃでは、加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍが高く、スマートフォン１０が静止している区間Ｂ、区間Ｄでは、加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍが低いことがわかる。
As shown in FIG. 8A, in the sections A and C in which the
ＳＭＡ算出部２１６ｂは、ＡＣ成分取得部２１６ａにより取得された加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍに基づき、ＳＭＡ（Signal Magnitude Area）値を算出する。ＳＭＡ値の算出式は、特に限定されるものではないが、本実施形態では、以下の数式（１０）を使用する。 The SMA calculation unit 216b calculates an SMA (Signal Magnitude Area) value based on the acceleration motion components a xm , a ym , and a zm acquired by the AC component acquisition unit 216a. The formula for calculating the SMA value is not particularly limited, but in the present embodiment, the following formula (10) is used.
なお、数式（１０）に於いて、ｉは、サンプリングの識別番号（何回目のサンプリングかを意味するもの）であって、Ｔは、動き成分ａｘｍ（ｉ）、ａｙｍ（ｉ）、ａｚｍ（ｉ）のサンプリング期間である。 In the equation (10), i is a sampling identification number (meaning the number of times of sampling), and T is a motion component a xm (i), a ym (i), a This is the sampling period of zm (i).
図８（ｂ）に示すように、スマートフォン１０が動作している区間Ａ、区間Ｃでは、ＳＭＡ値が高く、スマートフォン１０が静止している区間Ｂ、区間Ｄでは、ＳＭＡ値が低いことがわかる。
As shown in FIG. 8B, it is understood that the SMA value is high in the sections A and C where the
静止判定部２１６ｃは、ＳＭＡ算出部２１６ｂにより算出されたＳＭＡ値と、事前に設定された閾値と、を比較して、事前に決められた時間にわたりＳＭＡ値が閾値より低い場合に、スマートフォン１０が静止したと判定する。
The stationary determination unit 216c compares the SMA value calculated by the SMA calculation unit 216b with a preset threshold value. When the SMA value is lower than the threshold value for a predetermined time, the
例えば、図８（ｂ）に示すように、事前に決められた時間が５０［ms］であれば、スマートフォン１０が静止している区間Ｂ、区間Ｄでは、５０［ms］以上にわたりＳＭＡ値が閾値より低いので、スマートフォン１０は、静止したと判定されることになる。
For example, as shown in FIG. 8B, if the predetermined time is 50 [ms], the SMA value is over 50 [ms] in the sections B and D where the
撮影指示部２１６ｄは、静止判定部２１６ｃによりスマートフォン１０が静止していると判定された場合、表示画像取込部２１６ｅに撮影画像の取り込みを指示する。
When the stationary determination unit 216c determines that the
表示画像取込部２１６ｅは、撮影指示部２１６ｄから撮影画像の取り込みを指示されたら、撮影画像の取り込みを指示された直後の撮影画像を、表示画像Ｉとして取り込む。表示画像取込部２１６ｅにより取り込まれた表示画像Ｉは、メモリ２２に構築された表示画像記憶部２５２に記憶される。 When the capture instruction unit 216d is instructed to capture a captured image, the display image capture unit 216e captures the captured image immediately after the capture of the captured image is instructed as a display image I. The display image I captured by the display image capturing unit 216e is stored in the display image storage unit 252 constructed in the memory 22.
これにより、利用者Ｕは、例えば表示画面１２に周辺機器Ａを表示させつつ、スマートフォン１０を静止させると、自動的に１枚の撮影画像が表示画像Ｉとして取り込まれることとなる。このため、例えばスマートフォン１０を片手で保持しているときにも、簡単にターゲットである周辺機器Ａを包含する表示画像Ｉを取得することができる。
Thereby, for example, when the user U stops the
（表示画像決定部２１６による処理のフロー）
図９は、第１の実施形態にかかる表示画像決定部２１６による処理のフローチャートである。なお、本実施形態では、表示画像決定部２１６による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１が実現していることは言うまでもない。
(Processing flow by the display image determination unit 216)
FIG. 9 is a flowchart of processing by the display image determination unit 216 according to the first embodiment. In the present embodiment, the processing flow by the display image determination unit 216 is used, but it goes without saying that the controller 21 is actually realized based on the area designation program.
本実施形態にかかる処理フローは、エリア指定プログラムを起動すると、先ずはじめに開始する。処理フローが開始したら、図９に示すように、ＡＣ成分取得部２１６ａは、加速度取得部２１１により取得された第１の加速度ａｘ、第２の加速度ａｙ第３の加速度ａｚから、スマートフォン１０の動きに由来する加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍを取得する（ステップＳ２０１）。 The processing flow according to the present embodiment starts first when the area designation program is activated. When the processing flow is started, as shown in FIG. 9, the AC component acquisition unit 216 a uses the first acceleration a x , the second acceleration a y, and the third acceleration a z acquired by the acceleration acquisition unit 211 to generate a smartphone. The acceleration motion components a xm , a ym , and a zm derived from the ten motions are acquired (step S201).
これと並行して、時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、本実施形態にかかるエリア指定プログラムの起動時からの経過時間のカウントを開始する（ステップＳ２０２）。 In parallel with this, based on the output from the real-time clock 25, the time management unit 222 starts counting the elapsed time from the start of the area designation program according to the present embodiment (step S202).
次に、ＳＭＡ算出部２１６ｂは、ＡＣ成分取得部２１６ａにより抽出された加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍに基づき、ＳＭＡ値を算出する（ステップＳ２０３）。 Next, the SMA calculation unit 216b calculates an SMA value based on the acceleration motion components a xm , a ym , and a zm extracted by the AC component acquisition unit 216a (step S203).
次に、静止判定部２１６ｃは、ＳＭＡ算出部２１６ｂにより算出されるＳＭＡ値が、事前に決められた時間にわたり、事前に決められた閾値より低いか判断する（ステップＳ２０４）。 Next, the stillness determination unit 216c determines whether the SMA value calculated by the SMA calculation unit 216b is lower than a predetermined threshold over a predetermined time (step S204).
ＳＭＡ値が、事前に決められた時間にわたり、事前に決められた閾値より低いと判断されない場合（ステップＳ２０４のＮｏ）、ＡＣ成分取得部２１６ａは、スマートフォン１０の動きに由来する加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍの取得を継続する（ステップＳ２０１）。
When it is not determined that the SMA value is lower than the predetermined threshold for a predetermined time (No in step S204), the AC component acquisition unit 216a determines the acceleration motion component a derived from the motion of the
一方、ＳＭＡ値が、事前に決められた時間にわたり、事前に決められた閾値より低いと判断されたら（ステップＳ２０４のＹｅｓ）、撮影指示部２１６ｄは、表示画像取込部２１６ｅに撮影画像の取り込みを指示する（ステップＳ２０５）。 On the other hand, if it is determined that the SMA value is lower than the predetermined threshold for a predetermined time (Yes in step S204), the imaging instruction unit 216d captures the captured image in the display image capturing unit 216e. Is instructed (step S205).
次に、表示画像取込部２１６ｅは、カメラ２７により連続的に取得されていた複数の撮影画像のうち、撮影指示部２１６ｂが取り込みを指示した直後に取得された撮影画像を取り込む（ステップＳ２０６）。表示画像取込部２１６ｅにより取り込まれた撮影画像は、表示画像Ｉとして、表示画像記憶部２５２に記憶される。 Next, the display image capturing unit 216e captures a captured image acquired immediately after the capturing instruction unit 216b instructs capturing, among a plurality of captured images continuously acquired by the camera 27 (step S206). . The captured image captured by the display image capturing unit 216e is stored in the display image storage unit 252 as the display image I.
（画像比較部２２０の詳細）
図１０は、第１の実施形態にかかる画像比較部２２０の機能ブロックの概略図である。
(Details of the image comparison unit 220)
FIG. 10 is a schematic diagram of functional blocks of the image comparison unit 220 according to the first embodiment.
図１０に示すように、本実施形態にかかる画像比較部２２０は、第１の特徴量算出部２２０ａ、第２の特徴量算出部２２０ｂ、特徴量比較部２２０ｃを備える。 As illustrated in FIG. 10, the image comparison unit 220 according to the present embodiment includes a first feature value calculation unit 220a, a second feature value calculation unit 220b, and a feature value comparison unit 220c.
第１の特徴量算出部２２０ａは、画像領域抽出部２１９により抽出された画像領域Ｒの画像情報に基づき、特徴量を算出する。特徴量は、特に限定されるものではないが、例えば画像領域Ｒに包含される物体の特徴的な位置などを数値化した指標を用いても良い。 The first feature amount calculation unit 220a calculates a feature amount based on the image information of the image region R extracted by the image region extraction unit 219. The feature amount is not particularly limited. For example, an index obtained by quantifying the characteristic position of an object included in the image region R may be used.
第２の特徴量算出部２２０ｂは、テンプレート記憶部２５１に記憶された複数のテンプレート情報に基づき、それぞれの特徴量を算出する。特徴量は、第１の特徴量算出部２２０ａにより算出される特徴量と同様に、それぞれのテンプレートの特徴的な位置などを数値化した指標を用いても良い。第２の特徴量算出部２２０ｂにより算出された、それぞれのテンプレートの特徴量は、テンプレートの識別情報に対応づけて、メモリ２２に構築された特徴量記憶部２５３に記憶される。テンプレート情報の詳細は、後述することとする。 The second feature amount calculation unit 220b calculates each feature amount based on a plurality of pieces of template information stored in the template storage unit 251. Similar to the feature amount calculated by the first feature amount calculation unit 220a, the feature amount may be an index obtained by quantifying the characteristic position of each template. The feature amount of each template calculated by the second feature amount calculation unit 220b is stored in the feature amount storage unit 253 constructed in the memory 22 in association with the template identification information. Details of the template information will be described later.
特徴量比較部２２０ｃは、第１の特徴量算出部２２０ａにより算出された、画像領域Ｒの画像情報の特徴量と、第２の特徴量算出部２２０ｂにより算出された複数のテンプレートの特徴量と、を比較して、相互の照合度を算出する。さらに、特徴量比較部２２０ｃは、特徴量の照合度が、事前に決められた閾値を超えるテンプレートが存在するか判断する。 The feature amount comparison unit 220c includes the feature amounts of the image information of the image region R calculated by the first feature amount calculation unit 220a and the feature amounts of the plurality of templates calculated by the second feature amount calculation unit 220b. , And the mutual matching degree is calculated. Furthermore, the feature amount comparison unit 220c determines whether there is a template whose feature amount matching level exceeds a predetermined threshold.
（データベースＤＢの概略）
図１１は、第１の実施形態にかかるテンプレート記憶部２５１に記憶されているテンプレートＴｍ１、Ｔｍ２、Ｔｍ３…のデータベースＤＢの概略図である。
(Outline of database DB)
FIG. 11 is a schematic diagram of a database DB of templates T m1 , T m2 , T m3 ... Stored in the template storage unit 251 according to the first embodiment.
図１１に示すように、本実施形態にかかるデータベースＤＢは、複数のテンプレートＴｍ１、Ｔｍ２、Ｔｍ３…と、それぞれのテンプレートＴｍ１、Ｔｍ２、Ｔｍ３…の識別番号と、を対応づけている。 As shown in FIG. 11, the database DB according to this embodiment, correspondence with a plurality of templates T m1, T m2, T m3 ... , and each template T m1, T m2, T m3 ... identification number, the ing.
例えば、テンプレートＴｍ１は、識別番号０００１に、テンプレートＴｍ２は、識別番号０００２に、テンプレートＴｍ３は、識別番号０００３に、それぞれ対応づけられている。なお、本実施形態では、テンプレートＴｍ１としてプロジェクタ、テンプレートＴｍ２としてコピー機、テンプレートＴｍ３としてＰＣモニタを採用している。
For example, the template T m1 is associated with the
（マッチングの概略）
図１２は、第１の実施形態にかかる画像比較部２２０によるマッチングの概略図である。画像領域抽出部２１９により画像領域Ｒが抽出されたら、図１２に示すように、画像領域Ｒの画像情報の特徴量が、テンプレート記憶部２５１に記憶されたデータベースＤＢの、それぞれのテンプレートＴｍ１、Ｔｍ２、Ｔｍ３の特徴量と照合される。なお、テンプレートＴｍ１、Ｔｍ２、Ｔｍ３の特徴量は、特徴量記憶部２５３に記憶されているので、実際には、特徴量記憶部２５３を参照することとなる。
(Outline of matching)
FIG. 12 is a schematic diagram of matching by the image comparison unit 220 according to the first embodiment. When the image region R is extracted by the image region extraction unit 219, as shown in FIG. 12, the feature amount of the image information of the image region R is stored in each template T m1 of the database DB stored in the template storage unit 251. It is collated with the feature values of T m2 and T m3 . Note that since the feature values of the templates T m1 , T m2 , and T m3 are stored in the feature value storage unit 253, the feature value storage unit 253 is actually referred to.
複数のテンプレートＴｍ１、Ｔｍ２、Ｔｍ３の中に、画像領域Ｒの画像情報の特徴量との照合度が、事前に決められた閾値を超えるテンプレートがあれば、該テンプレートに対応づけられた情報、例えば識別番号や操作プログラムなどが、例えばサーバＳから取得される。本実施形態に於いて、例えば画像領域Ｒの画像情報の特徴量と、テンプレートＴｍ１の特徴量との照合度が、閾値を超えているとすれば、テンプレートＴｍ１に対応する識別情報０００１がスマートフォン１０により取得されることになる。
If there is a template whose matching degree with the feature amount of the image information of the image region R exceeds a predetermined threshold in the plurality of templates T m1 , T m2 , T m3 , the template is associated with the template Information such as an identification number or an operation program is acquired from the server S, for example. In the present embodiment, for example, if the degree of matching between the feature amount of the image information in the image region R and the feature amount of the template T m1 exceeds the threshold value, the
このように、本実施形態によれば、表示画像Ｉよりも小さい画像領域Ｒの画像情報の特徴量と、複数のテンプレートＴｍ１、Ｔｍ２、Ｔｍ３…の特徴量とを比較している。このため、表示画像Ｉの全体の特徴量を算出するよりも計算量を減らすことができる。 Thus, according to the present embodiment, the feature amount of the image information in the image region R smaller than the display image I is compared with the feature amounts of the plurality of templates T m1 , T m2 , T m3 . For this reason, the calculation amount can be reduced as compared with the case where the entire feature amount of the display image I is calculated.
［第２の実施形態］
以下、図１３−図１７を参照しながら、第２の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。
[Second Embodiment]
Hereinafter, the second embodiment will be described with reference to FIGS. 13 to 17. However, descriptions of configurations and processes equivalent to those of the first embodiment will be omitted.
第２の実施形態にかかるコントローラ２１Ａは、さらにサイズ調整部２２３を備える点で、第１の実施形態にかかるコントローラ２１と異なる。 The controller 21A according to the second embodiment is different from the controller 21 according to the first embodiment in that it further includes a size adjusting unit 223.
（コントローラ２１Ａの機能ブロック）
図１３は、第２の実施形態にかかるコントローラ２１Ａの機能ブロックの概略図である。
(Function block of controller 21A)
FIG. 13 is a schematic diagram of functional blocks of the controller 21A according to the second embodiment.
図１３に示すように、本実施形態にかかるコントローラ２１Ａは、さらにサイズ調整部２２３を備える。サイズ調整部２２３は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１により実現される。 As illustrated in FIG. 13, the controller 21 </ b> A according to the present embodiment further includes a size adjustment unit 223. The size adjustment unit 223 is realized by the controller 21 based on the area designation program developed in the memory 22.
（サイズ調整部２２３の詳細）
図１４は、第２の実施形態にかかるサイズ調整部２２３の機能ブロックの概略図である。
(Details of the size adjustment unit 223)
FIG. 14 is a schematic diagram of functional blocks of the size adjusting unit 223 according to the second embodiment.
図１４に示すように、本実施形態にかかるサイズ調整部２２３は、比較部２２３ａ、倍率算出部２２３ｂ、拡縮部２２３ｃ、拡縮判定部２２３ｄを備える。 As shown in FIG. 14, the size adjustment unit 223 according to the present embodiment includes a comparison unit 223a, a magnification calculation unit 223b, an enlargement / reduction unit 223c, and an enlargement / reduction determination unit 223d.
比較部２２３ａは、角度算出部２１３により算出された、ｚ軸を中心とする第３の角度ψの絶対値と、事前に決められた閾値ψ０と、を比較する。 Comparing unit 223a compares calculated by the angle calculator 213, the absolute value of the third angle [psi about the z-axis, the threshold [psi 0 which is determined in advance, the.
倍率算出部２２３ｂは、角度算出部２１３により算出された第３の角度ψの絶対値と、角速度取得部２１２により取得された第３の角速度ωｚと、に基づき、画像領域Ｒを拡縮するための倍率を算出する。本実施形態に於いて、画像領域Ｒを拡縮するための倍率は、第３の角度ψの増加に比例している。このため、ｚ軸を中心とするスマートフォン１０の回転量を増大させると、画像領域Ｒを拡縮するための倍率も増大する。又、本実施形態に於いて、画像領域Ｒを拡大するか、もしくは、縮小するかは、第３の角速度ωｚの向きより決められる。このため、ｚ軸を中心とするスマートフォン１０の回転方向を反転させると、画像領域Ｒの拡大及び縮小も反転する。但し、第３の角度ψが閾値ψ０よりも小さい場合、倍率算出部２２３ｂは、画像領域Ｒの倍率を算出しない。これは、利用者Ｕの意図ではない、例えば手ぶれによるスマートフォン１０の回転を取り除くためである。
The magnification calculator 223b enlarges / reduces the image region R based on the absolute value of the third angle ψ calculated by the angle calculator 213 and the third angular velocity ω z acquired by the angular velocity acquirer 212. The magnification of is calculated. In the present embodiment, the magnification for enlarging / reducing the image region R is proportional to the increase in the third angle ψ. For this reason, if the rotation amount of the
拡縮部２２３ｃは、倍率算出部２２３ｂにより決定された倍率に基づき、画像領域Ｒのサイズを調整する。サイズを調整された画像領域Ｒは、表示画像Ｉにリアルタイム表示される。即ち、画像領域Ｒのサイズが変化する様子は、表示画面Ｉに表示される。 The enlargement / reduction unit 223c adjusts the size of the image region R based on the magnification determined by the magnification calculator 223b. The size-adjusted image region R is displayed on the display image I in real time. That is, how the size of the image region R changes is displayed on the display screen I.
拡縮判定部２２３ｄは、第３の角速度ωｚの絶対値が、事前に決められた時間にわたり、事前に決められた閾値ωｚ０よりも小さいか判断する。第３の角速度ωｚの絶対値が、事前に決められた時間にわたり、事前に決められた閾値ωｚ０よりも小さければ、画像領域Ｒのサイズ調整を目的としていないと推測されるからである。例えば、手ぶれ等によってスマートフォン１０が回転していると推測されるからである。
The enlargement / reduction determination unit 223d determines whether the absolute value of the third angular velocity ω z is smaller than a predetermined threshold value ω z0 over a predetermined time. This is because if the absolute value of the third angular velocity ω z is smaller than a predetermined threshold value ω z0 over a predetermined time, it is estimated that the size adjustment of the image region R is not aimed. For example, it is estimated that the
（サイズ調整部２２３による処理のフロー）
図１５は、第２の実施形態にかかるサイズ調整部２２３による処理のフローチャートである。なお、本実施形態では、サイズ調整部２２３による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１Ａが実現していることは言うまでもない。
(Processing flow by the size adjustment unit 223)
FIG. 15 is a flowchart of processing by the size adjustment unit 223 according to the second embodiment. In the present embodiment, the processing flow by the size adjustment unit 223 is used, but it goes without saying that the controller 21A is actually realized based on the area designation program.
画像領域Ｒを包含する表示画像Ｉが表示画面１２に表示されたら、図１５に示すように、比較部２２３ａは、角度算出部２１３により算出された第３の角度ψを取得し（ステップＳ３０１）、第３の角度ψの大きさが閾値ψ０よりも大きいか判断する（ステップＳ３０２）。
When the display image I including the image region R is displayed on the
第３の角度ψの大きさが閾値ψ０よりも大きいと判断されなければ（ステップＳ３０２のＮｏ）、比較部２２３ａは、第３の角度ψの取得を継続する（ステップＳ３０１）。一方、第３の角度ψの大きさが閾値ψ０よりも大きいと判断されたら（ステップＳ３０２のＹｅｓ）、倍率算出部２２３ｂは、第３の角度ψの大きさに基づき、画像領域Ｒを拡縮するための倍率の絶対値を、第３の角速度ωｚに基づき、画像領域Ｒの拡大もしくは縮小を、それぞれ算出する（ステップＳ３０３）。 If it is not determined that the magnitude of the third angle ψ is larger than the threshold ψ 0 (No in step S302), the comparison unit 223a continues to acquire the third angle ψ (step S301). On the other hand, when it is determined that the magnitude of the third angle ψ is larger than the threshold ψ 0 (Yes in step S302), the magnification calculator 223b scales the image region R based on the magnitude of the third angle ψ. the absolute value of magnification for, on the basis of the third angular velocity omega z, the enlargement or reduction of the image region R, respectively calculated (step S303).
次に、拡縮部２２３ｃは、倍率算出部２２３ｂにより算出された倍率に基づき、画像領域Ｒのサイズを調整する（ステップＳ３０４）。 Next, the enlargement / reduction unit 223c adjusts the size of the image region R based on the magnification calculated by the magnification calculation unit 223b (step S304).
次に、拡縮判定部２２３ｄは、第３の角速度ωｚが、事前に決められた時間にわたり、事前に決められた閾値ωｚ０よりも小さいか判断する（ステップＳ３０５）。事前に決められた時間にわたり、第３の角速度ωｚが閾値ωｚ０よりも小さいと判断されなければ（ステップＳ３０５のＮｏ）、比較部２２３ａは、第３の角度ψの取得を継続する（ステップＳ３０１）。一方、事前に決められた時間にわたり、第３の角速度ωｚが閾値ωｚ０よりも小さいと判断されたら（ステップＳ３０５のＹｅｓ）、画像領域Ｒのサイズ調整が終了したものとみなして、第３の角速度ωｚが閾値ωｚ０よりも小さいと判断されたときの画像領域Ｒを固定する（ステップＳ３０６）。 Next, the scaling determination unit 223d determines whether or not the third angular velocity ω z is smaller than a predetermined threshold ω z0 over a predetermined time (step S305). If it is not determined that the third angular velocity ω z is smaller than the threshold value ω z0 over a predetermined time (No in step S305), the comparison unit 223a continues to acquire the third angle ψ (step S305). S301). On the other hand, when it is determined that the third angular velocity ω z is smaller than the threshold value ω z0 over a predetermined time (Yes in step S305), it is considered that the size adjustment of the image region R is finished, and the third The image region R when the angular velocity ω z is determined to be smaller than the threshold value ω z0 is fixed (step S306).
図１６は、第２の実施形態にかかる画像領域Ｒのサイズを調整するサイズ調整プロセスの概略図であって、（ａ）はサイズ調整前の表示画像Ｉを、（ｂ）はサイズ調整後の表示画像Ｉを、それぞれ示している。図１７は、第２の実施形態にかかる画像領域Ｒのサイズを調整するサイズ調整プロセスの概略図であって、（ａ）はサイズ調整前の表示画像Ｉを、（ｂ）はサイズ調整後の表示画像Ｉを、それぞれ示している。 FIG. 16 is a schematic diagram of a size adjustment process for adjusting the size of the image region R according to the second embodiment, where (a) shows the display image I before size adjustment, and (b) shows the size after adjustment. Display images I are shown respectively. FIG. 17 is a schematic diagram of a size adjustment process for adjusting the size of the image region R according to the second embodiment, where (a) shows the display image I before size adjustment, and (b) shows the size after adjustment. Display images I are shown respectively.
図１６（ａ）に示すように、サイズ調整前の表示画像Ｉは、ポインタＰｉの軌跡Ｔｐに外接する矩形状の画像領域Ｒを包含しているが、ｚ軸を中心にスマートフォン１０を左側に角度ψ（＞ψ０）だけ回転させると、図１６（ｂ）に示すように、画像領域Ｒが拡大する。このため、図１７（ａ）に示すように、ターゲットである周辺機器Ａの表示領域よりも画像領域Ｒが小さくても、ｚ軸を中心としてスマートフォン１０を回転させるだけで、周辺機器Ａの表示領域の全体を包含する画像領域Ｒを生成することができる。即ち、周辺機器Ａの表示領域の極一部にポインタＰｉの軌跡Ｔｐを描画すれば、画像領域Ｒを拡大させることで、周辺機器Ａを指定することができるので、ポインタＰｉの軌跡Ｔｐを描画するために要する時間を短縮することができる。
As shown in FIG. 16 (a), the display image I before size adjustment is encompasses the rectangular image region R circumscribing the trajectory T p of the pointer P i, a
［第３の実施形態］
以下、図１８、図１９を参照しながら、第３の実施形態を説明する。但し、第２の実施形態と同等の構成や処理については、説明を省略することとする。
[Third Embodiment]
Hereinafter, the third embodiment will be described with reference to FIGS. 18 and 19. However, descriptions of configurations and processes equivalent to those of the second embodiment will be omitted.
第３の実施形態にかかるコントローラ２１Ｂは、第２の実施形態にかかるサイズ調整部２２３とは異なるサイズ調整部２２４を備える点で、第２の実施形態にかかるコントローラ２１Ａと異なる。 The controller 21B according to the third embodiment is different from the controller 21A according to the second embodiment in that it includes a size adjustment unit 224 that is different from the size adjustment unit 223 according to the second embodiment.
（コントローラ２１Ｂの機能ブロック）
図１８は、第３の実施形態にかかるコントローラ２１Ｂの機能ブロックの概略図である。
(Function block of controller 21B)
FIG. 18 is a schematic diagram of functional blocks of the controller 21B according to the third embodiment.
図１８に示すように、本実施形態にかかるコントローラ２１Ｂは、第２の実施形態にかかるサイズ調整部２２３と異なるサイズ調整部２２４を備える。サイズ調整部２２４は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１により実現される。 As illustrated in FIG. 18, the controller 21 </ b> B according to the present embodiment includes a size adjustment unit 224 that is different from the size adjustment unit 223 according to the second embodiment. The size adjustment unit 224 is realized by the controller 21 based on the area designation program developed in the memory 22.
（サイズ調整部２２４の詳細）
図１９は、第３の実施形態にかかるサイズ調整部２２４の機能ブロックの概略図である。
(Details of the size adjustment unit 224)
FIG. 19 is a schematic diagram of functional blocks of the size adjusting unit 224 according to the third embodiment.
図１９に示すように、本実施形態にかかるサイズ調整部２２４は、さらに、第１のフィルタ部２２４ａ、第２のフィルタ部２２４ｂ、角度変換部２２４ｃ、角度指標算出部２２４ｄを備える。 As shown in FIG. 19, the size adjustment unit 224 according to the present embodiment further includes a first filter unit 224a, a second filter unit 224b, an angle conversion unit 224c, and an angle index calculation unit 224d.
第１のフィルタ部２２４ａは、加速度取得部２１１により取得された第１の加速度ａｘ、第１の加速度ａｙ、第１の加速度ａｚのうち、ｘ軸の軸方向の第１の加速度ａｘを受け取り、第１の加速度ａｘからスマートフォン１０の動きに由来する動き成分ａｘｍを除去することで、地球の重力に由来する重力成分ａｘｇを取得する。なお、本実施形態では、第１の加速度ａｘの重力成分ａｘｇを取得しているが、本実施形態は、これに限定されるものではない。例えば、ｙ軸の軸方向の第２の加速度ａｙからスマートフォン１０の動きに由来する動き成分ａｙｍを除去して、地球の重力に由来する重力成分ａｙｇを取得しても良い。さらに、第１の加速度ａｘの重力成分ａｘｇ及び第２の加速度ａｙの成分ａｙｍの双方を取得しても良い。第１のフィルタ部２２４ａとしては、いわゆるローパスフィルタが用いられる。
The first filter portion 224a, the first acceleration a x obtained by the acceleration obtaining unit 211, the first acceleration a y, among the first acceleration a z, a first acceleration a in the axial direction of the x-axis x is received, and the gravity component a xg derived from the gravity of the earth is acquired by removing the motion component a xm derived from the motion of the
角度変換部２２４ｂは、第１のフィルタ部２２４ａにより取得された、ｘ軸の軸方向の第１の加速度ａｘの重力成分ａｘｇと、事前に記憶されている重力加速度ｇと、に基づき、第１の加速度ａｘの重力成分ａｘｇを、ｚ軸を中心とするスマートフォン１０の回転角ψａに変換する。
Angle conversion unit 224b is obtained by the first filter portion 224a, based on the gravity component a xg of first acceleration a x in the axial direction of the x-axis, and the gravitational acceleration g, which is pre-stored, The gravity component a xg of the first acceleration a x is converted into a rotation angle ψ a of the
第２のフィルタ部２２４ｃは、角度算出部２１３により算出された第１の角度θ、第２の角度φ、第３の角度ψのうち、ｚ軸を中心とする第３の角度ψを受け取り、第３の角度ψからジャイロセンサ２８ｂのドリフトに由来するドリフト角度ψｄを除去することで、ｚ軸を中心とするスマートフォン１０の回転角ψｂを取得する。第２のフィルタ部２２４ｃとしては、いわゆるハイパスフィルタが用いられる。
The second filter unit 224c receives a third angle ψ centered on the z-axis among the first angle θ, the second angle φ, and the third angle ψ calculated by the angle calculation unit 213, By removing the drift angle ψ d derived from the drift of the gyro sensor 28 b from the third angle ψ, the rotation angle ψ b of the
角度指標算出部２２４ｄは、角度変換部２２４ｂにより変換された回転角ψａと、第２のフィルタ部２２４ｃにより取得された回転角ψｂと、を利用して、スマートフォン１０の傾きの程度を表現する回転角指標ψindexを算出する。回転角指標ψindexの算出式は、以下の数式（１１）のように表現される。 Angle index calculator 224d includes a rotation angle [psi a converted by the angle conversion unit 224b, by using the rotation angle [psi b obtained by the second filter section 224c, an expression of the degree of inclination of the smartphone 10 A rotation angle index ψ index is calculated. The calculation formula of the rotation angle index ψ index is expressed as the following formula (11).
なお、数式（１１）に於いて、「α」及び「１−α」は、それぞれ回転角ψａ及び回転角ψｂへの重みづけ乗数である。 In Expression (11), “α” and “1-α” are weighting multipliers for the rotation angle ψ a and the rotation angle ψ b , respectively.
本実施形態では、数式（１１）により算出された回転角指標ψindexを第３の角度ψとみなして、第２の実施形態と同様に、表示画面１２に表示された画像領域Ｒのサイズを調整することとなる。
In the present embodiment, the rotation angle index ψ index calculated by Expression (11) is regarded as the third angle ψ, and the size of the image region R displayed on the
本実施形態によれば、表示画面１２に表示された画像領域Ｒのサイズを調整するために、角度算出部２１３により算出された第３の角度ψだけでなく、加速度取得部２１１により取得された第１の加速度ａｘも使用している。このため、画像領域Ｒのサイズ調整の信頼性を高めることができる。
According to this embodiment, in order to adjust the size of the image region R displayed on the
さらに、本実施形態によれば、表示画面１２に表示された画像領域Ｒのサイズを調整するために、ｚ軸を中心とする第３の角度ψからジャイロセンサ２８ｂのドリフトに由来するドリフト角度ψｄを除去した回転角ψｂを用いている。このため、ジャイロセンサ２８ｂのドリフトの影響により、利用者Ｕが意図しないサイズ調整が行われることを防止することができる。
Furthermore, according to the present embodiment, in order to adjust the size of the image region R displayed on the
［第４の実施形態］
以下、図２０−図２３を参照しながら、第４の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。
[Fourth Embodiment]
Hereinafter, the fourth embodiment will be described with reference to FIGS. 20 to 23. However, descriptions of configurations and processes equivalent to those of the first embodiment will be omitted.
第４の実施形態にかかるコントローラ２１Ｃは、第１の実施形態にかかる画像領域抽出部２１９とは異なる画像領域抽出部２２５を備える点で、第１の実施形態にかかるコントローラ２１と異なる。 The controller 21 </ b> C according to the fourth embodiment is different from the controller 21 according to the first embodiment in that the controller 21 </ b> C includes an image region extraction unit 225 different from the image region extraction unit 219 according to the first embodiment.
（コントローラ２１Ｃの機能ブロック）
図２０は、第４の実施形態にかかるコントローラ２１Ｃの機能ブロックの概略図である。
(Function block of controller 21C)
FIG. 20 is a schematic diagram of functional blocks of a controller 21C according to the fourth embodiment.
図２０に示すように、本実施形態にかかるコントローラ２１Ｃは、第３の実施形態にかかる画像領域抽出部２１９と異なる画像領域抽出部２２５を備える。画像領域抽出部２２５は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１Ｃにより実現される。 As illustrated in FIG. 20, the controller 21 </ b> C according to the present embodiment includes an image area extraction unit 225 that is different from the image area extraction unit 219 according to the third embodiment. The image area extraction unit 225 is realized by the controller 21 </ b> C based on the area designation program developed in the memory 22.
（画像領域抽出部２２５の詳細）
図２１は、第４の実施形態にかかる画像領域抽出部２２５の機能ブロックの概略図である。
(Details of image region extraction unit 225)
FIG. 21 is a schematic diagram of functional blocks of the image area extraction unit 225 according to the fourth embodiment.
図２１に示すように、本実施形態にかかる画像領域抽出部２２５は、第１の抽出部２２５ａ、ポインタ重心算出部２２５ｂ、距離算出部２２５ｃ、第２の抽出部２２５ｄを備える。 As shown in FIG. 21, the image area extraction unit 225 according to the present embodiment includes a first extraction unit 225a, a pointer centroid calculation unit 225b, a distance calculation unit 225c, and a second extraction unit 225d.
第１の抽出部２２５ａは、ポインタ重畳部２１７により複数のポインタＰｉが重畳された表示画面Ｉから、複数のポインタＰｉの軌跡Ｔｐを包含する第１の矩形領域Ｒ１を抽出する。複数のポインタＰｉの軌跡Ｔｐを包含する第１の矩形領域Ｒ１の抽出法は、特に限定されるものではないが、本実施形態では、複数のポインタＰｉの軌跡Ｔｐに外接する外接矩形を、第１の矩形領域Ｒ１として抽出する。 First extraction portion 225a, from the display screen I multiple pointers P i is superimposed by the pointer superimposing unit 217, extracts a first rectangular region R 1 encompasses trajectory Tp of a plurality of pointer P i. Multiple pointers P i first extraction of the rectangular region R 1 encompasses trajectory Tp of, but are not particularly limited, in the present embodiment, the circumscribed rectangle which circumscribes the trajectory Tp of the plurality of pointer P i and extracted first as a rectangular region R 1.
ポインタ重心算出部２２５ｂは、ポインタ重畳部２１７により複数のポインタＰｉが重畳された表示画面Ｉに基づき、表示画面Ｉに於ける複数のポインタＰｉの重心Ｃｇの座標を算出する。 Pointer centroid calculating unit 225b, based on the display screen I multiple pointers P i is superimposed by the pointer superimposing unit 217, calculates the coordinates of the center of gravity C g plurality of pointer P i in the display screen I.
距離算出部２２５ｃは、複数のポインタＰｉの重心Ｃｇを始点として、第１の矩形領域Ｒ１のｘ軸の正方向に位置する第１の境界Ｂ１までの第１の距離ｄ１と、第１の矩形領域Ｒ１のｘ軸の負方向に位置する第２の境界Ｂ２までの第２の距離ｄ２と、をそれぞれ算出する。 The distance calculation unit 225c uses the first distance d 1 to the first boundary B 1 located in the positive direction of the x-axis of the first rectangular region R 1 with the center of gravity C g of the plurality of pointers P i as the starting point. The second distance d 2 to the second boundary B 2 located in the negative x-axis direction of the first rectangular region R 1 is calculated.
第２の抽出部２２５ｄは、距離算出部２２５ｃにより算出された第１の距離ｄ１及び第２の距離ｄ２を比較する。さらに、第２の抽出部２２５ｄは、第１の距離ｄ１及び第２の距離ｄ２のうち小さい方の距離だけ、複数のポインタＰｉの重心Ｃｇから離間した位置に、それぞれ境界線を有する第２の矩形領域Ｒ２を抽出する。 The second extraction unit 225d compares the first distance d 1 and the second distance d 2 calculated by the distance calculation unit 225c. Further, the second extracting unit 225d by a distance smaller one of the first distance d 1 and the second distance d 2, at a position spaced from the center of gravity C g plurality of pointer P i, respectively borderline a second rectangular region R 2 having extracted.
（画像領域抽出部２２５による処理のフロー）
図２２は、第４の実施形態にかかる画像領域抽出部２２５による処理のフローチャートである。図２３は、第４の実施形態にかかる最適な画像領域Ｒを抽出する抽出プロセスの概略図である。なお、本実施形態では、画像領域抽出部２２５による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１Ｃが実現していることは言うまでもない。
(Processing flow by the image region extraction unit 225)
FIG. 22 is a flowchart of processing by the image region extraction unit 225 according to the fourth embodiment. FIG. 23 is a schematic diagram of an extraction process for extracting an optimal image region R according to the fourth embodiment. In the present embodiment, the processing flow by the image region extraction unit 225 is used, but it goes without saying that the controller 21C is actually realized based on the area designation program.
本実施形態にかかる処理フローは、表示画像Ｉが決定された時点からの経過時間が、事前に決められた閾値を超えたと判断された時点、即ちポインタ重畳部２１７による、複数のポインタＰｉの重畳が終了したと判断された時点で開始する。 The processing flow according to the present embodiment is performed when the elapsed time from the time when the display image I is determined exceeds the predetermined threshold, that is, when the pointer superimposing unit 217 sets a plurality of pointers Pi . It starts when it is determined that superimposition has been completed.
処理フローが開始したら、第１の抽出部２２５ａは、図２３（ａ）に示すように、複数のポインタＰｉの軌跡Ｔｐに外接する外接矩形を、第１の矩形領域Ｒ１として表示画面Ｉから抽出する（ステップＳ４０１）。 When the process flow starts, first extraction portion 225a, as shown in FIG. 23 (a), a circumscribed rectangle which circumscribes the trajectory Tp of the plurality of pointer P i, the display screen I as the first rectangular region R 1 (Step S401).
次に、ポインタ重心算出部２２５ｂは、図２３（ｂ）に示すように、表示画像Ｉの画像情報に基づき、表示画像Ｉに於ける複数のポインタＰｉの重心Ｃｇの座標を算出する（ステップＳ４０２）。表示画像Ｉに於ける、複数のポインタＰｉの重心Ｃｇの座標に、重心のマーク、例えばドットなどを表示させても良い。 Next, the pointer centroid calculating unit 225b, as shown in FIG. 23 (b), based on the image information of the display image I, calculates the coordinates of the center of gravity C g plurality of pointer P i in the display image I ( Step S402). In the display image I, the coordinates of the center of gravity C g plurality of pointer P i, the mark of the center of gravity, for example may be displayed like a dot.
次に、距離算出部２２５ｃは、図２３（ｃ）に示すように、複数のポインタＰｉの重心Ｃｇを始点として、第１の矩形領域Ｒ１のｘ軸の正方向に位置する第１の境界Ｂ１までの第１の距離ｄ１と、第１の矩形領域Ｒ１のｘ軸の負方向に位置する第２の境界Ｂ２までの第２の距離ｄ２と、をそれぞれ算出する（ステップＳ４０３）。 Next, as illustrated in FIG. 23C, the distance calculation unit 225 c has a first position located in the positive direction of the x-axis of the first rectangular region R 1 with the centroids C g of the plurality of pointers P i as starting points. calculating a first distance d 1 to the boundary B 1, a second distance d 2 to the second boundary B 2 is located in the negative direction of the first x-axis of the rectangular region R 1, respectively (Step S403).
次に、第２の抽出部２２５ｄは、距離算出部２２５ｃにより算出された第１の距離ｄ１及び第２の距離ｄ２を比較する（ステップＳ４０４）。さらに、第２の抽出部２２５ｄは、図２３（ｄ）に示すように、第１の距離ｄ１及び第２の距離ｄ２のうち小さい方の距離、本実施形態では第１の距離ｄ１だけ、複数のポインタＰｉの重心Ｃｇからｘ軸の正負に離間した位置に、それぞれ境界線を有する第２の矩形領域Ｒ２を、画像領域Ｒとして抽出する（ステップＳ４０５）。なお、図中の斜線領域は、第１の矩形領域Ｒ１から第２の矩形領域Ｒ２を抽出するときに、第１の矩形領域Ｒ１から削除された領域である。 Then, the second extraction unit 225d compares the first distance d 1 and the second distance d 2 calculated by the distance calculating unit 225c (step S404). Further, the second extraction unit 225d, as shown in FIG. 23 (d), the smaller the distance of the first distance d 1 and the second distance d 2, in this embodiment the first distance d 1 Thus, the second rectangular region R 2 having a boundary line at each position separated from the centroid C g of the plurality of pointers P i in the positive and negative directions of the x-axis is extracted as the image region R (step S405). Incidentally, the hatched region in the figure, when the first rectangular region R 1 for extracting a second rectangular region R 2, is a region that is removed from the first rectangular region R 1.
本実施形態によれば、複数のポインタＰｉの重心Ｃｇを始点として、第１の矩形領域Ｒ１の第１の境界Ｂ１及び第２の境界Ｂ２までの第１の距離ｄ１及び第２の距離ｄ２を算出し、第１の距離ｄ１及び第２の距離ｄ２のうち小さい方の距離だけ、複数のポインタＰｉの重心Ｃｇから離間した位置に、それぞれの境界を有する画像領域Ｒを生成している。 According to the present embodiment, the first distance d 1 to the first boundary B 1 and the second boundary B 2 of the first rectangular region R 1 with the center of gravity C g of the plurality of pointers P i as the starting point, and The second distance d 2 is calculated, and each boundary is set at a position separated from the centroids C g of the plurality of pointers P i by the smaller one of the first distance d 1 and the second distance d 2. An image region R having the same is generated.
このため、利用者Ｕが画像領域Ｒを指定している最中に、例えばスマートフォン１０を不本意に揺らしてしまい、図２３（ａ）に示すように、複数のポインタＰｉの密度が低い領域が発生しても、図２３（ｄ）に示すように、複数のポインタＰｉの密度が低い領域（図中の斜線領域）を削除した画像領域Ｒを抽出することができる。即ち、利用者Ｕが指定したい領域だけを画像領域Ｒとして抽出することができる。
Therefore, while the user U has specified the image region R, for example, a
［第５の実施形態］
以下、図２４−図２６を参照しながら、第５の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。
[Fifth Embodiment]
Hereinafter, the fifth embodiment will be described with reference to FIGS. However, descriptions of configurations and processes equivalent to those of the first embodiment will be omitted.
第５の実施形態にかかるコントローラ２１Ｄは、第１の実施形態にかかる表示画像決定部２１６とは異なる表示画像決定部２２６を備える点で、第１の実施形態にかかるコントローラ２１と異なる。 The controller 21D according to the fifth embodiment is different from the controller 21 according to the first embodiment in that it includes a display image determination unit 226 different from the display image determination unit 216 according to the first embodiment.
（コントローラ２１Ｄの機能ブロック）
図２４は、第５の実施形態にかかるコントローラ２１Ｄの機能ブロックの概略図である。
(Function block of controller 21D)
FIG. 24 is a schematic diagram of functional blocks of a controller 21D according to the fifth embodiment.
図２４に示すように、本実施形態にかかるコントローラ２１Ｄは、第１の実施形態にかかる表示画像決定部２１６とは異なる表示画像決定部２２６を備える。表示画像決定部２２６は、メモリ２２に展開されたエリア指定プログラムに基づき、コントローラ２１Ｄにより実現される。 As illustrated in FIG. 24, the controller 21D according to the present embodiment includes a display image determination unit 226 that is different from the display image determination unit 216 according to the first embodiment. The display image determination unit 226 is realized by the controller 21D based on the area designation program developed in the memory 22.
（表示画像決定部２２６の詳細）
図２５は、第５の実施形態にかかる表示画像決定部２２６の機能ブロックの概略図である。
(Details of display image determination unit 226)
FIG. 25 is a schematic diagram of functional blocks of the display image determination unit 226 according to the fifth embodiment.
図２５に示すように、本実施形態にかかる表示画像決定部２２６は、第１の実施形態にかかる表示画像決定部２１６のＡＣ成分取得部２１６ａ及びＳＭＡ算出部２１６ｂのほかに、最小ＳＭＡ特定部２２６ａ、表示画像取込部２２６ｂ、を備える。しかし、本実施形態にかかる表示画像決定部２２６は、第１の実施形態にかかる表示画像決定部２１６の静止判定部２１６ｃ、撮影指示部２１６ｄ、表示画像取込部２１６ｅを備えない。 As shown in FIG. 25, the display image determination unit 226 according to the present embodiment includes a minimum SMA specifying unit in addition to the AC component acquisition unit 216a and the SMA calculation unit 216b of the display image determination unit 216 according to the first embodiment. 226a and a display image capturing unit 226b. However, the display image determination unit 226 according to the present embodiment does not include the stillness determination unit 216c, the imaging instruction unit 216d, and the display image capture unit 216e of the display image determination unit 216 according to the first embodiment.
最小ＳＭＡ特定部２２６ａは、ＳＭＡ算出部２１６ｂにより算出された複数のＳＭＡ値から、所定の時間区間に於ける最小のＳＭＡ値を特定する。なお、最小のＳＭＡ値の特定は、事前に決められた時間ごとに実施される。 The minimum SMA specifying unit 226a specifies the minimum SMA value in a predetermined time interval from the plurality of SMA values calculated by the SMA calculation unit 216b. The minimum SMA value is specified at predetermined time intervals.
表示画像取込部２２６ｂは、画像記憶部２５０に記憶されている複数の撮影画像から、最小ＳＭＡ特定部２２６ａにより特定された、所定の時間区間に於ける最小のＳＭＡ値に対応する撮影画像を選択して、表示画像Ｉとして取り込む。なお、最小のＳＭＡ値に対応する撮影画像を選択する場合、それぞれの撮影画像に対応づけられた撮影時刻を利用すれば良い。表示画像取込部２２６ｂにより取り込まれた表示画像Ｉは、メモリ２２に構築された表示画像記憶部２５２に記憶される。
The display image capturing unit 226b captures a captured image corresponding to the minimum SMA value in a predetermined time interval specified by the minimum SMA specifying unit 226a from a plurality of captured images stored in the
（表示画像決定部２２６による処理のフロー）
図２６は、第５の実施形態にかかる表示画像決定部２２６による処理のフローチャートである。なお、本実施形態では、表示画像決定部２２６による処理のフローとしているが、実際には、エリア指定プログラムに基づき、コントローラ２１Ｄが実現していることは言うまでもない。
(Processing flow by the display image determination unit 226)
FIG. 26 is a flowchart of processing by the display image determination unit 226 according to the fifth embodiment. In the present embodiment, the processing flow by the display image determination unit 226 is used, but it goes without saying that the controller 21D is actually realized based on the area designation program.
本実施形態にかかる処理フローは、エリア指定プログラムを起動すると、先ずはじめに開始する。処理フローが開始して、図２６に示すように、ＳＭＡ算出部２１６ｂによりＳＭＡ値が算出されたら（ステップＳ２０３）、時間管理部２２２は、リアルタイムクロック２５からの出力に基づき、本実施形態にかかるエリア指定プログラムの起動時からの経過時間が、事前に決められた閾値を超えたか判断する（ステップＳ５０１）。 The processing flow according to the present embodiment starts first when the area designation program is activated. When the processing flow is started and the SMA value is calculated by the SMA calculation unit 216b as shown in FIG. 26 (step S203), the time management unit 222 according to the present embodiment based on the output from the real-time clock 25. It is determined whether the elapsed time from the start of the area designation program exceeds a predetermined threshold (step S501).
エリア指定プログラムの起動時からの経過時間が、事前に決められた閾値を超えたと判断されなければ（ステップＳ５０１のＮｏ）、ＡＣ成分取得部２１６ａは、スマートフォン１０の動きに由来する加速度の動き成分ａｘｍ、ａｙｍ、ａｚｍの取得を継続する（ステップＳ２０１）。
If it is not determined that the elapsed time from the start of the area designation program exceeds a predetermined threshold (No in step S501), the AC component acquisition unit 216a determines the acceleration motion component derived from the motion of the
一方、エリア指定プログラムの起動時からの経過時間が、事前に決められた閾値を超えたと判断されたら（ステップＳ５０１のＹｅｓ）、最小ＳＭＡ特定部２２６ａは、ＳＭＡ算出部２１６ｂにより所定の時間区間に算出された複数のＳＭＡ値から、最小のＳＭＡ値を特定する（ステップＳ５０２）。 On the other hand, if it is determined that the elapsed time from the start of the area designation program has exceeded a predetermined threshold (Yes in step S501), the minimum SMA specifying unit 226a sets the predetermined time interval by the SMA calculation unit 216b. The minimum SMA value is specified from the calculated plurality of SMA values (step S502).
次に、表示画像取込部２２６ｂは、画像記憶部２５０に記憶されている複数の撮影画像から、最小ＳＭＡ特定部２２５ａにより特定された最小のＳＭＡ値に対応する１枚の撮影画像を取り込む（ステップＳ５０３）。表示画像取込部２２６ｂにより取り込まれた撮影画像は、表示画像Ｉとして、表示画像記憶部２５２に記憶される。 Next, the display image capturing unit 226b captures one captured image corresponding to the minimum SMA value specified by the minimum SMA specifying unit 225a from the plurality of captured images stored in the image storage unit 250 ( Step S503). The captured image captured by the display image capturing unit 226b is stored as the display image I in the display image storage unit 252.
本実施形態によれば、カメラ２７により撮影された複数の撮影画像を画像記憶部２５０に記憶しておき、所定時間が経過するごとに、直前の時間区間に撮影された撮影画像から、ＳＭＡ値が最小となる撮影画像を表示画像Ｉとして設定する。このため、例えば手ぶれ等の症状がある利用者Ｕであっても、確実に表示画像Ｉを設定することができる。
According to the present embodiment, a plurality of photographed images photographed by the camera 27 are stored in the
［第６の実施形態］
以下、図２７を参照しながら、第６の実施形態を説明する。但し、第１の実施形態と同等の構成や処理については、説明を省略することとする。
[Sixth Embodiment]
Hereinafter, the sixth embodiment will be described with reference to FIG. However, descriptions of configurations and processes equivalent to those of the first embodiment will be omitted.
図２７は、第６の実施形態にかかるスマートフォン１０及びサーバＳの概略図である。
FIG. 27 is a schematic diagram of the
図２７に示すように、本実施形態にかかるスマートフォン１０のコントローラ２１Ｅは、画像比較部２２０を備えておらず、代わりに、サーバＳのコントローラ３００が画像比較部２２０を備えている。即ち、本実施形態にかかる画像比較部２２０は、第１の実施形態にかかる画像比較部２２０と同等の機能を有するが、サーバＳ側に構築している点で、第１の実施形態と異なる。これに付随して、テンプレート記憶部２５１もサーバＳのメモリ３１０に構築されている。
As illustrated in FIG. 27, the controller 21E of the
本実施形態のように、画像比較部２２０をサーバＳ側に構築すれば、マッチングに必要な計算負荷をサーバＳに担わせることができるので、スマートフォン１０の負荷を軽減することができる。
If the image comparison unit 220 is constructed on the server S side as in the present embodiment, the calculation load necessary for matching can be assigned to the server S, so that the load on the
１０：スマートフォン
１２：表示画面
２７：カメラ
２１１：加速度取得部
２１２：角速度取得部
２１３：角度算出部
２１４：座標算出部
２１６：表示画像決定部
２１７：ポインタ重畳部
２１８：画像表示部
２１９：画像領域抽出部
２２０：画像比較部
２２１：情報取得部
２２３：サイズ調整部
２２４：サイズ調整部
２２５：画像領域抽出部
２２５ａ：第１の抽出部
２２５ｂ：ポインタ重心算出部
２２５ｃ：距離算出部
２２５ｄ：第２の抽出部
２２６：表示画像決定部
Ｂ１：第１の境界線
Ｂ２：第２の境界線
Ｃｇ：重心
ｄ１：第１の距離
ｄ２：第２の距離
Ｉ：表示画像
Ｐｉ：ポインタ
Ｒ：画像領域
Ｒ１：第１の矩形領域
Ｒ２：第２の矩形領域
θ：第１の角度
φ：第２の角度
ψ：第３の角度
DESCRIPTION OF SYMBOLS 10: Smart phone 12: Display screen 27: Camera 211: Acceleration acquisition part 212: Angular velocity acquisition part 213: Angle calculation part 214: Coordinate calculation part 216: Display image determination part 217: Pointer superimposition part 218: Image display part 219: Image area | region Extraction unit 220: image comparison unit 221: information acquisition unit 223: size adjustment unit 224: size adjustment unit 225: image region extraction unit 225a: first extraction unit 225b: pointer centroid calculation unit 225c: distance calculation unit 225d: second Extraction unit 226: display image determination unit B 1 : first boundary line B 2 : second boundary line C g : center of gravity d 1 : first distance d 2 : second distance I: display image P i : Pointer R: Image area R 1 : First rectangular area R 2 : Second rectangular area θ: First angle φ: Second angle ψ: Third angle
Claims (13)
カメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する決定部と、
前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得する第１の取得部と、
前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出する第１の算出部と、
前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する第２の算出部と、
前記表示画像の前記座標にポインタを重畳する重畳部と、
前記ポインタが重畳された前記表示画像を前記表示画面に表示する表示部と、
前記表示画像から前記ポインタを包含する画像エリアを抽出する抽出部と、
を備える携帯型端末装置。 In portable terminal devices,
A determining unit that determines a display image to be displayed on the display screen among a plurality of captured images captured by the camera;
The first angular velocity about the first axis and the second axis defined in the plane intersecting the normal line of the display screen of the portable terminal device is acquired. An acquisition unit;
Based on the first angular velocity and the second angular velocity, a first rotation amount and a second rotation amount about the first axis and the second axis of the portable terminal device are calculated. 1 calculation unit;
A second calculation unit that calculates coordinates that are included in the range of the display screen and that are linked to the optical axis of the camera, based on the first rotation amount and the second rotation amount;
A superimposing unit that superimposes a pointer on the coordinates of the display image;
A display unit for displaying the display image on which the pointer is superimposed on the display screen;
An extraction unit for extracting an image area including the pointer from the display image;
A portable terminal device comprising:
前記画像エリアの画像情報に基づき、前記画像エリアに包含される物体を指定する指定部を備える携帯型端末装置。 The portable terminal device according to claim 1, further comprising:
A portable terminal device comprising a designation unit for designating an object included in the image area based on image information of the image area.
前記指定部は、
前記画像エリアの画像情報と、事前に準備されている画像情報と、を比較する比較部と、
前記比較部の比較結果に基づき、前記画像エリアの前記画像情報に対応する情報を取得する取得部と、
を備える携帯型端末装置。 In the portable terminal device according to claim 2,
The designation unit is:
A comparison unit that compares the image information of the image area with the image information prepared in advance;
An acquisition unit that acquires information corresponding to the image information of the image area based on a comparison result of the comparison unit;
A portable terminal device comprising:
前記第１の取得部は、さらに前記第１の軸及び前記第２の軸に交差する第３の軸を中心とする第３の角速度を取得し、
前記第１の算出部は、前記第３の角速度に基づき、前記携帯型端末装置の前記第３の軸を中心とする第３の回転量を算出し、
前記携帯型端末装置は、さらに、
前記第３の回転量に基づき、前記画像エリアのサイズを調整する調整部を備える携帯型端末装置。 The portable terminal device according to any one of claims 1 to 3,
The first acquisition unit further acquires a third angular velocity centered on a third axis that intersects the first axis and the second axis,
The first calculation unit calculates a third rotation amount around the third axis of the portable terminal device based on the third angular velocity,
The portable terminal device further includes:
A portable terminal device comprising an adjustment unit that adjusts the size of the image area based on the third rotation amount.
前記調整部は、前記第３の軸を中心とする前記携帯型端末装置の回転の向きに基づき、前記画像エリアのサイズの拡大及び縮小を決定する携帯型端末装置。 In the portable terminal device according to claim 4,
The said adjustment part is a portable terminal device which determines enlargement and reduction of the size of the said image area based on the rotation direction of the said portable terminal device centering on the said 3rd axis | shaft.
前記調整部は、前記第３の回転量と、事前に設定された基準回転量と、を比較して、前記第３の回転量が前記基準回転量を超えた場合に、前記画像エリアのサイズを調整する携帯型端末装置。 In the portable terminal device according to claim 4 or 5,
The adjustment unit compares the third rotation amount with a reference rotation amount set in advance, and when the third rotation amount exceeds the reference rotation amount, the size of the image area A portable terminal device that adjusts.
前記携帯型端末装置の、少なくとも前記第１の軸及び前記第２の軸の何れかの軸方向の加速度を取得する第２の取得部と、
前記軸方向の加速度の変化に基づき、前記画像エリアのサイズを調整する調整部と、
を備える携帯型端末装置。 The portable terminal device according to any one of claims 1 to 3, further comprising:
A second acquisition unit that acquires acceleration in at least one of the first axis and the second axis of the portable terminal device;
An adjustment unit that adjusts the size of the image area based on a change in acceleration in the axial direction;
A portable terminal device comprising:
前記抽出部は、前記表示画像に於ける前記ポインタの密度に基づき、前記画像エリアを決定する携帯型端末装置。 The portable terminal device according to any one of claims 1 to 7,
The extraction unit is a portable terminal device that determines the image area based on the density of the pointer in the display image.
前記抽出部は、
互いに平行な第１の境界線及び第２の境界線を含み、かつ、前記ポインタを包含する矩形状の第１のエリアを、前記表示画像から抽出する第１の抽出部と、
前記第１のエリアに於ける前記ポインタの重心を算出する第３の算出部と、
前記ポインタの重心から前記第１の境界線及び前記第２の境界線までの距離を算出する第４の算出部と、
前記ポインタの重心から前記第１の境界線までの距離と、前記ポインタの重心から前記第２の境界線までの距離と、のうち小さい方の距離だけ前記重心から離間した位置に、それぞれ境界線を有する矩形状の第２のエリアを、前記画像エリアとして抽出する第２の抽出部と、
を備える携帯型端末装置。 The portable terminal device according to any one of claims 1 to 8,
The extraction unit includes:
A first extraction unit that extracts a first rectangular area that includes a first boundary line and a second boundary line that are parallel to each other and that includes the pointer, from the display image;
A third calculator for calculating the center of gravity of the pointer in the first area;
A fourth calculation unit for calculating a distance from the center of gravity of the pointer to the first boundary line and the second boundary line;
The boundary line is located at a position separated from the center of gravity by the smaller one of the distance from the center of gravity of the pointer to the first boundary line and the distance from the center of gravity of the pointer to the second boundary line. A second extraction unit that extracts a rectangular second area having the image area,
A portable terminal device comprising:
前記携帯型端末装置のカメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定する工程と、
前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得する工程と、
前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出する工程と、
前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する座標を算出する工程と、
前記表示画像の前記座標にポインタを重畳する工程と、
前記表示画像から前記ポインタを包含する画像エリアを抽出する工程と、
を備えるエリア指定方法。 In an area designation method for designating an area by a portable terminal device,
Determining a display image to be displayed on a display screen among a plurality of captured images captured by the camera of the portable terminal device; and
Obtaining a first angular velocity and a second angular velocity centered on a first axis and a second axis defined in a plane intersecting a normal line of the display screen of the portable terminal device;
Calculating a first rotation amount and a second rotation amount around the first axis and the second axis of the portable terminal device based on the first angular velocity and the second angular velocity; When,
Calculating a coordinate included in the range of the display screen and interlocked with the optical axis of the camera based on the first rotation amount and the second rotation amount;
Superimposing a pointer on the coordinates of the display image;
Extracting an image area including the pointer from the display image;
An area designation method comprising:
前記画像エリアの画像情報に基づき、前記画像エリアに包含される物体を指定する工程を備えるエリア指定方法。 The area designation method according to claim 10, further comprising:
An area designation method comprising a step of designating an object included in the image area based on image information of the image area.
前記エリア指定プログラムは、コンピュータに、
前記携帯型端末装置のカメラにより撮影された複数の撮影画像のうち、表示画面に表示する表示画像を決定するステップ、
前記携帯型端末装置の、前記表示画面の法線に交差する平面内に規定される第１の軸及び第２の軸を中心とする第１の角速度及び第２の角速度を取得するステップ、
前記第１の角速度及び前記第２の角速度に基づき、前記携帯型端末装置の前記第１の軸及び前記第２の軸を中心とする第１の回転量及び第２の回転量を算出するステップ、
前記第１の回転量及び前記第２の回転量に基づき、前記表示画面の範囲に包含され、前記カメラの光軸に連動する特定の座標を算出するステップ、
前記表示画像の前記座標にポインタを重畳するステップ、及び
前記表示画像から前記ポインタを包含する画像エリアを抽出するステップ、
を実行させるエリア指定プログラム。 In an area designation program that designates an area with a portable terminal device,
The area specifying program is stored in a computer.
Determining a display image to be displayed on a display screen among a plurality of photographed images photographed by the camera of the portable terminal device;
Obtaining a first angular velocity and a second angular velocity centered on a first axis and a second axis defined in a plane intersecting a normal line of the display screen of the portable terminal device;
Calculating a first rotation amount and a second rotation amount around the first axis and the second axis of the portable terminal device based on the first angular velocity and the second angular velocity; ,
Calculating specific coordinates that are included in the range of the display screen and that are linked to the optical axis of the camera, based on the first rotation amount and the second rotation amount;
Superimposing a pointer on the coordinates of the display image; and extracting an image area including the pointer from the display image;
Area specification program to execute
前記エリア指定プログラムは、コンピュータに、さらに、
前記画像エリアの画像情報に基づき、前記画像エリアに包含される物体を指定するステップを実行させるエリア指定プログラム。 In the area designation program according to claim 12,
The area specifying program is further stored in a computer.
An area designation program for executing a step of designating an object included in the image area based on image information of the image area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011255644A JP5772540B2 (en) | 2011-11-23 | 2011-11-23 | Portable terminal device, area designation method, and area designation program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011255644A JP5772540B2 (en) | 2011-11-23 | 2011-11-23 | Portable terminal device, area designation method, and area designation program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013109677A JP2013109677A (en) | 2013-06-06 |
| JP5772540B2 true JP5772540B2 (en) | 2015-09-02 |
Family
ID=48706345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011255644A Expired - Fee Related JP5772540B2 (en) | 2011-11-23 | 2011-11-23 | Portable terminal device, area designation method, and area designation program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5772540B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7182976B2 (en) | 2018-09-27 | 2022-12-05 | キヤノン株式会社 | Information processing device, information processing method, and program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4104605B2 (en) * | 2005-03-29 | 2008-06-18 | 株式会社東芝 | Image processing device |
| US8462109B2 (en) * | 2007-01-05 | 2013-06-11 | Invensense, Inc. | Controlling and accessing content using motion processing on mobile devices |
| US8818274B2 (en) * | 2009-07-17 | 2014-08-26 | Qualcomm Incorporated | Automatic interfacing between a master device and object device |
-
2011
- 2011-11-23 JP JP2011255644A patent/JP5772540B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013109677A (en) | 2013-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4508049B2 (en) | 360 ° image capturing device | |
| JP6586824B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US20190268509A1 (en) | Image processing device, image processing method, and recording medium | |
| JP2016194799A (en) | Image analyzer and image analysis method | |
| JP2005326282A (en) | Position and attitude measurement method and system | |
| JP6399832B2 (en) | Pattern matching method and pattern matching apparatus | |
| JP2009214212A (en) | Action teaching system, and action teaching method | |
| JP2011239361A (en) | System and method for ar navigation and difference extraction for repeated photographing, and program thereof | |
| JP2022084658A (en) | Method for generating 3d object arranged in extended real space | |
| EP2107529A2 (en) | Storage medium storing image conversion programm and image conversion apparatus | |
| JP4835243B2 (en) | Image composition apparatus and image composition program | |
| JP2006026790A (en) | Teaching model production device | |
| JP6952868B2 (en) | Information processing equipment, information processing systems, and information processing programs | |
| JP5762099B2 (en) | Posture recognition apparatus, work robot, posture recognition method, program, and recording medium | |
| JP5772540B2 (en) | Portable terminal device, area designation method, and area designation program | |
| WO2005096130A1 (en) | Method and device for detecting directed position of image pickup device and program for detecting directed position of image pickup device | |
| CN113034347A (en) | Oblique photographic image processing method, device, processing equipment and storage medium | |
| JP6582205B2 (en) | Information processing apparatus, information processing apparatus program, head mounted display, and information processing system | |
| JP2013092888A (en) | Data processor | |
| US20220028100A1 (en) | Method for 3d scanning of a real object | |
| CN114201028B (en) | Augmented reality system and method for anchoring display virtual object thereof | |
| CN112183521B (en) | Intelligent input method, system, equipment and readable storage medium | |
| CN113628284A (en) | Pose calibration data set generation method, device and system, electronic equipment and medium | |
| EP3995396A1 (en) | Information processing device, information processing method, program, and information processing system | |
| JP2015114762A (en) | Finger operation detection device, finger operation detection method, finger operation detection program, and virtual object processing system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140805 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150415 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150602 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150615 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5772540 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |