JP2020201723A - Image processing apparatus, wearable device, image processing program, image processing method, object recognition apparatus, object recognition program, and object recognition method - Google Patents
Image processing apparatus, wearable device, image processing program, image processing method, object recognition apparatus, object recognition program, and object recognition method Download PDFInfo
- Publication number
- JP2020201723A JP2020201723A JP2019108310A JP2019108310A JP2020201723A JP 2020201723 A JP2020201723 A JP 2020201723A JP 2019108310 A JP2019108310 A JP 2019108310A JP 2019108310 A JP2019108310 A JP 2019108310A JP 2020201723 A JP2020201723 A JP 2020201723A
- Authority
- JP
- Japan
- Prior art keywords
- wearable device
- image
- recognition
- image processing
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、画像処理装置、ウェアラブルデバイス、画像処理プログラム、画像処理方法、オブジェクト認識装置、オブジェクト認識プログラムおよびオブジェクト認識方法に関する。 The present invention relates to an image processing device, a wearable device, an image processing program, an image processing method, an object recognition device, an object recognition program, and an object recognition method.
目の前の景色を画面上に表示するとともに、看板の文字などを認識して重ねて表示するソフトウェアが知られている（非特許文献１）。 There is known software that displays the scenery in front of you on the screen and recognizes the characters on the signboard and displays them in layers (Non-Patent Document 1).
上述したソフトウェアは認識の精度や速度が必ずしも十分とは言えない。 The above-mentioned software does not always have sufficient recognition accuracy and speed.
本発明はこのような問題点に鑑みてなされたものであり、本発明の課題は、精度が高く、かつ、高速なオブジェクト認識が可能な画像処理装置、ウェアラブルデバイス、画像処理プログラム、画像処理方法、オブジェクト認識装置、オブジェクト認識プログラムおよびオブジェクト認識方法を提供することである。 The present invention has been made in view of such problems, and the subject of the present invention is an image processing device, a wearable device, an image processing program, and an image processing method capable of high-precision and high-speed object recognition. , Object recognition device, object recognition program and object recognition method.
本発明の一態様によれば、ウェアラブルデバイスを装着したユーザの視点を取得する視点情報取得部と、特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得するカメラ画像取得部と、前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得するオブジェクト情報取得部と、前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる出力部と、を備える画像処理装置が提供される。 According to one aspect of the present invention, a viewpoint information acquisition unit that acquires the viewpoint of a user wearing a wearable device, and a camera image acquisition unit that acquires a first image taken by a camera in front of the wearable device at a specific time point. , An object information acquisition unit that acquires object information indicating an object recognized in a part of the first image according to the viewpoint, and an output that displays an enlarged image of the object based on the object information. An image processing device including the unit and the unit is provided.
前記ウェアラブルデバイスには、前記ユーザの眼球を追跡するアイトラッキングモジュールが設けられ、前記視点情報取得部は、前記アイトラッキングモジュールの出力から前記ユーザの視点を取得し、前記アイトラッキングモジュールの出力から、認識開始を示す所定のユーザ動作を検知し、該検知に応答して、前記特定時点を設定するよう制御を行う制御部を備えるのが望ましい。 The wearable device is provided with an eye tracking module that tracks the user's eyeball, and the viewpoint information acquisition unit acquires the user's viewpoint from the output of the eye tracking module, and obtains the user's viewpoint from the output of the eye tracking module. It is desirable to include a control unit that detects a predetermined user action indicating the start of recognition and controls to set the specific time point in response to the detection.
前記所定のユーザ動作は、所定時間目を瞑ること、ウィンクを行うこと、または、所定回の瞬きであるのが望ましい。 It is desirable that the predetermined user action is closing a predetermined time, winking, or blinking a predetermined number of times.
前記カメラ画像取得部は、前記オブジェクト情報に基づいて、前記オブジェクトを撮影した第２画像を取得し、前記出力部は、前記第２画像を用いて前記拡大画像を表示させるのが望ましい。 It is desirable that the camera image acquisition unit acquires a second image obtained by photographing the object based on the object information, and the output unit displays the enlarged image using the second image.
前記第２画像は、前記第１画像に比べて、前記オブジェクトにピントが合っているのが望ましい。 It is desirable that the second image is in focus on the object as compared with the first image.
前記ウェアラブルデバイスには、前記ユーザの前方に透過型ディスプレイが設けられ、前記出力部は、前記透過型ディスプレイに前記オブジェクトの拡大画像を表示させるのが望ましい。 It is desirable that the wearable device is provided with a transmissive display in front of the user, and the output unit causes the transmissive display to display an enlarged image of the object.
前記出力部は、前記オブジェクトの拡大画像を所定時間表示させた後、前記オブジェクトの拡大画像を非表示とするのが望ましい。 It is desirable that the output unit hides the enlarged image of the object after displaying the enlarged image of the object for a predetermined time.
前記オブジェクト情報取得部は、前記ウェアラブルデバイスの位置および前記ウェアラブルデバイスが向いている方角を考慮して認識されるオブジェクトを示すオブジェクト情報を取得するのが望ましい。 It is desirable that the object information acquisition unit acquires object information indicating an object to be recognized in consideration of the position of the wearable device and the direction in which the wearable device is facing.
前記オブジェクト情報取得部は、前記ウェアラブルデバイスの仰俯角を考慮して認識されるオブジェクトを示すオブジェクト情報を取得するのが望ましい。 It is desirable that the object information acquisition unit acquires object information indicating an object to be recognized in consideration of the elevation / depression angle of the wearable device.
前記出力部は、前記オブジェクト情報に基づいて、オブジェクト名を表示させるのが望ましい。 It is desirable that the output unit displays the object name based on the object information.
本発明の別の態様によれば、ユーザによって装着されるウェアラブルデバイスであって、前記ユーザの前方を撮影するためのカメラと、前記ユーザの眼球を追跡し、前記ユーザの視点を取得するためのアイトラッキングモジュールと、上記画像処理装置と、前記ユーザの前方に設けられ、前記画像処理装置における出力部によって前記オブジェクトの拡大画像が表示される透過型ディスプレイと、を備えるウェアラブルデバイスが提供される。 According to another aspect of the present invention, it is a wearable device worn by the user, for tracking the camera for photographing the front of the user and the eyeball of the user, and acquiring the viewpoint of the user. A wearable device including an eye tracking module, the image processing device, and a transmissive display provided in front of the user and in which an enlarged image of the object is displayed by an output unit in the image processing device is provided.
本発明の別の態様によれば、ユーザによって装着されるウェアラブルデバイスであって、前記ユーザの前方を撮影するためのカメラと、前記ユーザの眼球を追跡し、前記ユーザの視点を取得するためのアイトラッキングモジュールと、前記ウェアラブルデバイスの位置を取得するためのＧＰＳ受信装置と、前記ウェアラブルデバイスが向いている方角を取得するための地磁気センサと、上記画像処理装置と、前記ユーザの前方に設けられ、前記画像処理装置における出力部によって前記オブジェクトの拡大画像が表示される透過型ディスプレイと、を備えるウェアラブルデバイスが提供される。 According to another aspect of the present invention, it is a wearable device worn by a user for capturing a camera for photographing the front of the user and for tracking the eyeball of the user and acquiring the viewpoint of the user. An eye tracking module, a GPS receiver for acquiring the position of the wearable device, a geomagnetic sensor for acquiring the direction in which the wearable device is facing, the image processing device, and the front of the user are provided. Provided is a wearable device including a transmissive display in which an enlarged image of the object is displayed by an output unit in the image processing device.
本発明の別の態様によれば、コンピュータを、ウェアラブルデバイスを装着したユーザの視点を取得する視点情報取得部と、特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得するカメラ画像取得部と、前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得するオブジェクト情報取得部と、前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる出力部と、として機能させる画像処理プログラムが提供される。 According to another aspect of the present invention, the computer is a viewpoint information acquisition unit that acquires the viewpoint of a user wearing a wearable device, and a camera that acquires a first image of the front of the wearable device taken by the camera at a specific time point. An image acquisition unit, an object information acquisition unit that acquires object information indicating an object recognized in a part of the first image according to the viewpoint, and an enlarged image of the object based on the object information. An output unit that displays an image and an image processing program that functions as an image processing program are provided.
本発明の別の態様によれば、ウェアラブルデバイスを装着したユーザの視点を取得し、特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得し、前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得し、前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる、画像処理方法が提供される。 According to another aspect of the present invention, the viewpoint of the user wearing the wearable device is acquired, the first image taken by the camera in front of the wearable device at a specific time point is acquired, and among the first images, the said An image processing method is provided that acquires object information indicating an object recognized in a partial area according to a viewpoint and displays an enlarged image of the object based on the object information.
本発明の別の態様によれば、特定時点におけるウェアラブルデバイスの前方を撮影するカメラからのカメラ画像のうち、前記ウェアラブルデバイスを装着したユーザの視点に応じた一部分である認識領域においてオブジェクト認識を行って、前記認識領域に含まれるオブジェクトを認識するオブジェクト認識部を備えるオブジェクト認識装置が提供される。 According to another aspect of the present invention, object recognition is performed in a recognition area which is a part of a camera image from a camera that captures the front of the wearable device at a specific time point according to the viewpoint of the user wearing the wearable device. Further, an object recognition device including an object recognition unit that recognizes an object included in the recognition area is provided.
前記オブジェクト認識部は、前記ユーザの視点を含む領域を認識領域としてオブジェクト認識を行い、その認識領域でオブジェクトを認識できない場合、前記認識領域をより狭くしてオブジェクト認識を行うのが望ましい。 It is desirable that the object recognition unit recognizes an object using an area including the user's viewpoint as a recognition area, and if the recognition area cannot recognize an object, the recognition area is narrowed to perform object recognition.
前記オブジェクト認識部は、前記認識領域を狭くした結果、前記認識領域の大きさが所定値以下であれば、オブジェクト認識に失敗したと判断するのが望ましい。 It is desirable that the object recognition unit determines that the object recognition has failed if the size of the recognition area is equal to or less than a predetermined value as a result of narrowing the recognition area.
前記ウェアラブルデバイスの位置および、前記ウェアラブルデバイスが向いている方角をデバイス情報として受信するデバイス情報受信部と、前記デバイス情報に基づいてオブジェクトの候補を取得するオブジェクト候補取得部と、を備え、前記オブジェクト認識部は、前記認識領域内に、前記オブジェクトの候補があるか否かを判定することによって、オブジェクト認識を行うのが望ましい。 The object includes a device information receiving unit that receives the position of the wearable device and the direction in which the wearable device is facing as device information, and an object candidate acquisition unit that acquires an object candidate based on the device information. It is desirable that the recognition unit recognizes an object by determining whether or not there is a candidate for the object in the recognition area.
本発明の別の態様によれば、コンピュータを、特定時点におけるウェアラブルデバイスの前方を撮影するカメラからのカメラ画像のうち、前記ウェアラブルデバイスを装着したユーザの視点に応じた一部分である認識領域においてオブジェクト認識を行って、前記認識領域に含まれるオブジェクトを認識するオブジェクト認識部として機能させるオブジェクト認識プログラムが提供される。 According to another aspect of the present invention, the computer is an object in a recognition area which is a part of a camera image from a camera that captures the front of the wearable device at a specific time point according to the viewpoint of the user wearing the wearable device. An object recognition program is provided that performs recognition and functions as an object recognition unit that recognizes an object included in the recognition area.
本発明の別の態様によれば、特定時点におけるウェアラブルデバイスの前方を撮影するカメラからのカメラ画像のうち、前記ウェアラブルデバイスを装着したユーザの視点に応じた一部分である認識領域においてオブジェクト認識を行って、前記認識領域に含まれるオブジェクトを認識するオブジェクト認識方法が提供される。 According to another aspect of the present invention, object recognition is performed in a recognition area which is a part of a camera image taken from a camera that captures the front of the wearable device at a specific time point according to the viewpoint of the user wearing the wearable device. Further, an object recognition method for recognizing an object included in the recognition area is provided.
高精度かつ高速にオブジェクトを認識できる。 Objects can be recognized with high accuracy and high speed.
以下、本発明に係る実施形態について、図面を参照しながら具体的に説明する。 Hereinafter, embodiments according to the present invention will be specifically described with reference to the drawings.
（第１の実施形態）
図１は、第１の実施形態に係るウェアラブルデバイス１００の概略斜視図である。第１の実施形態は、このウェアラブルデバイス１００を装着したユーザが見ている部分を拡大して表示するものである。
(First Embodiment)
FIG. 1 is a schematic perspective view of the wearable device 100 according to the first embodiment. In the first embodiment, the portion viewed by the user wearing the wearable device 100 is enlarged and displayed.
ウェアラブルデバイス１００は、眼鏡型の枠体１と、カメラ２と、アイトラッキングモジュール３と、画像処理部４と、透過型ディスプレイ５と、通信モジュール６とを備えている。枠体１以外の各部は図示しない充電式バッテリによって駆動される。 The wearable device 100 includes a spectacle-shaped frame 1, a camera 2, an eye tracking module 3, an image processing unit 4, a transmissive display 5, and a communication module 6. Each part other than the frame 1 is driven by a rechargeable battery (not shown).
カメラ２は枠体１の前面に取り付けられ、ウェアラブルデバイス１００を顔に装着したユーザの前方（視線と同じ向き）を撮影する。カメラ２から出力されるカメラ画像は画像処理部４に供給される。なお、撮影するタイミング、ピント、拡大率などは画像処理部４の制御部４５（後述）によって制御される。 The camera 2 is attached to the front surface of the frame body 1 and photographs the front (the same direction as the line of sight) of the user who wears the wearable device 100 on his face. The camera image output from the camera 2 is supplied to the image processing unit 4. The timing, focus, magnification, etc. of the image are controlled by the control unit 45 (described later) of the image processing unit 4.
アイトラッキングモジュール３はユーザの眼を向くよう枠体１に取り付けられる。そして、アイトラッキングモジュール３はユーザの眼球を追跡することで、ユーザの視点を特定する。アイトラッキングモジュール３から出力される視点情報は画像処理部４に供給される。 The eye tracking module 3 is attached to the frame 1 so as to face the user's eyes. Then, the eye tracking module 3 identifies the user's viewpoint by tracking the user's eyeball. The viewpoint information output from the eye tracking module 3 is supplied to the image processing unit 4.
画像処理部４は枠体１の内部に配置され、カメラ画像および視点情報を用いてユーザの前方にて認識されるオブジェクトの情報を出力する。画像処理部４の詳細は後述する。 The image processing unit 4 is arranged inside the frame body 1 and outputs information on an object recognized in front of the user using a camera image and viewpoint information. The details of the image processing unit 4 will be described later.
透過型ディスプレイ５（いわゆる「シースルーディスプレイ」）は眼鏡のレンズに当たる部分に配置される。透過型ディスプレイ５は画像処理部４からの制御に応じてオブジェクトを拡大表示する。なお、透過型ディスプレイ５には、カメラ画像が表示されなくてよい。
通信モジュール６は後述するサーバ２００との間で種々のデータ送受を行う。
The transmissive display 5 (so-called “see-through display”) is arranged in a portion corresponding to the lens of the spectacles. The transmissive display 5 enlarges and displays the object according to the control from the image processing unit 4. The camera image does not have to be displayed on the transmissive display 5.
The communication module 6 transmits and receives various data to and from the server 200 described later.
本実施形態は、ユーザの前方を撮影したカメラ画像からオブジェクトを認識して拡大表示するものである。以下、本実施形態におけるオブジェクト認識の概要を説明する。 In the present embodiment, an object is recognized and enlarged and displayed from a camera image taken in front of the user. The outline of object recognition in this embodiment will be described below.
図２Ａは、カメラ画像を模式的に示す図である。この例では、カメラ画像の左側に看板９１があり、右側にポスター９２があるものとする。看板９１は「９時オープン」の文字を含み、ポスター９２は「禁煙」の文字を含んでいる。ここで、カメラ画像全体に対してオブジェクト認識を行って文字を認識し、看板９１の文字を拡大表示し、同時に、ポスター９２の文字を拡大表示することも考えられる。 FIG. 2A is a diagram schematically showing a camera image. In this example, it is assumed that the signboard 91 is on the left side of the camera image and the poster 92 is on the right side. The signboard 91 contains the characters "Open at 9 o'clock", and the poster 92 contains the characters "No smoking". Here, it is conceivable to perform object recognition on the entire camera image to recognize the characters, enlarge the characters of the signboard 91, and at the same time enlarge and display the characters of the poster 92.
しかしながら、カメラ画像全体に対してオブジェクト認識を行う場合、認識対象の範囲が広すぎて処理負荷が大きく、処理速度が実用的でないことがある。かといって、処理速度を上げようとすると認識精度が低下してしまう。 However, when object recognition is performed on the entire camera image, the range of recognition targets is too wide, the processing load is large, and the processing speed may not be practical. However, if you try to increase the processing speed, the recognition accuracy will decrease.
そこで、本実施形態では、カメラ画像における、ユーザの視点に応じた一部分の領域に対してのみ、オブジェクト認識を行う。例えば、ユーザの視点が左方向であれば、図２Ｂに示すように、左側の看板９１のみが認識され、透過型ディスプレイ５に拡大される。一方、ユーザの視点が右方向であれば、図２Ｃに示すように、右側のポスター９２のみが認識され、透過型ディスプレイ５に拡大表示される。なお、図２Ｂおよび図２Ｃにおいて、破線は透過型ディスプレイ５を透過してユーザに直接見えることを示しており、実線は透過型ディスプレイ５に表示されることを示している。 Therefore, in the present embodiment, object recognition is performed only for a part of the area of the camera image according to the user's viewpoint. For example, if the user's viewpoint is to the left, as shown in FIG. 2B, only the signboard 91 on the left side is recognized and enlarged to the transmissive display 5. On the other hand, if the user's viewpoint is in the right direction, as shown in FIG. 2C, only the poster 92 on the right side is recognized and enlarged and displayed on the transmissive display 5. Note that in FIGS. 2B and 2C, the broken line indicates that the transparent display 5 is transparent and directly visible to the user, and the solid line indicates that the transparent display 5 is displayed.
このように、オブジェクト認識の領域を狭くすることで、認識精度を低下させることなく、処理速度が向上する。以下、詳細に説明する。 By narrowing the object recognition area in this way, the processing speed is improved without lowering the recognition accuracy. The details will be described below.
図３は、第１の実施形態に係るオブジェクト認識システムの概略構成を示す機能ブロック図である。オブジェクト認識システムは、上述したウェアラブルデバイス１００と、サーバ２００（オブジェクト認識装置）とから構成される。ウェアラブルデバイス１００は、例えば３Ｇ回線、４Ｇ回線あるいはＷｉＦｉ（登録商標）により、サーバ２００と通信可能である。 FIG. 3 is a functional block diagram showing a schematic configuration of the object recognition system according to the first embodiment. The object recognition system includes the wearable device 100 described above and a server 200 (object recognition device). The wearable device 100 can communicate with the server 200 by, for example, a 3G line, a 4G line, or WiFi (registered trademark).
ウェアラブルデバイス１００の画像処理部４は、カメラ画像取得部４１と、視点情報取得部４２と、オブジェクト情報取得部４３と、出力部４４と、制御部４５とを有する。これら各機能部の一部または全部は、ハードウェア回路で実装されてもよい。あるいは、ウェアラブルデバイス１００のＣＰＵが所定のプログラムを実行することでこれら各機能部の一部または全部が実現されてもよい。 The image processing unit 4 of the wearable device 100 includes a camera image acquisition unit 41, a viewpoint information acquisition unit 42, an object information acquisition unit 43, an output unit 44, and a control unit 45. Some or all of these functional parts may be implemented in a hardware circuit. Alternatively, a part or all of each of these functional units may be realized by the CPU of the wearable device 100 executing a predetermined program.
カメラ画像取得部４１はカメラ２と接続されている。そして、カメラ画像取得部４１はカメラ２から出力されるカメラ画像を取得し、通信モジュール６を介してサーバ２００に送信する。 The camera image acquisition unit 41 is connected to the camera 2. Then, the camera image acquisition unit 41 acquires the camera image output from the camera 2 and transmits it to the server 200 via the communication module 6.
視点情報取得部４２はアイトラッキングモジュール３と接続されている。そして、視点情報取得部４２はアイトラッキングモジュール３から出力される視点情報を取得し、通信モジュール６を介してサーバ２００に送信する。視点情報はカメラ画像におけるどの部分に視点があるかを示す。具体的には、視点情報は、カメラ画像における特定の１または複数画素を示してもよいし、カメラ画像を複数領域に分割したうちの１つの領域を示していてもよい。 The viewpoint information acquisition unit 42 is connected to the eye tracking module 3. Then, the viewpoint information acquisition unit 42 acquires the viewpoint information output from the eye tracking module 3 and transmits it to the server 200 via the communication module 6. The viewpoint information indicates which part of the camera image has the viewpoint. Specifically, the viewpoint information may indicate a specific one or a plurality of pixels in the camera image, or may indicate one region of the camera image divided into a plurality of regions.
オブジェクト情報取得部４３は、カメラ画像のうち、ユーザの視点に応じた領域を含む一部分の領域において認識されるオブジェクトを示すオブジェクト情報を通信モジュール６を介してサーバ２００から取得する。 The object information acquisition unit 43 acquires object information indicating an object recognized in a part of the camera image including the area corresponding to the user's viewpoint from the server 200 via the communication module 6.
出力部４４はオブジェクト情報が示すオブジェクトの拡大画像を透過型ディスプレイ５に表示させる。 The output unit 44 causes the transmissive display 5 to display an enlarged image of the object indicated by the object information.
制御部４５はウェアラブルデバイス１００の全体を制御する。 The control unit 45 controls the entire wearable device 100.
サーバ２００はウェアラブルデバイス１００との間で種々のデータ送受を行う通信モジュール２０を有する。また、サーバ２００は、カメラ画像受信部２１と、視点情報受信部２２と、認識領域設定部２３と、オブジェクト認識部２４と、オブジェクト情報送信部２５とを有する。これら各機能部の一部または全部は、ハードウェア回路で実装されてもよい。あるいは、サーバ２００のＣＰＵが所定のプログラムを実行することでこれら各機能部の一部または全部が実現されてもよい。 The server 200 has a communication module 20 that transmits and receives various data to and from the wearable device 100. Further, the server 200 includes a camera image receiving unit 21, a viewpoint information receiving unit 22, a recognition area setting unit 23, an object recognition unit 24, and an object information transmitting unit 25. Some or all of these functional parts may be implemented in a hardware circuit. Alternatively, a part or all of these functional units may be realized by the CPU of the server 200 executing a predetermined program.
カメラ画像受信部２１および視点情報受信部２２は、ウェアラブルデバイス１００から通信モジュール２０を介して、それぞれカメラ画像および視点情報を受信する。 The camera image receiving unit 21 and the viewpoint information receiving unit 22 receive the camera image and the viewpoint information from the wearable device 100 via the communication module 20, respectively.
認識領域設定部２３は、視点情報に基づき、カメラ画像の認識領域を設定する。認識領域は、カメラ画像の一部分であって、オブジェクト認識部２４によるオブジェクト認識の対象となる領域である。 The recognition area setting unit 23 sets the recognition area of the camera image based on the viewpoint information. The recognition area is a part of the camera image and is an area to be recognized by the object recognition unit 24.
オブジェクト認識部２４は、カメラ画像のうち、認識領域設定部２３によって設定された認識領域のみにおいてオブジェクト認識を実行する。オブジェクト認識の手法に特に制限はないが、例えばディープラーニングを適用した人工知能を利用することができる。 The object recognition unit 24 executes object recognition only in the recognition area set by the recognition area setting unit 23 in the camera image. The object recognition method is not particularly limited, but for example, artificial intelligence to which deep learning is applied can be used.
オブジェクト情報送信部２５は、認識されたオブジェクトを示すオブジェクト情報を、通信モジュール２０を介してウェアラブルデバイス１００に送信する。オブジェクト情報は、認識されたオブジェクトのカメラ画像における位置を示してもよいし、認識されたオブジェクトが何であるかを示してもよい。 The object information transmission unit 25 transmits the object information indicating the recognized object to the wearable device 100 via the communication module 20. The object information may indicate the position of the recognized object in the camera image, or may indicate what the recognized object is.
図４は、第１の実施形態に係るオブジェクト認識システムの処理動作の一例を示すシーケンス図である。 FIG. 4 is a sequence diagram showing an example of the processing operation of the object recognition system according to the first embodiment.
ユーザはオブジェクト認識処理を開始させるためのトリガ動作をウェアラブルデバイス１００に対して行う。トリガ動作は任意であるが、例えば所定時間目を瞑る、ウィンクを行う、所定回瞬きをする、などアイトラッキングモジュール３で検知できる予め定めた動作であるのが望ましい。制御部４５は、アイトラッキングモジュール３の出力からトリガ動作を検知すると（ステップＳ１のＹＥＳ）、以下に述べるようにカメラ画像からオブジェクト情報を取得するよう制御する。 The user performs a trigger operation on the wearable device 100 to start the object recognition process. The trigger operation is arbitrary, but it is desirable that the trigger operation is a predetermined operation that can be detected by the eye tracking module 3, such as closing the eyes for a predetermined time, winking, or blinking a predetermined time. When the control unit 45 detects the trigger operation from the output of the eye tracking module 3 (YES in step S1), the control unit 45 controls to acquire the object information from the camera image as described below.
制御部４５は、トリガ動作が検知された時点（多少のタイムラグは構わない）で、カメラ画像を取得するようカメラ画像取得部４１を制御するとともに、ユーザの視点を示す視線情報を取得するよう視点情報取得部４２を制御する（ステップＳ２）。取得されたカメラ画像および視点情報は、通信モジュール６を介してサーバ２００に送信される（ステップＳ３）。 The control unit 45 controls the camera image acquisition unit 41 to acquire the camera image at the time when the trigger operation is detected (a slight time lag is acceptable), and also acquires the line-of-sight information indicating the user's viewpoint. The information acquisition unit 42 is controlled (step S2). The acquired camera image and viewpoint information are transmitted to the server 200 via the communication module 6 (step S3).
サーバ２００のカメラ画像受信部２１および視点情報受信部２２は、通信モジュール２０を介して、ウェアラブルデバイス１００からのカメラ画像および視点情報をそれぞれ受信する（ステップＳ１１）。そして、認識領域設定部２３およびオブジェクト認識部２４は、視点情報を利用し、カメラ画像における一部分のみの領域においてオブジェクト認識を行う。（ステップＳ１２）。その詳細は図５を用いて後述する。オブジェクト情報送信部２５はオブジェクトを示すオブジェクト情報をウェアラブルデバイス１００に送信する（ステップＳ１３）。 The camera image receiving unit 21 and the viewpoint information receiving unit 22 of the server 200 receive the camera image and the viewpoint information from the wearable device 100, respectively, via the communication module 20 (step S11). Then, the recognition area setting unit 23 and the object recognition unit 24 use the viewpoint information to perform object recognition in only a part of the area in the camera image. (Step S12). The details will be described later with reference to FIG. The object information transmission unit 25 transmits object information indicating the object to the wearable device 100 (step S13).
ウェアラブルデバイス１００のオブジェクト情報取得部４３はサーバ２００からオブジェクト情報を受信する（ステップＳ４）。そして、出力部４４は、オブジェクト情報に基づいて、オブジェクトの拡大画像を透過型ディスプレイ５に表示させる（ステップＳ５）。 The object information acquisition unit 43 of the wearable device 100 receives the object information from the server 200 (step S4). Then, the output unit 44 displays an enlarged image of the object on the transmissive display 5 based on the object information (step S5).
透過型ディスプレイ５における拡大画像の表示位置は、オブジェクトの位置から少し外れた近傍とするのが望ましい。このようにすれば、ユーザは、透過型ディスプレイ５を介してオブジェクトが見つつ、透過型ディスプレイ５に表示された拡大画像を見ることができる。一例として、カメラ画像において、水平方向における左側、垂直方向における中央付近にオブジェクトが認識された場合、透過型ディスプレイ５の水平方向における左側、垂直方向における中央より下に拡大画像が表示される。 It is desirable that the display position of the enlarged image on the transmissive display 5 is a vicinity slightly deviated from the position of the object. In this way, the user can see the enlarged image displayed on the transmissive display 5 while the object is viewed through the transmissive display 5. As an example, when an object is recognized on the left side in the horizontal direction and near the center in the vertical direction in the camera image, the enlarged image is displayed on the left side in the horizontal direction and below the center in the vertical direction of the transmissive display 5.
なお、出力部４４は、ユーザから特段の指示がない限り拡大画像を表示したままにしておいてもよいが、一定時間表示させた後に自動的に非表示とするのが望ましい。 The output unit 44 may keep displaying the enlarged image unless otherwise instructed by the user, but it is desirable that the output unit 44 automatically hides the enlarged image after displaying it for a certain period of time.
図２Ａに示した例において、例えば視点が右方向であれば図４のステップＳ５において右側のポスター９２の拡大画像が透過型ディスプレイ５に表示されるが、左側の看板９１の拡大画像は表示されない（図２Ｃ参照）。一方、視点が左方向であれば図４のステップＳ５において左側の看板９１の拡大画像が透過型ディスプレイ５に表示されるが、右側のポスター９２の拡大画像は表示されない（図２Ｂ参照）。 In the example shown in FIG. 2A, for example, if the viewpoint is in the right direction, the enlarged image of the poster 92 on the right side is displayed on the transmissive display 5 in step S5 of FIG. 4, but the enlarged image of the signboard 91 on the left side is not displayed. (See FIG. 2C). On the other hand, if the viewpoint is in the left direction, the enlarged image of the signboard 91 on the left side is displayed on the transmissive display 5 in step S5 of FIG. 4, but the enlarged image of the poster 92 on the right side is not displayed (see FIG. 2B).
ステップＳ５において、出力部４４はオブジェクトをカメラ２で再撮影して得られるカメラ画像の少なくとも一部を拡大画像として表示させてもよい。具体的には、制御部４５は、ステップＳ２でカメラ画像を取得したときよりもカメラ２の拡大率を高くし、オブジェクト（より具体的には、オブジェクト情報が示す位置）が中心となるよう再撮影を行う。この際、制御部４５は、ステップＳ２でカメラ画像を取得したときよりも、オブジェクトにピントが合うようにカメラ２を設定するのがさらに望ましい。 In step S5, the output unit 44 may display at least a part of the camera image obtained by re-shooting the object with the camera 2 as an enlarged image. Specifically, the control unit 45 increases the magnification of the camera 2 as compared with the case where the camera image is acquired in step S2, and re-uses the object (more specifically, the position indicated by the object information) to be the center. Take a picture. At this time, it is more desirable that the control unit 45 sets the camera 2 so that the object is in focus as compared with the case where the camera image is acquired in step S2.
なお、出力部４４は、ステップＳ２で取得されたカメラ画像のうち、オブジェクト情報によって示される部分を拡大処理したものを拡大画像として表示させてもよい。しかし、拡大処理に比べ、再撮影の方がより高画質な拡大画像を表示させることができるし、ピントを合わせることも容易である。 The output unit 44 may display the camera image acquired in step S2 by enlarging the portion indicated by the object information as an enlarged image. However, compared to the enlargement processing, the re-shooting can display a magnified image with higher image quality, and it is easy to focus.
続いて、図４のステップＳ１２に示すオブジェクト認識処理について詳しく説明する。図５は、第１の実施形態におけるオブジェクト認識処理の処理動作の一例を示すフローチャートである。 Subsequently, the object recognition process shown in step S12 of FIG. 4 will be described in detail. FIG. 5 is a flowchart showing an example of the processing operation of the object recognition process according to the first embodiment.
認識領域設定部２３は視点情報に基づいて認識領域の初期値を設定する（ステップＳ２１）。図６は、認識領域の初期値を模式的に示す図である。図示のように、認識領域設定部２３はカメラ画像における視点を含む予め定めた大きさのエリアを認識領域の初期値とする。認識領域は、例えば視点を中心とし、カメラ画像を縮小した（あるいはカメラ画像と長手方向が一致する）長方形である。 The recognition area setting unit 23 sets the initial value of the recognition area based on the viewpoint information (step S21). FIG. 6 is a diagram schematically showing the initial value of the recognition area. As shown in the figure, the recognition area setting unit 23 sets an area of a predetermined size including the viewpoint in the camera image as the initial value of the recognition area. The recognition area is, for example, a rectangle centered on the viewpoint and in which the camera image is reduced (or the longitudinal direction coincides with the camera image).
続いて、オブジェクト認識部２４は設定された認識領域内でオブジェクト認識を行う（ステップＳ２２）。認識領域内でオブジェクトが認識された場合（ステップＳ２３のＹＥＳ）、認識されたオブジェクトと視点との距離ｒ１を算出する（ステップＳ２４、図７参照）。なお、距離ｒ１は、オブジェクトの中心から視点との距離でもよいし、オブジェクトのうち最も近い位置と視点との距離であってもよい。 Subsequently, the object recognition unit 24 recognizes the object within the set recognition area (step S22). When an object is recognized in the recognition area (YES in step S23), the distance r1 between the recognized object and the viewpoint is calculated (see step S24, FIG. 7). The distance r1 may be the distance from the center of the object to the viewpoint, or may be the distance between the closest position of the object and the viewpoint.
そして、距離ｒ１が所定の閾値ＴＨ１以下であれば（ステップＳ２５のＹＥＳ）、オブジェクト認識部２４はオブジェクト認識に成功したと判断する。 Then, if the distance r1 is equal to or less than the predetermined threshold value TH1 (YES in step S25), the object recognition unit 24 determines that the object recognition has succeeded.
一方、距離ｒ１が閾値ＴＨ１より大きい場合、視点から離れすぎていると考えられるため、ステップＳ２３で認識されたオブジェクトを採用しない。そして、認識領域設定部２３は認識領域を狭めることとする（ステップＳ２６）。また、ステップＳ２３において、オブジェクトが認識されなかった場合（ステップＳ２３のＮＯ）も、認識領域設定部２３は認識領域を狭める（ステップＳ２６）。 On the other hand, when the distance r1 is larger than the threshold value TH1, it is considered that the distance r1 is too far from the viewpoint, so the object recognized in step S23 is not adopted. Then, the recognition area setting unit 23 narrows the recognition area (step S26). Further, even when the object is not recognized in step S23 (NO in step S23), the recognition area setting unit 23 narrows the recognition area (step S26).
図８は、狭めた認識領域を模式的に示す図である。図示のように、認識領域設定部２３は、視点を中心としたまま所定量だけ長方形を小さくして、新たな認識領域とする。その結果、認識領域の大きさが所定の閾値ＴＨ２以下となった場合（ステップＳ２７のＹＥＳ）、オブジェクト認識部２４はオブジェクト認識に失敗したと判断する。認識領域が小さすぎる場合、小さなオブジェクトを見つけるのが困難であるためである。なお、認識領域の大きさは、例えば長方形の長辺あるいは短辺の長さを基準にしてもよいし、面積を基準にしてもよい。 FIG. 8 is a diagram schematically showing a narrowed recognition area. As shown in the figure, the recognition area setting unit 23 reduces the rectangle by a predetermined amount while keeping the viewpoint at the center to provide a new recognition area. As a result, when the size of the recognition area becomes equal to or less than the predetermined threshold value TH2 (YES in step S27), the object recognition unit 24 determines that the object recognition has failed. This is because if the recognition area is too small, it will be difficult to find small objects. The size of the recognition area may be based on, for example, the length of the long side or the short side of the rectangle, or may be based on the area.
認識領域の大きさが所定の閾値ＴＨ２より大きければ（ステップＳ２７のＮＯ）、オブジェクト認識部２４は新たな認識領域内でオブジェクト認識を行う（ステップＳ２２）。以上の処理を認識成功あるいは認識失敗と判断されるまで行う。 If the size of the recognition area is larger than the predetermined threshold value TH2 (NO in step S27), the object recognition unit 24 performs object recognition in the new recognition area (step S22). The above processing is performed until it is determined that recognition is successful or recognition is unsuccessful.
このようにして認識されたオブジェクト（および／または、カメラ画像におけるオブジェクトの位置）を示すオブジェクト情報がウェアラブルデバイス１００に送信される（図４のステップＳ１３）。 Object information indicating the object (and / or the position of the object in the camera image) recognized in this way is transmitted to the wearable device 100 (step S13 in FIG. 4).
このように、第１の実施形態では、カメラ画像の全体に対してオブジェクト認識を行うのではなく、視点に応じた一部分に対してのみオブジェクト認識を行う。これにより、オブジェクト認識の領域が狭くなるため、認識精度を低下させることなく、処理速度が向上する。また、カメラ画像の一部分に対してオブジェクト認識を行うため、オブジェクトが小さくても認識可能となる。さらに、視点が向いていない位置にあるオブジェクトの拡大表示は行わないため、不要な情報がなく、透過型ディスプレイ５の表示がすっきりする。 As described above, in the first embodiment, the object recognition is not performed on the entire camera image, but the object recognition is performed only on a part corresponding to the viewpoint. As a result, the area for object recognition is narrowed, so that the processing speed is improved without lowering the recognition accuracy. Further, since the object is recognized for a part of the camera image, it can be recognized even if the object is small. Further, since the enlarged display of the object at the position where the viewpoint is not facing is not performed, there is no unnecessary information and the display of the transmissive display 5 is neat.
なお、図３に示すシステム構成は例示にすぎず、ウェアラブルデバイス１００の機能の一部をサーバ２００が行ってもよいし、サーバ２００の機能の一部または全部をウェアラブルデバイス１００が行ってもよい。具体例として、認識領域設定部２３をウェアラブルデバイス１００内に設け、認識領域の初期値をウェアラブルデバイス１００からサーバ２００に送信してもよい。 The system configuration shown in FIG. 3 is merely an example, and the server 200 may perform a part of the functions of the wearable device 100, or the wearable device 100 may perform a part or all of the functions of the server 200. .. As a specific example, the recognition area setting unit 23 may be provided in the wearable device 100, and the initial value of the recognition area may be transmitted from the wearable device 100 to the server 200.
別の例として、認識領域設定部２３に加え、オブジェクト認識部２４もウェアラブルデバイス１００内に設けてもよい。この構成によれば、処理性能に優れるサーバ２００でのオブジェクト認識と比較すると認識精度や認識速度が多少犠牲になる可能性もあるが、通信機能が不要となり、ウェアラブルデバイス１００単体で一連の処理が可能となる。また、ウェアラブルデバイス１００でもサーバ２００でもオブジェクト認識を行えるようにし、通信可能な環境下ではサーバ２００でオブジェクト認識を行い、通信不能な環境下ではウェアラブルデバイス１００でオブジェクト認識を行うようにしてもよい。 As another example, in addition to the recognition area setting unit 23, the object recognition unit 24 may also be provided in the wearable device 100. According to this configuration, recognition accuracy and recognition speed may be sacrificed to some extent as compared with object recognition by the server 200 having excellent processing performance, but the communication function becomes unnecessary and a series of processing can be performed by the wearable device 100 alone. It will be possible. Further, object recognition may be performed by both the wearable device 100 and the server 200, the object recognition may be performed by the server 200 in an environment where communication is possible, and the object recognition may be performed by the wearable device 100 in an environment where communication is not possible.
なお、認識対象となるオブジェクトは文字に限られない。 The object to be recognized is not limited to characters.
（第２の実施形態）
以下に説明する第２の実施形態は、オブジェクト認識の精度を向上すべく、ＧＰＳなどを用いるものである。以下、第１の実施形態との相違点を中心に説明する。
(Second Embodiment)
In the second embodiment described below, GPS or the like is used in order to improve the accuracy of object recognition. Hereinafter, the differences from the first embodiment will be mainly described.
図９Ａは、第２の実施形態に係るウェアラブルデバイス１０１の概略斜視図である。また、図９Ｂは、第２の実施形態に係るオブジェクト認識システムの概略構成を示す機能ブロック図である。ウェアラブルデバイス１０１は、さらにＧＰＳ受信装置７と、地磁気センサ８と、加速度センサ９とを備えており、これらは画像処理部４に接続されている。 FIG. 9A is a schematic perspective view of the wearable device 101 according to the second embodiment. Further, FIG. 9B is a functional block diagram showing a schematic configuration of the object recognition system according to the second embodiment. The wearable device 101 further includes a GPS receiving device 7, a geomagnetic sensor 8, and an acceleration sensor 9, which are connected to the image processing unit 4.
ＧＰＳ受信装置７は枠体１の内部に配置され、ＧＰＳ衛星からの信号に基づいてウェアラブルデバイス１０１の位置を取得する。ＧＰＳ受信装置７から出力される、ウェアラブルデバイス１０１の位置を示す位置情報は画像処理部４に供給される。位置情報は、例えば緯度および経度で表される。 The GPS receiving device 7 is arranged inside the frame 1 and acquires the position of the wearable device 101 based on the signal from the GPS satellite. The position information indicating the position of the wearable device 101 output from the GPS receiving device 7 is supplied to the image processing unit 4. The position information is represented by, for example, latitude and longitude.
地磁気センサ８は枠体１の内部に配置され、地球の磁力を検知してウェアラブルデバイス１０１が向いている方角を取得する。地磁気センサ８は、自身が取得する方角と、ユーザが向いている方向とが一致するよう配置されるのが望ましい。地磁気センサ８から出力される、ウェアラブルデバイス１０１が向いている方角を示す方角情報は画像処理部４に供給される。方角情報は、例えば東西南北の４方角のいずれであるかを示してもよいし、北東・南東・南西・北西を加えた８方角のいずれであるかを示してもよいし、より細かくてもよい。 The geomagnetic sensor 8 is arranged inside the frame 1 and detects the magnetic force of the earth to acquire the direction in which the wearable device 101 is facing. It is desirable that the geomagnetic sensor 8 is arranged so that the direction acquired by itself and the direction in which the user is facing coincide with each other. The direction information output from the geomagnetic sensor 8 indicating the direction in which the wearable device 101 is facing is supplied to the image processing unit 4. The direction information may indicate, for example, which of the four directions of north, south, east, and west, or which of the eight directions including northeast, southeast, southwest, and northwest, or even more detailed. Good.
加速度センサ９は枠体１の内部に配置され、重力加速度を検知してウェアラブルデバイス１０１の水平方向に対する上下方向の角度（すなわち仰俯角）を取得する。加速度センサ９から出力される、ウェアラブルデバイス１０１の鉛直方向の仰俯角を示す仰俯角情報は画像処理部４に出力される。仰俯角情報は、例えば水平方向を０度とし、上向きを正の角度、下向きを負の角度として表される。 The acceleration sensor 9 is arranged inside the frame 1, and detects the gravitational acceleration to acquire the vertical angle (that is, the elevation / depression angle) of the wearable device 101 with respect to the horizontal direction. The elevation / depression angle information indicating the vertical elevation / depression angle of the wearable device 101 output from the acceleration sensor 9 is output to the image processing unit 4. The elevation / depression angle information is represented by, for example, 0 degrees in the horizontal direction, a positive angle in the upward direction, and a negative angle in the downward direction.
また、図９Ｂに示すように、本実施形態の画像処理部４はデバイス情報取得部４６をさらに有する。デバイス情報取得部４６は、ＧＰＳ受信装置７、地磁気センサ８および加速度センサ９と接続されており、位置情報、方角情報および仰俯角情報をそれぞれから取得する。なお、以下では、位置情報、方角情報および仰俯角情報を総称してデバイス情報と呼ぶ。このデバイス情報は通信モジュール６を介してサーバ２００に送信される。 Further, as shown in FIG. 9B, the image processing unit 4 of the present embodiment further includes a device information acquisition unit 46. The device information acquisition unit 46 is connected to the GPS receiving device 7, the geomagnetic sensor 8, and the acceleration sensor 9, and acquires position information, direction information, and elevation / depression angle information from each. In the following, position information, direction information, and elevation / depression angle information are collectively referred to as device information. This device information is transmitted to the server 200 via the communication module 6.
一方、本実施形態のサーバ２０１は、デバイス情報受信部２６と、オブジェクトデータベース２７と、オブジェクト候補取得部２８とをさらに有する。 On the other hand, the server 201 of the present embodiment further includes a device information receiving unit 26, an object database 27, and an object candidate acquisition unit 28.
デバイス情報受信部２６はウェアラブルデバイス１００から通信モジュール２０を介してデバイス情報を受信する。 The device information receiving unit 26 receives device information from the wearable device 100 via the communication module 20.
オブジェクトデータベース２７は、オブジェクトと、デバイス情報との関係を記憶している。 The object database 27 stores the relationship between the object and the device information.
図１０は、オブジェクトデータベース２７の構造の一例を示す図である。図示のように、デバイス情報（位置、方角および仰俯角）と、オブジェクトとの関係が記憶されている。これは、各位置から各方角および各仰俯角で見たときに、そのオブジェクトが見えることを意味している。同図の例では、ウェアラブルデバイス１０１の位置がＡであり、ウェアラブルデバイス１０１が向いている方角が北西であり、仰俯角が０度であればＴタワーが見えることを意味している。 FIG. 10 is a diagram showing an example of the structure of the object database 27. As shown in the figure, the relationship between the device information (position, direction and elevation / depression angle) and the object is stored. This means that the object is visible when viewed from each position in each direction and at each elevation / depression angle. In the example of the figure, if the position of the wearable device 101 is A, the direction in which the wearable device 101 is facing is northwest, and the elevation / depression angle is 0 degrees, it means that the T tower can be seen.
さらに、オブジェクトデータベース２７には、オブジェクト名に加えて、オブジェクト画像が関連付けられている。オブジェクト画像は当該オブジェクトを正面から見た画像、右から見た画像、左から見た画像など、複数用意されているのが望ましい。 Further, the object database 27 is associated with an object image in addition to the object name. It is desirable that a plurality of object images are prepared, such as an image of the object viewed from the front, an image viewed from the right, and an image viewed from the left.
なお、図１０には少数のオブジェクトのみを示しているが、実際には多数ある。特定の位置、方角および仰俯角に複数のオブジェクトが関連付けられることもある。 Although FIG. 10 shows only a small number of objects, there are actually many. Multiple objects may be associated with a particular position, direction, and elevation / depression angle.
図９Ｂに戻り、オブジェクト候補取得部２８は、デバイス情報に基づき、オブジェクトデータベース２７を参照して、オブジェクト候補を取得する。オブジェクト候補は、カメラ画像に含まれている可能性が高いオブジェクトである。具体的には、オブジェクト候補取得部２８は、デバイス情報と一致する、あるいは、近いオブジェクト（オブジェクト名およびオブジェクト画像）を取得する。例として、デバイス情報受信部２６が受信した位置がＢ、方角が北、仰俯角が０度であった場合、図１０を参照して、オブジェクトＲ，Ｓが取得される。 Returning to FIG. 9B, the object candidate acquisition unit 28 acquires the object candidate by referring to the object database 27 based on the device information. Object candidates are objects that are likely to be included in the camera image. Specifically, the object candidate acquisition unit 28 acquires an object (object name and object image) that matches or is close to the device information. As an example, when the position received by the device information receiving unit 26 is B, the direction is north, and the elevation / depression angle is 0 degrees, the objects R and S are acquired with reference to FIG.
取得されたオブジェクト候補はオブジェクト認識部２４で用いられる。本実施形態におけるオブジェクト認識の手順は図１３を用いて後述する。また、オブジェクト情報送信部２５は、オブジェクト情報として、第１の実施形態と同様、認識されたオブジェクトのカメラ画像における位置を示してもよいし、認識されたオブジェクトが何であるか（オブジェクト名）を示してもよいし、オブジェクトデータベース２７におけるオブジェクト画像を含んでいてもよい。 The acquired object candidate is used by the object recognition unit 24. The procedure for object recognition in this embodiment will be described later with reference to FIG. Further, the object information transmission unit 25 may indicate the position of the recognized object in the camera image as the object information as in the first embodiment, and may indicate what the recognized object is (object name). It may be shown or may include an object image in the object database 27.
図１１は、第２の実施形態に係るオブジェクト認識システムの処理動作の一例を示すシーケンス図である。カメラ画像および視点情報に加え、ウェアラブルデバイス１０２がデバイス情報を取得し、サーバ２０１に送信する点（ステップＳ２’〜Ｓ４’）を除き、図４と同じである。 FIG. 11 is a sequence diagram showing an example of the processing operation of the object recognition system according to the second embodiment. It is the same as FIG. 4 except that the wearable device 102 acquires the device information and transmits it to the server 201 (steps S2'to S4') in addition to the camera image and the viewpoint information.
図１２は、第２の実施形態におけるオブジェクト認識処理の処理動作の一例を示すフローチャートである。まず、オブジェクト候補取得部２８はデバイス情報に基づいて１または複数のオブジェクト候補を取得する（ステップＳ２０）。ここでは、オブジェクトＲ，Ｓ，Ｔが取得されたものとする。 FIG. 12 is a flowchart showing an example of the processing operation of the object recognition process in the second embodiment. First, the object candidate acquisition unit 28 acquires one or a plurality of object candidates based on the device information (step S20). Here, it is assumed that the objects R, S, and T have been acquired.
次に、第１の実施形態と同様、認識領域設定部２３は視点情報に基づいて認識領域の初期値を設定する（ステップＳ２１）。 Next, as in the first embodiment, the recognition area setting unit 23 sets the initial value of the recognition area based on the viewpoint information (step S21).
続いて、オブジェクト認識部２４は設定された認識領域内でオブジェクト認識を行う（ステップＳ２２）。本実施形態のオブジェクト認識は、例えばパターンマッチングにより、オブジェクト候補が認識領域内に存在するか否かを判定する。本例では、認識領域内にオブジェクトＲ，Ｓのいずれかと一致するか否かが判定される。予め取得したオブジェクト候補とのパターンマッチングを行うことで、処理時間を短縮できる。 Subsequently, the object recognition unit 24 recognizes the object within the set recognition area (step S22). In the object recognition of the present embodiment, for example, pattern matching is used to determine whether or not an object candidate exists in the recognition area. In this example, it is determined whether or not the object R or S matches in the recognition area. Processing time can be shortened by performing pattern matching with object candidates acquired in advance.
認識領域内でオブジェクトが認識された場合（ステップＳ２３のＹＥＳ）、すなわち、オブジェクト候補のいずれかと一致した場合、ステップＳ２４に進む。一方、認識領域内でオブジェクトが認識されなかった場合（ステップＳ２３のＮＯ）、すなわち、オブジェクト候補のいずれとも一致しない場合、ステップＳ２６に進む。以降は第１の実施形態で説明したとおりである。このようにして認識されたオブジェクトを示すオブジェクト情報がウェアラブルデバイス１００に送信される（図１１のステップＳ１３）。 If the object is recognized in the recognition area (YES in step S23), that is, if any of the object candidates is matched, the process proceeds to step S24. On the other hand, if the object is not recognized in the recognition area (NO in step S23), that is, if it does not match any of the object candidates, the process proceeds to step S26. The following is as described in the first embodiment. Object information indicating the object recognized in this way is transmitted to the wearable device 100 (step S13 in FIG. 11).
図１３Ａは、図１１のステップＳ２で取得されるカメラ画像を模式的に示す図である。この例では、カメラ画像の右側にＦ山９３があり、左側にＴタワー９４がある。そして、図１１のステップＳ２’で取得されるデバイス情報は、位置：Ａ、方角：北西、仰俯角０であったとする。また、ステップＳ２’で取得される視点情報はカメラ画像の右側を示していたとする。 FIG. 13A is a diagram schematically showing a camera image acquired in step S2 of FIG. In this example, the F mountain 93 is on the right side of the camera image, and the T tower 94 is on the left side. Then, it is assumed that the device information acquired in step S2'in FIG. 11 is position: A, direction: northwest, and elevation / depression angle 0. Further, it is assumed that the viewpoint information acquired in step S2'shows the right side of the camera image.
上記デバイス情報によれば、図１０のオブジェクトデータベース２７を参照して、Ｆ山およびＴタワーがオブジェクト候補となる（図１２のステップＳ２０）。そして、視点情報がカメラ画像の右側を示すことから、結果的にはＴタワーでなくＦ山９３がオブジェクトとして認識される。 According to the device information, the F mountain and the T tower are object candidates with reference to the object database 27 of FIG. 10 (step S20 of FIG. 12). Then, since the viewpoint information indicates the right side of the camera image, as a result, the F mountain 93 is recognized as an object instead of the T tower.
図１３Ｂは、透過型ディスプレイ５に表示される画像を模式的に示す図である。図示のように、Ｆ山の拡大画像９５が表示される。この拡大画像９５は第１と実施形態と同様に生成されたものでもよいし、オブジェクトデータベース２７における画像であってもよい。また、出力部４４は拡大画像９５に加えてオブジェクト名９６を表示させてもよい。 FIG. 13B is a diagram schematically showing an image displayed on the transmissive display 5. As shown, the enlarged image 95 of Mt. F is displayed. The enlarged image 95 may be generated in the same manner as in the first and the first embodiments, or may be an image in the object database 27. Further, the output unit 44 may display the object name 96 in addition to the enlarged image 95.
このように、第２の実施形態では、デバイス情報も利用する。デバイス情報に基づいてオブジェクトの候補を取得できるため、より高精度にオブジェクトを認識できるし、処理時間も短縮できる。 As described above, in the second embodiment, the device information is also used. Since object candidates can be acquired based on device information, objects can be recognized with higher accuracy and processing time can be shortened.
なお、オブジェクト候補を取得するためのデバイス情報として、少なくとも位置情報および方角情報を含んでいればよい。また、デバイス情報が他の情報を含んでいてもよい。 It should be noted that at least the position information and the direction information may be included as the device information for acquiring the object candidate. Further, the device information may include other information.
上述した実施形態は、本発明が属する技術分野における通常の知識を有する者が本発明を実施できることを目的として記載されたものである。上記実施形態の種々の変形例は、当業者であれば当然になしうることであり、本発明の技術的思想は他の実施形態にも適用しうることである。したがって、本発明は、記載された実施形態に限定されることはなく、特許請求の範囲によって定義される技術的思想に従った最も広い範囲とすべきである。 The above-described embodiment is described for the purpose of enabling a person having ordinary knowledge in the technical field to which the present invention belongs to carry out the present invention. Various modifications of the above embodiment can be naturally performed by those skilled in the art, and the technical idea of the present invention can be applied to other embodiments. Therefore, the present invention is not limited to the described embodiments and should be the broadest scope according to the technical ideas defined by the claims.
１００，１０１ ウェアラブルデバイス
１ 枠体
２ カメラ
３ アイトラッキングモジュール
４ 画像処理部
４１ カメラ画像取得部
４２ 視点情報取得部
４３ オブジェクト情報取得部
４４ 出力部
４５ 制御部
４６ デバイス情報取得部
５ 透過型ディスプレイ
６ 通信モジュール
７ ＧＰＳ受信装置
８ 地磁気センサ
９ 加速度センサ
２００，２０１ サーバ
２０ 通信モジュール
２１ カメラ画像受信部
２２ 視点情報受信部
２３ 認識領域設定部
２４ オブジェクト認識部
２５ オブジェクト情報送信部
２６ デバイス情報受信部
２７ オブジェクトデータベース
２８ オブジェクト候補取得部
100,101 Wearable device 1 Frame 2 Camera 3 Eye tracking module 4 Image processing unit 41 Camera image acquisition unit 42 Viewpoint information acquisition unit 43 Object information acquisition unit 44 Output unit 45 Control unit 46 Device information acquisition unit 5 Transmissive display 6 Communication Module 7 GPS receiver 8 Geomagnetic sensor 9 Acceleration sensor 200, 201 Server 20 Communication module 21 Camera image receiver 22 Viewpoint information receiver 23 Recognition area setting unit 24 Object recognition unit 25 Object information transmission unit 26 Device information reception unit 27 Object database 28 Object candidate acquisition section
Claims (20)
特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得するカメラ画像取得部と、
前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得するオブジェクト情報取得部と、
前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる出力部と、を備える画像処理装置。 A viewpoint information acquisition unit that acquires the viewpoint of the user wearing the wearable device,
A camera image acquisition unit that acquires a first image taken by a camera in front of the wearable device at a specific time point.
An object information acquisition unit that acquires object information indicating an object recognized in a part of the first image according to the viewpoint, and an object information acquisition unit.
An image processing device including an output unit for displaying an enlarged image of the object based on the object information.
前記視点情報取得部は、前記アイトラッキングモジュールの出力から前記ユーザの視点を取得し、
前記アイトラッキングモジュールの出力から、認識開始を示す所定のユーザ動作を検知し、該検知に応答して、前記特定時点を設定するよう制御を行う制御部を備える、請求項１に記載の画像処理装置。 The wearable device is provided with an eye tracking module that tracks the user's eyeball.
The viewpoint information acquisition unit acquires the user's viewpoint from the output of the eye tracking module.
The image processing according to claim 1, further comprising a control unit that detects a predetermined user action indicating the start of recognition from the output of the eye tracking module and controls to set the specific time point in response to the detection. apparatus.
前記出力部は、前記第２画像を用いて前記拡大画像を表示させる、請求項１乃至３のいずれかに記載の画像処理装置。 The camera image acquisition unit acquires a second image obtained by capturing the object based on the object information.
The image processing apparatus according to any one of claims 1 to 3, wherein the output unit displays the enlarged image using the second image.
前記出力部は、前記透過型ディスプレイに前記オブジェクトの拡大画像を表示させる、請求項１乃至５のいずれかに記載の画像処理装置。 The wearable device is provided with a transmissive display in front of the user.
The image processing apparatus according to any one of claims 1 to 5, wherein the output unit displays an enlarged image of the object on the transmissive display.
前記ユーザの前方を撮影するためのカメラと、
前記ユーザの眼球を追跡し、前記ユーザの視点を取得するためのアイトラッキングモジュールと、
請求項１乃至１０のいずれかに記載の画像処理装置と、
前記ユーザの前方に設けられ、前記画像処理装置における出力部によって前記オブジェクトの拡大画像が表示される透過型ディスプレイと、を備えるウェアラブルデバイス。 A wearable device worn by the user
A camera for photographing the front of the user and
An eye tracking module for tracking the user's eyeball and acquiring the user's viewpoint,
The image processing apparatus according to any one of claims 1 to 10.
A wearable device provided in front of the user and comprising a transmissive display on which an enlarged image of the object is displayed by an output unit in the image processing device.
前記ユーザの前方を撮影するためのカメラと、
前記ユーザの眼球を追跡し、前記ユーザの視点を取得するためのアイトラッキングモジュールと、
前記ウェアラブルデバイスの位置を取得するためのＧＰＳ受信装置と、
前記ウェアラブルデバイスが向いている方角を取得するための地磁気センサと、
請求項８または９に記載の画像処理装置と、
前記ユーザの前方に設けられ、前記画像処理装置における出力部によって前記オブジェクトの拡大画像が表示される透過型ディスプレイと、を備えるウェアラブルデバイス。 A wearable device worn by the user
A camera for photographing the front of the user and
An eye tracking module for tracking the user's eyeball and acquiring the user's viewpoint,
A GPS receiver for acquiring the position of the wearable device and
A geomagnetic sensor for acquiring the direction in which the wearable device is facing, and
The image processing apparatus according to claim 8 or 9,
A wearable device provided in front of the user and comprising a transmissive display on which an enlarged image of the object is displayed by an output unit in the image processing device.
ウェアラブルデバイスを装着したユーザの視点を取得する視点情報取得部と、
特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得するカメラ画像取得部と、
前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得するオブジェクト情報取得部と、
前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる出力部と、として機能させる画像処理プログラム。 Computer,
A viewpoint information acquisition unit that acquires the viewpoint of the user wearing the wearable device,
A camera image acquisition unit that acquires a first image taken by a camera in front of the wearable device at a specific time point.
An object information acquisition unit that acquires object information indicating an object recognized in a part of the first image according to the viewpoint, and an object information acquisition unit.
An image processing program that functions as an output unit that displays an enlarged image of the object based on the object information.
特定時点における前記ウェアラブルデバイスの前方をカメラで撮影した第１画像を取得し、
前記第１画像のうち、前記視点に応じた一部分の領域において認識されるオブジェクトを示すオブジェクト情報を取得し、
前記オブジェクト情報に基づいて、前記オブジェクトの拡大画像を表示させる、画像処理方法。 Get the perspective of the user wearing the wearable device,
The first image taken by the camera in front of the wearable device at a specific time point is acquired.
Of the first image, object information indicating an object recognized in a part of the area corresponding to the viewpoint is acquired.
An image processing method for displaying an enlarged image of the object based on the object information.
前記デバイス情報に基づいてオブジェクトの候補を取得するオブジェクト候補取得部と、を備え、
前記オブジェクト認識部は、前記認識領域内に、前記オブジェクトの候補があるか否かを判定することによって、オブジェクト認識を行う、請求項１５乃至１７のいずれかに記載のオブジェクト認識装置。 A device information receiving unit that receives the position of the wearable device and the direction in which the wearable device is facing as device information.
It is provided with an object candidate acquisition unit that acquires object candidates based on the device information.
The object recognition device according to any one of claims 15 to 17, wherein the object recognition unit recognizes an object by determining whether or not there is a candidate for the object in the recognition area.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019108310A JP2020201723A (en) | 2019-06-11 | 2019-06-11 | Image processing apparatus, wearable device, image processing program, image processing method, object recognition apparatus, object recognition program, and object recognition method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019108310A JP2020201723A (en) | 2019-06-11 | 2019-06-11 | Image processing apparatus, wearable device, image processing program, image processing method, object recognition apparatus, object recognition program, and object recognition method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020201723A true JP2020201723A (en) | 2020-12-17 |
Family
ID=73743389
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019108310A Pending JP2020201723A (en) | 2019-06-11 | 2019-06-11 | Image processing apparatus, wearable device, image processing program, image processing method, object recognition apparatus, object recognition program, and object recognition method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020201723A (en) |
-
2019
- 2019-06-11 JP JP2019108310A patent/JP2020201723A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11921293B2 (en) | Head-mounted display, head-mounted display linking system, and method for same | |
| US10809530B2 (en) | Information processing apparatus and information processing method | |
| US11037532B2 (en) | Information processing apparatus and information processing method | |
| KR102180962B1 (en) | Display system, display terminal, display method and computer readable recording medium having program thereof | |
| US20140160129A1 (en) | Information processing apparatus and recording medium | |
| US20130342457A1 (en) | Data manipulation on electronic device and remote terminal | |
| US11107436B2 (en) | Image processing device and image processing method | |
| WO2013028586A1 (en) | Location based skins for mixed reality displays | |
| JP2010061265A (en) | Person retrieval and registration system | |
| CN109002248B (en) | VR scene screenshot method, equipment and storage medium | |
| CN109002164A (en) | It wears the display methods for showing equipment, device and wears display equipment | |
| CN111095364A (en) | Information processing apparatus, information processing method, and program | |
| US11327317B2 (en) | Information processing apparatus and information processing method | |
| CN107835404A (en) | Method for displaying image, equipment and system based on wear-type virtual reality device | |
| JP2015126451A (en) | Recording method for image, electronic equipment and computer program | |
| US20160091717A1 (en) | Head-mounted display system and operation method thereof | |
| KR20190038296A (en) | Image display system, image display method, and image display program | |
| WO2020044916A1 (en) | Information processing device, information processing method, and program | |
| US20230068730A1 (en) | Social connection through distributed and connected real-world objects | |
| JP2020201723A (en) | Image processing apparatus, wearable device, image processing program, image processing method, object recognition apparatus, object recognition program, and object recognition method | |
| CN110998673A (en) | Information processing apparatus, information processing method, and computer program | |
| WO2020170758A1 (en) | Recognition device, wearable character recognition device, recognition method, and recognition program | |
| KR20180116044A (en) | Augmented reality device and method for outputting augmented reality therefor | |
| JP5989725B2 (en) | Electronic device and information display program | |
| JP2014096057A (en) | Image processing apparatus |