JP6671549B2 - Display editing device, portable device, display editing method, and display editing program - Google Patents
Display editing device, portable device, display editing method, and display editing program Download PDFInfo
- Publication number
- JP6671549B2 JP6671549B2 JP2019524719A JP2019524719A JP6671549B2 JP 6671549 B2 JP6671549 B2 JP 6671549B2 JP 2019524719 A JP2019524719 A JP 2019524719A JP 2019524719 A JP2019524719 A JP 2019524719A JP 6671549 B2 JP6671549 B2 JP 6671549B2
- Authority
- JP
- Japan
- Prior art keywords
- graphic
- unit
- information
- positional relationship
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 34
- 230000000295 complement effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 4
- 230000004397 blinking Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
この発明は、対象物上への描画を行う描画装置のための図形情報を算出する表示編集装置に関するものである。 The present invention relates to a display editing device that calculates graphic information for a drawing device that draws on an object.
従来、対象物の表面上（以下、「対象物上」ともいう。）に、何らかの制御に応じて、図形の描画を行う技術が知られている。このように対象物上に描画された図形は、その図形を視認する者（以下「視認者」という。）が、その図形が描画される対象物の表面と正対した位置（以下「正対位置」という。）からその図形を見る場合に限らず、視認者が当該正対位置からずれた位置（以下「非正対位置」という。）からその図形を見る場合に、所望の形状の図形（以下、単に「所望の図形」という。）を視認できるように、描画される場合もある。
例えば、特許文献１には、表示するべき画像を取得する取得手段と、前記取得手段により得られた前記表示するべき画像を表示面に表示する表示手段と、前記表示するべき画像に対してＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像を重畳する指示が入力されると、前記指示を入力した操作者の位置に応じて、形状の異なるＯＳＤ画像を前記表示するべき画像に重畳し、前記表示面に表示するように前記表示手段を制御する制御手段とを有する技術が開示されている。2. Description of the Related Art Conventionally, a technique of drawing a graphic on the surface of an object (hereinafter, also referred to as “on the object”) according to some control has been known. A figure drawn on an object in this manner is viewed by a person who visually recognizes the figure (hereinafter, referred to as a “viewer”) at a position directly facing the surface of the object on which the figure is drawn (hereinafter, “facing”). This is not limited to the case where the figure is viewed from the “position”, and when the viewer sees the figure from a position shifted from the directly-facing position (hereinafter referred to as “non-facing position”), a figure having a desired shape is obtained. (Hereinafter, simply referred to as a “desired figure”) in some cases.
For example, Patent Literature 1 discloses an acquisition unit for acquiring an image to be displayed, a display unit for displaying the image to be displayed obtained by the acquisition unit on a display surface, and an OSD for the image to be displayed. (On Screen Display) When an instruction to superimpose an image is input, an OSD image having a different shape is superimposed on the image to be displayed according to the position of the operator who has input the instruction, and is displayed on the display surface. Thus, there is disclosed a technique having control means for controlling the display means.
特許文献１に開示されているような技術によると、表示面に対して非正対位置にいる操作者が、所望の図形として、例えば、長方形のＯＳＤ画像を視認することができる。
しかしながら、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形を視認できるように、描画装置に描画を指示するための図形情報を編集するにあたっては、当該図形情報を編集する者が、非正対位置から図形を視認した場合の図形を想像しながら編集することが必要であり、このような編集作業は困難であるという課題があった。According to the technique disclosed in Patent Literature 1, an operator at a position directly opposite to the display surface can visually recognize, for example, a rectangular OSD image as a desired figure.
However, when editing the graphic information for instructing the drawing apparatus to perform drawing, such that the viewer can visually recognize the desired figure when viewing the figure drawn on the object from the non-facing position, the figure It is necessary for a person who edits information to edit while imagining a figure when the figure is viewed from a non-facing position, and there has been a problem that such editing work is difficult.
この発明は、上記のような課題を解決するためになされたもので、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形を視認できるように、描画装置に描画を指示するための図形情報を編集することができる表示編集装置、表示編集方法、および、表示編集プログラムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and a drawing apparatus is provided so that a viewer can visually recognize a desired figure when viewing a figure drawn on an object from a non-facing position. It is an object of the present invention to provide a display editing device, a display editing method, and a display editing program which can edit graphic information for instructing a drawing to be performed.
この発明に係る表示編集装置は、カメラが対象物を撮像した画像を取得する撮像画像取得部と、表示部に表示された画像上にさらに描画された第１の図形に関する第１の図形情報を受け付ける図形受付部と、画像が撮像された際の対象物とカメラとの位置関係を取得する位置関係取得部と、位置関係取得部が取得した位置関係と、第１の図形情報とから、撮像画像取得部が取得した画像が撮像された際のカメラ位置から見て、第１の図形が形を変えることなく視認者に視認されるような図形を対象物上に描画するための第２の図形に関する第２の図形情報を算出する座標変換部と、座標変換部が算出した第２の図形情報を、対象物上への描画を行う描画装置に出力する指示部とを備えたものである。 A display editing device according to the present invention includes a captured image acquisition unit that acquires an image of a target object captured by a camera, and first graphic information about a first graphic further drawn on an image displayed on a display unit. An image receiving unit that receives an image, a positional relationship acquiring unit that acquires a positional relationship between the object and the camera when the image is captured, an image capturing unit that captures an image based on the positional relationship acquired by the positional relationship acquiring unit, and the first graphic information. A second drawing for drawing a figure on the target object such that the first figure is visually recognized by the viewer without changing the shape when viewed from the camera position when the image obtained by the image obtaining unit is captured. A coordinate conversion unit that calculates second graphic information relating to the graphic; and an instruction unit that outputs the second graphic information calculated by the coordinate conversion unit to a drawing apparatus that performs drawing on an object. .
この発明によれば、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形を視認できるように、描画装置に描画を指示するための図形情報を編集することができる。 According to the present invention, graphic information for instructing a drawing apparatus to perform drawing is edited so that a viewer can visually recognize a desired figure when viewing a figure drawn on an object from a non-facing position. Can be.
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
表示編集装置は、視認者が描画装置によって対象物上に描画される図形を非正対位置から見る際に、所望の図形を視認できるように、描画装置に対して描画を指示するための図形情報を編集する。なお、この明細書でいう「図形」には、単なる幾何学的な模様のみならず、文字、記号等も含まれるものとする。また、図形は、静止画であっても、動画であってもよい。
以下の説明においては、一例として、表示編集装置は、カメラとタッチパネルとを備えたタブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に搭載されるものする。また、描画装置は、自動車に取り付けられたプロジェクタであるものとする。プロジェクタは、光を投影することで、対象物上に図形を描画する投影機である。また、対象物上に描画される図形は、静止画であり、対象物とは、プロジェクタにより光が投影される投影面である路面であるものとする。また、想定される視認者は、当該路面の周辺の路上にいる者であるとする。
実施の形態１における表示編集装置を使用するユーザは、路面周辺の路上にいる視認者が、プロジェクタによって当該路面上に投影される静止画を見る際に視認できる所望の形状の静止画（以下、単に「所望の静止画」という。）を、タブレットＰＣを用いて描画し、表示編集装置は、当該ユーザが描画した静止画に基づいて、プロジェクタに投影を指示するための図形情報を編集するものとする。ユーザがタブレットＰＣを用いて静止画を描画する際、タブレットＰＣには、カメラによって予め視認者の視点から路面が撮像されて得られた撮像画像が表示されており、ユーザは、視認者の視点から見た場合の所望の静止画を、その見た目どおりの形状のまま、タブレットＰＣに表示された撮像画像上の所望の位置に描画することができる。Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1 FIG.
The display / editing device includes a graphic for instructing the drawing device to perform drawing so that the viewer can visually recognize a desired graphic when the viewer looks at the graphic drawn on the target object from the non-facing position. Edit information. It is to be noted that the “graphic” in this specification includes not only a simple geometric pattern but also characters, symbols, and the like. Further, the graphic may be a still image or a moving image.
In the following description, as an example, it is assumed that the display editing device is mounted on a tablet PC (Personal Computer) including a camera and a touch panel. It is assumed that the drawing device is a projector attached to an automobile. 2. Related Art A projector is a projector that draws a figure on an object by projecting light. The figure drawn on the object is a still image, and the object is a road surface on which light is projected by a projector. The assumed viewer is assumed to be a person on the road around the road surface.
A user using the display editing apparatus according to Embodiment 1 can view a still image of a desired shape (hereinafter, referred to as a “still image”) that a viewer on the road around the road surface can visually recognize when viewing a still image projected on the road surface by the projector. (Hereinafter simply referred to as “desired still image”) using a tablet PC, and the display editing device edits graphic information for instructing the projector to project based on the still image drawn by the user. And When a user draws a still image using a tablet PC, a captured image obtained by capturing a road surface from a viewpoint of a viewer in advance by a camera is displayed on the tablet PC. The user can draw a desired still image as viewed from above at a desired position on the captured image displayed on the tablet PC while keeping the shape as it looks.
図１は、実施の形態１における表示編集システムの構成例を示す図である。
タブレットＰＣ１００は、背面に備え付けられたカメラ１０１（後述する）によって撮像された撮像画像を、表示部１０２（後述する）に表示させる。表示部１０２は、タッチパネル式のディスプレイである。
ユーザは、指、または、いわゆるスタイラスを用いて、表示部１０２にタッチすることによって、所望の静止画を描画する。表示編集装置１は、ユーザが表示部１０２に描画することによって入力した静止画に基づき、図形情報を編集してプロジェクタ２に出力し、プロジェクタ２は、当該図形情報が示す静止画を路面に対して投影する。
タブレットＰＣ１００とプロジェクタ２とは、有線、または、無線を問わず、何らかの手段で通信可能となっていればよい。FIG. 1 is a diagram illustrating a configuration example of a display editing system according to the first embodiment.
The tablet PC 100 causes a display unit 102 (described later) to display a captured image captured by a camera 101 (described later) provided on the back surface. The
The user draws a desired still image by touching the
The tablet PC 100 and the
図２は、実施の形態１の表示編集装置１の構成例を示すブロック図である。
図２に示すように、表示編集装置１は、撮像画像取得部１１１と、図形受付部１１２と、位置関係取得部１１３と、図形位置判定部１１４と、座標変換部１１５と、指示部１１６と、表示制御部１１７と、音声出力制御部１１８と、記憶部１１９とを備える。FIG. 2 is a block diagram illustrating a configuration example of the display editing apparatus 1 according to the first embodiment.
As shown in FIG. 2, the display editing apparatus 1 includes a captured
撮像画像取得部１１１は、カメラ１０１が路面を撮像した撮像画像を取得する。
撮像画像取得部１１１は、取得した撮像画像を位置関係取得部１１３、および、表示制御部１１７に出力する。以下、撮像画像取得部１１１が取得し、位置関係取得部１１３、および、表示制御部１１７に出力する撮像画像を、単に画像ともいうものとする。
The captured
The captured
図形受付部１１２は、表示部１０２に表示にされた画像上で描画された図形（以下「第１の図形」という。）に関する図形情報（以下「第１の図形情報」という。）を受け付ける。
ユーザは、表示部１０２に画像が表示されると、例えば、タッチパネルを操作して、当該画像上に、所望の静止画として、第１の図形を描画する。図形受付部１１２は、ユーザが描画した第１の図形に関する第１の図形情報を受け付ける。
図形受付部１１２は、受け付けた第１の図形情報を、図形位置判定部１１４に出力する。The
When the image is displayed on the
The
位置関係取得部１１３は、撮像画像取得部１１１が取得した撮像画像が撮像された際の、路面とカメラ１０１の位置関係を取得する。また、位置関係取得部１１３は、撮像画像取得部１１１が取得した撮像画像が撮像された際の、プロジェクタ２とカメラ１０１の位置関係を取得する。
位置関係取得部１１３は、取得した位置関係の情報を、図形位置判定部１１４に出力する。The positional
The positional
図形位置判定部１１４は、位置関係取得部１１３から出力された、路面とカメラ１０１の位置関係の情報、および、プロジェクタ２とカメラ１０１の位置関係の情報と、図形受付部１１２から出力された第１の図形情報とに基づき、第１の図形が、路面上のどの位置に対応付けられるかを判定する。
このとき、第１の図形が路面外であった場合は、図形位置判定部１１４は、第１の図形が路面に投影不可であることを示すエラー情報を、表示制御部１１７、または、音声出力制御部１１８に出力する。
第１の図形が路面上であった場合、図形位置判定部１１４は、第１の図形情報を、路面とカメラ１０１の位置関係の情報、および、プロジェクタ２とカメラ１０１の位置関係の情報とともに、座標変換部１１５に出力する。The graphic
At this time, if the first graphic is outside the road surface, the graphic
When the first graphic is on the road surface, the graphic
座標変換部１１５は、図形位置判定部１１４から第１の図形情報等が出力されると、路面とカメラ１０１との位置関係の情報と、プロジェクタ２とカメラ１０１との位置関係の情報と、第１の図形情報とから、第１の図形情報の座標を変換し、プロジェクタ２が路面に投影すべき図形（以下、「第２の図形」とする。）に関する図形情報（以下、「第２の図形情報」とする。）を算出する。第２の図形は、撮像画像取得部１１１が取得した撮像画像が撮像された際のカメラ位置から見て、前記第１の図形が形を変えることなく視認者に視認されるような図形を対象物上に描画するために、プロジェクタ２が投影すべき図形である。
座標変換部１１５は、算出した第２の図形情報を、指示部１１６に出力する。When the first graphic information or the like is output from the graphic
The coordinate
指示部１１６は、路面上への図形の投影を行うプロジェクタ２に、座標変換部１１５が算出した第２の図形情報を出力し、プロジェクタ２は、第２の図形情報が示す第２の図形を、路面上へ投影する。
The
表示制御部１１７は、撮像画像取得部１１１が取得した画像を、表示部１０２に表示させる。また、表示制御部１１７は、図形位置判定部１１４から、第１の図形が路面に投影不可であることを示すエラー情報が出力されると、表示部１０２に、エラーメッセージ等、エラー情報に応じた情報を表示させる。
The
音声出力制御部１１８は、図形位置判定部１１４から、第１の図形が路面に投影不可であることを示すエラー情報が出力されると、音声出力装置１０３に、ブザー音、または、エラーメッセージ等、エラー情報に応じた音、または、音声を出力させる。この実施の形態１において、音声出力装置１０３は、タブレットＰＣ１００が備えるスピーカである。
When the error information indicating that the first graphic cannot be projected on the road surface is output from the graphic
記憶部１１９は、プロジェクタ２の位置、または、姿勢等、プロジェクタに関する情報を記憶する。また、記憶部１１９は、凹凸等、路面の形状に関する情報を記憶する。
記憶部１１９が記憶させる情報は、予めユーザ等により設定されていてもよいし、または、プロジェクタ２の位置等に関しては、後述のとおり、表示編集装置１が使用される際に当該表示編集装置１自体が検出した情報に基づき設定されてもよい。
なお、実施の形態１では、記憶部１１９は、表示編集装置１が備えるものとしたが、これに限らず、記憶部１１９は、表示編集装置１の外部の、表示編集装置１が参照可能な場所に備えられるようにしてもよい。The
The information stored in the
In the first embodiment, the
図３は、実施の形態１のプロジェクタ２の構成例を示すブロック図である。
図３に示すように、プロジェクタ２は、描画指示受付部２１と、描画部２２とを備える。
描画指示受付部２１は、表示編集装置１から出力された第２の図形情報を受け付ける。
描画指示受付部２１は、受け付けた第２の図形情報を、描画部２２に出力する。
描画部２２は、描画指示受付部２１が受け付けた第２の図形情報が示す第２の図形を、路面に投影する。FIG. 3 is a block diagram illustrating a configuration example of the
As shown in FIG. 3, the
The drawing
The drawing
The
次に、実施の形態１の表示編集装置１の動作について説明する。
図４は、実施の形態１の表示編集装置１の動作を説明するフローチャートである。
ここで、図５は、実施の形態１において、表示編集装置１の利用シーンの一例を説明する図である。
図５に示すように、ユーザは、タブレットＰＣ１００を手に取り、タブレットＰＣ１００越しに、プロジェクタ２、当該プロジェクタ２が取り付けられた自動車５１、および、その周辺を観察する。さらに、ユーザは、タブレットＰＣ１００のカメラを用いて、視認者がプロジェクタ２により投影される静止画を視認することが想定される視点位置から、当該静止画が描画されるべき路面と、プロジェクタ２とを少なくとも含む画像を撮像する。
プロジェクタ２は、路面に対して任意の静止画を照射できるような状態となっている。
以上のような状態であることを前提に、表示編集装置１は、図４のフローチャートで説明するような動作を行う。Next, the operation of the display editing apparatus 1 according to the first embodiment will be described.
FIG. 4 is a flowchart illustrating the operation of the display editing apparatus 1 according to the first embodiment.
Here, FIG. 5 is a diagram illustrating an example of a use scene of the display editing device 1 in the first embodiment.
As shown in FIG. 5, the user picks up the
The
On the premise that the state is as described above, the display editing apparatus 1 performs an operation as described in the flowchart of FIG.
図形受付部１１２は、第１の図形情報を受け付けるまで待機し（ステップＳＴ４０１の“ＮＯ”の場合）、第１の図形情報を受け付けると、受け付けた第１の図形情報を図形位置判定部１１４に出力する。
なお、図形受付部１１２は、ユーザがタッチパネルを操作して第１の図形を描画し始めると、随時、描画された第１の図形情報を受け付け、以降、少しでもユーザによって第１の図形が描画されると、当該第１の図形が描画される毎に、図形受付部１１２は、第１の図形情報を受け付け続ける。The
Note that when the user operates the touch panel to start drawing the first figure, the
位置関係取得部１１３は、路面とカメラ１０１の位置関係を取得する。また、位置関係取得部１１３は、プロジェクタ２とカメラ１０１の位置関係を取得する（ステップＳＴ４０２）。
具体的には、例えば、カメラ１０１の撮像範囲内の空間における所定の位置には予めマーカが設置されており、位置関係取得部１１３は、映像に写っている当該マーカを検出することで、路面とカメラ１０１、および、プロジェクタ２とカメラ１０１の三次元の位置関係を取得する。なお、これは一例に過ぎず、位置関係取得部１１３は、その他の既存の方法を利用して、路面とカメラ１０１、および、プロジェクタ２とカメラ１０１の位置関係を取得してもよい。例えば、位置関係取得部１１３は、空間内の特徴量を用いて位置関係を取得してもよいし、周囲の３次元空間を認識する既存のアプリケーション等を用いて位置関係を取得してもよい。また、タブレットＰＣ１００に三次元トラッカを取り付けておくようにし、位置関係取得部１１３は、当該三次元トラッカの測定情報から、位置関係を取得してもよい。プロジェクタ２の自動車への取り付け位置と、取り付け姿勢とに関する情報、および、路面が凹凸を含む場合の路面の形状の情報等は、予め表示編集装置１が記憶している。
位置関係取得部１１３は、取得した位置関係の情報を、図形位置判定部１１４に出力する。The positional
Specifically, for example, a marker is set in advance at a predetermined position in the space within the imaging range of the
The positional
図形位置判定部１１４は、位置関係取得部１１３から出力された、路面とカメラ１０１との位置関係の情報、および、プロジェクタ２とカメラ１０１との位置関係の情報と、図形受付部１１２から出力された第１の図形情報とに基づき、第１の図形が、路面上のどの位置に対応付けられるかを判定する（ステップＳＴ４０３）。
The graphic
そして、図形位置判定部１１４は、第１の図形が、路面上であるかどうかを判定し（ステップＳＴ４０４）、路面外であった場合（ステップＳＴ４０４の“ＮＯ”の場合）は、第１の図形が路面に投影不可であることを示すエラー情報を表示制御部１１７、または、音声出力制御部１１８に出力する（ステップＳＴ４０７）。
表示制御部１１７は、図形位置判定部１１４からエラー情報が出力されると、表示部１０２に、エラーメッセージ等、エラー情報に応じた情報を表示させる。また、音声出力制御部１１８は、図形位置判定部１１４からエラー情報が出力されると、音声出力装置１０３に、ブザー音、または、エラーメッセージ等、エラー情報に応じた音、または、音声を出力させる。なお、図形位置判定部１１４は、エラー情報を、表示制御部１１７、および、音声出力制御部１１８の両方に出力するようにしてもよい。Then, the figure
When the error information is output from the graphic
一方、第１の図形が路面上であった場合（ステップＳＴ４０４の“ＹＥＳ”の場合）、図形位置判定部１１４は、第１の図形情報を、路面とカメラ１０１の位置関係の情報、および、プロジェクタ２とカメラ１０１の位置関係の情報とともに、座標変換部１１５に出力する。
On the other hand, when the first graphic is on the road surface (in the case of “YES” in step ST404), graphic
座標変換部１１５は、ステップＳＴ４０４において図形位置判定部１１４が出力した、路面とカメラ１０１との位置関係の情報と、プロジェクタ２とカメラ１０１との位置関係の情報と、第１の図形情報から、プロジェクタ２が路面に投影すべき第２の図形に関する第２の図形情報を算出する（ステップＳＴ４０５）。
座標変換部１１５は、算出した第２の図形情報を、指示部１１６に出力する。The coordinate
The coordinate
指示部１１６は、プロジェクタ２に、ステップＳＴ４０５において座標変換部１１５が算出した第２の図形情報を出力する（ステップＳＴ４０６）。
プロジェクタ２では、描画指示受付部２１が、指示部１１６から出力された第２の図形情報を受け付け、描画部２２が、第２の図形情報が示す第２の図形を路面に投影する。The
In the
図形受付部１１２は、引き続き、第１の図形情報を受け付けたかどうかを判定し（ステップＳＴ４０８）、第１の図形情報を受け付けた場合（ステップＳＴ４０８の“ＹＥＳ”の場合）、ステップＳＴ４０２に戻り、以降の処理を繰り返す。
第１の図形情報を受け付けない場合（ステップＳＴ４０８の“ＮＯ”の場合）、処理終了する。第１の図形情報を受け付けない場合とは、例えば、新たな第１の図形情報が所定時間入力されなかった場合、または、ユーザが第１の図形情報の入力処理を終了する操作を行った場合である。The
If the first graphic information is not received ("NO" in step ST408), the process ends. The case where the first graphic information is not accepted is, for example, a case where new first graphic information has not been input for a predetermined time, or a case where the user has performed an operation to end the input processing of the first graphic information. It is.
一般的に、例えば、プロジェクションマッピング等を作成するような状況においては、ユーザは、表示させたい図形等を、パソコン上で編集してプロジェクタで投影させる、という手順となる。パソコン上では、多くの場合、ユーザは、表示させる図形を正対した位置から見た状態で画像編集ソフト等を用いて編集することとなるが、作成した図形を投影させた際にどのような見た目になるかはユーザが想像するしかなく、例えば、非正対位置から見たときの見栄えを気にしながら編集することになり、ユーザにとって、図形を作成する作業は困難なものとなる。さらに、パソコンの画面上と、実空間上では、当然ながらスケールが異なるため、パソコンの画面上で表示される図形を実際に表示させてみると、ユーザが想定していたものと異なる見た目となるおそれもある。 In general, for example, in a situation where projection mapping or the like is created, the procedure is such that a user edits a figure or the like to be displayed on a personal computer and projects the figure on a personal computer. On a personal computer, in many cases, a user edits a graphic to be displayed using image editing software or the like while viewing the graphic from a position facing the user. The user has no choice but to imagine how to look. For example, the user edits while looking at the appearance when viewed from a non-facing position, and it is difficult for the user to create a figure. Furthermore, since the scale of the PC screen and the real space are naturally different, when the figures displayed on the PC screen are actually displayed, they look different from what the user expected. There is also a risk.
これに対し、実施の形態１では、上述のとおり、ユーザは、視認者が対象物上に描画された図形を非正対位置から見たときに、視認者に視認させたい所望の図形を、そのまま第１の図形としてタブレットＰＣ１００に描画することができる。その結果、ユーザにとっては、図形の編集が容易になる上、編集された図形（第２の図形）の品質も向上する。さらに、タブレットＰＣ１００からの入力を、実際に図形が投影されることとなる対象物を撮像した画像上に行うことができるため、ユーザは、実際のスケール感も確認しながら作業できることとなり、プロジェクタ２から投影させたい図形のイメージがずれることもなくなり、効率的に品質の高い図形を投影させるようにすることができる。
On the other hand, in the first embodiment, as described above, when the viewer sees the graphic drawn on the target from the non-directly facing position, the user wants to see the desired graphic that the viewer wants to see. It can be drawn on the
図６Ａ，図６Ｂは、この発明の実施の形態１に係る表示編集装置１のハードウェア構成の一例を示す図である。
この発明の実施の形態１において、撮像画像取得部１１１と、図形受付部１１２と、位置関係取得部１１３と、図形位置判定部１１４と、座標変換部１１５と、表示制御部１１７と、音声出力制御部１１８の各機能は、処理回路６０１により実現される。すなわち、表示編集装置１は、取得した撮像画像と、ユーザから受け付けた第１の図形情報とに基づき、第１の図形を第２の図形に変換し、投影させる制御を行うための処理回路６０１を備える。
処理回路６０１は、図６Ａに示すように専用のハードウェアであっても、図６Ｂに示すようにメモリ６０６に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０５であってもよい。
6A and 6B are diagrams illustrating an example of a hardware configuration of the display editing device 1 according to the first embodiment of the present invention.
In Embodiment 1 of the present invention, captured
The
処理回路６０１が専用のハードウェアである場合、処理回路６０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
When the
処理回路６０１がＣＰＵ６０５の場合、撮像画像取得部１１１と、図形受付部１１２と、位置関係取得部１１３と、図形位置判定部１１４と、座標変換部１１５と、指示部１１６と、表示制御部１１７と、音声出力制御部１１８の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、撮像画像取得部１１１と、図形受付部１１２と、位置関係取得部１１３と、図形位置判定部１１４と、座標変換部１１５と、表示制御部１１７と、音声出力制御部１１８は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）６０２、メモリ６０６等に記憶されたプログラムを実行するＣＰＵ６０５、システムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ６０２、メモリ６０６等に記憶されたプログラムは、撮像画像取得部１１１と、図形受付部１１２と、位置関係取得部１１３と、図形位置判定部１１４と、座標変換部１１５と、指示部１１６と、表示制御部１１７と、音声出力制御部１１８の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ６０６とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等が該当する。
When the
なお、撮像画像取得部１１１と、図形受付部１１２と、位置関係取得部１１３と、図形位置判定部１１４と、座標変換部１１５と、指示部１１６と、表示制御部１１７と、音声出力制御部１１８の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、撮像画像取得部１１１については専用のハードウェアとしての処理回路６０１でその機能を実現し、図形受付部１１２と、位置関係取得部１１３と、図形位置判定部１１４と、座標変換部１１５と、指示部１１６と、表示制御部１１７と、音声出力制御部１１８については処理回路がメモリ６０６に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
記憶部１１９は、例えば、ＨＤＤ６０２を使用する。なお、これは一例にすぎず、記憶部１１９は、ＤＶＤ、メモリ６０６等によって構成されるものであってもよい。
また、表示編集装置１は、カメラ１０１、表示部１０２、または、プロジェクタ２等の外部機器との通信を行う入力インタフェース装置６０３、出力インタフェース装置６０４を有する。例えば、撮像画像取得部１１１は、カメラ１０１で撮像された撮像画像を、入力インタフェース装置６０３を利用して取得する。また、例えば、図形受付部１１２は、ユーザの入力操作による第１の図形情報を、入力インタフェース装置６０３を利用して取得する。また、例えば、指示部１１６は、第２の図形情報を、出力インタフェース装置６０４を利用してプロジェクタ２に送信する。Note that the captured
The
In addition, the display editing device 1 includes an
以上のように、この実施の形態１によれば、表示編集装置１は、カメラ１０１が対象物を撮像した画像を取得する撮像画像取得部１１１と、画像上に描画された第１の図形に関する第１の図形情報を受け付ける図形受付部１１２と、画像が撮像された際の対象物とカメラとの位置関係を取得する位置関係取得部１１３と、位置関係取得部１１３が取得した位置関係と、第１の図形情報とから、第２の図形情報を算出する座標変換部１１５と、座標変換部１１５が算出した第２の図形情報を、対象物上への描画を行う描画装置に出力する指示部１１６とを備えるようにした。そのため、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形を認識できるように、描画装置に描画を指示するための図形情報を編集することができる。
なお、この実施の形態１においては、対象物を撮影する際のカメラの位置は、任意の位置とすることができる。したがって、この実施の形態１は、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形が認識されるように、描画装置に描画を指示する場合に、特に効果的であるが、対象物上に描画される図形を、視認者が「正対位置」から見る際に所望の図形を認識させたい場合も含めて、描画装置に描画を指示するための図形情報を編集することができるものである。As described above, according to the first embodiment, the display / editing apparatus 1 relates to the captured
In the first embodiment, the position of the camera when capturing an image of an object can be set to an arbitrary position. Therefore, the first embodiment is particularly suitable for instructing a drawing apparatus to draw so that a desired figure is recognized when a viewer looks at a figure drawn on an object from a non-facing position. Although effective, a figure for instructing the drawing apparatus to draw a figure including a case where the viewer wants to recognize a desired figure when viewing the figure drawn on the target object from the “facing position” Information can be edited.
実施の形態２．
実施の形態１では、ユーザは、図形が投影される対象物の表面を、非正対位置から見た状態で第１の図形を描画するため、多くの場合、プロジェクタ２から投影される第２の図形は、プロジェクタ２側または自動車側から見た場合には対称形とはならない。しかし、プロジェクタ２が路面に対して投影する図形の目的によっては、当該図形をプロジェクタ２または自動車側から見た場合に対称形とすることが望ましい場合がある。例えば、自動車に取り付けられたプロジェクタ２から投影する図形によって、自動車の周囲の歩行者等を視認者として想定し、当該歩行者等に自動車の進行方向を視認させる用途の場合、任意の位置の歩行者等が自動車の進行方向を正確に視認できるようにするためには、プロジェクタ２側または自動車側から見た場合に対称形となる図形を、プロジェクタ２から投影することが望ましい。
実施の形態２では、ユーザが、図形が投影される対象物の表面を非正対位置から見た状態で第１の図形を描画する場合であっても、想定される視認者の位置から見て視認しやすく、かつ、プロジェクタ２側または自動車側から見て対称形となる所望の図形を、第２の図形としてプロジェクタから投影できるようにする実施の形態について説明する。
なお、実施の形態２においても、実施の形態１同様、一例として、表示編集装置１ａ（後述する）は、タブレットＰＣ１００に搭載され、ユーザは、路面周辺の路上にいる視認者が、自動車に取り付けられたプロジェクタ２によって当該路面上に投影される静止画を見る際に視認できる所望の静止画を、タブレットＰＣ１００を用いて描画し、表示編集装置は、当該ユーザが描画した静止画に基づいて、プロジェクタ２に投影を指示するための図形情報を編集するものとする。
In the first embodiment, the user draws the first figure while viewing the surface of the object on which the figure is projected from the non-directly facing position. Is not symmetric when viewed from the
In the second embodiment, even when the user draws the first figure while viewing the surface of the object on which the figure is projected from the non-directly facing position, the user may view the first figure from the assumed position of the viewer. An embodiment will be described in which a desired figure which is easy to visually recognize and is symmetrical when viewed from the
In the second embodiment, as in the first embodiment, as an example, the display / editing device 1a (described later) is mounted on the
実施の形態２の表示編集システムの構成は、実施の形態１において、図１を用いて説明した構成と同様であるため、重複した説明を省略する。また、実施の形態２のプロジェクタ２の構成は、実施の形態１において、図３を用いて説明した構成と同様であるため、重複した説明を省略する。
The configuration of the display editing system according to the second embodiment is the same as the configuration described with reference to FIG. 1 in the first embodiment, and thus redundant description will be omitted. The configuration of the
図７は、実施の形態２の表示編集装置１ａの構成例を示すブロック図である。
図７において、実施の形態１で図２を用いて説明した構成と同様の構成については同じ符号を付して重複した説明を省略する。
表示編集装置１ａは、実施の形態１の表示編集装置１とは、図形補完部１２０をさらに備える点が異なる。FIG. 7 is a block diagram illustrating a configuration example of the display editing device 1a according to the second embodiment.
In FIG. 7, the same components as those described in Embodiment 1 with reference to FIG. 2 are denoted by the same reference numerals, and redundant description will be omitted.
The display editing device 1a is different from the display editing device 1 of the first embodiment in that the display editing device 1a further includes a graphic complementing unit 120.
図形補完部１２０は、ユーザによる第１の図形情報の描画が始まる前の任意のタイミングで、表示制御部１１７に対して、表示部１０２に表示された画像上に重畳してガイドを表示させる。また、図形受付部１１２が受け付けた第１の図形情報を取得すると、当該第１の図形情報に基づき、第１の図形がプロジェクタ２側または自動車側から見て左右対称となるよう補完し、補完後の第１の図形の図形情報（以下「補完後第１の図形情報」という。）を作成する。
例えば、図形補完部１２０は、ガイドとして、プロジェクタ２側または自動車側から見て左右対称であるグリッドの画像を表示させる。また、実施の形態２において、図形補完部１２０は、画像内における路面の位置にガイドを重畳して表示させる。
図形補完部１２０は、補完後第１の図形情報を、図形位置判定部１１４に出力する。また、図形補完部１２０は、表示制御部１１７にも補完後第１の図形情報を出力し、表示部１０２が表示している画像上に重畳して補完後第１の図形情報を表示させる。（なお、図７において、図形補完部１２０から表示制御部１１７に対する情報出力のための接続線の記載は省略している。）
図形位置判定部１１４は、位置関係取得部１１３から出力された、路面とカメラ１０１の位置関係の情報、および、プロジェクタ２とカメラ１０１の位置関係の情報と、図形補完部１２０から出力された補完後第１の図形情報とに基づき、補完後の第１の図形が、路面上のどの位置に対応付けられるかを判定する。The graphic complementing unit 120 causes the
For example, the graphic complementing unit 120 displays, as a guide, an image of a grid that is symmetrical when viewed from the
The graphic complementing unit 120 outputs the complemented first graphic information to the graphic
The graphic
表示編集装置１ａのハードウェア構成は、実施の形態１において図６Ａ、および、図６Ｂを用いて説明した構成と同様であるため、重複した説明を省略する。
図形補完部１２０は、撮像画像取得部１１１、図形受付部１１２、位置関係取得部１１３、図形位置判定部１１４、座標変換部１１５、指示部１１６、表示制御部１１７、および、音声出力制御部１１８同様、処理回路６０１により実現される。The hardware configuration of the display editing apparatus 1a is the same as the configuration described with reference to FIGS. 6A and 6B in the first embodiment, and thus redundant description will be omitted.
The graphic complementing unit 120 includes a captured
次に、実施の形態２の表示編集装置１ａの動作について説明する。
図８は、実施の形態２の表示編集装置１ａの動作を説明するフローチャートである。
図８のステップＳＴ８０１，８０３〜８０９の具体的な動作は、実施の形態１で説明した、図４のステップＳＴ４０１〜４０８の具体的な動作と同様であるため重複した説明を省略する。
実施の形態２では、図４を用いて説明した動作に対して、図８のステップＳＴ８０２の動作が追加になっているのみである。なお、ＳＴ８０１において図形受付部１１２が、第１の図形情報を受け付ける前に、図形補完部１２０によって、表示部１０２にガイドが既に表示されているものとする。Next, the operation of the display editing device 1a according to the second embodiment will be described.
FIG. 8 is a flowchart illustrating the operation of the display editing device 1a according to the second embodiment.
The specific operations in steps ST801 and ST803 to 809 in FIG. 8 are the same as the specific operations in steps ST401 to ST408 in FIG. 4 described in the first embodiment, and a description thereof will not be repeated.
In the second embodiment, only the operation of step ST802 in FIG. 8 is added to the operation described using FIG. It is assumed that the guide has already been displayed on the
ステップＳＴ８０１において、図形受付部１１２は、第１の図形情報を受け付けると、受け付けた第１の図形情報を図形補完部１２０に出力する。
図形補完部１２０は、図形受付部１１２から出力された第１の図形情報に基づき、第１の図形が左右対称となるよう補完し、補完後第１の図形情報を作成する。
図形補完部１２０は、補完後第１の図形情報を、図形位置判定部１１４に出力する。また、図形補完部１２０は、表示制御部１１７にも補完後第１の図形情報を出力する。表示制御部１１７は、補完後第１の図形情報を取得すると表示部１０２が表示している画像上に重畳して補完後第１の図形情報が示す補完後の第１の図形を表示させる。In step ST801, upon receiving the first graphic information,
Based on the first graphic information output from the
The graphic complementing unit 120 outputs the complemented first graphic information to the graphic
ここで、図９は、実施の形態２において、ガイドおよび補完後の第１の図形が表示された表示部１０２の画面の一例を示す図である。
図９では、一例として、ユーザは、第１の図形として、斜めの線（図９の９ａ）を入力したものとしている。
図形補完部１２０は、ユーザが入力した第１の図形が、プロジェクタ２側または自動車側から見て左右対称になるよう、斜めの線（図９の９ｂ）を補完する。Here, FIG. 9 is a diagram illustrating an example of a screen of the
In FIG. 9, as an example, it is assumed that the user has input an oblique line (9a in FIG. 9) as the first graphic.
The graphic complementing section 120 complements the oblique line (9b in FIG. 9) so that the first graphic input by the user is symmetric when viewed from the
位置関係取得部１１３は、路面とカメラ１０１、および、プロジェクタ２とカメラ１０１の位置関係を取得し（ステップＳＴ８０３）、図形位置判定部１１４は、位置関係取得部１１３から出力された、路面とカメラ１０１との位置関係の情報、および、プロジェクタ２とカメラ１０１との位置関係の情報と、図形補完部１２０から出力された補完後第１の図形情報とに基づき、補完後の第１の図形が、路面上のどの位置に対応付けられるかを判定する（ステップＳＴ８０４）。
The positional
なお、以上の実施の形態２では、図形補完部１２０は、ガイドとしてグリッドを表示させるようにしたが、これは一例に過ぎない。図形補完部１２０は、プロジェクタ２側または自動車側から見て左右対称となる図形を編集することを意図するユーザに対し、入力を補助するような任意の情報をガイドとして表示させればよい。
また、図形補完部１２０は、ガイドは表示させず、第１の図形が左右対称となるよう当該第１の図形を補完し、補完された左右対称な第１の図形のみを表示させるようにしてもよい。In the second embodiment, the graphic complementing unit 120 displays the grid as a guide, but this is only an example. The graphic complementing unit 120 may display, as a guide, any information that assists an input to a user who intends to edit a graphic that is symmetrical when viewed from the
The graphic complementing unit 120 does not display the guide, complements the first graphic so that the first graphic is symmetrical, and displays only the complemented left-right symmetric first graphic. Is also good.
また、以上の実施の形態２では、図形補完部１２０は、第１の図形が左右対称となるよう、当該第１の図形を補完するものとしたが、補完の方法は左右対称に限らない。図形補完部１２０は、第１の図形を、プロジェクタ側または自動車側からみて、例えば、上下対称となるよう補完してもよいし、上下左右対称となるよう補完してもよいし、三方対称となるよう補完してもいし、点対称となるよう補完してもよい。 In the second embodiment, the graphic complementing unit 120 complements the first graphic so that the first graphic is symmetrical. However, the complementing method is not limited to the left-right symmetry. The graphic complementing unit 120 may complement the first graphic, for example, to be vertically symmetrical, to be vertically symmetrical, or to be three-dimensionally symmetric when viewed from the projector side or the automobile side. It may be complemented so as to make it point-symmetric.
以上のように、実施の形態２によれば、図形受付部１１２が受け付けた第１の図形情報に基づき、第１の図形が左右対称となるよう第１の図形を補完し、補完後第１の図形情報を作成する図形補完部１２０を備え、座標変換部１１５は、位置関係取得部１１３が取得した位置関係と、図形補完部１２０が作成した補完後第１の図形情報から、第２の図形情報を算出するようにした。これにより、ユーザは任意の視点から図形の作成を行った場合も、描画装置からみて対称形となった図形が表示されるようにすることができ、品質の高い図形の作成を行うことができる。
As described above, according to the second embodiment, based on the first graphic information received by
実施の形態３．
実施の形態１，２では、例えば、プロジェクタ２が取り付けられた自動車は停止しているものとし、自動車が走行することによりプロジェクタ２の位置も移動する場合、あるいは自動車の走行状態が変化する場合等、プロジェクタ２に関連する状況が変化することは想定していなかった。
実施の形態３では、プロジェクタ２に関連する状況が変化する場合も、当該状況の変化にあわせて、ユーザの所望の図形を、プロジェクタ２から投影できる実施の形態について説明する。
なお、実施の形態３においても、実施の形態１，２同様、一例として、表示編集装置１ｂ（後述する）は、タブレットＰＣ１００に搭載され、ユーザは、路面周辺の路上にいる視認者が、自動車に取り付けられたプロジェクタ２によって当該路面上に投影される静止画を見る際に視認できる所望の静止画を、タブレットＰＣ１００を用いて描画し、表示編集装置は、当該ユーザが描画した静止画に基づいて、プロジェクタ２に投影を指示するための図形情報を編集するものとする。Embodiment 3 FIG.
In the first and second embodiments, for example, it is assumed that the vehicle to which the
In the third embodiment, an embodiment will be described in which a user's desired figure can be projected from
In the third embodiment, as in the first and second embodiments, as an example, the
図１０は、実施の形態３の表示編集装置１ｂの構成例を示すブロック図である。
図１０において、実施の形態１で図２を用いて説明した構成と同様の構成については同じ符号を付して重複した説明を省略する。
表示編集装置１ｂは、実施の形態１の表示編集装置１とは、状況情報取得部１２１、および、図形情報取得部１２２をさらに備える点が異なる。FIG. 10 is a block diagram illustrating a configuration example of a
10, the same components as those described in Embodiment 1 with reference to FIG. 2 are denoted by the same reference numerals, and redundant description will be omitted.
The
実施の形態３の表示編集システムの構成は、実施の形態１において、図１を用いて説明した構成と同様であるため、重複した説明を省略する。また、実施の形態３のプロジェクタ２の構成は、実施の形態１において、図３を用いて説明した構成と同様であるため、重複した説明を省略する。
The configuration of the display / editing system according to the third embodiment is the same as that described in the first embodiment with reference to FIG. Further, the configuration of the
状況情報取得部１２１は、プロジェクタ２の状況情報を取得する。実施の形態３では、状況情報取得部１２１は、プロジェクタ２が取り付けられている自動車から、車両に関する車両情報を、プロジェクタ２の状況情報として取得するものとする。車両情報とは、自動車に取り付けられたプロジェクタ２に関する情報も含む、自動車に関する種々の情報であって、プロジェクタ２から投影される静止画を変更すべき契機となりうる任意の情報である。例えば、車両情報は、自動車の位置情報、もしくは、自動車に取り付けられているプロジェクタ２の位置情報、または、自動車が駐車している状態、自動車が走行している方向、もしくは、自動車の走行速度等の自動車の走行状態に関する情報である。
状況情報取得部１２１は、取得した車両情報を、図形情報取得部１２２に出力する。The status
The situation
図形情報取得部１２２は、状況情報取得部１２１から出力された車両情報が示すプロジェクタ２の状況と、当該状況において算出された第２の図形情報を関連付けて、記憶部１１９に記憶させる。したがって、記憶部１１９には、実施の形態１，２で説明した情報に加えて、プロジェクタ２の状況と当該状況に対応する第２の図形情報とが関連付けられて記憶される。
例えば、ユーザは、想定される視認者がある１つの位置にとどまっているとして、当該位置に対して、複数の異なる地点に自動車がある場合のそれぞれにおいて、視認者が視認すべき第１の図形を、タブレットＰＣ１００の画面上で描画することで、複数の第１の図形を描画する。表示編集装置１ｂは、複数の第１の図形を示す複数の第１の図形情報のそれぞれに対して、第２の図形情報を算出する。図形情報取得部１２２は、複数の第２の図形情報のそれぞれに対して、関連する自動車の位置情報を関連付けて、記憶部１１９に記憶させる。詳細は後述する。The graphic
For example, assuming that the assumed viewer stays at one position, the first figure to be visually recognized by the viewer in each case where there are cars at a plurality of different points with respect to the position. Are drawn on the screen of the
表示編集装置１ｂのハードウェア構成は、実施の形態１において図６Ａ、および、図６Ｂを用いて説明した構成と同様であるため、重複した説明を省略する。
状況情報取得部１２１、および、図形情報取得部１２２は、撮像画像取得部１１１、図形受付部１１２、位置関係取得部１１３、図形位置判定部１１４、座標変換部１１５、指示部１１６、表示制御部１１７、および、音声出力制御部１１８と同様に、処理回路６０１により実現される。The hardware configuration of the
The situation
次に、実施の形態３の表示編集装置１ｂの動作について説明する。
以下の説明では、一例として、プロジェクタ２が自動車の位置に応じて投影する図形を変更する場合に、ユーザが、表示編集装置１ｂを使用して、それぞれの位置における図形を編集する際の動作について説明する。
この場合、ユーザは、予め、プロジェクタ２が取り付けられた自動車が、異なる複数地点にある状態において、それぞれ、タブレットＰＣ１００のタッチパネルを操作して、表示部１０２に表示された画像上に、第１の図形を描画する。ここでは、複数地点は、例えば３地点であり、ユーザは、自動車が当該３地点のそれぞれにある状態に対して、第１の図形を描画するものとする。Next, the operation of the
In the following description, as an example, when the
In this case, the user operates the touch panel of the
表示編集装置１ｂは、３地点において、その都度、ユーザが描画した第１の図形を受け付け、路面とカメラ１０１との位置関係、および、プロジェクタ２とカメラ１０１との位置関係を判定し、判定した位置関係の情報と、第１の図形情報とから、プロジェクタ２が路面に投影すべき第２の図形情報を算出する。当該動作は、実施の形態１において、図４のフローチャートを用いて説明した動作と同様であるが、実施の形態３では、さらに、表示編集装置１ｂにおいて、以下の動作を行う。
The
表示編集装置１ｂにおいて、座標変換部１１５は、第２の図形情報を算出すると（図４のステップＳＴ４０５参照）、当該第２の図形情報を、指示部１１６および図形情報取得部１２２に出力する。図形情報取得部１２２は、当該第２の図形情報を、状況情報取得部１２１から出力された車両情報が示すプロジェクタ２の位置と関連付けて、記憶部１１９に記憶させる。
座標変換部１１５が、第２の図形情報を図形情報取得部１２２に出力するタイミングは、少なくとも、プロジェクタ２の１つの位置に対して、座標変換部１１５によって算出された１つの第２の図形情報が記憶されるタイミングであればよい。例えば、当該タイミングは、ユーザが、プロジェクタ２の１つの位置に対して、第１の図形を描画終了した場合に、表示部１０２に表示された記憶ボタンをタッチする等して指示したタイミングとすることができる。
これにより、想定される視認者の１つの位置からみて、自動車が異なる３地点にある場合のそれぞれにおいて、プロジェクタ２の位置と第２の図形情報とが関連付けられて、記憶部１１９に記憶されることになる。In the
The timing at which the coordinate
Thereby, the position of the
以上の説明では、記憶部１１９に第２の図形情報と関連付けて記憶させておく車両情報をプロジェクタ２の位置情報とする場合の、表示編集装置１ｂの動作について説明した。しかし、これは一例に過ぎず、表示編集装置１ｂは、プロジェクタ２の位置情報以外の車両情報と第２の図形情報とを関連付けて記憶部１１９に記憶させることもできるので、以下、例をあげて説明する。
In the above description, the operation of the
例えば、表示編集装置１ｂは、車両情報として、自動車の駐車状態または自動車が走行する方向に関する情報を取得し、それぞれの情報が示す状態と関連付けて、それぞれ異なる第２の図形情報を記憶部１１９に記憶させることができる。
なお、この場合の車両情報は、図形の編集用に用意された情報であり、自動車が、実際に当該車両情報が示す状態である必要はない。For example, the
Note that the vehicle information in this case is information prepared for editing a figure, and the vehicle does not need to be actually in the state indicated by the vehicle information.
また、例えば、表示編集装置１ｂは、車両情報として、自動車の走行速度の情報を取得し、それぞれの情報が示す状態と関連付けて、それぞれ異なる第２の図形情報を記憶部１１９に記憶させることができる。
なお、この場合の車両情報も、図形の編集用に用意された情報であり、自動車が、実際に当該車両情報が示す走行速度で走行している状態である必要はない。また、この場合、走行速度を、例えば、１０ｋｍ／時毎に区切った複数の走行速度のそれぞれに対して、ユーザが第１の図形を描画し、図形情報取得部１２２は、それぞれの第１の図形を示す第１の図形情報に対して、座標変換部１１５が算出した異なる第２の図形情報を走行速度と関連付けて、記憶部１１９に記憶させるようにすればよい。Further, for example, the
Note that the vehicle information in this case is also information prepared for editing a figure, and it is not necessary that the vehicle is actually running at the traveling speed indicated by the vehicle information. In this case, the user draws a first graphic for each of a plurality of traveling speeds obtained by dividing the traveling speed by, for example, every 10 km / hour, and the graphic
また、例えば、表示編集装置１ｂは、自動車の走行速度の閾値と、自動車の走行速度が閾値未満の場合の第２の図形と、自動車の走行速度が閾値以上となった場合の第２の図形の変形の態様を、記憶部１１９に記憶させておくようにしてもよい。第２の図形の変形の態様は、例えば、第２の図形の拡大、または、点滅等とすることができる。
In addition, for example, the
このように、表示編集装置１ｂにおいて、どの車両情報が示すプロジェクタ２の状況に関連付けて、どのような第２の図形を記憶させるかは、適宜設定可能である。
As described above, in the
また、表示編集装置１ｂにおいて、記憶部１１９に記憶された複数の第２の図形情報については、プロジェクタ２の１つの状況に関連付けられた第２の図形情報と、プロジェクタ２の他の状況に関連付けられた第２の図形情報との間を、既存の画像処理技術を用いて補完して、各状況間の中間的な状況において使用される第２の図形情報を算出することもできる。例えば、想定される視認者の１つの位置からみて、自動車が異なる３地点にある場合のそれぞれにおいて、プロジェクタ２の位置と第２の図形情報とが関連付けられて、記憶部１１９に記憶されている場合、すでに記憶されている３つの第２の図形情報のうち、隣り合う２地点に関連付けられた２つの第２の図形情報を、連続的に変形させるような画像処理を行い、当該２地点の間に自動車がある場合における第２の図形情報を、算出することができる。
この場合、プロジェクタ２は、自動車の移動に応じて、連続的に変化する第２の図形情報を路面に投影することができ、視認者にとっても違和感のない図形表示を行うことができる。Further, in the
In this case, the
以上のように、実施の形態３によれば、描画装置の状況を取得する状況情報取得部１２１を備え、第２の図形情報と、状況情報取得部１２１により取得された、当該第２の図形情報が算出された際の描画装置の状況を示す情報とを関連付けて、記憶部１１９に記憶させるようにした。これにより、描画装置に関わる状況の変化が生じる場合においても、状況に応じて、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形を認識できるように、描画装置に描画を指示するための図形情報を編集することができる。
As described above, according to the third embodiment, the situation
なお、以上の実施の形態３では、当該実施の形態３を実施の形態１に適用し、表示編集装置１ｂは、実施の形態１の表示編集装置１に対して、状況情報取得部１２１と図形情報取得部１２２とをさらに備えるものとした。しかしながら、これに限らず、実施の形態３を実施の形態２に適用するようにしてもよい。すなわち、表示編集装置１ｂは、図７を用いて説明した実施の形態２の表示編集装置１ａに対して、状況情報取得部１２１と図形情報取得部１２２とをさらに備えるようにしてもよい。
In the above-described third embodiment, the third embodiment is applied to the first embodiment, and the
また、以上の実施の形態１〜３では、一例として、自動車に取り付けられたプロジェクタ２は、路面に対して静止画としての図形を投影するものであり、表示編集装置１〜１ｂは、静止画としての図形を編集するものとした。
しかしながら、これは一例に過ぎず、自動車に取り付けられたプロジェクタ２が、路面に対して動画としての図形を投影するものである場合、表示編集装置１〜１ｂは、動画としての図形を編集するものとすることもできる。この場合、例えば、ユーザは、既存の描画アプリ等を使用し、第１の図形としてアニメーション等の動画を描画するようにすればよい。In the first to third embodiments, as an example, the
However, this is only an example, and when the
また、表示編集装置１〜１ｂにおいて算出された第２の図形情報は、当該第２の図形情報が静止画または動画のいずれであっても、任意のデータ形式で取り出すことができる。したがって、例えば、一度表示編集装置１〜１ｂにおいて、第１の図形情報に基づき算出された第２の図形情報が示す第２の図形を、別の自動車に取り付けられたプロジェクタからも投影させたい場合は、表示編集装置１〜１ｂから第２の図形情報を取り出してデータを別の自動車に取り付けられたプロジェクタを制御する制御装置が有する記憶装置にコピーすることで、同じ第２の図形を、別の自動車に取り付けられたプロジェクタから投影させて再現することができる。 In addition, the second graphic information calculated by the display editing apparatuses 1 to 1b can be extracted in an arbitrary data format regardless of whether the second graphic information is a still image or a moving image. Therefore, for example, when it is desired to project the second graphic indicated by the second graphic information calculated based on the first graphic information from the projector attached to another automobile once in the display editing apparatuses 1 to 1b. Retrieves the second graphic information from the display editing devices 1 to 1b, and copies the data to a storage device of a control device for controlling a projector attached to another vehicle, so that the same second graphic is Can be reproduced by projecting from a projector attached to an automobile.
また、以上の実施の形態１〜３では、表示編集装置１〜１ｂは、タブレットＰＣ１００に搭載されるものとしたが、これに限らない。表示編集装置１〜１ｂが搭載される装置は、ユーザが、表示画面上で、あるいは、直接に、第２の図形が描画される対象となる実空間を見ることができ、当該ユーザが、実空間に重なって見えるように、静止画または動画を入力して表示できるような装置であればどのようなものでもよい。例えば、表示編集装置１〜１ｂが搭載される装置を、通常のＰＣのディスプレイ背面にビデオカメラが設置されたものとし、ユーザが、ビデオカメラで実空間を撮像し、ＰＣの表示画面上に表示された実空間の画像上に第１の図形を描画できるような構成としてもよい。また、例えば、表示編集装置１〜１ｂが搭載される装置を、シースルー型のヘッドマウントディスプレイとし、ユーザが当該ヘッドマウントディスプレイを装着するとともに、当該ユーザの指先を三次元トラッカで認識するようにして、ユーザが直接実空間を見ながら、当該実空間に重ねて第１の図形を描画できるような構成としてもよい。
In the first to third embodiments, the display / editing apparatuses 1 to 1b are mounted on the
また、以上の実施の形態１〜３では、図形が描画される対象物を路面とし、描画装置は、路面に光を投影するプロジェクタ２としたが、これに限らない。
例えば、描画装置は、マーカ等を保持したアームによりホワイトボード等に描画するロボットであっても良いし、テープ等を使って地面等に描画を行う自走式のロボットであってもよい。
このように、対象物は、路面に限らず、ホワイトボード等の任意の面とすることができる。また、対象物は、凹凸を含む面であってもよい。また、描画装置は、プロジェクタ２に限らず、ロボットのアーム等、図形を描画させることができる任意の装置とすることができる。また、描画装置は、機械的に形状が変わるマスクが光源に取り付けられ、マスクの形状を変化させることによって、図形が視認されるような装置であってもよい。In the first to third embodiments, the object on which the graphic is drawn is the road surface, and the drawing device is the
For example, the drawing device may be a robot that draws on a whiteboard or the like with an arm holding a marker or the like, or may be a self-propelled robot that draws on the ground or the like using a tape or the like.
In this way, the target object is not limited to a road surface, but may be any surface such as a white board. Further, the target object may be a surface including irregularities. Further, the drawing device is not limited to the
以上の実施の形態１〜３では、描画装置が光を路面に投影するプロジェクタ２であり、表示編集装置１〜１ｂが、当該プロジェクタ２に所望の図形を投影させるための第２の図形情報を編集するものであった。この場合、プロジェクタ２と路面との位置関係等によって、プロジェクタ２から投影される第２の図形は、路面上では変形することがあるため、表示編集装置１〜１ｂの座標変換部１１５は、路面とカメラ１０１との位置関係の情報と、プロジェクタ２とカメラ１０１との位置関係の情報とに基づき、第２の図形情報を算出するようにした。
しかしながら、例えば、描画装置がマーカ等を保持したアームによりホワイトボード等に描画するロボット、または、テープ等を使って地面等に描画を行う自走式のロボットの場合には、描画される図形は第２の図形そのものとなるため、カメラ１０１と対象物との位置関係さえわかれば、座標変換部１１５は、第２の図形情報を算出することができる。
したがって、この場合、位置関係取得部１１３は、カメラ１０１と対象物との位置関係を取得するようになっていればよく、座標変換部１１５は、カメラ１０１と対象物との位置関係の情報と、第１の図形情報から、第２の図形情報を算出するようにすればよい。In the above first to third embodiments, the drawing device is the
However, for example, in the case of a robot in which a drawing device draws on a whiteboard or the like by an arm holding a marker or the like, or a self-propelled robot that draws on the ground or the like using a tape or the like, the figure to be drawn is Since the second graphic itself is used, if only the positional relationship between the
Therefore, in this case, the positional
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 Further, within the scope of the present invention, any combination of the embodiments, a modification of any component of each embodiment, or an omission of any component in each embodiment is possible within the scope of the invention. .
この発明に係る表示編集装置は、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形を視認できるように、描画装置に描画を指示するための図形情報を編集することができるため、任意の対象物上に図形の描画を行う描画装置に描画を指示するための図形情報を編集する表示編集装置等に適用することができる。 The display / editing device according to the present invention is provided with graphic information for instructing a drawing device to perform drawing so that a viewer can visually recognize a desired figure when viewing a figure drawn on an object from a non-facing position. Since the editing can be performed, the present invention can be applied to a display editing apparatus that edits graphic information for instructing a drawing apparatus that draws a figure on an arbitrary object to draw.
１ 表示編集装置、２ プロジェクタ、５１ 自動車、１００ タブレットＰＣ、１０１ カメラ、１０２ 表示部、１０３ 音声出力装置、１１１ 撮像画像取得部、１１２ 図形受付部、１１３ 位置関係取得部、１１４ 図形位置判定部、１１５ 座標変換部、１１６ 指示部、１１７ 表示制御部、１１８ 音声出力制御部、１１９ 記憶部、１２０ 図形補完部、１２１ 状況情報取得部、１２２ 図形情報取得部。 Reference Signs List 1 display editing device, 2 projector, 51 car, 100 tablet PC, 101 camera, 102 display unit, 103 audio output device, 111 captured image acquisition unit, 112 graphic reception unit, 113 positional relationship acquisition unit, 114 graphic position determination unit, 115 coordinate conversion unit, 116 instruction unit, 117 display control unit, 118 sound output control unit, 119 storage unit, 120 graphic complementing unit, 121 status information obtaining unit, 122 graphic information obtaining unit.
Claims (9)
表示部に表示された前記画像上にさらに描画された第１の図形に関する第１の図形情報を受け付ける図形受付部と、
前記画像が撮像された際の前記対象物と前記カメラとの位置関係を取得する位置関係取得部と、
前記位置関係取得部が取得した位置関係と、前記第１の図形情報とから、前記撮像画像取得部が取得した画像が撮像された際のカメラ位置から見て、前記第１の図形が形を変えることなく視認者に視認されるような図形を前記対象物上に描画するための第２の図形に関する第２の図形情報を算出する座標変換部と、
前記座標変換部が算出した第２の図形情報を、前記対象物上への描画を行う描画装置に出力する指示部
とを備えた表示編集装置。 A captured image acquisition unit for acquiring an image of the object captured by the camera,
A graphic receiving unit that receives first graphic information regarding a first graphic further drawn on the image displayed on the display unit;
A positional relationship acquisition unit that acquires a positional relationship between the object and the camera when the image is captured,
Based on the positional relationship acquired by the positional relationship acquisition unit and the first graphic information, the first graphic has a shape as viewed from the camera position when the image acquired by the captured image acquisition unit is captured. A coordinate conversion unit that calculates second graphic information relating to a second graphic for drawing a graphic that can be visually recognized by a viewer on the object without changing the graphic;
An instruction unit for outputting the second graphic information calculated by the coordinate conversion unit to a drawing device for drawing on the object.
前記位置関係取得部は、前記画像が撮像された際の前記対象物と前記カメラとの位置関係に加えて、前記画像が撮像された際の前記描画装置と前記対象物との位置関係を取得し、
前記座標変換部は、前記位置関係取得部が取得した、前記対象物と前記カメラとの位置関係と、前記描画装置と前記対象物との位置関係と、前記第１の図形情報とから、前記第２の図形情報を算出する
ことを特徴とする請求項１記載の表示編集装置。 The drawing device is a projector that projects light onto the object,
The positional relationship acquisition unit acquires a positional relationship between the drawing device and the object when the image is captured, in addition to a positional relationship between the object and the camera when the image is captured. And
The coordinate conversion unit acquires the positional relationship between the object and the camera acquired by the positional relationship acquisition unit, the positional relationship between the drawing device and the object, and the first graphic information, The display / editing apparatus according to claim 1, wherein second graphic information is calculated.
ことを特徴とする請求項１記載の表示編集装置。 The display and editing device according to claim 1, wherein the drawing device is a device that draws directly on the object.
前記座標変換部は、前記位置関係取得部が取得した位置関係と、前記図形補完部が作成した補完後第１の図形情報から、前記第２の図形情報を算出する
ことを特徴とする請求項１記載の表示編集装置。 Based on the first graphic information received by the graphic receiving unit, the first graphic is complemented so that the shape of the first graphic on the object is bilaterally symmetric. It has a figure complement part to create,
The said coordinate conversion part calculates the said 2nd graphic information from the positional relationship acquired by the said positional relationship acquisition part, and the 1st graphic information after completion which the said graphic complementing part created. The display editing device according to 1.
前記第２の図形情報と、前記状況情報取得部により取得された、当該第２の図形情報が算出された際の前記描画装置の状況を示す情報とを関連付けて、記憶部に記憶させる図形情報取得部
とを備えた請求項１記載の表示編集装置。 A situation information acquisition unit that acquires a situation of the drawing apparatus, which may be an opportunity to change the second graphic information on which the drawing apparatus performs drawing ,
Graphic information to be stored in a storage unit in association with the second graphic information and information indicating the state of the drawing apparatus when the second graphic information was calculated, obtained by the status information obtaining unit. The display editing device according to claim 1, further comprising an acquisition unit.
前記座標変換部は、前記位置関係取得部が取得した位置関係と、前記図形補完部が作成した補完後第１の図形情報から、前記第２の図形情報を算出し、
前記図形補完部は、
前記タッチパネル上に、前記第１の図形を左右対称とするためのガイドを表示させる
ことを特徴とする請求項６記載の携帯機器。 Based on the first graphic information received by the graphic receiving unit, the first graphic is complemented so that the shape of the first graphic on the object is bilaterally symmetric. It has a figure complement part to create,
The coordinate conversion unit calculates the second graphic information from the positional relationship acquired by the positional relationship acquisition unit and the first graphic information after complementation created by the graphic complementing unit,
The figure complementing unit,
The mobile device according to claim 6, wherein a guide for making the first figure symmetrical on the touch panel is displayed on the touch panel.
図形受付部が、表示部に表示された前記画像上にさらに描画された第１の図形に関する第１の図形情報を受け付けるステップと、
位置関係取得部が、前記画像が撮像された際の前記対象物と前記カメラとの位置関係を取得するステップと、
座標変換部が、前記位置関係取得部が取得した位置関係と、前記第１の図形情報とから、前記撮像画像取得部が取得した画像が撮像された際のカメラ位置から見て、前記第１の図形が形を変えることなく視認者に視認されるような図形を前記対象物上に描画するための第２の図形に関する第２の図形情報を算出するステップと、
指示部が、前記座標変換部が算出した第２の図形情報を、前記対象物上への描画を行う描画装置に出力するステップ
とを備えた表示編集方法。 A step of acquiring a captured image of the target object by the camera,
A step in which the graphic receiving unit receives first graphic information on a first graphic further drawn on the image displayed on the display unit;
A step of acquiring a positional relationship between the object and the camera when the image is captured,
The coordinate conversion unit, based on the positional relationship acquired by the positional relationship acquisition unit and the first graphic information, as viewed from the camera position when the image acquired by the captured image acquisition unit is captured, Calculating second graphic information relating to a second graphic for drawing a graphic on the target object such that the graphic is visually recognized by a viewer without changing its shape;
An instruction unit for outputting the second graphic information calculated by the coordinate conversion unit to a drawing device that performs drawing on the object.
カメラが対象物を撮像した画像を取得し、
表示部に表示された前記画像上にさらに描画された第１の図形に関する第１の図形情報を受け付け、
前記画像が撮像された際の前記対象物と前記カメラとの位置関係を取得し、
取得した位置関係と、前記第１の図形情報とから、前記画像が撮像された際のカメラ位置から見て、前記第１の図形が形を変えることなく視認者に視認されるような図形を前記対象物上に描画するための第２の図形に関する第２の図形情報を算出し、
算出した第２の図形情報を、前記対象物上への描画を行う描画装置に出力する
処理を実行させるための表示編集プログラム。 On the computer,
The camera acquires an image of the object,
Receiving first graphic information on a first graphic further drawn on the image displayed on the display unit;
Obtain the positional relationship between the object and the camera when the image is captured,
From the acquired positional relationship and the first graphic information, a figure that is visually recognized by a viewer without changing its shape when viewed from the camera position when the image is captured. Calculating second graphic information relating to a second graphic to be drawn on the object;
A display editing program for executing a process of outputting the calculated second graphic information to a drawing device that performs drawing on the object.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2017/022519 WO2018235128A1 (en) | 2017-06-19 | 2017-06-19 | Display editing apparatus, display editing method, and display editing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2018235128A1 JPWO2018235128A1 (en) | 2019-11-14 |
| JP6671549B2 true JP6671549B2 (en) | 2020-03-25 |
Family
ID=64735553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019524719A Active JP6671549B2 (en) | 2017-06-19 | 2017-06-19 | Display editing device, portable device, display editing method, and display editing program |
Country Status (3)
| Country | Link |
|---|---|
| JP (1) | JP6671549B2 (en) |
| DE (1) | DE112017007535B4 (en) |
| WO (1) | WO2018235128A1 (en) |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10217192A (en) * | 1997-01-31 | 1998-08-18 | Kyokuto Sanki Co Ltd | System and method for cutting curtain |
| JP2003348500A (en) * | 2002-03-19 | 2003-12-05 | Fuji Photo Film Co Ltd | Projection image adjustment method, image projection method, and projector |
| JP2010283674A (en) | 2009-06-05 | 2010-12-16 | Panasonic Electric Works Co Ltd | Projection system and projection method |
| JP2013083755A (en) | 2011-10-07 | 2013-05-09 | Canon Inc | Display device, method of controlling display device, and program |
| JP2013235374A (en) * | 2012-05-08 | 2013-11-21 | Sony Corp | Image processing apparatus, and projection control method and program |
| JP5973368B2 (en) * | 2013-03-13 | 2016-08-23 | 日本電信電話株式会社 | Spatial projection apparatus, spatial projection method, and spatial projection program |
| WO2016014731A1 (en) * | 2014-07-22 | 2016-01-28 | Aplus Flash Technology, Inc. | Yukai vsl-based vt-compensation for nand memory |
| JP2016144114A (en) * | 2015-02-04 | 2016-08-08 | セイコーエプソン株式会社 | Projector and method for controlling projector |
| JP6636252B2 (en) | 2015-03-19 | 2020-01-29 | 株式会社メガチップス | Projection system, projector device, imaging device, and program |
| JP6631181B2 (en) * | 2015-11-13 | 2020-01-15 | セイコーエプソン株式会社 | Image projection system, projector, and method of controlling image projection system |
-
2017
- 2017-06-19 DE DE112017007535.1T patent/DE112017007535B4/en not_active Expired - Fee Related
- 2017-06-19 JP JP2019524719A patent/JP6671549B2/en active Active
- 2017-06-19 WO PCT/JP2017/022519 patent/WO2018235128A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| DE112017007535T5 (en) | 2020-04-02 |
| WO2018235128A1 (en) | 2018-12-27 |
| JPWO2018235128A1 (en) | 2019-11-14 |
| DE112017007535B4 (en) | 2021-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108780586B (en) | Image processing method, display device and inspection system | |
| TWI450180B (en) | Display control device, display control method, program | |
| JP4850984B2 (en) | Action space presentation device, action space presentation method, and program | |
| JP4533087B2 (en) | Image processing method and image processing apparatus | |
| JP4661866B2 (en) | Display control program executed in game device | |
| US8388146B2 (en) | Anamorphic projection device | |
| JP2023542668A (en) | Positioning tracking method and platform, head-mounted display system, and computer-readable storage medium | |
| JP2011051403A (en) | Parking support system | |
| JP5709440B2 (en) | Information processing apparatus and information processing method | |
| WO2013108371A1 (en) | Image processing apparatus, image processing server, image processing method, image processing program, and recording medium | |
| JP2006072903A (en) | Image compositing method and device | |
| US20120105682A1 (en) | Image pickup apparatus generating composite image | |
| JP2014179072A (en) | Three-dimensional fingertip tracking | |
| JP6031819B2 (en) | Image processing apparatus and image processing method | |
| WO2020179027A1 (en) | Head-mounted information processing device and head-mounted display system | |
| JP6364389B2 (en) | Inspection method and inspection system | |
| US20160191875A1 (en) | Image projection apparatus, and system employing interactive input-output capability | |
| JP4945694B2 (en) | Video playback apparatus and video playback method | |
| JP6671549B2 (en) | Display editing device, portable device, display editing method, and display editing program | |
| JP5702476B2 (en) | Display device, control method, program, storage medium | |
| JP7279113B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, COMPUTER PROGRAM | |
| JP2004150918A (en) | Map displaying method | |
| JP2008065522A (en) | Information display system and pointing control method | |
| JP2019160118A (en) | Information provider and method for providing information | |
| JP5830899B2 (en) | Projection system, projection apparatus, projection method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190521 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190521 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190521 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190610 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190912 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191029 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200303 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6671549 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |