JP6671549B2 - Display editing device, portable device, display editing method, and display editing program - Google Patents
Display editing device, portable device, display editing method, and display editing program Download PDFInfo
- Publication number
- JP6671549B2 JP6671549B2 JP2019524719A JP2019524719A JP6671549B2 JP 6671549 B2 JP6671549 B2 JP 6671549B2 JP 2019524719 A JP2019524719 A JP 2019524719A JP 2019524719 A JP2019524719 A JP 2019524719A JP 6671549 B2 JP6671549 B2 JP 6671549B2
- Authority
- JP
- Japan
- Prior art keywords
- graphic
- unit
- information
- positional relationship
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 34
- 230000000295 complement effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 5
- 239000003550 marker Substances 0.000 description 4
- 230000004397 blinking Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2380/00—Specific applications
- G09G2380/10—Automotive applications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
- G09G5/363—Graphics controllers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
Description
この発明は、対象物上への描画を行う描画装置のための図形情報を算出する表示編集装置に関するものである。 The present invention relates to a display editing device that calculates graphic information for a drawing device that draws on an object.
従来、対象物の表面上(以下、「対象物上」ともいう。)に、何らかの制御に応じて、図形の描画を行う技術が知られている。このように対象物上に描画された図形は、その図形を視認する者(以下「視認者」という。)が、その図形が描画される対象物の表面と正対した位置(以下「正対位置」という。)からその図形を見る場合に限らず、視認者が当該正対位置からずれた位置(以下「非正対位置」という。)からその図形を見る場合に、所望の形状の図形(以下、単に「所望の図形」という。)を視認できるように、描画される場合もある。
例えば、特許文献1には、表示するべき画像を取得する取得手段と、前記取得手段により得られた前記表示するべき画像を表示面に表示する表示手段と、前記表示するべき画像に対してOSD(On Screen Display)画像を重畳する指示が入力されると、前記指示を入力した操作者の位置に応じて、形状の異なるOSD画像を前記表示するべき画像に重畳し、前記表示面に表示するように前記表示手段を制御する制御手段とを有する技術が開示されている。2. Description of the Related Art Conventionally, a technique of drawing a graphic on the surface of an object (hereinafter, also referred to as “on the object”) according to some control has been known. A figure drawn on an object in this manner is viewed by a person who visually recognizes the figure (hereinafter, referred to as a “viewer”) at a position directly facing the surface of the object on which the figure is drawn (hereinafter, “facing”). This is not limited to the case where the figure is viewed from the “position”, and when the viewer sees the figure from a position shifted from the directly-facing position (hereinafter referred to as “non-facing position”), a figure having a desired shape is obtained. (Hereinafter, simply referred to as a “desired figure”) in some cases.
For example, Patent Literature 1 discloses an acquisition unit for acquiring an image to be displayed, a display unit for displaying the image to be displayed obtained by the acquisition unit on a display surface, and an OSD for the image to be displayed. (On Screen Display) When an instruction to superimpose an image is input, an OSD image having a different shape is superimposed on the image to be displayed according to the position of the operator who has input the instruction, and is displayed on the display surface. Thus, there is disclosed a technique having control means for controlling the display means.
特許文献1に開示されているような技術によると、表示面に対して非正対位置にいる操作者が、所望の図形として、例えば、長方形のOSD画像を視認することができる。
しかしながら、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形を視認できるように、描画装置に描画を指示するための図形情報を編集するにあたっては、当該図形情報を編集する者が、非正対位置から図形を視認した場合の図形を想像しながら編集することが必要であり、このような編集作業は困難であるという課題があった。According to the technique disclosed in Patent Literature 1, an operator at a position directly opposite to the display surface can visually recognize, for example, a rectangular OSD image as a desired figure.
However, when editing the graphic information for instructing the drawing apparatus to perform drawing, such that the viewer can visually recognize the desired figure when viewing the figure drawn on the object from the non-facing position, the figure It is necessary for a person who edits information to edit while imagining a figure when the figure is viewed from a non-facing position, and there has been a problem that such editing work is difficult.
この発明は、上記のような課題を解決するためになされたもので、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形を視認できるように、描画装置に描画を指示するための図形情報を編集することができる表示編集装置、表示編集方法、および、表示編集プログラムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made to solve the above-described problems, and a drawing apparatus is provided so that a viewer can visually recognize a desired figure when viewing a figure drawn on an object from a non-facing position. It is an object of the present invention to provide a display editing device, a display editing method, and a display editing program which can edit graphic information for instructing a drawing to be performed.
この発明に係る表示編集装置は、カメラが対象物を撮像した画像を取得する撮像画像取得部と、表示部に表示された画像上にさらに描画された第1の図形に関する第1の図形情報を受け付ける図形受付部と、画像が撮像された際の対象物とカメラとの位置関係を取得する位置関係取得部と、位置関係取得部が取得した位置関係と、第1の図形情報とから、撮像画像取得部が取得した画像が撮像された際のカメラ位置から見て、第1の図形が形を変えることなく視認者に視認されるような図形を対象物上に描画するための第2の図形に関する第2の図形情報を算出する座標変換部と、座標変換部が算出した第2の図形情報を、対象物上への描画を行う描画装置に出力する指示部とを備えたものである。 A display editing device according to the present invention includes a captured image acquisition unit that acquires an image of a target object captured by a camera, and first graphic information about a first graphic further drawn on an image displayed on a display unit. An image receiving unit that receives an image, a positional relationship acquiring unit that acquires a positional relationship between the object and the camera when the image is captured, an image capturing unit that captures an image based on the positional relationship acquired by the positional relationship acquiring unit, and the first graphic information. A second drawing for drawing a figure on the target object such that the first figure is visually recognized by the viewer without changing the shape when viewed from the camera position when the image obtained by the image obtaining unit is captured. A coordinate conversion unit that calculates second graphic information relating to the graphic; and an instruction unit that outputs the second graphic information calculated by the coordinate conversion unit to a drawing apparatus that performs drawing on an object. .
この発明によれば、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形を視認できるように、描画装置に描画を指示するための図形情報を編集することができる。 According to the present invention, graphic information for instructing a drawing apparatus to perform drawing is edited so that a viewer can visually recognize a desired figure when viewing a figure drawn on an object from a non-facing position. Can be.
以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態1.
表示編集装置は、視認者が描画装置によって対象物上に描画される図形を非正対位置から見る際に、所望の図形を視認できるように、描画装置に対して描画を指示するための図形情報を編集する。なお、この明細書でいう「図形」には、単なる幾何学的な模様のみならず、文字、記号等も含まれるものとする。また、図形は、静止画であっても、動画であってもよい。
以下の説明においては、一例として、表示編集装置は、カメラとタッチパネルとを備えたタブレットPC(Personal Computer)に搭載されるものする。また、描画装置は、自動車に取り付けられたプロジェクタであるものとする。プロジェクタは、光を投影することで、対象物上に図形を描画する投影機である。また、対象物上に描画される図形は、静止画であり、対象物とは、プロジェクタにより光が投影される投影面である路面であるものとする。また、想定される視認者は、当該路面の周辺の路上にいる者であるとする。
実施の形態1における表示編集装置を使用するユーザは、路面周辺の路上にいる視認者が、プロジェクタによって当該路面上に投影される静止画を見る際に視認できる所望の形状の静止画(以下、単に「所望の静止画」という。)を、タブレットPCを用いて描画し、表示編集装置は、当該ユーザが描画した静止画に基づいて、プロジェクタに投影を指示するための図形情報を編集するものとする。ユーザがタブレットPCを用いて静止画を描画する際、タブレットPCには、カメラによって予め視認者の視点から路面が撮像されて得られた撮像画像が表示されており、ユーザは、視認者の視点から見た場合の所望の静止画を、その見た目どおりの形状のまま、タブレットPCに表示された撮像画像上の所望の位置に描画することができる。Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
Embodiment 1 FIG.
The display / editing device includes a graphic for instructing the drawing device to perform drawing so that the viewer can visually recognize a desired graphic when the viewer looks at the graphic drawn on the target object from the non-facing position. Edit information. It is to be noted that the “graphic” in this specification includes not only a simple geometric pattern but also characters, symbols, and the like. Further, the graphic may be a still image or a moving image.
In the following description, as an example, it is assumed that the display editing device is mounted on a tablet PC (Personal Computer) including a camera and a touch panel. It is assumed that the drawing device is a projector attached to an automobile. 2. Related Art A projector is a projector that draws a figure on an object by projecting light. The figure drawn on the object is a still image, and the object is a road surface on which light is projected by a projector. The assumed viewer is assumed to be a person on the road around the road surface.
A user using the display editing apparatus according to Embodiment 1 can view a still image of a desired shape (hereinafter, referred to as a “still image”) that a viewer on the road around the road surface can visually recognize when viewing a still image projected on the road surface by the projector. (Hereinafter simply referred to as “desired still image”) using a tablet PC, and the display editing device edits graphic information for instructing the projector to project based on the still image drawn by the user. And When a user draws a still image using a tablet PC, a captured image obtained by capturing a road surface from a viewpoint of a viewer in advance by a camera is displayed on the tablet PC. The user can draw a desired still image as viewed from above at a desired position on the captured image displayed on the tablet PC while keeping the shape as it looks.
図1は、実施の形態1における表示編集システムの構成例を示す図である。
タブレットPC100は、背面に備え付けられたカメラ101(後述する)によって撮像された撮像画像を、表示部102(後述する)に表示させる。表示部102は、タッチパネル式のディスプレイである。
ユーザは、指、または、いわゆるスタイラスを用いて、表示部102にタッチすることによって、所望の静止画を描画する。表示編集装置1は、ユーザが表示部102に描画することによって入力した静止画に基づき、図形情報を編集してプロジェクタ2に出力し、プロジェクタ2は、当該図形情報が示す静止画を路面に対して投影する。
タブレットPC100とプロジェクタ2とは、有線、または、無線を問わず、何らかの手段で通信可能となっていればよい。FIG. 1 is a diagram illustrating a configuration example of a display editing system according to the first embodiment.
The tablet PC 100 causes a display unit 102 (described later) to display a captured image captured by a camera 101 (described later) provided on the back surface. The
The user draws a desired still image by touching the
The tablet PC 100 and the
図2は、実施の形態1の表示編集装置1の構成例を示すブロック図である。
図2に示すように、表示編集装置1は、撮像画像取得部111と、図形受付部112と、位置関係取得部113と、図形位置判定部114と、座標変換部115と、指示部116と、表示制御部117と、音声出力制御部118と、記憶部119とを備える。FIG. 2 is a block diagram illustrating a configuration example of the display editing apparatus 1 according to the first embodiment.
As shown in FIG. 2, the display editing apparatus 1 includes a captured
撮像画像取得部111は、カメラ101が路面を撮像した撮像画像を取得する。
撮像画像取得部111は、取得した撮像画像を位置関係取得部113、および、表示制御部117に出力する。以下、撮像画像取得部111が取得し、位置関係取得部113、および、表示制御部117に出力する撮像画像を、単に画像ともいうものとする。
The captured
The captured
図形受付部112は、表示部102に表示にされた画像上で描画された図形(以下「第1の図形」という。)に関する図形情報(以下「第1の図形情報」という。)を受け付ける。
ユーザは、表示部102に画像が表示されると、例えば、タッチパネルを操作して、当該画像上に、所望の静止画として、第1の図形を描画する。図形受付部112は、ユーザが描画した第1の図形に関する第1の図形情報を受け付ける。
図形受付部112は、受け付けた第1の図形情報を、図形位置判定部114に出力する。The
When the image is displayed on the
The
位置関係取得部113は、撮像画像取得部111が取得した撮像画像が撮像された際の、路面とカメラ101の位置関係を取得する。また、位置関係取得部113は、撮像画像取得部111が取得した撮像画像が撮像された際の、プロジェクタ2とカメラ101の位置関係を取得する。
位置関係取得部113は、取得した位置関係の情報を、図形位置判定部114に出力する。The positional
The positional
図形位置判定部114は、位置関係取得部113から出力された、路面とカメラ101の位置関係の情報、および、プロジェクタ2とカメラ101の位置関係の情報と、図形受付部112から出力された第1の図形情報とに基づき、第1の図形が、路面上のどの位置に対応付けられるかを判定する。
このとき、第1の図形が路面外であった場合は、図形位置判定部114は、第1の図形が路面に投影不可であることを示すエラー情報を、表示制御部117、または、音声出力制御部118に出力する。
第1の図形が路面上であった場合、図形位置判定部114は、第1の図形情報を、路面とカメラ101の位置関係の情報、および、プロジェクタ2とカメラ101の位置関係の情報とともに、座標変換部115に出力する。The graphic
At this time, if the first graphic is outside the road surface, the graphic
When the first graphic is on the road surface, the graphic
座標変換部115は、図形位置判定部114から第1の図形情報等が出力されると、路面とカメラ101との位置関係の情報と、プロジェクタ2とカメラ101との位置関係の情報と、第1の図形情報とから、第1の図形情報の座標を変換し、プロジェクタ2が路面に投影すべき図形(以下、「第2の図形」とする。)に関する図形情報(以下、「第2の図形情報」とする。)を算出する。第2の図形は、撮像画像取得部111が取得した撮像画像が撮像された際のカメラ位置から見て、前記第1の図形が形を変えることなく視認者に視認されるような図形を対象物上に描画するために、プロジェクタ2が投影すべき図形である。
座標変換部115は、算出した第2の図形情報を、指示部116に出力する。When the first graphic information or the like is output from the graphic
The coordinate
指示部116は、路面上への図形の投影を行うプロジェクタ2に、座標変換部115が算出した第2の図形情報を出力し、プロジェクタ2は、第2の図形情報が示す第2の図形を、路面上へ投影する。
The
表示制御部117は、撮像画像取得部111が取得した画像を、表示部102に表示させる。また、表示制御部117は、図形位置判定部114から、第1の図形が路面に投影不可であることを示すエラー情報が出力されると、表示部102に、エラーメッセージ等、エラー情報に応じた情報を表示させる。
The
音声出力制御部118は、図形位置判定部114から、第1の図形が路面に投影不可であることを示すエラー情報が出力されると、音声出力装置103に、ブザー音、または、エラーメッセージ等、エラー情報に応じた音、または、音声を出力させる。この実施の形態1において、音声出力装置103は、タブレットPC100が備えるスピーカである。
When the error information indicating that the first graphic cannot be projected on the road surface is output from the graphic
記憶部119は、プロジェクタ2の位置、または、姿勢等、プロジェクタに関する情報を記憶する。また、記憶部119は、凹凸等、路面の形状に関する情報を記憶する。
記憶部119が記憶させる情報は、予めユーザ等により設定されていてもよいし、または、プロジェクタ2の位置等に関しては、後述のとおり、表示編集装置1が使用される際に当該表示編集装置1自体が検出した情報に基づき設定されてもよい。
なお、実施の形態1では、記憶部119は、表示編集装置1が備えるものとしたが、これに限らず、記憶部119は、表示編集装置1の外部の、表示編集装置1が参照可能な場所に備えられるようにしてもよい。The
The information stored in the
In the first embodiment, the
図3は、実施の形態1のプロジェクタ2の構成例を示すブロック図である。
図3に示すように、プロジェクタ2は、描画指示受付部21と、描画部22とを備える。
描画指示受付部21は、表示編集装置1から出力された第2の図形情報を受け付ける。
描画指示受付部21は、受け付けた第2の図形情報を、描画部22に出力する。
描画部22は、描画指示受付部21が受け付けた第2の図形情報が示す第2の図形を、路面に投影する。FIG. 3 is a block diagram illustrating a configuration example of the
As shown in FIG. 3, the
The drawing
The drawing
The
次に、実施の形態1の表示編集装置1の動作について説明する。
図4は、実施の形態1の表示編集装置1の動作を説明するフローチャートである。
ここで、図5は、実施の形態1において、表示編集装置1の利用シーンの一例を説明する図である。
図5に示すように、ユーザは、タブレットPC100を手に取り、タブレットPC100越しに、プロジェクタ2、当該プロジェクタ2が取り付けられた自動車51、および、その周辺を観察する。さらに、ユーザは、タブレットPC100のカメラを用いて、視認者がプロジェクタ2により投影される静止画を視認することが想定される視点位置から、当該静止画が描画されるべき路面と、プロジェクタ2とを少なくとも含む画像を撮像する。
プロジェクタ2は、路面に対して任意の静止画を照射できるような状態となっている。
以上のような状態であることを前提に、表示編集装置1は、図4のフローチャートで説明するような動作を行う。Next, the operation of the display editing apparatus 1 according to the first embodiment will be described.
FIG. 4 is a flowchart illustrating the operation of the display editing apparatus 1 according to the first embodiment.
Here, FIG. 5 is a diagram illustrating an example of a use scene of the display editing device 1 in the first embodiment.
As shown in FIG. 5, the user picks up the
The
On the premise that the state is as described above, the display editing apparatus 1 performs an operation as described in the flowchart of FIG.
図形受付部112は、第1の図形情報を受け付けるまで待機し(ステップST401の“NO”の場合)、第1の図形情報を受け付けると、受け付けた第1の図形情報を図形位置判定部114に出力する。
なお、図形受付部112は、ユーザがタッチパネルを操作して第1の図形を描画し始めると、随時、描画された第1の図形情報を受け付け、以降、少しでもユーザによって第1の図形が描画されると、当該第1の図形が描画される毎に、図形受付部112は、第1の図形情報を受け付け続ける。The
Note that when the user operates the touch panel to start drawing the first figure, the
位置関係取得部113は、路面とカメラ101の位置関係を取得する。また、位置関係取得部113は、プロジェクタ2とカメラ101の位置関係を取得する(ステップST402)。
具体的には、例えば、カメラ101の撮像範囲内の空間における所定の位置には予めマーカが設置されており、位置関係取得部113は、映像に写っている当該マーカを検出することで、路面とカメラ101、および、プロジェクタ2とカメラ101の三次元の位置関係を取得する。なお、これは一例に過ぎず、位置関係取得部113は、その他の既存の方法を利用して、路面とカメラ101、および、プロジェクタ2とカメラ101の位置関係を取得してもよい。例えば、位置関係取得部113は、空間内の特徴量を用いて位置関係を取得してもよいし、周囲の3次元空間を認識する既存のアプリケーション等を用いて位置関係を取得してもよい。また、タブレットPC100に三次元トラッカを取り付けておくようにし、位置関係取得部113は、当該三次元トラッカの測定情報から、位置関係を取得してもよい。プロジェクタ2の自動車への取り付け位置と、取り付け姿勢とに関する情報、および、路面が凹凸を含む場合の路面の形状の情報等は、予め表示編集装置1が記憶している。
位置関係取得部113は、取得した位置関係の情報を、図形位置判定部114に出力する。The positional
Specifically, for example, a marker is set in advance at a predetermined position in the space within the imaging range of the
The positional
図形位置判定部114は、位置関係取得部113から出力された、路面とカメラ101との位置関係の情報、および、プロジェクタ2とカメラ101との位置関係の情報と、図形受付部112から出力された第1の図形情報とに基づき、第1の図形が、路面上のどの位置に対応付けられるかを判定する(ステップST403)。
The graphic
そして、図形位置判定部114は、第1の図形が、路面上であるかどうかを判定し(ステップST404)、路面外であった場合(ステップST404の“NO”の場合)は、第1の図形が路面に投影不可であることを示すエラー情報を表示制御部117、または、音声出力制御部118に出力する(ステップST407)。
表示制御部117は、図形位置判定部114からエラー情報が出力されると、表示部102に、エラーメッセージ等、エラー情報に応じた情報を表示させる。また、音声出力制御部118は、図形位置判定部114からエラー情報が出力されると、音声出力装置103に、ブザー音、または、エラーメッセージ等、エラー情報に応じた音、または、音声を出力させる。なお、図形位置判定部114は、エラー情報を、表示制御部117、および、音声出力制御部118の両方に出力するようにしてもよい。Then, the figure
When the error information is output from the graphic
一方、第1の図形が路面上であった場合(ステップST404の“YES”の場合)、図形位置判定部114は、第1の図形情報を、路面とカメラ101の位置関係の情報、および、プロジェクタ2とカメラ101の位置関係の情報とともに、座標変換部115に出力する。
On the other hand, when the first graphic is on the road surface (in the case of “YES” in step ST404), graphic
座標変換部115は、ステップST404において図形位置判定部114が出力した、路面とカメラ101との位置関係の情報と、プロジェクタ2とカメラ101との位置関係の情報と、第1の図形情報から、プロジェクタ2が路面に投影すべき第2の図形に関する第2の図形情報を算出する(ステップST405)。
座標変換部115は、算出した第2の図形情報を、指示部116に出力する。The coordinate
The coordinate
指示部116は、プロジェクタ2に、ステップST405において座標変換部115が算出した第2の図形情報を出力する(ステップST406)。
プロジェクタ2では、描画指示受付部21が、指示部116から出力された第2の図形情報を受け付け、描画部22が、第2の図形情報が示す第2の図形を路面に投影する。The
In the
図形受付部112は、引き続き、第1の図形情報を受け付けたかどうかを判定し(ステップST408)、第1の図形情報を受け付けた場合(ステップST408の“YES”の場合)、ステップST402に戻り、以降の処理を繰り返す。
第1の図形情報を受け付けない場合(ステップST408の“NO”の場合)、処理終了する。第1の図形情報を受け付けない場合とは、例えば、新たな第1の図形情報が所定時間入力されなかった場合、または、ユーザが第1の図形情報の入力処理を終了する操作を行った場合である。The
If the first graphic information is not received ("NO" in step ST408), the process ends. The case where the first graphic information is not accepted is, for example, a case where new first graphic information has not been input for a predetermined time, or a case where the user has performed an operation to end the input processing of the first graphic information. It is.
一般的に、例えば、プロジェクションマッピング等を作成するような状況においては、ユーザは、表示させたい図形等を、パソコン上で編集してプロジェクタで投影させる、という手順となる。パソコン上では、多くの場合、ユーザは、表示させる図形を正対した位置から見た状態で画像編集ソフト等を用いて編集することとなるが、作成した図形を投影させた際にどのような見た目になるかはユーザが想像するしかなく、例えば、非正対位置から見たときの見栄えを気にしながら編集することになり、ユーザにとって、図形を作成する作業は困難なものとなる。さらに、パソコンの画面上と、実空間上では、当然ながらスケールが異なるため、パソコンの画面上で表示される図形を実際に表示させてみると、ユーザが想定していたものと異なる見た目となるおそれもある。 In general, for example, in a situation where projection mapping or the like is created, the procedure is such that a user edits a figure or the like to be displayed on a personal computer and projects the figure on a personal computer. On a personal computer, in many cases, a user edits a graphic to be displayed using image editing software or the like while viewing the graphic from a position facing the user. The user has no choice but to imagine how to look. For example, the user edits while looking at the appearance when viewed from a non-facing position, and it is difficult for the user to create a figure. Furthermore, since the scale of the PC screen and the real space are naturally different, when the figures displayed on the PC screen are actually displayed, they look different from what the user expected. There is also a risk.
これに対し、実施の形態1では、上述のとおり、ユーザは、視認者が対象物上に描画された図形を非正対位置から見たときに、視認者に視認させたい所望の図形を、そのまま第1の図形としてタブレットPC100に描画することができる。その結果、ユーザにとっては、図形の編集が容易になる上、編集された図形(第2の図形)の品質も向上する。さらに、タブレットPC100からの入力を、実際に図形が投影されることとなる対象物を撮像した画像上に行うことができるため、ユーザは、実際のスケール感も確認しながら作業できることとなり、プロジェクタ2から投影させたい図形のイメージがずれることもなくなり、効率的に品質の高い図形を投影させるようにすることができる。
On the other hand, in the first embodiment, as described above, when the viewer sees the graphic drawn on the target from the non-directly facing position, the user wants to see the desired graphic that the viewer wants to see. It can be drawn on the
図6A,図6Bは、この発明の実施の形態1に係る表示編集装置1のハードウェア構成の一例を示す図である。
この発明の実施の形態1において、撮像画像取得部111と、図形受付部112と、位置関係取得部113と、図形位置判定部114と、座標変換部115と、表示制御部117と、音声出力制御部118の各機能は、処理回路601により実現される。すなわち、表示編集装置1は、取得した撮像画像と、ユーザから受け付けた第1の図形情報とに基づき、第1の図形を第2の図形に変換し、投影させる制御を行うための処理回路601を備える。
処理回路601は、図6Aに示すように専用のハードウェアであっても、図6Bに示すようにメモリ606に格納されるプログラムを実行するCPU(Central Processing Unit)605であってもよい。
6A and 6B are diagrams illustrating an example of a hardware configuration of the display editing device 1 according to the first embodiment of the present invention.
In Embodiment 1 of the present invention, captured
The
処理回路601が専用のハードウェアである場合、処理回路601は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field−Programmable Gate Array)、またはこれらを組み合わせたものが該当する。
When the
処理回路601がCPU605の場合、撮像画像取得部111と、図形受付部112と、位置関係取得部113と、図形位置判定部114と、座標変換部115と、指示部116と、表示制御部117と、音声出力制御部118の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、撮像画像取得部111と、図形受付部112と、位置関係取得部113と、図形位置判定部114と、座標変換部115と、表示制御部117と、音声出力制御部118は、HDD(Hard Disk Drive)602、メモリ606等に記憶されたプログラムを実行するCPU605、システムLSI(Large−Scale Integration)等の処理回路により実現される。また、HDD602、メモリ606等に記憶されたプログラムは、撮像画像取得部111と、図形受付部112と、位置関係取得部113と、図形位置判定部114と、座標変換部115と、指示部116と、表示制御部117と、音声出力制御部118の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ606とは、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read−Only Memory)等の、不揮発性または揮発性の半導体メモリや、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)等が該当する。
When the
なお、撮像画像取得部111と、図形受付部112と、位置関係取得部113と、図形位置判定部114と、座標変換部115と、指示部116と、表示制御部117と、音声出力制御部118の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、撮像画像取得部111については専用のハードウェアとしての処理回路601でその機能を実現し、図形受付部112と、位置関係取得部113と、図形位置判定部114と、座標変換部115と、指示部116と、表示制御部117と、音声出力制御部118については処理回路がメモリ606に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
記憶部119は、例えば、HDD602を使用する。なお、これは一例にすぎず、記憶部119は、DVD、メモリ606等によって構成されるものであってもよい。
また、表示編集装置1は、カメラ101、表示部102、または、プロジェクタ2等の外部機器との通信を行う入力インタフェース装置603、出力インタフェース装置604を有する。例えば、撮像画像取得部111は、カメラ101で撮像された撮像画像を、入力インタフェース装置603を利用して取得する。また、例えば、図形受付部112は、ユーザの入力操作による第1の図形情報を、入力インタフェース装置603を利用して取得する。また、例えば、指示部116は、第2の図形情報を、出力インタフェース装置604を利用してプロジェクタ2に送信する。Note that the captured
The
In addition, the display editing device 1 includes an
以上のように、この実施の形態1によれば、表示編集装置1は、カメラ101が対象物を撮像した画像を取得する撮像画像取得部111と、画像上に描画された第1の図形に関する第1の図形情報を受け付ける図形受付部112と、画像が撮像された際の対象物とカメラとの位置関係を取得する位置関係取得部113と、位置関係取得部113が取得した位置関係と、第1の図形情報とから、第2の図形情報を算出する座標変換部115と、座標変換部115が算出した第2の図形情報を、対象物上への描画を行う描画装置に出力する指示部116とを備えるようにした。そのため、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形を認識できるように、描画装置に描画を指示するための図形情報を編集することができる。
なお、この実施の形態1においては、対象物を撮影する際のカメラの位置は、任意の位置とすることができる。したがって、この実施の形態1は、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形が認識されるように、描画装置に描画を指示する場合に、特に効果的であるが、対象物上に描画される図形を、視認者が「正対位置」から見る際に所望の図形を認識させたい場合も含めて、描画装置に描画を指示するための図形情報を編集することができるものである。As described above, according to the first embodiment, the display / editing apparatus 1 relates to the captured
In the first embodiment, the position of the camera when capturing an image of an object can be set to an arbitrary position. Therefore, the first embodiment is particularly suitable for instructing a drawing apparatus to draw so that a desired figure is recognized when a viewer looks at a figure drawn on an object from a non-facing position. Although effective, a figure for instructing the drawing apparatus to draw a figure including a case where the viewer wants to recognize a desired figure when viewing the figure drawn on the target object from the “facing position” Information can be edited.
実施の形態2.
実施の形態1では、ユーザは、図形が投影される対象物の表面を、非正対位置から見た状態で第1の図形を描画するため、多くの場合、プロジェクタ2から投影される第2の図形は、プロジェクタ2側または自動車側から見た場合には対称形とはならない。しかし、プロジェクタ2が路面に対して投影する図形の目的によっては、当該図形をプロジェクタ2または自動車側から見た場合に対称形とすることが望ましい場合がある。例えば、自動車に取り付けられたプロジェクタ2から投影する図形によって、自動車の周囲の歩行者等を視認者として想定し、当該歩行者等に自動車の進行方向を視認させる用途の場合、任意の位置の歩行者等が自動車の進行方向を正確に視認できるようにするためには、プロジェクタ2側または自動車側から見た場合に対称形となる図形を、プロジェクタ2から投影することが望ましい。
実施の形態2では、ユーザが、図形が投影される対象物の表面を非正対位置から見た状態で第1の図形を描画する場合であっても、想定される視認者の位置から見て視認しやすく、かつ、プロジェクタ2側または自動車側から見て対称形となる所望の図形を、第2の図形としてプロジェクタから投影できるようにする実施の形態について説明する。
なお、実施の形態2においても、実施の形態1同様、一例として、表示編集装置1a(後述する)は、タブレットPC100に搭載され、ユーザは、路面周辺の路上にいる視認者が、自動車に取り付けられたプロジェクタ2によって当該路面上に投影される静止画を見る際に視認できる所望の静止画を、タブレットPC100を用いて描画し、表示編集装置は、当該ユーザが描画した静止画に基づいて、プロジェクタ2に投影を指示するための図形情報を編集するものとする。
In the first embodiment, the user draws the first figure while viewing the surface of the object on which the figure is projected from the non-directly facing position. Is not symmetric when viewed from the
In the second embodiment, even when the user draws the first figure while viewing the surface of the object on which the figure is projected from the non-directly facing position, the user may view the first figure from the assumed position of the viewer. An embodiment will be described in which a desired figure which is easy to visually recognize and is symmetrical when viewed from the
In the second embodiment, as in the first embodiment, as an example, the display / editing device 1a (described later) is mounted on the
実施の形態2の表示編集システムの構成は、実施の形態1において、図1を用いて説明した構成と同様であるため、重複した説明を省略する。また、実施の形態2のプロジェクタ2の構成は、実施の形態1において、図3を用いて説明した構成と同様であるため、重複した説明を省略する。
The configuration of the display editing system according to the second embodiment is the same as the configuration described with reference to FIG. 1 in the first embodiment, and thus redundant description will be omitted. The configuration of the
図7は、実施の形態2の表示編集装置1aの構成例を示すブロック図である。
図7において、実施の形態1で図2を用いて説明した構成と同様の構成については同じ符号を付して重複した説明を省略する。
表示編集装置1aは、実施の形態1の表示編集装置1とは、図形補完部120をさらに備える点が異なる。FIG. 7 is a block diagram illustrating a configuration example of the display editing device 1a according to the second embodiment.
In FIG. 7, the same components as those described in Embodiment 1 with reference to FIG. 2 are denoted by the same reference numerals, and redundant description will be omitted.
The display editing device 1a is different from the display editing device 1 of the first embodiment in that the display editing device 1a further includes a graphic complementing unit 120.
図形補完部120は、ユーザによる第1の図形情報の描画が始まる前の任意のタイミングで、表示制御部117に対して、表示部102に表示された画像上に重畳してガイドを表示させる。また、図形受付部112が受け付けた第1の図形情報を取得すると、当該第1の図形情報に基づき、第1の図形がプロジェクタ2側または自動車側から見て左右対称となるよう補完し、補完後の第1の図形の図形情報(以下「補完後第1の図形情報」という。)を作成する。
例えば、図形補完部120は、ガイドとして、プロジェクタ2側または自動車側から見て左右対称であるグリッドの画像を表示させる。また、実施の形態2において、図形補完部120は、画像内における路面の位置にガイドを重畳して表示させる。
図形補完部120は、補完後第1の図形情報を、図形位置判定部114に出力する。また、図形補完部120は、表示制御部117にも補完後第1の図形情報を出力し、表示部102が表示している画像上に重畳して補完後第1の図形情報を表示させる。(なお、図7において、図形補完部120から表示制御部117に対する情報出力のための接続線の記載は省略している。)
図形位置判定部114は、位置関係取得部113から出力された、路面とカメラ101の位置関係の情報、および、プロジェクタ2とカメラ101の位置関係の情報と、図形補完部120から出力された補完後第1の図形情報とに基づき、補完後の第1の図形が、路面上のどの位置に対応付けられるかを判定する。The graphic complementing unit 120 causes the
For example, the graphic complementing unit 120 displays, as a guide, an image of a grid that is symmetrical when viewed from the
The graphic complementing unit 120 outputs the complemented first graphic information to the graphic
The graphic
表示編集装置1aのハードウェア構成は、実施の形態1において図6A、および、図6Bを用いて説明した構成と同様であるため、重複した説明を省略する。
図形補完部120は、撮像画像取得部111、図形受付部112、位置関係取得部113、図形位置判定部114、座標変換部115、指示部116、表示制御部117、および、音声出力制御部118同様、処理回路601により実現される。The hardware configuration of the display editing apparatus 1a is the same as the configuration described with reference to FIGS. 6A and 6B in the first embodiment, and thus redundant description will be omitted.
The graphic complementing unit 120 includes a captured
次に、実施の形態2の表示編集装置1aの動作について説明する。
図8は、実施の形態2の表示編集装置1aの動作を説明するフローチャートである。
図8のステップST801,803〜809の具体的な動作は、実施の形態1で説明した、図4のステップST401〜408の具体的な動作と同様であるため重複した説明を省略する。
実施の形態2では、図4を用いて説明した動作に対して、図8のステップST802の動作が追加になっているのみである。なお、ST801において図形受付部112が、第1の図形情報を受け付ける前に、図形補完部120によって、表示部102にガイドが既に表示されているものとする。Next, the operation of the display editing device 1a according to the second embodiment will be described.
FIG. 8 is a flowchart illustrating the operation of the display editing device 1a according to the second embodiment.
The specific operations in steps ST801 and ST803 to 809 in FIG. 8 are the same as the specific operations in steps ST401 to ST408 in FIG. 4 described in the first embodiment, and a description thereof will not be repeated.
In the second embodiment, only the operation of step ST802 in FIG. 8 is added to the operation described using FIG. It is assumed that the guide has already been displayed on the
ステップST801において、図形受付部112は、第1の図形情報を受け付けると、受け付けた第1の図形情報を図形補完部120に出力する。
図形補完部120は、図形受付部112から出力された第1の図形情報に基づき、第1の図形が左右対称となるよう補完し、補完後第1の図形情報を作成する。
図形補完部120は、補完後第1の図形情報を、図形位置判定部114に出力する。また、図形補完部120は、表示制御部117にも補完後第1の図形情報を出力する。表示制御部117は、補完後第1の図形情報を取得すると表示部102が表示している画像上に重畳して補完後第1の図形情報が示す補完後の第1の図形を表示させる。In step ST801, upon receiving the first graphic information,
Based on the first graphic information output from the
The graphic complementing unit 120 outputs the complemented first graphic information to the graphic
ここで、図9は、実施の形態2において、ガイドおよび補完後の第1の図形が表示された表示部102の画面の一例を示す図である。
図9では、一例として、ユーザは、第1の図形として、斜めの線(図9の9a)を入力したものとしている。
図形補完部120は、ユーザが入力した第1の図形が、プロジェクタ2側または自動車側から見て左右対称になるよう、斜めの線(図9の9b)を補完する。Here, FIG. 9 is a diagram illustrating an example of a screen of the
In FIG. 9, as an example, it is assumed that the user has input an oblique line (9a in FIG. 9) as the first graphic.
The graphic complementing section 120 complements the oblique line (9b in FIG. 9) so that the first graphic input by the user is symmetric when viewed from the
位置関係取得部113は、路面とカメラ101、および、プロジェクタ2とカメラ101の位置関係を取得し(ステップST803)、図形位置判定部114は、位置関係取得部113から出力された、路面とカメラ101との位置関係の情報、および、プロジェクタ2とカメラ101との位置関係の情報と、図形補完部120から出力された補完後第1の図形情報とに基づき、補完後の第1の図形が、路面上のどの位置に対応付けられるかを判定する(ステップST804)。
The positional
なお、以上の実施の形態2では、図形補完部120は、ガイドとしてグリッドを表示させるようにしたが、これは一例に過ぎない。図形補完部120は、プロジェクタ2側または自動車側から見て左右対称となる図形を編集することを意図するユーザに対し、入力を補助するような任意の情報をガイドとして表示させればよい。
また、図形補完部120は、ガイドは表示させず、第1の図形が左右対称となるよう当該第1の図形を補完し、補完された左右対称な第1の図形のみを表示させるようにしてもよい。In the second embodiment, the graphic complementing unit 120 displays the grid as a guide, but this is only an example. The graphic complementing unit 120 may display, as a guide, any information that assists an input to a user who intends to edit a graphic that is symmetrical when viewed from the
The graphic complementing unit 120 does not display the guide, complements the first graphic so that the first graphic is symmetrical, and displays only the complemented left-right symmetric first graphic. Is also good.
また、以上の実施の形態2では、図形補完部120は、第1の図形が左右対称となるよう、当該第1の図形を補完するものとしたが、補完の方法は左右対称に限らない。図形補完部120は、第1の図形を、プロジェクタ側または自動車側からみて、例えば、上下対称となるよう補完してもよいし、上下左右対称となるよう補完してもよいし、三方対称となるよう補完してもいし、点対称となるよう補完してもよい。 In the second embodiment, the graphic complementing unit 120 complements the first graphic so that the first graphic is symmetrical. However, the complementing method is not limited to the left-right symmetry. The graphic complementing unit 120 may complement the first graphic, for example, to be vertically symmetrical, to be vertically symmetrical, or to be three-dimensionally symmetric when viewed from the projector side or the automobile side. It may be complemented so as to make it point-symmetric.
以上のように、実施の形態2によれば、図形受付部112が受け付けた第1の図形情報に基づき、第1の図形が左右対称となるよう第1の図形を補完し、補完後第1の図形情報を作成する図形補完部120を備え、座標変換部115は、位置関係取得部113が取得した位置関係と、図形補完部120が作成した補完後第1の図形情報から、第2の図形情報を算出するようにした。これにより、ユーザは任意の視点から図形の作成を行った場合も、描画装置からみて対称形となった図形が表示されるようにすることができ、品質の高い図形の作成を行うことができる。
As described above, according to the second embodiment, based on the first graphic information received by
実施の形態3.
実施の形態1,2では、例えば、プロジェクタ2が取り付けられた自動車は停止しているものとし、自動車が走行することによりプロジェクタ2の位置も移動する場合、あるいは自動車の走行状態が変化する場合等、プロジェクタ2に関連する状況が変化することは想定していなかった。
実施の形態3では、プロジェクタ2に関連する状況が変化する場合も、当該状況の変化にあわせて、ユーザの所望の図形を、プロジェクタ2から投影できる実施の形態について説明する。
なお、実施の形態3においても、実施の形態1,2同様、一例として、表示編集装置1b(後述する)は、タブレットPC100に搭載され、ユーザは、路面周辺の路上にいる視認者が、自動車に取り付けられたプロジェクタ2によって当該路面上に投影される静止画を見る際に視認できる所望の静止画を、タブレットPC100を用いて描画し、表示編集装置は、当該ユーザが描画した静止画に基づいて、プロジェクタ2に投影を指示するための図形情報を編集するものとする。Embodiment 3 FIG.
In the first and second embodiments, for example, it is assumed that the vehicle to which the
In the third embodiment, an embodiment will be described in which a user's desired figure can be projected from
In the third embodiment, as in the first and second embodiments, as an example, the
図10は、実施の形態3の表示編集装置1bの構成例を示すブロック図である。
図10において、実施の形態1で図2を用いて説明した構成と同様の構成については同じ符号を付して重複した説明を省略する。
表示編集装置1bは、実施の形態1の表示編集装置1とは、状況情報取得部121、および、図形情報取得部122をさらに備える点が異なる。FIG. 10 is a block diagram illustrating a configuration example of a
10, the same components as those described in Embodiment 1 with reference to FIG. 2 are denoted by the same reference numerals, and redundant description will be omitted.
The
実施の形態3の表示編集システムの構成は、実施の形態1において、図1を用いて説明した構成と同様であるため、重複した説明を省略する。また、実施の形態3のプロジェクタ2の構成は、実施の形態1において、図3を用いて説明した構成と同様であるため、重複した説明を省略する。
The configuration of the display / editing system according to the third embodiment is the same as that described in the first embodiment with reference to FIG. Further, the configuration of the
状況情報取得部121は、プロジェクタ2の状況情報を取得する。実施の形態3では、状況情報取得部121は、プロジェクタ2が取り付けられている自動車から、車両に関する車両情報を、プロジェクタ2の状況情報として取得するものとする。車両情報とは、自動車に取り付けられたプロジェクタ2に関する情報も含む、自動車に関する種々の情報であって、プロジェクタ2から投影される静止画を変更すべき契機となりうる任意の情報である。例えば、車両情報は、自動車の位置情報、もしくは、自動車に取り付けられているプロジェクタ2の位置情報、または、自動車が駐車している状態、自動車が走行している方向、もしくは、自動車の走行速度等の自動車の走行状態に関する情報である。
状況情報取得部121は、取得した車両情報を、図形情報取得部122に出力する。The status
The situation
図形情報取得部122は、状況情報取得部121から出力された車両情報が示すプロジェクタ2の状況と、当該状況において算出された第2の図形情報を関連付けて、記憶部119に記憶させる。したがって、記憶部119には、実施の形態1,2で説明した情報に加えて、プロジェクタ2の状況と当該状況に対応する第2の図形情報とが関連付けられて記憶される。
例えば、ユーザは、想定される視認者がある1つの位置にとどまっているとして、当該位置に対して、複数の異なる地点に自動車がある場合のそれぞれにおいて、視認者が視認すべき第1の図形を、タブレットPC100の画面上で描画することで、複数の第1の図形を描画する。表示編集装置1bは、複数の第1の図形を示す複数の第1の図形情報のそれぞれに対して、第2の図形情報を算出する。図形情報取得部122は、複数の第2の図形情報のそれぞれに対して、関連する自動車の位置情報を関連付けて、記憶部119に記憶させる。詳細は後述する。The graphic
For example, assuming that the assumed viewer stays at one position, the first figure to be visually recognized by the viewer in each case where there are cars at a plurality of different points with respect to the position. Are drawn on the screen of the
表示編集装置1bのハードウェア構成は、実施の形態1において図6A、および、図6Bを用いて説明した構成と同様であるため、重複した説明を省略する。
状況情報取得部121、および、図形情報取得部122は、撮像画像取得部111、図形受付部112、位置関係取得部113、図形位置判定部114、座標変換部115、指示部116、表示制御部117、および、音声出力制御部118と同様に、処理回路601により実現される。The hardware configuration of the
The situation
次に、実施の形態3の表示編集装置1bの動作について説明する。
以下の説明では、一例として、プロジェクタ2が自動車の位置に応じて投影する図形を変更する場合に、ユーザが、表示編集装置1bを使用して、それぞれの位置における図形を編集する際の動作について説明する。
この場合、ユーザは、予め、プロジェクタ2が取り付けられた自動車が、異なる複数地点にある状態において、それぞれ、タブレットPC100のタッチパネルを操作して、表示部102に表示された画像上に、第1の図形を描画する。ここでは、複数地点は、例えば3地点であり、ユーザは、自動車が当該3地点のそれぞれにある状態に対して、第1の図形を描画するものとする。Next, the operation of the
In the following description, as an example, when the
In this case, the user operates the touch panel of the
表示編集装置1bは、3地点において、その都度、ユーザが描画した第1の図形を受け付け、路面とカメラ101との位置関係、および、プロジェクタ2とカメラ101との位置関係を判定し、判定した位置関係の情報と、第1の図形情報とから、プロジェクタ2が路面に投影すべき第2の図形情報を算出する。当該動作は、実施の形態1において、図4のフローチャートを用いて説明した動作と同様であるが、実施の形態3では、さらに、表示編集装置1bにおいて、以下の動作を行う。
The
表示編集装置1bにおいて、座標変換部115は、第2の図形情報を算出すると(図4のステップST405参照)、当該第2の図形情報を、指示部116および図形情報取得部122に出力する。図形情報取得部122は、当該第2の図形情報を、状況情報取得部121から出力された車両情報が示すプロジェクタ2の位置と関連付けて、記憶部119に記憶させる。
座標変換部115が、第2の図形情報を図形情報取得部122に出力するタイミングは、少なくとも、プロジェクタ2の1つの位置に対して、座標変換部115によって算出された1つの第2の図形情報が記憶されるタイミングであればよい。例えば、当該タイミングは、ユーザが、プロジェクタ2の1つの位置に対して、第1の図形を描画終了した場合に、表示部102に表示された記憶ボタンをタッチする等して指示したタイミングとすることができる。
これにより、想定される視認者の1つの位置からみて、自動車が異なる3地点にある場合のそれぞれにおいて、プロジェクタ2の位置と第2の図形情報とが関連付けられて、記憶部119に記憶されることになる。In the
The timing at which the coordinate
Thereby, the position of the
以上の説明では、記憶部119に第2の図形情報と関連付けて記憶させておく車両情報をプロジェクタ2の位置情報とする場合の、表示編集装置1bの動作について説明した。しかし、これは一例に過ぎず、表示編集装置1bは、プロジェクタ2の位置情報以外の車両情報と第2の図形情報とを関連付けて記憶部119に記憶させることもできるので、以下、例をあげて説明する。
In the above description, the operation of the
例えば、表示編集装置1bは、車両情報として、自動車の駐車状態または自動車が走行する方向に関する情報を取得し、それぞれの情報が示す状態と関連付けて、それぞれ異なる第2の図形情報を記憶部119に記憶させることができる。
なお、この場合の車両情報は、図形の編集用に用意された情報であり、自動車が、実際に当該車両情報が示す状態である必要はない。For example, the
Note that the vehicle information in this case is information prepared for editing a figure, and the vehicle does not need to be actually in the state indicated by the vehicle information.
また、例えば、表示編集装置1bは、車両情報として、自動車の走行速度の情報を取得し、それぞれの情報が示す状態と関連付けて、それぞれ異なる第2の図形情報を記憶部119に記憶させることができる。
なお、この場合の車両情報も、図形の編集用に用意された情報であり、自動車が、実際に当該車両情報が示す走行速度で走行している状態である必要はない。また、この場合、走行速度を、例えば、10km/時毎に区切った複数の走行速度のそれぞれに対して、ユーザが第1の図形を描画し、図形情報取得部122は、それぞれの第1の図形を示す第1の図形情報に対して、座標変換部115が算出した異なる第2の図形情報を走行速度と関連付けて、記憶部119に記憶させるようにすればよい。Further, for example, the
Note that the vehicle information in this case is also information prepared for editing a figure, and it is not necessary that the vehicle is actually running at the traveling speed indicated by the vehicle information. In this case, the user draws a first graphic for each of a plurality of traveling speeds obtained by dividing the traveling speed by, for example, every 10 km / hour, and the graphic
また、例えば、表示編集装置1bは、自動車の走行速度の閾値と、自動車の走行速度が閾値未満の場合の第2の図形と、自動車の走行速度が閾値以上となった場合の第2の図形の変形の態様を、記憶部119に記憶させておくようにしてもよい。第2の図形の変形の態様は、例えば、第2の図形の拡大、または、点滅等とすることができる。
In addition, for example, the
このように、表示編集装置1bにおいて、どの車両情報が示すプロジェクタ2の状況に関連付けて、どのような第2の図形を記憶させるかは、適宜設定可能である。
As described above, in the
また、表示編集装置1bにおいて、記憶部119に記憶された複数の第2の図形情報については、プロジェクタ2の1つの状況に関連付けられた第2の図形情報と、プロジェクタ2の他の状況に関連付けられた第2の図形情報との間を、既存の画像処理技術を用いて補完して、各状況間の中間的な状況において使用される第2の図形情報を算出することもできる。例えば、想定される視認者の1つの位置からみて、自動車が異なる3地点にある場合のそれぞれにおいて、プロジェクタ2の位置と第2の図形情報とが関連付けられて、記憶部119に記憶されている場合、すでに記憶されている3つの第2の図形情報のうち、隣り合う2地点に関連付けられた2つの第2の図形情報を、連続的に変形させるような画像処理を行い、当該2地点の間に自動車がある場合における第2の図形情報を、算出することができる。
この場合、プロジェクタ2は、自動車の移動に応じて、連続的に変化する第2の図形情報を路面に投影することができ、視認者にとっても違和感のない図形表示を行うことができる。Further, in the
In this case, the
以上のように、実施の形態3によれば、描画装置の状況を取得する状況情報取得部121を備え、第2の図形情報と、状況情報取得部121により取得された、当該第2の図形情報が算出された際の描画装置の状況を示す情報とを関連付けて、記憶部119に記憶させるようにした。これにより、描画装置に関わる状況の変化が生じる場合においても、状況に応じて、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形を認識できるように、描画装置に描画を指示するための図形情報を編集することができる。
As described above, according to the third embodiment, the situation
なお、以上の実施の形態3では、当該実施の形態3を実施の形態1に適用し、表示編集装置1bは、実施の形態1の表示編集装置1に対して、状況情報取得部121と図形情報取得部122とをさらに備えるものとした。しかしながら、これに限らず、実施の形態3を実施の形態2に適用するようにしてもよい。すなわち、表示編集装置1bは、図7を用いて説明した実施の形態2の表示編集装置1aに対して、状況情報取得部121と図形情報取得部122とをさらに備えるようにしてもよい。
In the above-described third embodiment, the third embodiment is applied to the first embodiment, and the
また、以上の実施の形態1〜3では、一例として、自動車に取り付けられたプロジェクタ2は、路面に対して静止画としての図形を投影するものであり、表示編集装置1〜1bは、静止画としての図形を編集するものとした。
しかしながら、これは一例に過ぎず、自動車に取り付けられたプロジェクタ2が、路面に対して動画としての図形を投影するものである場合、表示編集装置1〜1bは、動画としての図形を編集するものとすることもできる。この場合、例えば、ユーザは、既存の描画アプリ等を使用し、第1の図形としてアニメーション等の動画を描画するようにすればよい。In the first to third embodiments, as an example, the
However, this is only an example, and when the
また、表示編集装置1〜1bにおいて算出された第2の図形情報は、当該第2の図形情報が静止画または動画のいずれであっても、任意のデータ形式で取り出すことができる。したがって、例えば、一度表示編集装置1〜1bにおいて、第1の図形情報に基づき算出された第2の図形情報が示す第2の図形を、別の自動車に取り付けられたプロジェクタからも投影させたい場合は、表示編集装置1〜1bから第2の図形情報を取り出してデータを別の自動車に取り付けられたプロジェクタを制御する制御装置が有する記憶装置にコピーすることで、同じ第2の図形を、別の自動車に取り付けられたプロジェクタから投影させて再現することができる。 In addition, the second graphic information calculated by the display editing apparatuses 1 to 1b can be extracted in an arbitrary data format regardless of whether the second graphic information is a still image or a moving image. Therefore, for example, when it is desired to project the second graphic indicated by the second graphic information calculated based on the first graphic information from the projector attached to another automobile once in the display editing apparatuses 1 to 1b. Retrieves the second graphic information from the display editing devices 1 to 1b, and copies the data to a storage device of a control device for controlling a projector attached to another vehicle, so that the same second graphic is Can be reproduced by projecting from a projector attached to an automobile.
また、以上の実施の形態1〜3では、表示編集装置1〜1bは、タブレットPC100に搭載されるものとしたが、これに限らない。表示編集装置1〜1bが搭載される装置は、ユーザが、表示画面上で、あるいは、直接に、第2の図形が描画される対象となる実空間を見ることができ、当該ユーザが、実空間に重なって見えるように、静止画または動画を入力して表示できるような装置であればどのようなものでもよい。例えば、表示編集装置1〜1bが搭載される装置を、通常のPCのディスプレイ背面にビデオカメラが設置されたものとし、ユーザが、ビデオカメラで実空間を撮像し、PCの表示画面上に表示された実空間の画像上に第1の図形を描画できるような構成としてもよい。また、例えば、表示編集装置1〜1bが搭載される装置を、シースルー型のヘッドマウントディスプレイとし、ユーザが当該ヘッドマウントディスプレイを装着するとともに、当該ユーザの指先を三次元トラッカで認識するようにして、ユーザが直接実空間を見ながら、当該実空間に重ねて第1の図形を描画できるような構成としてもよい。
In the first to third embodiments, the display / editing apparatuses 1 to 1b are mounted on the
また、以上の実施の形態1〜3では、図形が描画される対象物を路面とし、描画装置は、路面に光を投影するプロジェクタ2としたが、これに限らない。
例えば、描画装置は、マーカ等を保持したアームによりホワイトボード等に描画するロボットであっても良いし、テープ等を使って地面等に描画を行う自走式のロボットであってもよい。
このように、対象物は、路面に限らず、ホワイトボード等の任意の面とすることができる。また、対象物は、凹凸を含む面であってもよい。また、描画装置は、プロジェクタ2に限らず、ロボットのアーム等、図形を描画させることができる任意の装置とすることができる。また、描画装置は、機械的に形状が変わるマスクが光源に取り付けられ、マスクの形状を変化させることによって、図形が視認されるような装置であってもよい。In the first to third embodiments, the object on which the graphic is drawn is the road surface, and the drawing device is the
For example, the drawing device may be a robot that draws on a whiteboard or the like with an arm holding a marker or the like, or may be a self-propelled robot that draws on the ground or the like using a tape or the like.
In this way, the target object is not limited to a road surface, but may be any surface such as a white board. Further, the target object may be a surface including irregularities. Further, the drawing device is not limited to the
以上の実施の形態1〜3では、描画装置が光を路面に投影するプロジェクタ2であり、表示編集装置1〜1bが、当該プロジェクタ2に所望の図形を投影させるための第2の図形情報を編集するものであった。この場合、プロジェクタ2と路面との位置関係等によって、プロジェクタ2から投影される第2の図形は、路面上では変形することがあるため、表示編集装置1〜1bの座標変換部115は、路面とカメラ101との位置関係の情報と、プロジェクタ2とカメラ101との位置関係の情報とに基づき、第2の図形情報を算出するようにした。
しかしながら、例えば、描画装置がマーカ等を保持したアームによりホワイトボード等に描画するロボット、または、テープ等を使って地面等に描画を行う自走式のロボットの場合には、描画される図形は第2の図形そのものとなるため、カメラ101と対象物との位置関係さえわかれば、座標変換部115は、第2の図形情報を算出することができる。
したがって、この場合、位置関係取得部113は、カメラ101と対象物との位置関係を取得するようになっていればよく、座標変換部115は、カメラ101と対象物との位置関係の情報と、第1の図形情報から、第2の図形情報を算出するようにすればよい。In the above first to third embodiments, the drawing device is the
However, for example, in the case of a robot in which a drawing device draws on a whiteboard or the like by an arm holding a marker or the like, or a self-propelled robot that draws on the ground or the like using a tape or the like, the figure to be drawn is Since the second graphic itself is used, if only the positional relationship between the
Therefore, in this case, the positional
また、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 Further, within the scope of the present invention, any combination of the embodiments, a modification of any component of each embodiment, or an omission of any component in each embodiment is possible within the scope of the invention. .
この発明に係る表示編集装置は、視認者が対象物上に描画される図形を非正対位置から見る際に所望の図形を視認できるように、描画装置に描画を指示するための図形情報を編集することができるため、任意の対象物上に図形の描画を行う描画装置に描画を指示するための図形情報を編集する表示編集装置等に適用することができる。 The display / editing device according to the present invention is provided with graphic information for instructing a drawing device to perform drawing so that a viewer can visually recognize a desired figure when viewing a figure drawn on an object from a non-facing position. Since the editing can be performed, the present invention can be applied to a display editing apparatus that edits graphic information for instructing a drawing apparatus that draws a figure on an arbitrary object to draw.
1 表示編集装置、2 プロジェクタ、51 自動車、100 タブレットPC、101 カメラ、102 表示部、103 音声出力装置、111 撮像画像取得部、112 図形受付部、113 位置関係取得部、114 図形位置判定部、115 座標変換部、116 指示部、117 表示制御部、118 音声出力制御部、119 記憶部、120 図形補完部、121 状況情報取得部、122 図形情報取得部。 Reference Signs List 1 display editing device, 2 projector, 51 car, 100 tablet PC, 101 camera, 102 display unit, 103 audio output device, 111 captured image acquisition unit, 112 graphic reception unit, 113 positional relationship acquisition unit, 114 graphic position determination unit, 115 coordinate conversion unit, 116 instruction unit, 117 display control unit, 118 sound output control unit, 119 storage unit, 120 graphic complementing unit, 121 status information obtaining unit, 122 graphic information obtaining unit.
Claims (9)
表示部に表示された前記画像上にさらに描画された第1の図形に関する第1の図形情報を受け付ける図形受付部と、
前記画像が撮像された際の前記対象物と前記カメラとの位置関係を取得する位置関係取得部と、
前記位置関係取得部が取得した位置関係と、前記第1の図形情報とから、前記撮像画像取得部が取得した画像が撮像された際のカメラ位置から見て、前記第1の図形が形を変えることなく視認者に視認されるような図形を前記対象物上に描画するための第2の図形に関する第2の図形情報を算出する座標変換部と、
前記座標変換部が算出した第2の図形情報を、前記対象物上への描画を行う描画装置に出力する指示部
とを備えた表示編集装置。 A captured image acquisition unit for acquiring an image of the object captured by the camera,
A graphic receiving unit that receives first graphic information regarding a first graphic further drawn on the image displayed on the display unit;
A positional relationship acquisition unit that acquires a positional relationship between the object and the camera when the image is captured,
Based on the positional relationship acquired by the positional relationship acquisition unit and the first graphic information, the first graphic has a shape as viewed from the camera position when the image acquired by the captured image acquisition unit is captured. A coordinate conversion unit that calculates second graphic information relating to a second graphic for drawing a graphic that can be visually recognized by a viewer on the object without changing the graphic;
An instruction unit for outputting the second graphic information calculated by the coordinate conversion unit to a drawing device for drawing on the object.
前記位置関係取得部は、前記画像が撮像された際の前記対象物と前記カメラとの位置関係に加えて、前記画像が撮像された際の前記描画装置と前記対象物との位置関係を取得し、
前記座標変換部は、前記位置関係取得部が取得した、前記対象物と前記カメラとの位置関係と、前記描画装置と前記対象物との位置関係と、前記第1の図形情報とから、前記第2の図形情報を算出する
ことを特徴とする請求項1記載の表示編集装置。 The drawing device is a projector that projects light onto the object,
The positional relationship acquisition unit acquires a positional relationship between the drawing device and the object when the image is captured, in addition to a positional relationship between the object and the camera when the image is captured. And
The coordinate conversion unit acquires the positional relationship between the object and the camera acquired by the positional relationship acquisition unit, the positional relationship between the drawing device and the object, and the first graphic information, The display / editing apparatus according to claim 1, wherein second graphic information is calculated.
ことを特徴とする請求項1記載の表示編集装置。 The display and editing device according to claim 1, wherein the drawing device is a device that draws directly on the object.
前記座標変換部は、前記位置関係取得部が取得した位置関係と、前記図形補完部が作成した補完後第1の図形情報から、前記第2の図形情報を算出する
ことを特徴とする請求項1記載の表示編集装置。 Based on the first graphic information received by the graphic receiving unit, the first graphic is complemented so that the shape of the first graphic on the object is bilaterally symmetric. It has a figure complement part to create,
The said coordinate conversion part calculates the said 2nd graphic information from the positional relationship acquired by the said positional relationship acquisition part, and the 1st graphic information after completion which the said graphic complementing part created. The display editing device according to 1.
前記第2の図形情報と、前記状況情報取得部により取得された、当該第2の図形情報が算出された際の前記描画装置の状況を示す情報とを関連付けて、記憶部に記憶させる図形情報取得部
とを備えた請求項1記載の表示編集装置。 A situation information acquisition unit that acquires a situation of the drawing apparatus, which may be an opportunity to change the second graphic information on which the drawing apparatus performs drawing ,
Graphic information to be stored in a storage unit in association with the second graphic information and information indicating the state of the drawing apparatus when the second graphic information was calculated, obtained by the status information obtaining unit. The display editing device according to claim 1, further comprising an acquisition unit.
前記座標変換部は、前記位置関係取得部が取得した位置関係と、前記図形補完部が作成した補完後第1の図形情報から、前記第2の図形情報を算出し、
前記図形補完部は、
前記タッチパネル上に、前記第1の図形を左右対称とするためのガイドを表示させる
ことを特徴とする請求項6記載の携帯機器。 Based on the first graphic information received by the graphic receiving unit, the first graphic is complemented so that the shape of the first graphic on the object is bilaterally symmetric. It has a figure complement part to create,
The coordinate conversion unit calculates the second graphic information from the positional relationship acquired by the positional relationship acquisition unit and the first graphic information after complementation created by the graphic complementing unit,
The figure complementing unit,
The mobile device according to claim 6, wherein a guide for making the first figure symmetrical on the touch panel is displayed on the touch panel.
図形受付部が、表示部に表示された前記画像上にさらに描画された第1の図形に関する第1の図形情報を受け付けるステップと、
位置関係取得部が、前記画像が撮像された際の前記対象物と前記カメラとの位置関係を取得するステップと、
座標変換部が、前記位置関係取得部が取得した位置関係と、前記第1の図形情報とから、前記撮像画像取得部が取得した画像が撮像された際のカメラ位置から見て、前記第1の図形が形を変えることなく視認者に視認されるような図形を前記対象物上に描画するための第2の図形に関する第2の図形情報を算出するステップと、
指示部が、前記座標変換部が算出した第2の図形情報を、前記対象物上への描画を行う描画装置に出力するステップ
とを備えた表示編集方法。 A step of acquiring a captured image of the target object by the camera,
A step in which the graphic receiving unit receives first graphic information on a first graphic further drawn on the image displayed on the display unit;
A step of acquiring a positional relationship between the object and the camera when the image is captured,
The coordinate conversion unit, based on the positional relationship acquired by the positional relationship acquisition unit and the first graphic information, as viewed from the camera position when the image acquired by the captured image acquisition unit is captured, Calculating second graphic information relating to a second graphic for drawing a graphic on the target object such that the graphic is visually recognized by a viewer without changing its shape;
An instruction unit for outputting the second graphic information calculated by the coordinate conversion unit to a drawing device that performs drawing on the object.
カメラが対象物を撮像した画像を取得し、
表示部に表示された前記画像上にさらに描画された第1の図形に関する第1の図形情報を受け付け、
前記画像が撮像された際の前記対象物と前記カメラとの位置関係を取得し、
取得した位置関係と、前記第1の図形情報とから、前記画像が撮像された際のカメラ位置から見て、前記第1の図形が形を変えることなく視認者に視認されるような図形を前記対象物上に描画するための第2の図形に関する第2の図形情報を算出し、
算出した第2の図形情報を、前記対象物上への描画を行う描画装置に出力する
処理を実行させるための表示編集プログラム。 On the computer,
The camera acquires an image of the object,
Receiving first graphic information on a first graphic further drawn on the image displayed on the display unit;
Obtain the positional relationship between the object and the camera when the image is captured,
From the acquired positional relationship and the first graphic information, a figure that is visually recognized by a viewer without changing its shape when viewed from the camera position when the image is captured. Calculating second graphic information relating to a second graphic to be drawn on the object;
A display editing program for executing a process of outputting the calculated second graphic information to a drawing device that performs drawing on the object.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/022519 WO2018235128A1 (en) | 2017-06-19 | 2017-06-19 | Display editing apparatus, display editing method, and display editing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018235128A1 JPWO2018235128A1 (en) | 2019-11-14 |
JP6671549B2 true JP6671549B2 (en) | 2020-03-25 |
Family
ID=64735553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019524719A Active JP6671549B2 (en) | 2017-06-19 | 2017-06-19 | Display editing device, portable device, display editing method, and display editing program |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP6671549B2 (en) |
DE (1) | DE112017007535B4 (en) |
WO (1) | WO2018235128A1 (en) |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10217192A (en) * | 1997-01-31 | 1998-08-18 | Kyokuto Sanki Co Ltd | System and method for cutting curtain |
JP2003348500A (en) * | 2002-03-19 | 2003-12-05 | Fuji Photo Film Co Ltd | Projection image adjustment method, image projection method, and projector |
JP2010283674A (en) | 2009-06-05 | 2010-12-16 | Panasonic Electric Works Co Ltd | Projection system and projection method |
JP2013083755A (en) | 2011-10-07 | 2013-05-09 | Canon Inc | Display device, method of controlling display device, and program |
JP2013235374A (en) * | 2012-05-08 | 2013-11-21 | Sony Corp | Image processing apparatus, and projection control method and program |
JP5973368B2 (en) * | 2013-03-13 | 2016-08-23 | 日本電信電話株式会社 | Spatial projection apparatus, spatial projection method, and spatial projection program |
WO2016014731A1 (en) * | 2014-07-22 | 2016-01-28 | Aplus Flash Technology, Inc. | Yukai vsl-based vt-compensation for nand memory |
JP2016144114A (en) * | 2015-02-04 | 2016-08-08 | セイコーエプソン株式会社 | Projector and method for controlling projector |
JP6636252B2 (en) | 2015-03-19 | 2020-01-29 | 株式会社メガチップス | Projection system, projector device, imaging device, and program |
JP6631181B2 (en) * | 2015-11-13 | 2020-01-15 | セイコーエプソン株式会社 | Image projection system, projector, and method of controlling image projection system |
-
2017
- 2017-06-19 DE DE112017007535.1T patent/DE112017007535B4/en not_active Expired - Fee Related
- 2017-06-19 JP JP2019524719A patent/JP6671549B2/en active Active
- 2017-06-19 WO PCT/JP2017/022519 patent/WO2018235128A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
DE112017007535T5 (en) | 2020-04-02 |
WO2018235128A1 (en) | 2018-12-27 |
JPWO2018235128A1 (en) | 2019-11-14 |
DE112017007535B4 (en) | 2021-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108780586B (en) | Image processing method, display device and inspection system | |
TWI450180B (en) | Display control device, display control method, program | |
JP4850984B2 (en) | Action space presentation device, action space presentation method, and program | |
JP4533087B2 (en) | Image processing method and image processing apparatus | |
JP4661866B2 (en) | Display control program executed in game device | |
US8388146B2 (en) | Anamorphic projection device | |
JP2023542668A (en) | Positioning tracking method and platform, head-mounted display system, and computer-readable storage medium | |
JP2011051403A (en) | Parking support system | |
JP5709440B2 (en) | Information processing apparatus and information processing method | |
WO2013108371A1 (en) | Image processing apparatus, image processing server, image processing method, image processing program, and recording medium | |
JP2006072903A (en) | Image compositing method and device | |
US20120105682A1 (en) | Image pickup apparatus generating composite image | |
JP2014179072A (en) | Three-dimensional fingertip tracking | |
JP6031819B2 (en) | Image processing apparatus and image processing method | |
WO2020179027A1 (en) | Head-mounted information processing device and head-mounted display system | |
JP6364389B2 (en) | Inspection method and inspection system | |
US20160191875A1 (en) | Image projection apparatus, and system employing interactive input-output capability | |
JP4945694B2 (en) | Video playback apparatus and video playback method | |
JP6671549B2 (en) | Display editing device, portable device, display editing method, and display editing program | |
JP5702476B2 (en) | Display device, control method, program, storage medium | |
JP7279113B2 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, COMPUTER PROGRAM | |
JP2004150918A (en) | Map displaying method | |
JP2008065522A (en) | Information display system and pointing control method | |
JP2019160118A (en) | Information provider and method for providing information | |
JP5830899B2 (en) | Projection system, projection apparatus, projection method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190521 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190521 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190521 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20190610 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190912 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191029 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6671549 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |