WO2011081193A1 - 画像表示システム - Google Patents
画像表示システム Download PDFInfo
- Publication number
- WO2011081193A1 WO2011081193A1 PCT/JP2010/073744 JP2010073744W WO2011081193A1 WO 2011081193 A1 WO2011081193 A1 WO 2011081193A1 JP 2010073744 W JP2010073744 W JP 2010073744W WO 2011081193 A1 WO2011081193 A1 WO 2011081193A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- display system
- image display
- information
- mdb
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Definitions
- the present invention relates generally to image display systems, and more particularly to image display systems with database and image recognition capabilities.
- a map information providing service for providing information related to a geographical position has been advanced, and there is, for example, a map information providing service disclosed in Patent Document 1.
- the service is an apparatus for use in displaying a digital map, comprising: means for generating a set of map tiles associated with the map created from the digital map data; and a location received from the client Means for interpreting candidate location data including information, means for determining the location information from the candidate location data, and providing the requested map tile associated with the location information to the client And means of
- Patent Document 1 has started providing a virtual globe browsing service called Google Earth in 2005 (in Japan, http://earth.***.co.jp/). This service synthesizes satellite imagery on the earth on the server and provides it to the user, and the user who browses from the terminal device sees satellite photographs around the world as if they were looking around the globe. Can. Also, in areas where high-resolution images are prepared, it is possible to descend (zoom in) to an altitude of several tens of meters, giving the experience of browsing aerial photographs. The company has also launched a Web service called Google Street View in 2007 (in Japan, http://www.***.co.jp/help/maps/streetview/).
- This service is a service that provides a user with a composite of 360 degree panoramic images collected on a server by collecting a large number of cars with cameras mounted on the roof and traveling in the city.
- a user browsed from the terminal device can move the street back and forth and to the left and right following the panoramic image, and can experience a simulated experience as if traveling through the city.
- the user can also change the field of view vertically and horizontally, and can zoom in and out.
- This Street View is linked with Google Map (Google Map), which Google has provided in advance, and Google Earth (Google Earth).
- image recognition technology is one of the themes in which research progressed with advances in computer technology.
- Research on image recognition using a computer started in the 1960s. Since then, along with advances in computer speed and machine learning technology, studies such as line drawing interpretation (1970s), cognitive models based on knowledge databases constructed by manual rules and geometric models, and 3D model representation (1980s) Go ahead. In the 1990s, research on recognition of facial images and recognition by learning became especially popular.
- Image recognition research has evolved from recognition of face images to recognition of general objects.
- general object recognition progressed because it was possible to process a huge amount of calculation necessary for statistical processing and learning processing by further improvement of the calculation capability.
- General object recognition is a technology for a computer to recognize an object contained in an image of a scene in the real world with a general name.
- rules and models were constructed by hand, statistical machine learning approaches are attracting attention at this time when large amounts of data can be processed at high speed, and general object recognition in recent years It triggered a boom.
- the general object recognition technology makes it possible to automatically assign keywords to images, and to classify and search images according to their semantic content.
- the ultimate goal is to realize human recognition function by a computer (Non-Patent Document 1).
- Non-Patent Document 2 a method of learning object correspondence by learning correspondence from data in which keywords are manually attached to an image
- Non-Patent Document 3 a method based on a local feature
- SIFT methods Non-Patent Document 4
- Video Google Non-Patent Document 5
- Non-Patent Document 6 a method called "Bag-of-Keypoints" or “Bag-of-Features” was announced.
- This method represents an image as an appearance frequency histogram of a typical local pattern image piece called a visual word.
- feature points are extracted based on the SIFT method, the SIFT feature vector is vector-quantized based on a plurality of visual words obtained in advance, and a histogram is generated for each image.
- the number of dimensions of the histogram generated in this way is a sparse vector of hundreds to thousands of dimensions.
- image recognition processing is performed by processing these vectors as a classification problem of multidimensional vectors (Non-Patent Document 6).
- the image viewed by the user on the display screen of the terminal device is only a two-dimensionally attached image, and the sense of reality is restricted by the resolution of the image data. That is, what can be obtained by maximally enlarging the map image being viewed is the arrangement of coarse pixel segments.
- an object of the present invention to provide an image display system capable of performing time axis movement of an object placed on an image.
- the museum collects various things in kind, but the above system stores and grows them as a "mother database" on an AI system that can be recognized and reconstructed at any time.
- the image display system is based on the MDB in the entire image, the object whose specific object is recognized based on the mother database (MDB) reconstructed from the database for constructing the object. It is characterized in that it is replaced with an image (two-dimensional image, three-dimensional space, four-dimensional space-time) and synthesized and displayed.
- MDB mother database
- the specified object image replaced in the image display system according to the present invention is arranged in a coordinate system different from the entire image, and can be individually rotated, enlarged and reduced.
- the detailed object far exceeding the original information amount possessed by the input image It is characterized by enabling wide-ranging browsing including enlargement, reduction, and internal structure.
- time axis information included in the replaced specific object image is used to make it possible to view the situation of the entire image and / or each specific object at any time.
- An object that does not exist at a specific time is characterized by specifying a non-display and / or non-display state with characters, symbols, and a specific color or pattern.
- the image recognition system has the following effects.
- (1) By replacing the recognized object with a detailed image (for example, a three-dimensional model image) rendered based on the database, it becomes possible to change the viewpoint of the recognized object, and the scaled display of the object itself Becomes possible. Furthermore, in the case where the internal structure of the object exists (for example, building data), it is possible to represent the inside of the object from the viewpoint entering the internal structure.
- the recognized object includes time axis information (for example, CAD data of the same vehicle type is stored for each year, or CAD information of a building includes time information such as building sequence and building year) In this case, the space-time movement of the town built in the virtual space is possible. That is, the user can view different appearances of the objects, and can view the appearances at different times of the objects in a wider range of places (for example, reproduction of the old cityscape) ).
- FIG. 1 shows an embodiment of an image display system according to the present invention.
- the image display system 100 includes a server 101 and terminal devices 105a to 105d used by a user, and any server or terminal device is connected to the network or the Internet 104.
- a server is a computer system that provides a service to a request from a terminal device that is a client, means a computer group to which a plurality of server systems are coupled, and is driven by a plurality of software.
- the meaning of the server is positioned as described above.
- the computer as hardware is, in its most basic configuration, an electronic computer provided with an arithmetic logic unit, a control unit, a storage device, and an input / output device connected by an instruction bus and a data bus. Arithmetic operation, logical operation, comparison operation, shift operation and the like are executed in the arithmetic and logic unit based on information (bit string data) input from the input / output device via the input / output interface. The executed data is stored in the storage device as needed and output from the input / output device. The series of processes are controlled by a software program stored in a storage device.
- Each server machine in the present invention is also hardware that is minimally equipped with the above-described basic functions as a computer, and is controlled by programs such as an operating system, device drivers, and application software.
- FIG. 2 shows functional blocks of the server 101 in an embodiment of the image display system according to the present invention.
- the server 101 activated on the computer includes, as software functional blocks, a mother database (hereinafter, "MDB") 201, a mother database management 202, a mother database search engine 203, an image recognition unit 204, and an image generation unit 205. It consists of
- the MDB 201 is an integrated database storing fine data related to an object. For example, incidental information data including time data such as design data, part data of an object, processing data, structure data, shape data, material information, rigidity information, name of an object, manufacturer information, date, etc., to which an object belongs Category data, feature amount data relating to the shape of an object, vector image data, and the like are included.
- the MDB management 202 is management software such as access control to MDB, data set control, copy management, and learning.
- the MDB search engine 203 is an engine for searching metadata in the MDB, feature data of an object, and the like.
- the image recognition unit 204 has a general object recognition unit for classifying a category of an object, and a specific object recognition unit for identifying an object.
- the general object recognition unit recognizes an object contained in an image with a general name (category). Also, specific object recognition collates with information registered in the MDB to identify an object.
- the image generation unit 205 is a functional block that performs image generation such as rendering processing, and performs, for example, arithmetic processing necessary to draw a three-dimensional model on the display screen of the terminals 105a to 105d. Specifically, there are modeling processing of a specific object to be drawn, rendering processing, texture mapping processing, shading processing, and the like. These arithmetic processes are executed using the CPU and memory by the software program that executes each processing algorithm, but if necessary, DSP (digital signal processor) or GPU (graphics processor) for high-speed processing ) Can be used.
- DSP digital signal processor
- GPU graphics processor
- FIG. 3 shows a terminal device in an embodiment of the image display system according to the present invention.
- the terminal devices 105a to 105d are client terminal devices widely used by users, and include computers, personal digital assistants (PDAs), mobile phones, and the like. That is, the terminal devices 105a to 105d represent a state in which many types of electronic information devices are connected to a network such as the Internet.
- a network such as the Internet.
- the terminal device 105 when the terminal device 105 is described, one of the terminal devices 105a to 105d connected to the network is referred to.
- the terminal devices 105a to 105d do not have to be all the same model. It may be a terminal device provided with equivalent functions (or minimum functions that can be performed).
- typical functional blocks of the terminal device 105 will be described.
- the terminal devices 105a to 105d include an input / output unit 301 configured with devices such as a keyboard, a pen, a mouse, and a microphone, an output unit 302 configured with devices such as a display and a speaker, a network connection unit 303, and a network browser 304. And a processing unit 305 that processes various objects and plug-ins.
- a storage unit such as a hard disk, a GPU, a voice communication function unit, and the like may be provided.
- the network connection unit 303 is an interface for connecting to a network such as the Internet, and may be wired or wireless.
- the network browser 304 is typically application software for browsing a page described in HTML or the like, but widely includes software for browsing data and information in a collective manner via a network.
- the plug-in processing unit 305 executes a program provided as an additional function to various objects and applications such as moving pictures and high-quality sound in a form incorporated in the network browser 304 or in cooperation with the network browser 304. Is equipped.
- sensors for detecting inclination and acceleration can be mounted as needed.
- FIG. 4 shows an operation flow in the embodiment of the image display system according to the present invention.
- the image recognition process is performed to identify the object in the image. If it can be specified, a three-dimensional image is generated from the specific object in the MDB 201 based on the viewpoint in the image and the coordinate system, and is replaced with the detected object in the image.
- the replaced object can perform operations such as changing the viewpoint, rotating, and lifting as described later. Also, based on time axis information, it is possible to refer to detailed data of the future or past of the replaced object. At this time, bi-directional communication is performed between the server 101 and the terminal 105.
- the user designates an object in the background image. For example, the user places a pointer on an object to be instructed, performs a click operation with a mouse or the like, transmits an image and point coordinates to the server 101, and cuts out an object at point coordinates on the server side.
- an identifier for specifying a still image in the case of a still image, and in the case of a moving image, identification of moving image content and a frame An ID that can be used (for example, a unique ID obtained by adding a frame number to a moving image ID) is used.
- the server recognizes a pointing object. Recognition is performed in the order of general object recognition and specific object recognition. The process will be described later based on FIG.
- the server 101 generates data for sending the specific object recognized in the MDB 201 to the terminal.
- the server 101 can select an optimal data set according to the function of the terminal device 105 (S405). For example, (1) the server side performs rendering processing of a three-dimensional model of an object to be displayed and performs streaming distribution, (2) transmitting detailed information of a specific object to the terminal device 105 together with the original image, (3) terminal device There is an option to send information that can be rendered on the 105 side.
- the terminal device 105 can reproduce the specific object in a spatio-temporal manner based on the detailed data about the specific object sent from the server.
- FIG. 5A shows an image viewed by the user on the terminal device 105.
- the image in FIG. 5A includes a car 501, a man 502 playing golf, a woman 503 who pushes shopping by shopping a cart, a Tokyo tower 504, a car 505, and a man 506 who rides a bicycle.
- the contour is cut out as the contour portion 510 (FIG. 5 (B)).
- the outline unit 510 may be highlighted.
- the terminal device 105 transmits to the server 101 a message that the user focused on the vehicle 505 as a message, and the server 101 that has received the message performs object recognition processing of the area where the portion of the vehicle 505 is cut out.
- the server 101 conforms to the coordinate system and size of the car 505 included in the image 500 based on the CAD data of the car 505 registered in the MDB 201 To generate an image. Then, the generated image is replaced with the car 505 in the image 500.
- the replaced detailed data can be freely rotated, scaled, or reduced and displayed by the operation of the user.
- the specific object image of the replaced automobile 505 can be arranged in a coordinate system different from that of the entire image (FIG. 5A), and can be individually rotated / scaled / reduced and displayed.
- the internal image 601 of the vehicle is generated from CAD data of the vehicle 505 registered in the MDB 201, and the user can move the viewpoint in the vehicle to display various parts in an enlarged / reduced size.
- parts for example, a handle or a sheet
- a subwindow may be displayed to display only parts.
- FIG. 7 shows an example of a space that reproduces a cruising town in the image display system according to the present invention.
- FIG. 7A is a space in which a certain town is three-dimensionally reproduced, and it is possible to move up and down or raise and lower the altitude by a predetermined operation of the user. Then, for example, design data of a part or all of the buildings shown in FIG. 7A is registered in the MDB 201.
- design data of a part of a building is registered in the MDB 201.
- FIG. 7B is provided with a function of making time axis information of design data variable. That is, a slide bar 710 which makes time axis information variable is provided at the lower part of FIG. 7B, and the time axis can be changed by moving a knob 711.
- the knob 711 displays 1980 and the design data shown in FIG. 7 (B) is shown as of 1980.
- the buildings 704, 706, and 708 are not displayed because design data and the like do not exist, although they existed at the time of 1980.
- a method may be employed in which the building itself is not displayed (not displayed) instead of white display, or a method of displaying an image reproduced based on historical information or the like.
- time axis information included in the replaced specific object image is used to make it possible to view the entire image and / or the appearance of each specific object at any time. If time axis information is recorded for each construction stage in the design data, browsing can be performed by changing the construction process of a certain building on a monthly (or daily) basis.
- FIG. 8A shows an image that another user is viewing on the terminal device 105.
- the image in FIG. 8A includes a car 501, a man 502 playing golf, a woman 503 who pushes shopping by shopping a cart, a Tokyo tower 504, a car 505, and a man 506 who rides a bicycle.
- FIG. 8 (A) when this user shows an interest in Tokyo Tower 504 and clicks it to select it, for example, the outline thereof is cut out as an outline portion 801 (FIG. 8 (B)).
- the outline unit 801 may be highlighted.
- the terminal device 105 transmits to the server 101 a message that the user focused on the Tokyo tower 504 as a message, and the server 101 that has received the message performs object recognition processing of the area where the part of the Tokyo tower 504 is cut out.
- the Tokyo tower 504 is identified by the object recognition processing described later, it is possible to freely rotate, enlarge, or reduce and display it by the operation of the user.
- a magnified view of Tokyo Tower is displayed based on the information of the MDB 202 or detailed information from a link destination that can be referred to (802).
- a remote view including Tokyo Tower is displayed based on the information of the MDB 202 or the detailed information from the link destination that can be referred to, and the surrounding information (803).
- the specific object image of the replaced Tokyo Tower 504 can be arranged in a coordinate system different from the entire image (FIG. 8A), and can be individually enlarged / reduced and displayed.
- the start of the image recognition process starts with the input of the original image in the terminal device 105 (S902).
- the original image may be a two-dimensional image or a three-dimensional image.
- an instruction of the target area of any object in the original image is made through a device (not shown) such as a pointing device, and the entire original image is input without processing an instruction of the target point.
- general object recognition processing is performed in S904.
- a method of BOF Bag-Of-Features
- recognition of the detected object category general name of object
- the process branches depending on whether the category can be recognized or not, and the determination is made in S905. If the category recognition can not be performed, the process proceeds to S906, and the handling of the existing category is determined (S907). However, if the category recognition of the object can be performed regardless of the presence or absence of the instruction at the focus point The process advances to step S909 to proceed to object recognition processing.
- step S911 it is determined whether identification of a specific object has been achieved. If the specific object can be identified, the process advances to step S913, and it is determined whether the individual object image extracted in step S909 includes more detailed information than the detailed data of the object registered in the MDB 201. If it is determined YES in S913, the process advances to S914, and the detailed data of the object in the MDB 201 is updated by the MDB learning unit and has more detailed information. On the other hand, when it is judged as No in S913, it progresses to S915 and the following judgment is made.
- S 915 is a case where it is determined that the general object recognition could not be performed in S 905, and the process proceeds to S 908, S 909, and S 910 in the determination of S 906, and it is determined when the specific object is recognized (Yes in S 911).
- the specified object is an existing category
- the definition of the existing category registered in the MDB 201 is expanded or divided if the information distance of the objects in the category is dispersed by the expansion, Alternatively, if the information distance from the proximity category is equal to or less than the information distance between objects in the category, the defect of the information of the existing object is found by integration or registration of the specified object. A correction is made and category data is updated (S916).
- the specified object is not an existing category in S915, the process transitions to S907 and is registered as a new category.
- the recognition process is ended for future processing (S917). Also in the case where the existing category is expanded and updated in S916, the recognition process is ended (S917).
- the learning function of the MDB management 202 in the above description improves the specific object recognition capability by being appropriately reflected in the operation of the image display system according to the present invention.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
背景において、ユーザが着目した物体をあたかも手にとって動かしているかのように閲覧し、背景におかれた特定物体の中に進入することが可能な画像表示システムを提供する。 本発明に係る画像表示システムは、物体を構成するためのデータベースから再構成されたマザーデータベース(MDB)をもとに特定物体認識された物体を、全体の画像の中におけるMDBをもとにした画像(2次元画像、3次元空間、4次元時空間)に置換し、合成表示することを特徴とする。
Description
本発明は、広く画像表示システムに関し、特にデータベース及び画像認識機能を備えた画像表示システムに関する。
サーバ装置、及びパソコン、PDA、携帯電話等の端末装置の処理能力の向上、ならびに、コンピュータ・ネットワークやインターネット環境の進展に伴い、動画や静止画等の視覚情報の提供形態が多様化している。例えば、インターネットではリンクの概念が発達し、Webページ中にリンク可能に配置されたテキストや画像をクリックして、関連する他のWebページに遷移し、関連するファイルをダウンロードすることができる。リンク先が音声ファイルや動画ファイルの場合には、必要に応じてその場で再生(例えば、ストリーミング再生)することができる。
近年においては、地理的な位置に関連する情報を提供する地図情報提供サービスが進歩してきており、例えば、特許文献1に開示された地図情報提供サービスがある。このサービスは、デジタル地図を表示することにおいて使用するための装置であって、デジタル地図データから作成された地図に関連する1セットの地図タイルを生成するための手段と、クライアントから受信した、場所情報を含む候補の場所データを解釈するための手段と、前記候補の場所データから前記場所情報を決定するための手段と、前記場所情報に関連する要求された地図タイルを前記クライアントへ提供するための手段と、を備える装置である。
特許文献1の出願人は、2005年よりグーグル・アース(Google Earth)と呼ばれる仮想地球儀閲覧サービスの提供を開始している(日本において、http://earth.***.co.jp/)。このサービスは、地球上の衛星写真画像をサーバ上で合成しユーザに提供するもので、端末装置から閲覧したユーザは、まるで地球儀を回して見ているかのように世界中の衛星写真を見ることができる。また、高解像度画像が用意された地域では、高度数十メートルにまで降下(ズームイン)することができ、航空写真を閲覧しているような体験ができる。また、同社は、2007年よりグーグル・ストリートビュー(Google Street View)と呼ばれるWebサービスを開始している(日本において、http://www.***.co.jp/help/maps/streetview/)。このサービスは、屋根にカメラを搭載した車を多数、街中を走らせて収集した360度パノラマ画像をサーバ上で合成しユーザに提供するサービスである。端末装置から閲覧したユーザは、パノラマ画像をたどって前後左右にストリートを移動することができ、あたかも街中を走行しているかのような疑似体験ができる。ユーザは、視野を上下左右に変えることもでき、ズームイン及びズームアウトも可能である。このストリートビューは、同社が先行して提供してきたグーグル・マップ(Google Map)、及びグーグル・アース(Google Earth)と連携している。
一方で、コンピュータの技術の進歩ともに研究が進んだテーマに画像認識技術がある。コンピュータを使った画像認識の研究は、1960年代より始められた。以来、計算機の高速化と機械学習技術の進歩とともに、線画解釈(1970年代)、人手によるルールや幾何形状モデルによって構築された知識データベースに基づく認知モデル、及び3次元モデル表現(1980年代)といった研究が進み。1990年代に入ると、特に顔画像の認識や学習による認識に関する研究が盛んになった。
画像認識研究は、顔画像の認識から一般的な物体への認識へと発展した。2000年代になると、計算機能力の一層の向上により、統計処理や学習処理のために必要な膨大な計算量を処理可能になったため、一般物体認識に関する研究が進んだ。一般物体認識とは、実世界のシーンに対する画像に対して、計算機がその画像中に含まれる物体を一般的な名称で認識する技術である。80年代には、人手によってルールやモデルの構築がなされていたのに対し、大量のデータを高速に処理可能になったこの時期には統計的機械学習によるアプローチが注目され、近年の一般物体認識ブームのきっかけとなった。一般物体認識技術によれば、画像に対するキーワードを自動的に付与することが可能になり、画像をその意味内容によって分類及び検索することが可能になる。計算機によって人間の認識機能を実現することが究極の目標とされている(非特許文献1)。
一般物体認識技術は、画像データベースからのアプローチと統計的確率手法の導入によって進歩した。その中でも先駆的な研究として、画像に人手でキーワードを付与したデータから対応付けを学習し物体認識を行なう手法(非特許文献2)や、局所特徴量に基づく手法(非特許文献3)がある。また、局所特徴量による特定物体認識に関する研究にSIFT法(非特許文献4)、及びVideo Google(非特許文献5)がある。
そして、2004年に、"Bag-of-Keypoints"あるいは"Bag-of-Features"と呼ばれる手法が発表された。この手法は、画像をビジュアル・ワード(visual word)と呼ばれる代表的な局所パターン画像片の出現頻度ヒストグラムで表現する。具体的には、SIFT法に基づいた特徴点抽出を行い、あらかじめ求められた複数のビジュアル・ワードに基づいてSIFT特徴ベクトルをベクトル量子化し、画像ごとにヒストグラムを生成するものである。このように生成されたヒストグラムの次元数は、数百~数千次元のスパース(sparse)なベクトルになる。そして、これらのベクトルは、多次元ベクトルの分類問題として処理されることにより画像認識処理が行われる(非特許文献6)。
柳井啓司, "一般物体認識の現状と今後", 情報処理学会論文誌, Vol.48, No.SIG16(CVIM19), pp.1-24, 2007.
Pinar Duygulu, Kobus Barnard, Nando de Freitas, David Forsyth, "Object Recognition as Machine Translation: Learning a lexicon for a fixed image vocabulary," European Conference on Computer Vision (ECCV), pp.97-112, 2002.
R. Fergus, P. Perona, and A. Zisserman, "Object Class Recognition by Unsupervised Scale-invariant Learning," IEEE Conf. on Computer Vision and Pattern Recognition, pp.264-271, 2003.
David G.Lowe, "Object Recognition from Local Scale-Invariant Features," Proc. IEEE International Conference on Computer Vision, pp.1150-1157, 1999.
J. Sivic and A. Zisserman, "Video ***: A text retrieval approach to object matching in videos," Proc. ICCV2003, Vol. 2, pp.1470-1477, 2003.
G. Csurka, C. Bray, C. Dance, and L. Fan, "Visual categorization with bags of keypoints," Proc. ECCV Workshop on Statistical Learning in Computer Vision, pp.1-22, 2004.
しかしながら、従来のインターネットブラウジングでは、あらかじめリンクが貼られていなければ興味をもった物体についての情報をたどることができないという課題がある。そこで、ネットワーク検索エンジンを使用することになるが、検索キーワード(テキスト文字)を自ら考えなければならないため、興味を持った対象について適切なキーワードが選択されていない場合も多かった。つまり、本当に欲しい情報が即座に確実に入手できないという根本的な課題があった。
また、上記した地図提供サービスにおいては、平面的な地図画像を提供するものよりは俯瞰性及び移動性の高いサービスが提供できる。しかし、ユーザが端末装置の表示画面で見ている画像はあくまでも2次元的に張り付けられた画像に過ぎず、現実感はその画像データの解像度に制約されてしまう。つまり、見ている地図画像を最大に拡大して得られるものは、粗い画素片の並びである。
しかも、これまでの技術においては、モデルデータに対する時間軸移動の概念が乏しく、時空間移動の観点からは限界があった。
そこで、本発明は、システムより配信された画像において、ユーザが着目した物体をあたかも手にとって動かしているかのように閲覧したり、画像におかれた特定物体の中に進入することが可能になったり、画像におかれた物体について時間軸移動を行うことが可能な画像表示システムを提供することを目的とする。
ここで、発明者らが追求する時空間について述べておく。
われわれ人間は、認知空間に生きている。
人間が認知できる様々な情報(写真や動画、音など)は、対象物それ自体は十分詳細な情報は有していない場合であっても、人間が蓄積した知識や経験をもとに脳により知識処理をすることにより瞬時に補完され、対象物が正確に何者であるか判断することが可能である。
本発明では、このような人間が有する特徴をコンピュータに適用する方法を提供する。個々の人間の知識データベースは、脳内に収納可能な量に限定される。また、人類全体の知識は遥かに大きいものの、即時に包括して参照し的確な判断を行うことはできない(例えば、地球上の70億人+過去の全ての人類の知識)。
これらの知識は、コンピュータシステム上の膨大なデータベースとして時間をかけて集積し、学習(AI)により進化可能である。
これらにより、将来、人間の認知能力・判断能力を遥かに超える人工知能システムの誕生が期待できる。この基本となるデータベースに、時間軸情報を含ませることにより、4次元の時空間を参照や移動が可能となる。
この基本となるデータベースを「マザーデータベース」と呼ぶ。
われわれ人間は、認知空間に生きている。
人間が認知できる様々な情報(写真や動画、音など)は、対象物それ自体は十分詳細な情報は有していない場合であっても、人間が蓄積した知識や経験をもとに脳により知識処理をすることにより瞬時に補完され、対象物が正確に何者であるか判断することが可能である。
本発明では、このような人間が有する特徴をコンピュータに適用する方法を提供する。個々の人間の知識データベースは、脳内に収納可能な量に限定される。また、人類全体の知識は遥かに大きいものの、即時に包括して参照し的確な判断を行うことはできない(例えば、地球上の70億人+過去の全ての人類の知識)。
これらの知識は、コンピュータシステム上の膨大なデータベースとして時間をかけて集積し、学習(AI)により進化可能である。
これらにより、将来、人間の認知能力・判断能力を遥かに超える人工知能システムの誕生が期待できる。この基本となるデータベースに、時間軸情報を含ませることにより、4次元の時空間を参照や移動が可能となる。
この基本となるデータベースを「マザーデータベース」と呼ぶ。
われわれの日常をよく観察してみると、広範な時代の広範な地域の事物を高度な情報伝達によって見知ることができるようになったが、そこには、常に資料の精細度や物体の保存状態に起因する情報密度の限界が存在していた。われわれが追求する世界は、人間の五感や知識で捕捉可能な情報量を超えた"The object"であり、"The space"であり、"The world"である。これらは現実世界の詳細を記述したものであり、メタバースやバーチャル世界といった擬似現実とは全くその本質を異とするものである。
博物館は様々な事物を現物として収集しているが、上記システムは、それらをいつの時点でも認識・再構築可能なAIシステム上の「マザーデータベース」として蓄積・成長させるものである。
仮に、多くの物体が千年後に消失してしまっても、AIシステム上の「マザーデータベース」に物体は存在し続ける。未来の考古学は、地層を掘ったり、アイソトープによる年代測定をすること以外に、マザーデータベースを未来人がマイニングすることで実践されることになるだろう。そうした意味においても、マザーデータベースは、人類にとって最も重要な記憶であり、財産となる。
本発明に係る画像表示システムは、物体を構成するためのデータベースから再構成されたマザーデータベース(MDB)をもとに特定物体認識された物体を、全体の画像の中におけるMDBをもとにした画像(2次元画像、3次元空間、4次元時空間)に置換し、合成表示することを特徴とする。
また、本発明に係る画像表示システムにおいて置換された特定物体画像を、全体の画像とは異なる座標系に配置し、個別に回転・拡大・縮小表示可能なことを特徴とする。
また、本発明に係る画像表示システムにおいて置換された特定物体が有する、及び参照可能なリンク先から入手した詳細な情報を元に、入力画像が有する当初の情報量を遥かに超える詳細な物体の拡大や縮小、内部構造を含む広範囲な閲覧を可能にすることを特徴とする。
また、置換された特定物体画像に含まれる時間軸情報を利用して、画像全体及び/又は個々の特定物体の任意の時間における状況を閲覧可能にすることを特徴とする。
特定の時間において未存在の物体は、非表示及び/又は非表示状態を表す文字・記号・特定の色やパターンで明示することを特徴とする。
本発明に係る画像認識システムによれば、次のような効果を奏する。
(1)認識した物体を、データベースを元にレンダリングした詳細画像(例えば3次元モデル画像)に置換することにより、認識した物体についての視点の変更が可能になり、また、物体そのものの拡大縮小表示が可能になる。さらに、物体の内部構造まで存在する場合(例えば、建物データ)には、その内部構造に入り込む視点で物体内部の表現が可能となる。
(2)認識した物体に時間軸情報が含まれる場合(例えば、同じ車種のCADデータを年式ごとに有している場合や、建物のCADデータについて建築順序や建築年等の時間情報が含まれている場合)には、仮想空間に構築した街の時空間移動が可能となる。つまり、ユーザは、物体についての異なる外観(appearance)を閲覧することができ、より広範な場所における物体群についての異なる時間における外観を閲覧することが可能となる(例えば、昔の街並の再現)。
(1)認識した物体を、データベースを元にレンダリングした詳細画像(例えば3次元モデル画像)に置換することにより、認識した物体についての視点の変更が可能になり、また、物体そのものの拡大縮小表示が可能になる。さらに、物体の内部構造まで存在する場合(例えば、建物データ)には、その内部構造に入り込む視点で物体内部の表現が可能となる。
(2)認識した物体に時間軸情報が含まれる場合(例えば、同じ車種のCADデータを年式ごとに有している場合や、建物のCADデータについて建築順序や建築年等の時間情報が含まれている場合)には、仮想空間に構築した街の時空間移動が可能となる。つまり、ユーザは、物体についての異なる外観(appearance)を閲覧することができ、より広範な場所における物体群についての異なる時間における外観を閲覧することが可能となる(例えば、昔の街並の再現)。
以下、本発明に係る画像表示システムの一実施形態について説明する。
図1に、本発明に係る画像表示システムの一実施形態を示す。画像表示システム100は、サーバ101と、ユーザが使用する端末装置105a~105dとからなり、いずれのサーバ又は端末装置もネットワークないしインターネット104に接続されている。
サーバとは、クライアントである端末装置からの要求に対してサービスを提供するコンピュータシステムであり、複数のサーバシステムが結合したコンピュータ群を意味し、複数のソフトウェアにより駆動される。したがって、本明細書では、サーバの意義を上記のとおり位置付ける。
また、ハードウェアとしてのコンピュータは、最も基本的な構成としては、命令バス及びデータバスで接続された算術論理演算ユニットと制御ユニットと記憶装置と入出力装置とを備えた電子計算機である。入出力インタフェースを介して入出力装置から入力された情報(ビット列データ)に基づき算術論理演算ユニットにおいて算術演算や論理演算、比較演算、シフト演算等が実行される。実行されたデータは必要に応じて記憶装置に記憶され、入出力装置から出力される。これら一連の処理は、記憶装置に記憶されたソフトウェアプログラムによって制御される。本発明における各サーバマシンも、上記のとおりのコンピュータとしての基本機能を最低限備えたハードウェアであり、オペレーティングシステムやデバイスドライバ、そしてアプリケーションソフトウェアといったプログラム群によって制御されている。
図2に、本発明に係る画像表示システムの一実施形態におけるサーバ101の機能ブロックを示す。コンピュータ上で起動されるサーバ101は、ソフトウェア機能ブロックとして、マザーデータベース(以下、「MDB」)201と、マザーデータベースマネージメント202と、マザーデータベース検索エンジン203と、画像認識部204と、画像生成部205とからなる。
MDB201は、物体に関わる精細なデータを格納した統合データベースである。例えば、設計データや、物体の部品データ、加工データ、構造データ、形状データ、素材情報、剛性情報や、物体の名称、製造者情報、日付などの時間情報を含む付帯情報データや、物体の属するカテゴリデータ、物体の形状などに関する特徴量データ、ベクタ画像データ、等が含まれる。
MDBマネージメント202は、MDBへのアクセス制御、データセット制御、複製管理、学習等の管理ソフトウェアである。
MDB検索エンジン203は、MDB内のメタデータ、物体の特徴データ等を検索するエンジンである。
MDBマネージメント202は、MDBへのアクセス制御、データセット制御、複製管理、学習等の管理ソフトウェアである。
MDB検索エンジン203は、MDB内のメタデータ、物体の特徴データ等を検索するエンジンである。
画像認識部204は、物体のカテゴリを分類するための一般物体認識部と、物体を同定するための特定物体認識部とがある。一般物体認識部は、画像中に含まれる物体を一般的な名称(カテゴリ)で認識する。また、特定物体認識は、MDBに登録された情報と照合し、物体を同定する。
画像生成部205は、レンダリング処理等の画像生成を行う機能ブロックであり、例えば端末105a~105dの表示画面上に3次元モデルを描画するために必要な演算処理を行なう。具体的には描画すべき特定物体のモデリング処理、レンダリング処理、テクスチャマッピング処理、陰影処理などがある。これらの演算処理は、各処理アルゴリズムを実行するソフトウェアプログラムによってCPU及びメモリを使って実行されるが、必要に応じて高速処理のためのDSP(デジタル・シグナル・プロセッサ)やGPU(グラフィックス・プロセッサ)を使用することができる。
図3に、本発明に係る画像表示システムの一実施形態における端末装置を示す。端末装置105a~105dは、広くユーザが使用するクライアント端末装置であり、コンピュータ、携帯情報端末(PDA)、携帯電話等が含まれる。つまり、端末装置105a~105dは、多様な種類の電子情報機器が多数インターネットなどのネットワークに接続されている様子をあらわしている。以下、端末装置105と記載した場合にはネットワークに接続された端末装置105a~105dのいずれか1台をさす。当然のことながら、端末装置105a~105dはすべて同一機種である必要はない。同等の機能(あるいは実施可能な最低限の機能)を備えた端末装置であればよい。ここでは端末装置105の代表的な機能ブロックについて説明する。
端末装置105a~105dは、キーボード、ペン、マウス、マイク等のデバイスで構成される入出部301と、ディスプレイ、スピーカ等のデバイスで構成される出力部302と、ネットワーク接続部303と、ネットワークブラウザ304と、各種オブジェクト及びプラグインを処理する処理部305とからなる。このほか、図示しないが、ハードディスク等の記憶部、GPU、音声通話機能部等を備えてもよい。
ネットワーク接続部303は、インターネットなどのネットワークに接続するためのインタフェースであって、有線/無線を問わない。
ネットワークブラウザ304は、典型的には、HTML等で記述されたページを閲覧するためのアプリケーションソフトウェアであるが、広くネットワークを介してデータや情報をまとまった形で閲覧するソフトウェアを含む。そして、ネットワークブラウザ304に組み込まれる形で、あるいはネットワークブラウザ304と協働する形で、動画や高音質の音声などの各種オブジェクトやアプリケーションに追加機能として提供されたプログラムを実行するプラグイン処理部305を備えている。
また、このほか傾きや加速度を検出するセンサ、GPS受信機などを必要に応じて搭載することもできる。
次に、図4に、本発明に係る画像表示システムの実施形態における動作フローを示す。図4においては、例えば表示画面中の物体が未だ認識されていない状態であっても画像認識処理を経て画像中の物体の特定を行う。もし、特定できれば、MDB201中の特定物体から画像中の視点及び座標系に基づいて3次元画像を生成し、画像中の検知物体と置換する。置換された物体は、後述するように、視点を変えたり、回転させたり、持ち上げたりといった操作を行うことができる。また、時間軸情報に基づいて、置換された物体の未来又は過去の詳細データを参照することができる。このとき、サーバ101と端末105との間で双方向通信が行われる。
まず、S402において、ユーザは背景画像中の物体を指示する。例えば、ユーザは、指示したい物体上にポインタを置き、マウス等のクリック動作を行い、画像及びポイント座標をサーバ101に送信してサーバ側でポイント座標にある物体を切り出す。画像を特定するために端末装置105からサーバ101に送信される情報としては、静止画であれば静止画を特定するための識別子、動画の場合には、動画コンテンツとフレームとを識別することができるID(例えば、動画IDにフレーム番号を付加した一意のIDなど)が利用される。
次に、S403において、サーバは指示物体の認識を行う。認識は、一般物体認識及び特定物体認識の順に行われる。その処理については、図9に基づいて後述する。次に、S404において、サーバ101はMDB201において認識された特定物体を端末に送るデータを生成する。このとき、サーバ101は、端末装置105の機能に応じて最適なデータセットを選択することができる(S405)。例えば、(1)サーバ側で表示すべき物体の三次元モデルのレンダリング処理を行なってストリーミング配信する、(2)元画像とともに特定物体の詳細情報を端末装置105へ送信する、(3)端末装置105側でレンダリングできるような情報を送信する、といった選択肢がある。S406において、端末装置105ではサーバから送られてきた特定物体についての詳細なデータに基づいて、その特定物体を時空間的に再現することができる。
次に、図5~図8に基づいて、本発明に係る画像表示システムの一実施形態における端末装置の表示画面例を説明する。
図5(A)は、ユーザが端末装置105において閲覧している画像である。図5(A)の画像には、自動車501、ゴルフプレー中の男性502、カートを押して買い物をする女性503、東京タワー504、自動車505、自転車に乗る男性506が含まれている。
図5(A)において、ユーザが自動車505に興味を示し、これをクリック等して選択すると、例えばその輪郭が輪郭部510として切り出される(図5(B))。輪郭部510は強調表示してもよい。このとき、端末装置105からサーバ101へは、ユーザが自動車505に着目したことがメッセージとして送信され、これを受信したサーバ101で自動車505の部分が切り出された領域の物体認識処理が行なわれる。
そして、後述する物体認識処理によって自動車505が同定されると、例えば、サーバ101ではMDB201に登録された自動車505のCADデータに基づき、画像500に含まれている自動車505の座標系及びサイズに合わせた画像を生成する。そして、生成した画像を、画像500中の自動車505と置換する。この置換された詳細データは、ユーザの操作により、自由に回転・拡大・縮小表示させることができる。
つまり、置換された自動車505の特定物体画像を、全体の画像(図5(A))とは異なる座標系に配置し、個別に回転・拡大・縮小表示させることができる。
次に、ユーザは、図5(B)において、自動車505の中に入る操作(不図示)をすると、図6に示したように、自動車505の内部に進入することができる。自動車の内部画像601は、MDB201に登録されている自動車505のCADデータから生成されたものであり、ユーザは車内における視点を移動させ、各種パーツを拡大/縮小表示させることができる。そして、MDB201に登録されていれば、パーツ(例えば、ハンドルやシート)を全体の画像601とは異なる座標系に配置し、個別に回転・拡大・縮小表示させることができる。このとき、サブウィンドウを表示させて、パーツだけを表示させてもよい。
図7に、本発明に係る画像表示システムにおいて、クルージング可能な街を再現した空間例を示す。図7(A)は、ある街を3次元的に再現した空間であり、ユーザの所定の操作によって、近づいたり遠ざかったり、高度を上下させることができる。そして、例えば、図7(A)に写し出されている建築物のうち、一部又は全部の設計データがMDB201に登録されている。ここでは、説明の便宜上、建物の一部の設計データがMDB201に登録されているものとする。
そして、ユーザが所定の操作によって設計データが登録されている建築物の表示をさせると、図7(B)に示すように、設計データが登録されている建築物の真上に「▽」印を付すことができる。ここでは、建築物701、702、703、705、及び707についての設計データがMDB202に登録されていることが示されている。したがって、ユーザはこれらの建築物に近づき、その内部に入ったり、各フロアや部屋を移動することができる。
また、図7(B)には設計データが有する時間軸情報を可変にする機能が備わっている。すなわち、図7(B)下部には、時間軸情報を可変にするスライドバー710が備えられ、ノブ(つまみ)711を移動させることによって時間軸を変えることができる。図7(B)では、ノブ711に1980と表示され、図7(B)に表示されている設計データが1980年時点のものであることが示されている。そして、建物704、706、708については、1980年当時存在していたにも関わらず、設計データ等が現存していないので、白抜き表示されている。表示方法に関しては、白抜き表示ではなく建物自体を表示しない(非表示)方法や、史実等の情報をもとに再現した画像を表示する方法も取りうる。また、非表示及び/又は非表示状態を表す文字・記号・特定の色やパターンで明示することができる。
さらに、既存の建物がある時点で取り壊された場合、その時点を超えて未来方向にノブ711をスライドさせると、その取り壊された建物は表示されなくなる。また、建築予定の建物に関する設計データが存在する場合には、竣工予定時点以降の未来方向に時間を移動させた場合、その建物が表示される。
さらに、既存の建物がある時点で取り壊された場合、その時点を超えて未来方向にノブ711をスライドさせると、その取り壊された建物は表示されなくなる。また、建築予定の建物に関する設計データが存在する場合には、竣工予定時点以降の未来方向に時間を移動させた場合、その建物が表示される。
つまり、置換された特定物体画像に含まれる時間軸情報を利用して、画像全体及び/又は個々の特定物体の任意の時間における姿を閲覧可能にする。もし、設計データに建築段階ごとに時間軸情報が記録されていれば、ある建物の建築過程を月(あるいは日)単位で可変にすることによって、閲覧することができる。
図8(A)は、他のユーザが端末装置105において閲覧している画像である。図8(A)の画像には、自動車501、ゴルフプレー中の男性502、カートを押して買い物をする女性503、東京タワー504、自動車505、自転車に乗る男性506が含まれている。
図8(A)において、このユーザが東京タワー504に興味を示し、これをクリック等して選択すると、例えばその輪郭が輪郭部801として切り出される(図8(B))。輪郭部801は強調表示してもよい。このとき、端末装置105からサーバ101へは、ユーザが東京タワー504に着目したことがメッセージとして送信され、これを受信したサーバ101で東京タワー504の部分が切り出された領域の物体認識処理が行なわれる。
そして、後述する物体認識処理によって東京タワー504が同定されると、ユーザの操作により、自由に回転・拡大・縮小表示させることができる。例えば、利用者が拡大を指示すると、MDB202の情報、あるいは、参照可能なリンク先からの詳細な情報に基づいて、東京タワーの拡大図が表示される(802)。また、利用者が縮小を指示すると、MDB202の情報、あるいは、参照可能なリンク先からの詳細な情報、および周囲の情報に基づいて東京タワーを含む遠隔図が表示される(803)。
つまり、置換された東京タワー504の特定物体画像を、全体の画像(図8(A))とは異なる座標系に配置し、個別に拡大・縮小表示させることができる。
図9に基づいて、MDB201を使った物体認識のフローを説明する。
[一般物体認識]
画像認識処理の開始(S901)は、まず、端末装置105における元画像の入力からはじまる(S902)。元画像は、2次元画像であるか3次元画像であるかを問わない。また、元画像の入力に際しては、その元画像におけるどの物体の着目領域の指示がポインティングデバイス等のデバイス(不図示)を通じてなされる場合と、着目点の指示がなく元画像全体が処理対象として入力される場合がある。次に、S904において一般物体認識処理が行われる。一般物体認識処理には、例えば、BOF(Bag-Of-Features)の手法を採用することができる。この一般物体認識処理では、検出された物体のカテゴリ(物体の一般名称)の認識まで行われる。ただし、着目点の指示がされた場合は、カテゴリの認識ができた場合とできなかった場合とで処理が分岐し、その判断はS905で行われる。カテゴリ認識ができなかった場合には、S906へ進み、既存のカテゴリの取り扱いについて判断がなされる(S907)が、着目点に指示の有無に関わらず物体のカテゴリ認識が出来た場合には、特定物体認識処理へ進むべくS909へ進む。
画像認識処理の開始(S901)は、まず、端末装置105における元画像の入力からはじまる(S902)。元画像は、2次元画像であるか3次元画像であるかを問わない。また、元画像の入力に際しては、その元画像におけるどの物体の着目領域の指示がポインティングデバイス等のデバイス(不図示)を通じてなされる場合と、着目点の指示がなく元画像全体が処理対象として入力される場合がある。次に、S904において一般物体認識処理が行われる。一般物体認識処理には、例えば、BOF(Bag-Of-Features)の手法を採用することができる。この一般物体認識処理では、検出された物体のカテゴリ(物体の一般名称)の認識まで行われる。ただし、着目点の指示がされた場合は、カテゴリの認識ができた場合とできなかった場合とで処理が分岐し、その判断はS905で行われる。カテゴリ認識ができなかった場合には、S906へ進み、既存のカテゴリの取り扱いについて判断がなされる(S907)が、着目点に指示の有無に関わらず物体のカテゴリ認識が出来た場合には、特定物体認識処理へ進むべくS909へ進む。
[特定物体認識]
S905の判断において特定物体認識処理へ進む場合は、まず、S909において個別物体画像の切り出し処理が行われる。そして、切り出された個別物体画像について、特定物体認識処理が行われる(S910)。特定物体認識処理では、MDB201に登録された設計データから抽出された特徴量データに基づく一致度を算出する評価関数によって物体の同定が試みられる。
S905の判断において特定物体認識処理へ進む場合は、まず、S909において個別物体画像の切り出し処理が行われる。そして、切り出された個別物体画像について、特定物体認識処理が行われる(S910)。特定物体認識処理では、MDB201に登録された設計データから抽出された特徴量データに基づく一致度を算出する評価関数によって物体の同定が試みられる。
[学習処理(1)]
一方で、S905の判断において一般物体認識ができなかった場合には、S906へ進み、着目物体の持つ特徴量と、MDB201が把握している既存のカテゴリに属する物体の特徴量との情報距離に基づいて、その着目物体を含む新たなカテゴリを登録するか(S907)、その着目物体に近接する既存カテゴリの拡張を検討するか(S908)の判断が行われる。新たなカテゴリを登録する(S907)場合にはS904に復帰し、既存のカテゴリを拡張する(S908)場合にはS909へ進む。
一方で、S905の判断において一般物体認識ができなかった場合には、S906へ進み、着目物体の持つ特徴量と、MDB201が把握している既存のカテゴリに属する物体の特徴量との情報距離に基づいて、その着目物体を含む新たなカテゴリを登録するか(S907)、その着目物体に近接する既存カテゴリの拡張を検討するか(S908)の判断が行われる。新たなカテゴリを登録する(S907)場合にはS904に復帰し、既存のカテゴリを拡張する(S908)場合にはS909へ進む。
[特定物体認識後 学習処理(2)]
S911においては、特定物体の同定ができたかどうかが判断される。特定物体の同定ができた場合には、S913に進み、S909において切り出された個別物体画像にMDB201に登録されている物体の詳細データよりもさらに精細な情報が含まれるかが判断される。もし、S913においてYesと判断された場合には、S914に進み、MDB201におけるその物体の詳細データはMDB学習部により更新され、より精細な情報を有するようになる。一方で、S913においてNoと判断された場合には、S915に進み、次の判断がなされる。
S911においては、特定物体の同定ができたかどうかが判断される。特定物体の同定ができた場合には、S913に進み、S909において切り出された個別物体画像にMDB201に登録されている物体の詳細データよりもさらに精細な情報が含まれるかが判断される。もし、S913においてYesと判断された場合には、S914に進み、MDB201におけるその物体の詳細データはMDB学習部により更新され、より精細な情報を有するようになる。一方で、S913においてNoと判断された場合には、S915に進み、次の判断がなされる。
S915は、S905において一般物体認識ができなかったと判断された場合であって、S906の判断でS908、S909、S910へ進み、特定物体の認識ができた(S911でYes)場合に判断される。S915において、特定された物体が既存のカテゴリであった場合には、MDB201に登録されているその既存カテゴリの定義を拡張、あるいは拡張によりカテゴリ内の物体の情報距離が分散する場合には分割、あるいは近接カテゴリとの情報距離が前記カテゴリ内の物体間の情報距離と同程度以下になった場合には統合、あるいは特定された物体の登録により既存の物体の情報の齟齬を発見した場合には修正を施し、カテゴリデータをアップデートする(S916)。一方で、S915において、特定された物体が既存のカテゴリでなかった場合には、S907へ遷移し、新規カテゴリとして登録する。
S911において、特定物体の認識ができなかった場合は、MDB201においてその物体は「未確認物体」として登録され、将来の処理に備えて認識処理を終了する(S917)。S916において既存カテゴリを拡張してアップデートされた場合も認識処理を終了する(S917)。
上記の説明におけるMDBマネージメント202の学習機能は、本発明に係る画像表示システムの稼動において適宜反映されることにより、特定物体認識能力を向上させる。
100 画像表示システム
101 サーバ
104 ネットワーク(あるいはインターネット)
105a~105d 端末装置
101 サーバ
104 ネットワーク(あるいはインターネット)
105a~105d 端末装置
Claims (5)
- 物体を構成するためのデータベースから再構成されたマザーデータベース(MDB)をもとに特定物体認識された物体を、全体の画像の中におけるMDBをもとにした画像(2次元画像、3次元空間、4次元時空間)に置換し、合成表示する画像表示システム。
- 請求項1に記載の画像表示システムにおいて置換された特定物体画像を、全体の画像とは異なる座標系に配置し、個別に回転・拡大・縮小表示可能な画像表示システム。
- 請求項1及び2に記載の画像表示システムにおいて置換された特定物体が有する、及び参照可能なリンク先から入手した詳細な情報を元に、入力画像が有する当初の情報量を遥かに超える詳細な物体の拡大や縮小、内部構造を含む広範囲な閲覧を可能にする画像表示システム。
- 請求項1~3のいずれか1項に記載の画像表示システムにおいて置換された特定物体画像に含まれる時間軸情報を利用して、画像全体及び/又は個々の特定物体の任意の時間における姿を閲覧可能にする画像表示システム。
- 請求項4に記載の画像表示システムにおいて、特定の時間において未存在の物体は、非表示及び/又は非表示状態を表す文字・記号・特定の色やパターンで明示する画像表示システム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011547722A JP5696996B2 (ja) | 2009-12-28 | 2010-12-28 | 画像表示システム |
US13/519,461 US9135752B2 (en) | 2009-12-28 | 2010-12-28 | Image display system |
EP10841048.1A EP2521096A4 (en) | 2009-12-28 | 2010-12-28 | IMAGE DISPLAY SYSTEM |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009297907 | 2009-12-28 | ||
JP2009-297907 | 2009-12-28 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2011081193A1 true WO2011081193A1 (ja) | 2011-07-07 |
Family
ID=44226595
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2010/073744 WO2011081193A1 (ja) | 2009-12-28 | 2010-12-28 | 画像表示システム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9135752B2 (ja) |
EP (1) | EP2521096A4 (ja) |
JP (1) | JP5696996B2 (ja) |
WO (1) | WO2011081193A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015225323A (ja) * | 2014-05-30 | 2015-12-14 | 株式会社日立ソリューションズ | イベント表示装置 |
JP2016539398A (ja) * | 2013-10-04 | 2016-12-15 | クアルコム,インコーポレイテッド | 未知の対象物に対する拡張現実コンテンツの生成 |
WO2018142756A1 (ja) * | 2017-01-31 | 2018-08-09 | 株式会社Nttドコモ | 情報処理装置及び情報処理方法 |
WO2018194137A1 (ja) * | 2017-04-19 | 2018-10-25 | 小柳建設株式会社 | 情報処理装置、情報処理方法、及びプログラム |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5573349B2 (ja) * | 2010-05-17 | 2014-08-20 | パナソニック株式会社 | パノラマ展開画像撮影システムおよび方法 |
KR102174470B1 (ko) * | 2014-03-31 | 2020-11-04 | 삼성전자주식회사 | 영상 저장 시스템 및 방법 |
US10366144B2 (en) * | 2016-04-01 | 2019-07-30 | Ebay Inc. | Analyzing and linking a set of images by identifying objects in each image to determine a primary image and a secondary image |
US10523922B2 (en) * | 2018-04-06 | 2019-12-31 | Zspace, Inc. | Identifying replacement 3D images for 2D images via ranking criteria |
US10884710B1 (en) * | 2019-08-13 | 2021-01-05 | Accenture Global Solutions Limited | System and method for generating unified experiences on digital platforms |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002074399A (ja) * | 2000-08-28 | 2002-03-15 | Sony Corp | 画像編集システム及び画像編集方法、並びに記憶媒体 |
JP2003067429A (ja) * | 2001-05-09 | 2003-03-07 | Sony Corp | 情報公開システム、サーバ、クライアント装置、および、プログラム |
JP2006202323A (ja) * | 1997-09-12 | 2006-08-03 | Hitachi Ltd | 仮想3次元空間の生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2007531004A (ja) | 2004-03-23 | 2007-11-01 | グーグル インク. | デジタルマッピングシステム |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6504957B2 (en) * | 1997-07-07 | 2003-01-07 | General Electric Company | Method and apparatus for image registration |
US6295066B1 (en) | 1997-09-12 | 2001-09-25 | Hitachi, Ltd. | Method for generating virtual three-dimensional space |
US6315664B1 (en) * | 2000-06-28 | 2001-11-13 | Igt | Gaming device having an indicator selection with probability-based outcome |
US8046330B2 (en) * | 2003-11-11 | 2011-10-25 | Fujifilm Corporation | Image accumulation device and image accumulation method |
US7755608B2 (en) * | 2004-01-23 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Systems and methods of interfacing with a machine |
US7620496B2 (en) | 2004-03-23 | 2009-11-17 | Google Inc. | Combined map scale and measuring tool |
US7831387B2 (en) | 2004-03-23 | 2010-11-09 | Google Inc. | Visually-oriented driving directions in digital mapping system |
US7599790B2 (en) | 2004-03-23 | 2009-10-06 | Google Inc. | Generating and serving tiles in a digital mapping system |
US7865301B2 (en) | 2004-03-23 | 2011-01-04 | Google Inc. | Secondary map in digital mapping system |
US8126907B2 (en) | 2004-08-03 | 2012-02-28 | Nextengine, Inc. | Commercial shape search engine |
JP2007019671A (ja) | 2005-07-05 | 2007-01-25 | Nec Corp | 画像通信システム及び画像処理プログラム |
US20070112747A1 (en) * | 2005-11-15 | 2007-05-17 | Honeywell International Inc. | Method and apparatus for identifying data of interest in a database |
JP2007188310A (ja) | 2006-01-13 | 2007-07-26 | Nec Biglobe Ltd | 仮想チャット空間システム、端末、方法及びプログラム |
US7680748B2 (en) | 2006-02-02 | 2010-03-16 | Honda Motor Co., Ltd. | Creating a model tree using group tokens for identifying objects in an image |
US7920698B1 (en) | 2006-10-17 | 2011-04-05 | At&T Mobility Ii Llc | Microphone systems for telephones |
JP5062884B2 (ja) * | 2007-08-24 | 2012-10-31 | 株式会社リコー | 画像検索装置、画像検索方法及びプログラム |
WO2009155281A1 (en) * | 2008-06-17 | 2009-12-23 | The Trustees Of Columbia University In The City Of New York | System and method for dynamically and interactively searching media data |
-
2010
- 2010-12-28 WO PCT/JP2010/073744 patent/WO2011081193A1/ja active Application Filing
- 2010-12-28 JP JP2011547722A patent/JP5696996B2/ja active Active
- 2010-12-28 US US13/519,461 patent/US9135752B2/en active Active
- 2010-12-28 EP EP10841048.1A patent/EP2521096A4/en not_active Withdrawn
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006202323A (ja) * | 1997-09-12 | 2006-08-03 | Hitachi Ltd | 仮想3次元空間の生成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2002074399A (ja) * | 2000-08-28 | 2002-03-15 | Sony Corp | 画像編集システム及び画像編集方法、並びに記憶媒体 |
JP2003067429A (ja) * | 2001-05-09 | 2003-03-07 | Sony Corp | 情報公開システム、サーバ、クライアント装置、および、プログラム |
JP2007531004A (ja) | 2004-03-23 | 2007-11-01 | グーグル インク. | デジタルマッピングシステム |
Non-Patent Citations (8)
Title |
---|
DAVID G. LOWE: "Object Recognition from Local Scale-Invariant Features", PROC. IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, 1999, pages 1150 - 1157 |
G. CSURKA; C. BRAY; C. DANCE; L. FAN: "Visual categorization with bags of keypoints", PROC. ECCV WORKSHOP ON STATISTICAL LEARNING IN COMPUTER VISION, 2004, pages 1 - 22 |
J. SIVIC; A. ZISSERMAN: "Video ***: A text retrieval approach to object matching in videos", PROC. ICCV 2003, vol. 2, 2003, pages 1470 - 1477, XP010662565, DOI: doi:10.1109/ICCV.2003.1238663 |
KEJI YANAI: "The Current State and Future Directions on Generic Object Recognition", JOURNAL OF INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 48, no. SIG16, 2007, pages 1 - 24, XP055148832 |
PINAR DUYGULU; KOBUS BARNARD; NANDO DE FREITAS; DAVID FORSYTH: "Object Recognition as Machine Translation: Learning a lexicon for a fixed image vocabulary", EUROPEAN CONFERENCE ON COMPUTER VISION (ECCV, 2002, pages 97 - 112 |
R. FERGUS; P. PERONA; A. ZISSERMAN: "Object Class Recognition by Unsupervised Scale-invariant Learning", IEEE CONF ON COMPUTER VISION AND PATTERN RECOGNITION, 2003, pages 264 - 271, XP010644682, DOI: doi:10.1109/CVPR.2003.1211479 |
See also references of EP2521096A4 |
SHIGERU KAKUMOTO ET AL.: "Integrated Geographic Database and Common GIS for Local Government : For Realizing Risk- Adaptive Regional Management Information System", PAPERS AND PROCEEDINGS OF THE GEOGRAPHIC INFORMATION SYSTEMS ASSOCIATION, vol. 8, 30 September 1999 (1999-09-30), pages 179 - 184, XP008165487 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016539398A (ja) * | 2013-10-04 | 2016-12-15 | クアルコム,インコーポレイテッド | 未知の対象物に対する拡張現実コンテンツの生成 |
JP2015225323A (ja) * | 2014-05-30 | 2015-12-14 | 株式会社日立ソリューションズ | イベント表示装置 |
WO2018142756A1 (ja) * | 2017-01-31 | 2018-08-09 | 株式会社Nttドコモ | 情報処理装置及び情報処理方法 |
JPWO2018142756A1 (ja) * | 2017-01-31 | 2019-11-07 | 株式会社Nttドコモ | 情報処理装置及び情報処理方法 |
WO2018194137A1 (ja) * | 2017-04-19 | 2018-10-25 | 小柳建設株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JPWO2018194137A1 (ja) * | 2017-04-19 | 2019-11-07 | 小柳建設株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN110770798A (zh) * | 2017-04-19 | 2020-02-07 | 小柳建设株式会社 | 信息处理装置、信息处理方法及程序 |
US10950050B2 (en) | 2017-04-19 | 2021-03-16 | Oyanagi Construction Inc. | Information processing device, information processing method, and program for planning and execution of work plan |
CN110770798B (zh) * | 2017-04-19 | 2024-03-19 | 小柳建设株式会社 | 信息处理装置、信息处理方法及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP2521096A1 (en) | 2012-11-07 |
JP5696996B2 (ja) | 2015-04-08 |
US20120281913A1 (en) | 2012-11-08 |
US9135752B2 (en) | 2015-09-15 |
EP2521096A4 (en) | 2013-10-09 |
JPWO2011081193A1 (ja) | 2013-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011081193A1 (ja) | 画像表示システム | |
JP7096902B2 (ja) | 画像処理方法、装置、コンピュータプログラム及びコンピュータデバイス | |
US20200005361A1 (en) | Three-dimensional advertisements | |
EP2557782B1 (en) | Server system for real-time moving image collection, recognition, classification, processing, and delivery | |
KR101867558B1 (ko) | 뷰이미지의 적어도 하나의 피처에 주석을 달기 위한 컴퓨터화 방법 및 장치 | |
US20090161963A1 (en) | Method. apparatus and computer program product for utilizing real-world affordances of objects in audio-visual media data to determine interactions with the annotations to the objects | |
JP3718472B2 (ja) | 画像表示方法および装置 | |
JP4341408B2 (ja) | 画像表示方法及び装置 | |
CN102063475B (zh) | 三维模型的网页用户终端呈现方式 | |
KR101722177B1 (ko) | 하이브리드 방식으로 vr 컨텐츠를 디스플레이하는 방법 및 장치 | |
JP4902499B2 (ja) | 画像表示装置、画像表示方法、および画像表示システム | |
CN106560810A (zh) | 使用图像中找到的特定属性进行搜索 | |
US9201974B2 (en) | Method and apparatus for incorporating media elements from content items in location-based viewing | |
CN113892129B (zh) | 创建三维外观的虚拟视差 | |
JP2018077644A (ja) | 情報処理システム及びプログラム | |
JP2005327314A (ja) | 画像表示方法および装置 | |
CN109863746B (zh) | 用于数据探索的沉浸式环境***和视频投影模块 | |
CN117437342B (zh) | 一种三维场景渲染方法和存储介质 | |
Gatzidis et al. | Automatic modelling, generation and visualisation of realistic 3D virtual cities for mobile navigation | |
Blechschmied et al. | Interaction and Visualization of 3D City Models for Location-Based Services | |
CN118411496A (zh) | 一种元宇宙虚拟旅游*** | |
JP2022132273A6 (ja) | 情報提供サービスプログラム及び情報提供サービス用情報配信装置 | |
CN117009563A (zh) | 封面图像生成方法及装置 | |
JP2022132273A (ja) | 情報提供サービスプログラム及び情報提供サービス用情報配信装置 | |
CN118013079A (zh) | 一种虚拟场景模型检索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 10841048 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 13519461 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2011547722 Country of ref document: JP |
|
WWE | Wipo information: entry into national phase |
Ref document number: 2010841048 Country of ref document: EP |