System for contextualisation of environment by using mixed reality integrated with artificial intelligence

Abstract

Sklop za kontekstualizaciju okoline pomoću pomiješane stvarnosti integriranu s umjetnom inteligencijom, obuhvaća sustav za prikupljanje podataka iz mreže interneta stvarni (IoT), koja omogućava prikupljanje podataka sa raznih fizičkih i virtualnih senzora i instrumenata, lociranih na udaljenim lokacijama, vezanih za uređaje ili postrojenja i prenošenih u koncentratore (HUB-ove) koji su spojeni na centralni ili distribuirani sustav za monitoring, auditing ili interpretaciju u realnom vremenu; matrica senzora je povezana fiksnom ili bežičnim vezom s koncentratorima; podaci o fizičkim i virtualnim senzorima i instrumentima se apstrahiraju, parametriziraju i koriste za opisivanje stvarnih uređaja i postrojenja u formi digitalnog dvojnika (engl. digital twin); digitalni dvojnici uređaja i postrojenja se stavljaju na raspolaganje ekspertima koji koriste platformu vizualizaciju i uređivanje; svi podaci mogu se pohraniti bilo lokalno na računalo ili staviti dostupnima kroz udaljene sustave u tzv. računalnom oblaku; digitalni dvojnici služe za prepoznavanje stvarnih uređaja i postrojenja, njihovu klasifikaciju i određivanje konteksta prikaza podataka s senzora i instrumenta u pomiješanoj stvarnosti; podaci se vizualiziraju prikazom raznih mjerenih veličina, animacija vrijednosti usmjeravanjem kamere pametnih telefona, tableta, pametnih naočala, displeja i slično; korištenjem pomiješane stvarnosti, operateru su podaci koji se prikupljaju s senzora ili instrumenata su dostupni u realnom vremenu; korisničko sučelje koje se koristi projicira virtualne objekte na ekran uređaja stvarajući privid da podaci lebde ispred, iznad, pored, ispod uređaja; navedenim hardverom upravlja softver koji koristeći napredne algoritme radi automatsku kalibraciju sustava radi identifikacije korisnika i primjenjuje se filter radi uklanjanja šuma u signalu iz matrice senzora.Sklop se realizira tako da se matrica senzora postavlja usmjerena prema stvarnom uređaju ili postrojenju, a visina ili kut gledanja senzora se određuje prilikom implementacije, ovisno o poziciji sklopa. The device for contextualising the environment using mixed reality integrated with artificial intelligence (hereinafter referred to as the "Device") includes a system for collecting data from the Internet of Things (IoT) network, which enables the collection of data from various physical and virtual sensors and instruments, located at remote locations, connected to devices or facilities and transmitted to hubs that are connected to a central or distributed system for monitoring, auditing or interpretation in real time; the sensor matrix is connected to the hubs by a fixed or wireless connection; data on physical and virtual sensors and instruments are abstracted, parameterised and used to describe real devices and facilities in the form of a digital twin; digital twins of devices and facilities are made available to experts using the visualisation and editing platform; all data can be stored either locally on the computer or made available through remote systems in the so-called computer cloud ; digital twins are used to recognise real devices and facilities , classify them and determine the context of the display of data from sensors and instruments in mixed reality; data is visualised by displaying various measured quantities, animations of values by directing the camera of smartphones, tablets, smart glasses, displays and the like; using mixed reality, the operator has access to data collected from sensors or instruments in real time; the user interface projects virtual objects onto the device screen, creating the illusion that data is floating in front of, above, next to, below the device; the aforementioned hardware is controlled by software that uses advanced algorithms to automatically calibrate the system to identify the user and applies a filter to remove noise in the signal from the sensor matrix.The device is realised so that the sensor matrix is placed facing the real device or facility, and the height or viewing angle of the sensor is determined during implementation, depending on the position of the device.