Method to joint inference with context-aware digital twin by wireless system

Abstract

A method including receiving semantic data from a first user device, the semantic data comprising at least one semantic token; obtaining spatial and temporal information associated with the first user device; associating the semantic data with the spatial and temporal information to generate associated semantic data; grouping the associated semantic data based on spatial and temporal proximity to create a cluster;and fusing data within the cluster to generate a representation of a portion of an environment.

Description

METHOD TO JOINT INFERENCE WITH CONTEXT-AWARE DIGITAL TWIN BY WIRELESS SYSTEM

[0001] CROSS-REFERENCE TO RELATED APPLICATIONS

[0002] The present application claims priority from U.S. Patent Application No. 63 / 656,057, filed June 4th, 2024 and incorporated herein by reference.

[0003] FIELD OF THE DISCLOSURE

[0004] The present disclosure is related to communications systems and in particular relates to communications systems using a digital twin representation.BACKGROUND

[0005] A digital twin is a virtual representation of a physical object or environment. Digital Twin converges diverse sensor technologies and radio measurements within a shared physical space, paves the way for a richer understanding of the environment.

[0006] As communications systems move towards future generations, digital twins are becoming important tools for creating virtual replicas of physical wireless environments, encompassing everything from base stations and user devices to the surrounding terrain.SUMMARY

[0007] In accordance with the embodiments of the present disclosure, systems and methods are provided that allow the convergence of semantic communication and digital twin technologies, providing systems where wireless networks are not merely conduits for data but active participants in understanding and responding to the physical world.

[0008] According to a first aspect, a method at a base station or edge device is described. The method may be applied at a network device side, for example, a server, base station or a module in a network, a circuit or a chip (for example, a modem chip, also referred to as a baseband chip, or a system on chip (system on chip, SoC) chip or a system in package (system in package, SIP) chip that includes a modem core) that is responsible for functions in a network node. In this method, the base station may receive semantic data from a first user device, the semantic data comprising at least one semantic token. The base station may further obtain spatial and temporal information associated with the first user device and associate the semantic data with the spatial and temporal information to generate associated semantic data. The base station may group the associated semantic data based on spatial and temporal proximity to create a cluster and fuse data within the cluster to generate a representation of a portion of an environment.

[0009] In a possible design, the receiving the semantic data may comprise parsing and interpreting the at least one semantic token based on a predefined ontology or knowledge base.

[0010] In a possible design, the obtaining the spatial and temporal information may comprise at least one of: receiving radio channel measurement reports from the first user device, wherein the radio channel measurement reports indicate the spatial and temporal information; or receiving direct reports of the spatial and temporal information from the first user device.

[0011] In a possible design, the radio channel measurement reports may include semantic tokens.

[0012] In a possible design, the radio channel measurement reports may comprise at least one of: local inference tasks regarding objects, events or environmental conditions; or channel characteristics.

[0013] In a possible design, the cluster may be stored as part of a digital twin representation of the environment.

[0014] In a possible design, the method may further comprise receiving an inference request from a consumer device; using a large language mode and the digital twin representation to generate a context aware response to the inference request; and transmitting the context aware response to the consumer device.

[0015] In a possible design, the first device may comprise a plurality of user devices, each user device associated with at least one of: a sensor, a robot; or a mobile device.

[0016] In a possible design, multiple clusters with different spatial and temporal contexts may be created over time to define the environment.

[0017] In a possible design, the method may further comprise: storing the cluster in a memory with other at least one cluster of the multiple clusters, wherein the at least one cluster is from a specific point in time, thereby creating a temporal snapshot; and analyzing a plurality of temporal snapshots to determine the historic evolution of the environment.

[0018] In a possible design, the method may further comprise providing the first user device with instructions for generating the semantic data.

[0019] In a possible design, the inference request includes at least one of: a task type identifier; a task correlation indicator; an input data size; output requirements; or latency constraints.

[0020] In a possible design, the method may further comprise determining an inference processing mode based on the inference request, the inference processing mode including at least one of: individual task processing with a background context; or joint task processing with a shared context; and performing inference based on the determined inference processing mode.

[0021] In a possible design, the fusing data within the cluster may comprise at least one of: combining data from multiple sources; resolving data conflicts; weighting data based on reliability; or generating a unified representation of the portion of the environment.

[0022] According to a second aspect a method at a base station or edge device is described. The method may be applied at a network device side, for example, a server, base station or a module in a network, a circuit or a chip (for example, a modem chip, also referred to as a baseband chip, or a system on chip (system on chip, SoC) chip or a system in package (system in package, SIP) chip that includes a modem core) that is responsible for functions in a network node. In this method, the base station may receive a first inference request from a first consumer device and access a digital twin representation of an environment, the digital twin representation comprising semantic data associated with spatial and temporal information. The base station may further use a large language model and the digital twin representation of the environment to generate a context aware response to the inference request; and transmit the context aware response to the first consumer device.

[0023] In a possible design, the method of the second aspect may further comprise receiving semantic data from at least one user device, the semantic data including at least one semantic token; obtaining spatial and temporal information associated with the at least one user device; associating the semantic data with the spatial and temporal information to create associated semantic data; grouping the associated semantic data based on spatial and temporal proximity to create a cluster; fusing data within the cluster to generate a representation of a portion of the environment; and combining the cluster with other clusters to form the digital twin representation of the environment.

[0024] In a possible design, the obtaining the spatial and temporal information may comprise at least one of: receiving radio channel measurement reports from the at least one user device, wherein the radio channel measurement reports indicate the spatial and temporal information; or receiving direct reports of spatial and temporal information from the at least one user device.

[0025] In a possible design, the radio channel measurement reports may be represented as semantic tokens.

[0026] In a possible design, the radio channel measurement reports may comprise at least one of: local inference results regarding objects, events or environmental conditions; or raw channel measurements; channel characteristics.

[0027] In a possible design, the digital twin representation may further comprise at least one temporal snapshot of the environment, each temporal snapshot storing clusters from a specific point in time.

[0028] In a possible design, the method of the second aspect may further comprise: receiving a second inference request from a second consumer device; determining that the second inference request is related to the first inference request based on at least one of:task, spatial proximity, temporal proximity; and jointly processing the first inference request and the second inference request using the large language model and the digital twin representation.

[0029] In a possible design, the first inference request and the second inference request may include at least one of: a task type identifier; a task correlation indication; an input data size; output requirements; or latency constraints.

[0030] In a possible design, the context-aware response may be generated by incorporating information from the digital twin representation into a prompt provided to the large language model.

[0031] In a possible design, the information from the digital twin representation may be selected based on at least one of: spatial proximity of the consumer device to data within the digital twin representation; temporal relevance of data within the digital twin representation to the inference request; or a task type specified in the inference request.

[0032] In a possible design, the digital twin representation may be updated in real-time based on incoming semantic data along with spatial information and / or temporal information.

[0033] In a possible design, the method of the second aspect may further comprise storing the cluster in a memory with other clusters from a specific point in time, thereby creating a temporal snapshot; and analyzing historical temporal snapshots to identify patterns and trends within the environment to enhance the context-aware response.

[0034] According to a third aspect, a communication apparatus is described. The communication apparatus is configured to perform the first aspect or the second aspect. For example, the communication apparatus includes a corresponding module, unit, or means for performing operations in the first aspect or the second aspect. The module, unit, or means may be specifically implemented by using software, may be implemented using software, hardware, or a combination thereof.

[0035] According to a fourth aspect, another communication apparatus is described. The communication apparatus includes a memory and one or more processors. The memory is configured to store computer-readable instructions for performing a method in the first aspect or the second aspect. The one or more processors may execute the computer program or the instructions, and when the computer program or the instruction (s) is / are executed, the communication apparatus is enabled to implement the method in any possible design or implementation of the first aspect or the second aspect.

[0036] In some embodiments, the communication apparatus may further include an interface circuit, and the processor is configured to communicate with another apparatus or component through the interface circuit.

[0037] In some embodiments, the communication apparatus may further include the memory.

[0038] The communication apparatus may be a network element, a module in a network element, or a chip responsible for a communication function in a network element, for example, a modem chip or an SoC chip or an SIP chip that includes a modem core.

[0039] According to a fifth aspect, a computer-readable storage medium is described. The computer-readable storage medium stores computer-readable instructions, and when a computer reads and executes the computer-readable instructions, the computer is enabled to perform the method in any one of the possible designs of the first aspect or the second aspect.

[0040] According to a sixth aspect, this disclosure provides a computer program product. When a computer reads and executes the computer program product, the computer is enabled to perform the method in any one of the possible designs of the first aspect or the second aspect.

[0041] According to a seventh aspect, this disclosure provides a system including at least one UE and at least one network device as described herein.

[0042] According to an eighth aspect, this disclosure provides a method is performed by a system including at least one UE and at least one network device as described herein.

[0043] This application encompasses various embodiments, including not only method embodiments, but also other embodiments such as apparatus embodiments and embodiments related to non-transitory computer readable storage media. Embodiments may incorporate, individually or in combinations, the features disclosed herein.BRIEF DESCRIPTION OF THE DRAWINGS

[0044] The present disclosure will be better understood with reference to the drawings, in which:

[0045] FIG. 1 is a block diagram showing an example communication system.

[0046] FIG. 2 is a block diagram showing another example communication system.

[0047] FIG. 3 is a block diagram showing two apparatuses communicating with each other in a communication system.

[0048] FIG. 4 is a block diagram showing an example apparatus.

[0049] FIG. 5 is a block diagram showing an example apparatus with various logical units.

[0050] FIG. 6 is a block diagram showing an overview of a digital twin in wireless systems.

[0051] FIG. 7 is a block diagram showing semantic communication with Large Language Models.

[0052] FIG. 8 is a block diagram showing a semantic digital twin framework for wireless systems with context-awareness.

[0053] FIG. 9 is a block diagram showing semantic sensor data processing on a user device.

[0054] FIG. 10 is a block diagram showing tokenization of Channel State Information (CSI) .

[0055] FIG. 11 is a block diagram showing a semantic digital twin representation.

[0056] FIG. 12 is a block diagram showing a semantic communication and control mechanism.

[0057] FIG. 13 is a block diagram showing a process for obtaining traditional CSI containing spatial and temporal information.

[0058] FIG. 14 is a block diagram showing multi-layered sensor-UE feedback.

[0059] FIG. 15 is a process diagram showing a procedure for processing incoming semantic information and CSI data.

[0060] FIG. 16 is a block diagram showing a dynamic knowledge base and digital twin system.

[0061] FIG. 17 is a block diagram showing a UE Inference task with background knowledge from a digital twin.

[0062] FIG. 18 is a block diagram showing individual task processing with background context.

[0063] FIG. 19 is a block diagram showing joint task processing with shared context.

[0064] FIG. 20 is a block diagram showing an example inference request.DETAILED DESCRIPTION

[0065] The present disclosure will now be described in detail by describing various illustrative, non-limiting embodiments thereof with reference to the accompanying drawings and exhibits. The disclosure may, however, be embodied in many different forms and should not be construed as being limited to the illustrative embodiments set forth herein. Rather, the embodiments are provided so that this disclosure will be thorough and will fully convey the concept of the disclosure to those skilled in the art.

[0066] The present disclosure provides a wireless system design for the convergence of semantic communication and digital twin technologies, envisioning a future where wireless networks are not merely conduits for data but rather active participants in understanding and responding to the physical world. In some embodiments, this may be done by representing a real-time state of a cellular environment as a dynamic collection of semantic tokens, capturing information from intelligent sensors and radio channel measurement user equipments (UEs) .

[0067] This tokenized representation forms the foundation for a semantically enriched digital twin, offering several advantages. Digital twins, as used herein, are explained in more detail below.

[0068] Semantically enriched digital twins provide a richer and more nuanced understanding of the environment, going beyond raw data to capture the meaning and context of events and observations. Further, they enable seamless communication and collaboration between diverse devices and systems, fostering interoperability and collective intelligence. Also, they allow for real-time adaptation and responsiveness, as the digital twin continuously updates its knowledge and understanding based on the dynamic flow of information.

[0069] However, realizing this vision presents several challenges. Establishing standardization and interoperability for semantic communication, achieving real-time processing with minimal latency, ensuring security and privacy, and managing resources efficiently are elements that are addressed herein.

[0070] The framework of the embodiments below focuses on how user devices can express inference requests and receive results through semantic communication, enabling context-aware understanding and collaborative problem-solving. This involves leveraging the digital twin's background knowledge to enhance inference tasks by providing additional context and insights. Two distinct inference modes are explored: individual inference task processing with background context and joint inference task processing with shared context, each offering advantages depending on the specific characteristics of the tasks and the capabilities of the inference engine.

[0071] The base station plays a central role in constructing and maintaining the digital twin, processing semantic information and radio channel measurement, organizing it into a spatiotemporally aware knowledge base and cluster, and utilizing it to enhance inference tasks. This involves tasks such as token recognition, data fusion, localization, event sequencing, and natural language generation to create a human-understandable and machine-interpretable representation of the environment.

[0072] By addressing the challenges and implementing the proposed framework, the embodiments herein can unlock the transformative potential of semantic digital twins, paving the way for future communications, where wireless networks are not just connecting devices but also enabling a deeper understanding and more intelligent interaction with the physical world. This may open doors to a wide range of innovative applications and services, from autonomous robotics and smart cities to personalized healthcare and environmental monitoring.

[0073] FIG. 1 is a schematic illustration of an example communication system according to an implementation of the present disclosure, there is shown a communication system 100 that includes a radio access network (RAN) 120, one or more communication electronic devices (EDs) 110a, 110b, 110c, 110d, 110e, 110f, 110g, 110h, 110i, 110j (collectively referred to as 110) , a core network 130, a Public Switched Telephone Network (PSTN) 140, the Internet 150, and other networks 160. The RAN 120 may include, but is not limited to, a future generation RAN, or a legacy RAN, such as, but not limited to, 5th generation (5G) , 4th generation (4G) , 3rd generation (3G) or 2nd generation (2G) radio access network. The RAN 120 may be, for example, an  Evolved Universal Mobile Telecommunications System (UMTS) Terrestrial Radio Access Network (E-UTRAN) , a NextGen RAN (NG RAN) , or some other type of RAN. Examples of RAN 120 based on the evolution of telecommunications standards include, but is not limited to, GSM (Global System for Mobile Communications) and CDMA (Code Division Multiple Access) for 2G, UMTS (Universal Mobile Telecommunications System) based on WCDMA (Wideband Code Division Multiple Access) and CDMA2000 for 3G, LTE (Long-Term Evolution) and WiMAX (Worldwide Interoperability for Microwave Access) for 4G, and NR (New Radio) for 5G. In some implementations, The RAN 120 may use any radio access technology (RAT) in the wireless interface between the one or more EDs 110 and the RAN 120. In some implementations, the term “radio access” may refer to the future generation air interface standards which may include both terrestrial networks (TNs) and non-terrestrial networks (NTNs) . These networks will be described in greater detail below in conjunction with various implementations. The one or more communication EDs 110 (also referred to as ” user equipment” ) are configured to connect (e.g., communicatively couple) with each other or to one or more network nodes 170a, 170b (collectively referred to as 170) in the RAN 120. The core network (CN) 130 is a part of the communication system 100 and consists of network nodes (e.g., 170a, 170b) which provide support for the network features and telecommunication services. In some implementations, the CN 130 may be dependent on the RAT used in the communication system 100. In other implementations, the CN 130 may be access-agnostic, i.e., the CN 130 may be independent of the RAT used in the communication system 100. There are different types of CN 130, for different 3GPP system generations. For example, the CN 130 is the Evolved Packet Core (EPC) in 4G, also known as the Evolved Packet System (EPS) . In another example, the CN 130 is the 5G Core (5GC) which was developed as part of the 5G System (5GS) . The CN 130 also enables integration of different 3GPP and non-3GPP access types. In some implementations and referring to FIG. 2, the CN 130 also provides the interface towards external networks that may include the PSTN 140, the Internet 150, and other networks 160 in the communication system 100.

[0074] In general, the communication system 100 facilitates interaction between multiple wireless or wired elements. The communication system 100 may transmit different types of content, such as voice, data, video, and / or text, through different transmission methods such as, but not limited to, broadcast, multicast, groupcast, and unicast. Additionally, the communication system 100 operates by allocating and / or sharing resources, such as carrier spectrum bandwidth, among its constituent elements.

[0075] The communication system 100 may provide a wide range of communication services and applications including, but not limited to, Enhanced Mobile Broadband (eMBB) services, Ultra-Reliable Low-Latency Communication (URLLC) services, Massive Machine Type Communication (mMTC) services, Integrated Sensing And Communication (ISAC) , immersive communication, Ultra-massive Machine-Type Communication (uMTC) , hyper reliable and low-latency communication, ubiquitous connectivity, integrated AI and communication, and other services that can be provided by a future generation communication system. The communication system 100 may provide other services and applications such as, but not limited to, earth monitoring, remote sensing, passive sensing and positioning, navigation and tracking, autonomous delivery and mobility and the like.

[0076] The communication system 100 may include a terrestrial communication system (or network) and / or a non-terrestrial communication system (or network) . The communication system 100 may provide a high degree of availability and robustness through the joint operation of a terrestrial communication system and the non-terrestrial communication system. For example, integrating a non-terrestrial communication system (or components thereof) into a terrestrial communication system can result in a heterogeneous network comprising multiple layers. The heterogeneous network may achieve better overall performance through efficient multi-link joint operation, more flexible functionality sharing, and faster physical layer link switching between terrestrial networks and non-terrestrial networks. The terrestrial communication system and the non-terrestrial communication system could be considered as sub-systems of the communication system 100.

[0077] FIG. 2 illustrates another example for communication system 100, according to an implementation of the present disclosure, there is shown the communication system 100 includes EDs 110a, 110b, 110c, 110d (collectively referred to as ED 110) , RANs 120a, 120b, one or more CNs 130, a PSTN 140, the Internet 150, and other networks 160. Additionally, the communication system 100 may also include a non-terrestrial network (NTN) 120c. The RANs 120a and 120b may include network nodes 170a and 170b respectively. Examples of network nodes 107a, 107b include base stations, which can be generally referred to as terrestrial network (TN) devices or terrestrial transmit and receive points (T-TRPs) 170a, 170b (collectively referred to as 170) . In this context, the terms “TRP” and “base station” are used interchangeably unless otherwise specified. For simplicity, this disclosure primarily refers to network nodes as base stations; however, unless explicitly stated otherwise, references to TRP are considered non-limiting and interchangeable. The T-TRPs 170a, 170b may be base stations mounted on a building or tower. In one implementation, the NTN 120c includes a RAN node such as a base station 172, which may be generally referred to as an NTN device, a non-terrestrial node, a non-terrestrial network device, a non-terrestrial base station, or a non-terrestrial transmit and receive point (NT-TRP) 172.

[0078] In some implementations, the NT-TRP 172 is not attached to the ground, for example, as in the case of an airborne base station. An airborne base station may be implemented using communication equipment supported or carried by a flying device. For example, a flying device may include, but is not limited to, an airborne platform (such as a blimp or an airship) , balloon, drone (such as quadcopter) , and other types of aerial vehicles. In some implementations, an airborne base station may be supported or carried by an unmanned aerial system (UAS) or an unmanned aerial vehicle (UAV) , such as a drone. An airborne base station may be a moveable or mobile base station that can be flexibly deployed in different locations to meet network demand. A satellite base station is another example of a non-terrestrial base station. A satellite base station may be implemented using communication equipment supported or carried by a satellite. A satellite base station may also be referred to as an orbiting base station. High altitude platforms are yet another example of non-terrestrial base stations, including international mobile telecommunication base stations.

[0079] As referred to herein, and unless specified otherwise, a “TRP” may also refer to a T-TRP or an NT-TRP, a “T-TRP” may also refer to a “TN TRP” , and an “NT-TRP” may also refer to an “NTN TRP” . The NTN 120c may be considered a RAN sharing operational aspects with RANs 120a, 120b. The NTN 120c may include at least one NTN device and at least one corresponding terrestrial network device. The at least one NTN device may function as a transport layer device and the at least one corresponding terrestrial network device may function as a RAN node, communicating with the ED 110 via the NTN device. Additionally, there may be an NTN gateway on the ground (referred to as a terrestrial network device) that also functions as a transport layer device facilitating communication with both the NTN device and the RAN node. The RAN node may communicate with the ED 110 via the NTN device and the NTN gateway. In some implementations, the NTN gateway and the RAN node may be located within the same device.

[0080] A base station 170 (also referred to as a TRP as stated above) is a network element within a radio access network responsible for radio transmission and reception in one or more cells to or from the ED (such as a user equipment) . In different implementations, the base station 170 may also be known as a base transceiver station (BTS) , a radio base station, a network node, a network device, a device on the network side, a transmit / receive node, a Node B, an evolved NodeB (eNodeB or eNB) , a Home eNodeB, a next Generation NodeB (gNB) , a transmission point (TP) , a site controller, an access point (AP) , a wireless router, a relay station, a terrestrial node, a terrestrial network device, a terrestrial base station, a non-terrestrial node, a non-terrestrial network device, a non-terrestrial base station, and a positioning node, among other possibilities. The base station 170 may be a macro base station (BS) , a pico BS, a relay node, a donor node, or combinations thereof. When the base station 170 performs (or is configured to perform) a method described herein, it may be interpreted as the base station itself, one or more modules (or units) in the base station, a circuit or chip, or a combination thereof, performing the method. For example, the circuit or chip may include a modem  chip, also referred to as a baseband chip, a system on chip (SoC) including a modem core, system in package (SIP) ) , and the like, and may be responsible for one or more communication functions within the base station.

[0081] The EDs 110a-110d and TRPs 170a-170b, 172 are examples of communication equipment that can be configured to implement some or all of the operations and / or implementations described herein. The T-TRP 170a forms part of the RAN 120a, which may include other TRPs, and / or other devices. Also, the TRP 170b forms part of the RAN 120b, which may include other TRPs, and / or devices. Each TRP 170a, 170b may transmit and / or receive wireless signals within a particular geographic region or area, sometimes referred to as a “cell” or a “coverage area” . The TRPs 170a-170b may be responsible for allocating and  / or configuring resources and transmission and / or reception in a set of cell (s) . A cell is a radio network object that can be uniquely identified by a cell identification that is broadcasted over a geographical region or area from base stations associated with the cell. A cell can work in either FDD or TDD mode. A cell may be further divided into cell sectors, and a base station 170a-170b may, for example, employ one or more transceivers to provide services to one or more sectors. Some implementations, may include pico or femto cells if supported by the radio access technology. In some implementations, one or more transceivers could be used for each cell, such as with Multiple-Input Multiple-output (MIMO) technology. The number of RAN 120a-120b shown is an example only. Any number of RAN may be contemplated when devising the communication system 100.

[0082] A base station may be a single element, as shown in the figures, or multiple elements, distributed throughout the corresponding RAN, or otherwise configured. In some implementations, a plurality of RAN nodes coordinate to assist the ED 110 in implementing radio access, and different RAN nodes separately implement and handle different functions of the base station. For example, the RAN node may be a central unit (CU) , a distributed unit (DU) , a CU-control plane (CP) , a CU-user plane (UP) , or a radio unit (RU) etc. The CU and the DU may be separately deployed, or included within the same element (i.e., a baseband unit (BBU) ) . The RU may be included in a radio frequency device or a radio frequency unit (i.e., a remote radio unit (RRU) , an active antenna unit (AAU) , or a remote radio head (RRH) ) . In different systems, the CU (or the CU-CP and the CU-UP) , the DU, or the RU may be known by different names, but their functions are understood by persons skilled in the art. For example, in an open radio access network (ORAN) system, a CU may also be referred to as an open CU (O-CU) , a DU may be referred to as an open DU (O-DU) , and a CU-CP may also be referred to as an open CU-CP (O-CU-CP) . The CU-UP may also be referred to as an open CU-UP (O-CU-UP) , and the RU may also be referred to as an open RU (O-RU) . Any one of the CU (or the CU-CP, the CU-UP) , the DU, and the RU may be implemented using a software module, a hardware module, or a combination of a software module and a hardware module.

[0083] Furthermore, communication between different devices / apparatuses in various implementations of this disclosure may refer to direct communication (that is, without the need of forwarding by another device / apparatus) , or may refer to communication (s) between different devices / apparatuses via another device / apparatus (that is, requiring forwarding by another device / apparatus) . Alternatively, such communication (s) may involve one functional unit inside a device / apparatus using another functional unit within the device / apparatus to communicate with another device / apparatus. In other words, phrases such as "sending (or transmitting) information to. . . (an ED or a base station) " in this disclosure may be understood as a destination endpoint of the information being an ED or a base station, including, sending / transmitting information directly or indirectly to an ED or a base station. Similarly, phrases like "receiving information from. . . (an ED or a base station) " may be understood as a source endpoint of the information being an ED or a base station, including directly or indirectly receiving information from an ED or a base station. Between the source endpoint that sends the information and the destination endpoint, necessary processing such as, but not limited to, format conversion, digital-to-analog conversion, amplification, and filtering may be performed on the information. However, the destination endpoint may understand valid information from the source endpoint. A similar understanding applies to other descriptions in this disclosure without reiterating details already described herein. In the present disclosure, the terms "send" and "transmit" may be used interchangeably in different implementations of this disclosure.

[0084] The ED 110 is used to connect people, objects, machines, and other entities. The ED 110 may be widely used in various scenarios including, but not limited to, cellular communications, device-to-device (D2D) , vehicle to everything (V2X) , peer-to-peer (P2P) , machine-to-machine (M2M) , MTC, internet of things (IoT) , virtual reality (VR) , augmented reality (AR) , mixed reality (MR) , metaverse, digital twin, industrial control, self-driving, remote medical, smart grid, smart furniture, smart office, smart wearable, smart transportation, smart city, drones, robots, remote sensing, passive sensing, positioning, navigation and tracking, and autonomous delivery and mobility.

[0085] Each ED 110 represents any suitable end user device for wireless operation and may include such devices (or may be referred to as, but not limited to) a user equipment (UE) or a user device or a terminal device, a wireless transmit / receive unit (WTRU) , a mobile station, a fixed or mobile subscriber unit, a cellular telephone, a station (STA) , an MTC device, a personal digital assistant (PDA) , a smartphone, a laptop, a computer, a tablet, a wireless sensor, a consumer electronics device, a smart book, a vehicle, a car, a truck, a bus, a train, or an IoT device, wearable devices (such as a watch, a pair of glasses, head mounted equipment, etc. ) , an industrial device, or an apparatus (such as a module, modem, or chip) in the forgoing devices, among other possibilities. Future generation EDs 110 may be referred to by other terms. When an ED 110 performs (or is configured to perform) a method described herein, it may be interpreted as the ED itself, one or more modules (or units) in the ED, a circuit or chip, or a combination thereof, performing the method. For example, the circuit or chip may include a modem chip, also referred to as a baseband chip, a system on chip (SoC) including a modem core, or system in package (SIP) ) , and the like, and may be responsible for one or more communication functions in the ED.

[0086] Each ED 110 connected to TRPs 170a-170b, and / or TRPs 172 can be dynamically or semi-statically turned-on (i.e., established, activated, or enabled) , turned-off (i.e., released, deactivated, or disabled) and / or configured in response to one of more of:connection availability and connection necessity.

[0087] Any ED 110 may be alternatively or additionally configured to interface, access, or communicate with any of the TRPs 170a, 170b and 172, the Internet 150, the CN 130, the PSTN 140, the other networks 160, or any combination thereof. In some examples, the ED 110a may communicate an uplink (UL) and / or downlink (DL) transmission over a terrestrial air interface 190a with station-TRP 170a. In some examples, the EDs 110a, 110b, 110c, and 110d may also communicate directly with one another via one or more sidelink (SL) air interfaces 190b. In some examples, the EDs 110a, 110d may communicate using an UL and / or DL transmission over a non-terrestrial air interface 190c with NT-TRP 172.

[0088] An air interface (such as, for example, 190a, 190b, 190c) generally includes a number of components and associated parameters that collectively specify how a transmission is to be sent and / or received over a wireless communications link between two or more communicating devices such as EDs and base station (s) . For example, an air interface may include one or more components defining the waveform (s) , frame structure (s) , multiple access scheme (s) , protocol (s) , coding scheme (s) and / or modulation scheme (s) for conveying information (such as, data) over a wireless communications link. The air interfaces 190a and 190b may use similar communication technology, that may include any suitable radio access technology.

[0089] The non-terrestrial air interface 190c can enable communication between the EDs 110a, 110d and one or more NT-TRPs 172 via a wireless link or simply a link. For some examples, the link is a dedicated connection for unicast transmission, a connection for broadcast transmission, or a connection between a group of EDs 110 and one or more NT-TRPs 172 for multicast transmission.

[0090] The TRPs 170a-170b, 172 may communicate with one another over one or more air interfaces 190e, 190f using wireless communication links (such as radio frequency (RF) , microwave, infrared (IR) , etc. ) or wired communication links. The air interfaces 190e, 190f may utilize any suitable radio access technology, and may be substantially similar to the air interfaces 190a, 190c over which the EDs 110a-110d communicate with one or more of the TRP 170a-170b, 172 or they may be substantially different. For example, the communication system 100 may implement one or more channel access methods, such as Time Division  Multiple Access (TDMA) , Frequency Division Multiple Access (FDMA) , Code Division Multiple Access (CDMA) , Single Carrier Frequency Division Multiple Access (SC-FDMA) , Low Density Signature Multicarrier Code Division Multiple Access (LDS-MC-CDMA) , Non-Orthogonal Multiple Access (NOMA) , Pattern Division Multiple Access (PDMA) , Lattice Partition Multiple Access (LPMA) , Resource Spread Multiple Access (RSMA) , and Sparse Code Multiple Access (SCMA) .

[0091] The RANs 120a and 120b are in communication with the CN 130 to provide the EDs 110a 110b, and 110c with various services such as voice, data, multimedia, and other services. The RANs 120a and 120b and / or the CN 130 may be in direct or indirect communication with one or more other RANs (not shown) , which may or may not be directly served by the CN 130, and may employ different radio access technologies from RAN 120a, and / or RAN 120b. The CN 130 may also serve as a gateway access between (i) the RANs 120a and 120b and / or the EDs 110a 110b, and 110c, and (ii) other networks (such as the PSTN 140, the Internet 150, and the other networks 160) . In addition, some or all of the EDs 110a 110b, and 110c may include functionality for communicating with different wireless networks over different wireless links using different wireless technologies and / or protocols. For example, the EDs 110a, 110b, and 110c communicate using different cellular communications protocols, such as, but not limited to, a Global System for Mobile Communications (GSM) protocol, a code-division multiple access (CDMA) network protocol, a Push-to-Talk (PTT) protocol, a PTT over Cellular (POC) protocol, a Universal Mobile Telecommunications System (UMTS) protocol, a 3GPP Long Term Evolution (LTE) protocol, a fifth generation (5G) protocol, a New Radio (NR) protocol, and the like. Instead of wireless communication (or in addition thereto) , the EDs 110a 110b, and 110c may communicate using wired communication channels to a service provider or switch (not shown) , and / or to the Internet 150. The PSTN 140 may include circuit switched telephone networks for providing plain old telephone service (POTS) . The Internet 150 may include a network of computers and subnets (intranets) or both, and incorporate protocols, such as internet protocol (IP) , transmission control protocol (TCP) , user datagram protocol (UDP) . EDs 110a 110b, and 110c may be multimode devices capable of operation according to multiple radio access technologies, and may incorporate one or multiple transceivers necessary to support such.

[0092] In addition, the communication system 100 may comprise a sensing agent (not shown) to manage the sensed data from ED 110 and / or any one of TRPs 170a, 170b, 172. In one implementation, the sensing agent may be part of any one of TRPs 170a, 170b, 172. In another implementation, the sensing agent is a separate node that can communicate with the CN 130 and / or the RAN 120 (such as any one of TRPs 170a, 170b, 172) .

[0093] FIG. 3 is a schematic illustration showing an apparatus 310 wirelessly communicating with another apparatus 320 within a communication system (e.g. the communication system 100) according to an implementation of the present disclosure. The apparatus 310 may be an electronic device (such as ED 110) . The apparatus 320 may be a network node (e.g., the network node 170) such as T-TRP 170 or an NT-TRP 172. Although only one apparatus 310, and one apparatus 320 are shown in the figure, the number of apparatus 310 and / or the number of apparatus 320 can vary, potentially including one or more of each. For example, a single ED 110 may be served by a single T-TRP 170 (or a single NT-TRP 172) , or by multiple T-TRPs 170 (or multiple NT-TRPs 172) . Similarly, a single ED 110 may be served by one or more T-TRPs 170 and one or more NT-TRPs 172. Similarly, a single T-TRP 170 (or a single NT-TRP 172) may serve one or more EDs 110.

[0094] The apparatus 310 may include one or more processors 210. For clarity and to avoid overcrowding the illustration, only a single processor 210 is illustrated. The apparatus 310 may further include a transmitter 201 and a receiver 203 coupled to one or more antennas 204. For clarity, only a single antenna 204 is illustrated t. One, some, or all of the antennas 204 may alternatively be panels. In some implementations, the transmitter 201 and the receiver 203 are separate from each other. In other implementations, the transmitter 201 and the receiver 203 may be integrated into a single unit, for example, as a transceiver. The transceiver is configured to modulate data or other content for transmission by the one or more antennas 204 or a network interface controller (NIC) . The transceiver may also be configured to demodulate data or other content received by the one or more antennas 204. A transceiver may include any suitable structure for generating signals for wireless and / or wired transmission and / or for processing  signals received through wireless or wired communication. Each antenna 204 includes any suitable structure for transmitting and / or receiving wireless or wired signals. The apparatus 310 may include a memory 208. In some implementations, the apparatus 310 may include multiple memories 208. Only a single transmitter 201, receiver 203, processor 210, memory 208, and antenna 204 is illustrated for simplicity, but the apparatus 310 may include one or more other components. In some implementations of the present disclosure, the transceiver (or transmitter 201 and / or receiver 203) may be viewed as an interface circuit.

[0095] The memory 208 is configured to store instructions used to perform operations described herein. The memory 208 may also be configured to store data that is used, generated, or collected by the apparatus 310. For example, the memory 208 can store software instructions or modules configured to implement some or all of the functionalities and / or operations described herein and that are executed by the one or more processors 210.

[0096] The apparatus 310 may further include one or more input / output devices (not shown) or interfaces. The input / output devices or interfaces facilitate interaction with a user or other devices in the network. Each input / output device or interface includes suitable components for facilitating transmission of information to a user and reception of information from a user, and for various network interface communications. Such components may include, but are not limited to, a speaker, microphone, keypad, keyboard, display, touch screen, and the like.

[0097] The processor 210 may be configured to perform (or control the apparatus 310 to perform) operations (or methods) described herein as being performed by the apparatus 310. For example, the processor 210 performs or controls the apparatus 310 to perform the operations of: a) receiving one or more transport blocks (TBs) , b) using a resource for decoding at least one of the received TBs, c) releasing the resource for decoding another of the received TBs, and / or d) receiving configuration information configuring a resource. Specifically, the operations may include tasks related to: preparing a transmission for UL transmission to the apparatus 320, processing DL transmissions received from the apparatus 320, and handling SL transmission to and from another apparatus 310. Processing operations related to preparing a transmission for UL transmission may include operations such as, but not limited to, encoding, modulating, transmit beamforming, and generating symbols for transmission. Processing operations related to processing DL transmissions may include operations such as, but not limited to, receive beamforming, demodulating and decoding received symbols. Processing operations related to processing SL transmissions may include operations such as, but not limited to, transmit / receive beamforming, modulating / demodulating and encoding / decoding symbols. Depending upon the implementation, a DL transmission may be received by the receiver 203, possibly using receive beamforming, and the processor 210 may extract signaling from the DL transmission (such as by detecting and / or decoding the signaling) . An example of signaling may be a reference signal transmitted by the apparatus 320. In some implementations, the processor 210 implements the transmit beamforming and / or the receive beamforming based on the indication of beam direction, such as beam angle information (BAI) , received from the apparatus 320. In some implementations, the processor 210 may be configured to perform operations relating to network access (such as initial access) and / or downlink synchronization, which includes operations for detecting a synchronization sequence, decoding and obtaining the system information, and the like. In some implementations, the processor 210 may perform channel estimation, such as using a reference signal received from the apparatus 320.

[0098] Although not illustrated, in some implementations, the processor 210 may either be a part of the transmitter 201 or a part of the receiver 203 or a part of both the transmitter 201 and the receiver 203. Although not illustrated, in some implementations the memory 208 may be a part of the processor 210.

[0099] The processor 210, along with the processing components of the transmitter 201, and the receiver 203 may each be implemented by one or more processors that may be the same or different. These processors are configured to execute instructions stored in a memory (such as in the memory 208) .

[0100] The apparatus 320 includes one or more processors 260 (only one processor 260 is illustrated) . The apparatus 320 may further include one or more transmitters 252 and one or more receivers 254 coupled to one or more antennas 256. Only a single antenna 256 is illustrated to avoid clutter in the illustration. One, some, or all of the antennas 256 may alternatively be panels. In some implementations, the transmitter 252 and the receiver 254 are separate from each other. In other implementations, the transmitter 252 and the receiver 254 may be integrated into a single unit such as, for example, as a transceiver. The apparatus 320 may further include a memory 258. In some implementations, the apparatus 320 may include multiple memories 258. The apparatus 320 may further include scheduler 253. Only a single transmitter 252, receiver 254, processor 260, memory 258, antenna 256 and scheduler 253 are illustrated for simplicity, however the apparatus 320 may include one or more other components. In the present disclosure, in some implementations, the transceiver (or transmitter 252 and / or receiver 254) may be viewed as an interface circuit.

[0101] In some implementations, various components of the apparatus 320 may be distributed. For example, some of the modules of the apparatus 320 may be located remotely from the equipment housing the antennas 256 for the apparatus 320 (and therefore also can be viewed as one or more nodes) . These modules, which can be considered as one or more nodes, may be coupled to the equipment that houses the antennas 256 over a communication link (not shown) , sometimes referred to as front haul, such as the Common Public Radio Interface (CPRI) . Therefore, in some implementations, the term apparatus 320 may also refer to network-side nodes that perform processing operations, such as, but not limited to, determining the location of the apparatus 310, resource allocation (scheduling) , message generation, and encoding / decoding, and that which are not necessarily part of the equipment that houses the antennas 256 of the apparatus 320. The nodes may also be coupled to other apparatuses 320. In some implementations, the apparatus 320 may actually be a plurality of nodes that are operating together to serve the apparatus 310, such as through the use of coordinated multipoint transmissions, or through the use of ORAN system as described above in the disclosure.

[0102] The processor 260 is configured to perform operations including those related to: preparing a transmission for DL transmission to the apparatus 310, processing an UL transmission received from the apparatus 310, preparing a transmission for backhaul transmission to another apparatus 320, and processing a transmission received over backhaul from another apparatus 320. Processing operations related to preparing a transmission for DL or backhaul transmission may include operations such as encoding, modulating, precoding (such as MIMO precoding) , transmit beamforming, and generating symbols for transmission. Processing operations related to processing received transmissions in the UL or over backhaul may include operations such as, but not limited to, receive beamforming, demodulating received symbols, and decoding received symbols. The processor 260 may also be configured to perform operations relating to network access (such as initial access) and / or DL synchronization, such as generating the content of synchronization signal blocks (SSBs) , generating the system information, and the like. In some implementations, the processor 260 is further configured to generate an indication of beam direction, such as BAI, which may be scheduled for transmission by the scheduler 253 which will be described below. In some implementations, the processor 260 implements the transmit beamforming and / or receive beamforming based on beam direction information (such as BAI) received from another apparatus 320. The processor 260 is configured to perform other network side processing operations described herein, such as, but not limited to, determining the location of the apparatus 310, determining where to deploy another apparatus 320, and the like. In some implementations, the processor 260 may generate signaling data, to configure one or more parameters of the apparatus 310 and / or one or more parameters of another apparatus 320. Any signaling data generated by the processor 260 is sent by the transmitter 252. In some implementations, the apparatus 320 implements physical layer processing. In some implementations, the apparatus 320 may perform higher layer functions such as those at the Medium Access Control (MAC) or Radio Link Control (RLC) layers in addition to physical layer processing. In the apparatus 320, the scheduler 253 may be coupled to the processor 260 or integrated within the processor 260. In some implementations, the scheduler 253 may be integrated within the apparatus 320 or may be operated separately from the apparatus 320. The scheduler 253 may schedule UL, DL, SL, and / or backhaul transmissions, including issuing scheduling grants and / or configuring scheduling-free (such as “configured grant” ) resources.

[0103] The apparatus 320 may further include a memory 258 that is configured to store instructions for performing the operations described herein. The memory 258 may also store data that is used, generated, or collected by the apparatus 320. For example, the memory 258 can store software instructions or modules configured to implement some or all of the functionalities and / or implementations described herein and that which are executed by the processor 260.

[0104] Although not illustrated, the processor 260 may be implemented as part of the transmitter 252 and / or a part of the receiver 254. Although not illustrated, in some implementations, the processor 260 may implement the scheduler 253, and the memory 258 may be implemented as part of the processor 260.

[0105] The processor 260, the scheduler 253, the processing components of the transmitter 252, and the processing components of the receiver 254 may each be implemented by the same or different processors that are configured to execute instructions stored in a memory, such as in the memory 258.

[0106] The apparatus 320 and / or the apparatus 310 may include other components, not shown or described herein for the sake of clarity.

[0107] Note that the term “signaling” , as used herein, may alternatively be called control signaling, control message, control information, or message for simplicity. Signaling between a base station (such as the TRP 170a, 107b, 172) and a UE or sensing device (such as ED 110) , or signaling between a different UE or sensing device (such as between ED 110a and ED 110b) may be carried in physical layer signaling (also called as dynamic signaling) , which is transmitted in a physical layer control channel. For DL, the physical layer signaling may be known as downlink control information (DCI) which is transmitted in a physical downlink control channel (PDCCH) . For UL, the physical layer signaling may be known as uplink control information (UCI) which is transmitted in a physical uplink control channel (PUCCH) . For SL, signaling between different UEs or sensing devices (such as between ED 110a and ED 110b) may be known as SL control information (SCI) which is transmitted in a physical sidelink control channel (PSCCH) . Signaling may be carried in a higher layer (such as higher than physical layer) signaling, which is transmitted in a physical layer data channel, such as in a physical downlink shared channel (PDSCH) for downlink signaling, in a physical uplink shared channel (PUSCH) for uplink signaling, and in a physical sidelink shared channel (PSSCH) for SL signaling. Higher layer signaling may also be called static signaling, or semi-static signaling. The higher layer signaling may include radio resource control (RRC) protocol signaling or media access control -control element (MAC-CE) signaling. Signaling may be included in a combination of physical layer signaling and higher layer signaling.

[0108] It should be noted that in the present disclosure, “information” , when different from “message” , may be carried within a single message, or may be carried in multiple separate messages.

[0109] FIG. 4 illustrates an example apparatus 410 according to an implementation of the present disclosure. The apparatus 410 may be a communication device or an apparatus implemented in a communication device such as the ED 110 or the TRPs 170a, 170b, 172. For example, the apparatus 410 implemented in an ED may be an integrated circuit, which in some instances may referred to as a chip, a modem, a modem chip, a baseband chip, or a baseband processor. In some implementations, one or more integrated circuits can be packaged into a system-on-chip, a system-in-package, or a multi-chip module. The apparatus 410 can include one or more integrated circuits and other discrete components. In some implementations, the apparatus 410 may be a module within the ED 110, or within the apparatus 310. In some implementations, the apparatus 410 may be a module within one of TRPs 170a, 170b, 172, or the apparatus 320.

[0110] In an example, the apparatus 410 may include one or more processors 411, and an interface circuit 412. The apparatus 410 may further include a memory 413. The one or more processors 411 are configured to process signals and execute one or more communication protocols. The memory 413 is configured to store at least a part of corresponding computer program instructions and / or data. In an example, the one or more processors 411 execute the computer program instructions stored in the memory 413  to implement related operations (for example, inputting, outputting, receiving, and transmitting) in the method embodiments disclosed herein. In some implementations, the memory 413 being configured to store the corresponding computer program instructions and / or data may mean that the memory 413 is configured to store all of the corresponding computer program instructions and / or data for execution by the one or more processors 411. In some implementations, the memory 413 being configured to store the corresponding computer program instructions and / or data may mean that the memory 413 is configured to store a part of the corresponding computer program instructions and / or data. For example, the part of the corresponding computer program instructions and / or data may include computer program instructions and / or data that need to be currently executed by the one or more processors 411. Thus, the memory 413 may store different parts of computer program instructions and / or data for a plurality of times for the one or more processors 411 to perform related operations in the method embodiments disclosed herein. As a communication interface, the interface circuit 412 is configured to implement communication with another component. For example, the interface circuit 412 may communicate a signal with other apparatus / system such as a radio frequency processing apparatus, or processor system. The communication includes transmitting signal (or data, information) to another component or device, or receives signal from another component or device. “transmitting” includes outputting the signal to a component or device that is directly or indirectly coupled to the interface circuit (transmitting unit) . “receiving” includes inputting or obtaining a signal from a component or device that is directly or indirectly couped to the interface circuit (receiving unit) . Optionally, to reduce a load of the one or more processors, a baseband signal processing circuit 414 may be also disposed to implement processing of at least a part of baseband signals, including signal demodulation, modulation, encoding, decoding, or the like.

[0111] The apparatus 410 may be the processor 210 (or 260) within the apparatus 310 (or 320) , in some scenarios, or may be included within the processor 210 (or 260) within the apparatus 310 (or 320) in some scenarios. The apparatus 410 may be a baseband chip or may include a baseband chip. In some implementations, the apparatus 410 may be independently packaged into a chip. In some implementations, the apparatus 310 (or 320) includes different types of chips. The apparatus 410 may be packaged into a processor chip (for example, an SoC chip or an SIP chip) with the different types of chips. In some implementations, the apparatus 410 may be packaged into a chip with some or all of circuits of a radio frequency processing system that may further included in the apparatus 310 (or 320) .

[0112] FIG. 5 illustrates example of apparatus 510 according to an implementation of the present disclosure. The apparatus 510 may include corresponding modules or units configured to implement methods and / or implementation described herein. In some implementations, the apparatus 510 includes a processing unit 512 and a communication unit 513. Optionally, the apparatus 510 may further include a storage unit 511 configured to store apparatus program code (or instructions) and / or data.

[0113] The apparatus 510 may be an ED side apparatus, for example, an ED or a module in an ED, or a circuit or a chip responsible for a communication function in an ED. In some implementations, apparatus 510 may be the apparatus 310. The processing unit 512 may be the processor 210. The communication unit 513 may comprise a receiving unit and / or a transmitting unit. The receiving unit and / or the transmitting unit may be the transmitter 201 and / or the receiver 203 respectively. The storage unit 511 may be the memory 208.

[0114] The apparatus 510 may be a base station side apparatus, for example, a base station or a module in a base station, or a circuit or a chip responsible for a communication function in a base station. In some implementations, apparatus 510 may be apparatus 320. The processing unit 512 may be the processor 260 (the scheduler 253 may also be included) . The communication unit 513 may comprise a receiving unit and / or a transmitting unit. The receiving unit and / or the transmitting unit may be the transmitter 252 and / or the receiver 254 respectively. The storage unit 511 may be the memory 258.

[0115] In some implementations, when the apparatus 510 is an ED 110 or a module in an ED 110, a function of the apparatus 510 may be implemented by one or more processors. Specifically, the processor may include a modem chip, or a system on chip  (SoC) chip or an SIP chip that includes a modem core. A function of the communication unit 513 may be implemented by a transceiver circuit.

[0116] In some implementations, when the apparatus 510 is a circuit or a chip that is responsible for a communication function in an ED 110, such as, a modem chip, a system on chip (SoC) chip or an SIP chip that includes a modem core -a function of the processing unit 512 may be implemented by a circuit system within the chip which includes one or more processors. A function of the communication unit 513 may be implemented by an interface circuit or a data transceiver circuit on the chip.

[0117] It may be understood that the units in the apparatus 510 may be logical or functional. Each function may correspond to one functional unit, or two or more functions may be integrated into a single functional unit. In actual implementation, all or some of the units may be integrated into a single physical entity, or may be distributed across different physical entities. In addition, the functional units may be implemented in the form of hardware, software, a combination of hardware and software. Whether a function is implemented in the form of hardware or software depends on particular applications and design constraint conditions of the technical solutions. A person skilled in the art may use different methods to implement the described functions for specific applications, but it should not be considered that the implementation goes beyond the scope of this disclosure.

[0118] In an example, a functional unit in any one of the foregoing apparatuses may be configured as one or more integrated circuits for implementing the methods disclosed herein, for example, as one or more application-specific integrated circuits (application-specific integrated circuits, ASICs) , one or more central processing units (CPUs) , one or more microprocessors or microprocessor units (MPUs) , one or more microcontrollers or microcontroller units (MCUs) , one or more digital signal processors (DSPs) , one or more field programmable gate arrays (FPGAs) , or a combination of these.

[0119] In an example, the storage unit 511 may include a random access memory, a flash memory, a read-only memory, a programmable read-only memory, an electrically erasable programmable memory, and / or a register.

[0120] A processor may be referred to as a processor system, an application processor, a baseband processor, a processor circuit, or a processor core. The processor may include one or a combination of one or more central processing units (CPUs) , one or more digital signal processors (DSPs) , one or more microprocessors (microprocessor units, MPUs) , one or more microcontrollers (microcontroller units, MCUs) , one or more graphics processing units (GPUs) , one or more field programmable gate arrays (FPGAs) , one or more artificial intelligence processors (AI processors) , or one or more neural network processing units (NPUs) .

[0121] Memory or a storage unit may include one or more of the following storage media: a random access memory (RAM) , a static random access memory (static RAM, SRAM) , a dynamic random access memory (dynamic RAM, DRAM) , a phase-change memory (PCM) , a resistive random access memory (resistive RAM, ReRAM) , a magnetoresistive random access memory (magnetoresistive RAM, MRAM) , a ferroelectric random access memory (ferroelectric RAM, FRAM) , a cache, a register, a read-only memory (ROM) , a flash memory (flash memory) , an erasable programmable read-only memory (erasable programmable ROM, EPROM) , a hard disk, and the like. In an example, computer program instructions used to execute embodiments may be stored in a non-volatile memory, for example, at least a part of a memory or storage unit (for example, one or more of a ROM, a flash memory, an EPROM, or a hard disk) . When a terminal runs, a part or all of corresponding computer program instructions may be loaded to a memory that has a higher transmission speed with the processor, for example, at least a part of a memory or a storage unit (for example, one or more of a RAM, an SRAM, a DRAM, a PCM, a RERAM, an MRAM, a FRAM, a cache, or a register) , so that the processor executes the computer program instructions to perform the steps in the method embodiments disclosed herein.

[0122] Digital Twin In a Wireless System

[0123] The concept of a digital twin is revolutionizing the understanding and management of complex systems, and the field of wireless communication is no exception. As communications systems evolve, digital twins are becoming important tools for  creating virtual replicas of physical wireless environments, encompassing everything from base stations and user devices to the surrounding terrain. These digital representations are constantly updated with real-time data, allowing for continuous monitoring, analysis, and prediction of the system's behavior. Sensors and wireless characteristics, such as Channel State Information (CSI) and Channel Quality Indicators (CQI) play a crucial role in building accurate and effective digital twins in this context.

[0124] An example overview of a digital twin system in wireless systems is provided with regard to FIG. 6.

[0125] Sensors 610 deployed throughout the physical wireless environment 612 gather data on various aspects of the wireless system, including environmental factors like temperature and humidity, the location of user devices, and signal strength at different points. However, modern sensors are evolving beyond simply capturing raw data points. They are becoming increasingly sophisticated, capable of capturing more complex and compound information that can be interpreted semantically. This means that the sensor data is not just a collection of numbers but also carries meaning and context, providing a richer understanding of the environment. For example, instead of simply reporting temperature values, a sensor might be able to identify the presence of a heat source or detect changes in airflow patterns. This semantic information adds a new dimension to the digital twin, enabling it to not only replicate the physical environment but also understand the relationships and interactions between different elements within that environment.

[0126] Meanwhile, CSI offers detailed information about the wireless channel between a transmitter and receiver, capturing the complex interactions of the transmitted signal with the surrounding environment. By analyzing CSI, we can estimate channel characteristics, detect and localize interference, and even track user movement. The combination of semantically rich sensor data and detailed CSI provides a powerful foundation for building comprehensive and intelligent digital twins of wireless systems.

[0127] When sensors and CSI measurements occur within a shared space, they are inherently bound by the same physical laws and limitations. This shared context leads to intriguing correlations and interdependencies between the data they capture.

[0128] For example, a bus may move across a residential area. In this case, the various sensors 610 may include:

[0129] · Visual Sensors: A camera sensor would record the visual movement of the bus as it traverses the area. This data could provide information about the bus's size, speed, and trajectory.

[0130] · Audio Sensors: Microphones or other audio sensors could capture the sound of the bus engine, horns, or even the movement of the vehicle itself. This auditory data could complement the visual data, offering additional insights into the bus's activity and potentially its type (e.g., distinguishing a bus from a truck based on engine noise) .

[0131] · Radio-Channel-Related Sensors: As the bus moves, its large metallic body would impact the surrounding wireless channels. This effect would be reflected in the radio channel measurements such as CQI, CSI, collected from various points in the nearby area. By analyzing changes in the radio channel measurement, it might be possible to infer the presence of the bus, its size, and even its movement trajectory, even without directly "seeing" it.

[0132] The interconnected nature of these data streams opens possibilities for data fusion and multi-modal analysis. By combining visual, audio, and radio channel measurement data, a more comprehensive understanding of the bus's movement and its impact on the environment may be achieved rather than could be achieved with any single sensor alone.

[0133] Wireless related characteristics and sensor data may be provided from the physical wireless environment 612 to the digital twin 620. In some implementations, this data is continuously updated between the physical wireless environment 612 and the digital twin 620.

[0134] The digital twin 620 converges diverse sensor technologies and radio measurements within a shared physical space, paving the way for a richer understanding of the environment and opens doors to innovative applications across various domains.

[0135] From the perspective of wireless communication, the benefits of utilizing digital twins in wireless systems are substantial. They enable network operators to optimize performance by identifying coverage gaps, mitigating interference, and efficiently  allocating resources. Additionally, real-time and historical data analysis allows for predictive maintenance, preventing service disruptions before they occur. Digital twins also pave the way for enhanced user experiences by enabling the personalization of network parameters based on individual needs and preferences. Furthermore, the insights gained from digital twins can drive the development of innovative services and applications, particularly in areas like the Internet of Things (IoT) and smart cities.

[0136] Semantization

[0137] In the realm of communications, the concepts of semantic communication and intelligent (effectiveness) communication have gained significant attention. A key driving force behind this trend is the emergence of large language models (LLMs) and their ability to represent information as discrete tokens. These tokens, derived from the LLM's vocabulary, encapsulate the semantic meaning of the underlying data, regardless of its original modality. This opens possibilities for seamless communication and information exchange between diverse devices and systems.

[0138] The ability to convert information from various modalities (e.g., images, audio, sensor readings) into a common tokenized representation facilitates interoperability and fusion of data from disparate sources. This token-based approach to semantic communication forms the basis for several promising avenues:

[0139] · Multi-Modal Communication: Devices like cameras and robots can utilize natural language processing techniques to encode their observations, intentions, or commands into sequences of tokens. This allows for intuitive and efficient communication between humans and machines, as well as between machines themselves.

[0140] · Semantic Inference: Inference tasks, such as object recognition or anomaly detection, can be performed on tokenized representations of data, enabling the exchange of not just raw data but also extracted meaning and insights.

[0141] · Knowledge Representation and Reasoning: Tokenized information can be readily integrated into knowledge graphs and other semantic representation frameworks, facilitating reasoning and decision-making based on a comprehensive understanding of the environment.

[0142] For example, FIG. 7 provides a diagram illustrating the creation of tokenized representations based on different input modalities using an LLM. For example, the various input modalities 710 may include text, audio, image, sensors, and the like. In the example of FIG. 7, such various input modalities 710 are provided to an LLM 720, which then create output representations 730. Output representations 730 may include various representations, including, but not limited to, multi-modal communication, knowledge representation, semantic inferences, and the like.

[0143] In future communication systems, a significant portion of communication between sensors, robots, and other intelligent devices may be conducted through token-based semantic exchange. This includes not only the execution of inference tasks but also the communication of results and insights derived from those tasks. The benefits of such a paradigm may include:

[0144] · Improved Efficiency: Semantic communication reduces the amount of data that needs to be transmitted by focusing on conveying meaning rather than raw data.

[0145] · Enhanced Interoperability: A common tokenized representation allows devices from different manufacturers and with varying capabilities to communicate and collaborate seamlessly.

[0146] · Context-Aware Communication: The semantic context embedded within tokens enables more intelligent and adaptive communication strategies, where devices can dynamically adjust their behavior based on the surrounding environment and the goals of the overall system.

[0147] Convergence of Semantic Communication and Digital Twin Technologies

[0148] As indicated above, according to embodiments of the present disclosure, systems and methods for the wireless system design for the convergence of semantic communication and digital twin technologies are provided. This allows for future communications where wireless networks are not merely conduits for data but active participants in understanding and responding  to the physical world. One aspect is therefore to represent the real-time state of a cellular environment as a dynamic collection of semantic tokens, capturing information from intelligent sensors and radio channel measurement UEs.

[0149] For example, reference is made to FIG. 8, which shows a semantic digital twin framework for wireless systems with context-awareness.

[0150] In particular, the framework of FIG. 8 includes digital twin 810. The field of digital twins has witnessed significant advancements in recent years, with applications spanning various industries such as manufacturing, healthcare, and urban planning. Existing digital twin platforms often incorporate sensor data, physics-based models, and simulation tools to create virtual representations of physical systems. These platforms provide capabilities for real-time monitoring, predictive maintenance, and what-if analysis, laying the groundwork for the integration of semantic information and AI-driven inference.

[0151] Further, the framework of FIG. 8 includes semantic and knowledge representations, both from UEs 820, shown as 822, and between base station 824 and the digital twin 810, shown as semantic information 826. The Semantic and knowledge representation communities have developed a wealth of technologies and standards for representing and reasoning with knowledge in a machine-readable format. Ontologies, knowledge graphs, and semantic web languages like RDF and OWL provide a foundation for structuring and interlinking semantic information, enabling machines to understand the meaning and relationships between different concepts. These technologies are crucial for building the knowledge base and reasoning mechanisms required for semantic digital twins.

[0152] In some cases, the system utilizes LLMs and Natural Language Processing (NLP) . In particular, advancements in natural language processing (NLP) and the development of large language models (LLMs) have revolutionized the way machines understand and generate human language. LLMs, trained on massive datasets of text and code, can perform tasks such as translation, summarization, and question answering with remarkable fluency and accuracy. These capabilities enable semantic communication between devices and interpreting the semantic information within the digital twin environment.

[0153] In accordance with embodiments of the present disclosure, computing for LLMs may be pushed to the edge, such as to base station 824. The rise of edge computing and distributed intelligence paradigms has addressed the need for low-latency processing and real-time decision-making in various applications. By moving computation closer to the data source, edge computing reduces communication delays and enables faster response times. This approach allows the support of real-time inference tasks within the digital twin environment, where timely decisions and actions are needed.

[0154] Integrating Semantic Communication to Enable Context-aware Digital Twins

[0155] Converging semantic communication and digital twin technologies presents a compelling vision for the future of intelligent systems in advanced technologies. That is, a tokenized representation of the real-time physical cellular world may be provided. By representing the real-time state of a digital twin using semantic tokens, a new level of understanding, interoperability, and adaptability may be unlocked within complex systems.

[0156] A first change to accomplish this is the use of semantic sensor data. As seen in FIG. 9, traditional sensors 910 provide raw data. Non-limiting examples of such raw data include temperature values, image pixels, among others.

[0157] However, modern sensors equipped with onboard AI capabilities (semantic sensors 920) may transform the way data is gathered and interpreted, playing a crucial role in the development of semantically rich digital twins. These intelligent sensors can process raw data locally and extract meaningful information, representing it as semantic tokens 922. For example, a camera could not only detect the presence of a person but also encode additional attributes like location, activity, or even emotional state. Similarly, environmental sensors could go beyond reporting mere temperature values and instead convey semantic concepts like "comfortable, " "humid, " or "polluted" based on predefined thresholds and environmental models.

[0158] Moreover, semantic sensors 920 can understand the specific task or objective they are assigned, allowing them to focus their attention and processing power on relevant aspects of the environment (i.e. task-specific attention and processing) . For instance, if the task is to monitor traffic flow, the sensor can prioritize detecting and classifying moving vehicles while filtering out irrelevant background information. This targeted approach not only improves efficiency, but also enhances privacy by allowing raw data containing sensitive information to remain localized and non-sensitive information to be processed at the cloud (i.e. privacy-preserving) .

[0159] Such semantic data comprising at least one semantic token can be provided to a base station, edge computing device, or other computing device.

[0160] A second change is the tokenization of radio channel measurement. For example, Channel State Information (CSI) 1010 of FIG. 10, traditionally seen as a complex set of raw data, can be transformed into a valuable source of semantic information within a digital twin environment. By extracting key features and patterns from CSI as received from transmitting devices 1012, meaningful insights into the wireless environment may be gained and represented as semantic tokens to create a tokenized CSI 1020. For instance, analysis of CSI can reveal the presence of obstacles, identify different types of interference (e.g., co-channel interference or external sources) , or even detect the movement of objects within the coverage area. These insights can be encoded as tokens such as "obstacle, " "interference, " or "movement, " along with relevant parameters like location, loss, or direction. Furthermore, if the base station (or the cloud) possesses a comprehensive RF map of the environment and sufficient computational power, it can potentially reconstruct the coarse but complete CSI from these tokenized representations, shown with block 1030. This reconstruction ability allows for a more efficient and compact representation of CSI, reducing the amount of data that needs to be transmitted while preserving essential information about the wireless environment, shown with block 1032.

[0161] A third change is with regard to the semantic digital twin representation. The concept of a digital twin has evolved in the present disclosure beyond a mere virtual replica of the physical world to encompass a richer, more meaningful representation of the environment through semantic tokenization. In this paradigm, the digital twin becomes a dynamic collection of semantic tokens, continuously updated with information from various sensors and radio channel measurements. Each sequence of tokens, representing a specific aspect or event within the environment, carries not only its inherent semantic meaning but also temporal and spatial context. This means that every piece of information within the digital twin is tagged with a timestamp and location stamp, creating a three-dimensional representation of the environment that encompasses time, space, and semantics (to describe events) , as shown in FIG. 11. This enriched digital twin transcends the role of a passive data collector and becomes an active participant in understanding and interpreting the environment. It can perform data fusion, combining information from multiple sources to create a more comprehensive picture of the situation, and even engage in predictive analysis by identifying patterns and trends within the tokenized data stream. This ability to fuse and analyze semantic information over time and space opens up new possibilities for intelligent decision-making, proactive intervention, and ultimately, a more harmonious interaction between the physical and digital worlds.

[0162] In particular, in the implementation of FIG. 11, various sensors and UEs (EDs) can provide information such as sensor data and CSI data, where such data can then be fused at a data fusion block. The implementation of FIG. 11 shows the various digital representations over time, where various tokens such as a movement token can be reference between the different digital representations at the different timestamps.

[0163] Example tokens shown in the implementation of FIG. 11 include tokens for temperature, movement, and persons detected. However, this is merely illustrative, and other tokens could equally be represented.

[0164] In the envisioned landscape of digital twins, where sensors and robotics seamlessly connect and interact through wireless links, their radio channel measurements may emerge as an important element with multifaceted significance. Each sensor and  robotic entity, functioning as a User Equipment (UE) , possesses not just its own intrinsic semantic information but also a unique radio channel signature such as CSI signature. This signature, inherently embedded within the CSI data, provides invaluable context by encompassing the UE's identifier, timestamp, and spatial location. This inherent richness of CSI elevates it beyond a mere indicator of channel conditions; it becomes a fundamental building block for constructing a comprehensive and dynamic understanding of the digital twin environment.

[0165] A fourth change is with regard to semantic communication and control, as for example shown in FIG. 12. The integration of semantic communication within the digital twin framework opens possibilities for intuitive and efficient interaction with the physical world. By utilizing semantic tokens, user devices 1210 associated with the digital twin 1220 can express their inference requests 1222 and receive results 1224 in a way that goes beyond simple data exchange, enabling context-aware understanding and even joint inference tasks where multiple devices collaborate to solve complex problems. Furthermore, robots or other actuators associated with the digital twin ecosystem can be controlled using natural language commands encoded as semantic tokens, facilitating intuitive interaction and simplifying the development of complex control strategies. This paradigm shift may empower future large language model (LLM) agents 1230 to perceive and respond to the real physical world through the lens of a semantically rich digital twin, allowing the exchange of semantic information and context. However, a significant challenge lies in ensuring the digital twin operates with minimal latency, as real-time responsiveness is crucial for effective interaction and control within dynamic environments.

[0166] The concept of user devices 1210 expressing inference requests and receiving results through semantic communication opens doors to a new realm of context-aware understanding and collaborative problem-solving. However, this also presents significant challenges, particularly in how to effectively fuse semantic information into a shared background knowledge base and leverage it for inference tasks within a generalized, non-customized inference engine at the base station.

[0167] Semantic Fusion and Background Knowledge Creation

[0168] The heterogeneity of semantic data generated by user devices within a digital twin ecosystem presents a significant challenge for creating a unified and coherent understanding of the environment. However, by leveraging the unique properties of radio channel measurement and its inherent spatial and temporal context, effective strategies for organizing and fusing this diverse information can be created.

[0169] Firstly, as described above, radio channel measurement or its semantically enriched representation can serve as a valuable signature for identifying and localizing user devices within the digital twin environment. This feedback signature, encompassing the device's identifier, timestamp, and spatial location, provides a common reference point for integrating data from multiple sources.

[0170] Building upon this foundation, clustering techniques may be employed to group semantic data based on spatial and temporal proximity. In a communication system equipped with sensing, localization, and tracking capabilities, these functionalities can be leveraged to create clusters of information that represent events or objects within specific regions of the environment at particular points in time.

[0171] This approach aligns well with the nature of information flow in the real physical world, where events and entities are often more closely related based on their spatial and temporal attributes rather than their specific data types. For example, a cluster might include visual data from a camera, audio data from a microphone, and radio channel measurements from nearby devices, all capturing different aspects of the same event occurring at a specific location and time, as in the previous example of a bus traversing through a residential area.

[0172] In future communications, the utilization of ultra-massive MIMO antenna arrays at base stations may revolutionize spatial resolution and provide unprecedented levels of spatial precision in signal transmission and reception. These large-scale antenna  arrays, coupled with the introduction of centimeter wave and millimeter wave frequency bands, may offer highly granular spatial detection or sensing of the wireless environment. In the example of FIG. 13, base stations 1310 employ CSI-RS (Channel State Information Reference Signal) 1312 as a broadcast reference signal in downlink, enabling user equipment (UE) 1320 to estimate the downlink MIMO channel (shown by block 1322) by measuring these reference signals. By transforming the MIMO channel estimates into the angular domain (shown by block 1324) , UE devices can glean valuable insights into their approximate location and orientation relative to the base station's antenna array, as well as the path loss associated with that specific direction (beamforming) . Consequently, this spatial information becomes inherently embedded within the CSI feedback 1330 transmitted back to the base station. Moreover, each CSI feedback report may carry a timestamp indicating the specific Transmission Time Interval (TTI) within the system and the unique identifier of the UE, providing additional temporal and device-specific context.

[0173] While traditional CSI feedback mechanisms require standardized protocols to ensure consistent inclusion of spatial information across all user equipment (UE) , the concept of semantic CSI introduces a new level of flexibility and autonomy. By enabling UE devices to express CSI information in a more descriptive and context-aware manner, semantic CSI empowers them to communicate a richer understanding of the wireless environment. For example, instead of simply reporting raw channel measurements, a UE could provide a semantic interpretation such as "The first beamforming path is Line-of-Sight (LOS) , originating from the base station at a vertical angle of 40 degrees and a horizontal angle of 20 degrees, with an approximate path loss of 20dB. The second path is a Non-Line-of-Sight (NLOS) path reflected once, originating from the base station at a vertical angle of 35 degrees and a horizontal angle of 80 degrees, with an approximate path loss of 30dB and a reflection loss of 10dB. "

[0174] Referring to FIG. 14, as UE devices become increasingly equipped with advanced AI capabilities, they can potentially extract even more nuanced information from channel estimates. For instance, by analyzing the variations in NLOS path loss across different sub-bands within the CSI-RS transmission bandwidth, the UE may be able to infer properties of the reflecting surface material (like spectrum analysis) . Such additional insights can be seamlessly incorporated into the semantic CSI feedback, providing a more comprehensive and informative representation of the wireless environment. This flexibility allows for the inclusion of context-specific details and potentially novel information that might not be captured by traditional standardized CSI feedback mechanisms. The future of sensor-UE 1410 feedback in a semantically enriched digital twin environment may involve a multi-layered approach, encompassing both traditional and optional innovative communication methods to convey a comprehensive understanding of the surrounding environment, as shown in FIG. 14:

[0175] · Traditional CSI Feedback 1412: this may utilize existing and / or future standardized CSI feedback formats, such as based on Type-I, Type-II, e-Type-II, Type-III (future) , and Type-IV (future) , shown with block 1414, to provide essential channel state information to the base station 1420. It primarily utilizes uplink control channels 1416 and, when necessary, uplink data channels 1418 for transmitting traditional CSI feedback.

[0176] · Semantic CSI Feedback 1430 (optional) : this feedback employs a sequence (s) of semantic tokens 1432 to convey a more descriptive and context-aware interpretation of the CSI data. This may include information about path characteristics, angles of arrival and departure, propagation environment, and potentially even inferences about object properties or material types. It utilizes uplink data channels 1418 for transmitting semantic CSI feedback, allowing for flexible and scalable communication of additional information.

[0177] · Semantic Sensed Results 1440 (Optional) : this represents the results of sensor observations and local inference tasks using a sequence (s) of semantic tokens 1442. This may include information about detected objects, events, or environmental conditions, along with relevant attributes and context. Similar to semantic CSI, this may utilize uplink data channels for transmitting semantic sensed results, allowing for flexible and adaptable communication of the extracted knowledge.

[0178] In the example of FIG. 14, the base station 1420 serves as the central hub for constructing and maintaining a real-time digital twin, processing the continuous stream of semantic information and CSI data received from user devices. This process can be broken down into four stages in some embodiments.

[0179] Firstly, the base station 1420 may receive semantic tokens from user devices, each token representing a specific observation, event, or inference result. These tokens can then be parsed and interpreted based on a predefined ontology (dictionary in LLM) or knowledge base, allowing the base station to extract the meaning and context of the information. This step generally assists in understanding the nature and significance of the data being received.

[0180] Secondly, the base station 1420 may leverage the spatial information embedded within radio channel measurement reports to localize user devices and anchor the semantic tokens to specific locations within the digital twin environment. By mapping or associating the semantic data in the form of tokens to their corresponding spatial coordinates, a comprehensive spatial representation of the environment emerges. Additionally, timestamps included in both radio channel measurement (e.g. CSI) reports and semantic data streams enable the base station to order events chronologically, reconstructing the sequence of activities and creating a dynamic timeline of the environment's evolution.

[0181] Thirdly, the base station 1420 may cluster or group the incoming sensor information based on the timestamps and locations associated with each data point. This clustering process groups together information that is likely related to the same event or occurring within the same spatial and temporal context. This step helps to organize the data and identify potential relationships between different observations or events.

[0182] Fourthly, within each cluster, the base station 1420 may perform data fusion, combining information from various sources and modalities to create a more comprehensive and holistic understanding of the environment. For instance, visual data from a camera, audio data from a microphone, and radio channel measurement-based inferences about object movement can be integrated to provide a richer and more detailed picture of a specific event or activity.

[0183] A procedure for processing incoming semantic information and CSI data as described above is shown with regard to FIG. 15.

[0184] In particular, the implementation of FIG. 15 shows a method or process at a base station or other network element. The method includes receiving and interpreting semantic data at block 1510. Such semantic data may include one or more semantic tokens. The interpretation at block 1510 may, in some cases, parse and interpret the data using a predefined ontology or knowledge base for the semantic token (s) .

[0185] The implementation of FIG. 15 may further include, at block 1520, localization and temporal ordering. This includes, for example, obtaining spatial and temporal information associated with a user device, such as, but not limited to, receiving radio channel measurement reports having spatial and temporal information from a user device, or receiving direct reports of spatial and temporal information from a user device. Such radio channel measurement reports may be represented as semantic tokens.

[0186] The localization and temporal ordering may leverage spatial information and use timestamps, and therefore associate the semantic data from block 1510 with the spatial and temporal information to generate associated semantic data.

[0187] The implementation of FIG. 15 may further include, at block 1530, grouping or clustering the associated semantic data based on the spatial and temporal proximity. This grouping thereby creates a cluster. Such cluster is stored as part of the digital twin representation from the embodiment of FIG. 12 for example.

[0188] The various sources and modalities may then be fused at block 1540. Such fusing of data within the cluster may be used to generate a representation of a portion of an environment. In some implementation, the fusing data within the cluster includes at least one of: combining data from multiple sources; resolving data conflicts; weighting data based on reliability; or generating a unified representation of the portion of the environment.

[0189] Through the continuous processing and integration of semantic information and radio channel measurement data, a dynamic and evolving background knowledge base emerges, forming the foundation of the digital twin (as shown in FIG. 16) . This knowledge base possesses both spatial and temporal dimensions, with information organized into clusters based on location and time. As new data streams in, the digital twin dynamically updates its understanding of the environment, reflecting the ever-changing nature of the real world. This dynamic knowledge update process may ensure that the digital twin remains current and relevant, providing an accurate representation of the physical environment at any given moment. The ability to adapt and evolve in real-time allows the digital twin to effectively support a wide range of applications, from real-time monitoring and control to predictive analysis and intelligent decision-making. This dynamic nature distinguishes the digital twin from static models or historical data archives, transforming it into a living representation of the physical world that can respond and adapt to the continuous flow of information and events.

[0190] In addition to its dynamic and real-time capabilities, the digital twin can be further enriched with an optional memory function, allowing it to retain temporal snapshots of the background knowledge at different points in time. This historical archive of the environment's state provides valuable insights into past events, patterns, and trends. By analyzing these snapshots, a deeper understanding of how the environment has evolved over time, identify recurring patterns or anomalies, and even develop predictive models to anticipate future events may be achieved. This collective memory function may enhance the digital twin's analytical capabilities, enabling it to not only reflect the present state of the environment but also learn from the past and make more informed predictions about the future. The ability to access and analyze historical data alongside real-time information may empower the digital twin to become a powerful tool for decision-making, optimization, and long-term planning. Furthermore, recent advancements in Time-Series-GPT (TS-GPT) technology, which leverages language models for time-series prediction, offer possibilities for enhancing the digital twin's predictive capabilities. By incorporating spatial information into the TS-GPT framework, its predictive power to encompass both temporal and spatial dimensions can be naturally extended, enabling the digital twin to anticipate not only what might happen but also where and when it might occur with a certain probability.

[0191] Thus, as seen in FIG. 16, a knowledge base 1610 stores clusters at different points in time, thereby creating the temporal snapshots and further providing the ability to determine the historic evolution of the environment.

[0192] In some cases, in the embodiments of FIG. 15 or FIG. 16, instructions are provided to one or more user devices for generating the semantic data that is used to create the clusters.

[0193] Context-Aware Inference with Digital Twin

[0194] Once the digital twin has established a comprehensive and spatiotemporally organized knowledge base, it can be effectively utilized to enhance inference tasks by providing valuable background context. This context-aware approach allows robots and other actuators within the wireless cell to leverage not only their own internal memory (past inference inputs and outputs) but also the surrounding knowledge captured by the digital twin. An example inference task with background knowledge is shown with regard to FIG. 17.

[0195] For example, consider the scenario of a robotic UE 1710 with an inference task that needs to be processed at the base station 1720. The robotic UE 1710 may provide CSI Feedback 1712 and an inference task request 1714 to base station 1720.

[0196] Base station 1720 may receive the inference request from robotic UE 1710 (or from any consumer device) . Similar to traditional LLM inference, the base station 1720 would typically provide the robot's past inference results as a memory prompt to aid in the current task. However, an additional step is proposed herein: incorporating relevant, real-time knowledge from the surrounding environment as a background prompt.

[0197] Since the robotic UE's inference task is accompanied by radio channel measurement feedback, the base station can readily determine its location and associate it with a specific cluster within the digital twin's knowledge base 1730. This cluster, containing  semantically rich information about nearby events, objects, and environmental conditions, may serve as a valuable source of context for the inference task. Thus, in the example of FIG. 17, base station 1720 performs background knowledge retrieval and use localization information with knowledge base 1730, and thereby accesses the digital twin representation of the environment, where the digital twin representation comprises semantic data associated with spatial and temporal information.

[0198] By including this background knowledge as part of the prompt, the inference engine 1740 may be enabled to make more informed and contextually relevant decisions. For instance, if the robot's task involves navigating through a crowded area, the background knowledge could provide information about the presence of obstacles, pedestrian movement patterns, or even social distancing guidelines. This additional context can significantly improve the accuracy and effectiveness of the robot's actions. Thus, the base station 1720 could use a large language model and the digital twin knowledge base 1730 to generate context aware responses to the inference request. Such context aware response may be transmitted back to robotic UE 1710.

[0199] Then, the robot gains a deeper understanding of its surroundings, allowing it to make more informed decisions and adapt to dynamic situations. The additional context provided by the background knowledge can significantly improve the accuracy and reliability of the inference results. Robots can leverage the collective knowledge of the digital twin, enabling them to collaborate and coordinate their actions more effectively.

[0200] As a further example, consider a scenario where a robot is tasked with providing us with food. If the robot solely relies on its own onboard sensors, its capabilities are inherently limited. Its field of observation is restricted to its immediate surroundings, and it lacks access to historical information about the environment. If no readily apparent food items are within its observable range, the robot might fail to complete the task. However, by integrating the digital twin's background knowledge into the inference process, these limitations are overcome. The digital twin, with its spatiotemporal awareness, may effectively expand the robot's perception beyond its immediate surroundings, providing access to a wider spatial context.

[0201] Additionally, the digital twin's collective memory function offers insights into past events and the history of the environment, filling the gaps in the robot's knowledge. For instance, the digital twin might contain information about the location of food items stored in a particular drawer, even if the robot cannot directly observe them. Armed with this background knowledge, the inference engine can guide the robot towards the drawer, enabling it to successfully complete the task and provide a user with the desired food. This example highlights the transformative power of integrating digital twin technology with robotic inference, enabling robots to operate with greater intelligence and adaptability within complex environments.

[0202] When multiple inference tasks arise simultaneously within close proximity, a high probability exists that these tasks are somehow related or share a common context. Traditional LLM inference models typically handle each task independently, relying solely on the individual history of each task. However, within a digital twin environment enriched with background knowledge, two distinct processing modes are possible.

[0203] The first processing mode is Individual Task Processing with Background Context, where each inference task is processed separately, but the prompt may include not only the task's own memory, but also relevant background knowledge extracted from the digital twin. This additional context provides valuable insights into the surrounding environment and potential relationships between the task and other ongoing activities. The inference results may then be tailored specifically to the individual task's input, offering a targeted solution.

[0204] FIG. 18 illustrates the inference processing in a mode where multiple task inputs and multiple targeted outputs are involved. The knowledge base 1810, extracted from the digital twin, encompasses not only the common surrounding environment but also the historical data of individual UE. When the base station receives multiple tasks from various robot UEs, it may retrieve the relevant knowledge specific to each UE from the knowledge base. Subsequently, the memory of each individual task and its corresponding knowledge may both be employed as prompts to the LLM, thereby yielding a tailored solution for each UE.

[0205] The second processing mode is Joint Task Processing with Shared Context, which involves combining multiple inference tasks into a single, unified process. The prompt encompasses the combined memory of all tasks, along with the shared background knowledge relevant to their collective context. The inference engine may then generate a single output that addresses all tasks simultaneously. This approach can be particularly effective when the tasks are closely related or share a common goal, as the joint processing allows for a more holistic understanding of the situation and potentially more efficient solutions.

[0206] For example, FIG. 19 shows inference processing in a joint task mode. Upon receiving multiple tasks from different robot UEs 1910, 1912, 1914, the base station 1920 may identify correlations between these tasks, combining related tasks 1922 into a unified task 1924. The base station may then construct a local knowledge base 1930 based on the shared background knowledge 1932 of the robot UEs relevant to their collective context. By using this fused information as a prompt, a single output may be generated from inference engine 1940, addressing all tasks simultaneously.

[0207] The choice between individual and joint processing may depend on several factors, including Task Correlation, Complexity and Computational inference resources, and inference result requirements. If the incoming inference tasks are highly correlated and likely to benefit from shared context, the base station may decide that joint processing is more appropriate. In the wireless system, the scheduling algorithm may be more than radio resource allocation but intelligent scheduling on inference engines and units. Joint processing with a large number of tasks can lead to significantly larger input sizes for the LLM, potentially exceeding the computational capacity of the inference engine, making individual processing necessary in such cases. If each inference task requires a distinct and specific output, individual processing may be necessary. However, if a shared or aggregated output is sufficient, joint processing may be more efficient.

[0208] Along with the fast development of LLMs, the capabilities of the LLM inference engine are growing and will play a role in determining the feasibility of joint processing. Advanced LLMs with larger capacities and more efficient processing capabilities may be better suited to the handling the increased complexity of joint inference tasks.

[0209] To effectively support both individual and joint inference processing within a wireless network, the inference request protocol and signaling mechanism may need to convey essential information about task characteristics and resource requirements. Each inference request from a user device may include at least one the following:

[0210] · Task Type Identifier: Specifying the nature of the inference task (e.g., object recognition, anomaly detection, prediction) to guide the base station's decision on processing mode and resource allocation;

[0211] · Task Correlation Indicator: A flag indicating the potential correlation of the task with other ongoing or recently completed tasks, allowing the base station to identify opportunities for joint processing;

[0212] · Input Data Size: Specifying the size of the input data associated with the task to assist in resource allocation and scheduling decisions;

[0213] · Output Requirements: Indicating whether the task requires a distinct individual output or can accept a shared or aggregated output with other tasks, guiding the choice between individual and joint processing;

[0214] · Latency Constraints: Specifying the maximum tolerable latency for the task's completion, enabling the base station to prioritize tasks and allocate resources accordingly. By incorporating this information into the inference request protocol, the base station can make informed decisions about task scheduling, resource allocation, and processing mode selection, ensuring efficient and effective utilization of computational resources while meeting the diverse needs of various inference tasks.

[0215] Such inference request is shown with regard to FIG. 20.

[0216] The elements described and depicted herein, including in flow charts and block diagrams throughout the figures, imply logical boundaries between the elements. However, according to software or hardware engineering practices, the depicted elements  and the functions thereof may be implemented on machines through computer executable media having a processor capable of executing program instructions stored thereon as a monolithic software structure, as standalone software modules, or as modules that employ external routines, code, services, and so forth, or any combination of these, and all such implementations may be within the scope of the present disclosure. Examples of such machines may include, but may not be limited to, personal digital assistants, laptops, personal computers, mobile phones, other handheld computing devices, medical equipment, wired or wireless communication devices, transducers, chips, calculators, satellites, tablet PCs, electronic books, gadgets, electronic devices, devices having artificial intelligence, computing devices, networking equipment, servers, routers and the like. Furthermore, the elements depicted in the flow chart and block diagrams or any other logical component may be implemented on a machine capable of executing program instructions. Thus, while the foregoing drawings and descriptions set forth functional aspects of the disclosed systems, no particular arrangement of software for implementing these functional aspects should be inferred from these descriptions unless explicitly stated or otherwise clear from the context. Similarly, it will be appreciated that the various steps identified and described above may be varied, and that the order of steps may be adapted to particular applications of the techniques disclosed herein. All such variations and modifications are intended to fall within the scope of this disclosure. As such, the depiction and / or description of an order for various steps should not be understood to require a particular order of execution for those steps, unless required by a particular application, or explicitly stated or otherwise clear from the context.

[0217] The methods and / or processes described above, and steps thereof, may be realized in hardware, software or any combination of hardware and software suitable for a particular application. The hardware may include a general-purpose computer and / or dedicated computing device or specific computing device or particular aspect or component of a specific computing device. The processes may be realized in one or more microprocessors, microcontrollers, embedded microcontrollers, programmable digital signal processors or other programmable device, along with internal and / or external memory. The processes may also, or instead, be embodied in an application specific integrated circuit, a programmable gate array, programmable array logic, or any other device or combination of devices that may be configured to process electronic signals. It will further be appreciated that one or more of the processes may be realized as a computer executable code capable of being executed on a machine readable medium.

[0218] The computer executable code may be created using a structured programming language such as C, an object oriented programming language such as C++, or any other high-level or low-level programming language (including assembly languages, hardware description languages, and database programming languages and technologies) that may be stored, compiled or interpreted to run on one of the above devices, as well as heterogeneous combinations of processors, processor architectures, or combinations of different hardware and software, or any other machine capable of executing program instructions.

[0219] Thus, in one aspect, each method described above, and combinations thereof may be embodied in computer executable code that, when executing on one or more computing devices, performs the steps thereof. In another aspect, the methods may be embodied in systems that perform the steps thereof and may be distributed across devices in a number of ways, or all of the functionality may be integrated into a dedicated, standalone device or other hardware. In another aspect, the means for performing the steps associated with the processes described above may include any of the hardware and / or software described above. All such permutations and combinations are intended to fall within the scope of the present disclosure.

[0220] In the present disclosure, the terms “a” , “an” and “one” are defined to mean “at least one” , that is, these terms do not exclude a plural number of items, unless stated otherwise.

[0221] In the present disclosure, terms such as “substantially” , “generally” and “about” , which modify a value, condition or characteristic of a feature of an exemplary embodiment, should be understood to mean that the value, condition or characteristic is defined within tolerances that are acceptable for the proper operation of this exemplary embodiment for its intended application.

[0222] In the present disclosure, unless stated otherwise, the terms “connected” and “coupled” , and derivatives and variants thereof, refer herein to any structural or functional connection or coupling, either direct or indirect, between two or more elements. For example, the connection or coupling between the elements can be acoustical, mechanical, optical, electrical, thermal, logical, or any combinations thereof.

[0223] In the present disclosure, expressions such as “match” , “matching” and “matched” , including variants and derivatives thereof, are intended to refer herein to a condition in which two or more elements are either the same or within some predetermined tolerance of each other. That is, these terms are meant to encompass not only “exactly” or “identically” matching the two elements but also “substantially” , “approximately” or “subjectively” matching the two or more elements, as well as providing a higher or best match among a plurality of matching possibilities.

[0224] In the present disclosure, the expression “based on” is intended to mean “based at least partly on” , that is, this expression can mean “based solely on” or “based partially on” , and so should not be interpreted in a limited manner. More particularly, the expression “based on” could also be understood as meaning “depending on” , “representative of” , “indicative of” , “associated with” or similar expressions.

[0225] In the present disclosure, the terms "system" and "network" may be used interchangeably in embodiments of this application. "At least one" means one or more, and "aplurality of" means two or more. The term "and / or" describes an association relationship of associated objects, and indicates that three relationships may exist. For example, A and / or B may indicate the following three cases: Only A exists, both A and B exist, and only B exists, where A and B may be singular or plural. The character " / " usually indicates an "or" relationship between associated objects. "At least one of the following items (pieces) " or a similar expression thereof indicates any combination of these items, including a single item (piece) or any combination of a plurality of items (pieces) . For example, "at least one of A, B, or C" includes A, B, C, A and B, A and C, B and C, or A, B, and C, and "at least one of A, B, and C" may also be understood as including A, B, C, A and B, A and C, B and C, or A, B, and C. In addition, unless otherwise specified, ordinal numbers such as "first" and "second" in embodiments of this application are used to distinguish between a plurality of objects, and are not used to limit a sequence, a time sequence, priorities, or importance of the plurality of objects.

[0226] A person skilled in the art should understand that embodiments of this application may be provided as a method, an apparatus (or system) , computer-readable storage medium, or a computer program product. Therefore, this application may use a form of a hardware-only embodiment, a software-only embodiment, or an embodiment with a combination of software and hardware. Moreover, this application may use a form of a computer program product that is implemented on one or more computer-usable storage media (including but not limited to a disk memory, an optical memory, and the like) that include computer-usable program code.

[0227] This application is described with reference to the flowcharts and / or block diagrams of the method, the device (system) , and the computer program product according to this application. It should be understood that computer program instructions may be used to implement each process and / or each block in the flowcharts and / or the block diagrams and a combination of a process and / or a block in the flowcharts and / or the block diagrams. The computer program instructions may be provided for a general-purpose computer, a dedicated computer, an embedded processor, or a processor of another programmable data processing device to generate a machine, so that the instructions executed by the computer or the processor of the another programmable data processing device generate an apparatus for implementing a specific function in one or more procedures in the flowcharts and / or in one or more blocks in the block diagrams.

[0228] The computer program instructions may alternatively be stored in a computer-readable memory that can indicate a computer or another programmable data processing device to work in a specific manner, so that the instructions stored in the  computer-readable memory generate an artifact that includes an instruction apparatus. The instruction apparatus implements a specific function in one or more procedures in the flowcharts and / or in one or more blocks in the block diagrams.

[0229] The computer program instructions may alternatively be loaded onto a computer or another programmable data processing device, so that a series of operations and steps are performed on the computer or the another programmable device, so that computer-implemented processing is generated. Therefore, the instructions executed on the computer or the another programmable device provide steps for implementing a specific function in one or more procedures in the flowcharts and / or in one or more blocks in the block diagrams.

[0230] Although this disclosure refers to illustrative embodiments, this is not intended to be construed in a limiting sense. Various modifications and combinations of the illustrative embodiments, as well as other embodiments of the disclosure, will be apparent to persons skilled in the art upon reference to the description.

[0231] Features disclosed herein in the context of any particular embodiments may also or instead be implemented in other embodiments. Method embodiments, for example, may also or instead be implemented in apparatus, system, and / or computer program product embodiments. In addition, although embodiments are described primarily in the context of methods and apparatus, other implementations are also contemplated, as instructions stored on one or more non-transitory computer-readable media, for example. Such media could store programming or instructions to perform any of various methods consistent with the present disclosure.

[0232] It is clearly that a person skilled in the art can make various modifications and variations to this application without departing from the scope of this application. This application is intended to cover these modifications and variations of this application provided that they fall within the scope of protection defined by the following claims and their equivalent technologies.

Claims

1.A method, the method comprising:receiving semantic data from a first user device, the semantic data comprising at least one semantic token;obtaining spatial and temporal information associated with the first user device;associating the semantic data with the spatial and temporal information to generate associated semantic data;grouping the associated semantic data based on spatial and temporal proximity to create a cluster; andfusing data within the cluster to generate a representation of a portion of an environment.2.The method of claim 1, wherein the receiving the semantic data comprises parsing and interpreting the at least one semantic token based on a predefined ontology or knowledge base.3.The method of claim 1 or 2, wherein the obtaining the spatial and temporal information comprises at least one of:receiving radio channel measurement reports from the first user device, wherein radio channel measurement reports indicate the spatial and temporal information; orreceiving direct reports of the spatial and temporal information from the first user device.4.The method of claim 3, wherein the radio channel measurement reports include semantic tokens.5.The method of claim 3 or 4, wherein the radio channel measurement reports comprise at least one of:local inference tasks regarding objects, events or environmental conditions; orchannel characteristics.6.The method of any one of claims 1 to 5, wherein the cluster is stored as part of a digital twin representation of the environment, the digital twin being continuously updated with real-time data.7.The method of claim 6, further comprising:receiving an inference request from a consumer device;using a large language model and the digital twin representation to generate a context aware response to the inference request; andtransmitting the context-aware response to the consumer device.8.The method of any one of claims 1 to 7, wherein the first user device comprises a plurality of user devices, each user device associated with at least one of: a sensor, a robot; or a mobile device.9.The method of claim 8, wherein multiple clusters with different spatial and temporal contexts are created over time, thereby defining the environment.10.The method of claim 9, wherein the method further comprises:storing the cluster in a memory with at least one other cluster of the multiple clusters, wherein the at least one other cluster is from a specific point in time, thereby creating a temporal snapshot;analyzing a plurality of temporal snapshots to determine a historic evolution of the environment.11.The method of any one of claims 1 to 10, further comprising providing instructions to the first user device for generating the semantic data.12.The method of claim 7, wherein the inference request includes at least one of: a task type identifier; a task correlation indicator; an input data size; output requirements; or latency constraints.13.The method of claim 7, further comprising:determining an inference processing mode based on the inference request, the inference processing mode comprising at least one of: individual task processing with a background context; or joint task processing with a shared context; andperforming inference based on the determined inference processing mode.14.The method of any one of claims 1 to 13, wherein the fusing data within the cluster comprises at least one of: combining data from multiple sources; resolving data conflicts; weighting data based on reliability; or generating a unified representation of the portion of the environment.15.The method of any one of claims 1 to 14, wherein the method further comprises:transmitting, by the first user device, the semantic data.16.A communication apparatus configured to perform the method according to any one of claims 1 to 15.17.The communication apparatus of claim 16, comprising:a receiver configured to obtain the spatial and temporal information;an associating unit configured to associate the semantic data with the spatial and temporal information;a grouping unit configured to group the associated semantic data; anda fusing unit configured to fuse the data.18.The communication apparatus of claim 16, comprising:one or more processors; anda communications subsystem.19.An apparatus comprising:one or more processors; andmemory storing instructions, which, when executed by the one or more processors, cause the apparatus to perform the method of any one of claims 1 to 15.20.A computer-readable storage medium having instructions stored thereon which, when executed by a computing device cause the computing device to perform the method of any one of claims 1 to 15.21.A computer program product storing instructions which, when executed, cause an apparatus to perform the method of any one of claims 1 to 15.22.A method, the method comprising:receiving a first inference request from a first consumer device;accessing a digital twin representation of an environment, the digital twin representation comprising semantic data associated with spatial and temporal information;using a large language model and the digital twin representation of the environment to generate a context aware response to the inference request; andtransmitting the context-aware response to the first consumer device.23.The method of claim 22, further comprising:receiving semantic data from at least one user device, the semantic data comprising at least one semantic token;obtaining spatial and temporal information associated with the at least one user device;associating the semantic data with the spatial and temporal information to create associated semantic data;grouping the associated semantic data based on spatial and temporal proximity to create a cluster;fusing data within the cluster to generate a representation of a portion of the environment; andcombining the cluster with other clusters to form the digital twin representation of the environment.24.The method of claim 23, wherein the obtaining the spatial and temporal information comprises at least one of: receiving radio channel measurement reports from the at least one user device, wherein the radio channel measurement reports indicate the spatial and temporal information; or receiving direct reports of spatial and temporal information from the at least one user device.25.The method of claim 24, wherein the radio channel measurement reports are represented as semantic tokens.26.The method of claim 25, wherein the radio channel measurement reports comprise at least one of: local inference results regarding objects, events or environmental conditions; or raw channel measurements; or channel characteristics.27.The method of claim 25 or 26, wherein the digital twin representation further comprises at least one temporal snapshot of the environment, each temporal snapshot storing clusters from a specific point in time.28.The method of any one of claims 22 to 27, further comprising:receiving a second inference request from a second consumer device;determining that the second inference request is related to the first inference request based on at least one of: task, spatial proximity, temporal proximity; andjointly processing the first inference request and the second inference request using the large language model and the digital twin representation.29.The method of claim 28, wherein the first inference request and the second inference request include at least one of:a task type identifier;a task correlation indication;an input data size;output requirements; orlatency constraints.30.The method of claim 22, wherein the context-aware response is generated by incorporating information from the digital twin representation into a prompt provided to the large language model.31.The method of claim 30, wherein the information from the digital twin representation is selected based on at least one of: spatial proximity of the consumer device to data within the digital twin representation; temporal relevance of data within the digital twin representation to the inference request; or a task type specified in the inference request.32.The method of claim 23, wherein the digital twin representation is updated in real-time based on incoming semantic data along with spatial information and temporal information.33.The method of claim 32, further comprising:storing the cluster in a memory with other clusters from a specific point in time, thereby creating a temporal snapshot; andanalyzing historical temporal snapshots to identify patterns and trends within the environment to enhance the context-aware response.34.The method of any one of claims 22 to 33, wherein the method further comprises:transmitting, by the first consumer device, the first inference request; andreceiving, by the first consumer device, the context-aware response to the first consumer device.35.A communication apparatus configured to perform the method according to any one of claims 22 to 34.36.The communication apparatus of claim 35, comprising:one or more processors; anda communications subsystem.37.An apparatus comprising:one or more processors; andmemory storing instructions, which, when executed by the one or more processors, cause the apparatus to perform the method of any one of claims 22 to 34.38.A computer-readable storage medium having instructions stored thereon which, when executed by a computing device cause the computing device to perform the method of any one of claims 22 to 34.39.A computer program product storing instructions which, when executed, cause an apparatus to perform the method of any one of claims 22 to 34.

Images