Methods and apparatuses for 3D scene reconstruction and related products

Abstract

The present disclosure provides methods and apparatuses and related products for 3D scene reconstruction. The method includes: obtaining a plurality of first feature representations of a plurality of first images, where time information of obtaining the plurality of first images is associated with time information of obtaining first point data; obtaining second point data by adjusting the first point data based on the plurality of first feature representations; and rendering a 3D scene based on the second point data.

Description

METHODS AND APPARATUSES FOR 3D SCENE RECONSTRUCTION AND RELATED PRODUCTSCROSS-REFERENCE TO RELATED APPLICATIONS

[0001] This application claims priority to and benefits of PCT Application No. PCT / CN2025 / 079831, entitled “METHODS AND APPARATUSES FOR 3D SCENE RECONSTRUCTION AND RELATED PRODUCTS” , filed on February 28, 2025, the entirety of which is hereby incorporated by reference.TECHNICAL FIELD

[0002] The present disclosure relates generally to the field of three-dimensional (3D) scene reconstruction, and more particularly to methods and apparatuses for 3D scene reconstruction, and related products.BACKGROUND

[0003] 3D scene reconstruction enables simulation of various situations in real-world, for example, autonomous driving or robotic simulation systems. Multiple approaches including neural radiance fields (NeRFs) and 3D Gaussian splatting (3DGS) are utilized for scene reconstruction in autonomous driving. However, reconstruction results of these approaches are not sufficiently accurate, and automated driving simulations (e.g., perception, prediction, planning, etc. ) based on these results may not accurately reflect the complexity of the real-world. Therefore, a method that may provide precise reconstruction results is needed for the safety and reliability of the autonomous driving and / or robotic simulation systems.SUMMARY

[0004] The present disclosure provides methods and apparatuses for 3D scene reconstruction, and related products, to render 3D scenes based on point data. 3D scene reconstruction is the process of creating a 3D model of a scene (including objects within the scene) using, for example, a series of two-dimensional (2D) images which may be obtained using, for example, various cameras, scanners, sensors or the like. The input of 3D scene reconstruction may include 2D images or point data captured from different angles and positions. And the output may be a 3D model that accurately represents the spatial structure and appearance of the original scene.

[0005] According to a first aspect, the method includes: obtaining first feature representations of a plurality of first images, where time information of obtaining the plurality of first images is associated with time information of obtaining first point data; obtaining second point data by adjusting the first point data based on the first feature representations; and rendering a 3D scene based on the second point data.

[0006] The plurality of first images may be a set of 2D images of a scene to be reconstructed or video frames of a scene to be reconstructed, which may also be referred to as a plurality of scene frames or other names. The scene may be a driving scene, a robotic scene, or an indoor scene. In some embodiments, the plurality of first images may be captured from different viewpoints of the scene. In some embodiments, the plurality of first images may be captured sequentially from one or more viewpoints over time. The first point data may be raw point data or processed point data such as 3D Gaussian point data where each Gaussian possesses attributes such as position, color, and opacity. The plurality of first images may be obtained with cameras. And the first point data may be obtained with radio detection and ranging (RADAR) or light detection and ranging (LiDAR) . The obtaining process of the plurality of first images and the first point data may be synchronized, thus associating the time information of obtaining the plurality of first images and the first point data, ensuring that the plurality of first images and the first point data may be fused and processed under the same time base.

[0007] The plurality of first feature representations may be a plurality of semantic representations of the plurality of first images, including but not limited to embeddings, sparse matrices, distributed encodings, or graph-based structures. In some examples, the plurality of first feature representations may be a plurality of embeddings of the plurality of first images, which are obtained by encoding semantic information of each of the first images into a dense, high-dimensional vector. The plurality of first feature representations may further be a plurality of learnable embeddings (for example, a plurality of learnable low-dimensional embeddings) , which may be adjusted and optimized during the continuous learning and adaptation of the closed-loop evaluation.

[0008] The first point data may be adjusted according to the plurality of first feature representations, or further according to the plurality of first feature representations, the position code, and the Gaussian color. The position code and the Gaussian color may be obtained from the 3D Gaussian point data (i.e., the first point data) . And the first plurality of feature representations, the position code, and the Gaussian color may be combined using concatenation, element-wise addition, weighted sum or other techniques.

[0009] A transformation learner may further be applied to the plurality of first feature representations or the combined representations (which may include the plurality of first feature representations, the position code, and the Gaussian color) , and one or more parameters indicating adjustment of the Gaussian color of the first point data may be obtained. Based on the one or more parameters, the first point data is adjusted, and the second point data may be obtained.

[0010] The rendered 3D scene is a reconstruction of the scene from which the first images and the first point data are obtained. The output of rendering may be a rendered 3D model that reconstructs the spatial structure and appearance of the scene, or rendered images (second images) of the scene.

[0011] According to the method for 3D scene reconstruction in the first aspect, a plurality of first feature representations of a plurality of first images are obtained; by adjusting the first point data based on the plurality of first feature representations, second point data is obtained; and based on the second point data, a 3D scene is rendered. By integrating representations of different first images of an in-the wild-scene, this method models scene variations, for example, appearance variations across different first images, enabling appearance modeling without significantly increasing computational cost.

[0012] In a possible design of the first aspect, the obtaining second point data by adjusting the first point data based on the plurality of first feature representations, includes: obtaining a first appearance representation of the first point data based on the plurality of first feature representations; obtaining one or more first parameters for adjusting color information of the first point data based on the first appearance representation; and transforming the first point data to the second point data based on the one or more first parameters.

[0013] Obtained based on the plurality of first feature representations, the first appearance representation may capture latent appearance features of the first point data. The first appearance representation may also be referred to as the latent Gaussian appearance representation. Some detail about the first appearance representation will be introduced later.

[0014] As mentioned above, the transformation learner may be used for obtaining the one or more first parameters based on the first appearance representation. In some examples, the transformer learner may be a Gaussian appearance affine transformation learner. The one or more first parameters may indicate adjustment of the Gaussian color of the first point data. In some examples, the one or more first parameters may be local Gaussian-wise affine parameters. As an example, the one or more first parameters may include a scaling factor and an offset value, which are applied to adjust the color attributes of each point in the first point data. Other forms of parameter sets or transformation mechanisms may also be employed.

[0015] By applying the one or more first parameters to transform the first point data into the second point data, the visual appearance of the 3D scene is refined. Since the one or more first parameters are derived from a first appearance representation that inherently incorporates the plurality of first feature representations, the transformation captures and encodes the appearance variations present across different input frames.

[0016] In a possible design of the first aspect, the first appearance representation is obtained by concatenating position information of the first point data, the plurality of first feature representations, and the color information of the first point data.

[0017] In addition to the plurality of first feature representations, the first appearance representation may further incorporate the position information of the first point data and the color information of the first point data. The position information of the first point data, the plurality of first feature representations, and the color information of the first point data may be combined using concatenation, element-wise addition, weighted sum, or other techniques.

[0018] The position information of the first point data may include position code of the first point data, which may be extracted using a Hash grid (for example, a multiresolution Hash grid) . In some examples, the position information is referred to as position code or Gaussian position code. The color information of the first point data may include the color of each point in the Gaussian or Gaussian color.

[0019] By integrating the position information of the first point data, the plurality of first feature representations, and the color information of the first point data, the first appearance representation captures a comprehensive and context-rich latent state for each point in the first point data.

[0020] In a possible design of the first aspect, the method further includes: obtaining, based on the plurality of first images, one or more of: viewpoint information or image information, where the viewpoint information indicates a viewpoint of a device capturing the plurality of first images, and the image information indicating features of pixels of the plurality of first images; and where the rendering a 3D scene based on the second point data includes: obtaining a plurality of rasterized images by rasterizing the second point data; and obtaining a plurality of second images in the rendered 3D scene by adjusting the plurality of rasterized images according to one or more of: the viewpoint information or the image information.

[0021] The viewpoint information refers to data indicating the perspective from which a device captured the plurality of first images, which may also be referred to as camera viewpoint info. In some embodiments, the viewpoint information may include a camera viewpoint index, which identifies a specific camera or a viewpoint. Alternatively, or in addition, the viewpoint information may include a camera viewpoint code, which may be derived from inherent camera extrinsic parameters. If such camera extrinsic parameters are provided as metadata of the plurality of first images, they may be used directly; otherwise, they may be extracted from the first images.

[0022] The image information refers to features extracted from the pixels of the plurality of first images, which may also be referred to as image info. In some embodiments, the image information may include attributes such as grayscale values and the spatial locations of pixels within the plurality of first images, capturing visual characteristics of the plurality of first images.

[0023] By rasterizing, the adjusted second point data (which constitutes a 3D representation of the scene) is converted into a set of 2D images, i.e., the rasterized images. The rasterizing process projects the 3D point data to a 2D images as viewed from a virtual camera viewpoint. If the second point data is represented using 3D Gaussians (i.e., the local gaussian level refined Gaussians) , defined by parameters including: position parameter, rotation parameter, scale parameter, and opacity parameter, along with the transformed color attributes, the rasterizing process uses these parameters to obtain the rasterized images.

[0024] By adjusting the rasterized images according to one or more of: the viewpoint information or the image information, global image level refinement of the rasterized images is achieved. Such adjustment addresses holistic appearance variations stemming from differences in camera viewpoint or image lighting.

[0025] In a possible design of the first aspect, the obtaining a plurality of second images in the rendered 3D scene by adjusting the plurality of rasterized images based on one or more of: the viewpoint information or the image information, includes: obtaining one or more second parameters for adjusting color information of the plurality of rasterized images based on one or more of: the viewpoint information or the image information; and transforming the plurality of rasterized images to the plurality of second images based on the one or more second parameters.

[0026] The one or more second parameters may indicate adjustment of the color of the pixels in the rasterized images. In some examples, the one or more second parameters may be global image-pixel-wise affine parameters. As an example, the one or more second parameters may include a scaling factor and an offset value, which are applied to adjust the color attributes of each pixel in the rasterized images. Other forms of parameter sets or transformation mechanisms may also be employed. By applying the one or more second parameters to the rasterized images, such adjustment models view-dependent variations and global lighting effects.

[0027] In a possible design of the first aspect, the one or more second parameters are obtained based on the viewpoint information and the image information.

[0028] A bilateral grid may be used for obtaining the one or more second parameters based on the viewpoint information and the image information. In some examples, the bilateral grid may be a learnable bilateral grid. The viewpoint information and the image information are used as inputs to query the bilateral grid. The bilateral grid then outputs the one or more second parameters.

[0029] In a possible design of the first aspect, the one or more second parameters are obtained based on the viewpoint information and the plurality of first feature representations.

[0030] A neural network may be used for obtaining the one or more second parameters based on the viewpoint information and the plurality of first feature representations. In some examples, the neural network may be a multi-layer perceptron (MLP) , which may serve as an affine learner. The neural network takes the viewpoint information and the plurality of first feature representations as input, and outputs the one or more second parameters.

[0031] Obtaining the one or more second parameters based on the viewpoint and image information allows for view-dependent and content-sensitive global adjustments. Obtaining the one or more second parameters based on the viewpoint and the first feature representations enables the integration of learned appearance dynamics into the final rendering. Offering these alternative conditioning strategies provides flexibility in modeling diverse global scene variations.

[0032] In a possible design of the first aspect, the method further includes: obtaining point data of an actor from the first point data; obtaining a second feature representation of the actor based on a classification of the actor; obtaining one or more third parameters for refining color information of the first point data based on the second feature representation; and refining the first point data based on the one or more third parameters.

[0033] An actor may refer to a dynamic (moving) object in the scene, such as a vehicle or a pedestrian. The point data of the actor may be obtained by identifying, isolating, or extracting a subset of the first point data that corresponds to this dynamic entity. The second feature representation may be a learned representation specific to the actor’s category. For example, it may be a learnable class-wise embedding assigned to each category of actors (e.g., one embedding for “vehicle” , another for “pedestrian” ) .

[0034] The one or more third parameters may indicate adjustment of the color information of the point data of the actor. In some examples, the one or more third parameters may be actor-wise affine parameters. As an example, the one or more third parameters may include a scaling factor and an offset value, which are applied to adjust the color attributes of the point data of the actor. Other forms of parameter sets or transformation mechanisms may also be employed.

[0035] Such dynamic actor level refinement enhances the realism of the reconstructed scene. By applying classification-specific parameters to refine the appearance of the actors, the method models the complex visual variations of the actors. This results in more detailed and realistic representations of moving objects like vehicles and pedestrians.

[0036] In a possible design of the first aspect, the obtaining one or more third parameters for refining color information of the first point data based on the one or more second feature representations, includes: obtaining position information of the point data of the actor based on the second feature representation; obtaining a second appearance representation of the point data of the actor by concatenating the position information of the point data of the actor, color information of the point data of the actor, and time information of the actor; and obtaining the one or more third parameters based on the second appearance representation.

[0037] The second appearance representation captures latent appearance features of the point data of the actor. It may also be referred to as the spatial-temporal actor representation. The second appearance representation may incorporate the position information of the point data of the actor, the color information of the point data of the actor, and the time information of the actor. The position information of the point data of the actor, the color information of the point data of the actor, and the time information of the actor may be combined using concatenation, element-wise addition, weighted sum, or other techniques.

[0038] The position information of the point data of the actor may be extracted as a dynamic actor position code. This may be achieved using a class-specific data structure, such as a hash grid dedicated to the actor’s category, where the configuration of this structure is learned by a class encoder based on a class-wise embedding (i.e., the second feature representation) assigned to the specific category. The color information of the point data of the actor may include spherical harmonics coefficients, which define the view-dependent visual properties of the actor’s surface. The time information of the actor may be represented by an encoding of the temporal state, for example, through a sinusoidal encoding of a time value. The position information, color information, and time information may be combined, for example through concatenation, to form the second appearance representation.

[0039] The one or more third parameters may be obtained based on the second appearance representation by inputting the second appearance representation into an affine transformation learner (for actors) . The affine transformation learner outputs the one or more third parameters which are then applied to refine the attributes of the actor’s point data.

[0040] If the actor’s point data is represented using 3D Gaussians (i.e., dynamic actor Gaussian) , the refining process may also include adjusting parameters such as position parameter, rotation parameter, scale parameter, and opacity parameter of the actor’s point data (i.e., dynamic actor Gaussian) .

[0041] In a possible design of the first aspect, the first point data is 3D Gaussian point data.

[0042] The 3D scene may be represented using a set of 3D Gaussians. Using 3D Gaussians as the representation facilitates refinements such as local Gaussian-wise and actor-wise appearance adjustments.

[0043] According to a second aspect, an apparatus for 3D scene reconstruction is described. The apparatus includes units for performing the method or design in the first aspect. The apparatus may be configured as a computing device or a module (such as a chip or a circuit) in the computing device.

[0044] According to a third aspect, a computing device is described. The computing device includes processing circuitry for performing the method or design in the first aspect.

[0045] According to a fourth aspect, a computing device is described and includes a processor and a computer-readable storage medium coupled to the processor and storing instructions for execution by the processor. When the instructions are executed by the processor, the computing device is configured to perform the method or design in the first aspect.

[0046] According to a fifth aspect, a computer-readable storage medium is described. The computer-readable storage medium carries a program code which, when executed by a computing device, causes the computing device to perform the method or design in the first aspect.

[0047] According to a sixth aspect, a computer program product. The computer program product is for storing a program code for performing the method or design in the first or second aspect.

[0048] This disclosure encompasses various embodiments, including not only method embodiments, but also other embodiments such as apparatus embodiments and embodiments related to non-transitory computer readable storage media. Embodiments may incorporate, individually or in combinations, the features disclosed herein.BRIEF DESCRIPTION OF THE DRAWINGS

[0049] For a better understanding of the present disclosure, as well as other aspects and further features thereof, reference is made to the following description which is to be used in conjunction with the accompanying drawings, where:

[0050] FIG. 1 illustrates a diagram of an example computing device that may be used to implement any of methods described herein, in accordance with at least some non-limiting embodiments of the present disclosure;

[0051] FIG. 2 illustrates a flowchart of a method for 3D scene reconstruction in accordance with at least some non-limiting embodiments of the present disclosure;

[0052] FIG. 3 illustrates a schematic diagram of an example of a multi-granularity Gaussian refinement model in accordance with at least some non-limiting embodiments of the present disclosure;

[0053] FIG. 4 illustrates another schematic diagram of another example of a multi-granularity Gaussian refinement model in accordance with at least some non-limiting embodiments of the present disclosure;

[0054] FIG. 5 illustrates still another schematic diagram of still another example of a multi-granularity Gaussian refinement model in accordance with at least some non-limiting embodiments of the present disclosure; and

[0055] FIG. 6 illustrates a block diagram of an apparatus for 3D scene reconstruction in accordance with at least some non-limiting embodiments of the present disclosure.DETAILED DESCRIPTION

[0056] In the following description, reference is made to the accompanying drawings, which form part of the present disclosure, and which show, by way of illustration, specific aspects of embodiments of the present disclosure or specific aspects in which embodiments of the present disclosure may be used. It is understood that embodiments of the present disclosure may be used in other aspects and include structural or logical changes not depicted in the accompanying drawings.

[0057] The embodiments set forth herein represent information sufficient to practice the claimed subject matter and illustrate ways of practicing such subject matter. Upon reading the following description in light of the accompanying drawings, a person skilled in the art will understand concepts of the claimed subject matter and will recognize applications of these concepts not particularly addressed herein. It is understood that these concepts and applications fall within the scope of the disclosure and the accompanying claims. The following detailed description, therefore, is not to be taken in a limiting sense, and the scope of the present disclosure is defined by the appended claims.

[0058] The examples and conditional language recited herein are principally intended to aid the reader in understanding principles of the present disclosure and not to limit its scope to such specifically recited examples and conditions. It will be appreciated that a person skilled in the art may devise various arrangements which, although not explicitly described or illustrated herein, nonetheless embody the principles of the present disclosure and are included within its spirit and scope.

[0059] Moreover, all statements herein reciting principles, aspects, and implementations or embodiments of the present disclosure, as well as specific examples thereof, are intended to encompass both structural and functional equivalents thereof, whether they are currently known or developed in the future. Thus, for example, it will be appreciated by a person skilled in the art that any block diagrams herein represent conceptual views of illustrative circuitry embodying the principles of the present disclosure. Similarly, it will be appreciated that any flowcharts, flow diagrams, state transition diagrams, pseudo-code, and the like represent various processes which may be substantially represented in computer-readable media and so executed by a computer or processor, whether or not such computer or processor is explicitly illustrated.

[0060] Functions of the various elements illustrated in the figures, including any functional block labeled as a "processor" , may be provided through the use of dedicated hardware as well as hardware capable of executing software in association with appropriate software. When provided by a processor, the functions may be provided by a single dedicated processor, by a single shared processor, or by a plurality of individual processors, some of which may be shared. In some embodiments of the present disclosure, the processor may be a general-purpose processor, such as a central processing unit (CPU) or a processor dedicated to a specific purpose, such as a digital signal processor (DSP) . Moreover, explicit use of the term a "processor" should not be construed to refer exclusively to hardware capable of executing software, and may implicitly include, without limitation, application specific integrated circuit (ASIC) , field programmable gate array (FPGA) , read-only memory (ROM) for storing software, random access memory (RAM) , and non-volatile storage. Other hardware, conventional and / or custom, may also be included.

[0061] Software modules, or simply modules which are implied to be software, may be represented herein as any combination of flowchart elements or other elements indicating performance of process steps and / or textual description. Such modules may be executed by hardware that is expressly or implicitly illustrated. Moreover, it should be understood that module may include for example, but without being limitative, computer program logic, computer program instructions, software, stack, firmware, hardware circuitry or a combination thereof which provides the required capabilities.

[0062] With these fundamentals in place, a computing device that may be used to implement embodiments of the present disclosure will be first introduced.

[0063] FIG. 1 illustrates a diagram of an example computing device that may be used to implement any of methods described herein, in accordance with at least some non-limiting embodiments of the present disclosure.

[0064] In some embodiments, the computing device 100 may be implemented by any of a conventional personal computer, a computer dedicated to operating and / or monitoring systems related to a data center, a controller and / or an electronic device (such as, but not limited to, a mobile device, a tablet device, a server, a controller unit, a control device, a monitoring device etc. ) , and / or any combination thereof appropriate to the relevant task at hand.

[0065] As illustrated in FIG. 1, the computing device 100 includes various hardware components including one or more single or multi-core processors collectively represented by a processor 110, a solid-state drive 120, a random-access memory 130, and an input / output interface 150.

[0066] The computing device 100 may be an “off the shelf” generic computer system. The computing device 100 may also be dedicated to the implementations or embodiments of the present disclosure. In some embodiments, the computing device 100 may also be distributed amongst multiple systems. A person skilled in the art of the present disclosure may appreciate, multiple variations as to how the computing device 100 is implemented may be envisioned without departing from the scope of the present disclosure.

[0067] Communication between the various components of the computing device 100 may be enabled by one or more internal and / or external buses 160 (e.g. a peripheral component interconnect (PCI) bus, universal serial bus, institute of electrical and electronics engineers (IEEE) 1394 “Firewire” bus, small computer system interface (SCSI) bus, serial advanced technology attachment (Serial-ATA) bus, aeronautical radio incorporated (ARINC) bus, etc. ) , to which the various hardware components are electronically coupled.

[0068] The input / output interface 150 may allow enabling networking capabilities such as wire or wireless access. As an example, the input / output interface 150 may include a networking interface such as, but not limited to, a network port, a network socket, a network interface controller and the like. Multiple examples of how the networking interface may be implemented will become apparent to a person skilled in the art of the present disclosure. For example, but without being limitative, the networking interface may implement specific physical layer and data link layer standard such as Ethernet, Fibre Channel, Wi-Fi or Token Ring. The specific physical layer and the data link layer may provide a base for a full network protocol stack, allowing communication among small groups of computers on the same local area network (LAN) and large-scale network communications through routable protocols, such as internet protocol (IP) .

[0069] In some embodiments, the solid-state drive 120 stores program instructions suitable for being loaded into the random-access memory 130 and executed by the processor 110 for operating data centers based on a generated machine learning pipeline. For example, the program instructions may be part of a library or an application.

[0070] In some embodiments, the computing device 100 may be implemented as part of a cloud computing device. Broadly, a cloud computing device is a type of computing that relies on a network of remote servers hosted on the Internet, for example, to store, manage, and process data, rather than a local server or personal computer. This type of computing may allow users to access data and applications from remote locations, and provide a scalable, flexible, and cost-effective solution for data storage and computing. Cloud computing devices can be divided into three main categories: infrastructure as a service (IaaS) , platform as a service (PaaS) , and software as a service (SaaS) . In an IaaS environment, users can rent virtual servers, storage, and other computing resources from a third-party provider, for example. In a PaaS environment, users have access to a platform for developing, running, and managing applications without having to manage the underlying infrastructure. In a SaaS environment, users can access pre-built software applications that are hosted by a third-party provider, for example. In summary, cloud computing devices may offer a range of benefits, including cost savings, scalability, increased agility, and the ability to quickly deploy and manage applications.

[0071] Furthermore, the computing device 100 further includes a screen (not illustrated in FIG. 1) providing graphical user interfaces (GUIs) between the computing device 100 and user (s) . In some embodiments, the screen may include a liquid crystal display (LCD) and a touch panel (TP) . If the screen includes the touch panel, the screen may be implemented as a touch screen to receive input signals from the user. The touch panel includes one or more touch sensors to sense touches, swipes, and gestures on the touch panel. The touch sensors may not only sense a boundary of a touch or swipe action, but also sense a period of time and a pressure associated with the touch or swipe action.

[0072] In addition, the computing device 100 further includes an input device (not illustrated in FIG. 1) to enable the user input information into the computing device 100, such as a keyboard, a click wheel, buttons, and the like. The buttons may include, but are not limited to, a home button, a volume button, a starting button, and a locking button. The input device may be combined with the screen to realize the GUIs.

[0073] The above describes the computing device 100 for implementing embodiments of the present disclosure. The following provides possible embodiments of the present disclosure. These embodiments may be implemented in the computing device 100.

[0074] Autonomous driving has made progress in recent years, for example, in terms of self-driving perception, prediction and planning. However, how to effectively validate the safety and reliability of an autonomous driving system remains an open question. In real-world driving scenes, there are many corner cases, such as collisions, which may not be easily collected but relate to the safety of an autonomous driving system. Simulation is one of the ways to solve this problem. It enables the reconstruction and generation of various challenging driving scenes for the downstream closed-loop evaluation.

[0075] With the development of NeRFs for neural rendering, some approaches have adapted NeRFs for scene reconstruction in autonomous driving. Although NeRF-based methods have shown great potential for reconstructing photorealistic driving scene, some are of long training time and may not achieve real-time rendering due to the need of dense sampling. More recently, some approaches have resorted to (3DGS to learn explicit 3D scene representations for driving scene reconstruction. With the efficiency of explicit representations and differentiable tile rasterizers, 3DGS-based methods have shown results for high-fidelity reconstruction and real-time rendering. However, some approaches for driving scene reconstruction may not model driving scene appearance variations between frames and camera viewpoints. In autonomous driving simulation, scene images are captured in-the-wild along the movement of the ego vehicle. This brings appearance changes of scenes and objects across frames and camera viewpoints due to lighting and camera exposure. Thus, without modeling these variations may lead to the missing of fine-grained details and suboptimal simulation results.

[0076] In some approaches, a real-time rendering approach named 3DGS is proposed. Its pipeline includes three parts, namely: (1) Initialize Gaussian points from some software for aligning images and point data, for example, Columbia light multi-view alignment and photogrammetry (COLMAP) , and construct 3DGS model with position parameters, rotation parameters, scale parameters, opacity parameters and spherical harmonics parameters. (2) Project 3D Gaussians onto image planes and use differentiable tile rasterizer to render images. (3) Employ density control to clone and split Gaussians. This may be designed for static scene simulation and it may not model real-world driving scenes. It may not model fine-grained scene details, dynamic background changes, dynamic road actor variations, etc.

[0077] Some approaches use composite 3D Gaussians, including the background Gaussians, the dynamic foreground object Gaussians and the sky Gaussians, as the driving scene representation for scene reconstruction. To model dynamic foreground objects, learnable offset parameters may be used to refine the tracked boxes of foreground objects. Besides, to enhance appearance modeling of dynamic foreground objects, Fourier transformation may be used to transform the spherical harmonics of 3D Gaussians of foreground objects. This may not model driving scene variations between frames and camera viewpoints. As a result, the simulated driving scene may lack the ability to reconstruct fine-grained scene details.

[0078] Some approaches use dynamic four-dimensional (4D) Gaussians as the driving scene representation for scene reconstruction. HexPlane may be used to extract latent representation for Gaussian deformation. Besides, some regularization terms may be used to facilitate Gaussian optimization. The rendering results of the dynamic 4D Gaussians may be suboptimal with many artifacts. Moreover, it may not model fine-grained changes of background and objects because fine-grained appearance variations across frames and camera viewpoints are not modeled.

[0079] In autonomous driving simulation, scene images are captured in-the-wild along the movement of the ego vehicle. This brings appearance changes of scenes and objects across frames and camera viewpoints due to lighting and camera exposure. Thus, without modeling these variations may lead to the missing of fine-grained details and suboptimal simulation results. Some driving scene reconstruction approaches may not solve this problem because they may not model driving scene appearance variations between frames and camera viewpoints. Therefore, at least some non-limiting embodiments of the present disclosure provide a multi-granularity Gaussian refinement model for autonomous driving scene reconstruction, to effectively model fine-grained driving scene variations across frames and camera viewpoints to reconstruct driving scene for autonomous driving simulation.

[0080] At least some non-limiting embodiments of the present disclosure construct a driving scene model based on 3DGS representations and employ a multi-level appearance modeling scheme to optimize a set of transformation parameters, for example, affine parameters for Gaussian refinement. This multi-level appearance modeling scheme allows refining the driving scene Gaussians at multiple granularities, ranging from local Gaussians to dynamic actors and global images. Consequently, scene and road actor appearance variations may be collectively modeled to reconstruct more fine-grained cues of driving scenes. Overall, the main points of at least some non-limiting embodiments of the present disclosure may include the following.

[0081] Local Gaussian level refinement: With the driving Gaussians, fine-grained scene variations are modeled by learning a set of Gaussian-wise transformation parameters to refine Gaussian appearance. In this way, the contribution of each Gaussian to the rendered image is modulated across frames, so fine-grained scene variations are effectively encoded into local Gaussian-wise appearance variations across frames. The driving Gaussians may be composite, or may be non-composite. This means driving scene model may include separate models for different Gaussians, for example, a background Gaussian model, dynamic foreground object Gaussian models, and a sky Gaussian model. Or the driving scene Gaussians may be treated as a whole, with one Gaussian model.

[0082] Global image level refinement: A more holistic scene appearance refinement including refining driving scene appearance at the global image level may model the global image-wise variation, which may be changed due to direct sunlight or camera exposure. This may be achieved by constructing a learnable bilateral grid to learn a set of image-pixel-wise transformation parameters to refine image appearance. This is helpful for modeling global scene appearance variations across camera viewpoints.

[0083] Dynamic actor level refinement: In driving scene reconstruction, dynamic road actors may have more complex motion and appearance variations than background and other objects. For example, a moving vehicle may be placed at different locations along its trajectory, while its appearance is affected not only by the scene but also its actions, such as using brake signals. To deal with this problem, driving Gaussians are further refined at the dynamic actor level. This may be achieved by using an affine transformation parameter learner to learn actor-wise affine parameters for dynamic actor Gaussian refinement.

[0084] At least some non-limiting embodiments of the present disclosure is applicable to simulate the autonomous driving scene in the wild. It provides a model to be used as the scene reconstruction model for the end-to-end autonomous driving simulator. It not only allows modeling global scene appearance variations between frames and camera viewpoints, but also allows modeling local fine-grained changes of background and dynamic objects. Some applicable scenarios are described as follows.

[0085] 1. With online cloud computing platforms or end-to-end autonomous driving simulators, at least some non-limiting embodiments of the present disclosure may provide a model architecture to enable effective and efficient driving scene simulation. A pipeline may be described as: (1) the users select or input real-world driving sequences and use the model of some non-limiting embodiments of the present disclosure to simulate the inputs; (2) the online cloud computing platform or the end-to-end autonomous driving simulator uses the model of some non-limiting embodiments of the present disclosure to optimize a multi-granularity Gaussian refinement model to simulate the inputs in a simulator; (3) the simulated results are outputted and the simulated model of some non-limiting embodiments of the present disclosure is optimized.

[0086] 2. At least some non-limiting embodiments of the present disclosure may also be used in different robotic simulation systems. It may function as a basic model to support the optimization of data-driven simulators. Thus, different simulator systems may use this model architecture as their basic model architecture to build their simulator so as to model fine-grained appearance variation of dynamic scenes.

[0087] At least some non-limiting embodiments of the present disclosure provides: (1) a model architecture for modeling driving Gaussian from multiple granularities on online cloud computing platform or the end-to-end autonomous driving simulator; (2) a basic simulator model architecture on software distributed to users.

[0088] At least some non-limiting embodiments of the present disclosure may be: (1) integrated into cloud computing platform or the end-to-end autonomous driving simulator as a premium module and charge users who use this module to achieve driving scene simulation with multi-granularity Gaussian refinement; (2) integrated into software distributed to users for using as the basic model architecture in any robotic simulation systems.

[0089] Some embodiments of the present disclosure provide a method for 3D scene reconstruction, in which point data of the 3D scene is adjusted using feature representations of images captured in the scene. These feature representations are used to adjust point data, resulting in optimized point data. By integrating these feature representations to refine the point data, the method effectively models scene variations across scene frames (images) . Consequently, a 3D scene rendered based on the adjusted point data may be of enhanced fine-grained appearance details and improved consistency across frames.

[0090] The method for 3D scene reconstruction in accordance with at least some non-limiting embodiments of the present disclosure is described below with reference to FIG. 2. FIG. 2 illustrates a flowchart of a method 200 for 3D scene reconstruction in accordance with at least some non-limiting embodiments of the present disclosure. The method 200 may be performed by the processor 110 in the computing devices 100. As illustrated in FIG. 2, the method 200 may include steps 210, 220 and 230.

[0091] In step 210, a plurality of first feature representations of a plurality of first images are obtained, where time information of obtaining the plurality of first images is associated with time information of obtaining first point data.

[0092] According to certain non-limiting embodiments of the present disclosure, the method 200 commences at step 210 with the processor 110 obtaining the plurality of first feature representations of the plurality of first images, where the time information of obtaining the plurality of first images is associated with the time information of obtaining first point data.

[0093] The plurality of first images may be a set of 2D images of a scene to be reconstructed or video frames of a scene to be reconstructed, which may also be referred to as a plurality of scene frames or other names. The scene may be a driving scene, a robotic scene, or an indoor scene. In some embodiments, the plurality of first images may be captured from different viewpoints of the scene. In some embodiments, the plurality of first images may be captured sequentially from one or more viewpoints over time. The first point data may be raw point data or processed point data such as 3D Gaussian point data where each Gaussian possesses attributes such as position, color, and opacity. The plurality of first images may be obtained with cameras. And the first point data may be obtained with radio detection and ranging (RADAR) or light detection and ranging (LiDAR) . The obtaining process of the plurality of first images and the first point data may be synchronized, thus associating the time information of obtaining the plurality of first images and the first point data, ensuring that the plurality of first images and the first point data may be fused and processed under the same time base.

[0094] The plurality of first feature representations may be a plurality of semantic representations of the plurality of first images, including but not limited to embeddings, sparse matrices, distributed encodings, or graph-based structures. In some examples, the plurality of first feature representations may be a plurality of embeddings of the plurality of first images, which are obtained by encoding semantic information of each of the first images into a dense, high-dimensional vector. The plurality of first feature representations may further be a plurality of learnable embeddings (for example, a plurality of learnable low-dimensional embeddings) , which may be adjusted and optimized during the continuous learning and adaptation of the closed-loop evaluation.

[0095] In step 220, by adjusting the first point data based on the plurality of first feature representations, second point data is obtained.

[0096] According to certain non-limiting embodiments of the present disclosure, the method 200 commences at step 220 with the processor 110 obtaining the second point data by adjusting the first point data based on the plurality of first feature representations.

[0097] The first point data may be adjusted according to the plurality of first feature representations, or further according to the plurality of first feature representations, the position code, and the Gaussian color. The position code and the Gaussian color may be obtained from the 3D Gaussian point data (i.e., the first point data) . And the first plurality of feature representations, the position code, and the Gaussian color may be combined using concatenation, element-wise addition, weighted sum or other techniques.

[0098] A transformation learner may further be applied to the plurality of first feature representations or the combined representations (which may include the plurality of first feature representations, the position code, and the Gaussian color) , and one or more parameters indicating adjustment of the Gaussian color of the first point data may be obtained. Based on the one or more parameters, the first point data is adjusted, and the second point data may be obtained.

[0099] In step 230, based on the second point data, a 3D scene is rendered.

[0100] According to certain non-limiting embodiments of the present disclosure, the method 200 commences at step 230 with the processor 110 rendering the 3D scene based on the second point data.

[0101] The rendered 3D scene is a reconstruction of the scene from which the first images and the first point data are obtained. The output of rendering may be a rendered 3D model that reconstructs the spatial structure and appearance of the scene, or rendered images (second images) of the scene.

[0102] According to the method for 3D scene reconstruction in the at least some non-limiting embodiments of the present disclosure, a plurality of first feature representations of a plurality of first images are obtained; by adjusting the first point data based on the plurality of first feature representations, second point data is obtained; and based on the second point data, a 3D scene is rendered. By integrating representations of different first images of an in-the wild-scene, this method models scene variations, for example, appearance variations across different first images, enabling appearance modeling without significantly increasing computational cost.

[0103] In at least some non-limiting embodiments of the present disclosure, step 220, includes: obtaining a first appearance representation of the first point data based on the plurality of first feature representations; obtaining one or more first parameters for adjusting color information of the first point data based on the first appearance representation; and transforming the first point data to the second point data based on the one or more first parameters.

[0104] Obtained based on the plurality of first feature representations, the first appearance representation may capture latent appearance features of the first point data. The first appearance representation may also be referred to as the latent Gaussian appearance representation. Some detail about the first appearance representation will be introduced later.

[0105] As mentioned above, the transformation learner may be used for obtaining the one or more first parameters based on the first appearance representation. In some examples, the transformer learner may be a Gaussian appearance affine transformation learner. The one or more first parameters may indicate adjustment of the Gaussian color of the first point data. In some examples, the one or more first parameters may be local Gaussian-wise affine parameters. As an example, the one or more first parameters may include a scaling factor and an offset value, which are applied to adjust the color attributes of each point in the first point data. Other forms of parameter sets or transformation mechanisms may also be employed. The transformation learner (Gaussian appearance affine transformation learner) may be implemented by the processor 110.

[0106] By applying the one or more first parameters to transform the first point data into the second point data, the visual appearance of the 3D scene is refined. Since the one or more first parameters are derived from a first appearance representation that inherently incorporates the plurality of first feature representations, the transformation captures and encodes the appearance variations present across different input frames.

[0107] In at least some non-limiting embodiments of the present disclosure, the first appearance representation is obtained by concatenating position information of the first point data, the plurality of first feature representations, and the color information of the first point data.

[0108] In addition to the plurality of first feature representations, the first appearance representation may further incorporate the position information of the first point data and the color information of the first point data. The position information of the first point data, the plurality of first feature representations, and the color information of the first point data may be combined using concatenation, element-wise addition, weighted sum, or other techniques.

[0109] The position information of the first point data may include position code of the first point data, which may be extracted using a Hash grid (for example, a multiresolution Hash grid) . In some examples, the position information is referred to as position code or Gaussian position code. The color information of the first point data may include the color of each point in the Gaussian or Gaussian color.

[0110] By integrating the position information of the first point data, the plurality of first feature representations, and the color information of the first point data, the first appearance representation captures a comprehensive and context-rich latent state for each point in the first point data.

[0111] In at least some non-limiting embodiments of the present disclosure, the method 200 further includes: obtaining, based on the plurality of first images, one or more of: viewpoint information or image information, where the viewpoint information indicates a viewpoint of a device capturing the plurality of first images, and the image information indicating features of pixels of the plurality of first images; and where the rendering a 3D scene based on the second point data (step 230) includes: obtaining a plurality of rasterized images by rasterizing the second point data; and obtaining a plurality of second images in the rendered 3D scene by adjusting the plurality of rasterized images according to one or more of: the viewpoint information or the image information.

[0112] The viewpoint information refers to data indicating the perspective from which a device captured the plurality of first images, which may also be referred to as camera viewpoint info. In some embodiments, the viewpoint information may include a camera viewpoint index, which identifies a specific camera or a viewpoint. Alternatively, or in addition, the viewpoint information may include a camera viewpoint code, which may be derived from inherent camera extrinsic parameters. If such camera extrinsic parameters are provided as metadata of the plurality of first images, they may be used directly; otherwise, they may be extracted from the first images.

[0113] The image information refers to features extracted from the pixels of the plurality of first images, which may also be referred to as image info. In some embodiments, the image information may include attributes such as grayscale values and the spatial locations of pixels within the plurality of first images, capturing visual characteristics of the plurality of first images.

[0114] By rasterizing, the adjusted second point data (which constitutes a 3D representation of the scene) is converted into a set of 2D images, i.e., the rasterized images. The rasterizing process projects the 3D point data to a 2D images as viewed from a virtual camera viewpoint. If the second point data is represented using 3D Gaussians (i.e., the local gaussian level refined Gaussians) , defined by parameters including: position parameter, rotation parameter, scale parameter, and opacity parameter, along with the transformed color attributes, the rasterizing process uses these parameters to obtain the rasterized images.

[0115] By adjusting the rasterized images according to one or more of: the viewpoint information or the image information, global image level refinement of the rasterized images is achieved. Such adjustment addresses holistic appearance variations stemming from differences in camera viewpoint or image lighting.

[0116] In at least some non-limiting embodiments of the present disclosure, the obtaining a plurality of second images in the rendered 3D scene by adjusting the plurality of rasterized images based on one or more of: the viewpoint information or the image information, includes: obtaining one or more second parameters for adjusting color information of the plurality of rasterized images based on one or more of: the viewpoint information or the image information; and transforming the plurality of rasterized images to the plurality of second images based on the one or more second parameters.

[0117] The one or more second parameters may indicate adjustment of the color of the pixels in the rasterized images. In some examples, the one or more second parameters may be global image-pixel-wise affine parameters. As an example, the one or more second parameters may include a scaling factor and an offset value, which are applied to adjust the color attributes of each pixel in the rasterized images. Other forms of parameter sets or transformation mechanisms may also be employed. By applying the one or more second parameters to the rasterized images, such adjustment models view-dependent variations and global lighting effects.

[0118] In at least some non-limiting embodiments of the present disclosure, the one or more second parameters are obtained based on the viewpoint information and the image information.

[0119] A bilateral grid may be used for obtaining the one or more second parameters based on the viewpoint information and the image information. In some examples, the bilateral grid may be a learnable bilateral grid. The viewpoint information and the image information are used as inputs to query the bilateral grid. The bilateral grid then outputs the one or more second parameters. The bilateral grid may be implemented by the processor 110.

[0120] In at least some non-limiting embodiments of the present disclosure, the one or more second parameters are obtained based on the viewpoint information and the plurality of first feature representations.

[0121] A neural network may be used for obtaining the one or more second parameters based on the viewpoint information and the plurality of first feature representations. In some examples, the neural network may be a multi-layer perceptron (MLP) , which may serve as an affine learner. The neural network takes the viewpoint information and the plurality of first feature representations as input, and outputs the one or more second parameters. The neural network may be implemented by the processor 110.

[0122] Obtaining the one or more second parameters based on the viewpoint and image information allows for view-dependent and content-sensitive global adjustments. Obtaining the one or more second parameters based on the viewpoint and the first feature representations enables the integration of learned appearance dynamics into the final rendering. Offering these alternative conditioning strategies provides flexibility in modeling diverse global scene variations.

[0123] In at least some non-limiting embodiments of the present disclosure, the method 200 further includes: obtaining point data of an actor from the first point data; obtaining a second feature representation of the actor based on a classification of the actor; obtaining one or more third parameters for refining color information of the first point data based on the second feature representation; and refining the first point data based on the one or more third parameters.

[0124] An actor may refer to a dynamic (moving) object in the scene, such as a vehicle or a pedestrian. The point data of the actor may be obtained by identifying, isolating, or extracting a subset of the first point data that corresponds to this dynamic entity. The second feature representation may be a learned representation specific to the actor’s category. For example, it may be a learnable class-wise embedding assigned to each category of actors (e.g., one embedding for “vehicle” , another for “pedestrian” ) .

[0125] The one or more third parameters may indicate adjustment of the color information of the point data of the actor. In some examples, the one or more third parameters may be actor-wise affine parameters. As an example, the one or more third parameters may include a scaling factor and an offset value, which are applied to adjust the color attributes of the point data of the actor. Other forms of parameter sets or transformation mechanisms may also be employed.

[0126] Such dynamic actor level refinement enhances the realism of the reconstructed scene. By applying classification-specific parameters to refine the appearance of the actors, the method models the complex visual variations of the actors. This results in more detailed and realistic representations of moving objects like vehicles and pedestrians.

[0127] In at least some non-limiting embodiments of the present disclosure, the obtaining one or more third parameters for refining color information of the first point data based on the one or more second feature representations, includes: obtaining position information of the point data of the actor based on the second feature representation; obtaining a second appearance representation of the point data of the actor by concatenating the position information of the point data of the actor, color information of the point data of the actor, and time information of the actor; and obtaining the one or more third parameters based on the second appearance representation.

[0128] The second appearance representation captures latent appearance features of the point data of the actor. It may also be referred to as the spatial-temporal actor representation. The second appearance representation may incorporate the position information of the point data of the actor, the color information of the point data of the actor, and the time information of the actor. The position information of the point data of the actor, the color information of the point data of the actor, and the time information of the actor may be combined using concatenation, element-wise addition, weighted sum, or other techniques.

[0129] The position information of the point data of the actor may be extracted as a dynamic actor position code. This may be achieved using a class-specific data structure, such as a hash grid dedicated to the actor’s category, where the configuration of this structure is learned by a class encoder based on a class-wise embedding (i.e., the second feature representation) assigned to the specific category. The color information of the point data of the actor may include spherical harmonics coefficients, which define the view-dependent visual properties of the actor’s surface. The time information of the actor may be represented by an encoding of the temporal state, for example, through a sinusoidal encoding of a time value. The position information, color information, and time information may be combined, for example through concatenation, to form the second appearance representation.

[0130] The one or more third parameters may be obtained based on the second appearance representation by inputting the second appearance representation into an affine transformation parameter learner (for actors) . The affine transformation parameter learner outputs the one or more third parameters which are then applied to refine the attributes of the actor’s point data. The affine transformation parameter learner (for actors) may be implemented by the processor 110.

[0131] If the actor’s point data is represented using 3D Gaussians (i.e., dynamic actor Gaussian) , the refining process may also include adjusting parameters such as position parameter, rotation parameter, scale parameter, and opacity parameter of the actor’s point data (i.e., dynamic actor Gaussian) .

[0132] In at least some non-limiting embodiments of the present disclosure, the first point data is 3D Gaussian point data.

[0133] The 3D scene may be represented using a set of 3D Gaussians. Using 3D Gaussians as the representation facilitates refinements such as local Gaussian-wise and actor-wise appearance adjustments.

[0134] In some examples, at least some non-limiting embodiments of the present disclosure presents a multi-granularity Gaussian refinement model for autonomous driving scene reconstruction. It is a basic model architecture which may be used in a variety of robotic simulation systems. In the following part, the first images may be referred to as “scene frames” , the first feature representations may be referred to as “learnable embeddings” , the first point data may be referred to as “driving scene Gaussians” , the second point data may be referred to as “local gaussian level refined Gaussians” , the viewpoint information may be referred to as “camera viewpoint info” , the image information may be referred to as “image info” , the second images may be referred to as “global image level refined images” , the second feature representation may be referred to as “learnable class-wise embedding” , the first appearance representation may be referred to as “latent Gaussian appearance representation” , the one or more first parameters may be referred to as “local Gaussian-wise affine parameters” , the one or more second parameters may be referred to as “global image-pixel-wise affine parameters” , the point data of the actor may be referred to as the “dynamic actor Gaussians” , the second feature representation may be referred to as “learnable class-wise embedding” , and the one or more third parameters may be referred to as “actor-wise affine parameters” .

[0135] In some examples, dynamic actor variations may not need to be modeled in some scenarios with less or no dynamic actors in the scene, for example, the static scenes and indoor scenes. As depicted in FIG. 3, at least some non-limiting embodiments of the present disclosure may work as follows including:

[0136] First, to model the changes across scene frames, a learnable embedding ε for each frame are constructed.

[0137] Second, a multiresolution Hash grid is employed to extract Gaussian position code and merge the learnable embedding, the position code and the Gaussian color as the latent Gaussian appearance representation of each Gaussian: fl=Fc (H (μ) ,ε,c) , where Fc is a concatenation operation, μ is the position parameter of each Gaussian, H (μ) is the Gaussian position code, ε is the learnable embedding, c is the color of each Gaussian, fl is the latent Gaussian appearance representation.

[0138] Third, a Gaussian appearance affine transformation learner Dl is employed with the latent Gaussian appearance representation fl as the input to learn local Gaussian-wise affine parameters (αl∈R3, βl∈R3) for Gaussian appearance refinement to obtain the local gaussian level refined Gaussians: c′=αlc+βl, where (αl,βl) =Dl (fl) , where αl and βl are local Gaussian-wise affine parameters, c and c′ are color of each Gaussian before and after transformation, fl is the latent Gaussian appearance representation, Dl (fl) is the Gaussian appearance affine transformation learner.

[0139] Fourth, camera viewpoint info Ic (for example, camera viewpoint index, that is the index of camera viewpoint of each frame, e.g., 1, 2, 3, …, n) , image info Ig (image pixel grayscale value and location) are used to query an affine transformation from a learnable bilateral grid (Gg) for each pixel:

[0140] Fifth, the queried global image-pixel-wise affine parameters (αg ∈ R3×3×N, βg∈R1×3×N) may be applied on the rasterized images (which may be obtained using position parameter μ, rotation parameter r, scale parameter s, and opacity parameter o of the local gaussian level refined Gaussians) for image color transformation to obtained the global image level refined images: C′=αgC+βg, where (αg,βg) =Gg (Ic,Ig) , where αg and βg are global image-pixel-wise affine parameters, C and C′ are color of each pixel before and after transformation, Ic is camera viewpoint index, image info Ig (image pixel grayscale value and location) , Gg is the bilateral grid.

[0141] For dynamic scenes and outdoor scenes with more dynamic actors, the model may further include dynamic actor variations, as shown in FIG. 4:

[0142] Sixth, a learnable class-wise embedding is employed for each category of dynamic actors and construct a light-weight class encoder Ea to learn the weights for the class-wise Hash grid: Ea(εa) →Ha (·) , where Ea (εa) is the light-weight class encoder, Ha (·) is the class-wise Hash grid.

[0143] Seventh, dynamic actor position code is then extracted with the class-wise Hash grid and merged with the spherical harmonics as the spatial-temporal actor representation fa of each Gaussian of each dynamic actor: fa=Fc (Ha (μ) ,h,Ff (t) ) , where fa is the spatial-temporal actor representation, Ha (μ) is the dynamic actor position code, h is the spherical harmonics of each dynamic actor, Ff is the sinusoidal function, t is the time, Fc is the concatenation function.

[0144] Eighth, an affine transformation parameter learner Da is used to learn actor-wise affine parameters (αa∈R3, βa∈R3) for dynamic actor Gaussian refinement: h′=αah+βa, where (αa,βa) =Da (fa) , where h′ and h are spherical harmonics of dynamic actor Gaussian, αa and βa are actor-wise affine parameters, Da is the affine transformation parameter learner.

[0145] The dynamic actor Gaussian may also be adjusted by its position parameter μ, rotation parameter r, scale parameter s, and opacity parameter o.

[0146] As shown in FIG. 5, the global image level refinement may be achieved by learning a set of Image-wise affine parameters with an affine learner. Thus, at least some non-limiting embodiments of the present disclosure for driving scene simulation may work as follows:

[0147] The first to the third steps may be the same as above.

[0148] Fourth, the camera viewpoint info Ic (for example, camera viewpoint, that is the inherence camera extrinsic parameter) and the learnable embedding ε as the latent image appearance representation are merged, and an affine learner Gi (a light-weight MLP) with the latent image appearance representation is constructed to learn the global image-wise affine parameters.

[0149] Fifth, the global image-wise affine parameters (αg∈R3×3, βg∈R1×3) are then applied for image color transformation. C′=αgC+βg, where (αg,βg) =Gi (Ic,ε) , where αg and βg are global image-wise affine parameters, C and C′ are color of each pixel before and after transformation, Gi is an affine learner, Ic is the camera viewpoint info, ε is the learnable embedding.

[0150] The sixth to the eighth steps may be the same as above.

[0151] At least some non-limiting embodiments of the present disclosure introduces a model architecture for autonomous driving reconstruction by refining driving scene Gaussians with appearance modeling at multiple granularities, ranging from local Gaussians to global images and dynamic actors. Modeling not only global scene appearance variations between frames and camera viewpoints, but also local fine-grained changes of background and dynamic objects provide precise reconstruction results, ensuring safety and reliability of the in autonomous driving and / or robotic simulation systems.

[0152] At least some non-limiting embodiments of the present disclosure constructs light-weight affine transformation learners for affine parameters learning and comprehensively include the learnable embeddings, encoded position codes, camera viewpoint codes and color codes for multi-level appearance modeling. This enables effective appearance modeling without significantly increasing computational cost.

[0153] At least some non-limiting embodiments of the present disclosure provides a new model architecture for refining driving Gaussians from multiple granularities for autonomous driving scene simulation. It may also be used as a basic model for modeling 3D Gaussian splatting for simulation in various computer vision tasks, such as robotic scene simulation, indoor scene simulation, etc.

[0154] At least some non-limiting embodiments of the present disclosure may use some convolutional neural network (CNN) layers to model the image-level appearance variations of driving scenes.

[0155] The following introduces apparatus embodiments or device embodiments of the present disclosure.

[0156] FIG. 6 illustrates a block diagram of an apparatus for application checkpointing in accordance with at least some non-limiting embodiments of the present disclosure. As illustrated in FIG. 6, the apparatus 600 for 3D scene reconstruction may include: an obtaining module 610 and a processing module 620.

[0157] The apparatus 600 may be applied to the computing device 100 to realize any of the above method embodiments. The apparatus 600 may be configured as the computing device 100 or configured as corresponding hardware and / or software in the computing device 100. For example, the apparatus 600 may be configured as the processor 110 or configured as corresponding hardware and / or software in the processor 110.

[0158] In some embodiments, the processing module 620 is configured to obtain a plurality of first feature representations of a plurality of first images, where time information of obtaining the plurality of first images is associated with time information of obtaining first point data; obtain second point data by adjusting the first point data based on the plurality of first feature representations; and render a 3D scene based on the second point data.

[0159] In some embodiments, the obtaining second point data by adjusting the first point data based on the plurality of first feature representations, includes: the processing module 620 obtaining a first appearance representation of the first point data based on the plurality of first feature representations; the processing module 620 obtaining one or more first parameters for adjusting color information of the first point data based on the first appearance representation; and the processing module 620 transforming the first point data to the second point data based on the one or more first parameters.

[0160] In some embodiments, the first appearance representation is obtained by concatenating position information of the first point data, the plurality of first feature representations, and the color information of the first point data.

[0161] In some embodiments, the processing module 620 further: obtains, based on the plurality of first images, one or more of: viewpoint information or image information, where the viewpoint information indicates a viewpoint of a device capturing the plurality of first images, and the image information indicating features of pixels of the plurality of first images; and where the rendering a 3D scene based on the second point data includes: the processing module 620 obtaining a plurality of rasterized images by rasterizing the second point data; and the processing module 620 obtaining a plurality of second images in the rendered 3D scene by adjusting the plurality of rasterized images according to one or more of: the viewpoint information or the image information.

[0162] In some embodiments, the obtaining a plurality of second images in the rendered 3D scene by adjusting the plurality of rasterized images based on one or more of: the viewpoint information or the image information, includes: the processing module 620 obtaining one or more second parameters for adjusting color information of the plurality of rasterized images based on one or more of: the viewpoint information or the image information; and transforming the plurality of rasterized images to the plurality of second images based on the one or more second parameters.

[0163] In some embodiments, the one or more second parameters are obtained based on the viewpoint information and the image information.

[0164] In some embodiments, the one or more second parameters are obtained based on the viewpoint information and the plurality of first feature representations.

[0165] In some embodiments, the processing module 620 further: obtains point data of an actor from the first point data; obtains a second feature representation of the actor based on a classification of the actor; obtains one or more third parameters for refining color information of the first point data based on the second feature representation; and refines the first point data based on the one or more third parameters.

[0166] In some embodiments, the obtaining one or more third parameters for refining color information of the first point data based on the one or more second feature representations, includes: the processing module 620 obtaining position information of the point data of the actor based on the second feature representation; the processing module 620 obtaining a second appearance representation of the point data of the actor by concatenating the position information of the point data of the actor, color information of the point data of the actor, and time information of the actor; and the processing module 620 obtaining the one or more third parameters based on the second appearance representation.

[0167] In some embodiments, the first point data is 3D Gaussian point data.

[0168] Some embodiments of the present disclosure a computing device including processing circuitry for executing any of the above methods. It should be understood that the device may execute the steps in the above method embodiments, which will not be repeated herein.

[0169] Some embodiments of the present disclosure further provide a computing device. The computing device may be referred to as the above computing device, where the processor 110 may realize any of the above method embodiments, which will not be repeated herein.

[0170] For instance, it is understood that a disclosure in connection with a described method may also hold true for a corresponding apparatus, device, or system configured to perform the method and vice versa. For example, if one or a plurality of specific method steps are described, a corresponding apparatus, device, or system may include one or a plurality of units, e.g. functional units, to perform the described one or plurality of method steps (e.g. one unit performing the one or plurality of steps, or a plurality of units each performing one or more of the plurality of steps) , even if such one or more units are not explicitly described or illustrated in the drawings. On the other hand, for example, if a specific apparatus, device, or system is described based on one or a plurality of units, e.g. functional units, a corresponding method may include one step to perform the functionality of the one or plurality of units (e.g. one step performing the functionality of the one or plurality of units, or a plurality of steps each performing the functionality of one or more of the plurality of units) , even if such one or plurality of steps are not explicitly described or illustrated in the drawings. Further, it is understood that the features of the various embodiments and / or aspects described herein may be combined with each other, unless specifically noted otherwise.

[0171] Some embodiments of the present disclosure provide a computer-readable storage medium (e.g. a non-transitory computer-readable storage medium) . The computer-readable storage medium has stored thereon program instructions that, when run on a computing device, cause the computing device to execute one or more steps of the above methods.

[0172] For example, the computer-readable storage medium includes, but is not limited to, a magnetic storage device (e.g. a hard disk, a floppy disk or a magnetic tape) , an optical disk (e.g. a compact disk (CD) , or a DVD) , a smart card, and a flash memory device (e.g. an erasable programmable read-only memory (EPROM) , a card, a stick or a key driver) . Various computer-readable storage media described in the embodiments of the present disclosure may represent one or more devices and / or other machine-readable storage media, which are used for storing information. The term “computer-readable storage medium” may include, but is not limited to, wireless channels and various other media capable of storing, containing and / or carrying instructions and / or data.

[0173] Some embodiments of the present disclosure further provide a computer program product. The computer program product includes program instructions carried on a non-transitory computer-readable storage medium. When executed on a computing device, the computer program instructions cause the computing device to perform one or more steps of the above methods.

[0174] Beneficial effects of the computer-readable storage medium and the computer program product are the same as the beneficial effects of the method for 3D scene reconstruction as described in some of the above embodiments, and details will not be repeated here.

[0175] In the present disclosure, the terms “a” or “an” are defined to mean “at least one” , that is, these terms do not exclude a plural number of items, unless stated otherwise.

[0176] In the present disclosure, unless stated otherwise, the terms “connected” and “coupled” , and derivatives and variants thereof, refer herein to any structural or functional connection or coupling, either direct or indirect, between two or more elements. For example, connection or coupling between the elements can be acoustical, mechanical, optical, electrical, thermal, logical, or any combinations thereof.

[0177] In the present disclosure, the expression “based on” is intended to mean “based at least partly on” , that is, this expression can mean “based solely on” or “based partially on” , and so should not be interpreted in a limited manner. More particularly, the expression “based on” could also be understood as meaning “depending on” , “representative of” , “indicative of” , “associated with” or similar expressions.

[0178] In the present disclosure, the terms “system” and “network” may be used interchangeably in different embodiments of this disclosure. “At least one” means one or more, and “a plurality of” means two or more. The term “and / or” describes an association relationship of associated objects, and indicates that three relationships may exist. For example, A and / or B may indicate the following three cases: Only A exists, both A and B exist, and only B exists, where A and B may be singular or plural. The character “ / ” indicates an “or” relationship between associated objects. “At least one of the following items (pieces) ” or a similar expression thereof indicates any combination of these items, including a single item (piece) or any combination of a plurality of items (pieces) . For example, “at least one of A, B, or C” includes: only A; only B; only C; A and B; A and C; B and C; or A, B, and C, and “at least one of A, B, and C” may also be understood as including: only A; only B; only C; A and B; A and C; B and C; or A, B, and C. In addition, unless otherwise specified, ordinal numbers such as “first” and “second” in embodiments of this disclosure are used to distinguish between a plurality of objects, and are not used to limit a sequence, a time sequence, priorities, or importance of the plurality of objects.

[0179] A person skilled in the art should understand that embodiments of this disclosure may be provided as a method, an apparatus (or system) , a computer-readable storage medium (e.g., a non-transitory computer-readable storage medium) , or a computer program product. Therefore, this disclosure may use a form of a hardware-only embodiment, a software-only embodiment, or an embodiment with a combination of software and hardware. Moreover, this disclosure may use a form of a computer program product that is implemented on one or more computer-usable storage media (including but not limited to a disk memory, an optical memory, and the like) that include computer-usable program code.

[0180] This disclosure is described with reference to the flowcharts and / or block diagrams of the method, the device (system) , and the computer program product according to this disclosure. It should be understood that computer program instructions may be used to implement each process and / or each block in the flowcharts and / or the block diagrams and a combination of a process and / or a block in the flowcharts and / or the block diagrams. The computer program instructions may be provided for a general-purpose computer, a dedicated computer, an embedded processor, or a processor of another programmable data processing device and enable a machine to execute the instructions. When executed by any computer or the processor of a programmable data processing device, the instructions cause the apparatus to implement specific functions as described in one or more procedures in the flowcharts and / or one or more blocks in the block diagrams. The computer program instructions may alternatively be stored in a computer-readable memory that can indicate a computer or another programmable data processing device to work in a specific manner, so that the instructions stored in the computer-readable memory generate an artifact that includes an instruction apparatus. The instruction apparatus implements a specific function in one or more procedures in the flowcharts and / or one or more blocks in the block diagrams.

[0181] The computer program instructions may alternatively be loaded onto a computer or another programmable data processing device, so that a series of operations and steps are performed on the computer or the another programmable device, so that computer-implemented processing is generated. Therefore, the instructions executed on the computer or on another programmable device provide steps for implementing specific functions as described in one or more procedures in the flowcharts and / or one or more blocks in the block diagrams.

[0182] Modifications and improvements to the above-described implementations or embodiments of the present disclosure may become apparent to a person skilled in the art. The foregoing description is intended to be exemplary rather than limiting. The scope of the present disclosure is therefore intended to be limited solely by the scope of the appended claims.

Claims

1.A method for 3D scene reconstruction, comprising:obtaining a plurality of first feature representations of a plurality of first images, wherein time information of obtaining the plurality of first images is associated with time information of obtaining first point data;obtaining second point data by adjusting the first point data based on the plurality of first feature representations; andrendering a 3D scene based on the second point data.2.The method of claim 1, wherein the obtaining second point data by adjusting the first point data based on the plurality of first feature representations, comprises:obtaining a first appearance representation of the first point data based on the plurality of first feature representations;obtaining one or more first parameters for adjusting color information of the first point data based on the first appearance representation; andtransforming the first point data to the second point data based on the one or more first parameters.3.The method of claim 2, wherein the first appearance representation is obtained by concatenating position information of the first point data, the plurality of first feature representations, and the color information of the first point data.4.The method of any of claims 1 to 3, further comprising:obtaining, based on the plurality of first images, one or more of: viewpoint information or image information, wherein the viewpoint information indicates a viewpoint of a device capturing the plurality of first images, and the image information indicates features of pixels of the plurality of first images; andwherein the rendering a 3D scene based on the second point data comprises:obtaining a plurality of rasterized images by rasterizing the second point data; andobtaining a plurality of second images in the rendered 3D scene by adjusting the plurality of rasterized images based on one or more of: the viewpoint information or the image information.5.The method of claim 4, wherein the obtaining a plurality of second images in the rendered 3D scene by adjusting the plurality of rasterized images based on one or more of: the viewpoint information or the image information, comprises:obtaining one or more second parameters for adjusting color information of the plurality of rasterized images based on one or more of: the viewpoint information or the image information; andtransforming the plurality of rasterized images to the plurality of second images based on the one or more second parameters.6.The method of claim 5, wherein the one or more second parameters are obtained based on the viewpoint information and the image information.7.The method of claim 5, wherein the one or more second parameters are obtained based on the viewpoint information and the plurality of first feature representations.8.The method of any of claims 1 to 7, further comprising:obtaining point data of an actor from the first point data;obtaining a second feature representation of the actor based on a classification of the actor; andobtaining one or more third parameters for refining color information of the first point data based on the second feature representation; andrefining the first point data based on the one or more third parameters.9.The method of claim 8, wherein the obtaining one or more third parameters for refining color information of the first point data based on the one or more second feature representations, comprises:obtaining position information of the point data of the actor based on the second feature representation;obtaining a second appearance representation of the point data of the actor by concatenating the position information of the point data of the actor, color information of the point data of the actor, and time information of the actor; andobtaining the one or more third parameters based on the second appearance representation.10.The method of any of claims 1 to 9, wherein the first point data is 3D Gaussian point data.11.An apparatus comprising units for performing the method according to any of claims 1 to 10.12.A computing device comprising processing circuitry for performing the method according to any of claims 1 to 10.13.A computing device, comprising:a processor; anda computer-readable storage medium coupled to the processor and storing instructions for execution by the processor, wherein the instructions, when executed by the processor, configure the computing device to perform the method according to any of claims 1 to 10.14.A computer-readable medium carrying a program code which, when executed by a computing device, causes the computing device to perform the method according to any of claims 1 to 10.15.A computer program product comprising a program code for performing the method according to any of claims 1 to 10 when executed on a computer or a processor.

Images