Point cloud registration for intraoral scanning applications

Abstract

A three-dimensional point cloud registration method for intraoral scenes and related computer program and processing system are disclosed. A plurality of point clouds and corresponding 2D camera images, associated with a plurality of different views of parts of an intraoral scene, are obtained (101). Key pixels of each camera image are connected to the set of points of the corresponding point cloud through a camera transformation. Pixel correspondences in at least one partially overlapping image pair of the plurality of camera images are identified through a pretrained neural network (102). Candidate point pairs for registration in the point clouds associated with the partially overlapping image pair are identified by restricting predicted pixel correspondences to the respective key pixels (103). The point clouds associated with the overlapping image pair are registered by calculating a transformation matrix for aligning said point clouds, based on the candidate point pairs (104).

Description

Point cloud registration for intraoral scanning applicationsField of the invention

[0001] The present invention generally relates to dental imaging and more particularly relates to point cloud registration methods for intraoral scanning application.Background of the invention

[0002] Point cloud registration is the process of aligning two or more point clouds by finding optimal spatial transformations that places and orients them in a common world coordinate system. Point clouds are often acquired through sensing technologies such as LiDAR, RGB-D cameras, and other 3D scanning devices. These technologies capture surface information about objects and their surroundings as part of a 3D scene and convert the information into a digital collection of points in three-dimensional space. The registration of multiple point clouds relating to a same 3D scene is vital to provide consistent and accurate 3D models of the scene and is ubiquitous in the fields of computer vision, pattern recognition, and 3D scanning.

[0003] In the context of dental healthcare and dental imaging, point cloud registration is particularly important for capturing the fine details of a patient's oral cavity. This information is crucial for diagnostic, planning, and treatment purposes, such as in restorative dentistry, orthodontics, and implantology. Optical 3D scan methods are commonly employed to obtain detailed surface contour information, which is then used to create accurate 3D models of teeth and surrounding structures. Obtaining both sufficiently accurate and complete 3D models of an intraoral scene, for instance a 3D digital representation of at least a part of the upper and lower dental arch and the surrounding gingiva, is of critical importance to avoid repeated or unnecessary treatments due to a patient experiencing discomfort after having undergone, e.g., restorative dentistry, orthodontics, or implantology. Ideally, the 3D digital representation of the intraoral scene is also acquired as fluently as possible by a clinician or dental healthcare assistant, which allows to reduce the patient’s chair time.

[0004] One of the primary issues related to intraoral scanning applications, however, is the difficulty to achieve accurate 3D point cloud registration in areas of the oral cavity that are characterized by surfaces of limited geometric variation or surface of similar geometry. During scanning and continued point cloud acquisition it may happen that the stitch is lost or goes wrong (i.e. an erroneous stitch) , resulting in the failure of the registration process for the point clouds. A loss of stitch is likely to occur in situation in which point clouds are acquired for stretches of the intraoral scene with limited 3D texture, for instance smooth soft tissue as present in edentulous  or partially edentulous patients, where there is a lack of distinctive geometric features. Incorrect point cloud registration, i.e. erroneous stiches, frequently occur for similarly shaped objects in the oral cavity. For instance, scans of different but similarly shaped scan bodies may erroneously be perceived as scans of a single scan body. As the overlap between subsequent scan images, captured at a constant rate, decreases for a faster moving scan wand, the problem of wrong stitches or a loss in the stitch tends to aggravate when the intraoral scan is carried out more quickly. Yet, performing the point cloud registration process and progressively displaying a rendering of the already acquired part of the 3D scan model in real time is highly desirable both in view of the patient’s chair time and the real-time assessment of the scanning result by the practitioner.

[0005] Another challenge arises when dealing with scans of bloody or wet areas within the oral cavity. The presence of fluids can interfere with the scanning process, leading to incomplete data capture and registration failures. This is a common occurrence during intraoral scanning procedures, where saliva and blood can obscure the view and compromise the quality of the point cloud data.

[0006] Conventional point cloud registration methods extract 3D features from the point cloud data, which exploits pattern in the 3D geometry. These methods are typically time-consuming and computationally intensive. This can delay the scanning process or even require the rescanning of parts of the intraoral scene, which is not ideal for patient comfort and clinical workflow.

[0007] Zhang, Yu et al. “PCR-CG: Point Cloud Registration via Deep Explicit Color and Geometry” , European Conference on Computer Vision, 2023, discloses a 3D point cloud registration module which explicitly embeds deep features learned from color signals in 2D images into the 3D geometry data of the point cloud. In the framework of the PREDATOR model, the enhanced point cloud data is then applied to a 3D convolutional neural network and graph neural network for the extraction and the pairwise matching of 3D geometry features respectively. As the majority of the conventional point cloud registration methods, the practical use of this method for intraoral scanning applications is impeded by the long data processing latencies and computational resource requirements.

[0008] There is still a need for sufficiently fast point cloud registration methods that reduce the occurrences of faulty and lost stitches in the context of intraoral scanning applications.Summary of the invention

[0009] It is an object of embodiments of the present invention to provide a point registration method for intraoral scanning applications, which is both fast and reliable in terms of the occurrences of faulty and lost stitches.

[0010] The above objective is accomplished by a method and related computer program and data processing system in accordance with the present invention.

[0011] In a first aspect, the present invention relates to a three-dimensional point cloud registration method for intraoral scenes. The method comprises obtaining a plurality of point clouds and corresponding 2D camera images, which are associated with a plurality of different views of parts of an intraoral scene. Each point cloud comprises a set of points in a view-dependent 3D coordinate space and conveys shape information with regard to objects contained in said intraoral scene. A pixel subset of each 2D camera image is connected to the set of points of the corresponding point cloud through a camera transformation. The pixel subset defines key point locations or key pixels in the 2D camera image.

[0012] As a further step, the method comprises identifying pixel correspondences in at least one partially overlapping image pair of the plurality of 2D camera images, using a pre-trained neural network. The pre-trained neural network is configured to accept a pair of 2D camera images as inputs and predict pixel correspondences in the pair of 2D camera images as outputs.

[0013] The method further comprises identifying candidate point pairs for registration in the point clouds that are associated with the at least one partially overlapping image pair, by restricting pixel correspondences predicted by the neural network to the respective key point locations.

[0014] Moreover, the method comprises the step of registering the point clouds that are associated with the at least one partially overlapping image pair, by calculating a transformation matrix for aligning said point clouds based on the candidate point pairs.

[0015] In another aspect, the present invention relates to computer program comprising instructions, which when the program is executed by a computer, cause the computer to perform the point cloud registration method in accordance with embodiments of the first aspect.

[0016] In yet another aspect, the present invention relates to a data processing system comprising means for carrying out the point cloud registration method in accordance with embodiments of the first aspect.

[0017] It is an advantage of embodiments of the present invention that the integration of AI-based methods for point cloud registration in intraoral scanning applications can lead to a significant reduction in the occurrence of incorrect (point cloud) stitches, particularly in areas without a rich geometry, where traditional methods may fail.

[0018] It is a further advantage of embodiments of the present invention that the ability to continuously scan over extended areas with minimal geometric changes is enhanced, thereby improving the robustness of the scanning process in clinical environments.

[0019] It is a further advantage of embodiments of the present invention that the point cloud registration can be achieved sufficiently fast to attain real-time rendering of the scanned parts of the intraoral scene. This reduces the patient’s chair time, wear of the scanning equipment, and makes the clinical workflow more efficient and less time consuming. Moreover, a faster intraoral scan reduces the occurrence of motion artefacts due to the patient’s tong, lip or jaw movement.

[0020] It is yet another advantage of embodiments of the present invention that the registration of point clouds in the presence of blood or other liquids, which typically pose challenges for conventional 3D reconstruction techniques, can be managed more effectively. This increases the reliability of the point cloud registration method even in more challenging scenarios.

[0021] It is an additional advantage of embodiments of the present invention that the AI-based point cloud registration method can find corresponding pixel pairs in the partially overlapping 2D camera image pairs with high efficiency and reduced latency, without requiring the processing of point cloud features in the 3D coordinate space. The investors have discovered that matching the 3D points of the point clouds that are connected to the matched pixel pairs provides an initial registration and alignment of the point clouds that is sufficiently accurate and fast to provide visual feedback as the intraoral scan is ongoing.

[0022] It is a further advantage of embodiments of the present invention that the use of AI-based point cloud registration methods can reduce the number of instances where the clinician or healthcare assistant has to delete parts of scans due to incorrect stitching, thereby avoiding rescanning, decreasing the overall scan time and improving the patient experience.

[0023] In embodiments of the invention, the point cloud registration method may comprise the additional step of receiving a scan data record for each one of the plurality of different views of parts of the intraoral scene from a 3D scanner, in the context of an intraoral scan. The scan data records may be received sequentially with respect to the different views of parts of the intraoral scene. Each scan data record comprising at least the 2D camera image and surface scan information for generating the point cloud that is associated with the respective view.

[0024] In embodiments of the invention, the step of registering the point clouds associated with the at least one partially overlapping image pair may comprise registering, in real time, a first point cloud pertaining to a first scan data record just received with a second point cloud pertaining to a second scan data record received prior to said first scan data record.

[0025] It is an advantage of embodiments of the present invention that a real-time registration of point clouds and related rendering of the progressing 3D reconstruction of the intraoral scene can be achieved. This facilitates immediate visual feedback for the clinician.

[0026] In embodiments of the invention, each scan data record may additionally comprise a series of scan frames related to different structured light patterns. The light patterns are projected onto the respective parts of the intraoral scene and illuminate that part of the scene. Preferably, the structured light patterns are light stripes or bands of light. The contours and deformations of the projected light patterns as recorded in the different scan frames, also referred to as pattern projection images, provide the surface scan information from which the point cloud for a particular view can be reconstructed by optical triangulation techniques. Hence, embodiments of the invention may include the additional step of calculating the set of points of the point cloud associated with a particular view, based on the structured light patterns that are contained in the series of scan frames corresponding to that view.

[0027] An alternative approach to obtaining both shape and shade information from one apparatus uses confocal imaging and is described in amongst others U.S. Pat. No. 7,319,529 and U.S. Pat. No. 11076146. In short, a multitude of images of a portion of the intraoral cavity are taken, at incremental focus distances, and relative pixel intensity is used as a measure of surface contour for multiple points on the tooth surface. The depth data thus obtained are then combined with color image information of the same portion of the intraoral cavity in order to obtain and display the shape and color shade of the tooth.

[0028] It is an additional advantage of embodiments of the present invention that the use of non-contact measurement techniques, such as optical scanners employing triangulation or confocal imaging under various illumination conditions, is well-suited for intraoral scanning applications, given their hygienic nature and reduced risk of damaging delicate tissues or inflicting paint to the patient.

[0029] In embodiments of the invention, the 2D camera image associated with each view may relate to a flood illumination of the part of the intraoral scene that is visible in the view. The 2D camera image may be a pixel image that comprises at least one color channel.

[0030] Leveraging color and texture information from the 2D camera images, prior to point cloud registration, recovers stitches that would otherwise be lost due to insufficient geometric information in the point cloud data.

[0031] In accordance with embodiments of the invention, the point cloud registration method further comprises the steps of aligning the registered point clouds based on the transformation matrix, and merging the aligned point clouds, thus obtaining a three-dimensional digital representation of the intraoral scene. Furthermore, the point cloud registration method may comprise the additional steps of reconstructing surfaces of objects contained in the intraoral scene,  based on the merged point clouds, and optionally including color and / or texture information from the 2D camera images associated with the aligned point clouds.

[0032] A three-dimensional digital representation of the intraoral scene obtained in accordance with embodiments of the invention may be rendered for display on an electronic display means such as a screen. The rendering of three-dimensional digital representation of the intraoral scene, also referred to as the rendered 3D model of the scene, may then be displayed on the electronic display means. In addition thereto, holey, missing and / or faulty regions of three-dimensional digital representation of the intraoral scene may be marked or otherwise tagged to bring it to the attention of the user.

[0033] It is an advantage of embodiments of the present invention that the ability to mark incomplete or faulty regions of the digital 3D representation of the intraoral scene can prompt clinicians to take corrective actions during the scanning process, thus enhancing the quality of the final 3D model.

[0034] In some embodiments of the invention, the point cloud registration method comprises the further step of iteratively refining an initial alignment of the registered point clouds. The initial alignment, defined by the transformation matrix calculated in accordance with embodiments of the invention, may be a coarse alignment that serves the purpose of progressively visualizing the parts of the intraoral scene that have already been scanned, thus providing real-time guidance to the practitioner performing the scan. Conversely, the refinement of the initial alignment may be performed off-line, e.g., after the intraoral scan has been completed. This has the advantage that a more accurate final registration of the point clouds and related 3D scan model can be obtained at a later point in time, when neither visual guidance, nor the patient’s presence is required, such that data processing latencies are less relevant. An iterative algorithms such as the “iterative closest point ” algorithm (ICP) can be used during the refinement step.

[0035] In some embodiments of the invention, neural network may comprise a first neural network module and a second neural network module. The first neural network module is configured to extract feature vectors with respect to a predetermined number of pixels in each one of the pair of 2D input images. The second neural network module is configured to compare first feature vectors extracted from a first image of the pair of 2D input images to second feature vectors extracted from a second image of the pair of 2D input images and, based on a similarity measure between the first and second feature vectors, detect pixel correspondences in the first and second image. The predetermined number of pixels may correspond to the key point locations (i.e. key pixels) in each one of the pair of 2D input images, or to groups of neighboring pixels in each one of the pair of 2D input images, which surround and encompass the key point locations.

[0036] In some embodiments, the neural network may be configured to provide a confidence score as an additional output variable with respect to each pixel correspondence, i.e. the confidence level that the detected pixel pair is indeed a correct match. Pixel correspondences detected for one pair of partially overlapping 2D camera images can then be ranked according to their confidence score. A predetermined number ‘N’ of detected pixel correspondences with the highest ranked confidence scores may be selected for the identification of the candidate point pairs (in the point clouds) for registration. In embodiments of the invention, the number of pixel correspondences ‘N’ is preferably equal to or larger than fifteen. In other embodiments of the invention, the step of calculating the transformation matrix may include the step of including or discarding identified candidate point pairs of a pair of point clouds, based on the confidence scores attributed to the pixel correspondences connected to the candidate point pairs. Incorporating a confidence measure into the point cloud registration process can help prioritizing 3D point correspondences that are more reliable and improve the overall accuracy of the alignment.

[0037] The first neural network module may comprise or consist of a convolutional neural network architecture, which is well-suited for the processing 2D image data and effectively extracts features for the feature matching stage. The second neural network module may comprise a transformer-based neural network architecture, which is capable of capturing long-range dependencies and providing a more nuanced understanding of the spatial relationships between features.

[0038] In some embodiments of the invention, the neural network may be implemented as a hardware structure, or as a combination of hardware and software. Dedicated hardware offers faster processing speeds and lower latencies, which is beneficial for real-time intraoral scanning applications. In other embodiments of the invention, the neural network may be implemented as a software structure or software construct. This has the advantage of offering flexibility and ease of updates, which allows adapting the point cloud registration method to new data or different type of data, or improving the point cloud registration method over time, e.g. by periodically retraining the neural network.

[0039] A point cloud registration method in accordance with embodiments of the invention may also include the step of training the neural network with an adequate training dataset. The training of the neural network may include (i) combining a plurality of three-dimensional digital representations of intraoral scenes and a corresponding plurality of 2D camera image sets into a training dataset, wherein each 2D camera image set comprises multiple partially overlapping image pairs that represent different views of parts of a respective one of the digital representations; (ii) annotating pixel correspondences in the partially overlapping image pairs of  each camera set, obtained by projecting surface points of the corresponding one of the plurality of three-dimensional digital representations of intraoral scenes onto the different images of the partially overlapping image pairs of the camera set; and (iii) training the neural network based on the training dataset, using annotated pixel correspondences as ground truth. The first and second neural network module can be trained jointly.

[0040] In some embodiments of the invention, the training dataset may be built by synthesizing each image of the 2D camera image set from a color and / or textured 3D model of the intraoral scene. This allows for the creation of a diverse and realistic training set in the case where no separate 2D camera color images have been captured at the time the point cloud data has been acquired.

[0041] According to some embodiments of the invention, the data processing system may be part of an intraoral scan apparatus. Integrates the point cloud registration process into the scanning device offers a seamless workflow to the user.

[0042] Particular and preferred aspects of the invention are set out in the accompanying independent and dependent claims. Features from the dependent claims may be combined with features of the independent claims and with features of other dependent claims as appropriate and not merely as explicitly set out in the claims.

[0043] For purposes of summarizing the invention and the advantages achieved over the prior art, certain objects and advantages of the invention have been described herein above. Of course, it is to be understood that not necessarily all such objects or advantages may be achieved in accordance with any particular embodiment of the invention. Thus, for example, those skilled in the art will recognize that the invention may be embodied or carried out in a manner that achieves or optimizes one advantage or group of advantages as taught herein without necessarily achieving other objects or advantages as may be taught or suggested herein.

[0044] The above and other aspects of the invention will be apparent from and elucidated with reference to the embodiment (s) described hereinafter.Brief description of the drawings

[0045] The invention will now be described further, by way of example, with reference to the accompanying drawings, in which:

[0046] Fig. 1 is a flow diagram of a point cloud registration method for intraoral scanning applications according to an embodiment of the invention.

[0047] Fig. 2 is a schematic representation of the pattern projection image-based reconstruction of point clouds for intraoral scanning applications, in accordance with embodiments of the invention.

[0048] Fig. 3 is a block diagram showing components of the neural network for intraoral scanning applications according to embodiments of the present invention.

[0049] Fig. 4 shows a pair of 2D camera images of a training dataset, in which matching pixels have been annotated in accordance with embodiment of the invention.

[0050] Fig. 5 further explains the data processing steps performed by the neural network in accordance with embodiments of the invention.

[0051] Fig. 6 shows matched pixels in a pair of partially overlapping camera images, which illustrate part of an intraoral scene, as well as steps leading to the registration and merging of a pair of point clouds in accordance with embodiments of the invention.

[0052] The drawings are only schematic and are non-limiting. In the drawings, the size of some of the elements may be exaggerated and not drawn on scale for illustrative purposes. The dimensions and the relative dimensions do not necessarily correspond to actual reductions to practice of the invention.

[0053] Any reference signs in the claims shall not be construed as limiting the scope.

[0054] In the different drawings, the same reference signs refer to the same or analogous elements.

[0055] Detailed description of illustrative embodiments

[0056] The present invention will be described with respect to particular embodiments and with reference to certain drawings but the invention is not limited thereto, but only by the claims.

[0057] The terms first, second and the like in the description and in the claims, are used for distinguishing between similar elements and not necessarily for describing a sequence, either temporally, spatially, in ranking or in any other manner. It is to be understood that the terms so used are interchangeable under appropriate circumstances and that the embodiments of the invention described herein are capable of operation in other sequences than described or illustrated herein.

[0058] It is to be noticed that the term “comprising” , used in the claims, should not be interpreted as being restricted to the means listed thereafter; it does not exclude other elements or steps. It is thus to be interpreted as specifying the presence of the stated features, integers, steps or components as referred to, but does not preclude the presence or addition of one or more other features, integers, steps or components, or groups thereof. Thus, the scope of the expression “a  device comprising means A and B” should not be limited to devices consisting only of components A and B. It means that with respect to the present invention, the only relevant components of the device are A and B.

[0059] Reference throughout this specification to “one embodiment” or “an embodiment” means that a particular feature, structure or characteristic described in connection with the embodiment is included in at least one embodiment of the present invention. Thus, appearances of the phrases “in one embodiment” or “in an embodiment” in various places throughout this specification are not necessarily all referring to the same embodiment. Furthermore, the particular features, structures or characteristics may be combined in any suitable manner, as would be apparent to one of ordinary skill in the art from this disclosure, in one or more embodiments.

[0060] Similarly it should be appreciated that in the description of exemplary embodiments of the invention, various features of the invention are sometimes grouped together in a single embodiment, figure, or description thereof for the purpose of streamlining the disclosure and aiding in the understanding of one or more of the various inventive aspects. This method of disclosure, however, is not to be interpreted as reflecting an intention that the claimed invention requires more features than are expressly recited in each claim. Rather, as the following claims reflect, inventive aspects lie in less than all features of a single foregoing disclosed embodiment. Thus, the claims following the detailed description are hereby expressly incorporated into this detailed description, with each claim standing on its own as a separate embodiment of this invention. Furthermore, while some embodiments described herein include some but not other features included in other embodiments, combinations of features of different embodiments are meant to be within the scope of the invention, and form different embodiments, as would be understood by those in the art.

[0061] In the description provided herein, numerous specific details are set forth. However, it is understood that embodiments of the invention may be practiced without these specific details. In other instances, well-known methods, structures and techniques have not been shown in detail in order not to obscure an understanding of this description.

[0062] In the context of the present invention, views are definitions of 3D intraoral scene projections onto a 2D image plane, e.g. a camera image plane, which include viewpoint, view direction and field of view information. In the context of intraoral scanning applications, the field of view is generally limited due to the narrowness of the oral cavity and the constraint manoeuvrability of a 3D scanner therein. Hence, many views and corresponding overlapping images are generally required to fully cover the part of interest of the intraoral scene.

[0063] When reference is made to a real-time process, such as a real-time point cloud registration process or real-time visualization process, what is meant is that the relevant outputs of the process are collected, generated, visualized, etc., at substantially the same time as the data inputs (e.g. scan images) are provided to the process, wherein “substantially the same time” means without perceptible delay.

[0064] In one aspect, the present invention relates to a three-dimensional point cloud registration method for intraoral scenes. The point clouds may be acquired by an optical 3D scanner in the context of an intraoral scan, with the purpose of obtaining a fast visualization of the already scanned parts of the intraoral scene. This provides real-time visual feedback as the scan progresses and allows the clinician or healthcare personal to take informed decisions as to which further zones are still requiring scanning or rescanning such that a digital 3D representation of the part of interest of the oral cavity is obtained successfully with the desired degree of accuracy. The registration of the acquired point clouds is an important step toward the creation of the digital 3D representation of the intraoral scene, which is also referred to as 3D scan model or digital scene reconstruction. The registration process requires the calculation of the transformation matrices that correctly position and orient the local reference frames of each point cloud (i.e. the local 3D coordinate systems attached to the point clouds) within the global or world coordinate system of the intraoral scene or its digital reconstruction. The registration process is necessary because the camera displacement and rotation parameters are not directly available during the scanning process. Additional data processing steps are then performed on the registered point cloud before the 3D scan model can be rendered and displayed on a screen, saved as a data structure or exported as a file (e.g. STL file format) .

[0065] Fig. 1 is a flow diagram of a point cloud registration method for intraoral scanning applications according to an embodiment of the invention. In a first step 101, a plurality of point clouds and a corresponding plurality of 2D camera images is obtained with respect to different views of parts of the intraoral scene. In embodiments of the invention, for each view, a 2D camera image and a set of points in 3D coordinate space forming a point cloud are thus obtained. There is a 2D camera image, also referred to as base image, associated with each point cloud, and vice versa. The plurality of point clouds and corresponding 2D camera images includes at least a first point cloud and corresponding first 2D camera image, associated with a first view, and a second point cloud and corresponding second 2D camera image, associated with a second view, wherein the field of views for the first and second view overlap partially, thus entailing a partial overlap between the first and second 2D camera image.

[0066] Here, obtaining the point clouds and corresponding 2D camera images includes, but is not limited to, retrieving them from a locally or remotely accessible memory device, receiving them in the form of a transmitted data stream, receiving them in the form of scan data records from a 3D scan apparatus, or deriving them from scan data records originating from a 3D scan apparatus. The point clouds typically represent object surfaces or shape information that is present in the intraoral scene. For instances, point clouds may represent visible surfaces of teeth, soft tissues like gingiva, surfaces of liquids like saliva or blood, implants, scan bodies, bone, dental prosthesis, etc.

[0067] In the present embodiment, obtaining the plurality of point clouds and a corresponding plurality of 2D camera images for the multiple views in step 101 comprises the three following sub-steps:

[0068] - projecting a sequence of structured light patterns onto the part of the intraoral scene that is associated with each one of the different views (e.g. is visible or located in the view volume) and capturing a corresponding sequence of 2D projection pattern images of the illuminated part of the scene with a camera in step 101a;

[0069] - flood illuminating the part of the intraoral scene that is associated with each one of the different and capturing a 2D camera image (also referred to base or color image) of the flood-illuminated part of the scene in step 101b;

[0070] - generating the set of points for the respective point clouds associated with the different views in step 101c.

[0071] In preferred embodiments of the invention, the same camera is used to capture the sequence of 2D projection pattern images (one image per illumination pattern) and the base image in step 101a and 101b, respectively. This has the advantage of reducing the space requirement and cost of the optical scanner. Nonetheless, different cameras may be used in other embodiments of the invention. Moreover, the image acquisition time of the camera and the interval between two successive image captures is preferably chosen sufficiently short to avoid any significant movement of the camera while capturing the base image and the projection pattern images for each one of the different views. For instance, a frame rate of the camera may exceed 60 fps, e.g. acquire images at a frame rate of several hundreds of frames per second.

[0072] In embodiments of the invention, the different parts of the intraoral scene that are undergoing or have been undergoing scanning do not necessarily add up to cover the entirety of the intraoral scene. In general, it is sufficient that the different views cover those parts of the intraoral scene that lie within the region of interest as determined in beforehand by the clinical or healthcare personal. By way of example, the region of interest may be restricted to: a particular  tooth and its surroundings; a group of teeth; the upper or lower dental arch; palatal, buccal or occlusal surfaces of teeth; specific implants or dental prosthesis; soft palatal tissue; areas of labial or palatal gingiva; or combinations thereof.

[0073] In embodiments of the invention, the base image comprises at least one color channel, which is broadly understood to include a single grayscale channel or multiple different color channels, e.g. RGB or CMYK color channels. The pixels of base image describe a 2D projection or view of a part of the intraoral scene in terms of intensity values, color and / or texture information. Moreover, each base image can be an authentic multicolor image or a composite image, i.e. a blend of different monochromatic frames. For instance, the three frames for the R, B, and G color channel may be recorded separately and superimposed subsequently, or three RGB frames are recorded separately with respect to different wavelengths used to flood illuminate the part of the scene. As such, each base image conveys information about the color and / or texture of object surfaces contained in the respective part of the intraoral scene.

[0074] With reference to Fig. 2, the scanning principle and the recovery of the 3D coordinates of the set of points comprised by each point cloud is briefly explained. A scan wand 200 of an optical scan apparatus is shown in the top of Fig. 2 and includes a light projector 201 and a camera 202 at its distal end, which is introduced into the oral cavity. A distance between the center points of the image plane of the camera 202 and the projector plane of the projector 201 is known and part of the calibration model for the optical scan apparatus. The camera 202 comprises a monochromatic or polychromatic 2D image sensor, e.g. CCD or CMOS sensor, which is suitable for capturing the base image related to the flood illumination condition of the relevant part of the intraoral scene and the different projection pattern images related to the different structured light illumination condition of the same part of the scene. The projector 201 may be configured to generate and emit light fringe patterns at various angles. A coarse fringe pattern comprises a plurality of light bands that are wider than the light stripes / lines comprised by a fine flight fringe pattern. The projector may comprise a spatial light modulator, digital micromirror device, or the like, which can be controlled to create the light fringe patterns, alternate between coarse and fine fringe patterns, and steer the projection angle under which the fringes are emitted to illuminate the scene with structured light. Moreover, the projector comprises at least one light source, more preferably multiple light sources of different center wavelengths.

[0075] As shown in Fig. 2, the projector 201 emits a light manifold such as a light stripe or light ray 204 at a controlled projection angle ‘A’ . This light ray 204 intercepts the surface of an object 203 of the scene at a point ‘P’ , where it is subjected to diffuse reflection. A bundle of diffusely reflected light forms a further ray 205 that travels toward the camera 202. This imaging optics of  the camera 202 sends this light ray 205 onto a pixel or pixel region of the image sensor, where it is detected as a color signal of a certain intensity distribution. A calibrated camera model is generally available or can be found with calibration targets, which associates each pixel of the image sensor with the direction vector of a light ray. Therefore, the angle of incidence ‘B’ of the further light ray 205 relative to the image plane can be inferred from the calibrated camera model (which, in turn, can be part of the calibration model of the optical scan apparatus) . The light rays 204, 205 and the distance 206 between the intersection points of the respective light rays 204, 205 with either the image plane of the camera 202 or the projection plane of the projector 201 defines a triangle ‘T’ . Trigonometry now allows one to determine the coordinates of the illuminated surface point ‘P’ of the object 203, based on the distance 206 (triangle base) and the two base angles ‘A’ and ‘B’ . The distance 206 is the sum of the known or calibrated distance between the center points of the image plane of the camera 202 and the projector plane of the projector 201 and the relative coordinates of the points of intersection between the two light rays 204, 205 and the respective one of the image plane and projection plane. Hence, the positions of the points forming the point cloud in 3D point cloud space can be determined by means of an optical triangulation measurement. The 3D point cloud coordinate space is attached to the scan wand 200 and therefore is a local reference frame whose orientation and position changes when the scan wand moves along. In the present embodiment, the view can be defined by the position and orientation of the scan wand 200 tip relative to the object 203 of the scene.

[0076] The left bottom part of Fig. 2 is a perspective view of an object 213 contained in a part of a 3D scene onto which a light sheet 214 is projected by the projector 211 of an optical scan apparatus. As can be seen, an edge along the object’s 213 surface causes the light sheet 214 to intercept the object 214 along a pair of differently oriented lines that meet at an angle. A light sheet that intersects the projector’s 211 projection plane in a vertical line is now projected onto a distorted line 217 on the object 213 surface. Again, the diffuse reflection light from the projected line 217 is collected by the imaging optics of the camera (not shown) and mapped to an L-shaped trace in the image plane 212 of the camera’s image sensor. This mapping can be modelled as a perspective projection, e.g. as in a pinhole camera model, which assign rays or ray direction vectors to each point in the image plane 212. A ray 215 connecting the camera pinhole 216 with object point ‘P’ and intersecting the image plane 212 has been drawn for illustrative purposes. The right bottom side of Fig. 2 illustrates the use of multiple projection lines for illuminating a 3D scene including the object 213. Five light sheets are emitted by the projector of the optical scan apparatus such that their intersections with the projector plane 221 correspond to a set of parallel vertical lines. The three inner projection lines intercept the object 213 surface and are imaged as  three L-shaped contours in the image plane 222 of the camera. The two outermost projection lines do not intercept the object 213 and are therefore not visible as line distortions in the image plane 222.

[0077] It is noted that depending on the width of the projected lines and the imaging optics of the camera, illuminated points on surfaces of the intraoral scene are not necessarily focused onto a single pixel in the image plane of the camera, but may be smeared out and extend over multiple consecutive pixels of a same pixel row (assuming that undeformed light stripes projected onto a planar surface are imaged along a column direction of the image sensor of the camera) . If this is the case, the intensity values of the stretches of bright pixels, e.g. present in each row, which correspond to the multiple distorted projection lines as perceived by the camera, are compared and the peak intensity value is determined. This may include a curve-fitting and peak detection step. The location of the peak intensity in the 2D image coordinate space is then retained as the corresponding 2D point. This peak location may be expressed in terms of fractional coordinates for increased accuracy or be rounded to coincide with the center location of the nearest image pixel.

[0078] The positions of the light stripes can be shifted in a direction perpendicular to the stripes to illuminate additional points on surfaces of the intraoral scene and increase the spatial resolution at which the point clouds are obtained. This can be achieved by adjusting a projection angle of the projector for the line projection of monochromatic light. Alternatively, different projection angles of the projector may be defined with respect to different wavelengths used for the line projections, such that cycling through the different wavelengths causes a shift in the projected lines of light (i.e. stripes) . Furthermore, it is possible to shift the line projections and change the illumination wavelength at the same time. A further projection pattern image is captured for each additional projection pattern that is being used while collecting scan data for one of the views. Moreover, light bands that are much broader than the light stripes can be projected onto and shifted over the same part of the intraoral scene, in order to resolve ambiguities due to discontinuities in the deformed line patterns as perceived in the projection pattern images. The sequences of captured projection pattern images, e.g. the shifted light stripe and shifted light band patterns, are then collected into a common scan data record, which is accessed by the optical triangulation algorithm. In embodiments of the invention, the scan data record obtained for each view of the scene may contain projection pattern images related to three shift versions of the light stripe pattern and two shift version of the light band patterns. Each light stripe pattern may contain several tens of lines, e.g. more than one hundred lines. A separate data structure may hold the calculated 3D coordinates of the points in each point cloud.

[0079] Point cloud generation based on optical triangulation techniques in combination with structured light projections are well-known in the art. Projecting multiple light stripes as structured light patterns onto the relevant parts of the intraoral scene has the advantage that 3D point cloud data can be recovered simultaneously with respect to many illuminated points on surfaces of the intraoral scene that are distributed across the entire field of view of the camera. This has the advantage of accelerating the acquisition of dense point clouds. Nonetheless, it is possible to use alternative scanning technique in embodiments of the invention, e.g. laser point raster scans in combination with optical triangulation, confocal imaging or time-of-flight cameras for depth measurements, provided that these alternative scanning techniques are sufficiently fast to avoid motion artefacts.

[0080] Returning to Fig. 1, at least one pair of partially overlapping 2D camera images (base images) is then selected and applied as inputs to a neural network in step 102. For instance, the first and the second 2D camera image can be fed as inputs to the neural network. In embodiments of the invention, two consecutive base images of the scan can be expected to have overlap regions, because the scan wand does not move a lot compared to the camera’s frame rate. If there is a discontinuity between two consecutive base images, e.g. in the case of a loss in the stitch or the interruption and repositioning of the scan wand, the previously recorded base images may be searched and compared to the current base image to find a partially overlapping image pair.

[0081] The neural network has been trained to detect corresponding pixel pairs, also referred to as pixel correspondences or pixel matches, in pairs of partially overlapping 2D camera images representing a part of an intraoral scene. The neural network accepts the pair of 2D camera images as inputs and returns a collection of pixel matches for the input image pair as output. Neural networks in accordance with embodiments of the invention can be implemented in software, hardware, or a mixture of hardware and software. In preferred embodiments of the invention, the neural network is configured to attribute a confidence score to each pixel match in the collection of pixel matches. This has the advantage that the detected pixel matches can be ranked and only the most reliable ones are selected for the determination of the corresponding candidate point pairs in the two point clouds that are associated with the pair of 2D camera images.

[0082] A neural network in accordance with an embodiment of the invention is illustrated in Fig. 3. The neural network 300 preferably comprises at least two stages: a feature extraction stage 310 and a feature pairing stage 320. The components of the feature extraction stage 310 may form a convolution neural network structure (CNN) that is configured to extract features vectors for each pixel, or a subset of pixels comprised by the first 2D camera input image ‘A’ and the second 2D camera input image ‘B’ . An example implementation of the feature extraction stage 310 in  software may be based on a D2-net architecture utilizing a ResNet backbone architecture, but is not limited thereto. Other CNN-based backbone architectures are available in the art, including VGG, GoogleNet, U-net, and others. The subset of pixels for which feature vectors should be generated may be specified by an indexing set. As explained further below, the indexing set may represent key point positions in each of the two input images ‘A’ and ‘B’ for which 3D point cloud data is available. A (depth) dimension of the extracted feature vectors is generally large, e.g. feature vectors with more than one hundred vector components may be generated at the output of the feature extraction stage 310. The feature vectors for all the specified pixels of the first input image ‘A’ may be aggregated into a tensor structure. Idem for the feature vectors extracted from the second input image ‘B’ . In some embodiments of the invention, the tensor structures may be dense, meaning that feature vectors are extracted for all pixels of the two input images. In such embodiments, the indexing set can be used to filter a sparse tensor structure from the dense tensor structures, viz. only feature vectors extracted for the index pixel subset are retained. Moreover, extracted feature vectors may be L2-normalized to improve stability during the training phase.

[0083] Next, the pixel positions within the respective input images ‘A’ or ‘B’ where feature vectors have been extracted is encoded and the feature vectors are augmented with the positional encodings. This forms the input to the following feature pairing stage 320. The components of the feature pairing stage 320 may form a transformer neural network structure that contains both self-attention and cross-attention modules. The outputs of the feature pairing stage 320 indicate global context similarity and local similarity between feature vectors pairings from the two input images ‘A’ and ‘B’ . They are combined into a match and score matrix from which the pixel correspondences and the thereto attributed confidence scores can be readily retrieved. Similarity between the augmented feature vectors of a candidate pairing can be based on an Euclidean distance measure.

[0084] The two stages 310, 320 of the neural network 300 can be trained jointly. Separate loss functions are assigned to the outputs produced after each stage and the loss function for the different stages can be combined in the form of a weighted sum for simultaneous training with a backpropagation algorithm. The contrastive margin loss and the matching loss as defined in Bai, Xuyang, et al. "D3feat: Joint learning of dense detection and description of 3d local features" , Proceedings of the IEEE / CVF conference on computer vision and pattern recognition, 2020, may be used for the feature extraction stage 310 and the feature pairing stage respectively. A training dataset may be built by:

[0085] (i) combining previously obtained three-dimensional digital representations of intraoral scenes and thereto corresponding 2D camera images into a training dataset, wherein the 2D camera images related to each one of the three-dimensional digital representations form a camera image set and comprise multiple partially overlapping 2D cameras images representing different views of parts of the respective the three-dimensional digital representations;

[0086] (ii) annotating pixel correspondences in the partially overlapping 2d camera image pairs of each camera set, which pixel correspondences are obtained by projecting surface points of the corresponding three-dimensional digital representation onto the two 2D camera images of the partially overlapping image pair of the camera set (the image pair is chosen such that the particular surface point to be projected is comprised in the overlap region and hence in the field of view of both images of the image pair) ;

[0087] (iii) and training the neural network based on the training dataset, using annotated pixel correspondences as ground truth.

[0088] The previously obtained three-dimensional digital representations of intraoral scenes may be composed of a plurality of preregistered point clouds, whereby traditional point cloud registration methods have been used. Alternatively, the previously obtained three-dimensional digital representations of intraoral scenes may be artificially and arbitrarily divided into a plurality of point clouds, provided that each point cloud has points in common with one or more other point clouds.

[0089] In an exemplary embodiment of the invention, the neural network 300 has been trained with a comprehensive training dataset that included 1.6 million 2D camera image pairs, wherein each 2D camera image pair comprised between approximately 500 and 600 pixel matches. About 80%of the 2D camera image pairs were obtained from in vivo intraoral scans and 20%originated from scanning dental casts, typically plaster models obtained from an impression of the jaw. Of the 2D camera image pairs obtained from in vivo intraoral scans about one fifth relates to edentulous or partially edentulous dental arches which have stretches of low 3D texture. A plaster cast typically has less color variation then an in vivo scan, but the 3D texture of a plaster cast is dependent on the presence of edentulous stretch. For a same dentition the 3D texture of a scan of a plaster cast and an in vivo scan is similar. Fig. 4 shows an example of a partially overlapping pair of 2D color images that may form part of a sample from the training dataset, onto which points of preregistered point clouds related to a three-dimensional digital representations of an intraoral scene have been projected and annotated as ‘matches’ or ‘misses’ .

[0090] As mentioned previously, key point positions may be applied as a further input to one or more stages of the neural network. Key point positions may be provided in the form of a computer-readable data structure that contains the previously mentioned peak intensity coordinates for the detected line distortions in the 2D image plane, or indices of pixels of the 2D camera image that encompass the previously mentioned peak intensity coordinates. This means that the key point positions identify regions in each one of the 2D camera images, e.g. a set of disjoint or connected pixels, for which 3D points in the corresponding point cloud exist. Expressed in other words, the key point positions describe the result of a camera transformation (e.g. expressed as camera projection matrix) that has been applied to the set of points comprised by a point cloud and which connects the 3D coordinates of each point in the point cloud with a pixel of the corresponding 2D camera image. The neural network may use the key point positions to restrict the search of pixel correspondences to pixels or pixel neighborhoods whose respective location agrees with or encompasses the provided key point positions. This has the advantages of reducing the search space and processing latency of the neural network, and increases the throughput of the neural network, which is important for real-time point cloud registration. Moreover, the key point position may be valuable for recognizing a global context or relationship between local image features, thus leading to a more robust and reliable detection of pixel correspondences in the 2D image pair.

[0091] The flow of data through the neural network 300 is further explained in Fig. 5, in which pixel correspondences are detected through the intermediary steps of feature extraction and feature pairing key point locations. The two views of the scene object, in the present example a rectangular parallelepiped, overlap in the 2D input images ‘A’ and ‘B’ . Point cloud data is available for both views, wherein point cloud ‘A’ is associated with image ‘A’ and point cloud ‘B’ is associated with image ‘B’ . Individual points of the two point clouds, corresponding to surface points of the scene object, have been reprojected onto the input images and marked as dots. Key point locations or key pixels are assigned to the locations of the reprojected points, or dots, in the two input images ‘A’ and ‘B’ , such that the key pixels coincide with the respective dots. Hence, a subset of the 2D image pixels in each input image ‘A’ and ‘B’ is connected to points of the corresponding point clouds. The input images ‘A’ and ‘B’ are applied separately to the feature extraction stage ‘NN-STAGE 1’ to obtain dense feature tensors, ‘TENSOR A’ and ‘TENSOR B’ . The key point locations or key pixels are then used as an index set or selection mask that filters a sparser subset of feature vectors out of the dense feature tensors. Alternatively, feature vectors can be computed only for the key pixels. It results that each extracted feature vector is assigned to a 2D pixel of one of the input images, which 2D pixel in turn is connected to a 3D point in the point cloud. The task of the  feature pairing stage ‘NN-STAGE 2’ is to arrange feature vectors and their 2D pixel position information into pairs over and over again, compare the feature vectors and 2D pixel position information in each pairing, select pairings with similar feature vectors and 2D pixel position information as candidate matches, and assign confidence scores to candidate matches. In embodiments of the invention, the candidate matches with the N highest ranked scores are then selected as definite matches, wherein N is preferably chosen larger than fifteen. Of the definite matches, the 2D pixels form a pixel correspondence and the thereto connected 3D points are candidate points for registration of the two point clouds ‘A’ and ‘B’ .

[0092] Again referring to Fig. 1, candidate points for registration are identified in step 103 in the point clouds for which the corresponding 2D camera images have been previously applied to the neural network. The identification may comprise selecting a predetermined number of pixel correspondences detected in the 2D camera image pair, e.g. based on an attributed confidence score, and looking up the 3D points of the two point clouds that are connected to the selected pixel correspondences. The connection between 2D pixels and 3D points at key point locations can be held in a dedicated data structure, e.g. a dictionary-type of data structure may use the pixel indices of a key pixel may as key and a reference to a 3D point of the point cloud (e.g. a reference to a position in a list of 3D points) as a value.

[0093] A transformation matrix for aligning the two point clouds in which candidate point pairs have been identified in the previous step is then calculated in step 104. The calculation of the transformation matrix may comprise optimizing a translation vector and a rotation matrix such that the sum of all distances between the candidate point pairs in the two point clouds is minimized after the transformation. Additional candidate point pairs may be included at this stage to further improve the alignment if a residual error is yet not small enough. Alternatively or additionally, sum of the previously identified candidate point pairs may be discarded again if this improves the residual error. A RANSAC-type algorithm may be used to find the optimal transformation matrix. The calculation of the transformation matrix is more robust to outliers and noise if a large number of candidate points (i.e. 3D point matches) are identified. For instance, at least fifteen 3D point matches or more should be included, e.g. several tens of matches, e.g. more than one hundred matches. Once the transformation matrix has been determined, the registration of the two point clouds has succeeded. If other unregistered point clouds are available at this moment in time, their transformation matrix for alignment with the set of already registered point clouds may be determined according to the previous method steps. Otherwise, it must be checked whether the scan has completed or whether further scan data records are expected to be received and should be waited for.

[0094] The registration step 105 of the point clouds may result in a coarse registration and alignment of the point clouds, yet sufficiently accurate for visual guidance of the clinician or healthcare assistant who performs the intraoral scan. After completion of the scan, the coarse registration of the point clouds may be subjected to a refinement step 108, e.g. using the ICP algorithm. This allows the reconstruction of a more accurate digital 3D representation or scan model of the intraoral scene, for example in situations where the 3D scan model is used as the basis for the manufacture of a dental prosthesis.

[0095] Additional steps 105 to 107, which lead to the visualization of the registered point clouds may be performed. In step 105, the already registered point clouds are aligned based on the calculated transformation matrix and their 3D points are merged or stitched together, whereby a 3D representation of the part of interest of an intraoral scene is obtained. Surfaces of the intraoral scene may be reconstructed in step 106, based on the stitched point clouds. For instance, a mesh model or spline-based surface model may be fitted to the point clouds. In embodiments of the invention, a 3D representation of the part of interest of an intraoral scene, can be a point cloud representation in its simplest form, or a more complex 3D model. More complex 3D models may be mesh, surface or solid models, which reconstruct shape information of the intraoral scene through surface definitions, e.g. polygon vertices in a mesh model or splines in a NURBS model. A further option resides in the use of point set surfaces, in which smooth manifold (local maps) are derived from point sets and approximated by the method of moving least squares. Shadings, texture and / or color mappings may be applied to the reconstructed surfaces in step 106 too, in order to improve the overall scene comprehension and experiences by the user.

[0096] The 3D model or representation can be rendered and visualized on a screen in step 107. Based on the visualization of the scanned parts of the intraoral scene, the user may decide to continue the scan. Missing, occluded, low-quality or holey parts in the 3D representation may be marked visually or notified to the user, which may prompt the user to fill in the missing or holey parts or rescan occluded or low-quality pars of the scene. A continuation of the scan path may also be suggested to the user on the screen, e.g. if a known scan method or previously recorded scan path has been selected in beforehand.

[0097] After competition of the scan, a more time-consuming refinement step 108 may not only determine a more accurate registration of the point clouds, but may also apply previous steps 105 through 107 to the improved point cloud registration. The refinement step can be carried out offline and the resulting 3D scan model can be written to memory or exported in one of the commonly used file formats, e.g. STL file , CAD file, etc.

[0098] Fig. 6 depicts a pair of partially overlapping 2D camera images as well as a number of pixel correspondences detected therein. Moreover, the identification of candidate point pairs in the two point clouds belonging to the image pair is illustrated and, based thereon, the alignment and merging of the two point clouds (merged point clouds shown in the bottom of the figure) .

[0099] Although the embodiment just described relates to an online point cloud registration and 3D scan model visualization process, this is not a requirement. In alternative embodiments of the invention, the scan data records with its point cloud data and 2D camera images for various views of the intraoral scene may have been acquired previously and now is simply retrieved from computer-readable memory device during an offline registration process of the acquired point clouds. Moreover, it is possible to retrieve already registered point clouds from a previously calculated 3D scan model that has been stored in a computer-readable format on a memory device and add freshly acquired point clouds, e.g. point clouds determined from freshly received scan data records. The freshly received scan data records may relate to ongoing follow-up scan, in which case the additional point clouds require registration with the group of previously registered point clouds. A follow-up scan may be carried out with the intention to fill in missing or occluded portions of a previous scan, correct or substitutes inaccurate parts of a previous scan, grow or extend a preexisting 3D scan model with new or previously inexistent objects in the oral cavity, visualize differences between two scans that are distanced in time, e.g. to assess or monitor a dental treatment, or other reasons not mentioned here.

[0100] It is noted that the above-described point cloud registration methods can also be applied to related fields of endeavour in which object or 3D scene surfaces are lacking distinctive geometrical features. Indeed, the inventors have observed that the neural network can be trained on 2D camera image data that shows surfaces of apples, eggs, skin, metal arches, and the like. Therefore, it is possible to translate the above-described point cloud registration methods to applications in the food processing or packaging industry, industrial workpiece inspection, dermatology, etc.

[0101] The invention may be practiced in many ways and is not limited to the disclosed embodiments. Other variations to the disclosed embodiments can be understood and effected by those skilled in the art in practicing the claimed invention, from a study of the drawings, the disclosure and the appended claims. In the claims, the word “comprising” does not exclude other elements or steps, and the indefinite article “a” or “an” does not exclude a plurality. The mere fact that certain measures are recited in mutually different dependent claims does not indicate that a combination of these measures cannot be used to advantage. Any reference signs in the claims should not be construed as limiting the scope.

Claims

1.A three-dimensional point cloud registration method for intraoral scenes, comprising:- obtaining a plurality of point clouds and corresponding 2D camera images, associated with a plurality of different views of parts of an intraoral scene, each point cloud comprising a set of points in a view-dependent 3D coordinate space and conveying shape information with regard to objects contained in said intraoral scene, and a pixel subset of each 2D camera image being connected to the set of points of the corresponding point cloud through a camera transformation, said pixel subset defining key point locations in the 2D camera image;- identifying pixel correspondences in at least one partially overlapping image pair of the plurality of 2D camera images, using a pre-trained neural network, the pre-trained neural network being configured to accept a pair of 2D camera images as inputs and predict pixel correspondences in the pair of 2D camera images as outputs;- identifying candidate point pairs for registration in the point clouds associated with the at least one partially overlapping image pair, by restricting pixel correspondences predicted by the neural network to the respective key point locations;- registering the point clouds associated with the at least one partially overlapping image pair, by calculating a transformation matrix for aligning said point clouds based on the candidate point pairs.2.The method of claim 1, further comprising the step of receiving a scan data record for each one of the plurality of different views of parts of the intraoral scene from a 3D scanner in the context of an intraoral scan, each scan data record comprising at least said 2D camera image and surface scan information for generating the point cloud associated with the respective views.3.The method of claim 2, wherein said scan data records are received sequentially with respect to the different views of parts of the intraoral scene, and wherein the step of registering the point clouds associated with the at least one partially overlapping image pair comprises registering, in real time, a first point cloud pertaining to a first scan data record just received with a second point cloud pertaining to a second scan data record received prior to said first scan data record.4.The method of claim 2 or 3, wherein each scan data record further comprises a series of scan frames related to different structured light patterns illuminating the respective part of the intraoral scene as said surface scan information, and wherein said 2D camera image relates to a flood illumination of said part of the intraoral scene.5.The method of claim 4, wherein the step of obtaining the point cloud for each view of parts of the intraoral scene further comprises calculating the set of points comprised by the point cloud based on structured light patterns contained in the series of scan frames corresponding to that view.6.The method of any of the preceding claims, further comprising the steps of:- aligning the registered point clouds based on the transformation matrix;- merging the aligned point clouds, thus obtaining a three-dimensional digital representation of the intraoral scene.7.The method of claim 6, further comprising the step of reconstructing surfaces of objects contained in the intraoral scene, based on the merged point clouds, and optionally including color and / or texture information from the 2D camera images associated with the aligned point clouds.8.The method of claim 6 or 7, further comprising the step of rendering the three-dimensional digital representation of the intraoral scene for display on an electronic display means such as a screen, and optionally displaying the three-dimensional digital representation of the intraoral scene on the electronic display means.9.The method of any one of claims 6 to 8, further comprising the step of marking holey, missing and / or faulty regions of three-dimensional digital representation of the intraoral scene.10.The method of any one of the preceding claims, wherein the neural network comprises a first neural network module, configured to extract feature vectors with respect to a predetermined number of pixels in each one of the pair of 2D input images, and a second neural network module, configured to compare first feature vectors extracted from a first image of the pair of 2D input images to second feature vectors extracted from a second image of the pair of 2D input images and, based on a similarity measure between said first and second feature vectors, detect pixel correspondences in the first and second image.11.The method of claim 10, wherein the first neural network module is configured to extract the feature vectors with respect to key point locations in each one of the pair of 2D input images.12.The method of any one of the preceding claims, further comprising the step of iteratively refining an initial alignment of the registered point clouds.13.The method of any one of the preceding claims, further comprising the steps of:- combining a plurality of three-dimensional digital representations of intraoral scenes and a corresponding plurality of 2D camera image sets into a training dataset, each 2D camera image set comprising multiple partially overlapping image pairs representing different views of parts of a respective one of the plurality of three-dimensional digital representations of intraoral scenes;- annotating pixel correspondences in the partially overlapping image pairs of each camera set, obtained by projecting surface points of the corresponding one of the plurality of three-dimensional digital representations of intraoral scenes onto the different images of the partially overlapping image pairs of the camera set;- training the neural network based on the training dataset, using annotated pixel correspondences as ground truth.14.A computer program comprising instructions, which when the program is executed by a computer, cause the computer to perform the method of any one of claims 1 to 13.15.A data processing system comprising means for carrying out the method of any one of claims 1 to 13.

Images