Automatic identification of regions of interest in intraoral scanning system

Abstract

An intraoral scanning system (100), a method (300), and a device (800) for automatic identification of region(s) of interest in a 3D representation of an oral cavity. The method (300) comprises obtaining, using an intraoral scanner, a point cloud representing a 3D geometric surface of an oral cavity (310); identifying, based on the point cloud, at least one region of interest on the 3D geometric surface of the oral cavity (320); and displaying the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked (330).

Description

AUTOMATIC IDENTIFICATION OF REGIONS OF INTEREST IN INTRAORAL SCANNING SYSTEMFIELD

[0001] Example embodiments of the present disclosure generally relate to the field of intraoral scanning, and in particular, to an intraoral scanning system, a method, a device and a non-transitory computer-readable medium for automatic identification of regions of interest (ROI) in an intraoral scanning system.BACKGROUND

[0002] Intraoral scanning refers to the process of digitally capturing detailed three-dimensional (3D) images of the structures inside the mouth, including teeth, gums, and surrounding tissues, using specialized optical technology. Unlike traditional dental impressions, which involve the use of physical molds or trays filled with impression material, intraoral scanning provides a non-invasive and comfortable alternative for both patients and dental professionals.

[0003] During an intraoral scan, a dental professional uses a handheld device (i.e., an intraoral scanner) equipped with cameras and sensors to capture multiple images of the oral cavity from various angles. These images are transmitted to a computer station and then rapidly stitched together using sophisticated algorithms to create a 3D representation of the patient’s teeth and soft tissues, which could be visualized at the computer station and viewed by the dental professional. In addition to presenting the 3D representation to the dental professional in the form of point clouds or meshes, various workflow interactions are involved. These interactions typically require users to complete multiple mouse movements or clicks (for example, identifying teeth to be restored or scan bodies) . For dental professionals using the intraoral scanner to collect patient data, operating the mouse while wearing gloves is very inconvenient.SUMMARY

[0004] Example embodiments of the present disclosure relates to solutions for automatic identification of regions of interest (ROI) in an intraoral scanning system.

[0005] In a first aspect, there is provided an intraoral scanning system. The system comprise an intraoral scanner; and a computing device coupled to the intraoral scanner and configured to:obtain, using the intraoral scanner, a point cloud representing a three-dimensional (3D) geometric surface of an oral cavity; identify, based on the point cloud, at least one region of interest on the 3D geometric surface of the oral cavity; and display the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked.

[0006] In some embodiments of the system, the at least one region of interest may include at least one of: a tooth to be restored; dental caries; a malformed tooth; an implant sleeve; or a scan body.

[0007] In some embodiments of the system, to identify the at least one region of interest on the 3D geometric surface of the oral cavity, the computing device is configured to: assign, using a deep learning-based model, data points in the point cloud with corresponding classifications.

[0008] In some embodiments of the system, to identify the at least one region of interest on the 3D geometric surface of the oral cavity, the computing device is configured to: perform, before using the deep learning-based model, min-max normalization and mean standardization for coordinates and normal vectors of the data points in the point cloud.

[0009] In some embodiments of the system, the computing device is further configured to sample a subset of data points in the point cloud for classification.

[0010] In some embodiments of the system, to identify the at least one region of interest on the 3D geometric surface of the oral cavity, the computing device is configured to: obtain a plurality of connectivity domains based on the data points with the same classification; and filter the connectivity domains with at least one predetermined size to obtain the at least one region of interest.

[0011] In some embodiments of the system, the computing device is further configured to: augment a training dataset of the deep learning-based model by combining data points corresponding to prepared teeth or scan bodies with normal teeth data from different point cloud.

[0012] In some embodiments of the system, the computing device is further configured to: augment a training dataset of the deep learning-based model by applying at least one rotation matrix to original point cloud.

[0013] In some embodiments of the system, to display the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked, the computing device is configured to: display the 3D geometric surface of the oral cavity with at least one 3D cylinder each containing one of the at least one region of interest.

[0014] In some embodiments of the system, the computing device is further configured to: obtain, using the intraoral scanner, an enhanced 3D representation of the at least one region of interest.

[0015] In a second aspect, there is provided a method. The method comprises: obtaining, using an intraoral scanner, a point cloud representing a three-dimensional (3D) geometric surface of an oral cavity; identifying, based on the point cloud, at least one region of interest on the 3D geometric surface of the oral cavity; and displaying the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked.

[0016] In a third aspect, there is provided a device. The device comprises: a processor; and a memory storing executable instructions that, in response to execution by the processor, cause the device to at least: obtain, using an intraoral scanner, a point cloud representing a three-dimensional (3D) geometric surface of an oral cavity; identify, based on the point cloud, at least one region of interest on the 3D geometric surface of the oral cavity; and display the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked.

[0017] In a fourth aspect, there is provided non-transitory computer-readable storage medium comprising executable instructions stored therein that, in response to execution by a processor of a device, cause the device to at least: obtain, using an intraoral scanner, a point cloud representing a three-dimensional (3D) geometric surface of an oral cavity; identify, based on the point cloud, at least one region of interest on the 3D geometric surface of the oral cavity; and display the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked.

[0018] In a fifth aspect, there is provided an apparatus. The apparatus comprises means for obtaining, using an intraoral scanner, a point cloud representing a three-dimensional (3D) geometric surface of an oral cavity; means for identifying, based on the point cloud, at least one region of interest on the 3D geometric surface of the oral cavity; and means for displaying the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked.

[0019] These and other features, aspects, and advantages of the present disclosure will be apparent from a reading of the following detailed description together with the accompanying figures, which are briefly described below. The present disclosure includes any combination of two, three, four or more features or elements set forth in this disclosure, regardless of whether such features or elements are expressly combined or otherwise recited in a specific embodiment described herein. This disclosure is intended to be read holistically such that any separable features or elements of the disclosure, in any of its aspects and embodiments, should be viewed as combinable unless the context of the disclosure clearly dictates otherwise.

[0020] It will therefore be appreciated that the Summary is provided merely for purposes of summarizing some embodiments so as to provide a basic understanding of some aspects of the disclosure. Accordingly, it will be appreciated that the above described embodiments are merely examples and should not be construed to narrow the scope or spirit of the disclosure in any way. Other embodiments, aspects and advantages will become apparent from the following detailed description taken in conjunction with the accompanying figures which illustrate, by way of example, the principles of some described embodiments.BRIEF DESCRIPTION OF THE DRAWINGS

[0021] Some example embodiments will now be described with reference to the accompanying drawings, in which:

[0022] FIG. 1 illustrates an intraoral scanning system according to some example embodiments of the present disclosure;

[0023] FIG. 2 illustrates an example of graphic user interface (GUI) in which region of interest (ROI) can be marked manually;

[0024] FIG. 3 illustrates a method for automatically identifying ROI (s) on a 3D representation of an oral cavity according to some embodiments of the present disclosure;

[0025] FIG. 4 illustrates a method for identifying ROI (s) using a deep learning-based model according to some embodiments of the present disclosure;

[0026] FIG. 5 illustrates an example of GUI in which ROI (s) including teeth to be restored have been automatically identified and marked;

[0027] FIG. 6 illustrates an example of GUI in which scan bodies need to be manually identified and marked;

[0028] FIG. 7 illustrates an example of GUI in which ROI (s) including the positions of the scan bodies have been automatically identified and marked; and

[0029] FIG. 8 illustrates a device in which some embodiments of the present disclosure can be implemented.

[0030] Throughout the drawings, the same or similar reference numerals represent the same or similar elements.DETAILED DESCRIPTION

[0031] Some embodiments of the present disclosure will now be described more fully hereinafter with reference to the accompanying figures, in which some, but not all embodiments of the disclosure are shown. Indeed, various embodiments of the disclosure may be embodied in many different forms and should not be construed as limited to the embodiments set forth herein; rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the disclosure to those skilled in the art. For example, unless otherwise indicated, reference something as being a first, second or the like should not be construed to imply a particular order. Like reference numerals refer to like elements throughout.

[0032] With the increasing popularity of oral digitalization, more and more clinics use intraoral scanning to collect three-dimensional information of patients’ oral surfaces. The three-dimensional imaging process of intraoral scanning is complex. At the intraoral scanner end, it typically involves illumination, projection, image capture, and transmission, and further processing is done by a coupled computer to construct a point cloud representing three-dimensional (3D) geometric surface of the oral cavity of the patient.

[0033] FIG. 1 illustrates an intraoral scanning system 100 according to some example embodiments of the present disclosure. The intraoral scanning system 100 comprises an intraoral scanner 110 and a computing device 120 (such as a laptop, a desktop computer, and others) which are coupled together. This communication link between the intraoral scanner 110 and the computing device 120 allows the captured images and control commands to be transferred from the intraoral scanner 110 to the computing device 120 for further processing. The communication link may be implemented via a wired connection such as universal serial  bus (USB) , or a wireless connection such as wireless fidelity (Wi-Fi) . It should be understood that other communication implementations are possible.

[0034] The intraoral scanner 110 may be a handheld device that a dentist (or dental assistant) can insert into a patient’s oral cavity to capture the images. As shown, the intraoral scanner 110 includes a tip 101 and a body 102. The tip 101 may be a pluggable part or may be integrated with the intraoral scanner 100. Atop of tip 101, there is a camera or optical system 103 that captures images of the teeth and surrounding tissues like gums. Additionally, the intraoral scanner 110 may comprise one or more buttons (not shown) and the dentist may press the button (s) to control the system 100, including but not limited to, capture images of the patient’s oral cavity, start or stop scanning, select modes of the system, or control a view of 3D images of the structures in mouth.

[0035] The computing device 120 may comprise or be connected to a screen 115 for displaying a user interface such as a graphical user interface (GUI) . The GUI may include visualization of the scanned data such as 3D representation of the patient’s oral cavity, and UI elements, such as menus or icons. The dentist may interact with the UI elements to control the intraoral scanning system 100 and examine the 3D representation displayed on the screen 115. Most commonly, dentists interact with the UI elements using input devices 125 such as a mouse or keyboard connected to the computing device 120.

[0036] In addition to presenting the generated 3D representation to the dentist in the form of point cloud or mesh on the screen 115, it also involves human-computer interaction control of various workflows. These human-computer interaction controls usually require the dentist to complete them through multiple mouse movements or clicks. For example, some workflows may require the dentist to mark region (s) of interest (ROI) on the 3D representation such that further processing can be performed on the marked ROI. When the dentist use the scanner 110 to collect oral data from patients, they wear gloves, which makes it extremely inconvenient to operate the input device 125. If the workflow can be simplified and automated processing can be used instead of manual interactive control, it will simplify the workflow for the dentists and save their time.

[0037] FIG. 2 shows a restoration case in which ROI including one or more teeth to be restored are manually identified and marked. After the workflow completes the acquisition of real-time three-dimensional data, the dentist may need to first click the "Add tooth mark" button 20 on the left; then find the center of a tooth to be restored in the 3D geometric surface  and click the mouse to mark it. The dentist then slides the mouse wheel to adjust the size of the marking area so that the marking area covers the entire tooth to be restored. The dentist repeats the above operations until all teeth to be restored are marked. According to the ROI marked by the user, the computing device may refine the ROI in the subsequent processing process to obtain enhanced 3D imaging results to meet the needs of subsequent processing. The above operations involve multiple mouse clicks, movements and wheel sliding operations, which are extremely cumbersome and inconvenient.

[0038] In view of above, embodiments of the present disclosure provide solutions for automatic identification of ROI in a 3D representation of an oral cavity. According to methods proposed in this disclosure, a computing device of an intraoral scanning system obtains, using an intraoral scanner, a point cloud representing a 3D geometric surface of an oral cavity. The computing device identifies, based on the point cloud, ROI on the 3D geometric surface of the oral cavity. The computing device then displays the 3D geometric surface of the oral cavity with the ROI highlighted or marked. In this way, ROI (s) on the 3D representation of the oral cavity can be automatically identified and marked, thus avoiding the need for manual user operations and simplifying the workflow in intraoral scanning systems.

[0039] FIG. 3 illustrates a method 300 for automatically identifying ROI (s) on a 3D representation of an oral cavity according to some embodiments of the present disclosure. The method 300 may be implemented at the computing device 120 of the intraoral scanning system 100 as shown FIG. 1. For better understanding, the method 300 will be described with reference to FIG. 1.

[0040] At 310, the computing device 120 obtains, using the intraoral scanner 110, a point cloud representing a 3D geometric surface of an oral cavity. During the intraoral scanning, the dentist may use the intraoral scanner 120 to capture multiple 2D images of the inside of the mouth by moving the scanner over different area. The computing device 120 receives the 2D images from the intraoral scanner 110, stitches the images together and converts them into the point cloud representing the geometric surface model of the oral cavity. Each point cloud may include spatial coordinates (e.g., X, Y, Z coordinates in 3D space using Cartesian coordinates) , an intensity value, color information, and a normal vector. The point cloud may optionally include point density, point distribution, range data, scan position information and other additional attributes.

[0041] At 320, the computing device 120 identifies, based on the point cloud, at least one region of interest (ROI) on the 3D geometric surface of the oral cavity. In some embodiments, the computing device 120 processes the 3D point cloud to segment and identify ROI (s) in the 3D geometric surface. Depending on use cases, the ROI (s) may include one or more of a tooth to be restored, dental caries, a malformed tooth, an implant sleeve; or a scan body.

[0042] In some embodiments, the computing device may use a deep learning-based model to assign data points in the point cloud with corresponding classifications. The deep learning-based model may be trained over a training dataset to assign the data points with classifications. For example, a data point may be assigned with a value corresponding to a gum tissue, a normal tooth, a prepared tooth, a scan body, a prepared tooth, and the like. In some embodiments, the deep learning-based model may include but not limited to PointNet series, PointTransformer and Dynamic Graph Convolutional Networks.

[0043] FIG. 4 illustrates a method 400 for identifying ROI using a deep learning-based model according to some embodiments of the present disclosure. The method 400 is an example implementation of the step 320 in FIG. 3. In some embodiments, the method 400 can be performed by the computing device 120 or other devices.

[0044] At 410, data labelling is performed to generate the training dataset for the model. During the data labelling, a large amount of oral 3D point cloud data is collected, including normal, restored and implanted dental arch scan data. The 3D point cloud data which may include normal teeth, special teeth, or scan bodies, are manually annotated. Experienced dentists may use manual labeling techniques to perform semantic segmentation of the dental arch and assign the appropriate classification to each point in the point cloud. For example, labels may are assigned as follows: gum is labeled with value 0, normal tooth is labeled with value 0, scan body is labeled with value 1, and prepared tooth is labeled with value 2.

[0045] At 420, pre-processing is performed. During the pre-processing, the dental arch point cloud data may be normalized, for example, min-max normalization or mean normalization can be applied to the coordinates and normal vectors of the point cloud. Min-max normalization can scale the data to a fixed range, typically [0, 1] , while mean normalization adjusts the data to have a mean of 0 and a standard deviation of 1. This helps to eliminate the effects of differences in data scales on the network. In some embodiments, the center of the point cloud may be set as the origin to remove the effects of translation and rotation.

[0046] Since the original point cloud data may contain millions of points, a subset of data points in the point cloud may be sampled for classification In some embodiments, methods like random sampling, uniform sampling, or farthest point sampling can be used to reduce the number of points and thereby decrease computational complexity.

[0047] At 430, data augmentation is performed. The purpose of the data augmentation is to increase the data amount of the training dataset. In some embodiments, the computing device may combine data points corresponding to prepared teeth or scan bodies with normal teeth data from different point cloud. This is because the data containing prepared teeth or scan bodies is less abundant compared to normal teeth data. To balance the dataset, some point clouds of scanning bodies or prepared teeth may cropped and then transplanted onto the normal teeth data. This approach helps to increase the amount of data in the regions of interest.

[0048] In some embodiments, the computing device apply at least one rotation matrix to original point cloud to augment the training dataset. Applying the rotation matrix to each dental arch can provide the dental arch with various orientations. This enhances the robustness of the deep-learning model.

[0049] At 440, sematic segmentation is performed. After training, the deep learning model may be used to perform sematic segmentation, which can assign classifications for data points of the point cloud. In some embodiments, the deep learning model may capture different levels of geometric features through multi-scale feature extraction. Based on these features extracted from 3D point clouds, the deep learning model can accurately distinguish between different types of teeth shapes on a dental arch. By training the model with a large annotated dataset, it is enabled to identify normal teeth, prepared teeth, and scan bodies from the point cloud.

[0050] At 450, post-processing is performed. During the post-processing, the computing device may analyze the result of sematic segmentation to determine connectivity domains in the 3D point cloud. In some embodiments, the computing device may determine a plurality of connectivity domains based on the data points with the same classification (e.g., points labeled as prepared teeth or scan rods) , and then filter the connectivity domains with a predetermined size. After the size filtering, the connectivity domains that meet the size criteria can be identified as ROI (s) , e.g., prepared teeth or scan bodies, thereby identifying their exact positions.

[0051] Referring back to FIG. 3, at 330, the computing device displays the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked. For example, the computing device may highlight the ROI (s) by changing its color or adding a glow. Additionally or alternatively, the computing device may add information such as annotation (s) , label (s) , or symbol (s) around the ROI (s) to identify or describe the ROI.

[0052] In some embodiments, the computing device may display one or more 3D cylinders each containing an identified ROI. For each ROI, it firstly calculates the center of the identified ROI (e.g., prepared teeth or scan bodies) and use this center as the center of the cylinder. Then, it may measure the distance from the center to the farthest point of the ROI to determine the radius. Finally, it may render a cylinder with this radius to encompass the ROI.

[0053] In some embodiments, the computing device may obtain, using the intraoral scanner, an enhanced 3D representation of the at least one region of interest. This process may be needed depending use cases of the intraoral canning. For example, a high-resolution 3D representation of ROI may be required. To this end, the intraoral scanner may apply a different resolution parameter to capture high resolution images of the ROI, and the computing device may reconstruct the 3D representation based on the high-resolution images. Note that constructing the 3D representation is time-consuming and may lead to poor user experience if applied to the full 3D representation. Therefore, it is advantageous to obtain the high resolution representation for ROI only, such that the latency of human-machine interaction can be reduced. Other enhancements to the ROI are also possible.

[0054] FIG. 5 illustrates an example of GUI in which ROI (s) including teeth to be restored have been automatically identified and marked. FIG. 5 relates to teeth restoration cases. In FIG. 5, teeth to be restored 51 and 52 (e.g., prepared teeth) are automatically identified and heighted. Compared with FIG. 2, the dentist does not need to manually identify and mark the ROI 51 and 52.

[0055] In the teeth restoration cases, the edge clarity of the teeth for restoration is high. After obtaining the three-dimensional data of the restoration case, the dentists may need to draw the edge line according to the three-dimensional data of the teeth. If the edge of the 3D data is blurred, it will be difficult for the dentists to determine the exact edge position and draw the wrong edge line, which may eventually lead to the production of inappropriate crowns and the need for rework. This will bring unnecessary time or material costs to patients,  dentists and laboratories. Therefore, during the data collection process of restoration cases based on oral scanners, special high-definition processing is required for the teeth for restoration. The high-definition processing usually requires the dentists to mark the location of the teeth for restoration as the ROI area on the three-dimensional model after completing the basic dental arch data scanning (as shown in FIG. 2) . During the post-processing of the dental arch data, the software can use special parameters to optimize the teeth in the ROI area for the marked ROI area to ensure that the data output in this area has a higher resolution and sharper edges, so that the dentists can accurately and quickly draw the edge line when viewing the ROI area where the teeth for restoration is located.

[0056] FIGS. 6 and 7 relate to the use case of teeth implant, where FIG. 6 illustrates an example of GUI in which scan bodies 61, 62, 63, and 64 need to be manually identified and marked, and FIG. 7 illustrates the GUI in which the scan bodies have been automatically identified and marked with circles 71, 72, 73, and 74 according to some embodiments of the present disclosure.

[0057] In the implant cases, dentists typically perform two scan rounds of the patient’s dental arch. The first scan captures the original 3D data of the arch with missing teeth. After attaching the scanning bodies to the missing tooth position, the second scan is performed to obtain data with the scanning rod in place. The first scan’s data is used for morphological matching of the restoration, while the second scan’s data with the scanning rod is used for precise tooth placement.

[0058] Although two scan rounds are performed, the 3D point cloud data for most areas remains unchanged, except for the dental implant area. To avoid re-scanning the same data, the implant area is marked as the ROI after the first scan, allowing the second scan to update only this specific area.

[0059] After the first scan, the dentists need to manually mark the implant area as ROI on a work page as shown in FIG. 6, which requires multiple mouse clicks and can lead to inaccurate data updates if the marking is not precise. The proposed solutions can simplify this process by automatically identifying and marking the implant area as ROI by analyzing the 3D data of each tooth from the first scan, as shown in FIG. 7. This eliminates the need for manual marking and reduces operation time, improving accuracy and efficiency.

[0060] Embodiments of the present disclosure target performing ROI recognition directly on point cloud data of the oral cavity, which may include 3D coordinates, normal vectors,  and color information. Point cloud data offers several advantages over 2D images: it provides a more realistic and detailed representation of objects by capturing their actual 3D coordinates, is less vulnerable to lighting and texture variations, and can be scaled with additional data points for increased precision.

[0061] In some embodiments, an apparatus capable of performing the method 300 (for example, the device or apparatus 800 as described below) may comprise means for performing the respective steps of the method 300. The means may be implemented in any suitable form. For example, the means may be implemented in a circuitry or software module.

[0062] In some embodiments, the apparatus may comprise means for obtaining, using the intraoral scanner, a point cloud representing a 3D geometric surface of an oral cavity, means for identifying, based on the point cloud, at least one region of interest on the 3D geometric surface of the oral cavity; and means for displaying the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked.

[0063] FIG. 8 illustrates a device or apparatus 800 for an intraoral scanning system according to some embodiments. The device 800 may be used to implement the methods 300 and 400. In some embodiments, the device 800 may be a computing device coupled to an intraoral scanner.

[0064] As shown in FIG. 8, in some embodiments, the computing device 800 includes a processor 801 and a memory 802 coupled to the processor 801. In some examples, the processor 801 may itself include the memory 802. In some examples, the processor 801 may be a microprocessor or microcontroller unit (MCU) . The processor 801 may be composed of one or more processors alone or in combination with one or more memories. The processor is generally any piece of computer hardware that is capable of processing information such as, for example, data, computer programs and / or other suitable electronic information. The processor is composed of a collection of electronic circuits some of which may be packaged as an integrated circuit or multiple interconnected integrated circuits (an integrated circuit at times more commonly referred to as a “chip” ) . The processor may be configured to execute computer programs, which may be stored onboard the processor or otherwise stored in the memory 802 (of the same or another apparatus) .

[0065] The processor 801 may be a number of processors, a multi-core processor or some other type of processor, depending on the particular implementation. Further, the processor may be implemented using a number of heterogeneous processor systems in which a main  processor is present with one or more secondary processors on a single chip. Although the processor may be capable of executing a computer program to perform one or more functions, the processor of various examples may be capable of performing one or more functions without the aid of a computer program. In either instance, the processor may be appropriately programmed to perform functions or operations according to embodiments of the present disclosure.

[0066] In some examples, the memory 802 may be a computer-readable storage medium. The computer-readable storage medium is a non-transitory device capable of storing information, and is distinguishable from computer-readable transmission media such as electronic transitory signals capable of carrying information from one location to another. The memory 802 is generally any piece of computer hardware that is capable of storing information such as, for example, data, computer programs (e.g., computer-readable program code instructions 803) and / or other suitable information either on a temporary basis and / or a permanent basis. The memory may include volatile and / or non-volatile memory, and may be fixed or removable. Examples of suitable memory include random access memory (RAM) , read-only memory (ROM) , a hard drive, a flash memory, a thumb drive, a removable computer diskette, an optical disk, a magnetic tape or some combination of the above.

[0067] In some embodiments, the memory 802 stores computer-readable program code instructions 803. The processor 801 is configured to execute computer-readable program code instructions 803 stored in the memory 802. Execution of the program code instructions may produce a computer-implemented process such that the instructions executed by the computer, processor or other programmable apparatus provide operations for implementing functions described herein. Execution of instructions by a processor, or storage of instructions in a computer-readable storage medium, supports combinations of operations for performing the specified functions described herein. It will also be understood that one or more functions, and combinations of functions, may be implemented by special purpose hardware-based computer systems and / or processors which perform the specified functions, or combinations of special purpose hardware and program code instructions.

[0068] In some embodiments, the processor 801 is configured to execute computer-readable program code instructions 803 stored in the memory 802, such that the computing device 120 can be caused to implement the method 300.

[0069] In addition to the memory 802, the processor 801 may also be connected to one or more interfaces for displaying, transmitting and / or receiving information. The interfaces may include a communications interface (e.g., communications unit) and / or one or more user interfaces. The communications interface may be configured to transmit and / or receive information, such as to and / or from other apparatus (es) , network (s) or the like. The communications interface may be configured to transmit and / or receive information by physical (wired) and / or wireless communications links. Examples of suitable communication interfaces include a network interface controller (NIC) , wireless NIC (WNIC) or the like.

[0070] The user interfaces may include a display and / or one or more user input interfaces (e.g., input / output unit) . The display may be configured to present or otherwise display information to a user, suitable examples of which include a liquid crystal display (LCD) , light-emitting diode display (LED) , plasma display panel (PDP) or the like. The user input interfaces may be wired or wireless, and may be configured to receive information from a user into the apparatus, such as for processing, storage and / or display. Suitable examples of user input interfaces include a microphone, image or video capture device, keyboard or keypad, touch-sensitive surface (separate from or integrated into a touchscreen) , biometric sensor or the like. The user interfaces may further include one or more interfaces for communicating with peripherals such as printers, scanners or the like.

[0071] Many modifications and other embodiments of the disclosure set forth herein will come to mind to one skilled in the art to which the disclosure pertains having the benefit of the teachings presented in the foregoing description and the associated figures. Therefore, it is to be understood that the disclosure is not to be limited to the specific embodiments disclosed and that modifications and other embodiments are intended to be included within the scope of the appended claims. Moreover, although the foregoing description and the associated figures describe embodiments in the context of certain example combinations of elements and / or functions, it should be appreciated that different combinations of elements and / or functions may be provided by alternative embodiments without departing from the scope of the appended claims. In this regard, for example, different combinations of elements and / or functions than those explicitly described above are also contemplated as may be set forth in some of the appended claims. Although specific terms are employed herein, they are used in a generic and descriptive sense only and not for purposes of limitation.

Claims

1.A system comprising:an intraoral scanner; anda computing device coupled to the intraoral scanner and configured to:obtain, using the intraoral scanner, a point cloud representing a three-dimensional (3D) geometric surface of an oral cavity;identify, based on the point cloud, at least one region of interest on the 3D geometric surface of the oral cavity; anddisplay the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked.2.The system of claim 1, wherein the at least one region of interest includes at least one of:a tooth to be restored;dental caries;a malformed tooth;an implant sleeve; ora scan body.3.The system of claim 1, wherein, to identify the at least one region of interest on the 3D geometric surface of the oral cavity, the computing device is configured to:assign, using a deep learning-based model, data points in the point cloud with corresponding classifications.4.The system of claim 3, wherein, to identify the at least one region of interest on the 3D geometric surface of the oral cavity, the computing device is configured to:perform, before using the deep learning-based model, min-max normalization and mean standardization for coordinates and normal vectors of the data points in the point cloud.5.The system of claim 3 or 4, wherein the computing device is further configured to sample a subset of data points in the point cloud for classification.6.The system of any of claims 3 to 5, to identify the at least one region of interest on the 3D geometric surface of the oral cavity, the computing device is configured to:obtain a plurality of connectivity domains based on the data points with the same classification; andfilter the connectivity domains with at least one predetermined size to obtain the at least one region of interest.7.The system of any of claims 3 to 6, wherein the computing device is further configured to:augment a training dataset of the deep learning-based model by combining data points corresponding to prepared teeth or scan bodies with normal teeth data from different point cloud.8.The system of any of claims 3 to 7, wherein the computing device is further configured to:augment a training dataset of the deep learning-based model by applying at least one rotation matrix to original point cloud.9.The system of any of claims 1 to 8, wherein, to display the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked, the computing device is configured to:display the 3D geometric surface of the oral cavity with at least one 3D cylinder each containing one of the at least one region of interest.10.The system of any of claims 1 to 9, wherein the computing device is further configured to:obtain, using the intraoral scanner, an enhanced 3D representation of the at least one region of interest.11.A method comprising:obtaining, using an intraoral scanner, a point cloud representing a three-dimensional (3D) geometric surface of an oral cavity;identifying, based on the point cloud, at least one region of interest on the 3D geometric surface of the oral cavity; anddisplaying the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked.12.The method of claim 11, wherein the at least one region of interest includes at least one of:a tooth to be restored;dental caries;a malformed tooth;an implant sleeve; ora scan body.13.The method of claim 11, wherein identifying the at least one region of interest on the 3D geometric surface of the oral cavity comprises:assigning, using a deep learning-based model, data points in the point cloud with corresponding classifications.14.The method of claim 13, wherein identifying the at least one region of interest on the 3D geometric surface of the oral cavity comprises:performing, before using the deep learning-based model, min-max normalization and mean standardization for coordinates and normal vectors of the data points in the point cloud.15.The method of claim 13 or 14, further comprising:sampling a subset of data points in the point cloud for classification.16.The method of any of claims 13 to 15, wherein identifying the at least one region of interest on the 3D geometric surface of the oral cavity comprises:obtaining a plurality of connectivity domains based on the data points with the same classification; andfiltering the connectivity domains with at least one predetermined size to obtain the at least one region of interest.17.The method of any of claims 13 to 16, further comprising:augmenting a training dataset of the deep learning-based model by at least one of:combining data points corresponding to prepared teeth or scan bodies with normal teeth data from different point cloud; orapplying at least one rotation matrix to original point cloud.18.The method of any of claims 11 to 17, wherein displaying the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked comprises:displaying the 3D geometric surface of the oral cavity with at least one 3D cylinder each containing one of the at least one region of interest.19.The method of any of claims 11 to 18, further comprising:obtaining, using the intraoral scanner, an enhanced 3D representation of the at least one region of interest.20.A device, comprising:a processor; anda memory storing executable instructions that, in response to execution by the processor, cause the device to at least:obtain, using an intraoral scanner, a point cloud representing a three-dimensional (3D) geometric surface of an oral cavity;identify, based on the point cloud, at least one region of interest on the 3D geometric surface of the oral cavity; anddisplay the 3D geometric surface of the oral cavity with the at least one region of interest highlighted or marked.

Images