Coordinate registration method, device and surgical navigation system

Abstract

According to embodiments of the present disclosure, a coordinate registration method, a device and a surgical navigation system are provided. The method comprises: acquiring position information of one or more first pixels in an image coordinate system; determining a first direction in a navigation coordinate system based on first information acquired by a first sensor, wherein the first direction corresponds to the direction of the first coordinate axis in the image coordinate system; determining three-dimensional coordinates of the first number of first points in the navigation coordinate system based on second information of the target object collected by a second sensor; registering the image coordinate system with the navigation coordinate system, based on the position information of the first pixels in the image coordinate system, the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first points in the navigation coordinate system, and the first direction.

Description

COORDINATE REGISTRATION METHOD, DEVICE AND SURGICAL NAVIGATION SYSTEMTECHNICAL FIELD

[0001] The present application relates to a technical field of medical image navigation, specifically to a coordinate registration method, a coordinate registration device, and a surgical navigation system.BACKGROUND

[0002] In recent years, medical image navigation technology has been widely used and developed in the medical field. With the combination of medical image data and navigation systems, accurate navigational guidance may be provided to a surgeon to help medical processes such as disease diagnosis and treatment, surgical planning and operations.

[0003] Taking the application of medical image navigation technology in a puncture surgery as an example, in a traditional puncture surgery, a surgeon usually has to repeatedly scan image data of a patient’s surgical site using an imaging device. For example, CT images of a patient’s surgical site are collected by a computed tomography (CT) device in real-time. Based on the CT images collected in real-time, a puncture needle’s direction and depth are then manually adjusted, which is highly dependent on the surgeon’s clinical experience. Even an experienced surgeon has to use dozens of CT images to accurately complete an entire puncture. Therefore, it has many disadvantages such as inconvenient operation, time consumption, radiation exposure, possibility of errors, and dependence on experience. In existing puncture navigation, the surgeon can accurately localize a surgical site, such as lesion site, target region and important tissue, and perform precise operations by matching the image data with the actual surgery. A process of matching the image data with the actual surgery involves registering a space coordinate system of an image with an actual physical space coordinate system. However, the coordinate registration scheme is complicated in the existing puncture navigation, which requires to transfer a large number of the CT images of the patient to a special navigation device before the surgery, and to extract position information of feature points in the images based on image features by use of a special software, for coordinate registration. For registration accuracy, it is usually necessary that a CT scanning range should contain more than 3 extractable physiological feature points (e.g., nose tip, corner of eye, and bifurcation of natural cavities) . However, in some clinical applications, more than 20 physiological feature points may be required. If the extractable physiological features are insufficient within the CT scanning range, the surgeon needs to manually add marking points that are recognizable by the navigation device. Accordingly, the surgeon is also required to mark all the feature points for navigation registration in data of the patient in the physical space collected by the navigation device. Afterward, the navigation device registers the two coordinate spaces based on the coordinates of a large number of feature point pairs respectively in the two coordinate systems. After spatial registration is completed, a puncture plan developed by the surgeon using the CT images can be applied to the physical space.

[0004] An existing coordinate registration method in medical image navigation consumes large labor, arithmetic, and time costs at multiple stages, such as the collection of preoperative image data, the extraction of feature points of image data, and the acquisition of feature point positions of navigation data, which seriously affects the efficiency of the surgery.SUMMARY

[0005] To at least partially solve the problems in the prior art, according to an aspect of the present application, a coordinate registration method is provided. The method comprises:

[0006] acquiring position information of at least one of a first number of first pixels in an image coordinate system, wherein the first number is greater than or equal to 2, the first pixels are pixels in at least one sectional image collected by an imaging device, the at least one sectional image each is an image of a section of a target object, the first number of first pixels corresponds one-to-one to a first number of first points of the target object, the position of each first pixel is the imaging position of a corresponding first point in the sectional image, and in the image coordinate system, the normal vector of the section is perpendicular to a first coordinate axis in the image coordinate system;

[0007] determining a first direction in a navigation coordinate system based on first information acquired by a first sensor, wherein the first direction corresponds to the direction of the first coordinate axis in the image coordinate system;

[0008] determining three-dimensional coordinates of the first number of first points in the navigation coordinate system based on second information of the target object collected by a second sensor;

[0009] registering the image coordinate system with the navigation coordinate system, based on the position information of the at least one of the first number of first pixels in the image coordinate system, the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first number of first points in the navigation coordinate system, and the first direction.

[0010] According to another aspect of the present application, a coordinate registration device is provided. The device comprises:

[0011] an acquisition module for acquiring position information of at least one of a first number of first pixels in an image coordinate system, wherein the first number is greater than or equal to 2, and the first pixels are pixels in at least one sectional image collected by an imaging device, the at least one sectional image each is an image of a section of a target object, the first number of the first pixels corresponds one-to-one to a first number of first points of the target object, the position of each first pixel is the imaging position of a corresponding first point in the sectional image, and in the image coordinate system, the normal vector of the section is perpendicular to a first coordinate axis in the image coordinate system;

[0012] a first determination module for determining a first direction in a navigation coordinate system based on first information acquired by a first sensor, wherein the first direction corresponds to the direction of the first coordinate axis in the image coordinate system;

[0013] a second determination module for determining three-dimensional coordinates of the first number of first points in the navigation coordinate system based on second information of the target object collected by a second sensor; and

[0014] a registration module for registering the image coordinate system with the navigation coordinate system, based on the position information of the at least one of the first number of the first pixels in the image coordinate system, the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first number of first points in the navigation coordinate system, and the first direction.

[0015] According to another aspect of the present application, a surgical navigation system is provided. The system comprises a first sensor, a second sensor and a control module. The first sensor is used to acquire first information, and the second sensor is used to collect second information of a target object. The target object comprises a surgical object and / or other object having a fixed spatial relation with a surgical object. The control module is used to perform the coordinate registration method mentioned above.

[0016] According to another aspect of the present application, an electronic device is further provided. The electronic device includes a processor and a memory. Computer program instructions are stored in the memory, and the computer program instructions are used to execute the aforementioned coordinate registration method when run by the processor.

[0017] According to further another aspect of the present application, a storage medium is further provided. Program instructions are stored in the storage medium, and the program instructions are used to execute the aforementioned coordinate registration method during operation.

[0018] According to another aspect of the present application, a storage medium is further provided. Program instructions are stored on the storage medium, and the program instructions are used to execute the aforementioned coordinate registration method during operation.

[0019] As described above, the existing coordinate registration method in medical image navigation consumes large labor, arithmetic and time costs at multiple stages, such as the collection of preoperative image data, the extraction of feature points of image data, and the acquisition of feature point positions of navigation data, which seriously affects the efficiency of the surgery. For example, a typical puncture process that is completed in 10 minutes via freehand operation may be extended to 30 to 50 minutes in a navigation-assisted puncture surgery, thereby undermining the convenience that the navigation is intended to offer surgeons. In the above-described scheme of the present application, the information acquired by the first sensor may be used to quickly and accurately determine the first direction in the navigation coordinate system corresponding to the first coordinate axis in the image coordinate system, thereby quickly realizing the association and preliminary registration of the coordinate axes of the two coordinate systems. Thus, the accurate registration of the two coordinate systems may be realized only by using the three-dimensional coordinates of at most two pairs of corresponding points in the two coordinate systems. Thus, registration efficiency and accuracy are significantly improved, while registration difficulty is greatly reduced. Moreover, since the number of points for the registration is reduced, the overall labor, computational and time costs to be consumed are lower. As a result, applying the above-described coordinate registration method to surgical navigation may provide better surgical assistance. In this way, the accuracy of the navigation system for positioning the patient can be significantly improved, and it in turn can shorten the time of the surgical operations and improve the efficiency of the surgical operations. In addition, it may provide the surgeon with more accurate navigation guidance, make the surgical operations more precise and reduce traumas and risks during the operations.

[0020] A series of concepts in a simplified form are introduced in the section of Content of Invention, which will be described in further detail in the section of Specific Embodiments. It is not meant to attempt to define key features and necessary technical features of the technical solution claimed in the content section of the present application, let alone to determine the scope of protection of the technical solution claimed.

[0021] The advantages and features of the present application are described in detail below in conjunction with the figures.BRIEF DESCRIPTION OF THE DRAWINGS

[0022] The following figures as part of the present application are used herein for understanding the present application. The figures illustrating embodiments of the present application are used to explain the principles of the present application. In the figures,

[0023] FIG. 1 illustrates a schematic flowchart of a coordinate registration method according to an embodiment of the present application;

[0024] FIG. 2a illustrates a schematic diagram of a scenario for collecting at least one sectional image according to an embodiment of the present application

[0025] FIG. 2b illustrates a schematic diagram of two first points according to an embodiment of the present application;

[0026] FIG. 3 illustrates a part of a sectional image according to an embodiment of the present application;

[0027] FIG. 4a illustrates a simple schematic diagram of a first plane according to an embodiment of the present application;

[0028] FIG. 4b illustrates a simple schematic diagram of an image coordinate system and a navigation coordinate system according to an embodiment of the present application;

[0029] FIG. 5 illustrates a flowchart of a coordinate registration method in puncture surgical navigation according to an embodiment of the present application;

[0030] FIG. 6 illustrates a schematic block diagram of a coordinate registration device according to an embodiment of the present application;

[0031] FIG. 7 illustrates a schematic block diagram of a surgical navigation system according to an embodiment of the present application.DETAILED DESCRIPTION

[0032] In the following descriptions, many details are provided to enable a thorough understanding of the present application. However, it should be understood by those skilled in the art that the following description only exemplarily illustrates preferred embodiments of the present application, and that the present application may be implemented without one or more such details. In addition, to avoid confusion with the present application, some technical features that are well-known in the art are not described in detail.

[0033] As described above, the existing coordinate registration method in medical image navigation consumes large labor, arithmetic and time costs at multiple stages, such as the collection of preoperative image data, the extraction of feature points of image data, and the acquisition of feature point positions of navigation data, which seriously affects the efficiency of the surgery. For example, a typical puncture process that is completed in 10 minutes via freehand operation may be extended to 30 to 50 minutes in a navigation-assisted puncture surgery, thereby undermining the convenience that the navigation is intended to offer surgeons.

[0034] To at least partially solve the problems in the prior art, according to one aspect of the present application, a coordinate registration method is provided. The coordinate registration method can be widely applied to medical procedures requiring navigational guidance, including but not limited to image navigational guidance in diverse surgical procedures, image-assisted diagnosis, and image-navigated ultrasound. In image-assisted diagnosis, surgeons may browse and analyze medical image data in the navigation system to search for potential abnormalities and lesions, and compare these findings with the patient’s clinical manifestations to establish a definitive diagnosis. In image-navigated ultrasound, surgeons can visualize anatomical structures and lesion sites in real-time during surgical procedures by registering ultrasound images with other medical image data, thereby guiding the surgical operations and treatment processes.

[0035] FIG. 1 illustrates a schematic flowchart of a coordinate registration method 100 according to an embodiment of the present application. As shown in Figure 1, the method 100 comprises step S120, step S140, step S160, and step S180.

[0036] At step S120, position information of at least one of a first number of first pixels in an image coordinate system is acquired. The first number is greater than or equal to 2. The first pixels are pixels in at least one sectional image collected by an imaging device. Each sectional image is an image of a section of a target object. The first number of first pixels corresponds one-to-one to a first number of first points of the target object. The position of each first pixel is the imaging position of a corresponding first point in the sectional image. In the image coordinate system, the normal vector of the section is perpendicular to a first coordinate axis in the image coordinate system.

[0037] In the embodiments of the present application, the target object may be any suitable object expected to undergo medical operations, such as a human or body part thereof, an animal or body part thereof. In some examples, the target object may also include other object with a spatial relation to the object expected to undergo medical operations. The medical operations may include physical examination, diagnosis, surgery, or treatment. The target object is, for example, a human body undergoing a puncture surgery (hereinafter referred to as a surgical object) , or, the target object may also include other object with a spatial relation to the surgical object, such as a marker drawn, pasted, or attached onto a surface of the human body, and a marker inside the human body (e.g., positioning marker nailed into a bone) .

[0038] The imaging device may be any device that can obtain the human body’s cross-sectional image, including but not limited to, an X-ray device, a computed tomography (CT) device, a magnetic resonance imaging (MRI) device, an ultrasound device, a magnetic resonance imaging (MRI-MRS) device, a positron emission computed tomography (PET-CT) device. For the sake of simplicity, the following is expanded with the example of the CT device.

[0039] The at least one section each is a cross-section of the surgical object, such as a cross-section, a coronal section, a sagittal section, or a cross-section in any other direction. In some embodiments including some sections, the sections may be parallel. For example, each section is a horizontal cross-section of the human body or is a section at an angle to the horizontal cross-section of the human body. The at least one section may comprise one section or multiple sections. Accordingly, the number of sectional images may be one or more. For example, before the surgical object undergoes the puncture process, the surgeon may utilize the CT device to continuously collect the CT images of multiple sections along and within the extent of the surgical site of the surgical object to serve as the at least one sectional image. Or, in some examples, the at least one sectional image may also be selected from pre-scanned CT images of the multiple sections by the surgeon. For example, in general, a puncture site and a puncture target point are on the same section of the body, and thus the surgeon may only select the image of the section in which the optimal puncture site and puncture target point are located from the CT images of the scanned multiple sections to serve as the at least one sectional image.

[0040] It is to be noted that, in the embodiments of the present application, the first pixels each may be a specific pixel in the sectional image or a virtual reference point in part of the image region, such as a geometrical center or physical gravity center of a specific region, determined by processing the sectional image according to an image processing method such as image segmentation.

[0041] The first number may be any number greater than or equal to 2. For example, the first number is 2, 3, 4, etc. For the sake of simplicity, the following is expanded with the example of the first number being 2.

[0042] Exemplarily, the first number of first points may be on the body surface of the surgical object. In the example that the first number is 2, optionally, two first points may be in the same section (corresponding to the imaging device’s scanning section) of the surgical object. In such examples, two first pixels may be in the same sectional image. For example, the two first pixels are in the single image selected by the surgeon from multiple original CT scan images, as mentioned above. Alternatively, the two first points may be in different sections. In such examples, the two first pixels may be in different sectional images. In the embodiment of the present application, the two first points may include physiological feature points on the body surface of the surgical object, or may include marking points, or may include points in a marking line on the body surface of the surgical object.

[0043] At this step, the number of first pixels to be acquired may be determined based on the relation of the selected first pixels to the section. The position information of only one first pixel may be acquired, or the position information of multiple first pixels in the first number of first pixels may be acquired. As an example, the first number is 2. In some cases, for example, when the two first pixels are in the same sectional image, the position information of any one of the two first pixels may be acquired. In other cases, for example, when the two first pixels are in different sectional images, the position information of the two first pixels may be acquired. For the case where the first number is 3, the position information of 1, 2 or 3 first pixels may be acquired at this step.

[0044] The position information of the first pixel in the image coordinate system may be absolute position information or relative position information. For example, the position information of the first pixel in the image coordinate system may be the three-dimensional coordinates of the pixel point in the image coordinate system. For another example, the position information of the first pixel in the image coordinate system may be a distance between the pixel point and any other pixel point, an angle of the pixel point to a coordinate axis, etc. in the image coordinate system.

[0045] Any suitable methods may be used to acquire the position information of the first pixel in the image coordinate system. Optionally, a user interface may be provided for a user to input the position information of the first pixels in the image coordinate system. Optionally, at least one sectional image (which may, for example, be input by a user via a user interface) may also be acquired, and the positions of the first pixels in the sectional image may be automatically determined by use of any suitable image processing algorithm, thereby determining the position information of the first pixel in the image coordinate system. Alternatively, after the sectional image is collected, the first pixels in the sectional image may also be determined by the user’s human-computer interaction operations, thereby determining the position information of the first pixel in the image coordinate system.

[0046] The image coordinate system may be a space coordinate system of the imaging device. The first coordinate axis in the image coordinate system may be any one of an X-axis, a Y-axis, and a Z-axis. The normal vector of scanning section of the imaging device is perpendicular to the first coordinate axis. In some examples, the normal vector of scanning section of the imaging device may also be perpendicular to another coordinate axis at the same time.

[0047] FIG. 2a illustrates a schematic diagram of a scenario for collecting at least one sectional image according to an embodiment of the present application. As shown in FIG. 2a, the imaging device may be a CT device, the surgical object may lie supine on a horizontal table, and the scanning section of the CT device may be perpendicular to a horizontal plane. The first coordinate axis in the image coordinate system is the Y-axis which may be opposite to gravity direction, and the scanning section may be parallel to an XOY plane where the X-axis and the Y-axis are. It should be understood that in the example where the scanning section corresponds to a horizontal cross-section of the human body, the direction of the Z-axis in the image coordinate system may correspond to a head-to-foot extension direction of the surgical object.

[0048] FIG. 2b illustrates a schematic diagram of two first points according to an embodiment of the present application. As shown in FIG. 2b, two first points (point A and point B in the figure) may be any two points on the body surface of the target site, and the two first points may fall in the same scanning section of the CT device in the physical space (e.g., parallel to the XOY plane illustrated in FIG. 2a) , whereby two first pixels may be in the same sectional image and have an equal z-coordinate in the image coordinate system. Taking the surgical object being a patient undergoing a puncture process as an example, the point A may also be a puncture site on the patient’s skin surface, and the point B may be an intersection point of a marker (such as a metal wire) affixed to the patient’s skin surface and the current scanning section. Exemplarily, point T may be a puncture target point in the same scanning section where the point A and the point B are.

[0049] At step S140, a first direction in the navigation coordinate system is determined based on first information acquired by a first sensor. The first direction corresponds to the direction of the first coordinate axis in the image coordinate system.

[0050] The first sensor may be any suitable sensor that may acquire the physical space’s direction information.

[0051] In one example, the first sensor may be a sensor capable of recognizing the gravity direction in the physical space, including but not limited to an inertial measurement unit (IMU) . Specifically, determining the first direction in the navigation coordinate system in step S140 includes step S141a and step S142a. At step S141a, based on the first information acquired by the first sensor, the gravity direction is determined. Exemplarily and unlimitedly, the first sensor includes an inertial measurement unit. At step S142a, based on the gravity direction, the first direction is determined. The first direction may be the same as the gravity direction, or opposite to the gravity direction (at an angle of 180°) , or perpendicular to the gravity direction. Of course, in some examples, the first direction may also be at other predetermined angles to the gravity direction.

[0052] The following is expanded on specific embodiments of step S141a and step S142a with the example of the first sensor being an IMU and the first direction being opposite to the gravity direction.

[0053] The IMU may be configured to be inside a navigation device. For example, it may be mounted directly onto a surgical tool or surgical instrument. Or, the IMU may be mounted onto an external device of the navigation system. For example, the IMU may be disposed in a handle, a positioning frame, or a sensor (e.g., an ultrasound probe, a vision sensor, etc. ) , and also in AR glasses or a helmet worn by the surgeon. The IMU usually comprises three parts: an accelerometer, a magnetometer, and a gyroscope. The accelerometer measures of an object’s acceleration, including gravity acceleration. When the navigation device is stationary, the accelerometer may measure gravity acceleration to which the object is subjected. The gravity acceleration points to the Earth’s gravity center, and therefore the information related to the gravity direction may be acquired by measuring the accelerometer’s output signal. The gyroscope measures the object’s rotational velocity, including the angular velocity of the object’s rotation about each axis. Since gravity has no rotational effect on the object, the output signal of the gyroscope on the axis perpendicular to the gravity direction is usually close to zero. With the comparison of the output signals of the gyroscope on different axes, the direction of the navigation device relative to gravity direction can be inferred. Comprehensive use of the output signals from the accelerometer and the gyroscope, the vector of the gravity direction can be calculated. Combined with the data from the magnetometer, the calculated gravity direction may be further accurately corrected. Ultimately, an upward direction (adirection opposite to the gravity direction) in real-world space can be accurately detected.

[0054] The navigation coordinate system may be a physical coordinate system, also called as world coordinate system, and the first direction (such as a direction opposite to the gravity direction) may be a direction of a certain coordinate axis in the navigation coordinate system. For example, the first direction is a direction of a first coordinate axis in the navigation coordinate system, such as the Y-axis direction. Since the first direction also corresponds to the direction of the first coordinate axis in the image coordinate system, the image coordinate system and the navigation coordinate system can be associated quickly and accurately, thereby greatly simplifying the registration process between the two coordinate systems. Of course, in some examples, the first direction may also be an X-axis direction or a Z-axis direction in the navigation coordinate system.

[0055] It will be appreciated that the gravity direction may be quickly and accurately determined using the information collected by the inertial measurement unit, and thus a direction in the navigation coordinate system that corresponds to the direction of the first coordinate axis in the image coordinate system can be quickly determined. The image coordinate system and the navigation coordinate system can be associated quickly and accurately, thereby greatly simplifying the registration process between the two coordinate systems. Moreover, computational load and computational complexity can be lower in this scheme, thereby improving the overall registration efficiency.

[0056] In another example, the first sensor may be a vision sensor capable of recognizing visual information (e.g., an optical pattern) in the physical space, including but not limited to any suitable monocular camera or binocular camera. The camera may be an RGB camera or an infrared camera. Determining the first direction in the navigation coordinate system in step S140 may include step S141b and step S142b. At step S141b, based on image information of a reference object around the target object collected by the vision sensor, a reference direction is determined. At step S142b, based on the reference direction, the first direction is determined. The reference object comprises a reference plane with a specific marker, and the reference plane is at a predetermined angle to the reference direction.

[0057] The specific marker may be any suitable marker with a recognizable visual feature, including but not limited to a graphical code, such as a bar code and a QR code, and a pattern with specific color or shape. The reference object may be a planar reference object or a three-dimensional reference object, such as a polyhedron. The planar reference object has a reference plane including the specific marker described above. The three-dimensional reference object may have multiple planes. One or more of these planes may serve as the reference plane with the specific marker. The reference direction may be at a predetermined angle (e.g. 0°, 45°, 90°, 180°, etc. ) to the reference plane. The first direction may be the upward or downward direction perpendicular to the ground.

[0058] For example, a specific calibration pattern (e.g., a QR code) may be posted or printed on a horizontal surface (e.g., a floor, a countertop, a bed surface, etc. ) or a vertical surface (e.g., a wall perpendicular to the floor) within the physical space where the imaging device is located. Or, a three-dimensional calibration plate, which may be, for example, a cube calibration plate, may be placed on the horizontal surface. The calibration plate has different patterns on 6 sides thereof. In this way, the reference direction may be determined with an image processing method, such as image segmentation, plane fitting or straight-line fitting, feature extraction, etc., on the basis of the image of the reference object having the specific marker collected by the camera in the navigation device. For different reference objects, different methods may be used to determine the reference direction. For example, the reference direction is an upward direction perpendicular to the ground, and the reference object is a QR code marker located on the ground in the space where the CT device is located. At step S141b, the camera may be utilized to collect the image of the ground. A plane equation of the plane where the ground is located is fitted, after a specific QR code in the image of the ground is recognized, thereby determining the reference direction perpendicular to the ground based on the normal vector of the fitted plane. At step S142b, the first direction may be further determined based on the reference direction. Optionally, the reference direction may be directly determined as the first direction. For example, if the reference direction determined at step S141b is the upward direction perpendicular to the ground, the reference direction may be directly determined as the first direction. Alternatively, a direction at an angle to the reference direction may also be determined as the first direction. For example, if the reference direction determined at step S141b is a downward direction perpendicular to the ground, a direction opposite to the reference direction may be determined as the first direction.

[0059] Specifically, the first direction may be a direction of any or a specific coordinate axis in the navigation coordinate system, or may also be a direction at a predetermined angle (e.g., a 45°angle, a 90° angle, etc. ) to any coordinate axis. Preferably, the first direction may be a direction of any coordinate axis in the navigation coordinate system. Further, the first direction may be the direction of the first coordinate axis in the navigation coordinate system. For example, if the first coordinate axis in the image coordinate system is the Y-axis as described above, the first direction may be the direction of the Y-axis in the navigation coordinate system.

[0060] It will be appreciated that since the first direction corresponds to the direction of the first coordinate axis in the image coordinate system, a preliminary association relation between the image coordinate system and the navigation coordinate system can be established by determining the first direction of the navigation coordinate system based on the first information acquired by the first sensor. For example, in the example where the first direction is the direction of the first coordinate axis in the navigation coordinate system, the Y-axis directions of the two coordinate systems can be accurately aligned, thereby greatly simplifying the registration of the coordinate systems.

[0061] In the above-described scheme, the vision sensor collects the images of the reference object around the target object, and the first direction of the navigation coordinate system is determined by the image processing method. This scheme may be applicable to coordinate registration in a variety of scenarios. For example, in some cases, the scanning plane of the imaging device may not be exactly parallel to the gravity direction due to environmental conditions, and therefore, the reference object having the reference plane parallel to the scan plane may be provided around the imaging device. In this way, the navigation coordinate system can be established to be precisely associated with the image coordinate system by processing the images of the reference object collected by the vision sensor.

[0062] In one example, a complete navigation coordinate system may be established directly based on the information acquired by the first sensor. For example, the first sensor is a vision sensor, and the reference object is a three-dimensional calibration plate (e.g., a cube calibration plate with different patterns on different planes) placed on the horizontal plane. The image of the calibration plate collected by the vision sensor may be used to establish the complete navigation coordinate system, for example, to determine the coordinate origin and the directions of the three coordinate axes of the navigation coordinate system, by means of image segmentation, planar fitting, and feature extraction, etc. In another example, the first direction of the navigation coordinate system may be determined based on only the information acquired by the first sensor. For example, the first sensor is an inertial measurement unit. The gravity direction may be determined based on the information acquired by the inertial measurement unit, and the gravity direction then may be determined as the Y-axis direction of the navigation coordinate system. Afterward, the information acquired by any other sensor may be fused at the subsequent steps to establish the complete navigation coordinate system.

[0063] At step S160, based on second information of the target object collected by a second sensor, the three-dimensional coordinates of the first number of first points in the navigation coordinate system are determined.

[0064] According to the embodiment of the present application, the second sensor and the first sensor may be the same sensor. Or, the second sensor and the first sensor may be different sensors.

[0065] In one example, the second sensor may be any suitable vision sensor. Exemplarily, the vision sensor may be a monocular RGB camera or a binocular camera, or may be a depth camera. The second information collected by the vision sensor may be an image including the first points. In the image, the imaging region of the first points may have specific image features. Optionally, the first number of first points may be marked on the surface of the target object by using any suitable visual markers (e.g., markers with specific shapes, colors or materials) . For example, the first number of first points may be marked with cross markers of different colors. As another example, a laser line may be utilized to mark a line connecting the first number of first points, and at least one of the first number of first points may be marked with a metal wire or other specific marker perpendicular to the laser line. Thus in the image of the target object collected by the second sensor, the first points have marking features. Alternatively, the first number of first points may also be physiological feature points on the body surface of the surgical object, such as the tip of the nose, the nipples, the navel, etc. In another example, the second sensor may be an electromagnetic sensor. For example, magnetic markers may be used to mark the positions of the first number of first points on the surface of the target object. The second information collected by the electromagnetic sensor may be the positional and orientation information of the magnetic markers.

[0066] At this step, any suitable method may be used to determine the three-dimensional coordinates of the first number of first points in the navigational coordinate system based on the second information of the target object collected by the second sensor.

[0067] For example, the three-dimensional coordinates of the first number of first points in the navigation coordinate system may be determined based on an image for the optical marking region collected by the vision sensor, and a relation between the vision sensor and the navigation coordinate system. Specific examples of this scheme are described hereinafter and not repeated herein for brevity.

[0068] In a specific example, the navigational coordinate system may be associated with the first direction determined by the first sensor. The first direction determined by the first information acquired by the first sensor and the second information collected by the second sensor may be combined to determine the three-dimensional coordinates of the first number of first points in the navigational coordinate system.

[0069] In the case where the second sensor is a vision sensor, the first information acquired by the first sensor and the image information collected by the camera may be fused by any suitable means to determine the three-dimensional coordinates of the first number of first points in the navigation coordinate system.

[0070] For example, in the example of the first sensor being also a vision sensor, the first sensor and the second sensor may be the same one, such as a camera. Or, the first sensor and the second sensor may be different cameras. As described above, the vision sensor may use the collected image of the three-dimensional calibration plate around the surgical object to establish the complete navigation coordinate system. At this step, the image of the three-dimensional calibration plate and the image of the target object may be fused so that the image of the target object can be placed in the navigation coordinate system, thereby determining the three-dimensional coordinates of the first points in the target object in the navigation coordinate system.

[0071] As described above, in the example of the first sensor being an IMU, the navigation coordinate system may be a physical coordinate system, also called as world coordinate system. The first direction may be a direction opposite to the gravity direction, and be a direction of a certain axis (e.g., the Y-axis) in the navigation coordinate system. At this step, the data of the IMU and the image of the target object collected by the vision sensor may be fused to establish a complete navigation coordinate system with the first direction being the Y-axis direction. For example, in the case where a laser beam corresponding to the CT scanning section is projected on the skin surface of the surgical object, a second direction is determined using the image for the target object collected by the vision sensor and based on the projection direction of the laser beam in the image. Further, the complete navigation coordinate system may be established by fusing the data of the IMU and the image of the target object, with a certain point being the origin, the first direction being the Y-axis direction and the second direction being the X-axis direction, thereby determining the three-dimensional coordinates of the first points in the target object in the navigation coordinate system.

[0072] Any suitable methods may be used to determine the three-dimensional coordinates of the first points in the target object in the navigation coordinate system. The second information collected by the second sensor may be one or more images of the surgical site. In the collected one or more images of the first points, the pixel region corresponding to the first points may have a specific feature. Thus, the pixels that represent the first points may be determined in the images by means of image feature extraction, and then, the positions of these pixels may be further determined in the navigation coordinate system. Alternatively, the three-dimensional coordinates of the first points in the target object in the navigation coordinate system may also be determined based on human-computer interaction operations. For example, a user interface may be provided for displaying the image of the target object. Moreover, in response to the user operation for selecting the pixels in the image with an input device, the three-dimensional coordinates of the first points in the navigation coordinate system can be determined.

[0073] At step S180, the image coordinate system is registered with the navigation coordinate system, based on the position information of the at least one of the first number of first pixels in the image coordinate system, the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first number of first points in the navigation coordinate system, and the first direction.

[0074] Exemplarily, the registration of the image coordinate system with the navigation coordinate system may be a process for determining a transformation relation between the image coordinate system and the navigation coordinate system. Specifically, a position transformation law of a rigid body in three-dimensional space may be utilized to solve for a transformation matrix between the image coordinate system and the navigation coordinate system, based on the position information of at least one of the first number of first pixels in the image coordinate system, the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first number of first points in the navigation coordinate system, and the first direction. The transformation matrix may include a rotation matrix and a translation matrix (also called as translation vector) .

[0075] As an example, the position information of at least one of the first number of first pixels in the image coordinate system comprises three-dimensional coordinates thereof. As mentioned above, the first number of first pixels may be in the same sectional image or different sectional images. It should be understood that whether the first number of first pixels are in the same sectional image or not, the transformation matrix between the image coordinate system and the navigation coordinate system may be solved for, in the case of the first coordinate axis in the image coordinate system corresponding to the first direction of the navigation coordinate system, by any suitable means and by combining the relation between the first coordinate axis and the first direction as well as the three-dimensional coordinates of two pairs of the corresponding points (the first number of first points) in two coordinate systems. The present application is not limited in this regard. Exemplarily, in the case where the first number of first pixels are in the same sectional image, since the normal vector of the section is perpendicular to the Y-axis, an equation of the plane passing through the first number of first points and having a normal vector perpendicular to the first direction may be determined in the navigational coordinate system. As the first direction corresponds to the Y-axis in the image coordinate system, the rotation matrix between the two coordinate systems may be determined based on the determined plane equation and an section equation of the section where any one of the first number of first pixels in the image coordinate system is located. And the translation matrix between the two coordinate systems may be determined based on the coordinates of any pair of corresponding points of the two coordinate systems.

[0076] In some examples, the registration of the image coordinate system with the navigation coordinate system may also be a process of solving for the three-dimensional coordinates of a point in the navigation coordinate system corresponding to a known position point in the image coordinate system. That is, instead of solving for the transformation relation of the two coordinate systems, the position in the navigation coordinate system of a point of interest may be directly solved for based on the position of the point in the image coordinate system. For example, the known point may be a surgical target point inside the surgical object. The three-dimensional coordinates of the surgical target point in the navigation coordinate system may also be determined, based on a relative positional relation between a pixel corresponding to the surgical target point and any of the first pixels in the image coordinate system, as well as the three-dimensional coordinates of the first number of first points in the navigation coordinate system. Specific examples of this scheme are described hereinafter and not repeated herein for brevity.

[0077] It should be understood that, both translation and rotation usually need to be considered during the registration of two three-dimensional coordinate systems. That is, it is needed to solve for a rotation matrix and a translation vector between the two three-dimensional coordinate systems. The translation vector has 3 freedom degrees (translation in x, y, and z directions) and the rotation matrix also has 3 freedom degrees (rotation around x, y, and z axes) , 6 freedom degrees in total. Each pair of coordinate points may provide two solution equations, thus at least three pairs of points are needed to solve for the rotation matrix and the translation vector between the two three-dimensional coordinate systems. Moreover, the coordinate registration requires higher accuracy and robustness in the medical image navigation, and the coordinate registration in the prior art is usually achieved by determining far more than 3 pairs of corresponding points. At multiple stages for the collection of preoperative image data in the prior art, the extraction of feature points of image data, and the acquisition of feature point positions of navigation data, not only large labor and arithmetic costs, but also time costs are consumed, which seriously affects the efficiency of the surgery. For example, a typical puncture process that is completed in 10 minutes via freehand operation may be extended to 30 to 50 minutes in a navigation-assisted puncture surgery, thereby undermining the convenience that the navigation is intended to offer surgeons.

[0078] In the above-described scheme of the present application, the information acquired by the first sensor may be used to quickly and accurately determine the first direction in the navigation coordinate system corresponding to the first coordinate axis in the image coordinate system, thereby quickly realizing the association and preliminary registration of the coordinate axes of the two coordinate systems. Thus, in principle, the accurate registration of the two coordinate systems may be realized only by using the three-dimensional coordinates of at most two pairs of corresponding points in the two coordinate systems. Thus, registration efficiency and accuracy are significantly improved, while registration difficulty is greatly reduced. In this scheme, since the number of points for the registration is reduced, the overall labor, computational and time costs to be consumed are lower. For the scheme of registration using the three-dimensional coordinates of more than two pairs of corresponding points, it is apparent that registration accuracy is higher than that of the prior art because the association and preliminary registration of the coordinate axes of the two coordinate systems may be achieved according to the first direction. As a result, applying the above-described coordinate registration method to surgical navigation may provide better surgical assistance. In this way, the accuracy of the navigation system for positioning the patient can be significantly improved, and it in turn can shorten the time of the surgical operations and improve the efficiency of the surgical operations. Moreover, it may provide the surgeon with more accurate navigation guidance, make the surgical operations more precise and reduce traumas and risks during the operations.

[0079] Exemplarily, the first points are located within an optical marking region on the surface of the target object, and the second sensor is a vision sensor. Determining the three-dimensional coordinates of the first number of first points in the navigation coordinate system in step S160 comprises: determining the three-dimensional coordinates of the first number of first points in the navigation coordinate system, based on the image for the optical marking region collected by the vision sensor as well as the relation between the vision sensor and the navigation coordinate system.

[0080] For example, an optical marker may be projected on the body surface of the surgical object. The vision sensor may be utilized to collect the image of the optical marking region. The image processing method then may be used to determine the coordinates of feature position points (i.e., the first points) in the optical marking region in the image coordinate system. The optical marking region is, for example, a cross laser region, and one of the first points is, for example, the center point of the cross laser region. There may be a known predetermined relation between the vision sensor and the navigation coordinate system. The predetermined relation may be a transformation relation from the image coordinate system to the navigation coordinate system. At this step, the predetermined relation may be used to transform the image coordinates of the center point of the cross laser region to the three-dimensional coordinates of the first point in the navigation coordinate system.

[0081] In the above scheme, the three-dimensional coordinates of the first points in the optical marking region in the navigation coordinate system can be determined better in real-time by the vision sensor, which helps to improve the efficiency of the registration.

[0082] Exemplarily, the target object is a puncture object and / or other object having a fixed spatial relation to the puncture object. For example, the target object further comprises an optical marker projected on the body surface of the puncture object. The first number is equal to 2. The two first points include a puncture site corresponding to a specific first pixel of the two first pixels. The method 100 further comprises step S111 to step S116.

[0083] At step S111, at least one sectional image is acquired. In the case where the imaging device is a CT device, at this step, the CT images of the surgical object that have been scanned in advance utilizing the CT device may be input into the navigation device.

[0084] At step S112, a user interface is provided for displaying the at least one sectional image.

[0085] Exemplarily, the navigation device may be connected with any suitable display device and input device (e.g., a mouse, a keyboard, and a touch screen) . For example, the navigation device may be connected with a touch screen. At this step, in response to the user’s operation on a touch button of the touch screen, the user interface is displayed. The collected CT images of the surgical object may be displayed in the user interface. For the case where the CT image is only one section’s image, for example, where the puncture site and the puncture target point are in the same section, the CT image of the section where the puncture site and the puncture target point are located may be displayed in the user interface. For the case where the CT images are multiple sections’ images, the CT images may be displayed one by one or simultaneously by any suitable display way. For example, in response to the user’s touch operation, all CT images in a three-dimensional image space may be displayed simultaneously, i.e., displayed from a three-dimensional perspective. Also, in response to the user’s touch operation, the CT image of one section is selected and displayed, i.e., the CT image is displayed from a two-dimensional perspective. Exemplarily, position information of the CT image of the corresponding section in the image coordinate system may also display in the user interface. For example, the position of the coordinate origin and the directions of the coordinate axes may be displayed from a three-dimensional perspective, the coordinate information of the section corresponding to the CT image selected by the user may also be displayed, and the three-dimensional coordinates of the current pixel in the image coordinate system may also be displayed in response to the user’s clicking operation on any pixel in each CT image.

[0086] At step S113, in response to the user’s operation on the user interface, the three-dimensional coordinates of the specific first pixel and a third pixel in the at least one sectional image, respectively, in the image coordinate system are determined. The third pixel corresponds to the puncture target point. In the above example of the user interface being a display interface on the touch screen, in response to the user’s touch operation on the touch screen, the three-dimensional coordinates of the specific first pixel and the third pixel in the at least one sectional image, respectively, in the image coordinate system may be determined. In another example, the display device may also be a computer monitor, and the input device may also be a mouse, a keyboard, etc. For example, the user may select the specific first pixel corresponding to the puncture site and the third pixel corresponding to the puncture target point by using a mouse to click or double-click on the pixel at any position of the CT image displayed on the monitor. Specifically, to make a puncture plan, the surgeon may observe each CT image displayed on the monitor before performing the puncture surgery, to determine the corresponding positions of the puncture site (aposition point on the patient’s body surface) and the puncture target point (e.g., the center of a tumor region or nodal region in the patient’s body) in the CT images. For example, after the surgeon selects and sets the puncture site (the specific first pixel) and the puncture target point (the third pixel) in the CT images, the three-dimensional coordinates of the specific first pixel and the third pixel in the image coordinate system may be acquired. Typically, the puncture site and the puncture target point are in the CT image of the same section so that the surgeon can select the specific first pixel and the third pixel in the same sectional image. FIG. 3 illustrates a part of a sectional image according to an embodiment of the present application. As shown, the sectional image may be the image of one section of the surgical object’s surgical site scanned by the CT device. The image may include the specific first pixel (the point A in the figure) and the third pixel (the point T in the figure) corresponding to the puncture site and the puncture target point, respectively, selected by the surgeon. After the user selects the specific first pixel and the third pixel, the navigation device may read the three-dimensional coordinates of these two pixels in the image coordinate system. Typically, the pixels in the image of the same section in the image coordinate system have same coordinate components along a certain axis. For example, the pixels in FIG. 3 have same z-coordinates in the image coordinate system, and thus the determined specific first pixel and third pixel in this example have same z-coordinates in the image coordinate system. In other examples, the puncture site and the puncture target point may also be in different sectional images, such that the user may select two different sectional images and further select the specific first pixel and the third pixel by performing human-computer interaction operations on the two sectional images, respectively, and thus the navigation device may read the three-dimensional coordinates of the two pixels in the image coordinate system. It should be understood that the specific first pixel and the third pixel in the image coordinate system may have different z-coordinates in this example.

[0087] At step S114, based on the three-dimensional coordinates of the specific first pixel and the third pixel in the image coordinate system, a second plane is determined. In the image coordinate system, two first pixels and the third pixel are in the second plane, the normal vector of the second plane is perpendicular to the first coordinate axis in the image coordinate system. In the example of the first coordinate axis being the Y-axis, the second plane determined at this step may be a plane through the corresponding position points (the specific first pixel and the third pixel, i.e., the puncture site and the puncture target point) in the image coordinate system. Moreover, the plane is parallel to or passes through the Y-axis. Referring again to FIG. 3, since the normal vector of the section is perpendicular to the Y-axis, for the case where the specific first pixel and the third pixel are in the same sectional image, the determined second plane is the section in the image coordinate system, where the two pixels are located. For the case where the specific first pixel and the third pixel are in different sectional images, the determined second plane is at an angle to each section where the two pixels are located respectively. If the second plane is rotated by a corresponding angle around the Y-axis, the rotated second plane may be parallel to each of the sections.

[0088] At step S115, based on the second plane and a first selecting rule, an edge pixel in the at least one sectional image is determined as the other first pixel in addition to the specific first pixel. A point corresponding to the edge pixel is on the skin surface of the surgical object and the other first pixel is in the second plane.

[0089] At this step, a pixel in the CT image that corresponds to a point (e.g., the point B) on the body surface of the surgical object is acquired based on the second plane. The first selecting rule may be any suitable automatic selecting rule, and the present application is not limited thereto. This step is achieved by any suitable image processing algorithm. Exemplarily, edge pixels in each CT image may first be extracted by a method such as image segmentation or edge detection. Then, intersection pixels between the CT image and the second plane may be further determined from the edge pixels. Further, a pixel may be selected from the intersection pixels to serve as the other first pixel based on predetermined requirements. In one example, the pixel satisfying the predetermined requirements may be a pixel with a pixel value greater than a pixel threshold. For example, marker, such as one or more metal wires, may be affixed to the skin surface of the site of the surgical object to be punctured to assist with positioning. It should be understood that metallic materials have a high absorption for X-rays, which results in a noticeable bright white artifact in the region of the CT image where the one or more metal wires are located. Therefore, a suitable pixel threshold may be set according to imaging features of the one or more metal wires. For example, the CT image is a grey-scale image, and the pixel threshold may be 240. It should be understood that for the case where the specific first pixel and the third pixel are in the same sectional image, the second plane may intersect each metal wire at one point. For example, referring to FIG. 3, where there is only one metal wire, a small number of pixels corresponding to the metal wire may be selected from the sectional image with the method described above, and a unique pixel (the point B in the figure) may be determined as the other first pixel with a method such as solving for the mean or median of pixel positions. For the case where there are multiple metal wires, multiple pixel regions having small areas and corresponding to the multiple metal wires may be selected from the sectional image. Further, one pixel region may be selected from the multiple pixel regions in accordance with a random selection rule or a specific selecting rule (e.g., selecting a pixel region that is closest to the Y-axis) , thereby determining the position of the other first pixel. Of course, in some examples, the other first pixel may also be determined according to human-computer interaction operations. For example, after determining the second plane, from the edge pixels, the intersection pixels (e.g., these intersection pixels are highlighted) between the second plane and each sectional image may also be marked in each sectional image displayed in the user interface. The user selects one pixel from these intersection pixels to serve as the other first pixel. In another example, the other first pixel may also be a pixel corresponding to a physiological feature point of the surgical object, such as a nipple, the tip of nose, etc. At this step, the pixel corresponding to the physiological feature point may also be selected from the pixels that are both the edge pixels and the intersection pixels between the sectional image and the second plane to serve as the other first pixel by various suitable methods. A person skilled in the art is able to understand various embodiments of the scheme, and no further details are given herein for the sake of brevity.

[0090] At step S116, the position of a first section in the image coordinate system is displayed on the user interface, such that the user may control the imaging device to emit a marked light signal representing the first section to the skin surface of the surgical object. The other first pixel is located on the first section.

[0091] For example, referring again to FIG. 3, the z-coordinate of the section where the point B is located in the image coordinate system may be displayed at the user interface. The user (surgeon) may then, based on the z-coordinate, translate the surgical object by use of the precision bed shift function of the large-scale device so that a laser emission position in the CT device is aligned at least to the point B on the skin surface of the surgical object. The user may then control a laser emitter in the CT device to emit a laser beam along the section where the point B is located, such that the laser line projected by the laser beam on the skin surface of the surgical object passes through the point B on the skin surface of the surgical object.

[0092] It should be understood that for the example shown in FIG. 3, since the puncture site A and the point B are on the same section, the laser line projected by the laser beam on the skin surface of the surgical object also passes through the point A. Exemplarily, for the case where the point B is a marking point, for example, marked with a metal wire, or a physiological feature point, a distance D between the points A and B may also be pre-measured based on the sectional image where the point B is located. Subsequently, the marking point or the physiological feature point crossed by the laser line on the body surface of the surgical object may be used to determine the point B in the physical space, and the point A in the physical space may be determined based on the distance D and the point B. Optionally, the points A and B in the physical space may be manually determined and be further marked on the body surface of the surgical object in a manner easily recognizable by the navigation device. Further, the information about the two points to determine the three-dimensional coordinates of the two points in the navigation coordinate system may be acquired by the navigation device. Alternatively, instead of manually marking the points, the vision sensor in the navigation device may directly collect an image of a region including at least one portion of the laser line on the body surface of the surgical object. The points A and B in the image may in turn be automatically identified by any suitable image recognition algorithm, so as to automatically determine the three-dimensional coordinates of the two points in the navigation coordinate system.

[0093] In the above-described schemes, the position information of the pixels in the image coordinate system corresponding to the puncture site and the puncture target point may be flexibly, quickly and accurately determined by means of human-computer interaction. Further, the second plane having the two pixels and the normal vector perpendicular to the first coordinate axis is determined in the image coordinate system, so as to select the other first pixel in the image coordinate system that is coplanar with the puncture site and the puncture target point. Also, the position information of the section where the other first pixel is located may be displayed in the user interface, such that the user may easily control the imaging device to emit marking light based on the position information. In this way, another reference point can be quickly and accurately marked on the body surface of the patient in the physical space. The position of the reference point used for registration in the image coordinate system can be automatically determined by this human-computer interaction, and the position of the reference point on the human body surface can be marked with the assistance of the inherent properties of the imaging device. The schemes are more flexible and convenient for operation, such that the operation time and error can be reduced to a certain extent. They also enable more precise positioning and marking for the reference point, while reducing computational load and improving the flexibility of reference point selection. Thus, it can not only improve accuracy and efficiency of registration and shorten the preoperative preparation time for puncture surgery, but also meet puncture needs of various scenarios, providing a better user experience.

[0094] Exemplarily, the second sensor is a vision sensor. The method 100 further comprises step S117.

[0095] At step S117, a marking image of the surgical site is collected by the vision sensor after the imaging device emits a marking light signal. The marking image includes a marking region where the marking light signal is located. At step S161, a marking pixel indicating the other first point in the two first points is extracted from the marking region. The other first point corresponds to the other first pixel. At step S162, the three-dimensional coordinates of the other first point in the navigation coordinate system are determined based on the marking pixel.

[0096] As described above, the imaging device may be a CT device, and after the user controls the laser emitter in the CT device to emit a laser beam along the section where the point B is located, the laser line projected by the laser beam on the skin surface of the surgical object passes through the point B thereon. Exemplarily, in the image of the surgical object collected by the vision sensor at step S117, the laser line where the point B is located is red in color, and the image includes a red imaging region of the laser line. As previously described, the other first pixel may correspond to a physiological feature point of the human body, or may correspond to a marking point for example marked with a metal wire. Exemplarily, a suitable pixel threshold may be set, and a threshold segmentation method may be employed to segment the imaging region of the laser line from the image. At step S161, the marking pixel indicating the other first point may be further extracted from the marking region by using any suitable image processing method. For instance, the threshold segmentation method may be further applied within the marking region to segment the imaging region of the metal wire, and then a pixel at the center of the imaging region of the metal wire may be determined as the marking pixel indicating the other first point. Afterward, at step S162, the three-dimensional coordinates of the marking pixel in the navigation coordinate system may be determined as the three-dimensional coordinates of the other first point in the navigation coordinate system.

[0097] In the above-described schemes, on the basis that the inherent properties of the imaging device assist in marking the position of the reference point on the body surface of the human body, the three-dimensional coordinates of the marked reference point in the navigational coordinate system are further automatically determined via the image processing method. The schemes for automatically positioning the reference point involved in the registration in the navigation coordinate system is simpler in execution logic and can reduce the time required for manual operations and be more convenient for users to operate. Additionally, the puncture process may depend less on the surgeon’s experience, and the efficiency of the entire puncture process can be improved, both of which provide better user experience.

[0098] Exemplarily, said acquiring the position information of the at least one of the first number of first pixels in the image coordinate system at step S120 includes step S121. At step S121, the three-dimensional coordinates of the at least one of the first number of first pixels in the image coordinate system are acquired.

[0099] Said registering the image coordinate system with the navigation coordinate system at step S180 includes step S181.

[0100] At step S181, a transformation relation between the image coordinate system and the navigation coordinate system is determined based on the three-dimensional coordinates of the at least one of the first number of first pixels in the image coordinate system, the direction of the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first number of first points in the navigation coordinate system, and the first direction.

[0101] The following is expanded with the example of the first number being equal to 2. For example, the two first pixels are in the image for a certain section of the surgical object scanned by the CT device. And the two first pixels correspond to two position points on the body surface of the surgical object. The two first pixels may be any two of the edge pixels indicating the body surface of the human body in the sectional image. For example, the two first pixels may correspond to the intersection points where the two metal wires intersect the section. Optionally, referring to FIG. 3, one of the two first pixels may correspond to the puncture site and the other may correspond to the intersection point where one metal wire intersects the section. The transformation relation between the image coordinate system and the navigation coordinate system may be determined based on the three-dimensional coordinates of at least one of the two first pixels in the image coordinate system, the direction of the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the two first points and the first direction.

[0102] Since the first direction in the navigation coordinate system corresponds to the first coordinate axis (e.g., the Y-axis) of the image coordinate system, a relation between the vector for the direction of the first coordinate axis (e.g., the Y’ -axis) in the navigation coordinate system and the vector representing the first direction may be determined. Based on the relation between the two vectors as well as the three-dimensional coordinates of the two pairs of corresponding points (each pair composed of a first point and a corresponding first pixel thereof) , the transformation relation between the two coordinate systems may be solved by any suitable method. In some special cases, for example, where the first direction is the direction of the first coordinate axis in the navigation coordinate system and the two first pixels are in the same sectional image, the transformation relation between the two coordinate systems may also be determined based on only the three-dimensional coordinates of one pair of corresponding points and the three-dimensional coordinates of any one of the first pixels.

[0103] Exemplarily and unlimitedly, the first number is equal to 2. The first direction is an orientation of the first coordinate axis in the navigation coordinate system. For example, the first coordinate axis in the image coordinate system is the Y-axis, and the first direction is the direction of the Y-axis in the navigation coordinate system (e.g., hereinafter referred to as the Y’ -axis for distinction) . The Y-axis in the image coordinate system and the Y’ -axis in the navigation coordinate system are thus substantially aligned. This greatly reduces the computational load for subsequent registration.

[0104] The two first pixels are in the same sectional image. Determining the transformation relation between the image coordinate system and the navigation coordinate system in step S181 includes step S181.1 to step S181.3. At step S181.1, a first plane is determined in the navigation coordinate system, based on the three-dimensional coordinates of the two first points in the navigation coordinate system. The two first points are in the first plane and the normal vector of the first plane is perpendicular to the first coordinate axis in the navigation coordinate system. At step S181.2, a rotation matrix between the image coordinate system and the navigation coordinate system is determined, based on the normal vector of the first plane and the normal vector of the section. At step S181.3, a translation matrix between the image coordinate system and the navigation coordinate system is determined, based on the rotation matrix, the three-dimensional coordinates of either of the two first pixels in the image coordinate system, and the three-dimensional coordinates of the two first points in the navigation coordinate system.

[0105] In combination of FIGs. 2a and 2b, it should be understood that for the case where the two first pixels are in the same sectional image, it is easy to determine the normal vector of the scanning section (e.g., the section is parallel to the plane defined by the X-axis and the Y-axis) where the two first pixels are located, based on the three-dimensional coordinate (e.g., Z-coordinate 100) of either of the two first pixels in the image coordinate system. Moreover, since the Y’ -axis in the navigation coordinate system corresponds to the Y-axis in the image coordinate system in direction, the first plane determined based on the point A and the point B with its normal vector perpendicular to the Y’ -axis has a correspondence with the section where the two first pixels are located in the navigation coordinate system. Thus, the rotation matrix between the image coordinate system and the navigation coordinate system may be determined by calculating an angle between the scanning section in the image coordinate system and the first plane determined in the navigation coordinate system. Specifically, the angle between the scanning section and the first plane may be determined based on the normal vectors of the two in the two coordinate systems. Thus, a corresponding rotation matrix R may be solved. Then, assuming that the transformation matrix between the two coordinate systems is T, based on the three-dimensional coordinates of any first point and the corresponding first pixel in the respective coordinate system, a functional relation of the three-dimensional coordinates of the pair of corresponding points with the rotation matrix R and the transformation matrix T may be established, thereby solving for the transformation matrix T.

[0106] Exemplarily, the two first pixels are in different sectional images. Said determining the transformation relation between the image coordinate system and the navigation coordinate system at step S181 include steps S181.4 and S181.5.

[0107] At step S181.4, based on the three-dimensional coordinates of the two first pixels in the image coordinate system and the three-dimensional coordinates of the two first points in the navigation coordinate system, a rotation matrix between the image coordinate system and the navigation coordinate system is determined.

[0108] FIG. 4b illustrates a simple schematic diagram of an image coordinate system and a navigation coordinate system according to an embodiment of the present application. As shown, it is assumed that the two first pixel points in the image coordinate system OCT are PA and PB, respectively, and the corresponding two first points in the navigation coordinate system Ow are PAW and PBW, respectively. Similar to the above-described scheme of step S180a. 1, a plane a that passes through PA and PB and has a normal vector perpendicular to the Y’ -axis may be determined in the image coordinate system, and a plane b that passes through PAW and PBW, and has a normal vector perpendicular to the Y’ -axis may be determined in the navigation coordinate system. An angle θbetween plane a and plane b may be solved for. Thus, a rotation matrix R between the image coordinate system and the navigation coordinate system may be established based on θ:

[0109] Specifically, a two-dimensional projection vector of a three-dimensional vector  in an XOCTZ plane in the coordinate system OW (image coordinate system) and a two-dimensional projection vector of a three-dimensional vector in an X'OwZ'plane in the coordinate system OW may be solved for, and an angle between and is equal to θ. For example, the following formula may be used to solve for the vector and the vector

[0110] Thus, based on the determined vector and vector θ may be calculated using the following formula:

[0111] The value of the calculated θ may be substituted into the above rotation matrix R to determine the rotation matrix between the image coordinate system and the navigation coordinate system.

[0112] At step S181.5, based on the rotation matrix, the three-dimensional coordinates of the two first pixels in the image coordinate system, and the three-dimensional coordinates of the two first points in the navigation coordinate system, a translation matrix between the image coordinate system and the navigation coordinate system is determined.

[0113] It is understandable assuming that the translation matrix between the two coordinate systems is T, based on PAW, PBW, PA, PB and θ, the following two equations may be derived:

[0114] First, since the Y-axis directions of the two coordinate systems correspond to each other, ty may be determined based on y-coordinates of the points PAW and PA: ty=PAW (y) -PA (y) .

[0115] The values of tx and ty may be determined by substituting the three-dimensional coordinates of PAW, PBW, PA and PB and the value of θ into the above two equations and joining the two equations.

[0116] As a result, depending on whether the two first pixels are in the same sectional image, the rotation matrix and the translation matrix between the two coordinate systems can be quickly solved by using one of the two aforementioned methods. This enables real-time registration of the two coordinate systems with lower computational load.

[0117] In the above schemes, by associating the corresponding coordinate axes of the two coordinate systems, the transformation relation between the two coordinate systems may be quickly determined according to the three-dimensional coordinates of at least two pairs of corresponding points, so as to achieve accurate and real-time registration of the two coordinate systems.

[0118] Exemplarily, the target object is a surgical object and / or other object having a fixed spatial relation with the surgical object. Registering the image coordinate system with the navigation coordinate system at step S180 includes step S182.

[0119] At step S182, three-dimensional coordinates of a surgical target point inside the surgical object in the navigation coordinate system are determined, based on the position information of the at least one of the first number of first pixels in the image coordinate system, the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first number of first points in the navigation coordinate system, and the first direction.

[0120] As described above, instead of solving for the transformation relation between the two coordinate systems, the position in the navigation coordinate system of a point of interest may be directly solved for based on the position of the point in the image coordinate system. The three-dimensional coordinates of the surgical target point in the navigation coordinate system may be determined by any suitable way, based on a relative position relation between a pixel corresponding to the surgical target point and any of the first pixels in the imaging coordinate system (e.g., in FIG. 3, a relative position relation between a pixel corresponding to the surgical target point T and a first pixel corresponding to the puncture site A, or a relative position relation between a pixel corresponding to the surgical target point T and a first pixel corresponding to the reference point B) as well as the three-dimensional coordinates of the two first points (e.g., the point A and the point B) in the navigation coordinate system.

[0121] Exemplarily and unlimitedly, the surgical target point is a puncture target point, and the first number is equal to 2. The two first points comprise the puncture site. The puncture site corresponds to the specific first pixel of the two first pixels. The at least one sectional image also includes the third pixel corresponding to the puncture target point.

[0122] For the case where the two first pixels are in the same sectional image, said acquiring the position information of the at least one of the two first pixels in the image coordinate system at step S120 includes step S121.

[0123] At step S121, a distance between the third pixel and the specific first pixel in the image coordinate system as well as a first angle between a line connecting the third pixel and the specific first pixel and the first coordinate axis in the image coordinate system are acquired.

[0124] For example, the sectional image illustrated in FIG. 3 includes the specific first pixel (apixel at the point A, which is an entry point in the image coordinate system according to the puncture plan) and the third pixel (a pixel at the point T, which is a target point in the image coordinate system according to the puncture plan) . The third pixel may be determined by the user (surgeon) using the human-computer interface. Also, the human-computer interface may be used by the user to measure and determine the distance between the specific first pixel and the third pixel (e.g., a line segment AT in the figure has a length of 13 cm in the image coordinate system) and the first angle between the line connecting the third pixel and the specific first pixel and the first coordinate axis in the image coordinate system (e.g., an angle between a vector and the Y-axis in the image coordinate system is measured to be 56°) .

[0125] Said determining the three-dimensional coordinates of the surgical target point inside the surgical site in the navigation coordinate system at step S182 includes step S182a. At step S182a, the three-dimensional coordinates of the puncture target point in the navigation coordinate system are determined based on the distance, the first angle, the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the two first points in the navigation coordinate system, and the first direction. Referring again to FIG. 2b, it should be understood that when the point A (puncture site) and the point T (puncture target point) are in the same section, the spatial registration of the surgical plan can be achieved by the user reading the length d of the line segment AT and the angle between the line segment AT and the Y-axis direction of the image coordinate system from the imaging device. At this step, any suitable calculation method may be used to solve for the three-dimensional coordinates of the puncture target point in the navigation coordinate system.

[0126] Exemplarily and unlimitedly, the first direction is an orientation of the first coordinate axis in the navigation coordinate system.

[0127] Said determining the three-dimensional coordinates of the puncture target point in the navigation coordinate system at step S182a comprises steps S182a. 1 to S182a. 4.

[0128] At step S182a. 1, a first plane in the navigation coordinate system is determined based on the three-dimensional coordinates of the two first points in the navigation coordinate system. The two first points are in the first plane, and the normal vector of the first plane is perpendicular to the first coordinate axis in the navigation coordinate system.

[0129] In conjunction with FIG. 2a and FIG. 2b, the two first points may be the point A (e.g. the puncture site) and the point B. The point T may be the puncture target point. The navigation coordinate system is, for example, the coordinate system Ow. The first plane is, for example, a plane q defined by the three points, namely the point A, the point B and the point T. Exemplarily, a line l parallel to the Y-axis in the navigational coordinate system Ow may be drawn through the point A. Thus, based on PAW, PBW and the line l, an equation for the plane q may be derived as follows: (x-PAW (x) ) (PAW (z) -PBW (z) ) + (z-PAW (z) ) (PBW (x) -PAW (x) )=0.

[0130] Wherein, x and z represent x-coordinate and z-coordinate of any point in the plane q, PAW (x) and PBW (x) represent x-coordinates of the point A and the point B in the navigation coordinate system OW, respectively, PAW (z) and PBW (z) represent z-coordinates of the point A and the point B in the navigation coordinate system OW, respectively. For simplicity, the equation for the plane q can be abbreviated as: Ax+By+Cz+D=0.

[0131] At step S182a. 2, a second angle between the first plane and the first coordinate axis in the navigation coordinate system is determined based on the first plane.

[0132] As mentioned above, the plane q can be denoted as Ax+By+Cz+D=0, and an angleγbetween the plane q and the X-axis in the navigation coordinate system OW may be solved for based on the following formula:

[0133] At step S182a. 3, a first coordinate and a second coordinate of the puncture target point relative to the puncture site are determined based on the distance and the first angle.

[0134] FIG. 4a illustrates a simple schematic diagram of a first plane according to an embodiment of the present application. As illustrated, under the plane q, a two-dimensional right-angled coordinate system Oq may be established with the point A being an origin. Then, based on the coordinates of the point A in Oq, the distance d between the first pixel corresponding to the point A and the pixel corresponding to the point T in the image coordinate system, and the angle θ’ between the line connecting the two pixels and the Y-axis, the coordinate of the point T in the right-angled coordinate system Oq may be solved and served as a first coordinate T (x) and a second coordinate T (y) of the puncture target point relative to the puncture site, using the following formula: T (x) =-d·sinθ′ T (y) =-d·cosθ′.

[0135] At step S182a. 4, the three-dimensional coordinates of the puncture target point in the navigation coordinate system is determined, based on the first coordinate and the second coordinate, the second angle and the three-dimensional coordinates of the puncture site in the navigation coordinate system.

[0136] Exemplarily, the rotation matrix from the image coordinate system to the navigation coordinate system may be established based on the second angle γ. Thus, three-dimensional coordinates PTW of the point T in the navigation space may be solved for by using the following formulae based on the rotation matrix and the coordinate of the point T in the right-angled coordinate system Oq determined at the above step, and in combination with the three-dimensional coordinates PAW of the point A in the navigation coordinate system:

[0137] In the schemes mentioned above, during the surgical navigation process, it is only needed to acquire two scalar values, namely the distance from the puncture site to the puncture target point measured in the image coordinate system, and the angle of the line connecting the puncture site and the puncture target point relative to the Y-axis, and it is only needed to identify or acquire the three-dimensional coordinates of the two marking points of the patient’s body surface in the physical space, so that the three-dimensional coordinates of the puncture target point in the navigation coordinate system can be quickly determined with the method mentioned above. Thus, the registration in the navigation plan can be completed. Moreover, since a puncture depth, i.e., the distance between the puncture site and the puncture target point, is determined, it can also accurately guide the surgeon in performing the puncture based on the information of the puncture depth. Thus, it can not only improve registration accuracy and efficiency, shorten preoperative preparation time for the puncture surgery, and meet puncture needs in various scenarios, but also provide a better user experience. Additionally, in the schemes mentioned above, there is no need to transmit the complete three-dimensional image to the navigation device for registration, thus significantly reducing computational load. This also lowers requirements for the navigation device, resulting in reduced device costs.

[0138] Exemplarily, the surgical target point is a puncture target point. The at least one sectional image also includes a second pixel corresponding to the puncture site. The method 100 further comprises step S191. At step S191, the three-dimensional coordinates of the puncture site in the navigation coordinate system is determined based on three-dimensional coordinates of the second pixel in the image coordinate system and the transformation relation.

[0139] As described above, the points used to register the two spatial coordinate systems may not include the puncture site. In the case where the three-dimensional coordinates of the second pixel in the image coordinate system corresponding to the puncture site are PA′ (x) , PA′ (y) , and PA′ (z) , respectively, on the basis of the rotation matrix R and the translation matrix T determined in the above step S180, the following formula may be used to determine the three-dimensional coordinates PA′w (x) , PA′w (y) , and PA′w (z) of the puncture site in the navigation coordinate system:

[0140] In the scheme mentioned above, firstly, any two points on the body surface of the surgical object may be used for the registration of the two coordinate systems, and the puncture site may be determined after the registration is completed. This scheme eliminates the need to pre-mark the position of the puncture site on the surface of the human body, and has lower requirements on the points for the registration, thereby making it applicable to puncture surgery in various scenarios.

[0141] Exemplarily, the target object is a surgical object and / or other object that have a fixed spatial relation to the surgical object. The method 100 further comprises step S192. At step S192, three-dimensional coordinates of a surgical target point inside the surgical object in the navigation coordinate system is determined based on the three-dimensional coordinates of the surgical target point in the image coordinate system and the transformation relation.

[0142] Similar to the method for determining the three-dimensional coordinates of the puncture site in the navigation coordinate system described above, the three-dimensional coordinates PT (x) , PT (y) , and PT (z) of the pixel in the image coordinate system corresponding to the surgical target point can be determined first. Then, based on the rotation matrix R and translation matrix T determined at step S180, the three-dimensional coordinates PTw (x) , PTw (y) , and PTw (z) of the surgical target point in the navigation coordinate system may be determined, using the following formula:

[0143] In the above-described scheme, first, any two points on the body surface of the surgical object may be used for the registration of the two coordinate systems, and the puncture plan can then be accurately implemented based on the navigation space once the registration is completed. This scheme also allows the user to flexibly adjust the puncture plan according to the actual needs during the navigation process on the basis of the registration of the two coordinate systems. Moreover, the requirements for the points used for the registration are lower, thereby making it applicable to puncture procedures in various scenarios.

[0144] FIG. 5 illustrates a flowchart of a coordinate registration method in puncture surgical navigation according to an embodiment of the present application. As shown, a surgical preparation may be completed before the puncture surgical navigation begins. After the surgical preparation is completed, the puncture navigation is then performed. It should be understood that the puncture target point of the puncture surgery is usually on the same scanning section as the puncture site, and therefore, the user only needs to measure the distance D from the puncture site to the puncture target point and the angle θ of the line connecting the two points relative to a certain fixed direction (e.g., the Y-axis) in the image collected by the imaging device, and transmit these two values to the navigation system. And then, navigation tracking is initiated. The marking points (e.g., the puncture site and another reference point in the same scanning section as the puncture site) pre-marked on the patient’s body surface by a user may be positioned, and the two coordinate systems can be quickly registered based on the three-dimensional coordinates of these two points in the navigation coordinate system and the two acquired values. Thus, the puncture plan can be accurately implemented based on the navigation space and the surgeon can be accurately guided to complete the puncture.

[0145] Specifically, as shown, the surgical preparation process is primarily performed by the user (e.g., the surgeon) . First, before the patient is scanned by the CT device, the surgeon may affix a positioning metal wire or special positioning sticker on the patient’s body surface along a direction from head to feet, to obtain one or more reference lines for positioning. Then, the CT device is utilized to scan the surgical site of the patient to collect one or more CT sectional images, which may be displayed on the user interface to facilitate the surgeon to confirm the puncture target point and the puncture site and make a puncture plan. Specifically, the distance d between the pixels in the image coordinate system corresponding to the puncture site A and the puncture target the point T respectively and the angle θ’ between AT and the Y-axis may be measured. These two values may then be recorded and transmitted to the navigation system. In addition, to locate the puncture site confirmed in the one or more images on the patient's body surface in the physical space, the surgeon may further confirm from the one or more CT sectional images a distance D from the puncture site to the metal wire in the one or more images and a position of a section S where the puncture site is located. Afterward, the surgeon may, by means of a precision bed shift function of the CT device, move the section S where the puncture site is located to a specific position, which is generally indicated by one or more laser lines. Finally, following the guidance of the one or more laser lines, the surgeon may use a soft ruler to mark a position along the laser projection line on the skin surface of the patient. The position has the distance D from the metal line and serves as a body surface position of the puncture site. The surgeon may also mark another reference point that is in the same puncture plane as the puncture site by the guidance of the laser line.

[0146] At any moment after the completion of the surgical preparation process (the user may be allowed to leave the area where the scan device is located after the surgical process is completed) , the surgical navigation process may be executed. Specifically, the two values involved in the puncture plan may first be acquired, namely, the distance d between the pixels in the image coordinate system corresponding to the puncture site A and the puncture target point T, and the angle θ’ between AT and the Y-axis. Then, various data in the physical space are collected by using various sensors in the navigation device. Specifically, an inertial measurement unit and a vision sensor may be included in the navigation device. The data acquired by the inertial measurement unit may be used to determine the gravity direction, and the direction opposite to gravity direction may be determined as the direction of the Y’ -axis in the navigation coordinate system to establish the navigation coordinate system. And the three-dimensional coordinates PAW of the puncture site A, which has been marked on the patient’s body surface, and the three-dimensional coordinates PBW of the reference point B, which is coplanar with AT in the navigation coordinate system, may be determined based on the image of the puncture site of the patient collected by the vision sensor. And then, the method comprising steps S182a. 1 to S182a. 4 described above may be used to accurately position the three-dimensional coordinates PTW of the puncture target point in the navigation coordinate system based on the distance d, the angel θ’a s well as PAW and PBW, . Thus, the registration of the navigation plan is completed. The positions of the puncture site and the puncture target point in the physical space can be highlighted in the user interface, and the prompt information for entry angle and depth can be displayed, thereby guiding the surgeon to accurately insert the puncture needle into the patient. After the puncture surgery is complete, the surgical navigation is terminated.

[0147] According to another aspect of the present application, a coordinate registration device is provided. FIG. 6 illustrates a schematic block diagram of a coordinate registration device 600 according to an embodiment of the present application. As shown, the device 600 comprises an acquisition module 610, a first determination module 620, a second determination module 630 and a registration module 640.

[0148] The acquisition module 610 is configured to acquire position information of at least one of a first number of first pixels in an image coordinate system. The first number is greater than or equal to 2. The first pixels are pixels in at least one sectional image collected by an imaging device. The at least one sectional image each is an image of a section of a target object. The first number of the first pixels corresponds one-to-one to a first number of first points of the target object. The position of each first pixel is the imaging position of a corresponding first point in the sectional image. In the image coordinate system, the normal vector of the section is perpendicular to a first coordinate axis in the image coordinate system.

[0149] The first determination module 620 is configured to determine a first direction in a navigation coordinate system based on first information acquired by a first sensor. The first direction corresponds to the direction of the first coordinate axis in the image coordinate system.

[0150] The second determination module 630 is configured to determine three-dimensional coordinates of the first number of first points in the navigation coordinate system based on second information of the target object collected by a second sensor.

[0151] The registration module 640 is configured to register the image coordinate system with the navigation coordinate system, based on the position information of the at least one of the first number of the first pixels in the image coordinate system, the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first number of first points in the navigation coordinate system, and the first direction.

[0152] According to yet another aspect of the present application, a surgical navigation system is provided. FIG. 7 illustrates a schematic block diagram of a surgical navigation system 700 according to an embodiment of the present application. As shown, the system 700 comprises a first sensor 710, a second sensor 720 and a control module 730. The first sensor 710 is used to collect first information. The second sensor 720 is used to collect second information of a target object. The target object comprises a surgical object and / or other object having a fixed spatial relation with a surgical object. The control module 730 is used to perform the coordinate registration method 100 mentioned above.

[0153] According to another aspect of the present application, an electronic device is further provided. The electronic device includes a processor and a memory. Computer program instructions are stored in the memory, and the computer program instructions are used to execute the aforementioned coordinate registration method 100 when run by the processor.

[0154] According to further another aspect of the present application, a storage medium is further provided. Program instructions are stored in the storage medium, and the program instructions are used to execute the aforementioned coordinate registration method 100 during operation. For examples, the storage medium may include an erasable programmable read-only memory (EPROM) , a compact disc read-only memory (CD-ROM) , a USB memory, or any combination of the aforementioned storage media. The storage medium may be any combination of one or more computer-readable storage media.

[0155] According to another aspect of the present application, a storage medium is further provided. Program instructions are stored on the storage medium, and the program instructions are used to execute the aforementioned coordinate registration method 100 during operation. Examples of the storage medium may include an erasable programmable read-only memory (EPROM) , a compact disc read-only memory (CD-ROM) , a USB memory, or any combination of the aforementioned storage media. The storage medium may be any combination of one or more computer-readable storage media.

[0156] According to another aspect of the present application, a computer program product is further provided, including computer program instructions that are used to execute the aforementioned coordinate registration method 100 during operation.

[0157] A person skilled in the art can understand the specific implementation solutions and beneficial effects of the aforementioned coordinate registration system, electronic device, storage medium, and computer program product by reading the above descriptions for the coordinate registration method, and for the sake of brevity, they are not repeated herein.

[0158] Although exemplary embodiments have already described with reference to the accompanying drawings here, it should be understood that the above embodiments are merely exemplary and are not intended to limit the scope of the present invention to this. Persons of ordinary skill in the art can make various changes and modifications without departing from the spirit and scope of the present invention. All these changes and modifications are intended to be included within the scope of the present invention defined by the appended claims.

[0159] It may be appreciated by persons of ordinary skill in the art that, units of various examples described in conjunction with the embodiments disclosed herein may be implemented as electronic hardware, or a combination of computer software and electronic hardware. Whether these functions are implemented as hardware or software depends on particular applications and design constraints of the technical solutions. A person skilled in the art may implement the described functions with different methods for each of particular applications, but such implementation shall not be regarded as going beyond the scope of the present invention.

[0160] In several embodiments provided by the present application, it should be understood that the disclosed devices and methods may be implemented by other means. For example, the device embodiments described above are merely schematic. For example, the partitioning of the units may be a logical functional partitioning. There may be other partitioning modes during actual implementation. For example, multiple units or components may be combined or integrated into another device, or some features may be ignored or not executed.

[0161] It should be noted that the above embodiments are provided for illustration of the present invention and are not intended to limit the present invention and those skilled in the art may design alternative embodiments without departing from the scope defined by the appended claims. In the claims, any reference sign between brackets should not be construed as limiting the claims. The word “comprising” does not exclude the presence of other elements or steps which are not listed in the claims. The word “one” or “a” preceding an element does not exclude the presence of a plurality of such elements. The present invention may be implemented by means of hardware including several different elements and by means of an appropriately programmed computer. In unit claims listing several means, several of these means may be embodied by one and the same item of hardware. Use of the words first, second, third and the like does not indicate any ordering, and these words may be interpreted as names.

[0162] The above description is merely a specific implementation mode of the present invention or is illustrative of the specific implementation mode of the present invention, but the scope of protection of the present invention is not limited to this. Any changes or replacements that would be readily conceived by any person skilled in the art within the technical scope disclosed in the present invention should be within the scope of protection of the present invention. The scope of protection of the present invention shall be subject to the scope of protection defined by the claims.

Claims

1.A coordinate registration method, characterized in comprising:acquiring position information of at least one of a first number of first pixels in an image coordinate system, wherein the first number is greater than or equal to 2, the first pixels are pixels in at least one sectional image collected by an imaging device, the at least one sectional image each is an image of a section of a target object, the first number of first pixels corresponds one-to-one to a first number of first points of the target object, the position of each first pixel is the imaging position of a corresponding first point in the sectional image, and in the image coordinate system, the normal vector of the section is perpendicular to a first coordinate axis in the image coordinate system;determining a first direction in a navigation coordinate system based on first information acquired by a first sensor, wherein the first direction corresponds to the direction of the first coordinate axis in the image coordinate system;determining three-dimensional coordinates of the first number of first points in the navigation coordinate system based on second information of the target object collected by a second sensor;registering the image coordinate system with the navigation coordinate system, based on the position information of the at least one of the first number of first pixels in the image coordinate system, the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first number of first points in the navigation coordinate system, and the first direction.2.The coordinate registration method as claimed in claim 1, characterized in said acquiring the position information of the at least one of the first number of first pixels in the image coordinate system, comprising:acquiring the three-dimensional coordinates of the at least one of the first number of first pixels in the image coordinate system;said registering the image coordinate system with the navigation coordinate system, comprising:determining a transformation relation between the image coordinate system and the navigation coordinate system based on the three-dimensional coordinates of the at least one of the first number of first pixels in the image coordinate system, the direction of the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first number of first points in the navigation coordinate system, and the first direction.3.The coordinate registration method as claimed in claim 2, characterized in that the first number is equal to 2, and the first direction is an orientation of the first coordinate axis in the navigation coordinate system,the first number of first pixels are in the same sectional image, and said determining the transformation relation between the image coordinate system and the navigation coordinate system comprises:determining a first plane in the navigation coordinate system based on the three-dimensional coordinates of the first number of first points in the navigation coordinate system, wherein the first number of first points are in the first plane, and the normal vector of the first plane is perpendicular to the first coordinate axis in the navigation coordinate system; anddetermining a rotation matrix between the image coordinate system and the navigation coordinate system based on the normal vector of the first plane and the normal vector of the section; anddetermining a translation matrix between the image coordinate system and the navigation coordinate system based on the rotation matrix, the three-dimensional coordinates of any of the first number of first pixels in the image coordinate system, and the three-dimensional coordinates of the first number of first points in the navigation coordinate system;orthe first number of first pixels are in different sectional images, and said determining the transformation relation between the image coordinate system and the navigation coordinate system comprises:determining a rotation matrix between the image coordinate system and the navigation coordinate system based on the three-dimensional coordinates of the first number of first pixels in the image coordinate system, and the three-dimensional coordinates of the first number of first points in the navigation coordinate system; anddetermining a translation matrix between the image coordinate system and the navigation coordinate system based on the rotation matrix, the three-dimensional coordinates of the first number of first pixels in the image coordinate system, and the three-dimensional coordinates of the first number of first points in the navigation coordinate system.4.The coordinate registration method as claimed in claim 2, characterized in that the target object is a surgical object and / or other object having a fixed spatial relation with a surgical object, and the method further comprising:determining three-dimensional coordinates of a surgical target point inside the surgical object in the navigation coordinate system, based on three-dimensional coordinates of the surgical target point in the image coordinate system and the transformation relation.5.The coordinate registration method as claimed in claim 4, characterized in that the surgical target point is a puncture target point, the at least one sectional image further comprises a second pixel, the second pixel corresponds to a puncture site, the method further comprising:determining three-dimensional coordinates of the puncture site in the navigation coordinate system, based on three-dimensional coordinates of the second pixel in the image coordinate system and the transformation relation.6.The coordinate registration method as claimed in claim 1, characterized in that the target object is a surgical object and / or other object having a fixed spatial relation with a surgical object, said registering the image coordinate system and the navigation coordinate system, comprising:determining three-dimensional coordinates of a surgical target point inside the surgical object in the navigation coordinate system, based on the position information of the at least one of the first number of the first pixels in the image coordinate system, the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first number of first points in the navigation coordinate system, and the first direction.7.The coordinate registration method as claimed in claim 6, characterized in that the first number is equal to 2, the surgical target point is a puncture target point, the first number of first points comprises a puncture site, the puncture site corresponds to a specific first pixel in the first number of first pixels, and the at least one sectional image further comprises a third pixel, the third pixel corresponds to the puncture target point, wherein,for the case where the first number of the first pixels are in the same sectional image, said acquiring the position information of the at least one of the first number of the first pixels in the image coordinate system, comprising:acquiring a distance between the third pixel and the specific first pixel in the image coordinate system, and a first angle between a line connecting the third pixel and the specific first pixel and the first coordinate axis in the image coordinate system;said determining the three-dimensional coordinates of the surgical target point inside the surgical object in the navigational coordinate system, comprising:determining three-dimensional coordinates of the puncture target point in the navigation coordinate system, based on the distance, the first angle, the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first number of first points in the navigation coordinate system, and the first direction.8.The method of coordinate registration as claimed in claim 7, characterized in that the first direction is an orientation of the first coordinate axis in the navigational coordinate system, said determining the three-dimensional coordinates of the puncture target point in the navigational coordinate system, comprising:determining a first plane in the navigational coordinate system based on the three-dimensional coordinates of the first number of first points in the navigational coordinate system, wherein the first number of first points are in the first plane and the normal vector of the first plane is perpendicular to the first coordinate axis in the navigational coordinate system;determining a second angle between the first plane and the first coordinate axis in the navigational coordinate system based on the first plane;determining a first coordinate and a second coordinate of the puncture target point relative to the puncture site based on the distance and the first angle; anddetermining the three-dimensional coordinates of the puncture target point in the navigational coordinate system, based on the first coordinate and the second coordinate, the second angle, and the three-dimensional coordinates of the puncture site in the navigational coordinate system.9.The coordinate registration method as claimed in claim 1, characterized in said determining the first direction of the navigation coordinate system, comprising:determining gravity direction based on the first information acquired by the first sensor, wherein the first sensor includes an inertial measurement unit;determining the first direction based on the gravity direction.10.The coordinate registration method as claimed in claim 1, characterized in that the first sensor is a vision sensor, said determining the first direction of the navigation coordinate system, comprising:determining a reference direction based on image information of a reference object around the target object collected by the vision sensor;determining the first direction based on the reference direction;wherein the reference object comprises a reference plane having a specific marker, and the reference plane is at a predetermined angle to the reference direction.11.The coordinate registration method as claimed in claim 1, characterized in that the first points are located within an optical marking region on the target object’s surface, the second sensor is a vision sensor, said determining the three-dimensional coordinates of the first number of first points in the navigation coordinate system, comprising:determining the three-dimensional coordinates of the first number of first points in the navigation coordinate system, based on an image for the optical marking region collected by the vision sensor, and a relation between the vision sensor and the navigation coordinate system.12.A coordinate registration device, characterized in comprising:an acquisition module for acquiring position information of at least one of a first number of first pixels in an image coordinate system, wherein the first number is greater than or equal to 2, and the first pixels are pixels in at least one sectional image collected by an imaging device, the at least one sectional image each is an image of a section of a target object, the first number of the first pixels corresponds one-to-one to a first number of first points of the target object, the position of each first pixel is the imaging position of a corresponding first point in the sectional image, and in the image coordinate system, the normal vector of the section is perpendicular to a first coordinate axis in the image coordinate system;a first determination module for determining a first direction in a navigation coordinate system based on first information acquired by a first sensor, wherein the first direction corresponds to the direction of the first coordinate axis in the image coordinate system;a second determination module for determining three-dimensional coordinates of the first number of first points in the navigation coordinate system based on second information of the target object collected by a second sensor; anda registration module for registering the image coordinate system with the navigation coordinate system, based on the position information of the at least one of the first number of the first pixels in the image coordinate system, the first coordinate axis in the image coordinate system, the three-dimensional coordinates of the first number of first points in the navigation coordinate system, and the first direction.13.A surgical navigation system, comprising: a first sensor, a second sensor and a control module, wherein the first sensor is used to acquire first information, the second sensor is used to collect second information of a target object, the target object comprising a surgical object and / or other object having a fixed spatial relation with a surgical object, and the control module is used to perform the coordinate registration method claimed in claim 1.

Images