Method and apparatus for calibrating visible area of ship unloader, and computer device

Abstract

This application discloses a method and apparatus for calibrating a visible area of a ship unloader, a computer device, and a storage medium. Specifically, the method includes: acquiring three-dimensional point cloud data of a grab position and acquiring three-dimensional center points of a hinge of a grab from the point cloud data; acquiring two-dimensional image data of the grab position and acquiring two-dimensional center points of the hinge from the two-dimensional image data; matching the three-dimensional center points of the hinge moving to a plurality of different positions in a space with the two-dimensional center points of the hinge to calculate a transformation matrix; and fitting the three-dimensional point cloud data of the grab position into the two-dimensional image data of the grab position according to the transformation matrix. According to the above method, position calibration between a targetless laser sensor and a RGB camera can be performed. After calibration, the three-dimensional point cloud data of the visible area of the ship unloader can be fitted into the two-dimensional image data, thereby facilitating a fusion of information of different dimensions and complementing an amount of information, and significantly facilitating an analysis on area information of the ship unloader and automatic operations.

Description

METHOD AND APPARATUS FOR CALIBRATING VISIBLE AREA OF SHIP UNLOADER, AND COMPUTER DEVICETECHNICAL FIELD

[0001] This application relates to the field of data calibration, and in particular relates to a method and apparatus for calibrating a visible area of a ship unloader, a computer device, and a storage medium.BACKGROUND

[0002] The grab position and edge of hatches of a grab ship unloader (GSU) can be used to guide operators to load and unload cargo from docked cargo ships. Multi-modality signals can bring rich information to the aforementioned target scenario and can adapt to various weather and lighting conditions. For a perception-based automatic cargo handling system, a multi-modality processor relies on a well-calibrated light detection and ranging (LiDAR) sensor and a red green blue (RGB) camera. However, due to specific work scenarios and crane swings, non-interaction calibration is often required. Otherwise, calibration failures will limit the performance of subsequent perception algorithms and the operation and use of the ship unloader.SUMMARY

[0003] The content section of the present disclosure is provided to introduce some selected concepts in a simplified form, which will be further described in the following detailed implementations. The content section of the present disclosure is not intended to identify any key or necessary features of the subject claimed for protection, nor is it intended to be used to help determine the scope of the subject claimed for protection.

[0004] Based on this, this application discloses a method for calibrating a visible area of a ship unloader, including:

[0005] acquiring three-dimensional point cloud data of the visible area of the ship unloader and acquiring three-dimensional center points of a hinge of a grab from the three-dimensional point cloud data;

[0006] acquiring two-dimensional image data of the visible area of the ship unloader and acquiring two-dimensional center points of the hinge of the grab from the two-dimensional  image data;

[0007] matching the three-dimensional center points of the hinge at a plurality of different spatial positions with the two-dimensional center points of the hinge to calculate a transformation matrix; and

[0008] fitting the three-dimensional point cloud data of the visible area of the ship unloader into the two-dimensional image data according to the transformation matrix.

[0009] According to the above method, position calibration between a targetless laser sensor and a RGB camera can be performed. After calibration, the three-dimensional point cloud data of the visible area of the ship unloader can be fitted into the two-dimensional image data, thereby facilitating a fusion of information of different dimensions and complementing an amount of information, and significantly facilitating an analysis on area information of the ship unloader and automatic operations.

[0010] Further, the acquiring three-dimensional point cloud data of the visible area of the ship unloader and acquiring three-dimensional center points of a hinge of a grab from the three-dimensional point cloud data includes:

[0011] calculating a hinge position area according to the three-dimensional point cloud data of the grab position segmented by object detectors and a positional relationship between the hinge and the grab; and

[0012] calculating the three-dimensional center points of the hinge according to the three-dimensional point cloud data within the hinge position area.

[0013] Through the above method, the three-dimensional center points of the hinge can be accurately determined and are conveniently matched with corresponding center points in subsequent two-dimensional data.

[0014] Further, the acquiring two-dimensional image data of the visible area of the ship unloader and acquiring two-dimensional center points of the hinge of the grab from the two-dimensional image data includes:

[0015] acquiring two-dimensional image data of the visible area of the ship unloader from a top-down perspective and obtaining a minimum bounding rectangle area of the grab from the two-dimensional image data from the top-down perspective; and

[0016] obtaining, within the minimum bounding rectangle area, the two-dimensional center points of the hinge through scanning window template matching.

[0017] Through the above method, the two-dimensional image data of the grab and the hinge can be conveniently acquired so as to determine the two-dimensional center points of the hinge, thereby facilitating subsequent matching and calibration with the three-dimensional  center points.

[0018] Further, the matching the three-dimensional center points of the hinge at a plurality of different spatial positions with the two-dimensional center points of the hinge to calculate a transformation matrix includes:

[0019] moving the grab to different positions, and acquiring the corresponding three-dimensional center points and two-dimensional center points of the hinge at the different positions; and

[0020] matching the plurality of three-dimensional center points with the plurality of two-dimensional center points to calculate the transformation matrix.

[0021] Through the above method, by collecting the three-dimensional center points and the two-dimensional center points of the hinge at the plurality of different positions, the calculation of the transformation matrix is more accurate.

[0022] Further, this application discloses an apparatus for calibrating a visible area of a ship unloader, including:

[0023] a three-dimensional data module, configured to acquire three-dimensional point cloud data of the visible area of the ship unloader and acquire three-dimensional center points of a hinge of a grab from the three-dimensional point cloud data;

[0024] a two-dimensional data module, configured to acquire two-dimensional image data of the visible area of the ship unloader and acquire two-dimensional center points of the hinge of the grab from the two-dimensional image data;

[0025] a transformation matrix module, configured to match the three-dimensional center points of the hinge at a plurality of different spatial positions with the two-dimensional center points of the hinge to calculate a transformation matrix; and

[0026] a data conversion module, configured to fit the three-dimensional point cloud data of the visible area of the ship unloader into the two-dimensional image data according to the transformation matrix.

[0027] This application further provides a computer device, including a memory and a processor, where the memory has a computer program stored therein, and when the processor executes the computer program, the above method is implemented.

[0028] This application further provides a computer-readable storage medium, having a computer program stored therein, where the computer program, when executed by a processor, implements the above method.

[0029] This application further provides a computer program product, tangibly stored on a computer-readable medium and including computer-executable instructions, where the  computer-executable instructions, when executed, cause at least one processor to implement the above method.BRIEF DESCRIPTION OF THE DRAWINGS

[0030] The implementation of the present disclosure is illustrated in the form of examples rather than limitations in the accompanying drawings, and similar reference numerals in the accompanying drawings represent the same or similar components.

[0031] FIG. 1 is a schematic flowchart of a method for calibrating a visible area of a ship unloader according to an implementation of this application.

[0032] FIG. 2 is a schematic diagram of an apparatus for calibrating a visible area of a ship unloader according to an implementation of this application.

[0033] FIG. 3 is a schematic diagram of a computer device for calibrating a visible area of a ship unloader according to an implementation of this application.

[0034] FIG. 4 is an effect diagram of three-dimensional point cloud data and two-dimensional image data according to an implementation of this application.

[0035] Reference numerals are as follows:

[0036] S101-S104     Steps

[0037] 200:          Apparatus

[0038] 201:          Module

[0039] 202:          Module

[0040] 203:          Module

[0041] 204:          Module

[0042] 300:          Computer device

[0043] 302:          Processor

[0044] 304:          MemoryDETAILED DESCRIPTION

[0045] In the following specification, for the purpose of explanation, a large number of specific details are elaborated. However, it should be understood that the implementation of the present disclosure can be implemented without these specific details. In other examples, well-known circuits, structures, and technologies are not shown in detail, so as not to affect the understanding of the specification.

[0046] References throughout the specification to "an implementation" , "implementation" ,  "exemplary implementation" , "some implementations" , "various implementations" , etc., indicate that the described implementations of the present disclosure may include specific features, structures, or characteristics. However, it does not mean that each implementation must include these specific features, structures, or characteristics. In addition, some implementations may have some or all of the features described for other implementations, or may not have the features described for other implementations.

[0047] An implementation scenario of this application is as follows: for a grab on a cargo ship, spatial three-dimensional point cloud data in a visible area of a ship unloader may be typically obtained through radar, and planar two-dimensional image data in the visible area of the ship unloader may also be acquired through a camera. The three-dimensional point cloud data is beneficial to displaying some spatial and depth information, and the two-dimensional image data is beneficial to representing some length information, etc. However, there is no good calibration process between the three-dimensional data and the two-dimensional data. Therefore, for the same scenario or object, the three-dimensional data and the two-dimensional data cannot be universally applied and cannot be used to analyze the same target object. Therefore, hinge components on the grab are utilized in this application to obtain a transformation matrix between the data by calibrating three-dimensional center points and two-dimensional center points of a hinge. Then, the transformation matrix is utilized to correspondingly fit remaining three-dimensional point cloud data in the visible area of the ship unloader to the two-dimensional image data, thereby facilitating a fusion of information of different dimensions and complementing an amount of information, and significantly facilitating an analysis on area information of the ship unloader and automatic operations.

[0048] As shown in FIG. 1, this application discloses a method for calibrating a visible area of a ship unloader, including the following:

[0049] S101: Three-dimensional point cloud data of the visible area of the ship unloader is acquired and three-dimensional center points of a hinge of a grab are acquired from the three-dimensional point cloud data.

[0050] Specifically, the visible area of the ship unloader is a spatial area used for manual operation and cargo unloading. The area includes the grab for cargo unloading and the hinge on the grab. The objective of the step is to acquire the three-dimensional center points of the hinge from the three-dimensional point cloud data obtained by a LiDAR. In order to locate a hinge area, a rough range of the grab is first extracted as basic data. In some embodiments, this application uses a plurality of specially trained object detectors to segment the grab area  from a multi-axis aligned three-dimensional point cloud. Then, based on the grab area, the hinge area is correspondingly determined according to a known positional relationship between the hinge and the grab, such as a relative distance between the hinge and the grab in a bundled situation. Then, the three-dimensional center point of the hinge is obtained by averaging all point clouds falling within the hinge area, and the three-dimensional center point may be represented as [xL, yL, zL] .

[0051] Further, as mentioned above, the step of acquiring three-dimensional point cloud data of the visible area of the ship unloader and acquiring three-dimensional center points of a hinge of a grab from the three-dimensional point cloud data includes the following:

[0052] a hinge position area is calculated according to the three-dimensional point cloud data of the grab position segmented by the object detectors and the positional relationship between the hinge and the grab; and

[0053] the three-dimensional center points of the hinge are calculated according to the three-dimensional point cloud data within the hinge position area.

[0054] Through the above method, the three-dimensional center points of the hinge can be accurately determined and are conveniently matched with corresponding center points in subsequent two-dimensional data.

[0055] S102: Two-dimensional image data of the visible area of the ship unloader is acquired and two-dimensional center points of the hinge of the grab are acquired from the two-dimensional image data.

[0056] Specifically, the objective of the step is to locate the two-dimensional center points of the hinge based on RGB images. Specifically, a specially trained grab detector is used to capture two-dimensional image data of the visible area of the ship unloader from a top-down perspective. Then, a minimum bounding rectangle area of the grab is obtained from the two-dimensional image data of the visible area of the ship unloader from the top-down perspective. The minimum bounding rectangle area is equivalent to an envelope of the shape of the grab. Then, within the minimum bounding rectangle area, a scanning window-based template matching method is used to retrieve a finer-grained or clear hinge area from an image of the grab area. Subsequently, the two-dimensional center point of the hinge is located, and the two-dimensional center point may be marked as [uR, vR] . The two-dimensional center point serves as a matching point for the three-dimensional center point of the hinge.

[0057] In some embodiments, the two-dimensional image data of the visible area of the ship unloader from the top-down perspective may be rotated to a two-dimensional image area from an axis-aligned perspective, thereby further facilitating to obtain the minimum bounding  rectangle area of the grab and achieve subsequent scanning window matching.

[0058] As mentioned above, the step of acquiring two-dimensional image data of the visible area of the ship unloader and acquiring two-dimensional center points of the hinge of the grab from the two-dimensional image data includes the following:

[0059] the two-dimensional image data of the visible area of the ship unloader is acquired from the top-down perspective and a minimum bounding rectangle area of the grab is obtained from the two-dimensional image data from the top-down perspective; and

[0060] the two-dimensional center points of the hinge are obtained through scanning window template matching within the minimum bounding rectangle area.

[0061] Through the above method, the two-dimensional data of the grab and the hinge can be conveniently acquired so as to determine the two-dimensional center points of the hinge, thereby facilitating subsequent matching and calibration with the three-dimensional center points.

[0062] S103: The three-dimensional center points of the hinge at a plurality of different spatial positions are matched with the two-dimensional center points of the hinge to calculate a transformation matrix.

[0063] In the step, solving the transformation matrix may be understood as solving parameters of a perspective-n-point (PnP) problem based on a gradient method. The transformation matrix is calculated based on a set of two-dimensional points and three-dimensional points. This application treats the solution process as a least squares problem and uses a gradient-based correction method to solve parameters of a fitting model. Therefore, transformation matrices R and t are further obtained.

[0064] Specifically, [xL, yL, zL] and [uR, vR] are taken as elements of the Descent method for Least Squares Problem and inputted into the fitting model, where the fitting model may be represented as: f (P) =wnpn+wn-1pn-1+…+w1p1

[0065] Further, a calculation formula can be obtained:

[0066] where is the transformation matrix,  represents three-dimensional  data, and represents two-dimensional data.

[0067] As mentioned above, the step of matching the three-dimensional center points of the hinge at a plurality of different spatial positions with the two-dimensional center points of the hinge to calculate a transformation matrix includes the following:

[0068] the grab is moved to different positions, and the corresponding three-dimensional center points and two-dimensional center points of the hinge are acquired at the different positions; and

[0069] the plurality of three-dimensional center points are matched with the plurality of two-dimensional center points to calculate the transformation matrix.

[0070] Specifically, in some embodiments, the grab can be moved to different positions within an overlapping area of the LiDAR and the RGB camera, such as a plurality of predefined calibration candidate positions. Detected reference point pairs (i.e., the corresponding three-dimensional center points and two-dimensional center points obtained at the candidate positions) are recorded and used together to calculate the transformation matrix. It should be noted that due to the relatively low computational cost, the proposed method may also be used as an online calibration program.

[0071] Through the above method, by collecting the three-dimensional data and the two-dimensional data of the grab at the plurality of different positions, the calculation of the transformation matrix is more accurate.

[0072] S104: The three-dimensional point cloud data of the visible area of the ship unloader is fitted into the two-dimensional image data according to the transformation matrix.

[0073] After the transformation matrices R and t are estimated, all sparse three-dimensional points of the LiDAR sensor may be transferred to a RGB view as additional depth channels. As shown in FIG. 4, FIG. 4 (a) represents the three-dimensional point cloud data of the grab, where the white cross "+" represents the three-dimensional center point of the hinge. FIG. 4 (b) represents the two-dimensional image data of the grab, where the white cross "+" represents the two-dimensional center point of the hinge. FIG. 4 (c) represents an effect diagram of fitting three-dimensional point cloud data to two-dimensional image data according to an implementation of this application, where the gray dots represent the three-dimensional point cloud data, which is fitted into the two-dimensional image data as shown in the figure.

[0074] Through the above method, the three-dimensional data and the two-dimensional data can be conveniently calibrated, so that the remaining three-dimensional data can be fitted into the  two-dimensional image data, thereby improving utilization among the data and information complementation. For objects in the same scenario, multi-dimensional data can be referenced and used simultaneously. Alternatively, position calibration between the targetless laser sensor and the RGB camera can be performed. After calibration, the three-dimensional point cloud data of the visible area of the ship unloader can be fitted into the two-dimensional image data, thereby facilitating the fusion of information of different dimensions and complementing the amount of information, and significantly facilitating the analysis on area information of the ship unloader and automatic operations.

[0075] In some embodiments, LiDAR-RGB calibration may be divided into two aspects:

[0076] 1. Target based calibration. One or more specifically designed calibration boards are needed to retrieve corresponding matching points from an overlapping field of view. This imposes significant limitations on application scenarios, as it is difficult to cover large areas with sufficiently large calibration boards. More importantly, it is impossible to establish an online calibration system using specifically designed markers in the real world, especially in the case of using a global positioning system.

[0077] 2. Targetless based calibration. In addition to the specifically designed markers, objects with the same semantics may also be used as reference points for calibration. An existing method adopts a common object detection or segmentation technology to extract semantic objects from various modes of transportation scenarios. However, it is difficult to find natural objects such as pedestrians and walkers from a GSU environment. Furthermore, for a targetless calibration method based on surface segmentation, it is difficult to obtain representative points from objects, resulting in low calibration accuracy and high computational costs.

[0078] In order to solve the above problems, this application adopts a hinge point localization-based targetless LiDAR-RGB calibration method. A full-automatic targetless calibration system needs to be achieved. This application has the advantages: 1. This application uses positions with semantic meanings to automatically find the reference point pairs, and manual operation is not needed throughout the entire calibration stage. 2. No calibration board is required. 3. The computational cost is relatively low, and therefore an automatic GSU system can perform online calibration. The requirement for frequent changes in a plurality of sensor positions caused by crane swings can be satisfied.

[0079] The feature that the method of this application is applied may be any automatic targetless LiDAR-RGB camera calibration system for automatic GSU scenarios, using the grab as a reference object.

[0080] It is to be understood that, although each step of the flowchart in FIG. 1 is displayed sequentially according to arrows, these steps are not necessarily performed according to an order indicated by the arrows. Unless otherwise explicitly specified in this application, execution of these steps is not strictly limited, and these steps may be performed in other sequences. Moreover, at least part of the steps in FIG. 1 may include a plurality of steps or a plurality of stages. These steps or stages are not necessarily executed at the same time, but can be executed at different times. The order of execution of these steps or stages is not necessarily performed sequentially, but may be performed in turn or alternately with other steps or at least a part of steps or stages of other steps.

[0081] FIG. 2 provides an apparatus 200 for calibrating a visible area of a ship unloader. The apparatus 200 includes:

[0082] a three-dimensional data module 201, configured to acquire three-dimensional point cloud data of the visible area of the ship unloader and acquire three-dimensional center points of a hinge of a grab from the three-dimensional point cloud data;

[0083] a two-dimensional data module 202, configured to acquire two-dimensional image data of the visible area of the ship unloader and acquire two-dimensional center points of the hinge of the grab from the two-dimensional image data;

[0084] a transformation matrix module 203, configured to match the three-dimensional center points of the hinge at a plurality of different spatial positions with the two-dimensional center points of the hinge to calculate a transformation matrix; and

[0085] a data conversion module 204, configured to fit the three-dimensional point cloud data of the visible area of the ship unloader into the two-dimensional image data according to the transformation matrix.

[0086] Further, the three-dimensional data module 201 is configured to:

[0087] calculate a hinge position area according to three-dimensional point cloud data of a grab position segmented by object detectors and a positional relationship between the hinge and the grab; and

[0088] calculate the three-dimensional center points of the hinge according to the three-dimensional point cloud data within the hinge position area.

[0089] Further, the two-dimensional data module 202 is configured to:

[0090] acquire the two-dimensional image data of the visible area of the ship unloader from a top-down perspective and obtain a minimum bounding rectangle area of the grab from the two-dimensional image data from the top-down perspective; and

[0091] obtain, within the minimum bounding rectangle area, the two-dimensional center points  of the hinge through scanning window template matching.

[0092] Further, the transformation matrix module 203 is configured to:

[0093] move the grab to different positions, and acquire the corresponding three-dimensional center points and two-dimensional center points of the hinge at the different positions; and

[0094] match the plurality of three-dimensional center points with the plurality of two-dimensional center points to calculate the transformation matrix.

[0095] It should be noted that the apparatus may include more or fewer modules to achieve the described functions. For example, at least one module in FIG. 2 may be further divided into a plurality of different sub-modules, and each sub-module is configured to perform at least part of the operations described here in conjunction with the corresponding modules. In addition, in some examples, the apparatus 200 may further include additional modules configured to perform other operations described in the specification. Furthermore, those skilled in the art should understand that the exemplary apparatus 200 may be implemented by software, hardware, firmware, or any combination thereof.

[0096] FIG. 3 provides a computer device. According to an implementation, the computer device 300 may include a processor 302, and the processor 302 executes a computer program stored in memory 304. The computer program, when executed by the processor, implements the above method.

[0097] Those skilled in the art should understand that the structure shown in FIG. 3 is only a block diagram of a partial structure related to a solution in this application, and does not constitute a limitation to the computer device to which this application is applied. Specifically, the computer device may include more or fewer components than those shown in the figure, or combine some components, or have different component deployments.

[0098] Those of ordinary skill in the art may understand that all or some of processes of the method in the foregoing implementations may be implemented by the computer program instructing relevant hardware. The computer program may be stored in a non-volatile computer-readable storage medium. When the computer program is executed, the processes of the foregoing method implementations may be included. Any reference to a memory, a storage, a database, or other media used in the various implementations provided by this application may include at least one of non-volatile and volatile memories. The non-volatile memory may include a read-only memory (ROM) , magnetic tape, a floppy disk, a flash memory, or an optical storage. The non-volatile memory may include a random access memory (RAM) or an external high-speed cache memory. As an illustration and not a limitation, the RAM may have a plurality of forms, such as a static random access memory  (SRAM) or a dynamic random access memory (DRAM) .

[0099] This application further provides a computer-readable storage medium having a computer program stored therein. The computer program, when executed by a processor, implements the above steps.

[0100] This application further provides a computer program product. The computer program product is tangibly stored on a computer-readable medium and includes computer-executable instructions. The computer-executable instructions, when executed, cause at least one processor to perform the above method.

[0101] Further, the computer program may be stored and run on a cloud to perform the method. Further, components of the program may be arranged across a plurality of devices and clouds. For example, corresponding steps may be arranged and run on a local or onsite computer, or run on different cloud devices to transmit data through communication connections, and alternatively, may be arranged and run on the local or onsite computer. This application does not limit the approach or method, which may flexibly arrange and deploy corresponding technologies, and fully utilize devices and technologies such as clouds, big data, and supercomputing capabilities for method execution and completion.

[0102] Some implementations of the present disclosure may include an article. The article may include a storage medium configured to store logic. Examples of the storage medium may include one or more types of computer-readable storage media capable of storing electronic data, including a volatile memory or non-volatile memory, a removable or non-removable memory, an erasable or non-erasable memory, a writable or rewritable memory, etc. Examples of the logic may include various software units, such as a software component, a program, an application, a computer program, an application program, a system program, a machine program, operating system software, middleware, firmware, a software module, a routine, a subroutine, a function, a method, a process, a software interface, an application programming interface (API) , an instruction set, computing code, computer code, a code segment, a computer code segment, a word, a value, a symbol, or any combination thereof. In some implementations, for example, the article may store an executable computer program instruction. The executable computer program instruction, when executed by a processor, enables the processor to perform the method and / or operation described herein. The executable computer program instruction may include any suitable type of code, such as source code, compiled code, interpretive code, executable code, static code, and dynamic code. The executable computer program instruction may be implemented according to a predefined computer language, method, or syntax for instructing a computer to perform  specific functions. The instruction may be implemented using any appropriate high-level, low-level, object-oriented, visual, compiled, and / or interpreted programming language.

[0103] The examples including the disclosed architecture are described above. Of course, it is not possible to describe every conceivable combination of components and / or methods, but those skilled in the art should understand that many other combinations and permutations are also feasible. Therefore, the novel architecture is intended to cover all such alternatives, modifications, and variations that fall within the spirit and scope of the appended claims.

Claims

1.A method for calibrating a visible area of a ship unloader, comprising:acquiring three-dimensional point cloud data of the visible area of the ship unloader and acquiring three-dimensional center points of a hinge of a grab from the three-dimensional point cloud data;acquiring two-dimensional image data of the visible area of the ship unloader and acquiring two-dimensional center points of the hinge of the grab from the two-dimensional image data;matching the three-dimensional center points of the hinge at a plurality of different spatial positions with the two-dimensional center points of the hinge to calculate a transformation matrix; andfitting the three-dimensional point cloud data of the visible area of the ship unloader into the two-dimensional image data according to the transformation matrix.2.The method according to claim 1, wherein the acquiring three-dimensional point cloud data of the visible area of the ship unloader and acquiring three-dimensional center points of a hinge of a grab from the three-dimensional point cloud data comprises:calculating a hinge position area according to three-dimensional point cloud data of a grab position segmented by object detectors and a positional relationship between the hinge and the grab; andcalculating the three-dimensional center points of the hinge according to the three-dimensional point cloud data within the hinge position area.3.The method according to claim 1, wherein the acquiring two-dimensional image data of the visible area of the ship unloader and acquiring two-dimensional center points of the hinge of the grab from the two-dimensional image data comprises:acquiring the two-dimensional image data of the visible area of the ship unloader from a top-down perspective and obtaining a minimum bounding rectangle area of the grab from the two-dimensional image data from the top-down perspective; andobtaining, within the minimum bounding rectangle area, the two-dimensional center points of the hinge through scanning window template matching.4.The method according to claim 1, wherein the matching the three-dimensional center points of the hinge at a plurality of different spatial positions with the two-dimensional center points of the hinge to calculate a transformation matrix comprises:moving the grab to different positions, and acquiring the corresponding three-dimensional center points and two-dimensional center points of the hinge at the different positions; andmatching the plurality of three-dimensional center points with the plurality of two-dimensional center points to calculate the transformation matrix.5.An apparatus (200) for calibrating a visible area of a ship unloader, comprising:a three-dimensional data module (201) , configured to acquire three-dimensional point cloud data of the visible area of the ship unloader and acquire three-dimensional center points of a hinge of a grab from the three-dimensional point cloud data;a two-dimensional data module (202) , configured to acquire two-dimensional image data of the visible area of the ship unloader and acquire two-dimensional center points of the hinge of the grab from the two-dimensional image data;a transformation matrix module (203) , configured to match the three-dimensional center points of the hinge at a plurality of different spatial positions with the two-dimensional center points of the hinge to calculate a transformation matrix; anda data conversion module (204) , configured to fit the three-dimensional point cloud data of the visible area of the ship unloader into the two-dimensional image data according to the transformation matrix.6.The apparatus (200) according to claim 5, wherein the three-dimensional data module (201) is configured to:calculate a hinge position area according to three-dimensional point cloud data of a grab position segmented by object detectors and a positional relationship between the hinge and the grab; andcalculate the three-dimensional center points of the hinge according to the three-dimensional point cloud data within the hinge position area.7.The apparatus (200) according to claim 5, wherein the two-dimensional data module (202) is configured to:acquire the two-dimensional image data of the visible area of the ship unloader from a top-down perspective and obtain a minimum bounding rectangle area of the grab from the two-dimensional image data from the top-down perspective; andobtain, within the minimum bounding rectangle area, the two-dimensional center points of the hinge through scanning window template matching.8.The apparatus (200) according to claim 5, wherein the transformation matrix module (203) is configured to:move the grab to different positions, and acquire the corresponding three-dimensional center points and two-dimensional center points of the hinge at the different positions; andmatch the plurality of three-dimensional center points with the plurality of two-dimensional center points to calculate the transformation matrix.9.A computer device, comprising a memory and a processor, wherein the memory has a computer program stored therein, and when the processor executes the computer program, steps of the method according to any one of claims 1 to 4 is implemented.10.A computer-readable storage medium, having a computer program stored therein, wherein the computer program, when executed by a processor, implements steps of the method according to any one of claims 1 to 4.11.A computer program product, tangibly stored on a computer-readable medium and comprising computer-executable instructions, wherein the computer-executable instructions, when executed, cause at least one processor to perform the method according to any one of claims 1 to 4.

Images