Conveying system management based on body detection

Abstract

There are proposed methods, devices, and computer program products for managing an object conveying system based on body detection. In the method, image data is received from an image camera, and thermal data is received from a thermal camera within a predetermined area around a conveyor device in the object conveying system, respectively. A body is detected within the predetermined area based on the image data and the thermal data by a machine learning model. Further, the object conveying system is managed based on the detected body. With these implementations, body detection may be implemented in a more accurate and effective way by considering the image and the thermal data, thereby improving the safety and security level in the object conveying system and reducing labor costs.

Description

CONVEYING SYSTEM MANAGEMENT BASED ON BODY DETECTIONFIELD

[0001] The present disclosure generally relates to computer technology, and more specifically, to methods, devices, and computer program products for managing an object conveying system based on body detection.BACKGROUND

[0002] Currently, object conveying systems have been widely used in various fields. For example, a conveyor belt may be used to move passengers’ baggage in a transportation system (such as an airport) , and the conveyor belt may also be used to deliver packages in a package delivery system. During the operation of the conveyor belt, a person (such as an adult or a child) or an animal may accidentally enter into a prohibited area of the conveying system, causing body injury and / or damage to the conveyor belt. Although a video monitoring system may assist human intrusion detection to some extent, existing solutions heavily rely on manual monitoring. At this point, it is expected that human intrusion detection may be automatically implemented to ensure normal operations of the object conveying system.SUMMARY

[0003] In a first aspect of the present disclosure, there is provided a method for managing an object conveying system based on body detection. The method comprises: receiving image data from an image camera and thermal data from a thermal camera within a predetermined area around a conveyor device in the object conveying system, respectively; detecting, by a machine learning model, a body within the predetermined area based on the image data and the thermal data; and managing the object conveying system based on the detected body.

[0004] In a second aspect of the present disclosure, there is provided an electronic device. The electronic device comprises: a computer processor coupled to a computer-readable memory unit, the memory unit comprising instructions that when executed by the computer processor implements a method according to the first aspect of the present disclosure.

[0005] In a third aspect of the present disclosure, there is provided a non-transitory computer program product, the computer program product comprising a computer readable storage medium having program instructions embodied therewith, the program instructions executable by an electronic device to cause the electronic device to perform a method according to the first aspect of the present disclosure.

[0006] This Summary is provided to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. This Summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter. BRIEF DESCRIPTION OF THE SEVERAL VIEWS OF THE DRAWINGS

[0007] Through the more detailed description in the accompanying drawings, features, advantages and other aspects of implementations of the present disclosure will become more apparent. Several implementations of the present disclosure are illustrated schematically and are not intended to limit the present disclosure. In the drawings:

[0008] Fig. 1 schematically illustrates a block diagram of an example object conveying system in which implementations of the present disclosure may be implemented;

[0009] Fig. 2 schematically illustrates a block diagram for managing an object conveying system based on body detection according to implementations of the present disclosure;

[0010] Fig. 3 schematically illustrates an example procedure for detecting a body area based on a candidate image area and a candidate thermal area according to implementations of the present disclosure;

[0011] Fig. 4 schematically illustrates results for body detection under various situations according to implementations of the present disclosure;

[0012] Fig. 5 schematically illustrates results for body detection according to implementations of the present disclosure;

[0013] Fig. 6 schematically illustrates an example interface of a managing system of the object conveying system according to implementations of the present disclosure;

[0014] Fig. 7 schematically illustrates an object conveying environment according to implementations of the present disclosure;

[0015] Fig. 8 schematically illustrates a flowchart of a method for managing an object conveying system based on body detection according to implementations of the present disclosure; and

[0016] Fig. 9 schematically illustrates a block diagram of a computing device in which various implementations of the present disclosure can be implemented.DETAILED DESCRIPTION

[0017] Principle of the present disclosure will now be described with reference to some implementations. It is to be understood that these implementations are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below.

[0018] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0019] References in the present disclosure to “one implementation, ” “an implementation, ” “an example implementation, ” and the like indicate that the implementation described may include a particular feature, structure, or characteristic, but it is not necessary that every implementation includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same implementation. Further, when a particular feature, structure, or characteristic is described in connection with an example implementation, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other implementations whether or not explicitly described.

[0020] It shall be understood that although the terms “first” and “second” etc. may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another. For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example implementations. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0021] The terminology used herein is for the purpose of describing particular implementations only and is not intended to be limiting of example implementations. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof.

[0022] Principle of the present disclosure will now be described with reference to some implementations. It is to be understood that these implementations are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below. In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0023] It may be understood that data involved in the present technical solution (including but not limited to the data itself, the acquisition or use of the data) should comply with requirements of corresponding laws and regulations and relevant rules.

[0024] It may be understood that, before using the technical solutions disclosed in various implementations of the present disclosure, the user should be informed of the type, scope of use, and use scenario of the personal information involved in the present disclosure in an appropriate manner in accordance with relevant laws and regulations, and the user’s authorization should be obtained.

[0025] For example, in response to receiving an active request from the user, prompt information is sent to the user to explicitly inform the user that the requested operation will need to acquire and use the user’s personal information. Therefore, the user may independently choose, according to the prompt information, whether to provide the personal information to software or hardware such as electronic devices, applications, servers, or storage media that perform operations of the technical solutions of the present disclosure.

[0026] As an optional but non-limiting implementation, in response to receiving an active request from the user, the way of sending prompt information to the user, for example, may include a pop-up window, and the prompt information may be presented in the form of text in the pop-up window. In addition, the pop-up window may also carry a selection control for the user to choose “agree” or “disagree” to provide the personal information to the electronic device.

[0027] It may be understood that the above process of notifying and obtaining the user authorization is only illustrative and does not limit the implementation of the present disclosure. Other methods that satisfy relevant laws and regulations are also applicable to the implementation of the present disclosure.

[0028] As mentioned above, during the operation of the conveying system, the person or the animal may accidentally enter into the prohibited area, causing body injury and / or damage to the conveyor belt. For ease of illustration, a passenger transportation environment may be taken as an example to illustrate the body detection environment, for example, the conveying system may comprise a conveyor belt at a baggage claim area in an airport. Fig. 1 schematically illustrates a block diagram 100 of an object conveying system 110 in which implementations of the present disclosure may be implemented.

[0029] As illustrated in Fig. 1, the object conveying system may be a baggage handling system equipped in the arrival hall of the airport. For example, a conveyor 120 may be deployed in the baggage claim area in the airport, and baggage 130 and 132 may be delivered to the passengers. Passengers 120 and 122 may stand near the conveyor 120 and wait for their baggage. However, sometimes children and / or adults climb onto the conveyor 120 and move along with the conveyor 120, which may cause safety and / or security risks. Although a video monitoring system may assist human intrusion detection to some extent, existing solutions heavily rely on manual monitoring. Usually, there are tens of conveyors in the baggage claim area and in the baggage self-drop area, and monitoring each of the conveyor may lead to unacceptable manual workload. At this point, it is expected that human intrusion detection may be automatically implemented to ensure normal operations of the object conveying system.

[0030] In view of the above, the present disclosure proposes a solution for managing an object conveying system based on body detection. Generally, image and thermal cameras are deployed near the conveyor for collecting image data and thermal data respectively, and then a machine learning model is used for detecting body detection based on the collected image and thermal data. Referring to Fig. 2 for more details, Fig. 2 schematically illustrates a block diagram 200 for managing an object conveying system based on body detection according to implementations of the present disclosure.

[0031] As illustrated in Fig. 2, image camera 210 and thermal camera 220 may be deployed within a predetermined area around the conveyor device (such as the conveyor 120) in the object conveying system 250. Image data 212 is received from the image camera 210 and thermal data 222 is received from a thermal camera 220, respectively. Then, the image 212 and thermal data 222 may be inputted into a machine learning model 230, which may detect a body 240 within the predetermined area based on the image data 212 and the thermal data 222. Further, the object conveying system 250 may be managed based on the detected body 240.

[0032] With these implementations, the proposed solution may detect the body intrusion by the machine learning model automatically. Due to the thermal camera may sense the heat from the human and animals, the body detection may be implemented in a more accurate and effective way based on both of the image and thermal data, thereby improving the safety and security level in the airport, and reducing labor costs. Further, the human intrusion detection solution leverages cutting-edge video analytics tool backed by advanced AI (Artificial Intelligence) deep learning algorithms to smartly and precisely detect the presence of human on baggage conveyors, to prevent any unauthorized intrusion to the restricted area via the moving baggage conveyors.

[0033] In implementations of the present disclosure, in order to detect the body within the predetermined area based on the image data and the thermal data, at least one body area may be identified based on the image data and the thermal data; and then the body may be determined based on the at least one body area in response to determining that the at least one body area belongs to the same body. Here, the thermal data 222 may represent the temperature distribution in the environment with different colors, typically transitioning from cool tones (such as blue) to warm tones (such as red) to visually display the temperature changes. Usually, due to various thermal noise in the environment, the surface temperature of the human body is approximately within a temperature range between 30-37℃, then areas, corresponding to the above temperature range, in the thermal data may be identified for the body detection. For example, the thermal data 222 may be converted into a thermal image with the same resolution (for example, width*height) as that of the image data 212, and then overlapped onto the image data 212 for body detection.

[0034] With these implementations, both of the image data and the thermal data are considered in the body detection, therefore the thermal data may be used to remove image areas with human appearance but have lower temperatures.

[0035] In implementations of the present disclosure, in order to identify the at least one body area from the image data and the thermal data, the machine learning model may identify at least one candidate image area associated with a body from the image data, and meanwhile, the machine learning model may identify at least one candidate thermal area associated with a body from the thermal data. Then, the machine learning model may determine the at least one body area based on the at least one candidate image area and the at least one candidate thermal area.

[0036] Specifically, the machine learning model may comprise: an image processing module for identifying image area (s) related to a body, and a thermal processing module for identifying thermal area (s) related to a body. The image data 212 may be inputted into the image processing module and then at least one candidate image area may be outputted. Meanwhile, the thermal data 222 may be inputted into the thermal processing module and then at least one candidate thermal area may be outputted.

[0037] In these implementations, the image and the thermal processing modules may be trained based on ground-truth samples. For example, an image and labeled body area (s) and classification (s) of the labeled body area (s) may be used as a training sample. The image may be inputted into the image processing module to determine a prediction of an image area. The prediction may be compared with the labelled body area to determine a loss, and then the image processing model may be trained towards a direction for minimizing the loss. At this point, the image processing module may identify the image area related to a body and also provide a classification of the image area (such as, a head, an arm, and the like) . Further, the thermal processing module may be trained similarly. Alternatively and / or in addition, areas with the colors within a predetermined range (corresponding to the human body temperature) may be extracted as the thermal area.

[0038] Referring to Fig. 3 for more details, Fig. 3 schematically illustrates an example procedure 300 for detecting a body area based on a candidate image area and a candidate thermal area according to implementations of the present disclosure. As illustrated in Fig. 3, the image processing module may output a candidate image area 310, and the thermal processing module may output a candidate thermal area 320. Further, the candidate image area 310 and the candidate thermal area 320 may be compared, to determine whether the candidate image area 310 really involves a portion of a body. For example, as illustrated by an arrow 330, an overlapping area may be determined between the candidate image area 310 and the candidate thermal area 320. A confidence level may be obtained by computing Intersection Over Union (IOU) between the candidate image area 310 and the candidate thermal area 320. The IOU may be computed by the following:

[0039] In formula (1) , boximage represents a position of the candidate image area 310 in the image data 212 and boxthermal represents a position of the candidate thermal area 320 in the thermal data 222. A threshold IOU (for example, 50%or another value) may be defined for determining whether the candidate image area 310 really involves a portion of a body. If the IOU determined according to the above formula (1) is equal to or greater than the threshold IOU, then the candidate image area 310 is considered as a body area. With the implementations, the body area may be determined in a more effective and accurate way.

[0040] In order to increase the accuracy level for body detection, the body areas should be checked to determine whether they belong to the same body. Specifically, it is determined that at least one body area belongs to the same body in response to a distribution of the at least one body area meeting a predetermined body posture. The machine learning model may comprise a posture checking module to implement the above function. For example, if one area corresponds to the head of a person, and another area corresponds to the arm of a person, however, a distance between the two areas are greater than a reasonable value (for example, greater than 2 meters) , then the posture checking module may output a negative result indicating that the two body areas are not belong to the same body. The posture checking module may be trained in advance, for example, positive and negative training samples may be used to train the posture checking model, such that the module may output a probability level for indicating whether the inputted body areas belong to the same body.

[0041] In order to further increase the accuracy level for body detection, a total area of at least one body area should be above a predetermined rate of an area of a body. For example, the predetermined rate may be set to, for example, 20, 30%, or another value. In another example, areas corresponding to different portions in the body may have different weights. Specifically, the head may have a greater weight, and the leg may have a smaller weight. With these implementations, the accuracy level for the body detection may be increased further.

[0042] In implementations of the present disclosure, the image data is an image frame from an image sequence (such as an image video) collected by the image camera and the thermal data is a thermal frame from a thermal sequence (such as a thermal video) collected by the thermal camera, and the body is detected in further image frames in the image sequence and further thermal frames in the thermal sequence. Specifically, the image and thermal cameras may collect separate videos, and the machine learning model may be used to analyze the videos continuously. If the time duration of the body occurs in the videos is greater than a threshold time length (for example, 1 or 2 seconds, and the like) , then the machine learning model may output a positive result for the body detection. With these implementations, errors caused by single frame detection may be alleviated and the accuracy level may be increased further.

[0043] Sometimes, the environment temperature affects the accuracy level of the human detection from the thermal data. For example, when the environment temperature is close to the human body temperature or even higher than the human body temperature, the body cannot be correctly identified from the thermal data due to the similarity between human body temperature and environment temperature. At this point, the body detection should rely more on the image data.

[0044] In implementations of the present disclosure, in order to detect the body within the predetermined area based on the image data and the thermal data, an environment temperature of the object conveying system may be obtained; an image weight may be determined for the image data, and a thermal weight may be determined for the thermal data; and then the body may be determined based on the image weight, the image data, the thermal weight, and the thermal data.

[0045] In these implementations, the machine learning model may further comprise a weight module for receiving the environment temperature, and detect the body based on the environment temperature, the thermal data and the image data. For example, if the environment temperature is close to or even higher than the normal body temperature, the thermal weight may be decreased and thus the relative importance of the image data may be increased. Therefore, errors caused by the high environment temperature may be alleviated, and thus the accuracy level of the body detection may be increased. The weight module may be trained to output appropriate weights for the image data and the thermal data.

[0046] In implementations of the present disclosure, modules in the machine learning model may be pretrained individually. Alternatively and / or in addition, these modules may be fine-tuned together. For example, the pretrained modules may be combined trained with training samples. A training sample may comprise an environment temperature, image data, thermal data with the ground-truth label. A loss may be determined between a prediction of the body and ground-true label, and the modules may be updated towards a direction for minimizing the loss.

[0047] Fig. 4 schematically illustrates results 400 for body detection under various situations according to implementations of the present disclosure. As illustrated in Fig. 4, the machine learning model may detect the full body, and the partial body. Further, as the environment temperature is considered in the body detection, the machine learning model may also detect the body with nearby thermal noise.

[0048] In implementations of the present disclosure, the body may be labelled in the image data, referring to Fig. 5 for more details. Fig. 5 schematically illustrates results 500 for body detection according to implementations of the present disclosure. As illustrated in Fig. 5, an image 510 may be inputted into the machine learning model, and no human body is detected in the image 510. Further, with respect to an image 520, a child is behind the suitcase, with the head, one hand, and one foot exposed. At this point, the machine learning model may provide a box 722 for indicating the head of the child, a box 724 for indicating the foot of the child, and a box 726 for indicating the hand of the child. At this point, the body may be clearly indicated in the image and thus the administrator of the conveying system may be informed to take corresponding measures. In an image 530, a ball is put on the suitcase, although the shape of the ball is similar to that of the head, as no human body is detected from the thermal data, nobody is detected from the image 530. With these implementations, even if a human facial mask is placed on the suitcase, due to the low temperature of the facial mask, the model will not mistakenly take the facial mask as a human face.

[0049] Usually, passengers surround the conveyor and wait for their baggage. At this point, although the body of the passenger is detected, the passenger stands within safe areas around the conveyor and should not be taken as human intrusion. In implementations of the present disclosure, in order to manage the object conveying system based on the body, a relationship may be detected between the body and the conveyor device; and the object conveying system may be managed in response to determining that the relationship meets a predetermined risk standard. Here, the machine learning model may further comprise a risk module for detecting whether the detected body is in a risk condition. The risk condition may comprise various types, for example, the body is standing on the conveyor, the body is sitting on the conveyor, and the like. The risk module may be trained with positive and negative training samples. Once trained, the risk module may have the ability to identify a risk situation from the normal situations. Therefore, the machine learning model may provide an alarm only when danger is detected.

[0050] In implementations of the present disclosure, the machine learning model may analyze the passenger’s movements based on the continuously collected image data and thermal data. For example, the machine learning model may accurately identify actions of the passenger when he / she is waiting near the conveyor and / or picking up the baggage from the conveyor. The model may detect whether the passenger’s posture is in a dangerous state. For example, if the passenger falls onto the conveyor when picking up the baggage, then the body intrusion may be detected and corresponding measures may be triggered (pausing the conveyor, or providing the alarm, and the like) . With these implementations, dynamic body movement may be detected based on the image data and thermal data in real time, thereby increasing the safe and security level of the object conveying system.

[0051] In implementations of the present disclosure, the object conveying system may be managed based on the detected body. For example, the conveying device may be paused once the body intrusion is detected. Alternatively and / or in addition, an alarm signal may be provided to inform the passenger of the risk situation. Alternatively and / or in addition, the body may be highlighted in the image data to inform the administrator of the object conveying system and / or the passengers.

[0052] Referring to Fig. 6 for more details, Fig. 6 schematically illustrates an example interface 600 of a managing system of the object conveying system according to implementations of the present disclosure. As illustrated in Fig. 6, the interface 610 may be provided to the administrator. In the interface 610, an alarm 620 may be added into the video to inform the administrator of the dangerous situation. Further, the interface 610 may provide various controls to operate the video, for example, a control 630 may play the video backward, a control 632 may pause the video, and a control 634 may play the video forward. With these implementations the administrator may learn state information of the conveyor at various time points during operation, thereby improving the management efficiency.

[0053] In implementations of the present disclosure, the video may be provided to the passengers. Referring to Fig. 7 for more details, Fig. 7 schematically illustrates an object conveying environment 700 according to implementations of the present disclosure. As illustrated in Fig. 7, the image camera 210 and the thermal camera 220 may be equipped near the conveyor 740.

[0054] In implementations of the present disclosure, a collecting area of the image camara may be overlapped with a collecting area of the thermal camera, the image camera comprises a plurality of image camaras and the thermal camera comprises a plurality of thermal camaras. Specifically, the Filed of View (FoV) of the image camera 210 and the FoV of the thermal camera 220 may be overlapped, therefore the image data and the thermal data may be collected for the same area, and thus the body detection may be more accurate with the help of the thermal data. Although the present disclosure is described by taking one pair of the image camera 210 and the thermal camera 220 as example cameras, a plurality of pairs of image and thermal cameras may be deployed in the object conveying system 250, and the image and thermal cameras in each pair may have an overlapped FoV.

[0055] In implementations of the present disclosure, each pair of image and thermal cameras be deployed with a predetermined angle. Specifically, one pair of image and thermal cameras may face the front to monitor whether body intrusion occurs on the conveyor, for example, an adult falling onto the conveyor may be detected. Meanwhile, another pair of cameras may face down to collect information on the ground near the conveyor, for example, a child trying to climb onto the conveyor may be detected. With these implementations, multiple pairs of cameras may be deployed with different angles so as to detect wherever the intruder enters the conveyor system or whether an accident occurs, which may further improve the detection accuracy.

[0056] Further, a display device 710 may be provided in the object conveying system, and the collected video may be presented in the display device 710 together with the identified body. Further, a speaker 720 and an alarm device 730 may be provided for informing the passengers of the potential risk. With these implementations, the object conveying system 250 may be automatically managed with less manual workload.

[0057] In implementations of the present disclosure, the machine learning model may further comprise a baggage management module. The baggage management module may obtain the baggage information about the passenger (for example, from the Departure Control System (DCS) ) of the Airline system. The baggage management module may detect baggage from the image data and compare the detected baggage and the detected passenger based on the baggage information. If the baggage belongs to the passenger and the baggage on the conveyor is near the passenger, then the baggage may be highlighted to inform the passenger to claim his / her baggage nearby.

[0058] In implementations of the present disclosure, image and thermal cameras may be installed at the entrance of the baggage conveyor belt to ensure that the image and thermal data may be collected with suitable FoVs. After the installation, both cameras may be calibrated and then the video and thermal signals may be continuously fed to the machine learning model (for example, deployed in an edge device) , to identify the human / animal shapes and movements. Specifically, the thermal data may be used to confirm the presence of a human / animal with 2D shape and heat signature analysis if potential intruded body is detected. Then, an alarm may be triggered to notify the administrator and / or passengers. For example, the conveyor may be paused for a while for taking corresponding actions.

[0059] With implementations of the present disclosure, presence of human on baggage conveyors may be detected at the baggage claim area using video analytics and thermal imaging without disturbing normal operations of the conveyors. Specifically, body movement may be identified in different postures, and real-time alarms may be provided to the administrator and / or the passenger in a visual, an audible format, or notifications via mobile devices.

[0060] Although the present disclosure is described by taking the baggage conveying system in the airport as an example, the object conveying system may further comprise a package conveying system in a package delivery environment. For example, image and thermal cameras may be deployed in the package delivery environment for body detection.

[0061] The above paragraphs have described details for managing an object conveying system based on body detection. According to implementations of the present disclosure, a method is provided for managing an object conveying system based on body detection. Reference will be made to Fig. 8 for more details about the method, where Fig. 8 schematically illustrates a flowchart of a method 800 for managing an object conveying system based on body detection according to implementations of the present disclosure. At block 810, image data is received from an image camera and thermal data is received from a thermal camera within a predetermined area around a conveyor device in the object conveying system, respectively. At block 820, a body is detected, by a machine learning model, within the predetermined area based on the image data and the thermal data. At block 830, the object conveying system is managed based on the detected body.

[0062] In some implementations of the present disclosure, detecting by the machine learning model the body within the predetermined area based on the image data and the thermal data comprises: identifying, by the machine learning model, at least one body area based on the image data and the thermal data; and determining, by the machine learning model, the body based on the at least one body area in response to determining that the at least one body area belongs to the same body.

[0063] In some implementations of the present disclosure, identifying by the machine learning model the at least one body area from the image data and the thermal data comprises: identifying, by the machine learning model, at least one candidate image area associated with a body from the image data; identifying, by the machine learning model, at least one candidate thermal area associated with a body from the thermal data; and determining, by the machine learning model, the at least one body area based on the at least one candidate image area and the at least one candidate thermal area.

[0064] In some implementations of the present disclosure, detecting by the machine learning model the body within the predetermined area based on the image data and the thermal data comprises: obtaining an environment temperature of the object conveying system; determining, by the machine learning model, an image weight for the image data and a thermal weight for the thermal data, respectively; and determining, by the machine learning model, the body based on the image weight, the image data, the thermal weight, and the thermal data.

[0065] In some implementations of the present disclosure, the at least one body area is determined as belongs to the same body in response to: a distribution of the at least one body area meeting a predetermined body posture; and a total area of the at least one body area being above a predetermined rate of an area of a body.

[0066] In some implementations of the present disclosure, the image data is an image frame from an image sequence collected by the image camera, the thermal data is a thermal frame from a thermal sequence collected by the thermal camera, and the body is detected in further image frames in the image sequence and further thermal frames in the thermal sequence.

[0067] In some implementations of the present disclosure, managing the object conveying system based on the body comprises: determining a relationship between the body and the conveyor device; and managing the object conveying system in response to determining that the relationship meets a predetermined risk standard.

[0068] In some implementations of the present disclosure, managing the object conveying system comprises any of: pausing the conveying device; providing an alarm signal; or indicating the body in the image data.

[0069] In some implementations of the present disclosure, the object conveying system comprises any of: a baggage conveying system in a transportation environment, or a package conveying system in a package delivery environment.

[0070] In some implementations of the present disclosure, a collecting area of the image camara is overlapped with a collecting area of the thermal camera, the image camera comprises a plurality of image camaras and the thermal camera comprises a plurality of thermal camaras.

[0071] According to implementations of the present disclosure, an apparatus is provided for managing an object conveying system based on body detection. The apparatus comprises: a receiving module, configured to receive image data from an image camera and thermal data from a thermal camera within a predetermined area around a conveyor device in an object conveying system, respectively; a detecting module, configured to detect, by a machine learning model, a body within the predetermined area based on the image data and the thermal data; and a managing module, configured to manage the object conveying system based on the detected body. The apparatus further comprises other modules being configured for implementing other steps in the above method.

[0072] According to implementations of the present disclosure, an electronic device is provided for implementing the method 800. The electronic device comprises: a computer processor coupled to a computer-readable memory unit, the memory unit comprising instructions that when executed by the computer processor implements a method for managing an object conveying system based on body detection. Specifically, the processor configured to cause the device to: receive image data from an image camera and thermal data from a thermal camera within a predetermined area around a conveyor device in an object conveying system, respectively; detect, by a machine learning model, a body within the predetermined area based on the image data and the thermal data; and manage the object conveying system based on the detected body.

[0073] In some implementations of the present disclosure, the electronic device is further caused to: identify, by the machine learning model, at least one body area based on the image data and the thermal data; and determine, by the machine learning model, the body based on the at least one body area in response to determining that the at least one body area belongs to the same body.

[0074] In some implementations of the present disclosure, the electronic device is further caused to: identify, by the machine learning model, at least one candidate image area associated with a body from the image data; identify, by the machine learning model, at least one candidate thermal area associated with a body from the thermal data; and determine, by the machine learning model, the at least one body area based on the at least one candidate image area and the at least one candidate thermal area.

[0075] In some implementations of the present disclosure, the electronic device is further caused to: obtain an environment temperature of the object conveying system; determine, by the machine learning model, an image weight for the image data and a thermal weight for the thermal data, respectively; and determine, by the machine learning model, the body based on the image weight, the image data, the thermal weight, and the thermal data.

[0076] In some implementations of the present disclosure, the electronic device is further caused to: determine that the at least one body area belongs to the same body in response to: a distribution of the at least one body area meeting a predetermined body posture; and a total area of the at least one body area being above a predetermined rate of an area of a body.

[0077] In some implementations of the present disclosure, the image data is an image frame from an image sequence collected by the image camera, the thermal data is a thermal frame from a thermal sequence collected by the thermal camera, and the body is detected in further image frames in the image sequence and further thermal frames in the thermal sequence.

[0078] In some implementations of the present disclosure, the electronic device is further caused to: determine a relationship between the body and the conveyor device; and manage the object conveying system in response to determining that the relationship meets a predetermined risk standard.

[0079] In some implementations of the present disclosure, the electronic device is further caused to: pause the conveying device; provide an alarm signal; or indicate the body in the image data.

[0080] In some implementations of the present disclosure, the object conveying system comprises any of: a baggage conveying system in a transportation environment, or a package conveying system in a package delivery environment.

[0081] In some implementations of the present disclosure, a collecting area of the image camara is overlapped with a collecting area of the thermal camera, the image camera comprises a plurality of image camaras and the thermal camera comprises a plurality of thermal camaras.

[0082] According to implementations of the present disclosure, a non-transitory computer program product is provided, the non-transitory computer program product comprising a computer readable storage medium having program instructions embodied therewith, the program instructions executable by an electronic device to cause the electronic device to perform a method for managing an object conveying system based on body detection. The method comprises: receiving image data from an image camera and thermal data from a thermal camera within a predetermined area around a conveyor device in the object conveying system, respectively; detecting, by a machine learning model, a body within the predetermined area based on the image data and the thermal data; and managing the object conveying system based on the detected body.

[0083] Fig. 9 illustrates a block diagram of a computing device 900 in which various implementations of the present disclosure can be implemented. It would be appreciated that the computing device 900 shown in Fig. 9 is merely for purpose of illustration, without suggesting any limitation to the functions and scopes of the present disclosure in any manner. The computing device 900 may be used to implement the above method in implementations of the present disclosure. As shown in Fig. 9, the computing device 900 may be a general-purpose computing device. The computing device 900 may at least comprise one or more processors or processing units 910, a memory 920, a storage unit 930, one or more communication units 940, one or more input devices 950, and one or more output devices 960.

[0084] The processing unit 910 may be a physical or virtual processor and can implement various processes based on programs stored in the memory 920. In a multi-processor system, multiple processing units execute computer executable instructions in parallel so as to improve the parallel processing capability of the computing device 900. The processing unit 910 may also be referred to as a central processing unit (CPU) , a microprocessor, a controller, or a microcontroller.

[0085] The computing device 900 typically includes various computer storage medium. Such medium can be any medium accessible by the computing device 900, including, but not limited to, volatile and non-volatile medium, or detachable and non-detachable medium. The memory 720 can be a volatile memory (for example, a register, cache, Random Access Memory (RAM) ) , a non-volatile memory (such as a Read-Only Memory (ROM) , Electrically Erasable Programmable Read-Only Memory (EEPROM) , or a flash memory) , or any combination thereof. The storage unit 930 may be any detachable or non-detachable medium and may include a machine-readable medium such as a memory, flash memory drive, magnetic disk, or another media, which can be used for storing information and / or data and can be accessed in the computing device 900.

[0086] The computing device 900 may further include additional detachable / non-detachable, volatile / non-volatile memory medium. Although not shown in Fig. 9, it is possible to provide a magnetic disk drive for reading from and / or writing into a detachable and non-volatile magnetic disk and an optical disk drive for reading from and / or writing into a detachable non-volatile optical disk. In such cases, each drive may be connected to a bus (not shown) via one or more data medium interfaces.

[0087] Communication unit 940 communicates with a further computing device via the communication medium. In addition, the functions of the components in the computing device 900 can be implemented by a single computing cluster or multiple computing machines that can communicate via communication connections. Therefore, the computing device 900 can operate in a networked environment using a logical connection with one or more other servers, networked personal computers (PCs) or further general network nodes.

[0088] The input device 950 may be one or more of a variety of input devices, such as a mouse, keyboard, tracking ball, voice-input device, and the like. The output device 960 may be one or more of a variety of output devices, such as a display, loudspeaker, printer, and the like. By means of the communication unit 940, the computing device 900 can further communicate with one or more external devices (not shown) such as the storage devices and display device, with one or more devices enabling the user to interact with the computing device 900, or any devices (such as a network card, a modem, and the like) enabling the computing device 900 to communicate with one or more other computing devices, if required. Such communication can be performed via input / output (I / O) interfaces (not shown) .

[0089] In some implementations, instead of being integrated in a single device, some, or all components of the computing device 900 may also be arranged in cloud computing architecture. In the cloud computing architecture, the components may be provided remotely and work together to implement the functionalities described in the present disclosure. In some implementations, cloud computing provides computing, software, data access and storage service, which will not require end users to be aware of the physical locations or configurations of the systems or hardware providing these services. In various implementations, the cloud computing provides the service via a wide area network (such as Internet) using suitable protocols. For example, a cloud computing provider provides applications over the wide area network, which can be accessed through a web browser or any other computing components. The software or components of the cloud computing architecture and corresponding data may be stored on a server at a remote position. The computing resources in the cloud computing environment may be merged or distributed at locations in a remote data center. Cloud computing infrastructures may provide the services through a shared data center, though they behave as a single access point for the users. Therefore, the cloud computing architectures may be used to provide the components and functionalities described herein from a service provider at a remote location. Alternatively, they may be provided from a conventional server or installed directly or otherwise on a client device.

[0090] The functionalities described herein can be performed, at least in part, by one or more hardware logic components. For example, and without limitation, illustrative types of hardware logic components that can be used include Field-Programmable Gate Arrays (FPGAs) , Application-specific Integrated Circuits (ASICs) , Application-specific Standard Products (ASSPs) , System-on-a-chip systems (SOCs) , Complex Programmable Logic Devices (CPLDs) , and the like.

[0091] Program code for carrying out the methods of the subject matter described herein may be written in any combination of one or more programming languages. The program code may be provided to a processor or controller of a general-purpose computer, special purpose computer, or other programmable data processing apparatus such that the program code, when executed by the processor or controller, causes the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may be executed entirely or partly on a machine, executed as a stand-alone software package partly on the machine, partly on a remote machine, or entirely on the remote machine or server.

[0092] In the context of this disclosure, a machine-readable medium may be any tangible medium that may contain or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. A machine-readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the machine-readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random-access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0093] Further, while operations are illustrated in a particular order, this should not be understood as requiring that such operations are performed in the particular order shown or in sequential order, or that all illustrated operations are performed to achieve the desired results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the subject matter described herein, but rather as descriptions of features that may be specific to particular implementations. Certain features that are described in the context of separate implementations may also be implemented in combination in a single implementation. Rather, various features described in a single implementation may also be implemented in multiple implementations separately or in any suitable sub-combination.

[0094] Although the subject matter has been described in language specific to structural features and / or methodological acts, it is to be understood that the subject matter specified in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

[0095] From the foregoing, it will be appreciated that specific implementations of the presently disclosed technology have been described herein for purposes of illustration, but that various modifications may be made without deviating from the scope of the disclosure. Accordingly, the presently disclosed technology is not limited except as by the appended claims.

[0096] Implementations of the subject matter and the functional operations described in the present disclosure can be implemented in various systems, digital electronic circuitry, or in computer software, firmware, or hardware, including the structures disclosed in this specification and their structural equivalents, or in combinations of one or more of them. Implementations of the subject matter described in this specification can be implemented as one or more computer program products, i.e., one or more modules of computer program instructions encoded on a tangible and non-transitory computer readable medium for execution by, or to control the operation of, data processing apparatus. The computer readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of matter effecting a machine-readable propagated signal, or a combination of one or more of them. The term “data processing unit” or “data processing apparatus” encompasses all apparatus, devices, and machines for processing data, including by way of example a programmable processor, a computer, or multiple processors or computers. The apparatus can include, in addition to hardware, code that creates an execution environment for the computer program in question, e.g., code that constitutes processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more of them.

[0097] A computer program (also known as a program, software, software application, script, or code) can be written in any form of programming language, including compiled or interpreted languages, and it can be deployed in any form, including as a stand-alone program or as a module, component, subroutine, or other unit suitable for use in a computing environment. A computer program does not necessarily correspond to a file in a file system. A program can be stored in a portion of a file that holds other programs or data (e.g., one or more scripts stored in a markup language document) , in a single file dedicated to the program in question, or in multiple coordinated files (e.g., files that store one or more modules, sub programs, or portions of code) . A computer program can be deployed to be executed on one computer or on multiple computers that are located at one site or distributed across multiple sites and interconnected by a communication network.

[0098] Processors suitable for the execution of a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from a read only memory or a random access memory or both. The essential elements of a computer are a processor for performing instructions and one or more memory devices for storing instructions and data. Generally, a computer will also include, or be operatively coupled to receive data from or transfer data to, or both, one or more mass storage devices for storing data, e.g., magnetic, magneto optical disks, or optical disks. However, a computer need not have such devices. Computer readable media suitable for storing computer program instructions and data include all forms of nonvolatile memory, media, and memory devices, including by way of example semiconductor memory devices, e.g., EPROM, EEPROM, and flash memory devices. The processor and the memory can be supplemented by, or incorporated in, special purpose logic circuitry.

[0099] It is intended that the specification, together with the drawings, be considered exemplary only, where exemplary means an example. As used herein, the use of “or” is intended to include “and / or” , unless the context clearly indicates otherwise.

[0100] While the present disclosure contains many specifics, these should not be construed as limitations on the scope of any disclosure or of what may be claimed, but rather as descriptions of features that may be specific to particular implementations of particular disclosures. Certain features that are described in the present disclosure in the context of separate implementations can also be implemented in combination in a single implementation. Conversely, various features that are described in the context of a single implementation can also be implemented in multiple implementations separately or in any suitable sub-combination. Moreover, although features may be described above as acting in certain combinations and even initially claimed as such, one or more features from a claimed combination can in some cases be excised from the combination, and the claimed combination may be directed to a sub-combination or variation of a sub-combination.

[0101] Similarly, while operations are illustrated in the drawings in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. Moreover, the separation of various system components in the implementations described in the present disclosure should not be understood as requiring such separation in all implementations. Only a few implementations and examples are described and other implementations, enhancements and variations can be made based on what is described and illustrated in the present disclosure.

Claims

1.A method for managing an object conveying system based on body detection, comprising:receiving image data from an image camera and thermal data from a thermal camera within a predetermined area around a conveyor device in the object conveying system, respectively;detecting, by a machine learning model, a body within the predetermined area based on the image data and the thermal data; andmanaging the object conveying system based on the detected body.2.The method according to claim 1, wherein detecting by the machine learning model the body within the predetermined area based on the image data and the thermal data comprises:identifying, by the machine learning model, at least one body area based on the image data and the thermal data; anddetermining, by the machine learning model, the body based on the at least one body area in response to determining that the at least one body area belongs to the same body.3.The method according to claim 2, wherein identifying by the machine learning model the at least one body area from the image data and the thermal data comprises:identifying, by the machine learning model, at least one candidate image area associated with a body from the image data;identifying, by the machine learning model, at least one candidate thermal area associated with a body from the thermal data; anddetermining, by the machine learning model, the at least one body area based on the at least one candidate image area and the at least one candidate thermal area.4.The method according to claim 1, wherein detecting by the machine learning model the body within the predetermined area based on the image data and the thermal data comprises:obtaining an environment temperature of the object conveying system;determining, by the machine learning model, an image weight for the image data and a thermal weight for the thermal data, respectively; anddetermining, by the machine learning model, the body based on the image weight, the image data, the thermal weight, and the thermal data.5.The method according to claim 3, wherein the at least one body area is determined as belongs to the same body in response to:a distribution of the at least one body area meeting a predetermined body posture; anda total area of the at least one body area being above a predetermined rate of an area of a body.6.The method according to claim 1, wherein the image data is an image frame from an image sequence collected by the image camera, the thermal data is a thermal frame from a thermal sequence collected by the thermal camera, and the body is detected in further image frames in the image sequence and further thermal frames in the thermal sequence.7.The method according to claim 1, wherein managing the object conveying system based on the body comprises:determining a relationship between the body and the conveyor device; andmanaging the object conveying system in response to determining that the relationship meets a predetermined risk standard.8.The method according to claim 1, wherein managing the object conveying system comprises any of:pausing the conveying device;providing an alarm signal; orindicating the body in the image data.9.The method according to claim 1, wherein the object conveying system comprises any of:a baggage conveying system in a transportation environment, or a package conveying system in a package delivery environment.10.The method according to claim 1, wherein a collecting area of the image camara is overlapped with a collecting area of the thermal camera, the image camera comprises a plurality of image camaras and the thermal camera comprises a plurality of thermal camaras.11.An electronic device, comprising:a processor configured to cause the device to:receive image data from an image camera and thermal data from a thermal camera within a predetermined area around a conveyor device in an object conveying system, respectively;detect, by a machine learning model, a body within the predetermined area based on the image data and the thermal data; andmanage the object conveying system based on the detected body.12.The device of claim 11, wherein the electronic device is further caused to:identify, by the machine learning model, at least one body area based on the image data and the thermal data; anddetermine, by the machine learning model, the body based on the at least one body area in response to determining that the at least one body area belongs to the same body.13.The device according to claim 12, wherein the electronic device is further caused to:identify, by the machine learning model, at least one candidate image area associated with a body from the image data;identify, by the machine learning model, at least one candidate thermal area associated with a body from the thermal data; anddetermine, by the machine learning model, the at least one body area based on the at least one candidate image area and the at least one candidate thermal area.14.The device according to claim 11, wherein the electronic device is further caused to:obtain an environment temperature of the object conveying system;determine, by the machine learning model, an image weight for the image data and a thermal weight for the thermal data, respectively; anddetermine, by the machine learning model, the body based on the image weight, the image data, the thermal weight, and the thermal data.15.The device according to claim 13, wherein the electronic device is further caused to:determine that the at least one body area belongs to the same body in response to:a distribution of the at least one body area meeting a predetermined body posture; anda total area of the at least one body area being above a predetermined rate of an area of a body.16.The device according to claim 11, wherein the image data is an image frame from an image sequence collected by the image camera, the thermal data is a thermal frame from a thermal sequence collected by the thermal camera, and the body is detected in further image frames in the image sequence and further thermal frames in the thermal sequence.17.The device according to claim 11, wherein the electronic device is further caused to:determine a relationship between the body and the conveyor device; andmanage the object conveying system in response to determining that the relationship meets a predetermined risk standard.18.The device according to claim 11, wherein the electronic device is further caused to:pause the conveying device;provide an alarm signal; orindicate the body in the image data.19.The device according to claim 11, wherein the object conveying system comprises any of: a baggage conveying system in a transportation environment, or a package conveying system in a package delivery environment, wherein a collecting area of the image camara is overlapped with a collecting area of the thermal camera, the image camera comprises a plurality of image camaras and the thermal camera comprises a plurality of thermal camaras.20.A non-transitory computer program product, the non-transitory computer program product comprising a computer readable storage medium having program instructions embodied therewith, the program instructions executable by an electronic device to cause the electronic device to perform a method for managing an object conveying system based on body detection, comprising:receiving image data from an image camera and thermal data from a thermal camera within a predetermined area around a conveyor device in the object conveying system, respectively;detecting, by a machine learning model, a body within the predetermined area based on the image data and the thermal data; andmanaging the object conveying system based on the detected body.

Images