Method, device and product for managing baggage

Abstract

There are proposed methods, devices, and computer program products for managing baggage carried by a passenger in a passenger transportation environment. In the method, video data of the passenger transportation environment that comprises at least one passenger and baggage carried by the at least one passenger is obtained. The baggage carried by the at least one passenger is identified from the video data. A spatial indicator for indicating space that is to be occupied by the baggage in a transportation vehicle is provided based on the identified baggage. With these implementations, baggage carried by the passenger may be identified and statistical analysis of the identified baggage may be conducted to generate the spatial indicator, thereby improving baggage counting efficiency and accuracy, and reducing labor costs.

Description

METHOD, DEVICE AND PRODUCT FOR MANAGING BAGGAGEFIELD

[0001] The present disclosure generally relates to computer technology, and more specifically, to methods, devices, and computer program products for managing baggage carried by a passenger in a passenger transportation environment.BACKGROUND

[0002] Currently, baggage counting at passenger transportation environments (e.g., at a boarding gate) is either absent or conducted manually by airline operators, resulting in inaccurate evaluation and bottlenecks, increasing the boarding time, thereby jeopardizing the boarding experience of passengers. Hand carry baggage counting is important considering that the storage space of overhead compartments on a flight is limited, and overloading is detrimental to flight safety. At this point, it is desired to detect and count hand carry baggage automatically.SUMMARY

[0003] In a first aspect of the present disclosure, there is provided a method for managing baggage carried by a passenger in a passenger transportation environment. In the method, video data of the passenger transportation environment that comprises at least one passenger and baggage carried by the at least one passenger is obtained. The baggage carried by the at least one passenger is identified from the video data. A spatial indicator for indicating space that is to be occupied by the baggage in a transportation vehicle is provided based on the identified baggage.

[0004] In a second aspect of the present disclosure, there is provided an electronic device. The electronic device comprises: a computer processor coupled to a computer-readable memory unit, the memory unit comprising instructions that when executed by the computer processor implements a method according to the first aspect of the present disclosure.

[0005] In a third aspect of the present disclosure, there is provided a non-transitory computer program product, the computer program product comprising a computer readable storage medium having program instructions embodied therewith, the program instructions executable by an electronic device to cause the electronic device to perform a method according to the first aspect of the present disclosure.

[0006] This Summary is provided to introduce a selection of concepts in a simplified form that are further described below in the Detailed Description. This Summary is not intended to identify key features or essential features of the claimed subject matter, nor is it intended to be used to limit the scope of the claimed subject matter.

[0007] BRIEF DESCRIPTION OF THE SEVERAL VIEWS OF THE DRAWINGS

[0008] Through the more detailed description in the accompanying drawings, features, advantages and other aspects of implementations of the present disclosure will become more apparent. Several implementations of the present disclosure are illustrated schematically and are not intended to limit the present disclosure. In the drawings:

[0009] Fig. 1 schematically illustrates an example passenger transportation environment in which implementations of the present disclosure may be implemented;

[0010] Fig. 2 schematically illustrates a block diagram of for managing baggage carried by a passenger in a passenger transportation environment according to implementations of the present disclosure;

[0011] Fig. 3 schematically illustrates an example interface of a baggage management system according to implementations of the present disclosure;

[0012] Fig. 4 schematically illustrates a block diagram of a procedure for baggage identification according to implementations of the present disclosure;

[0013] Fig. 5 schematically illustrates a block diagram of a procedure for confirming the identified baggage according to implementations of the present disclosure;

[0014] Fig. 6 schematically illustrates a block diagram of a deployment of a camera for collecting video data according to implementations of the present disclosure;

[0015] Fig. 7 schematically illustrates a flowchart of a method for managing baggage carried by a passenger in a passenger transportation environment according to implementations of the present disclosure; and

[0016] Fig. 8 schematically illustrates a block diagram of a computing device in which various implementations of the present disclosure can be implemented.DETAILED DESCRIPTION

[0017] Principle of the present disclosure will now be described with reference to some implementations. It is to be understood that these implementations are described only for the purpose of illustration and help those skilled in the art to understand and implement the present disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below.

[0018] In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0019] References in the present disclosure to “one implementation, ” “an implementation, ” “an example implementation, ” and the like indicate that the implementation described may include a particular feature, structure, or characteristic, but it is not necessary that every implementation includes the particular feature, structure, or characteristic. Moreover, such phrases are not necessarily referring to the same implementation. Further, when a particular feature, structure, or characteristic is described in connection with an example implementation, it is submitted that it is within the knowledge of one skilled in the art to affect such feature, structure, or characteristic in connection with other implementations whether or not explicitly described.

[0020] It shall be understood that although the terms “first” and “second” etc. may be used herein to describe various elements, these elements should not be limited by these terms. These terms are only used to distinguish one element from another. For example, a first element could be termed a second element, and similarly, a second element could be termed a first element, without departing from the scope of example implementations. As used herein, the term “and / or” includes any and all combinations of one or more of the listed terms.

[0021] The terminology used herein is for the purpose of describing particular implementations only and is not intended to be limiting of example implementations. As used herein, the singular forms “a” , “an” and “the” are intended to include the plural forms as well, unless the context clearly indicates otherwise. It will be further understood that the terms “comprises” , “comprising” , “has” , “having” , “includes” and / or “including” , when used herein, specify the presence of stated features, elements, and / or components etc., but do not preclude the presence or addition of one or more other features, elements, components and / or combinations thereof.

[0022] Principle of the present disclosure will now be described with reference to some implementations. It is to be understood that these implementations are described only for the purpose of illustration and help those skilled in the art to understand and implement the present  disclosure, without suggesting any limitation as to the scope of the disclosure. The disclosure described herein can be implemented in various manners other than the ones described below. In the following description and claims, unless defined otherwise, all technical and scientific terms used herein have the same meaning as commonly understood by one of ordinary skills in the art to which this disclosure belongs.

[0023] It may be understood that data involved in the present technical solution (including but not limited to the data itself, the acquisition or use of the data) should comply with requirements of corresponding laws and regulations and relevant rules.

[0024] It may be understood that, before using the technical solutions disclosed in various implementation of the present disclosure, the user should be informed of the type, scope of use, and use scenario of the personal information involved in the present disclosure in an appropriate manner in accordance with relevant laws and regulations, and the user’s authorization should be obtained.

[0025] For example, in response to receiving an active request from the user, prompt information is sent to the user to explicitly inform the user that the requested operation will need to acquire and use the user’s personal information. Therefore, the user may independently choose, according to the prompt information, whether to provide the personal information to software or hardware such as electronic devices, applications, servers, or storage media that perform operations of the technical solutions of the present disclosure.

[0026] As an optional but non-limiting implementation, in response to receiving an active request from the user, the way of sending prompt information to the user, for example, may include a pop-up window, and the prompt information may be presented in the form of text in the pop-up window. In addition, the pop-up window may also carry a selection control for the user to choose “agree” or “disagree” to provide the personal information to the electronic device.

[0027] It may be understood that the above process of notifying and obtaining the user authorization is only illustrative and does not limit the implementation of the present disclosure. Other methods that satisfy relevant laws and regulations are also applicable to the implementation of the present disclosure.

[0028] As mentioned above, an issue in a passenger transportation environment is low efficiency in detecting and counting baggage. For ease of illustration, the passenger transportation environment may be taken as an example to illustrate the low efficiency issue. Fig. 1 schematically illustrates an example passenger transportation environment 100 in which implementations of the present disclosure may be implemented. As illustrated in Fig. 1, a  passenger 110 may carry a plurality of baggage such as a baggage 120 and a baggage 122. Before boarding a vehicle 130, the plurality of baggage may be detected and counted because the storage space of overhead compartments on the vehicle 130 is limited, and overloading is detrimental to the safety of vehicle 130.

[0029] In implementations of the present disclosure, the vehicle 130 may include a flight and the passenger transportation environment may be an environment in which the passenger 110 takes the flight. In addition, baggage counting is particularly essential for small flights.

[0030] In view of the above, the present disclosure proposes a solution for managing baggage carried by a passenger in a passenger transportation environment. In this solution, a baggage counting system as a kind of object detection system is provided to automatically detect if there is a presence of a baggage hand carried by a passenger and simultaneously count and size check the hand carry baggage in real time in a speedy and accurate manner.

[0031] Referring to Fig. 2 for more details about the solution for managing baggage carried by a passenger in a passenger transportation environment. Fig. 2 schematically illustrates a block diagram 220 of for managing baggage carried by a passenger in a passenger transportation environment according to implementations of the present disclosure. As illustrated in Fig. 2, video data 220 of the passenger transportation environment 210 that comprises at least one passenger and baggage carried by the at least one passenger is obtained. Further, the baggage 230 carried by the at least one passenger is identified from the video data 220. Then, based on the identified baggage 230, a spatial indicator 240 for indicating space that is to be occupied by the baggage in a transportation vehicle is provided.

[0032] With these implementations, the proposed solution may identify baggage carried by the passenger and conduct statistical analysis of the identified baggage to generate the spatial indicator, thereby improving baggage counting efficiency and accuracy, and reducing labor costs.

[0033] In implementations of the present disclosure, the baggage 230 may be identified from the video data by a machine learning model. In an example, the machine learning model may include a deep learning model, an object detection model, a reinforcement learning model, and the like.

[0034] In implementations of the present disclosure, a position of the baggage in the video data may be provided. Referring to Fig. 3 for more details about identifying the baggage. Fig. 3 schematically illustrates an example interface of a baggage management system 300 according to implementations of the present disclosure. As illustrated in FIG. 3, the position of the baggage in the video data may be represented by a bounding box 330 in a video 320.  The baggage management system 300 may be implemented by a software application and presented to the airline staff. With these implementations, it is convenient for the staff to view and confirm the baggage, thereby improving working efficiency of the staff.

[0035] In implementations of the present disclosure, candidate baggage may be identified from the video data by the machine learning model and in response to a determination that a total number of frames comprising the candidate baggage in the video data exceeds a threshold frame number (for example, 10 or another value) , the candidate baggage may be output as the baggage. The more frames comprise the candidate baggage, the higher the confidence of the candidate baggage being output as the baggage. In an example, the threshold frame number may be set to 10, if 12 frames comprise the candidate baggage, the candidate baggage may be output as the baggage. In another example, if only 5 frames comprise the candidate baggage, there may be an error in the baggage identification and the candidate baggage may not be output as the baggage. With these implementations, the accuracy of identifying baggage may be improved.

[0036] Referring to Fig. 4 for more details about identifying the candidate baggage. Fig. 4 schematically illustrates a block diagram 400 of a procedure for baggage identification according to implementations of the present disclosure. As illustrated in Fig. 4, a first position 412 of a first candidate baggage (for example, a suitcase) in a first frame 410 (e.g., at time T-1) in the video data may be identified by the machine learning model. A second position 422 of a second candidate baggage (for example, a suitcase) in a second frame 420 (e.g., at time T) that follows the first frame 410 in the video data may be identified by the machine learning model. A predicted position 432 of the first candidate baggage in the second frame 420 may be determined by the machine learning model according to the first position 412. Then, if the predicted position 432 and the second position 422 meets a predetermined condition, the first candidate baggage may be output as the baggage. In other words, the suitcase may be identified as the baggage.

[0037] In an example, the predetermined condition may be an overlapping area between the predicted position and the second position. With these implementations, by tracking the candidate baggage in consecutive frames, the accuracy of identifying baggage may be improved.

[0038] Referring to Fig. 5 for more details about confirming the identified baggage. Fig. 5 schematically illustrates a block diagram of a procedure for confirming the identified baggage according to implementations of the present disclosure. As illustrated in Fig. 5, there is an overlapping area between the position 422 and the predicted position 432. A confidence  level 510 may be obtained by computing Intersection Over Union (IOU) between the position 422 and the predicted position 432. The IOU may be computed by the following expression:

[0039] In the formula (1) , boxidentified represents the position 422 and boxpredictedrepresents the predicted position 432.

[0040] Similarly, returning to Fig. 4, with respect to a backpack carried by the passenger 110, a first position 414 of a first candidate backpack may be identified from in the first frame 410, and a second position 424 of a second candidate backpack may be identified from in the second frame 420. If a predicted position 434 of the backpack and the second position 424 meets the predetermined condition, the second candidate backpack may be output as the baggage.

[0041] In implementations of the present disclosure, a first passenger who carries the first candidate baggage in the first frame 410 may be identified. Still referring to Fig. 4, a second passenger 110-2 who carries the second candidate baggage in the second frame 420 may be identified. If the first passenger 110-1 matches the second passenger 110-2, the first candidate baggage may be output as the baggage. If the baggage appears in the consecutive two frames are carried by the same passenger, the baggage in the previous frame may be determined as the baggage. With these implementations, in the case of two baggage with similar appearances carried by different passengers, the risk of misidentifying the baggage may be reduced. Here, appearances (for example, images of clothes near the candidate baggage, such as portions other than the candidate baggage in the bounding boxes) of the first and second passengers 110-1 and 110-2 are compared to determine whether the two passengers are the same passenger. Therefore, the baggage may be detected without using personal sensitive information.

[0042] In implementations of the present disclosure, only images of the candidate baggage are used for the baggage management and other areas outside the candidate baggage (such as the face and body of the passenger) in the images of the video are masked. In this way, the baggage may be managed while ensuring the personal data security.

[0043] In implementations of the present disclosure, the spatial indicator may comprise at least any of: a quantity, a type, a size, or a weight prediction of the baggage, and the type may comprise at least any of: a backpack, a suitcase, a handbag, a shopping bag, a baby stroller, or a wheelchair. Returning to Fig. 3, the spatial indicator area 340 includes the quantity and type of baggage. Alternatively, or in addition, the spatial indicator area 340 may further include  the size or weight prediction of the baggage. The type 354 of the baggage includes the backpack and suitcase. Alternatively, or in addition, the type 354 of the baggage may further include the handbag, shopping bag, baby stroller, or wheelchair. With these implementations, the available space of the transportation vehicle may be measured from multiple aspects and the flexibility of storing the baggage in the transportation vehicle may be improved.

[0044] In implementations of the present disclosure, an association relationship between the at least one passenger and the baggage carried by the at least one passenger may be provided. Still referring to Fig. 3, the passenger PID-001 350-1 carries the baggage BID-001 352-1. The passenger PID-002 350-2 carries two baggage which are the baggage BID-002 352-2 and baggage BID-003 352-3.

[0045] In implementations of the present disclosure, an image of the baggage may be provided. Still referring to Fig. 3, the image 356 of the baggage BID-001 352-1 is provided. Similarly, images of other baggage BID-002 352-2 and BID-003 352-3 are provided. With these implementations, it is easy to conduct statistical analysis of the baggage and track the baggage, thereby improving efficiency. It is to be noted that passenger images are not captured to protect privacy of passengers.

[0046] In implementations of the present disclosure, the baggage management system 310 may provide a plurality of functions to manipulate the video 320. As illustrated in Fig. 3, by triggering the terminate function 360, the video 320 may be terminated. By triggering the stop function 362, the video 320 may be stopped. By triggering the replay function 364, the video 320 may be replayed. With these implementations, uses can control the video 320 flexibly.

[0047] In implementations of the present disclosure, the video data from a camera that is deployed in the passenger transportation environment may be received. Referring to Fig. 6 for more details about deploying the camera. Fig. 6 schematically illustrates a block diagram of a deployment of a camera for collecting video data according to implementations of the present disclosure. As illustrated in Fig. 6, an angle 620 between a direction of the camera and a normal direction of a ground in the passenger transportation environment may meet a threshold angle, a difference between a height 630 of the camera and a height of the ground may meet a threshold height, and a field of view of the camera may meet a threshold range.

[0048] In an example, the angle 620 may be between 25 to 35 degrees. Preferentially, the angle 620 may be 29, 30, or 31 degrees. In an example, the difference may be between 2 to 3.5 meters. Preferentially, the difference may be 2.4, 2.5, or 2.6 meters. In an example, a width of the field of view may be the width 640 and the width 640 may be between 2 to 4  meters. Preferentially, the width 640 may be 2.9, 3.0, or 3.1 meters. Because the width 640 includes edge areas which do not have a good quality, the width of the field of view may be the shorter width 642 and the width 642 may be between 0.5 to 1.5 meters. Preferentially, the width 642 may be 0.9, 1.0, or 1.1 meter. With these implementations, there is not blind spots during the process of collecting data by the camera and thus the identification accuracy may be improved.

[0049] In implementations of the present disclosure, the camera may be deployed at an entrance in the passenger transportation environment and the at least one passenger may enter the transportation vehicle through the entrance. Because the entrance is the last place to board on the transportation vehicle, deploying the camera at the entrance may improve the accuracy of identifying baggage.

[0050] In implementations of the present disclosure, a spatial prediction associated with the transportation vehicle may be determined based on the spatial indicator of the baggage that has already passed through the entrance and prompt information may be provided based on a comparison between the spatial prediction and a spatial requirement of the transportation vehicle. In an example, if the spatial prediction is less than the spatial requirement (for example, 80%of the spatial requirement) , the prompt information may be expressed in green color; if the spatial prediction is close to the spatial requirement (for example, 80-99%of the spatial requirement) , the prompt information may be expressed in orange color; if the spatial prediction reaches the spatial requirement (for example, 100%of the spatial requirement) , the prompt information may be expressed in red color. With these implementations, it is convenient for staff to arrange passengers to check in their baggage at the boarding gate if the spatial prediction reaches the spatial requirement.

[0051] In implementations of the present disclosure, if the baggage carried by passengers of the transportation vehicle has passed through the entrance, a prediction of cargo that is to be loaded into the transportation vehicle is determined based on the spatial prediction. The amount of cargo that can be loaded onto the flight may be predicted based on the amount of baggage carried by passengers. With these implementations, the space utilization of the flight may be improved.

[0052] In implementations of the present disclosure, ticket information of the passenger may be obtained at the boarding gate of the passenger transportation environment. Then, an association relationship between the ticket information with baggage information may be established. With these implementations, based on the association relationship, a more appropriate transportation vehicle may be selected to carry the baggage.

[0053] In implementations of the present disclosure, the baggage management system may be linked to the management system of the transportation vehicle, for example, the Departure Control System (DCS) of the Airline system. Therefore, the Airline may determine a next action based on the spatial indicator provided by the baggage management system. For example, the Airline may decide whether the passenger who carries more baggage should check in a portion of his / her baggage, and so on.

[0054] Although the above paragraphs describe the passenger transportation environment by taking a flight as an example of the vehicle, the vehicle may include but not limited to a flight, a ship, a car, a train and the like.

[0055] The above paragraphs have described details for managing baggage carried by a passenger in a passenger transportation environment. According to implementations of the present disclosure, a method is provided for managing baggage carried by a passenger in a passenger transportation environment. Reference will be made to Fig. 7 for more details about the method, where Fig. 7 schematically illustrates a flowchart of a method 700 for managing baggage carried by a passenger in a passenger transportation environment according to implementations of the present disclosure. At block 710, video data of the passenger transportation environment that comprises at least one passenger and baggage carried by the at least one passenger is obtained. At block 720, the baggage carried by the at least one passenger is identified from the video data. At block 730, a spatial indicator for indicating space that is to be occupied by the baggage in a transportation vehicle is provided based on the identified baggage.

[0056] In implementations of the present disclosure, identifying the baggage comprises: identifying the baggage from the video data by a machine learning model; and providing a position of the baggage in the video data.

[0057] In implementations of the present disclosure, identifying the candidate baggage from the video data by the machine learning model comprises: identifying, by the machine learning model, a first position of a first candidate baggage in a first frame in the video data; identifying, by the machine learning model, a second position of a second candidate baggage in a second frame that follows the first frame in the video data; determining, by the machine learning model, a predicted position of the first candidate baggage in the second frame according to the first position; and in response to a determination that the predicted position  and the second position meets a predetermined condition, outputting the first candidate baggage as the baggage.

[0058] In implementations of the present disclosure, identifying the baggage from the video data by the machine learning model comprises: identifying candidate baggage from the video data by the machine learning model; and in response to a determination that a total number of frames comprising the candidate baggage in the video data exceeds a threshold frame number, outputting the candidate baggage as the baggage.

[0059] In implementations of the present disclosure, outputting the first candidate baggage as the baggage further comprises: identifying a first passenger who carries the first candidate baggage in the first frame; identifying a second passenger who carries the second candidate baggage in the second frame; and in response to a determination that the first passenger matches the second passenger, outputting the first candidate baggage as the baggage.

[0060] In implementations of the present disclosure, the spatial indicator comprises at least any of: a quantity, a type, a size, or a weight prediction of the baggage, and the type comprising at least any of: a backpack, a suitcase, a handbag, a shopping bag, a baby stroller, or a wheelchair.

[0061] In implementations of the present disclosure, the method 700 further comprising providing at least any of: an association relationship between the at least one passenger and the baggage carried by the at least one passenger; and an image of the baggage.

[0062] In implementations of the present disclosure, obtaining the video data comprises: receiving the video data from a camera that is deployed in the passenger transportation environment, an angle between a direction of the camera and a normal direction of a ground in the passenger transportation environment meeting a threshold angle, a difference between a height of the camera and a height of the ground meeting a threshold height, and a field of view of the camera meeting a threshold range.

[0063] In implementations of the present disclosure, the camera is deployed at an entrance in the passenger transportation environment, and the at least one passenger enters the transportation vehicle through the entrance, and the method 700 further comprises: determining a spatial prediction associated with the transportation vehicle based on the spatial indicator of the baggage that has already passed through the entrance; and providing prompt information  based on a comparison between the spatial prediction and a spatial requirement of the transportation vehicle.

[0064] In implementations of the present disclosure, the method 700 further comprising: in response to a determination that the baggage carried by passengers of the transportation vehicle has passed through the entrance, determining a prediction of cargo that is to be loaded into the transportation vehicle based on the spatial prediction.

[0065] According to implementations of the present disclosure, an apparatus is provided for managing baggage carried by a passenger in a passenger transportation environment. The apparatus comprises: an obtaining module, configured for obtaining video data of the passenger transportation environment that comprises at least one passenger and baggage carried by the at least one passenger; an identifying module, configured for identifying the baggage carried by the at least one passenger from the video data; and a providing module, configured for providing, based on the identified baggage, a spatial indicator for indicating space that is to be occupied by the baggage in a transportation vehicle. The apparatus further comprises other modules being configured for implementing other steps in the above method.

[0066] According to implementations of the present disclosure, an electronic device is provided for implementing the method 700. The electronic device comprises: a computer processor coupled to a computer-readable memory unit, the memory unit comprising instructions that when executed by the computer processor implements a method for managing baggage carried by a passenger in a passenger transportation environment. The method comprises: obtaining video data of the passenger transportation environment that comprises at least one passenger and baggage carried by the at least one passenger; identifying the baggage carried by the at least one passenger from the video data; and providing, based on the identified baggage, a spatial indicator for indicating space that is to be occupied by the baggage in a transportation vehicle.

[0067] In implementations of the present disclosure, identifying the baggage comprises: identifying the baggage from the video data by a machine learning model; and providing a position of the baggage in the video data.

[0068] In implementations of the present disclosure, identifying the candidate baggage from the video data by the machine learning model comprises: identifying, by the machine learning model, a first position of a first candidate baggage in a first frame in the video data;  identifying, by the machine learning model, a second position of a second candidate baggage in a second frame that follows the first frame in the video data; determining, by the machine learning model, a predicted position of the first candidate baggage in the second frame according to the first position; and in response to a determination that the predicted position and the second position meets a predetermined condition, outputting the first candidate baggage as the baggage.

[0069] In implementations of the present disclosure, identifying the baggage from the video data by the machine learning model comprises: identifying candidate baggage from the video data by the machine learning model; and in response to a determination that a total number of frames comprising the candidate baggage in the video data exceeds a threshold frame number, outputting the candidate baggage as the baggage.

[0070] In implementations of the present disclosure, outputting the first candidate baggage as the baggage further comprises: identifying a first passenger who carries the first candidate baggage in the first frame; identifying a second passenger who carries the second candidate baggage in the second frame; and in response to a determination that the first passenger matches the second passenger, outputting the first candidate baggage as the baggage.

[0071] In implementations of the present disclosure, the spatial indicator comprises at least any of: a quantity, a type, a size, or a weight prediction of the baggage, and the type comprising at least any of: a backpack, a suitcase, a handbag, a shopping bag, a baby stroller, or a wheelchair.

[0072] In implementations of the present disclosure, the method 700 further comprising providing at least any of: an association relationship between the at least one passenger and the baggage carried by the at least one passenger; and an image of the baggage.

[0073] In implementations of the present disclosure, obtaining the video data comprises: receiving the video data from a camera that is deployed in the passenger transportation environment, an angle between a direction of the camera and a normal direction of a ground in the passenger transportation environment meeting a threshold angle, a difference between a height of the camera and a height of the ground meeting a threshold height, and a field of view of the camera meeting a threshold range.

[0074] In implementations of the present disclosure, the camera is deployed at an entrance in the passenger transportation environment, and the at least one passenger enters the transportation vehicle through the entrance, and the method 700 further comprises: determining a spatial prediction associated with the transportation vehicle based on the spatial indicator of the baggage that has already passed through the entrance; and providing prompt information based on a comparison between the spatial prediction and a spatial requirement of the transportation vehicle.

[0075] In implementations of the present disclosure, the method 700 further comprising: in response to a determination that the baggage carried by passengers of the transportation vehicle has passed through the entrance, determining a prediction of cargo that is to be loaded into the transportation vehicle based on the spatial prediction.

[0076] Fig. 8 illustrates a block diagram of a computing device 800 in which various implementations of the present disclosure can be implemented. It would be appreciated that the computing device 800 shown in Fig. 8 is merely for purpose of illustration, without suggesting any limitation to the functions and scopes of the present disclosure in any manner. The computing device 800 may be used to implement the above method in implementations of the present disclosure. As shown in Fig. 8, the computing device 800 may be a general-purpose computing device. The computing device 800 may at least comprise one or more processors or processing units 810, a memory 820, a storage unit 830, one or more communication units 840, one or more input devices 850, and one or more output devices 860.

[0077] The processing unit 810 may be a physical or virtual processor and can implement various processes based on programs stored in the memory 820. In a multi-processor system, multiple processing units execute computer executable instructions in parallel so as to improve the parallel processing capability of the computing device 800. The processing unit 810 may also be referred to as a central processing unit (CPU) , a microprocessor, a controller, or a microcontroller.

[0078] The computing device 800 typically includes various computer storage medium. Such medium can be any medium accessible by the computing device 800, including, but not limited to, volatile and non-volatile medium, or detachable and non-detachable medium. The memory 720 can be a volatile memory (for example, a register, cache, Random Access Memory (RAM) ) , a non-volatile memory (such as a Read-Only Memory (ROM) , Electrically Erasable Programmable Read-Only Memory (EEPROM) , or a flash memory) , or any  combination thereof. The storage unit 830 may be any detachable or non-detachable medium and may include a machine-readable medium such as a memory, flash memory drive, magnetic disk, or another other media, which can be used for storing information and / or data and can be accessed in the computing device 800.

[0079] The computing device 800 may further include additional detachable / non-detachable, volatile / non-volatile memory medium. Although not shown in Fig. 8, it is possible to provide a magnetic disk drive for reading from and / or writing into a detachable and non-volatile magnetic disk and an optical disk drive for reading from and / or writing into a detachable non-volatile optical disk. In such cases, each drive may be connected to a bus (not shown) via one or more data medium interfaces.

[0080] The communication unit 840 communicates with a further computing device via the communication medium. In addition, the functions of the components in the computing device 800 can be implemented by a single computing cluster or multiple computing machines that can communicate via communication connections. Therefore, the computing device 800 can operate in a networked environment using a logical connection with one or more other servers, networked personal computers (PCs) or further general network nodes.

[0081] The input device 850 may be one or more of a variety of input devices, such as a mouse, keyboard, tracking ball, voice-input device, and the like. The output device 860 may be one or more of a variety of output devices, such as a display, loudspeaker, printer, and the like. By means of the communication unit 840, the computing device 800 can further communicate with one or more external devices (not shown) such as the storage devices and display device, with one or more devices enabling the user to interact with the computing device 800, or any devices (such as a network card, a modem, and the like) enabling the computing device 800 to communicate with one or more other computing devices, if required. Such communication can be performed via input / output (I / O) interfaces (not shown) .

[0082] In some implementations, instead of being integrated in a single device, some, or all components of the computing device 800 may also be arranged in cloud computing architecture. In the cloud computing architecture, the components may be provided remotely and work together to implement the functionalities described in the present disclosure. In some implementations, cloud computing provides computing, software, data access and storage service, which will not require end users to be aware of the physical locations or configurations of the systems or hardware providing these services. In various implementations, the cloud computing provides the services via a wide area network (such as Internet) using suitable protocols. For example, a cloud computing provider provides applications over the wide area  network, which can be accessed through a web browser or any other computing components. The software or components of the cloud computing architecture and corresponding data may be stored on a server at a remote position. The computing resources in the cloud computing environment may be merged or distributed at locations in a remote data center. Cloud computing infrastructures may provide the services through a shared data center, though they behave as a single access point for the users. Therefore, the cloud computing architectures may be used to provide the components and functionalities described herein from a service provider at a remote location. Alternatively, they may be provided from a conventional server or installed directly or otherwise on a client device.

[0083] The functionalities described herein can be performed, at least in part, by one or more hardware logic components. For example, and without limitation, illustrative types of hardware logic components that can be used include Field-Programmable Gate Arrays (FPGAs) , Application-specific Integrated Circuits (ASICs) , Application-specific Standard Products (ASSPs) , System-on-a-chip systems (SOCs) , Complex Programmable Logic Devices (CPLDs) , and the like.

[0084] Program code for carrying out the methods of the subject matter described herein may be written in any combination of one or more programming languages. The program code may be provided to a processor or controller of a general-purpose computer, special purpose computer, or other programmable data processing apparatus such that the program code, when executed by the processor or controller, causes the functions / operations specified in the flowcharts and / or block diagrams to be implemented. The program code may be executed entirely or partly on a machine, executed as a stand-alone software package partly on the machine, partly on a remote machine, or entirely on the remote machine or server.

[0085] In the context of this disclosure, a machine-readable medium may be any tangible medium that may contain or store a program for use by or in connection with an instruction execution system, apparatus, or device. The machine-readable medium may be a machine-readable signal medium or a machine-readable storage medium. A machine-readable medium may include but not limited to an electronic, magnetic, optical, electromagnetic, infrared, or semiconductor system, apparatus, or device, or any suitable combination of the foregoing. More specific examples of the machine-readable storage medium would include an electrical connection having one or more wires, a portable computer diskette, a hard disk, a random-access memory (RAM) , a read-only memory (ROM) , an erasable programmable read-only memory (EPROM or Flash memory) , an optical fiber, a portable compact disc  read-only memory (CD-ROM) , an optical storage device, a magnetic storage device, or any suitable combination of the foregoing.

[0086] Further, while operations are illustrated in a particular order, this should not be understood as requiring that such operations are performed in the particular order shown or in sequential order, or that all illustrated operations are performed to achieve the desired results. In certain circumstances, multitasking and parallel processing may be advantageous. Likewise, while several specific implementation details are contained in the above discussions, these should not be construed as limitations on the scope of the subject matter described herein, but rather as descriptions of features that may be specific to particular implementations. Certain features that are described in the context of separate implementations may also be implemented in combination in a single implementation. Rather, various features described in a single implementation may also be implemented in multiple implementations separately or in any suitable sub-combination.

[0087] Although the subject matter has been described in language specific to structural features and / or methodological acts, it is to be understood that the subject matter specified in the appended claims is not necessarily limited to the specific features or acts described above. Rather, the specific features and acts described above are disclosed as example forms of implementing the claims.

[0088] From the foregoing, it will be appreciated that specific implementations of the presently disclosed technology have been described herein for purposes of illustration, but that various modifications may be made without deviating from the scope of the disclosure. Accordingly, the presently disclosed technology is not limited except as by the appended claims.

[0089] Implementations of the subject matter and the functional operations described in the present disclosure can be implemented in various systems, digital electronic circuitry, or in computer software, firmware, or hardware, including the structures disclosed in this specification and their structural equivalents, or in combinations of one or more of them. Implementations of the subject matter described in this specification can be implemented as one or more computer program products, i.e., one or more modules of computer program instructions encoded on a tangible and non-transitory computer readable medium for execution by, or to control the operation of, data processing apparatus. The computer readable medium can be a machine-readable storage device, a machine-readable storage substrate, a memory device, a composition of matter effecting a machine-readable propagated signal, or a combination of one or more of them. The term “data processing unit” or “data processing  apparatus” encompasses all apparatus, devices, and machines for processing data, including by way of example a programmable processor, a computer, or multiple processors or computers. The apparatus can include, in addition to hardware, code that creates an execution environment for the computer program in question, e.g., code that constitutes processor firmware, a protocol stack, a database management system, an operating system, or a combination of one or more of them.

[0090] A computer program (also known as a program, software, software application, script, or code) can be written in any form of programming language, including compiled or interpreted languages, and it can be deployed in any form, including as a stand-alone program or as a module, component, subroutine, or other unit suitable for use in a computing environment. A computer program does not necessarily correspond to a file in a file system. A program can be stored in a portion of a file that holds other programs or data (e.g., one or more scripts stored in a markup language document) , in a single file dedicated to the program in question, or in multiple coordinated files (e.g., files that store one or more modules, sub programs, or portions of code) . A computer program can be deployed to be executed on one computer or on multiple computers that are located at one site or distributed across multiple sites and interconnected by a communication network.

[0091] Processors suitable for the execution of a computer program include, by way of example, both general and special purpose microprocessors, and any one or more processors of any kind of digital computer. Generally, a processor will receive instructions and data from a read only memory or a random access memory or both. The essential elements of a computer are a processor for performing instructions and one or more memory devices for storing instructions and data. Generally, a computer will also include, or be operatively coupled to receive data from or transfer data to, or both, one or more mass storage devices for storing data, e.g., magnetic, magneto optical disks, or optical disks. However, a computer need not have such devices. Computer readable media suitable for storing computer program instructions and data include all forms of nonvolatile memory, media, and memory devices, including by way of example semiconductor memory devices, e.g., EPROM, EEPROM, and flash memory devices. The processor and the memory can be supplemented by, or incorporated in, special purpose logic circuitry.

[0092] It is intended that the specification, together with the drawings, be considered exemplary only, where exemplary means an example. As used herein, the use of “or” is intended to include “and / or” , unless the context clearly indicates otherwise.

[0093] While the present disclosure contains many specifics, these should not be construed as limitations on the scope of any disclosure or of what may be claimed, but rather as descriptions of features that may be specific to particular implementations of particular disclosures. Certain features that are described in the present disclosure in the context of separate implementations can also be implemented in combination in a single implementation. Conversely, various features that are described in the context of a single implementation can also be implemented in multiple implementations separately or in any suitable sub-combination. Moreover, although features may be described above as acting in certain combinations and even initially claimed as such, one or more features from a claimed combination can in some cases be excised from the combination, and the claimed combination may be directed to a sub-combination or variation of a sub-combination.

[0094] Similarly, while operations are illustrated in the drawings in a particular order, this should not be understood as requiring that such operations be performed in the particular order shown or in sequential order, or that all illustrated operations be performed, to achieve desirable results. Moreover, the separation of various system components in the implementations described in the present disclosure should not be understood as requiring such separation in all implementations. Only a few implementations and examples are described and other implementations, enhancements and variations can be made based on what is described and illustrated in the present disclosure.

Claims

1.A method for managing baggage carried by a passenger in a passenger transportation environment, comprising:obtaining video data of the passenger transportation environment that comprises at least one passenger and baggage carried by the at least one passenger;identifying the baggage carried by the at least one passenger from the video data; andproviding, based on the identified baggage, a spatial indicator for indicating space that is to be occupied by the baggage in a transportation vehicle.2.The method according to claim 1, wherein identifying the baggage comprises:identifying the baggage from the video data by a machine learning model; andproviding a position of the baggage in the video data.3.The method according to claim 2, wherein identifying the baggage from the video data by the machine learning model comprises:identifying candidate baggage from the video data by the machine learning model; andin response to a determination that a total number of frames comprising the candidate baggage in the video data exceeds a threshold frame number, outputting the candidate baggage as the baggage.4.The method according to claim 3, wherein identifying the candidate baggage from the video data by the machine learning model comprises:identifying, by the machine learning model, a first position of a first candidate baggage in a first frame in the video data;identifying, by the machine learning model, a second position of a second candidate baggage in a second frame that follows the first frame in the video data;determining, by the machine learning model, a predicted position of the first candidate baggage in the second frame according to the first position; andin response to a determination that the predicted position and the second position meets a predetermined condition, outputting the first candidate baggage as the baggage.5.The method according to claim 4, wherein outputting the first candidate baggage as the baggage further comprises:identifying a first passenger who carries the first candidate baggage in the first frame;identifying a second passenger who carries the second candidate baggage in the second frame; andin response to a determination that the first passenger matches the second passenger, outputting the first candidate baggage as the baggage.6.The method according to claim 1, wherein the spatial indicator comprises at least any of:a quantity, a type, a size, or a weight prediction of the baggage, and the type comprising at least any of: a backpack, a suitcase, a handbag, a shopping bag, a baby stroller, or a wheelchair.7.The method according to claim 1, further comprising providing at least any of:an association relationship between the at least one passenger and the baggage carried by the at least one passenger; andan image of the baggage.8.The method according to claim 1, wherein obtaining the video data comprises: receiving the video data from a camera that is deployed in the passenger transportation environment, an angle between a direction of the camera and a normal direction of a ground in the passenger transportation environment meeting a threshold angle, a difference between a height of the camera and a height of the ground meeting a threshold height, and a field of view of the camera meeting a threshold range.9.The method according to claim 8, wherein the camera is deployed at an entrance in the passenger transportation environment, and the at least one passenger enters the transportation vehicle through the entrance, and the method further comprises:determining a spatial prediction associated with the transportation vehicle based on the spatial indicator of the baggage that has already passed through the entrance; andproviding prompt information based on a comparison between the spatial prediction and a spatial requirement of the transportation vehicle.10.The method according to claim 9, further comprising: in response to a determination that the baggage carried by passengers of the transportation vehicle has passed through the entrance, determining a prediction of cargo that is to be loaded into the transportation vehicle based on the spatial prediction.11.An electronic device, comprising:a processor configured to cause the device to:obtain video data of a passenger transportation environment that comprises at least one passenger and baggage carried by the at least one passenger;identify the baggage carried by the at least one passenger from the video data; andprovide, based on the identified baggage, a spatial indicator for indicating space that is to be occupied by the baggage in a transportation vehicle.12.The device of claim 11, wherein the electronic device is further caused to:identify the baggage from the video data by a machine learning model; andprovide a position of the baggage in the video data.13.The device of claim 12, wherein the electronic device is further caused to:identify candidate baggage from the video data by the machine learning model; andin response to a determination that a total number of frames comprising the candidate baggage in the video data exceeds a threshold frame number, output the candidate baggage as the baggage.14.The device of claim 13, wherein the electronic device is further caused to:identify, by the machine learning model, a first position of a first candidate baggage in a first frame in the video data;identify, by the machine learning model, a second position of a second candidate baggage in a second frame that follows the first frame in the video data;determine, by the machine learning model, a predicted position of the first candidate baggage in the second frame according to the first position; andin response to a determination that the predicted position and the second position meets a predetermined condition, output the first candidate baggage as the baggage.15.The device of claim 14, wherein the electronic device is further caused to:identify a first passenger who carries the first candidate baggage in the first frame;identify a second passenger who carries the second candidate baggage in the second frame; andin response to a determination that the first passenger matches the second passenger, output the first candidate baggage as the baggage.16.The device of claim 11, wherein the spatial indicator comprises at least any of: a quantity, a type, a size, or a weight prediction of the baggage, and the type comprising at least any of: a backpack, a suitcase, a handbag, a shopping bag, a baby stroller, or a wheelchair.17.The device of claim 11, wherein the electronic device is further caused to:provide at least any of:an association relationship between the at least one passenger and the baggage carried by the at least one passenger; andan image of the baggage.18.The device of claim 11, wherein the electronic device is further caused to: receive the video data from a camera that is deployed in the passenger transportation environment, an angle between a direction of the camera and a normal direction of a ground in the passenger transportation environment meeting a threshold angle, a difference between a height of the camera and a height of the ground meeting a threshold height, and a field of view of the camera meeting a threshold range.19.The device of claim 18, wherein the camera is deployed at an entrance in the passenger transportation environment, and the at least one passenger enters the transportation vehicle through the entrance, and the electronic device is further caused to:determine a spatial prediction associated with the transportation vehicle based on the spatial indicator of the baggage that has already passed through the entrance; andprovide prompt information based on a comparison between the spatial prediction and a spatial requirement of the transportation vehicle.20.A non-transitory computer program product, the non-transitory computer program product comprising a computer readable storage medium having program instructions embodied therewith, the program instructions executable by an electronic device to cause the electronic device to perform a method for managing baggage carried by a passenger in a passenger transportation environment, comprising:obtaining video data of the passenger transportation environment that comprises at least one passenger and baggage carried by the at least one passenger;identifying the baggage carried by the at least one passenger from the video data; andproviding, based on the identified baggage, a spatial indicator for indicating space that is to be occupied by the baggage in a transportation vehicle.

Images