Method and system of automatically identifying goods storage and retrieval

Abstract

The present disclosure provides a method and a system of automatically identifying goods storage and retrieval. A method of dividing key monitoring areas corresponding to entrances and exits and intelligent shelves, activating user positioning and automatically weighing goods can realize intelligent and simple goods storage and retrieval for users without binding Radio Frequency Identification (RFID) tags for each piece of goods, thus greatly reducing consumables and labor cost. At the same time, the method can also avoid the problems of high computing cost and easy misidentification of a machine vision identification scheme. In addition, the storage and retrieval prediction algorithm can quickly determine and broadcast information of the retrieved / stored goods, thus reducing the waiting time of users and improving the user experience.

Description

METHOD AND SYSTEM OF AUTOMATICALLY IDENTIFYING GOODS STORAGE AND RETRIEVALTECHNICAL FIELD

[0001] The present disclosure relates to a method and a system of automatically identifying goods storage and retrieval, and belongs to the technical field of intelligent goods storage and retrieval.BACKGROUND

[0002] A conventional intelligent goods storage and retrieval system includes goods-related Radio Frequency Identification (RFID) and machine vision identification schemes. The goods-associated RFID scheme requires all goods on the shelf to be associated with RFID tags, which will consume a large amount of labeling labor cost and RFID tag consumable costs after the long-term use. However, the machine vision identification scheme needs to consume a lot of computing cost for complicated goods identification, and misidentification is very likely to occur due to occlusion by hands or clothes of users.

[0003] In addition, in some schemes, the types and number of stored and retrieved goods are determined by collecting the weight change information of goods on the shelf. However, in practice, the shelf will inevitably vibrate in the storage and retrieval process. The weight change information can only be accurately acquired after vibration stops. That is, the delay will occur, which will affect the user experience.SUMMARY

[0004] The present disclosure provides a method and a system of automatically identifying goods storage and retrieval, so as to solve the problems in the existing intelligent goods storage and retrieval scheme that the material cost and the labor cost are high, misidentification is likely to occur and the user experience is poor.

[0005] In a first aspect, the embodiment of the present disclosure provides a method of automatically identifying goods storage and retrieval, including:

[0006] positioning and tracking a user in a goods storage and retrieval scene, and acquiring position information of the user;

[0007] triggering a corresponding key business process when it is detected that the user is located in a preset key monitoring area, which specifically includes: carrying out identity identification and position association of the user when the user enters an entrance area; activating a corresponding goods storage and retrieval area and an intelligent shelf when the user moves to a goods storage and retrieval area to allow the user to carry out goods storage or retrieval operations; and confirming results of goods storage and retrieval when the user enters an exit area;

[0008] when the user carries out goods retrieval / storage operations on the intelligent shelf, collecting weight change information before and after retrieval / storage, determining the number of the retrieved / stored goods based on the weight change information, and then broadcasting the number through a goods storage and retrieval reminding device.

[0009] Based on the above method, alternatively, the carrying out identity identification and position association of the user when the user enters an entrance area includes: when the entrance area identifies a moving object, identifying the user, acquiring the identity information of the user, and associating the identity information of the user with the corresponding moving object;

[0010] the activating a corresponding goods storage and retrieval area and an intelligent shelf when the user moves to a goods storage and retrieval area includes: activating the goods storage and retrieval area and the corresponding intelligent shelves when it is detected that the user enters the goods storage and retrieval area, in which the activated intelligent shelf allows retrieval / storage operations; and prohibiting other users from repeatedly activating the goods storage and retrieval area and the intelligent shelf before the user leaves the goods storage and retrieval area;

[0011] confirming results of goods storage and retrieval when the user enters an exit area includes: judging whether to open an entrance guard or give an abnormal alarm according to processing results of a goods storage and retrieval process in the exit area.

[0012] Based on the above method, alternatively, when the entrance area or the exit area has been activated and occupied by a user, other users are prohibited from repeatedly activating and occupying the entrance area or the exit area.

[0013] Based on the above method, alternatively, the method of judging that the user activates the key monitoring area includes:

[0014] representing the user as a first graph and the key monitoring area as a second graph;

[0015] determining whether the user activates the key monitoring area based on a collision relationship between the first graph and the second graph; and in a time dimension, taking the user who has an effective collision first as a first user who activates the key monitoring area.

[0016] Based on the above method, alternatively, the method further includes:

[0017] prompting the first user currently activated in each area through a prompting device;

[0018] and / or, guiding the user to move to the corresponding intelligent shelf to store and retrieve goods through the prompting device;

[0019] and / or reminding whether the user has paid and whether the stored and retrieved goods conform to preset delivery and storage orders through the prompting device.

[0020] Based on the above method, alternatively, the method further includes:

[0021] if it is detected at the current moment that a plurality of users activate a key monitoring area at the same time, and no user activates the key monitoring area at the previous moment, predicting the first user who activates the key monitoring area through a coordinate and moving trajectory algorithm, which specifically includes:

[0022] acquiring a position coordinate of each user at the previous moment and a position coordinate of each user at the current moment;

[0023] calculating the moving speed of each user based on the position coordinate of each user at the previous moment and the position coordinate of each user at the current moment;

[0024] predicting the position coordinate where each user enters the key monitoring area based on a collision detection algorithm;

[0025] calculating the time required for each user to enter the key monitoring area based on the moving speed of each user and the position coordinate where each user enters the key monitoring area;

[0026] determining the user who needs the least time as the first user activating the key monitoring area.

[0027] Based on the above method, alternatively, the number of the retrieved / stored goods is predicted and identified by using a goods storage and retrieval prediction algorithm, and the specific process includes:

[0028] when it is detected that weight reading begins to change, clearing the list of the number of goods predicted in the past, and recording the weight reading before the weight reading begins to change;

[0029] in the process of changing the weight reading, continuously reading the data of a changing weight value from a weighing sensor in a detection period, and calculating the weight change amount according to the difference between the current weight and the weight reading before the change begins;

[0030] calculating the currently predicted number of goods by rounding according to the current weight change amount and the unit weight of goods;

[0031] recording the currently predicted number of goods into the list of the number of goods predicted in the past, and if there is at least one list in the list of the number of goods predicted in the past, comparing the currently predicted number of goods with the last predicted number of goods in the list of the number of goods predicted in the past;

[0032] if the currently predicted number of goods is different from the last predicted number or the last predicted number does not exist, updating the number of goods retrieved / stored by the user broadcast on the goods storage and retrieval reminding device; and if the currently predicted number of goods is the same as the last predicted number, not updating the number of goods retrieved / stored by the user broadcast on the goods storage and retrieval reminding device.

[0033] Based on the above method, alternatively, the method further includes:

[0034] generating a goods retrieving and storing list according to the number and types of goods retrieved / stored by the user, and sending the goods retrieving and storing list to a local server.

[0035] Based on the above method, alternatively, the method further includes:

[0036] collecting a video picture in the area where the intelligent shelf generating weight change information is located when the user retrieves / stores the goods;

[0037] carrying out color similarity analysis on the goods retrieved / stored in the video picture and pre-collected goods images corresponding to the intelligent shelf, and if the color similarity is greater than or equal to a first set threshold, considering that the goods are the same and judging that the retrieving / storing process is normal;

[0038] if the color similarity is less than the first set threshold, carrying out identification again through a pre-trained deep learning algorithm model; and if the identification result is greater than or equal to a second set threshold, considering that the goods are the same and judging that the retrieving / storing process is normal; otherwise, considering that the goods are not the same and judging that the retrieving / storing process is abnormal.

[0039] Based on the above method, alternatively, the pre-collected goods images are obtained by sampling designated goods at a plurality of angles.

[0040] Based on the above method, alternatively, the used positioning technologies include laser radar positioning, micro-wave radar positioning, radio frequency positioning or machine vision positioning; if machine vision positioning is used, desensitization is carried out on the face or the whole human imaging data after face data is collected to protect the privacy and safety of the user.

[0041] In a second aspect, the embodiment of the present disclosure further provides a system of automatically identifying goods storage and retrieval, including:

[0042] alocal server, and an intelligent entrance and exit system, an intelligent positioning system and an intelligent shelf which are in communication connection with the local server;

[0043] wherein the local server is configured to acquire and process information collected by each device of the intelligent entrance and exit system, the intelligent positioning system and the intelligent shelf, and control each device through control instructions;

[0044] the intelligent entrance and exit system includes an entrance guard and an identity identification device, wherein the identity identification device is configured to acquire identity information of a user, and the local server determines whether to control the entrance guard to be opened according to the identity information;

[0045] the intelligent positioning system is configured to position and track a user in a goods storage and retrieval scene and acquire position information of the user; the local server triggers a corresponding key business process when determining that the user is located in a preset key monitoring area based on the position information; the key monitoring area includes an entrance area, a goods storage and retrieval area and an exit area, wherein identity identification and position association of the user are carried out in the entrance area, a corresponding intelligent shelf is activated and goods storage or retrieval operations are carried out in the goods storage and retrieval area, and results of goods storage and retrieval are confirmed in the exit area;

[0046] the intelligent shelf includes an intelligent weighing goods space, the intelligent weighing goods space is configured to store goods and acquire weight change information of goods, and the local server determines result information of goods retrieval / storage according to the weight change information.

[0047] The technical scheme provided by the present disclosure at least has the following beneficial effects.

[0048] The present disclosure provide a method and a system of automatically identifying goods storage and retrieval. A method of dividing key monitoring areas corresponding to entrances and exits and intelligent shelves, activating user positioning and automatically weighing goods can realize intelligent and simple goods storage and retrieval for users without binding RFID tags for each piece of goods, thus greatly reducing consumables and labor cost. At the same time, the method can also avoid the problems of high computing cost and easy misidentification of a machine vision identification scheme. In addition, the storage and retrieval prediction algorithm can quickly determine and broadcast information of the retrieved / stored goods, thus reducing the waiting time of users and improving the user experience.BRIEF DESCRIPTION OF THE DRAWINGS

[0049] The accompanying drawings, which are incorporated in and constitute a part of the specification, illustrate embodiments consistent with the present disclosure, and together with the description, serve to explain the principles of the present disclosure. In addition, these accompanying drawings and written descriptions are not intended to limit the scope of the concept of the present disclosure in any way, but to explain the concept of the present disclosure to those skilled in the art with reference to specific embodiments.

[0050] FIG. 1 is a schematic structural diagram of a system of automatically identifying goods storage and retrieval according to an embodiment of the present disclosure.

[0051] FIG. 2 is a schematic flow chart of a method of automatically identifying goods storage and retrieval according to an embodiment of the present disclosure.

[0052] FIG. 3 is a schematic diagram of key monitoring areas divided according to an embodiment of the present disclosure.

[0053] FIG. 4 is a schematic diagram of identity binding in an entrance area according to an embodiment of the present disclosure.

[0054] FIG. 5 is a schematic diagram of a shelf activation result according to an embodiment of the present disclosure.

[0055] FIG. 6 is a schematic diagram of an activation principle of a key monitoring area according to an embodiment of the present disclosure.

[0056] FIG. 7 is a first schematic diagram of an activation process of a key monitoring area according to an embodiment of the present disclosure.

[0057] FIG. 8 is a second schematic diagram of an activation process of a key monitoring area according to an embodiment of the present disclosure. DETAILED DESCRIPTION OF THE EMBODIMENTS

[0058] In order to make the purpose, technical scheme and advantages of the present disclosure more clear, the technical scheme in the embodiment of the present disclosure will be described clearly and completely hereinafter. Obviously, the described embodiments are some of the embodiment of the present disclosure, rather than all of the embodiments. Based on the embodiments in the present disclosure, all other embodiments obtained by those skilled in the art without creative labor belong to the scope of protection of the present disclosure. The following embodiments and features in the embodiments can be combined with each other without conflict.

[0059] As shown in FIG. 1, in some embodiments, there is provided a system of automatically identifying goods storage and retrieval, including: a local server, and an intelligent entrance and exit system, an intelligent positioning system and an intelligent shelf which are in communication connection with the local server.

[0060] The local server is configured to acquire and process information collected by each device of the intelligent entrance and exit system, the intelligent positioning system and the intelligent shelf, and control each device through control instructions.

[0061] The intelligent entrance and exit system includes an entrance guard and an identity identification device, wherein the identity identification device is configured to acquire identity information of a user, and the local server determines whether to control the entrance guard to be opened according to the identity information.

[0062] The intelligent positioning system is configured to position and track a user in a goods storage and retrieval scene and acquire position information of the user. The local server triggers a corresponding key business process when determining that the user is located in a preset key monitoring area based on the position information. The key monitoring area includes an entrance area, a goods storage and retrieval area and an exit area, wherein identity identification and position association of the user are carried out in the entrance area. A corresponding intelligent shelf is activated and goods storage or retrieval operations are carried out in the goods storage and retrieval area. Results of goods storage and retrieval are confirmed in the exit area.

[0063] The intelligent shelf includes an intelligent weighing goods space. The intelligent weighing goods space is configured to store goods and acquire weight change information of goods, and the local server determines result information of goods retrieval / storage according to the weight change information.

[0064] Based on the system of automatically identifying goods storage and retrieval, goods storage and retrieval can be intelligent and simple. Specifically, the system can be applied to the scenes such as convenience stores, warehouses, express delivery self-service warehouses and unmanned self-service canteens.

[0065] Referring to FIG. 2, FIG. 2 is a schematic flow chart of a method of automatically identifying goods storage and retrieval according to an embodiment of the present disclosure. The method can be realized, but not limited to be realized, based on the automatic identification of goods storage and retrieval shown in the FIG. 1. As shown in FIG. 2, the method of automatically identifying goods storage and retrieval of the embodiment includes the following steps.

[0066] Step S101: a user in a goods storage and retrieval scene is positioned and tracked, and position information of the user is acquired.

[0067] In some embodiments, the used positioning technologies include laser radar positioning, micro-wave radar positioning, radio frequency positioning or machine vision positioning. The laser radar positioning, micro-wave radar positioning and radio frequency positioning have the characteristics that they are positioning technologies of collecting without privacy, in which it is impossible to directly collect biometric features such as a face of a user, thus avoiding leakage of user privacy. In addition, if machine vision positioning is used, desensitization such as coding is carried out on the face or the whole human imaging data immediately after face data is collected to protect the privacy and safety of the user.

[0068] It should be noted that the above positioning technology is not limited to a single use, but can be used in combination with a plurality of positioning technologies to improve positioning accuracy.

[0069] Step S102: a corresponding key business process is triggered when it is detected that the user is located in a preset key monitoring area.

[0070] As shown in FIG. 3, the key monitoring areas include the entrance area at the entrance, the exit area at the exit and the goods storage and retrieval area near each intelligent shelf.

[0071] In some embodiments, Step S102 specifically includes: carrying out identity identification and position association of the user when the user enters an entrance area; activating a corresponding goods storage and retrieval area and an intelligent shelf when the user moves to a goods storage and retrieval area to allow the user to carry out goods storage or retrieval operations; and confirming results of goods storage and retrieval when the user enters an exit area.

[0072] In some embodiments, an intelligent entrance system is set in the exit area / entrance area, and the intelligent entrance system includes an electronic entrance guard with an identity identification function. The identity identification function can acquire the identity information of the user.

[0073] In some embodiments, the electronic entrance guard confirms the identity of the user by QR code scanning, card swiping, Bluetooth or face identification, etc. After the system records the unique identity of the user, the electronic entrance guard is automatically opened to allow the user to enter the scene.

[0074] In some embodiments, the electronic entrance guard can be, but is not limited to, an entrance guard in the form of an electronic gate, a swing gate, a sliding door or a vertical hinged door. The entrance guards are all equipped with anti-following devices (strictly ensuring that only one person can enter at a time) , anti-reverse entry devices (strictly ensuring that only one-way traffic is allowed) and identification devices.

[0075] In addition, if the radio frequency positioning technology is used in the scene, two entrance guards are set at the entrance, and an apparatus for picking up a radio frequency signal source device is provided between the two entrance guards. After the user picks up the radio frequency signal source device, the second entrance guard is opened to allow the user to enter the scene, and then the next user can enter the first entrance guard at the entrance. In this way, it can effectively ensure that there will be no misidentification of the identity of the user.

[0076] In some embodiments, as shown in FIG. 4, carrying out identity identification and position association of the user when the user enters an entrance area specifically includes: when the entrance area identifies a moving object (the unique identity which has not been associated yet) , the user is identified, the identity information of the user is acquired, and the identity information of the user is associated and bound with the corresponding moving object. Finally, an electronic map can be formed in which all users are bound with unique identities in the scene and their positions are accurately marked.

[0077] In some embodiments, the user is guided to move to the corresponding intelligent shelf to store and retrieve goods through the prompting device. The prompting device can be provided at the intelligent shelf, and can specifically include an indicator lamp, a display screen or a voice device. In practice, a human-computer interaction device can be set at the entrance for users to find or input the information of goods to be stored and retrieved and the storage information of the intelligent shelf. According to this information, a control signal can be sent to the corresponding prompting device to control the corresponding prompting device to issue a guiding signal, such as light or voice. Through the goods storage and retrieval reminding device, the user can quickly find the goods space required by the business when executing the business, thus avoiding the problem of low efficiency of goods storage and retrieval.

[0078] In some embodiments, as shown in FIG. 5, the activating a corresponding goods storage and retrieval area and an intelligent shelf when the user moves to a goods storage and retrieval area specifically includes: activating the goods storage and retrieval area and the corresponding intelligent shelves when it is detected that the user enters the goods storage and retrieval area, in which the activated intelligent shelf allows retrieval / storage operations; and prohibiting other users from repeatedly activating the goods storage and retrieval area and the intelligent shelf before the user leaves the goods storage and retrieval area.

[0079] Specifically, when the user enters the key monitoring area in front of the intelligent shelf in the scene, the intelligent shelf is activated by the current user. At this time, the goods storage and retrieval reminding device of the intelligent shelf broadcasts the unique identity of the user through the voice or the display screen. At this time, the activated shelf belongs to the activated shelf which is unique to the user. If the radio frequency positioning technology is used, the radio frequency signal source device carried by the user can directly respond to the radio frequency antenna on the shelf. The radio frequency information of the radio frequency signal source device naturally carries ID information (that is, unique identity) , so that the activated shelf can also be directly bound by the radio frequency signal source device ID associated with the user identity. The activated shelf also belongs to the activated shelf unique to the user.

[0080] In some embodiments, as shown in FIG. 6, the method of judging that the user activates the key monitoring area includes the following steps.

[0081] The user is represented as a first graph (such as a circle in FIG. 5) , and the key monitoring area is represented as a second graph (such as a rectangle in FIG. 5) . It is determined whether the user activates the key monitoring area based on a collision relationship between the first graph and the second graph. There are many algorithms to calculate whether the first graph such as a circle collides with the second graph such as a rectangle, such as calculating the nearest distance from the center of the circle to each side of the rectangle. If the nearest distance is less than the radius of the circle, it can be judged that an effective collision has occurred, that is, the user has activated the relevant area. Moreover, in a time dimension, the user who has an effective collision first is taken as a first user who activates the key monitoring area.

[0082] Specifically, in practice, a plurality of users may effectively collide with the same area rectangle at the same time. Therefore, the activated first user is judged by the time dimension. For example, assuming that t1 is the previous time, at this time, only the circle of user B intersects with the rectangle of the activation area (key monitoring area) of the intelligent shelf, and it is judged that user B has activated the shelf. Assuming that t2 is later than t1, user B enters and activates the key monitoring area at t1, user E enters the activation area of the intelligent shelf at t2 while user B does not exit the activation area, and user B is still the first user to activate the intelligent shelf. In this way, the scheme that each activation area in the scene activates the priority use right first avoids the contradiction of the use right of a plurality of users in the scene.

[0083] Still further, since there is a time interval between scanning and collecting the positioning points of each user by the intelligent positioning system, when a plurality of users approach the same key monitoring area at the same time, the following situations may occur. It is detected at the current moment t2 that a plurality of users activate a key monitoring area, and no user activates the key monitoring area at the previous time t1. However, since only one user is allowed to activate a key monitoring area at the same time, in this case, it is necessary to judge which user has activated the key monitoring area when a plurality of users enter the key monitoring area at the same time.

[0084] In some embodiments, if it is detected at the current moment that a plurality of users activate a key monitoring area at the same time, and no user activates the key monitoring area at the previous moment, predicting the first user who activates the key monitoring area through a coordinate and moving trajectory algorithm specifically includes:

[0085] acquiring a position coordinate of each user at the previous moment and a position coordinate of each user at the current moment; calculating the moving speed of each user based on the position coordinate of each user at the previous moment and the position coordinate of each user at the current moment; predicting the position coordinate where each user enters the key monitoring area based on a collision detection algorithm; calculating the time required for each user to enter the key monitoring area based on the moving speed of each user and the position coordinate where each user enters the key monitoring area; determining the user who needs the least time as the first user activating the key monitoring area.

[0086] For easier understanding, an example is given with reference to FIG. 7 and FIG. 8. As shown in FIG. 7 and FIG. 8, it is assumed that it is detected at time t2 (current time) that user A and user B enter the key monitoring area of an intelligent shelf at the same time, in which time t1 is the time before time t2.

[0087] For user A and user B, the position coordinates corresponding to the two moments are recorded, respectively. That is, the coordinates of user A at time t1 and time t2 are At1 (x, y) and At2 (x, y) , respectively, and the coordinates of user B at time t1 and time t2 are Bt1 (x, y) and Bt2 (x, y) , respectively.

[0088] Using the above position coordinate information, it is possible to predict which user will enter the key monitoring area corresponding to the intelligent shelf first by calculating the travel trajectories of user A and user B during the period from time t1 to time t2.

[0089] First, the moving speed of user A and user B during the period from time t1 to time t2 can be calculated through coordinate positioning. Specifically, the traveling speed Av of user A can be calculated by the following formula:

[0090]

[0091] where At1x indicates x coordinate representing the position of user A at time t1, At2x indicates x coordinate representing the position of user A at time t2, At1y indicates y coordinate representing the position of user A at time t1, and At2y indicates y coordinate representing the position of user A at time t2.

[0092] Similarly, the traveling speed Bv of user B can be calculated by the following formula:

[0093]

[0094] where Bt1x indicates x coordinate representing the position of user B at time t1, Bt2x indicates x coordinate representing the position of user B at time t2, Bt1y indicates y coordinate representing the position of user B at time t1, and Bt2y indicates y coordinate representing the position of user B at time t2.

[0095] In this way, the travelling speeds Av and Bv of user A and user B in a specified time period are obtained, which provides basic data for subsequent analysis and prediction.

[0096] Thereafter, based on the existing collision detection algorithms, such as a Continuous Collision Detection (CCD) algorithm, a Time of Impact (TOI) algorithm, a Discrete Collision Detection (DCD) algorithm, the collision point between the center of the first graph and the second graph (that is, the position coordinates where the user enters the key monitoring area) can be predicted. It is assumed that the collision point position of user A is PA (x, y) and the collision point position of user B is PB (x, y) . The following formula is used for the distance Ad that user A moves from the position at time t1 to the collision point position:

[0097]

[0098] where PAx indicates x coordinate representing the collision point position of user A, and PAy indicates y coordinate representing the collision point position of user A.

[0099] Next, the time At when user A enters the key monitoring area (that is, the time required to move from the position at time t1 to the collision point position) is calculated using the following formula:

[0100]

[0101] Similarly, the same calculation is carried out for user B, and the time Bt when user B enters the shelf is obtained.

[0102] Finally, by comparing At and Bt, it is judged that the one with less time will activate the corresponding key monitoring area first. That is, if At<Bt, it is judged that user A is the first user, otherwise, it is judged that user B is the first user.

[0103] Through the above algorithm, when a plurality of users activate the same key monitoring area, it can be judged which user activates the key monitoring area first, so as to avoid abnormal situations and ensure the stable operation of the system.

[0104] In addition, in some embodiments, confirming results of goods storage and retrieval when the user enters an exit area includes: judging whether to open an entrance guard or give an abnormal alarm according to processing results of a goods storage and retrieval process in the exit area.

[0105] In some embodiments, it is also possible to reminding whether the user has paid and whether the stored and retrieved goods conform to preset delivery and storage orders through the prompting device provided at the exit.

[0106] In some embodiments, when the entrance area or the exit area has been activated and occupied by a user, other users are prohibited from repeatedly activating and occupying the entrance area or the exit area, so as to avoid misjudgment resulted from misidentification of the system. The judgment method is similar to the activation of the key monitoring areas of the intelligent shelf. For example, if the radio frequency positioning technology is used for the exit area, a radio frequency antenna can be installed at the exit to achieve the effect of sensing the association of the radio frequency signal source device carried by the user, so as to determine that a user is occupying the exit alone.

[0107] In some embodiments, the first user currently activated in each area is prompted through the prompting device provided in the corresponding area or position, so as to remind other users around not to be crowded or compete, and to prevent the confusion of different identities resulted from a plurality of users crowded in the same area.

[0108] Step S103: when the user carries out goods retrieval / storage operations on the intelligent shelf, weight change information before and after retrieval / storage is collected, the number of the retrieved / stored goods is determined based on the weight change information, and then the number is broadcast through a goods storage and retrieval reminding device.

[0109] In some embodiments, the intelligent shelf in the scene includes an open shelf and a closed shelf. The open shelf is a shelf without a closed door or a closed space, where goods can be retrieved or stored directly by hand. The closed shelf is a shelf with an electronic closed door or a closed space, such as freezers with electronic locks, cabinets with electronic locks, aisle vending machines, electronic coffee machines, etc. The closed shelf can be further unlocked automatically or manually only after users activate the shelf.

[0110] The intelligent shelf includes a plurality of goods spaces. Each of the goods spaces can only store a type of goods with a specific weight, and each goods space is correspondingly provided with a weighing sensor. For the activated shelf, the user can retrieve or store goods in the goods space on the shelf. The weighing sensor in the goods space can sense the weight change resulted from the retrieval and storage of goods, and identify the number of goods retrieved or stored by the user according to the sensed weight change information. At this time, the goods storage and retrieval reminding device of the shelf broadcasts the number of goods retrieved and stored by the user through the voice or the display screen.

[0111] The goods storage and retrieval reminding device can feed back the situation of retrieving and storing goods by the user in real time, which avoids the situation that users are prone to take more goods, take less goods and take goods by mistake in the traditional retrieving and storing scene.

[0112] In some embodiments, the intelligent shelf can also generate a goods retrieving and storing list according to the number and types of goods retrieved / stored by the user, and send the goods retrieving and storing list to a local server for unified management or inquiry.

[0113] In addition, every time a user retrieves and stores goods from a goods space, it is inevitable to generate vibration, so that the weighing sensor will read the continuously changing weight value in the time period before the vibration stops. This leads to the fact that the goods storage and retrieval reminding device can broadcast the number of goods retrieved and stored by the user after the vibration stops, which will affect the use experience.

[0114] In order to improve the use experience and allow the goods storage and retrieval reminding device to broadcast the number of goods retrieved and stored by users in the shortest time, a goods storage and retrieval prediction algorithm is proposed. The number of the retrieved / stored goods is predicted and identified by using a goods storage and retrieval prediction algorithm.

[0115] The goods storage and retrieval prediction algorithm is first defined as follows.

[0116] unit_weight: it denotes the unit weight of goods (g) , that is, the weight of single goods. Assuming that milk A weighs 200g, the reading of the weighing sensor stored on the goods space of milk A is 1000g, that is, there are 5 bottles of milk A. The reading of the weighing sensor is 600g after the user retrieves the goods, indicating by calculation that 400g is lost, that is, 2 bottles are taken away.

[0117] begin_weight: it denotes the weight reading before the goods space begins to change.

[0118] weight: it denotes the real-time weight reading in the change of the goods space.

[0119] weight_difference: it denotes the change amount (g) of the real-time weight reading of the goods space.

[0120] predict_num: it denotes the currently predicted number of goods.

[0121] last_predict_list: it denotes the list of the number of goods predicted in the past.

[0122] last_predict_num: it denotes the last predicted number of goods.

[0123] Every time the storage or retrieval is completed, the change in the weight reading of the sensor is regarded as a complete detection period, which is divided into three stages, that is, the beginning of the weight reading change, the process of the weight reading change and the end of the weight reading change.

[0124] The specific process of the storage and retrieval prediction algorithm is as follows.

[0125] A. When it is detected that weight reading begins to change, the list of the number of goods predicted in the past last_predict_list is cleared, and the weight reading begin_weight before the weight reading begins to change is recorded.

[0126] B. In the process of the weight reading change, since there may be one or more changing weight readings in each period due to the intensity of the vibration, each weight reading will be predicted and analyzed in the vibration process.

[0127] The data weight of a changing weight value is continuously read from a weighing sensor in a detection period, and the weight change amount is calculated according to the difference between the current weight and the weight reading before the change begins; that is:

[0128] weight_difference= weight -begin_weight

[0129] The currently predicted number of goods is calculated by rounding (rounding up) according to the current weight change amount and the unit weight of goods; that is:

[0130] predict_num= Math. round (weight_difference  / unit_weight)

[0131] The currently predicted number predicted_num of goods is recorded into the list of the number of goods predicted in the past last_predicted_list, and if there is at least one list in the list of the number of goods predicted in the past last_predicted_list, the currently predicted number of goods predict_num is compared with the last predicted number of goods last_predict_num in the list of the number of goods predicted in the past last_predicted_list.

[0132] If the currently predicted number of goods is different from the last predicted number or the last predicted number does not exist, the number of goods retrieved / stored by the user broadcast on the goods storage and retrieval reminding device is updated; and if the currently predicted number of goods is the same as the last predicted number, the number of goods retrieved / stored by the user broadcast on the goods storage and retrieval reminding device is not updated.

[0133] In this way, by comparing whether the last predicted number is the same, it is judged whether to update the number of goods retrieved / stored by the user broadcast on the goods storage and retrieval reminding device, so that the rendering cost displayed on the goods storage and retrieval reminding device can be reduced, and the number of the retrieved / stored goods can be quickly presented to the user.

[0134] C. When the weight reading change ends, there is only one weight reading change ending in each period, that is, the vibration stops. When the change ends, it indicates that the period of the weight reading change is completed, and the predicted number at this time is the final number of goods retrieved and stored by the user.

[0135] Based on the above scheme, a method of dividing key monitoring areas corresponding to entrances and exits and intelligent shelves, activating user positioning and automatically weighing goods can realize intelligent and simple goods storage and retrieval for users without binding Radio Frequency Identification (RFID) tags for each piece of goods, thus greatly reducing consumables and labor cost. At the same time, the method can also avoid the problems of high computing cost and easy misidentification of a machine vision identification scheme. In addition, the storage and retrieval prediction algorithm can quickly determine and broadcast information of the retrieved / stored goods, thus reducing the waiting time of users and improving the user experience.

[0136] In some embodiments, the method of automatically identifying goods storage and retrieval further includes:

[0137] collecting a video picture in the area where the intelligent shelf generating weight change information is located when the user retrieves / stores the goods; carrying out color similarity analysis on the goods retrieved / stored in the video picture and pre-collected goods images corresponding to the intelligent shelf, and if the color similarity is greater than or equal to a first set threshold, considering that the goods are the same and judging that the retrieving / storing process is normal; if the color similarity is less than the first set threshold, carrying out identification again through a pre-trained deep learning algorithm model; and if the identification result is greater than or equal to a second set threshold, considering that the goods are the same and judging that the retrieving / storing process is normal; otherwise, considering that the goods are not the same and judging that the retrieving / storing process is abnormal. If the goods are found to be not the same, the administrator is alerted to analyze and process the abnormal situation.

[0138] In this way, multiple schemes of color analysis and machine vision analysis can avoid the illegal behavior of replacing goods in a certain goods space with other goods of the same weight when the goods are identified by weight alone.

[0139] In some embodiments, the pre-collected goods images are obtained by sampling designated goods at a plurality of angles. In this way, the accuracy of judgment can be further improved and misidentification can be reduced.

[0140] In some embodiments, the color similarity analysis may be to calculate the color similarity based on the CIEDE2000 color difference formula.

[0141] In some embodiments, the pre-trained deep learning algorithm model can be, but is not limited to, a Convolutional Neural Network (CNN) .

[0142] It can be understood that the same or similar parts in the above embodiments can refer to each other. The parts which are not explained in detail in some embodiments can refer to the same or similar parts in other embodiments.

[0143] Any process or method described in the flowchart or otherwise described herein can be understood as representing a module, segment or part of codes that includes one or more executable instructions for implementing steps of the specific logical functions or processes. Moreover, the scope of preferred embodiments of the present disclosure includes other implementations, in which functions can be performed out of the order shown or discussed, including in a substantially simultaneous manner or in a reverse order according to the functions involved, which should be understood by those skilled in the art to which embodiments of the present disclosure belong.

[0144] It should be understood that various parts of the present disclosure can be implemented in hardware, software, firmware or a combination thereof. In the above embodiments, a plurality of steps or methods can be implement by software or firmware stored in a memory and executed by an appropriate instruction execution system. For example, if the steps or methods are implemented in hardware, as in another embodiment, the steps or methods can be implemented by any one of the following technologies or a combination thereof: a discrete logic circuit with a logic gate for implementing a logic function on a data signal, an application specific integrated circuit with a suitable combinational logic gate, a Programmable Gate Array (PGA) , a Field Programmable Gate Array (FPGA) , etc.

[0145] Those skilled in the art can understand that all or part of the steps carried by the method of the above embodiment can be completed by instructing related hardware through a program. The program can be stored in a computer-readable storage medium, and the program, when executed, includes one of the steps of the method embodiment or a combination thereof.

[0146] In addition, each functional unit in each embodiment of the present disclosure may be integrated in one processing module, or each unit may exist physically alone, or two or more units may be integrated in one module. The above integrated modules can be implemented in the form of hardware or software functional modules. The integrated modules can also be stored in a computer-readable storage medium if they are implemented in the form of software functional modules and sold or used as independent products. The storage medium mentioned above can be a read-only memory, a magnetic disk or an optical disk, etc.

[0147] In the description of this specification, descriptions referring to the terms "one embodiment" , "some embodiments" , "examples" , "specific examples" or "some examples" mean that specific features, structures, materials or characteristics described in connection with the embodiment or example are included in at least one embodiment or example of the present disclosure. In this specification, the schematic expressions of the above terms do not necessarily refer to the same embodiment or example. Moreover, the specific features, structures, materials or characteristics described may be combined in any one or more embodiments or examples in a suitable manner.

[0148] Although the embodiments of the present disclosure have been shown and described hereinabove, it can be understood that the above embodiments are exemplary and cannot be understood as limitations of the present disclosure. Those skilled in the art can make changes, modifications, substitutions and variations to the above embodiments within the scope of the present disclosure.

Claims

1.A method of automatically identifying goods storage and retrieval, comprising:positioning and tracking a user in a goods storage and retrieval scene, and acquiring position information of the user;triggering a corresponding key business process when it is detected that the user is located in a preset key monitoring area, which specifically comprises: carrying out identity identification and position association of the user when the user enters an entrance area; activating a corresponding goods storage and retrieval area and an intelligent shelf when the user moves to a goods storage and retrieval area to allow the user to carry out goods storage or retrieval operations; and confirming results of goods storage and retrieval when the user enters an exit area;when the user carries out goods retrieval / storage operations on the intelligent shelf, collecting weight change information before and after retrieval / storage, determining the number of the retrieved / stored goods based on the weight change information, and then broadcasting the number through a goods storage and retrieval reminding device.2.The method according to claim 1, whereinthe carrying out identity identification and position association of the user when the user enters an entrance area comprises: when the entrance area identifies a moving object, identifying the user, acquiring the identity information of the user, and associating the identity information of the user with the corresponding moving object;the activating a corresponding goods storage and retrieval area and an intelligent shelf when the user moves to a goods storage and retrieval area comprises: activating the goods storage and retrieval area and the corresponding intelligent shelves when it is detected that the user enters the goods storage and retrieval area, in which the activated intelligent shelf allows retrieval / storage operations; and prohibiting other users from repeatedly activating the goods storage and retrieval area and the intelligent shelf before the user leaves the goods storage and retrieval area;confirming results of goods storage and retrieval when the user enters an exit area comprises: judging whether to open an entrance guard or give an abnormal alarm according to processing results of a goods storage and retrieval process in the exit area.3.The method according to claim 2, wherein when the entrance area or the exit area has been activated and occupied by a user, other users are prohibited from repeatedly activating and occupying the entrance area or the exit area.4.The method according to claim 2 or 3, wherein the method of judging that the user activates the key monitoring area comprises:representing the user as a first graph and the key monitoring area as a second graph;determining whether the user activates the key monitoring area based on a collision relationship between the first graph and the second graph; and in a time dimension, taking the user who has an effective collision first as a first user who activates the key monitoring area.5.The method according to claim 4, further comprising:prompting the first user currently activated in each area through a prompting device;and / or, guiding the user to move to the corresponding intelligent shelf to store and retrieve goods through the prompting device;and / or reminding whether the user has paid and whether the stored and retrieved goods conform to preset delivery and storage orders through the prompting device.6.The method according to claim 4, further comprising:if it is detected at the current moment that a plurality of users activate a key monitoring area at the same time, and no user activates the key monitoring area at the previous moment, predicting the first user who activates the key monitoring area through a coordinate and moving trajectory algorithm, which specifically comprises:acquiring a position coordinate of each user at the previous moment and a position coordinate of each user at the current moment;calculating the moving speed of each user based on the position coordinate of each user at the previous moment and the position coordinate of each user at the current moment;predicting the position coordinate where each user enters the key monitoring area based on a collision detection algorithm;calculating the time required for each user to enter the key monitoring area based on the moving speed of each user and the position coordinate where each user enters the key monitoring area;determining the user who needs the least time as the first user activating the key monitoring area.7.The method according to claim 1, wherein the number of the retrieved / stored goods is predicted and identified by using a goods storage and retrieval prediction algorithm, and the specific process comprises:when it is detected that weight reading begins to change, clearing the list of the number of goods predicted in the past, and recording the weight reading before the weight reading begins to change;in the process of changing the weight reading, continuously reading the data of a changing weight value from a weighing sensor in a detection period, and calculating the weight change amount according to the difference between the current weight and the weight reading before the change begins;calculating the currently predicted number of goods by rounding according to the current weight change amount and the unit weight of goods;recording the currently predicted number of goods into the list of the number of goods predicted in the past, and if there is at least one list in the list of the number of goods predicted in the past, comparing the currently predicted number of goods with the last predicted number of goods in the list of the number of goods predicted in the past;if the currently predicted number of goods is different from the last predicted number or the last predicted number does not exist, updating the number of goods retrieved / stored by the user broadcast on the goods storage and retrieval reminding device; and if the currently predicted number of goods is the same as the last predicted number, not updating the number of goods retrieved / stored by the user broadcast on the goods storage and retrieval reminding device.8.The method according to claim 1, further comprising:generating a goods retrieving and storing list according to the number and types of goods retrieved / stored by the user, and sending the goods retrieving and storing list to a local server.9.The method according to claim 1, further comprising:collecting a video picture in the area where the intelligent shelf generating weight change information is located when the user retrieves / stores the goods;carrying out color similarity analysis on the goods retrieved / stored in the video picture and pre-collected goods images corresponding to the intelligent shelf, and if the color similarity is greater than or equal to a first set threshold, considering that the goods are the same and judging that the retrieving / storing process is normal;if the color similarity is less than the first set threshold, carrying out identification again through a pre-trained deep learning algorithm model; and if the identification result is greater than or equal to a second set threshold, considering that the goods are the same and judging that the retrieving / storing process is normal; otherwise, considering that the goods are not the same and judging that the retrieving / storing process is abnormal.10.The method according to claim 9, wherein the pre-collected goods images are obtained by sampling designated goods at a plurality of angles.11.The method according to claim 1, wherein the used positioning technologies comprise laser radar positioning, micro-wave radar positioning, radio frequency positioning or machine vision positioning; if machine vision positioning is used, desensitization is carried out on the face or the whole human imaging data after face data is collected to protect the privacy and safety of the user.12.A system of automatically identifying goods storage and retrieval, comprising: a local server, and an intelligent entrance and exit system, an intelligent positioning system and an intelligent shelf which are in communication connection with the local server;wherein the local server is configured to acquire and process information collected by each device of the intelligent entrance and exit system, the intelligent positioning system and the intelligent shelf, and control each device through control instructions;the intelligent entrance and exit system comprises an entrance guard and an identity identification device, wherein the identity identification device is configured to acquire identity information of a user, and the local server determines whether to control the entrance guard to be opened according to the identity information;the intelligent positioning system is configured to position and track a user in a goods storage and retrieval scene and acquire position information of the user; the local server triggers a corresponding key business process when determining that the user is located in a preset key monitoring area based on the position information; the key monitoring area comprises an entrance area, a goods storage and retrieval area and an exit area, wherein identity identification and position association of the user are carried out in the entrance area, a corresponding intelligent shelf is activated and goods storage or retrieval operations are carried out in the goods storage and retrieval area, and results of goods storage and retrieval are confirmed in the exit area;the intelligent shelf comprises an intelligent weighing goods space, the intelligent weighing goods space is configured to store goods and acquire weight change information of goods, and the local server determines result information of goods retrieval / storage according to the weight change information.

Images