Einkaufen ohne Kasse: Wie REWE Pick & Go in Köln wirklich funktioniert
Dieses Wochenende war ich in Köln und habe dort ein verlängertes Wochenende verbracht. Es war wirklich schön, vor allem, weil die Leute entspannt und freundlich waren. Außerdem ist Köln im Vergleich zu Berlin angenehm überschaubar: Ich musste selten länger als 30 Minuten fahren, um irgendwo hinzukommen. Eine nette Abwechslung.
Richtig spannend fand ich aber etwas ganz anderes: einen REWE-Markt mit dem Konzept Grab & Go. Die Idee dahinter: Man packt seine Produkte direkt in die eigene Tasche, scannt beim Verlassen des Ladens nur noch den QR-Code aus der App, und das System hat währenddessen automatisch erkannt, welche Produkte man mitgenommen hat. Keine Kasse, kein Scannen einzelner Artikel, kein Warten.
Das System heißt REWE Pick & Go und läuft unter anderem im Markt in der Luxemburger Straße 150 in Köln-Lindenthal. Ich habe mich danach etwas genauer eingelesen, wie so etwas technisch überhaupt möglich ist, und genau darum soll es in diesem Artikel gehen.
Wichtiger Hinweis vorab: REWE und der dahinterstehende Technologieanbieter Trigo veröffentlichen aus nachvollziehbaren Gründen wenig Details zur genauen technischen Umsetzung, das ist schließlich ihr Geschäftsgeheimnis. Alles, was ich im Folgenden zur konkreten technischen Funktionsweise schreibe, ist daher zu großen Teilen meine eigene Einordnung und Vermutung, basierend auf öffentlich zugänglichen Informationen, allgemeinem Stand der Technik in der Computer-Vision-Forschung und ein paar Aussagen, die Trigo selbst gemacht hat. Wo ich mir wirklich sicher bin, weil es eine belastbare Quelle dafür gibt, kennzeichne ich das entsprechend.
Was steckt hinter dem Konzept?
Das Grundprinzip ist denkbar einfach beschrieben: reinlaufen, Produkte nehmen, rausgehen, die Kasse “weiß” trotzdem, was man gekauft hat. Am Eingang scannt man den QR-Code aus der Pick & Go-App, dahinter ist das Zahlungsmittel (Apple Pay, Google Pay, PayPal oder Kreditkarte) hinterlegt. Alles, was man während des Einkaufs aus den Regalen nimmt, landet automatisch in einem virtuellen Warenkorb. Verlässt man den Markt wieder durch das Ausgangs-Gate, wird dieser Warenkorb automatisch abgerechnet, und der digitale Bon erscheint in der App.
Im Kölner Markt gibt es übrigens weiterhin klassische Kassen und Self-Checkout-Terminals, man kann also frei wählen, ob man klassisch bezahlt oder das Pick & Go-System nutzt.
Soweit ich das nachvollziehen konnte, basiert das System auf drei zusammenspielenden Komponenten:
Komponente 1: Gewichtssensoren im Regalboden
Jedes Regal ist mit Sensoren ausgestattet, die kontinuierlich das Gewicht messen. Nimmt man ein Produkt heraus, registriert der Sensor die Gewichtsveränderung sofort. Das Praktische daran: Der Sensor erkennt nicht nur, dass etwas entnommen wurde, sondern liefert auch ein Signal, wenn ein Produkt nur kurz angeschaut und wieder zurückgelegt wird, also gerade kein Kauf stattfindet. Ohne diese Information müsste die Software allein aus dem Kamerabild ableiten, ob eine Kaufabsicht vorlag, was deutlich fehleranfälliger wäre.
Komponente 2: Deckenkameras
Über die gesamte Verkaufsfläche verteilt hängen sehr viele Kameras, in vergleichbaren Filialen sollen es teils mehrere hundert sein. Sie filmen durchgehend die Gänge und Regalbereiche. Wichtig dabei: REWE betont ausdrücklich, dass keine Gesichtserkennung eingesetzt wird. Kund:innen werden stattdessen anhand anderer, nicht-biometrischer Merkmale verfolgt, etwa Statur, Kleidung, Bewegungsmuster oder Position im Raum. Nach Abschluss des Einkaufs sollen diese Verfolgungsdaten laut REWE wieder gelöscht werden, das System soll einen also bei einem späteren Besuch nicht wiedererkennen.
Komponente 3: Computer Vision / KI
Die eigentliche “Intelligenz” des Systems ist eine Software, die aus den Kamerabildern und den Sensordaten in Echtzeit ableitet, welche Person zu welchem Regalereignis gehört, und daraus den virtuellen Warenkorb zusammenbaut.
Wer steckt technisch dahinter: Trigo
Der Technologiepartner hinter REWE Pick & Go ist das israelische Unternehmen Trigo, teilweise auch als “Trigo Vision” bezeichnet. REWE hat sich nicht nur als Kunde, sondern auch als Investor an Trigo beteiligt, um die Technologie für den deutschen Markt weiterzuentwickeln.
Trigo beschreibt sein System selbst als kamerabasierte, KI-gestützte Plattform, die aus handelsüblichen Deckenkameras und Sensoren ein digitales Abbild des Ladens erstellt und darüber Position und Bewegung jedes Objekts, inklusive der Kund:innen, verfolgt. Auffällig ist, dass Trigo mehrfach betont, mit bestehender, handelsüblicher CCTV-Kameratechnik auszukommen und keine Spezialhardware wie Tiefenkameras oder LiDAR zu benötigen. Das spricht dafür, dass die eigentliche Leistung nicht in exotischer Hardware steckt, sondern in der Software, die aus vielen ganz normalen Kamerabildern ein konsistentes Gesamtbild errechnet.
Wie könnte die Erkennung technisch ablaufen? (Vermutung / Einordnung)
Jetzt wird es spekulativ. Ab hier beschreibe ich, wie ein solches System nach allgemeinem Stand der Technik vermutlich funktioniert, nicht, was konkret in Kölner Regalen verbaut ist.
Personen erkennen, ohne Gesichter zu erkennen. Das dafür passende Forschungsfeld nennt sich in der Computer-Vision-Forschung Person Re-Identification (kurz Re-ID). Dabei wird eine Person nicht über ihr Gesicht identifiziert, sondern über eine Kombination vieler anderer Merkmale: Kleidungsfarbe und -muster, Körperproportionen, Gangart, Laufrichtung, Geschwindigkeit, Position im Raum, welche Hand gerade benutzt wird, oder welche Produkte bereits im virtuellen Warenkorb liegen. Kein einzelnes Merkmal ist für sich genommen eindeutig, in Kombination ergibt sich aber vermutlich eine sehr hohe Zuordnungswahrscheinlichkeit.
Das Problem der Verdeckung. Steht jemand kurz hinter einem hohen Regal und ist für eine Kamera nicht sichtbar, muss das System später entscheiden, ob die wieder auftauchende Person dieselbe ist wie zuvor. Dafür dürften Faktoren wie die letzte bekannte Position, plausible Laufwege, die vergangene Zeit und das Aussehen kombiniert werden. Da sich die Sichtfelder vieler Deckenkameras überlappen, gibt es in der Praxis vermutlich nur selten wirklich “blinde Flecken”, meist sieht mindestens eine zweite Kamera die Person weiterhin.
Wenn zwei Personen sich ähneln oder kreuzen. Tragen zwei Kund:innen zufällig ähnliche Kleidung, oder kreuzen sich ihre Wege im Gang, kann es theoretisch zu Verwechslungen kommen. Systeme dieser Art setzen dafür vermutlich sogenannte Multi-Object-Tracker ein, die jede Person kontinuierlich verfolgen und bei jedem neuen Bild neu berechnen, welche Zuordnung am wahrscheinlichsten ist. Kombiniert mit dem exakten Zeitpunkt eines Regalsensor-Ereignisses lässt sich die Unsicherheit vermutlich deutlich reduzieren.
Sensor-Fusion als eigentlicher Kniff. Meine persönliche Einschätzung: Das eigentliche “Geheimnis” solcher Systeme dürfte weniger in der reinen Objekterkennung liegen, die ist mit modernen KI-Modellen heute gut lösbar, sondern darin, Dutzende Kamera-Streams und Sensordaten so zusammenzuführen, dass am Ende zuverlässig eine Person mit einem Produkt verknüpft wird, und das über den gesamten Einkauf hinweg, ohne dass sich Fehler aufsummieren.
Was ist tatsächlich belegt, und was nicht
Ich wollte es nicht bei reiner Spekulation belassen und habe deshalb geschaut, was Trigo selbst tatsächlich öffentlich gemacht hat. Fündig geworden bin ich vor allem in einem 2020 veröffentlichten Fachartikel, den Trigos eigene Machine-Learning-Entwickler auf dem offiziellen PyTorch-Blog verfasst haben.
Daraus lässt sich mit hoher Sicherheit ableiten:
- PyTorch ist das von Trigo verwendete Deep-Learning-Framework für die Entwicklung ihrer Modelle. Als Gründe nennen die Entwickler unter anderem die einfache Fehlersuche und die Flexibilität beim Bau komplexer neuronaler Netze.
- Für das Management der Trainingsläufe und Experimente setzte Trigo auf Allegro AI Trains, das Vorläuferprojekt des heute bekannten ClearML. Damit lassen sich Trainingsläufe versionieren, vergleichen und automatisiert als Container ausrollen.
- Die Architektur besteht laut diesem Artikel aus mehreren spezialisierten KI-Modellen (u. a. für Objekterkennung, Tracking und Pose Estimation), deren Ergebnisse von einer übergeordneten Logik-Schicht zu einer einzigen Entscheidung zusammengeführt werden, vergleichbar mit der Sensor-Fusion in einem autonomen Fahrzeug, wo Spurerkennung, Objektvermeidung und GPS ebenfalls in einer gemeinsamen Entscheidungslogik zusammenlaufen.
- Für Training und Skalierung erwähnt ein separater Gastbeitrag eines Trigo-Chefarchitekten zusätzlich den Einsatz von Google Cloud und BigQuery.
- Für den laufenden Betrieb in den Filialen selbst spricht Trigo von einer möglichst latenzarmen, weitgehend lokalen Verarbeitung vor Ort (“On-Premise-Cluster”), die eigentliche Inferenz, also das Erkennen in Echtzeit, findet demnach nicht erst in einem entfernten Rechenzentrum statt, sondern direkt im Markt.
Wichtig ist mir dabei die Einschränkung: Der zitierte Artikel ist von 2020 und beschreibt die damalige Entwicklungspipeline. Ob exakt dieselben Werkzeuge heute, sechs Jahre später und in dieser Form auch im Kölner Markt eingesetzt werden, kann ich nicht mit Sicherheit sagen. Für konkrete Bausteine wie Objekterkennungs-Bibliotheken (z. B. YOLO oder vergleichbare Modelle) oder die zugrundeliegenden Re-ID-Algorithmen habe ich dagegen keine öffentliche, belastbare Quelle gefunden, hier bleibt es bei der oben beschriebenen Vermutung auf Basis des allgemeinen Forschungsstands.
Und der Datenschutz?
Ein Laden voller Kameras löst verständlicherweise erstmal ein mulmiges Gefühl aus. REWE betont dazu explizit:
- Es findet keine Gesichtserkennung statt.
- Die Bildauswertung soll ausschließlich dazu dienen, den Einkauf ohne klassischen Scanvorgang zu ermöglichen.
- Die personenbezogenen Bewegungsdaten sollen nach Abschluss des Einkaufs gelöscht werden, eine Wiedererkennung bei einem späteren Besuch soll dadurch nicht möglich sein.
Ob und wie sich das im Detail überprüfen lässt, kann ich als Kunde natürlich nicht beurteilen, das bleibt letztlich eine Vertrauensfrage gegenüber REWE und Trigo.
Fazit
Für mich als Besucher war der Einkauf jedenfalls beeindruckend unspektakulär, man merkt im Alltag eigentlich gar nicht, wie viel technischer Aufwand im Hintergrund nötig ist, damit man einfach nur seine Tasche packen und rausgehen kann. Genau das macht das System aber auch spannend: Ein Supermarktbesuch, der sich komplett gewöhnlich anfühlt, basiert vermutlich auf hunderten Kameras, tausenden Regalsensoren und einer KI-Pipeline, die im Hintergrund kontinuierlich entscheidet, wer gerade was in die Tasche gepackt hat. Ich bin gespannt, ob und wie sich solche Systeme in den nächsten Jahren in weiteren Städten ausbreiten.
Weitere Quellen: heise.de: Im Test, Einkaufen im Supermarkt ohne Kasse, heise.de: Pick & Go, REWE ermöglicht kassenloses Einkaufen
https://www.stores-shops.de/technology/smart-store/interview-grab-and-go-technologie-bei-rewe/)