Proof of Concept: Shopsystem vor der Entscheidung testen
Kurz gesagt
Ein Pilotbetrieb prüft einen Kandidaten vor der Unterschrift mit Ihren echten Daten: begrenzter Zeitraum, ein System, zehn vorab festgelegte Szenarien, messbare Bestanden-Kriterien. Verlangen Sie schriftlich eine Testumgebung, in der Sie selbst arbeiten, und legen Sie vor dem Start fest, welche Ergebnisse zum Vertrag führen und welche den Kandidaten ausschließen. Das Vorgehen gilt für Shops in Deutschland, Österreich und der Schweiz.
Das Wichtigste
- Ein Pilotbetrieb beantwortet Betriebsfragen mit echten Daten; für reine Funktionsfragen genügt eine Testbestellung im Testzugang.
- Szenarien, erwartete Ergebnisse und Bestanden-Kriterien stehen vor dem Start schriftlich fest.
- Der Testzugang ist Verhandlungssache: Umgebung, Laufzeit, gesperrte Funktionen, Support und Löschung Ihrer Daten lassen Sie sich schriftlich bestätigen.
- Zehn Szenarien decken Katalog, Bestand, Bestellspitze, Zahlung, Rechnungsdaten, Versand, Retoure, Kundenservice, Fehlerfall und Datenauszug ab.
- Ein Kandidat, der ein Muss-Kriterium nicht erfüllt, scheidet aus, auch wenn die Punktzahl in der Summe stimmt.
Ein Pilotbetrieb ist die letzte Prüfung vor der Vertragsunterschrift. Er unterscheidet sich vom Vergleich mehrerer Kandidaten: Dort prüfen Sie Systeme mit demselben Testdatensatz (Shopsysteme vergleichen), hier fahren Sie einen Kandidaten für eine begrenzte Zeit mit Ihrer echten Datenlage. Diese Fragen beantwortet der Betriebsalltag mit Ihren Daten: Wie lange dauert der Import Ihrer Artikelliste, wenn niemand mehr danebensteht? Hält das System Ihre stärkste Stunde aus? Kommen Rechnungsdaten unverändert in Ihrer Buchhaltung an?
Worum es beim Pilotbetrieb geht
In der Sprache der Testlehre ist der Pilotbetrieb ein betrieblicher Abnahmetest (operational acceptance testing): Er prüft, ob die Organisation, die das System später bedient, es annehmen kann (ISTQB Glossary). Das Glossar des ISTQB ist Fachstandard, kein Gesetz; es gilt nur, wenn Sie es in der Ausschreibung oder im Vertrag ausdrücklich vereinbaren. Als Gliederung hilft es trotzdem. Es trennt die Testbasis (Ihre Anforderungsliste), die Testbedingungen, den Testfall mit Vorbedingung, Eingabe, Handlung und erwartetem Ergebnis sowie die Eingangs- und Endekriterien, unter denen ein Test beginnt und endet (entry/exit criteria).
Ein Pilotbetrieb ersetzt kein Vertragsgespräch und keine Referenzprüfung. Er ersetzt auch nicht den Vergleich: Nehmen Sie einen Kandidaten und behalten Sie den Abbruch als Option.
Was Sie vorab brauchen
- Schriftliche Angaben des Anbieters zur Testumgebung: eigene Daten oder feste Demodaten, gesperrte Funktionen, angebundene Zahlarten, erreichbarer Support während des Tests, Laufzeit, Löschung Ihrer Daten danach und Kosten.
- Ihre Anforderungsliste mit Muss-, Soll- und Kann-Kriterien (Anforderungsliste für das Shopsystem).
- Eine Teilmenge Ihrer echten Artikeldaten als Datei, mit Varianten, Preisen und Bildern; für Bestellungen genügen eigene Testkonten.
- Das schriftliche Testskript mit zehn Szenarien und dem erwarteten Ergebnis (Abschnitt weiter unten).
- Ein Zeitraum, in dem mindestens ein vollständiger Vorgang von der Bestellung über den Versand bis zur Retoure durchläuft.
- Zwei Personen: eine, die den Shop später pflegt, und eine, die ihn nicht kennt.
Schritt für Schritt: den Pilotbetrieb aufsetzen
Schritt 1: Fragestellung festhalten
Notieren Sie in zwei Sätzen, welche Entscheidung der Pilotbetrieb stützt und welche Kriterien aus Ihrer Anforderungsliste dafür ausschlaggebend sind. Ohne diese Festlegung lässt sich am Ende nicht sagen, ob der Test sein Ziel erreicht hat.
Schritt 2: Testzugang schriftlich klären
Fragen Sie nach einer Umgebung, in der Sie selbst arbeiten und Ihre Datei importieren dürfen, nicht nach einer Vorführung. Lassen Sie Laufzeit, Funktionsumfang, Zahlarten im Test, erreichbaren Support und den Umgang mit Ihren Daten nach dem Test schriftlich bestätigen. Jede dieser Zusagen gehört in Ihre Unterlagen, nicht nur in ein Gesprächsprotokoll.
Schritt 3: Eingangs- und Endekriterien festlegen
Legen Sie vor dem Start fest, wann der Test beginnt (Eingangskriterien: Zugang offen, Testdaten importiert, Ansprechperson benannt) und wann er endet (Endekriterien). Trennen Sie dabei, was zum Vertrag führt und was den Kandidaten ausschließt. Fällt ein Muss-Kriterium im Pilotbetrieb durch, endet die Prüfung dieses Kandidaten; ein Kann-Kriterium wird zur offenen Frage im Protokoll.
Schritt 4: Testdaten und Testkonten vorbereiten
Spielen Sie eine Teilmenge Ihrer Artikelliste ein, nicht die ganze. Wählen Sie Positionen, die im Alltag Aufwand machen: ein Artikel mit Varianten, einer ohne Bestand, einer mit Sonder-Versand (Beispielwerte). Bestellungen legen Sie mit eigenen Testkonten an. Ob und unter welchen Bedingungen Personendaten in eine Testumgebung dürfen, ist eine Datenschutzfrage und steht im Artikel Datenschutz bei der Shopsystem-Auswahl; für dieses Testskript brauchen Sie sie nicht.
Schritt 5: Testskript schreiben
Schreiben Sie zu jedem Szenario das erwartete Ergebnis auf, bevor Sie testen. Ein Testfall besteht aus Vorbedingung, Eingabe, Handlung und erwartetem Ergebnis (ISTQB Glossary, Eintrag test case); halten Sie zusätzlich fest, wer testet, wann und womit. Ein festgeschriebenes Soll-Ergebnis schützt davor, einen Fehler nachträglich als Einstellungssache zu deuten. Die zehn Szenarien unten sind ein Gerüst; ergänzen Sie sie um die Fälle, die in Ihrem Geschäft Geld kosten.
Schritt 6: Durchführen und messen
Arbeiten Sie das Skript der Reihe nach ab und protokollieren Sie je Szenario Ergebnis, Beleg, Zeitbedarf und alle Handarbeit, die danach nötig war. Ein Szenario ohne Beleg zählt als nicht geprüft, nicht als bestanden. Führen Sie Szenario 10 vor dem letzten Tag aus, solange der Zugang noch offen ist.
Schritt 7: Auswerten und entscheiden
Zählen Sie nicht Punkte zusammen, sondern beantworten Sie je Anforderung ja oder nein. Rechnen Sie danach die Gesamtkosten über die geplante Laufzeit und tragen Sie sie ins Protokoll ein (Gesamtkosten eines Shopsystems). Ergebnis ist eine Entscheidung mit Begründung, Datum und Name, kein Gefühl. Wenn Sie das Projekt ausschreiben, halten Sie das Prüfergebnis gegen die Auftragsklärung (Ausschreibung für ein Shopprojekt).
Das Testskript: zehn Szenarien mit Bestanden-Kriterien
Die Tabelle ist ein Vorschlag. Grenzwerte für Zeit, Zahl und Menge legen Sie vorab selbst fest; die Zahlen in Klammern sind Beispielwerte (Annahme), keine Marktangaben.
| Nr. | Szenario mit Ihren Daten | Bestanden, wenn |
|---|---|---|
| 1 | Katalogimport: Ihre Artikelliste (im Beispiel 100 Positionen mit Varianten, Preisen und Bildern) einspielen | alle Positionen mit richtigem Preis, Steuersatz und Bestand erscheinen; Importzeit und Handarbeit danach sind protokolliert |
| 2 | Bestandsabgleich: den Bestand eines Artikels im führenden System ändern | die Änderung erscheint im Shop innerhalb Ihrer Frist und ohne manuellen Eingriff |
| 3 | Bestellspitze: die Zahl der Bestellungen Ihrer stärksten Stunde (im Beispiel 20 in 60 Minuten) durchspielen | jede Bestellung liegt einmal und vollständig in der Bestellverwaltung; keine Doppel- oder Fehlbestellung; Antwortzeit unter Ihrem Grenzwert |
| 4 | Zahlung: je angebotener Zahlart eine Bestellung abschließen und im Abrechnungsreport des Zahlungsdienstleisters suchen | Betrag, Referenz und Status stimmen in Shop, Bestellung und Report überein; eine Rückzahlung erscheint vollständig |
| 5 | Rechnungsdaten: die Testbestellungen in dem Format exportieren, das Ihre Buchhaltung verlangt | der Export enthält jede Testbestellung mit den vereinbarten Feldern; Ihre Buchhaltung akzeptiert die Datei im Testlauf |
| 6 | Versand: für eine Bestellung ein Versandetikett erzeugen und die Sendungsverfolgung in den Shop zurückspielen | der Status wechselt ohne Doppelerfassung auf versandt; die Sendungsnummer steht in der Bestellung |
| 7 | Retoure: eine Bestellung zurücksenden, Ware prüfen, Teilerstattung buchen | Bestand und Erstattung stimmen; der Vorgang erscheint im Export für die Buchhaltung |
| 8 | Kundenservice: eine Testbestellung ohne Bestellnummer suchen, Status ändern, Bestätigung erneut senden | die Bestellung ist innerhalb Ihrer Frist gefunden; Änderung und erneute E-Mail sind sichtbar |
| 9 | Fehlerfall: die Zahlung scheitert und die Lieferadresse wird abgelehnt | die Bestellung bleibt im definierten Zustand, die Kundschaft erhält eine verständliche Meldung, der Warenkorb bleibt erhalten |
| 10 | Datenauszug: alle Produkte, Kunden und Bestellungen der Testphase exportieren und in einer Tabellenkalkulation öffnen | die Datei öffnet sich, die Felder sind vollständig, das Format ist dokumentiert |
Die Szenarien 1, 2 und 10 berühren die Anbindung an Ihre Warenwirtschaft und den Umstieg von einem Altsystem; dafür stehen Ihnen Warenwirtschaft für Onlinehändler und Datenmigration beim Shopwechsel zur Seite. Szenario 10 ist zugleich der Ausstiegstest; was ein Anbieter hier liefert, entscheidet über Ihre Anbieterbindung.
So prüfen Sie das Ergebnis
- Zu jedem Szenario liegt ein Beleg vor: Exportdatei, Screenshot oder Mail des Supports.
- Jedes Bestanden-Kriterium ist mit ja oder nein beantwortet; Zwischennoten gibt es nicht.
- Alle zehn Szenarien sind durchlaufen oder ausdrücklich als nicht geprüft vermerkt.
- Der Datenauszug aus Szenario 10 liegt vor dem Ende des Testzugangs in Ihren Händen.
- Muss-, Soll- und Kann-Kriterien sind getrennt ausgewertet; ein Muss-Ausfall beendet die Prüfung des Kandidaten.
- Entscheidung, Begründung, Gesamtkosten und offene Risiken stehen im Entscheidungsprotokoll.
Wenn etwas nicht klappt
| Symptom | Ursache | Abhilfe |
|---|---|---|
| Der Zugang zeigt nur vorbereitete Demodaten, der Import ist gesperrt | Der Anbieter hat eine Vorführinstanz gestellt | um eine Umgebung mit eigenen Daten bitten; sonst bleiben die Szenarien 1, 2, 5 und 10 unbelegt und zählen nicht als bestanden |
| Szenario 4 fällt durch, obwohl die Vorführung beim Anbieter lief | die Zahlart ist im Test nicht freigeschaltet oder das Testkonto ist gesperrt | den Zugang schriftlich klären; ohne Freischaltung gilt das Szenario als nicht geprüft, nicht als bestanden |
| Die Testphase endet früher als erwartet | Laufzeit war nicht schriftlich bestätigt | Datenauszug sofort ziehen und Laufzeit sowie Datenlöschung künftig vor dem Start schriftlich festhalten |
| Ihr Team braucht für Szenario 8 viel länger als gedacht | es gab keinen Grenzwert, die Messung startete ohne Vergleichsmaß | Grenzwert vorab festlegen; nachträglich ist die Beobachtung nur noch als Beleg verwendbar, nicht als Bewertung |
| Nach dem Test ist unklar, ob der Kandidat durchgefallen ist | Muss-Kriterien und Punktesumme wurden vermischt | Muss-Ausfall getrennt führen und die Entscheidung mit Datum und Name ins Protokoll schreiben |
Wann Sie Hilfe holen sollten
Für den Datenauszug und die Anbindung an Ihre Warenwirtschaft oder Ihr ERP ziehen Sie die Agentur oder die Person hinzu, die die Schnittstelle später betreibt (Schnittstellen eines Shopsystems prüfen). Welches Dateiformat Ihre Buchhaltung oder Ihre Steuerberatung akzeptiert, sagt Ihnen diese Stelle selbst, nicht der Shopanbieter (Shop-Buchhaltung an den Steuerberater übergeben). Verweigert der Anbieter den Testzugang und bleibt es bei einer Vorführung, ist das ein Ergebnis: Der Betrieb bleibt unbelegt, und Sie entscheiden allein auf Basis der Zusagen im Vertrag.