datainspec
Pilotprojekt anfragen

Ergebnisse

Die Zahlen, nach denen CTOs fragen. Alle.

Ertrinken wir in Meldungen? Erkennt es folgenschwere Fehler? Läuft es auf unseren Rechnern? Können wir den Zahlen vertrauen? Hier stehen alle Antworten, die wir gemessen haben.

Datainspec 0.4.1Oktober 2026ein Laptop · keine Regeln geschrieben
0Befunde in 432 Scans unveränderter Dateien aus 108 Datensätzen
93,15 %von 628 in echte öffentliche Datensätze eingeschleusten Fehlern erkannt, ohne Regeln zu schreiben
106 Mio.Zeilen auf einem Laptop verglichen, mit 5 GB Arbeitsspeicher
229 Mio.echte Textzellen, 0 Fehlalarme wegen verborgener Datenbankbefehle

01Ertrinken wir in Meldungen?

Keine Meldungen, wenn alles stimmt.

Meldungsfluten machen Datentools unbrauchbar. Deshalb messen wir Alarme bei unveränderten Daten genauso gründlich wie die erkannten Fehler.

0Warnungen

bei einem echten Monatsvergleich des französischen Unternehmensregisters

30 Millionen Unternehmen, September gegen Oktober 2025. Keine Spaltenprüfung meldete etwas. Die Änderungen passen in drei Zeilen:

What changed · SIRENE · Oct 2025clean
  • VolumeRows: +128,055 (+0.43%), 30,020,346 to 30,148,401, within the usual range
  • Names, codes11 name or code columns: new and gone values, each under the alarm floors
  • Patterns5 columns: the share of values off their usual pattern moved 0.16 to 0.25 points, under the alarm
So haben wir gemessen

StockUniteLegale von INSEE, September und Oktober 2025: 30.020.346 und 30.148.401 Zeilen, 35 Spalten, 4,3 GB CSV, im speichersparenden Modus, in 1.240 Sekunden mit einem Spitzenbedarf von 10,1 GB, auf dem unten beschriebenen Laptop. Zwei Warnungen kamen vom Modell auf Zeilenebene (Zeilen, die in Kombination ungewöhnlich aussehen), separat gezählt; keine von den Spaltenprüfungen.

0

Befunde in 432 Scans unveränderter Dateien

Jeder der 108 Datensätze wurde mit sich selbst verglichen, unter vier Einstellungen. Nichts hatte sich geändert, und nichts wurde gemeldet.

So haben wir gemessen

Das Gate für den Vergleich identischer Dateien: 108 Datensätze, jeweils mit sich selbst verglichen – im speichersparenden Modus mit drei Speicherbudgets und einmal im Arbeitsspeichermodus: 432 Scans, kein falscher Befund. Vier weitere Scans wurden aus Speichergründen vor Beginn abgelehnt (README, Limits; R8 Abschnitt 2.4). Beide Prüfreihen wurden für 0.4.1 wiederholt: identische Ergebnisse.

229 Mio.

echte Textzellen, 0 Fehlalarme

Die Prüfung auf in Text verborgene Datenbankbefehle meldete bei 229.214.793 echten Zellen nichts und erkannte 450 von 450 verborgenen Angriffsmustern im Testsatz.

So haben wir gemessen

Das Gate für unveränderte Daten auf Zeilenebene: jede Textzelle aus 11 echten Datensätzen in voller Größe, 229.214.793 Zellen, 0 Fehlalarme; 450 von 450 erkannten Fällen im Testsatz mit verdeckten Angriffsmustern (docs/COVERAGE.md). Zeitverzögerte, URL-codierte und numerische Injektionen ohne Anführungszeichen sind von dieser Prüfung nicht abgedeckt.

Still heißt nicht blind

Auch schleichende Drift wird sichtbar.

Eine Spalte, die sich monatlich um 1 % verschiebt, bleibt jedes Mal unter der Alarmschwelle. History verfolgt jede Spalte über alle Scans und freigegebenen Versionen, sortiert nach den größten Veränderungen und stellt sie grafisch dar: zwölf kleine Schritte ergeben einen Trend.

So haben wir gemessen

Die Registerkarte History in der App, seit 0.4.0. Für jede Spalte: Anteil fehlender Werte, Anzahl unterschiedlicher Werte, Mittelwert und Befunde über jeden Scan des Datensatzes und jede freigegebene Version hinweg; jede Freigabe ist im Diagramm markiert. Sobald 4 Scans vorliegen, werden die 20 Spalten mit der größten Veränderung seit dem ältesten Scan aufgelistet. Die Ansicht zeigt den Trend; sie löst dafür keinen Alarm aus.

Scan 1Scan 13+12%
Illustration: etwa 1 % je Scan. Jeder Schritt bleibt innerhalb seines Toleranzbands (schattiert); der Trend nicht.

02Erkennt es folgenschwere Fehler?

Erkennt folgenschwere Fehler. Ohne geschriebene Regeln.

Alle Ergebnisse hier wurden mit den Standardeinstellungen erzielt. Niemand hat eine Regel geschrieben, einen Schwellenwert festgelegt oder vorgegeben, wonach gesucht werden soll.

585von 628

eingeschleuste Fehler erkannt, 93,15 %

Entfernte Spalten, geänderte Datentypen, sprunghaft mehr fehlende Werte, Ausreißer, neue Kategorien und Formatabweichungen, eingeschleust in echte öffentliche Datensätze. Standardeinstellungen; niemand hat eine Regel geschrieben.

So haben wir gemessen

628 Fehler wurden einzeln in einen Bestand aus 107 echten öffentlichen Datensätzen mit jeweils bis zu 5.000 Zeilen eingeschleust. Jeder wurde mit den Standardeinstellungen gegen sein fehlerfreies Original geprüft; erkannt bedeutet eine Warnung oder ein kritischer Befund. Gemessen am 18. September 2026.

Kalibrierung

Präzise, wo es zählt.

Das sind die Standardeinstellungen: Automatisches Profiling und Kalibrierung setzen jeden Schwellenwert so, dass normale Monate ohne Meldung bleiben. Für die wichtigsten Spalten legt ein Engineer in der Registerkarte Calibration einen präzisen Schwellenwert mit Begründung fest. Das wird dokumentiert und lässt sich rückgängig machen.

So haben wir gemessen

In der Registerkarte Calibration der App, je Spalte und Prüfung (Anteil fehlender Werte, Ausreißergrenze und weitere Prüfungen der Spalte): ein neuer Wert und eine Begründung. Jede Änderung wird samt Urheber gespeichert und lässt sich zurücksetzen.

NOAA · öffentliche Wetterdaten

1.420 Scheinmesswerte, mit ihren Zeilen markiert.

Platzhaltercodes als vermeintliche Messwerte: Taupunkte von 9999.9, Windgeschwindigkeiten von 999.9. Markiert, bevor diese Version zur Referenzversion werden konnte.

SpalteWertZeilen
DEWP9999.9347
WDSP999.9535
MXSPD999.9538
So haben wir gemessen

NOAA GSOD 2023, 49 Stationen in Norwegen und auf Spitzbergen, 10.977 Zeilen: der Qualitätscheck vor der Freigabe einer Version, jeder Hinweis mit Beispielzeilen. Er markiert diese drei Spalten; weitere Spalten enthalten ebenfalls NOAA-Codes und werden nicht markiert.

Citi Bike · Fahrten in New York

Eine Teststation in öffentlichen Stadtdaten.

Zwischen Dezember und Januar wurden 52 zuvor unbekannte Stations-IDs samt Zeilen markiert. 51 waren neue Stationen. Eine war eine Laborteststation in 3 Zeilen, die in den öffentlichen Export geraten war.

unbekannte end_station_idwas dahintersteckte
JC008neue Station, Newport Pkwy
HB305neue Station, 9 St HBLR
JC117neue Station, Dr. Lena Edwards Park
Lab - NYC - Monolitheine Laborteststation, 3 Zeilen
+ 48 weitereneue Stationen
So haben wir gemessen

Citi-Bike-Fahrten in NYC, Dezember 2025 gegen Januar 2026: 2.091.620 und 1.816.391 Zeilen. Zuvor unbekannte IDs bei Ziel- und Startstationen (52 IDs in 15.085 Zeilen, 20 IDs in 11.178), beide Befunde kritisch. Eine Person prüfte die Liste und stufte den Befund als erwartete Änderung und die Teststation als echtes Problem ein. Gemessen im August 2026 mit einer früheren Engine.

03Läuft es auf unseren Rechnern?

Läuft dort, wo Ihre Daten sind. Auf einem Laptop.

Keine der Dateien wird vollständig geladen: Die Verarbeitung erfolgt fortlaufend über einen Ordner auf dem Datenträger. So bleibt der Speicherbedarf bei wachsenden Daten konstant. Vor einem großen Scan wird der benötigte Speicher berechnet; reicht er nicht, wird der Scan abgelehnt, statt abzustürzen.

Zeit, Zeilen je Seite

1 Mio. Zeilen
35 s
5,3 Mio. Zeilen
4,6 min
30 Mio. Zeilen
21 min
53 Mio. Zeilen
33 min

Ein Laptop. Jeder Lauf vergleicht zwei Dateien dieser Größe.

Spitzenspeicherbedarf: 10× so viele Zeilen, gleich viel Speicher

5,3 Mio. Zeilen
5,1 GB
53 Mio. Zeilen
5,0 GB
Der Laptop
32 GB

53 Millionen Zeilen je Seite, insgesamt 106 Millionen, mit 5 GB: etwa einem Sechstel des Laptopspeichers.

Nur lesender Zugriff auf Ihre QuellenKeine Daten, Profile oder Befunde werden versendetBefehlszeile unter Windows und Linux oder DockerExit-Codes 0–3 und JUnit für CI
So haben wir gemessen

Windows 11, Intel i9-13950HX, 32 GB. 1 Mio. Zeilen: ein synthetisches Bevölkerungsregister, Laufzeit des gesamten Befehls einschließlich Start (32,6 und 34,5 s). 5,3 Mio. und 53 Mio. Zeilen: New Yorker Mietwagenfahrten, Parquet, 25 Spalten, zwei Zeilenbereiche derselben drei Monate, speichersparender Modus; der Spitzenspeicherbedarf ist der höchste zugesicherte Speicher des Prozesses (53 Mio. Zeilen: 3,2 GB physisch belegt). 30 Mio.: französisches Unternehmensregister, Spitzenbedarf 10,1 GB. Der angegebene Mindestspeicher ist eine Schätzung und wurde um bis zu 5 % überschritten; bei 355 Spalten wurde das Zeilenmodell auf diesem Laptop nicht fertig.

04Können wir diesen Zahlen vertrauen?

Vor jeder Veröffentlichung gemessen.

Jede Version durchläuft dieselbe Messung im Vergleich zur vorherigen. Ein geändertes Ergebnis wird korrigiert oder mit Begründung offengelegt – sonst wird die Version nicht veröffentlicht.

  1. Jedereingeschleuste Fehler erneut gegen die vorherige Version geprüft
  2. 4Gates mit fehlerfreien Daten, jeweils vorher und nachher ausgeführt
  3. 2Prüfreihen, die jeden Datensatz mit sich selbst vergleichen
  4. 1Prüfung aller geänderten Ergebnisse
  5. Veröffentlichenerst, wenn jede Änderung erklärt ist
So haben wir gemessen

Vor der Veröffentlichung einer Version: Die eingeschleusten Fehler werden erneut gegen die vorherige Version geprüft, vier Gates mit fehlerfreien Daten laufen vorher und nachher (Wertebereiche, Verhältnisse, Zeilenebene, sprunghaft mehr Platzhalter), und jeder Datensatz wird zweimal mit sich selbst verglichen. Jedes geänderte Ergebnis wird eingeordnet.

05Warum es zählt

Was eine fehlerhafte Datei kostet.

Zwei alltägliche Fehler in synthetischen Daten für unsere Videos. Die Befunde stammen von der Engine selbst; die Zahlen aus unserer Auswertung der Dateien.

Ein fiktiver Einzelhändler

Eine Filiale begann, Preise in Cent zu übermitteln.

1.703 Zeilen, alle aus einer Filiale. Würde die Oktoberdatei in den Monatsbericht einfließen, läge der ausgewiesene Umsatz bei 13,2 Mio. € statt 1,6 Mio. €.

Die 90-sekündige Demo ansehen

Ein synthetisches Bevölkerungsregister

Eine Dienststelle öffnete ihre Datei in Excel und speicherte sie.

84.134 Personen-IDs umgeschrieben; ein darauf basierender Zahlungslauf würde 17.282 Personen übergehen, 9,0 Mio. € in einem Monat.

Die 70-sekündige Geschichte ansehen

Prüfen Sie es mit Ihren Daten.

Ein Pilotprojekt mit einem regelmäßig gelieferten Datensatz, auf Ihren Rechnern, mit vorab schriftlich vereinbarten Erfolgskriterien.

Pilotprojekt anfragenSicherheit