SignalCompute – Wenn Datenmengen plötzlich relevant werden (13. Juni)

Mit inzwischen fast einer halben Million Whale-Vote-Datensätzen zeigte sich ein klassisches Skalierungsproblem.

Eine Signal-Berechnung nutzte eine korrelierte SQL-Subquery, die für jede analysierte Zeile erneut Aggregationen über die gesamte Datengrundlage ausführte. Bei kleinen Datenmengen war dieser Effekt praktisch unsichtbar. Mit wachsender Datenbasis führte er jedoch dazu, dass Analysejobs den Node.js Event-Loop blockierten und API-Endpunkte verzögerten.

Die Berechnung wurde auf Voraggregation per CTE umgestellt und zusätzliche Indizes für häufig genutzte Analysepfade ergänzt. Gleichzeitig wurde der SignalCompute-Job aus dem Startup-Prozess entfernt und ausschließlich als geplanter Hintergrundjob ausgeführt.

Das Ergebnis: deutlich schnellere Berechnungen, stabile Health-Checks und ein reaktionsfähigeres Dashboard.