Storj - Verkleinerung der Cloud

Vor einigen Tage habe ich hier ja kurz Storj vorgestellt, dass eine dezentrale Cloudlösung darstellt. Dabei habe ich auch gleich meine Skepsis zum Ausdruck gebracht, dass ich bezweifel, dass man das Ding wirklich profitabel betreiben kann. Immerhin muss ja auch irgendwie ein Computer laufen über den die Festplatten irgendwie am Netz zur Verfügung gestellt werden. Dabei wird pro Knoten 1 CPU und 1 GB RAM benötigt unter dem eigentlich nichts läuft.

Der einzige sinnvolle Weg so etwas zu betreiben ist aus meiner Sicht an einem Miner oder einem Gerät, dass aus anderen Gründen sowieso 24/7 betrieben werden müsste. So ganz wollte ich mich damit aber nicht zufrieden geben und habe mich doch noch einmal ein wenig ans Basteln gesetzt. Immerhin leben wir in einer Zeit, wo wir richtig Power in einer Hand legen können. Das Ergebnis ist dieses:

Und jemand erkannt? Nein, dass ist nicht die Peripherie, sondern das ist ein neuer Knoten eigenständiger Knoten im Storj-Netzwerk. Das große klobige Gerät in dem die Festplatte (1TB) drin steckt ist ein ganz simpler Festplatten-Dockingstation. Jeder der ein wenig häufiger mal für jemanden Festplatten überprüfen soll, hat irgend so etwas im Schrank stehen. Man will ja nicht immer in den eigenen Rechner kriechen um dort die Festplatte anzuschließen. Hierbei handelt es sich um eine etwas bessere Ausführung, die bereits 2 Geräte fassen könnte. Da ich leider momentan nur eine Platte übrig habe, wird die eine Buchse nicht genutzt.

Der eigentliche Rechner ist der kleine weiße Kasten, der rechts im Bild schwebt. Es handelt sich dabei um einen Raspberry Pi 3 mit einem 32 GB Flash-Card drin. In der Luft gehalten wird es durch einem HDMI, dass an einem der Monitore steckt. Soll ja nicht schön sein, sondern funktionieren. Mehr ist in dem Pi nicht verbaut.

Auf dem System läuft ein Fedora 27 ARM mit minimaler Installation. Darauf installiert die minimalen Tools, die man so für die grundlegende Administration des Systems braucht, sowie die CLI Tools von Storj. Dazu ein rudimentäres Monitoring, damit man sich nicht ständig via ssh auf dem System einlogen muss, um zu sehen, dass noch alles läuft.

Und was ist das Ergebnis? Der vollständige Betrieb der Anlage läuft mit rund 12.5W in der letzten Stunde. Ja, richtig gelesen. Das ist bereits Pi, Festplatte und Docking Station in einem. Ich vermute, dass die Dockingstation nochmal mit ca. 2.5W Overhead zu buche schlägt und sich vielleicht über eine SATA->USB-Adapter noch überbrücken ließe und vielleicht sogar via USB mit Strom versorgen kann. Da ich momentan allerdings so etwas nicht daheim auf Lager habe, muss ich dies erst holen.

Somit liegt der monatliche Betrieb für Stromkosten bei ca. 2,44€. Die Ermittelung der Einnahmen sind recht schwer zu ermitteln, da eben keine konkreten Messungen vorliegen und eben auch widersprüchliche Angaben dazu gibt. Gehe ich aber mal vom pessimistischen Fall aus: Keine Einnahmen durch Traffic. Der Preis pro GB beträgt 0,015€ und wird durch 6 Leute geteilt.

Dann würde man ab ca. 976 GB Auslastung im Plus sein. Das natürlich ein wenig ärgerlich, da es sich bei mir eben um eine TB Festplatte handelt. Da demnächst aber eine alte 4 TB ausgemustert wird, die sonst auf Halde gehen würde, käme man auf immerhin 5 TB mit dem aktuellen Setup. Natürlich steigt der Strompreis noch ein wenig, doch die 168 GB extra dafür wären extrem gering.

Aber gut... zur Verfügung gestellte Kapazität heißt eben auch nicht, dass diese auch wirklich genutzt und somit bezahlt wird. Aktuell habe ich 2 Knoten im Testbetrieb laufen, die jeweils mindestens einen Monat laufen sollen. Aktuell werden Daten seit 3 Tagen akkumuliert. Das Hauptsystem hat aktuell 4,11 GB im Speicher genutzt. Der kleine Pi hat bereits 6,38 GB drauf. Er hat somit ca. 2 GB pro Tag hinzugewonnen. Das würde immerhin rund 50 Tage Betrieb bedeuten, bevor man in der Gewinnzone ist. Hoffnung macht lediglich, dass die Rate immer stärker ansteigt und alleine 4 GB heute dazu gekommen sind.

Den zu meiner Verwunderung schlägt der kleine PI den großen Rechner sogar bei der Reaktionszeit und liegt in den Benchmark im Mittelfeld der Reaktionsgeschwindigkeiten. Entsprechend stieg die Reputation des Gerätes weiter an. Während diese zwar aktuell nicht berücksichtigt werden soll, scheint die Bridge dennoch schnell antwortende Systeme zu mögen. Ich werde das nun mal im Auge behalten und sehen, ob wie es sich mit der Uploadrate über einen längeren Zeitraum verhält. Und vor allem eben auch: Wie hoch die Ausschüttung wirklich ist und womit man als Bonus beim Downloadtraffic noch rechnen kann.

Übrigens: Wer nun von einem riesigen Cluster träumt, der sollte auch etwas über die Limits wissen. Pro Knoten lassen sich momentan leider nur 8 TB verwalten. Danach benötigt man einen weiteren Knoten um mehr Kapazität frei zu geben. Da der Pi allerdings vom Speicher her mit 1 GB arg limitiert ist, habe ich ein wenig meine Zweifel, ob sich darauf mehrere Knoten betreiben lassen. CPU ist genug da. Doch die Empfehlung ist, dass jeder Knoten 1 GB zur Verfügung hat, somit eben nach einem Schluss wäre ein ein weiter Pi genutzt werden müsste. Aktuell braucht das System und Knoten jedoch nur 214 MB und es wäre eigentlich noch ein weiterer locker drin. Wie sich dies allerdings verhält, wenn die Auslastung steigt, wird sich zeigen müssen.

Wer ein wenig von Technik Ahnung hat und mit Linux sicher unterwegs ist, sollte sich diese Dokumentation von Storj ansehen: https://docs.storj.io/docs/setting-up-storj-share-on-a-raspberry-pi. Dort werden die Schritte für einen Betrieb recht gut erklärt, wenngleich in einem anderen Setup als meines.

Da es ja aber doch einige interessierte hier gab, dieses Post nochmal eingeschoben als kleiner Ideengeber für ein mögliches Setup. Den wer an große Datenmengen zum Speichern denkt, der sieht meist immer ein fettes Rack vor seinen Augen. Doch für dieses Szenario ist ein Pi vielleicht keine schlechte Idee. Immerhin befindet sich das System die meiste Zeit im Idle und wartet darauf, dass überhaupt etwas passiert. Kommt dann eine Anfrage, sind die kleinen Shards doch recht schnell gelesen oder geschrieben.