Die Herkunft des Spams statistisch aufbereitet

in #deutsch6 years ago (edited)

coverspam.jpg

Um Spam und Abuse effektiv bekämpfen zu können ist es notwenig die Herkunft und die Beweggründe dafür zu kennen.
So habe ich begonnen seit dem Bericht zum 08. März 2018 die Herkunft jedes Posts ausfindig zu machen, welcher von @steemcleaners geflaggt wurde. Dabei bin ich den Links gefolgt, welche bei @steemcleaners im Bericht enthalten sind.


Mögliche Fehlerquellen der Analyse

Bis heute habe ich bereits 721 Posts auf die Herkunft untersucht, händisch muss man dazu sagen, da es einerseits nur sehr schwer zu automatisieren ist, da man entweder Stadt, Land oder sonstiges angeben kann und andererseits ich auch nicht die technischen Fertigkeiten besitze.
Deshalb möchte ich auch darauf hinweisen, dass die Daten nicht zwangsläufig komplett richtig sind und es kleinere Abweichungen geben könnte.

Zur Analyse habe ich stets den auf dem Profil selbst bereitgestellte Herkunft genommen, welche ich natürlich auch nicht bestätigen kann.
Auch werden die Botnetzwerke alle in die Kategorie 'Keine Angabe' fallen, da es bei diesen keinen Sinn machen würde, einen Ort anzugeben.
Die letzte Fehlerquelle ist noch, dass auch bei @steemcleaners nicht alle Posts direkt geflaggt werden, oder viele auch erst gar nicht eingereicht. Hierdurch kommt es vermutlich noch zu weiteren Abweichungen.

Nichtsdestotrotz lassen sich aus den Daten einige Rückschlüsse ziehen, welche Herkunft und Verteilung auf Kontinente der Spammer und Abuser abzielen.


Aufschlüsselung der Herkunft nach Kontinenten

Im Folgenden habe ich meine Daten erstmal in einer Tabelle dargestellt, in dem man den Kontinent, die Anzahl der Posts, welche von @steemcleaners geflaggt wurden und den Anteil an allen Posts herauslesen kann.

KontinenteAnzahl der PostsAnteil
Europa456%
Asien20228%
Afrika324%
Südamerika71%
Nordamerika517%
Australien20%
Keine Angabe38253%

Eine andere Darstellung der Verteilung wäre in einem Diagramm.

1.png

Um jetzt aber die Herkunft vergleichen zu können, missachten wir mal die ganzen Accounts, welche keine Angabe zur Herkunft haben.
Dabei ergibt sich eine ganz klare Grafik, an der man sehr deutlich den Unterschied zwischen den Kontinenten erkennt.

2.png

Wenn man das Ganze mal grafisch auf einer Weltkarte darstellt, dann ergibt sich dieses Bild.

world map spam.png

Je dunkler das Grün, umso weniger geflaggte Posts kommen von diesem Kontinent.
Jedoch je rötlicher sich die Landmasse färbt, umso höher ist dort die Rate an geflaggten Posts.

Auch jetzt schauen wir uns mal die Prozentwerte in einer Tabelle an, wenn man nur noch Accounts mit Herkunftsangabe betrachtet.

KontinentAnteil
Europa13 %
Asien60 %
Afrika9 %
Südamerika2 %
Nordamerika15 %
Australien1 %

Wie man sieht nimmt Asien einen sehr großen Anteil ein.


Untersuchung des asiatischen Raumes nach Ländern

Um hier auf genauere Daten zu kommen habe ich mir die letzten 64 Posts aus dem asiatischen Raum nochmals angeschaut und auf vier bestimmte Länder untersucht.
Ich habe die Anzahl an Posts bestimmt, die aus Indien, Indonesien, Bangladesch und Pakistan kommen.

LandAnzahl der PostsAnteil an den Posts im asiatischen Raum
Indien1727 %
Indonesien1625 %
Bangladesch813 %
Pakistan69 %

Man sieht, dass diese Länder gemeinsam, wenn man es genau rechnet, als Ursprung für 73% der Posts aus dem asiatischen Raum gelten.
Wenn man dies hochrechnet auf alle Posts aus dem Zeitraum, wo ich diese Länder untersucht habe, dann erhält man einen Wert von 17%.
Aus diesen Ländern kommen also 17% der geflaggten Posts, wenn man sogar noch die Posts ohne Angabe mit einrechnet.
Würde man die wieder rausnehmen, dann landet man bei 39%. Einem enorm großen Wert, wenn man es in den internationalen Vergleich setzt.

Schwerpunkte der Herkunft der Posts nach den Kontinenten

Um nur kurz auf die anderen Kontinente einzugehen.
Bei diesen habe ich zwar nicht auf die Länder genau untersucht, jedoch sind mir da auch bestimmte Ländernamen ins Auge gefallen.
In Afrika ist vor allem Nigeria die Quelle der Posts.
Über Australien lässt sich überhaupt keine Aussage treffen, da die beiden Ergebnisse von dem selben Account stammen.
Auch bei Südamerika wird es sehr schwierig, jedoch geht der Trend in Richtung Venezuela.
Die USA sind die Hauptquelle der Posts in Nordamerika, ein bisschen begleitet von Kanada, was nicht wirklich verwunderlich erscheint.
In Europa sind es vor allem Großbritannien und Mitteleuropa. Zudem sind die Oststaaten vereinzelt vertreten.

Sehr selten aufgetaucht unter den geflaggten Posts sind diese aus Russland. Dafür gibt es mehrere Gründe.
Einerseits die Tatsache, dass sich die Russen meist über Golos austauschen, aber andererseits auch, dass Russland und die Ukraine für Botnetzwerke bekannt sind.
So kamen auch Botnetzwerke in den Berichten von @steemcleaners vor, wo ich einige Posts auch Russland zuordne. Jedoch gab es auch so einige Posts aus Russland, wo eine Herkunftsangabe auf dem Account vorhanden war.

Auf der nächsten Karte habe ich jetzt mal die Schwerpunkte der Posts markiert, wobei nur diese in Asien auf Daten basieren. Der Rest sind lediglich eigene Beobachtungen.

world map spam2.png

Bei dieser Karte bin ich darauf übergegangen die Schwerpunkte stets rötlicher, bzw. wenn sie schon rot waren dunkler zu färben.


Interpretation der Daten

Die Frage, die sich seit Beginn stellt, wird vermutlich diese sein:
Was können wir mit diesem Datensatz anfangen ?

Zuerst möchte ich diesen Datensatz mit der Verteilung der Aufrufe von steemit.com nach den einzelnen Ländern vergleichen.

Mit 21.36% sind die USA die größte Quelle der Aufrufe auf steemit.com. Gefolgt von Großbritannien mit 4.98%, Indien mit 4.7%, Deutschland mit 4.09% und Südkorea mit 3.88%.

Vergleich des Verhältnisses zwischen geographischer Verteilung der Aufrufe und der geflaggten Posts

Wenn wir jetzt den Prozentsatz an Aufrufen aus Indien mit unserem Datensatz vergleichen, dann brauchen wir noch eine weitere Größe. Wir brauchen nämlich den Anteil der geflaggten Posts aus Indien von der Gesamtmasse an geflaggten Posts.
Aus dem Datensatz geht ein Prozentsatz von 5.6% hervor. Im Vergleich merkt man, dass die geflaggten Posts aus Indien äquivalent zu der Herkunft der Aufrufe ist. Man kann also nicht von überproportional viel Spam und Abuse reden.
Wir fassen jetzt diesen Zusammenhang in einem Wert zusammen, um danach leichter mit den anderen Ländern vergleichen zu können.
Dafür teilen wir den Prozentsatz der geflaggten Posts an der Gesamtmasse der Posts durch den Anteil der Aufrufe von steemit.com. Dabei kommt man für Indien auf 1.19.

Wenn wir dasselbe mit Indonesien machen, dann vergleichen wir einen Anteil von 2.05% bei den Aufrufen mit 5.3% bei den geflaggten Posts. Hier ist also der Spam und Abuse von Steemit ungefähr doppelt so hoch, wie in Indien.
Hier liegt unser Wert bei 2.59.

Noch größere Unterschiede zwischen geflaggten Posts und Aufrufen sieht man bei Bangladesch.
Hier kommt auf eine Aufrufzahl von 0.46% ein Anteil an 2.7% an geflaggten Posts.
Wenn man sich wieder unsere Kenngröße anschaut, dann liegt Bangladesch bei 5.87. Aus Bangladesch werden also fünfmal so viele Posts geflaggt, wie aus Indien.


zusammenhang.jpg

Interpretationen der Ergebnisse für Indien, Indonesien und Bangladesch

Untersuchung der Armut im Zusammenhang mit dem Spam und Abuse

Eine häufige Vermutung ist, dass dies mit der Armut zusammenhängt.
Auch ich gehe davon aus, jedoch finde trotzdem Spam und Abuse nicht unterstützenswert.

In Indien leben 22% unter der Armutsgrenze, einem Richtwert, welcher angibt, ab wann man sich nicht mehr mit allen lebensnotwendigen Ressourcen versorgen kann.
In Bangladesch sind es im Gegensatz zu Indien 32%.

Hier lässt sich eine Korrelation herauslesen, dass mit steigender Armut auch der Spam und Abuse auf Steemit größer wird.

Doch widerlegt wird das Ganze von Indonesien. Denn hier leben 11% unter der Armutsgrenze, also weniger als in Indien. Trotzdem ist der Spam und Abuse auf Steemit größer.
Es könnte also zusammenhängen, ist aber auf jeden Fall nicht die entscheidende Größe.

Untersuchung der Jugendarbeitslosigkeit im Zusammenhang mit dem Spam und Abuse

Eine weitere mögliche Ursache für Spam und Abuse kann die Jugendarbeitslosigkeit sein.
In Indien liegt die Jugendarbeitslosigkeit bei 11%, in Indonesien bei 23%.
Hier sieht man, wie auch bei dem Spam und Abuse, dass die Jugendarbeitslosigkeit in Indonesien ungefähr doppelt so groß ist, wie in Indien.

Jedoch passt wieder ein Land nicht ins Schema, dies ist hier Bangladesch. Denn in Bangladesch liegt die Jugendarbeitslosigkeit bei 9%.

Wer sich jetzt fragt, warum nicht die allgemeine Arbeitslosigkeit verwendet, der hat nicht Unrecht. Jedoch ist dort in keinster Weise ein Zusammenhang mit Spam und Abuse erkennbar.

Zusammenfassung der Erkenntnisse

Es ist auch sonst keine Kenngröße zu finden, welche zu dem Spam und Abuse in den von uns untersuchten Ländern passt.
Man kann also schlussfolgern, dass es nicht nur die Armut ist und auch nicht nur die Jugendarbeitslosigkeit, sondern, dass alle Kenngrößen zusammenspielen.
So hängt es vermutlich sehr stark von den Zukunftsperspektiven ab, aber auch von der aktuellen Situation.

Ein Zusammenhang ist jedoch erkennbar, über alle Kontinente hinweg.
Vor allem Ländern mit viel Armut und schlechten Aussichten für die Zukunft, wie Indien, Indonesien, aber auch Venezuela und Nigeria, sind besonders anfällig für Spam und Abuse.

Das Problem sehe ich hier bei der fehlenden Unterstützung für diese Ländergruppen.
So gibt es eine große koreanische Community, eine starke deutschsprachige, aber auch viele englischsprachige. Nur eine nigerianische Community ist mir noch nie untergekommen.
Dies liegt vermutlich auch daran, dass ein großer Austausch von Wissen an mangelnder Ausstattung der dortigen Accountbesitzer scheitert, weswegen diese Menschen nicht viele weitere Perspektiven als Spam und Abuse sehen, da es jetzt auch keine Wale in den Bereichen gibt, welche gute Posts in ihrer Sprache unterstützen könnten.

Spam und Abuse aus diesen Ländern lässt sich also meiner Sicht nach mit Unterstützung der dortigen Communities in ihren Muttersprachen bekämpfen und nicht nur mit Flaggen auf ihre Posts.
Denn durch die Flaggen sehen sie nur, dass ihr Verhalten falsch war. Wieviele von ihnen den Kommentar von @steemcleaners überhaupt lesen können, damit sie wissen was zu verbessern ist, ist fraglich, denn in Bangladesch besitzen die Menschen nur geringe Englischkenntnisse, wie auch in vielen anderen armen Ländern.


Durch meine Tätigkeiten beim Flaggen bin auch ich sehr häufig über die Posts eben dieser armen Leute gestolpert.
Angeregt durch eben die ein oder andere Meinung, die nicht den Spam oder Abuse sieht, sondern mehr die Person hinter dem Account, welche nur in sehr erbärmlichen Verhältnissen leben kann, im Gegensatz zu uns in Europa, habe ich mich auf die Spur des Spams gemacht, woher er kommt und seine möglichen Ursachen.
Diese Recherche hat mir auf jeden Fall sehr geholfen auch zu Beweggründe der Spammer zu verstehen, welche womöglich teils um ihr Essen bangen müssen oder auch arbeitslos ihren Lebensunterhalt sichern müssen.
Klar, ich habe Vorschläge gebracht, um eben die Situation mit dem Spam und Abuse zu verbessern, jedoch bin ich dazu nur sehr wenig geeignet, da ich keinerlei Sprachkenntnisse dieser Länder mitbringe. Trotzdem finde ich es wichtig sich über dieses Thema Gedanken zu machen, da es auch uns betrifft, wenn wieder mal ein Spamkommentar unter unserem Post landet.

Es soll jetzt kein Aufruf sein Spam und Abuse nicht mehr zu flaggen, denn der sollte weitestgehend eingedämmt werden, jedoch ist dies ein Aufruf sich Gedanken zu machen, wie man eben diese Leute unterstützen kann, dass sie ihr Verhalten auf Steemit ändern. So werde auch ich mir weiterhin Gedanken machen, was ich helfen kann.


Datensatz zu geflaggten Posts den Berichten von @steemcleaners entnommen, ab dem Bericht zum 08. März 2018.
Zahlen zu Aufrufdaten von steemit.com von Similarweb
Zahlen zu Armut und Jugendarbeitslosigkeit von Index Mundi
Auskunft zu Sprachkenntnissen in den verschiedenen Ländern von EF
Grafiken sind selbsterstellt, Alleinige Nutzungsrechte liegt bei @naturicia; ©naturicia
Restliche Bilder von Pixabay, Lizenz CC0

Sort:  

Könnte man die Nachricht von steemcleaners unter dem geflaggten Beitrag nicht einfach in die Landessprache übersetzen?

Theoretisch ja, praktisch nein.
Die Leute von steemcleaners sind jetzt nicht die Sprachenexperten, die Chinesisch, Koreanisch, Deutsch, Spanisch und so weiter sprechen.

Die Beschränkung auf die Weltsprache macht schon Sinn, da man in einem solchen Falle es jedermann verständlich machen kann.

Hinzu kommt die Tatsache, dass es deutlich mehr Zeit kosten würde immer die individuelle Übersetzung rauszusuchen.
Ich könnte ja nocht nicht mal Japanisch, Koreanisch und Chinesisch voneinander unterscheiden. :D

Gruß Naturicia

Achso, ja das verstehe ich natürlich. Die könnten es ja theoretisch selbst in einen Übersetzer geben, wenn sie es lesen wollen.

Beeindruckender Post. Ist Resteemed und promoted.

Andere (hust ich z.B. hust) hätten daraus schon eine Serie gemacht ;-)

Der Gedanke wie man Spam anders eindämmen kann, als mit geflagge ist sicher spannend.

Bei uns haben manchmal ironische Kommentare geholfen, ich werde die mal sammeln und posten.

Danke auf jeden Fall für den Post.

Vielen Dank für deine Unterstützung. ^^

Also aus dem Thema musste man jetzt keine Serie machen, hab mich selbst gewundert, wie lang es war, als ich es geschrieben hatte. Dass mein Material dafür gereicht hat :O
Aber im Prinzip reiht es sich ja in eine Art Serie bei mir ein, da es nicht der erste Beitrag von mir zum Thema Flaggen, Spam und Abuse ist. :)

Der Gedanke wie man Spam anders eindämmen kann, als mit geflagge ist sicher spannend.

Ja, da stimm ich dir zu. Bei mir haben sich meine Aktionen bisher auch nur auf Flaggen und Kommentar da lassen beschränkt, jedoch war die Wirkung davon selten wirklich glorreich.
Nur bei den wenigsten konnte ich was bewirken, zweimal wurde ich dagegen viel zurückgeflaggt, wenn auch mit wenig SP und einmal davon war sogar ein Kopfgeld auf mich ausgesetzt.

Man kann also mit Flaggen was bewirken, hab ich auch an einigen Beispielen gesehen, jedoch gibt es auch viel Gegenwind.

Gruß Naturicia

Oh, im Prinzip ist es schon eine Art Serie geworden. @theaustrianguy hat ja gestern erst was zu @steemcleaners geschrieben.

Wochenthema Spam? 😉

Sehr gut aufgearbeitet - Die Verteilung hätte man zwar in etwa erraten können, mit Zahlen hinterlegt ist es aber natürlich doch etwas gewissenhafter ;) Und natürlich ist es aus deren Sicht verständlich, sich irgendwie um Anteile am STEEM-Kuchen zu bemühen, da es für sie sehr schnell um sehr viel Geld geht.

Was ich vor allem spannend finde, ist die Tatsache, dass "die Afrikaner" trotz ihrer Armut deutlich seltener spammen. Besonders bei Nigerianern fällt mir im Rahmen des Kuratierens für @welcoming auf, dass diese sehr bemüht wirken und deutlich weniger um Votes betteln usw. als gewisse Communities aus Asien.

Liegt es an verschiedener Bewerbung von Steemit in diesen Ländern?
Liegt es an verschiedenen kulturellen Einstellungen?

Würde mich sehr interessieren, wer hier Infos hat, immer raus damit! ;)

Handhabe es mittlerweile so, dass ich Spam normal ignorieren und auf eigenen Posts vielleicht kommentiere. Flaggen tue ich nicht mehr - Da upvote ich mit der VP lieber die, die nicht spammen - Vllt nehmen sich die anderen das als Vorbild ;)

Bei hardcore-spam ohne einsicht oder sachen wie id-theft, schalte ich dann @steemcleaners ein.

Aber schöner Post Junge, weiter so ;)

Loading...

Hallo naturicia,

ich finde schön, dass du das gemacht hast. Es sieht nach verdammt viel Arbeit aus und du hast dir die Mühe gemacht. Dafür hast du meinen Respekt!!

Diese Recherche hat mir auf jeden Fall sehr geholfen auch zu Beweggründe der Spammer zu verstehen, welche womöglich teils um ihr Essen bangen müssen oder auch arbeitslos ihren Lebensunterhalt sichern müssen.

Ich lese das total gerne. Und ich finde es total wichtig, dass bevor man flaggt, sich dieser Tatsache bewusst zu sein!!!
Wenn man dann immer noch flaggen will, wird der oder die jenige es tun. Aber mit dem Wissen, wen es vielleicht trifft.
Dafür möchte ich dir danken!
Ich selbst bin kein Freund von flaggen, bin aber selbst auch noch nicht in die Situation gekommen, darüber überhaupt nachdenken zu müssen.
Es grüßt dich herzlich, Monja

Vielen Dank für dein Feedback. :)

Es sieht nach verdammt viel Arbeit aus und du hast dir die Mühe gemacht.

Über 700 Posts durchzuarbeiten händisch ist keine kurz gemachte Sache. :D
Aber ich hab mich da irgendwie reingefunden und auch Spaß daran gehabt, dass durchzuschauen, selbst wenn es unglaubwürdig klingt. ^^

Gruß Naturicia

Nö, das glaub ich dir sofort! 😊

Da steckt viel Arbeit drin, ich möchte mir nicht 721 Beiträge ansehen müssen. Danke für Deine Mühe. Ich hab mich mit Spam noch nicht sehr viel auseinander setzen müssen, in meinen Kommentaren - weiß ich gar nicht genau ob da überhaupt was war... Aber immer gut zu wissen das sich jemand kümmert.
Ich bin zumindest sensibilisiert und hab Steemcleaners im Hinterkopf.

Bei dir wird es vermutlich sehr schwer Bots in den Kommentaren aufzufinden, da du keinen IntroduceYourself-Post hattest, zumindest finde ich keinen, und auch deine Steepshot-Posts verschont blieben.
Aber ich bin schon an genug vorbeigekommen und glaub mir, es gibt ihn in riesigen Massen :D

Und Steemcleaners ist immer eine Top Wahl für deine Funde von Spam.

Gruß Naturicia

https://steemit.com/introduceyourself/@altobee/hey-steemit-de-eng

doch doch, hab mich introduced aber... Naja - ich bin Chuck Norris, deswegen wahrscheinlich kein Spam 😂😱

Sehr guter Post , aus meiner Erfahrung mit DeepOnion ( wer es nicht kennt , am Anfang gab es einen AirDrop an alle die das Forum genutzt haben) kann ich berichten das auch dort ein großteil des Spams aus Asien kam. Nachdem mehrere Asiatische Seiten über den Airdrop und das Aktive User wöchentlich über 200$ durch das posten im Forum verdient hatten musste der Airdrop aufgrund von viel zu viel Spam der das Forum für alle normalen Nutzer kaum nutzbar machte eingestellt werden.

Saubere Arbeit! Der Post wurde gleich mal upvoted und resteemed
Und du hast einen neuen Follower.

Die Kosten für den ganzen Scheiss an Infrastruktur und Betriebskosten sind fast unermesslich. Und ich kann da aus persönlicher Erfahrung mitreden. Vor Jahren habe ich in unserer IT damals eine Anti-SPAM-Lösung eingeführt bzw. betrieben....

Eine neverendig story....

Wenn man aber bedenkt, dass IMMER NOCH Geld mit SPAM verdient wird, braucht man sich nicht wundern, dass es weiter betrieben wird.

Und wenn man sich den Artikel hier noch durchliest, wird klar, warum das ein einträgliches Geschäft ist...
https://www.heise.de/security/meldung/Spearphishing-Jeder-Fuenfte-geht-in-die-Falle-2461982.html

Hallo @naturicia, du hast von mir ein Upvote erhalten! Ich bin ein Upvote-Bot und meine Mission ist, hochwertigen Content unter #Steemit-Austria zu fördern. Hier kannst du mehr über mich und meine Funktionsweise erfahren. Wie du an meinen curation-rewards mitverdienen kannst, wird dort ebenfalls beschrieben.

Übrigens: Wenn du den Tag #steemit-austria verwendest, finde ich deine Posts noch leichter!

Erfahre mehr über mich und promote deine Beiträge im Steemit-austria slack, sowie im steemit-austria discord-channel!


Hey @naturicia, here is a little bit of BEER from @isnochys for you. Enjoy it!

Learn how to earn FREE BEER each day by staking.

Coin Marketplace

STEEM 0.31
TRX 0.11
JST 0.034
BTC 64332.82
ETH 3146.25
USDT 1.00
SBD 4.17