SteemWorld ~ Weekly Support ~ #24

in #steemworld5 years ago (edited)

[EN]


This post is intended to cover the server costs for SteemWorld.org and to enable me to continue my development in the future.

In case you missed the first part:
SteemWorld ~ Weekly Support ~ #1

[DE]


Dieser Post ist dafür gedacht die Serverkosten für SteemWorld.org zu decken und mir in Zukunft weitere Entwicklungen zu ermöglichen.

Falls du den ersten Teil verpasst haben solltest:
SteemWorld ~ Weekly Support ~ #1

Updates


We are now running on the new server and it looks like all features are working properly. If you didn't have any issues using SteemWorld in the past week, that's a good thing and my first mission seems to be accomplished :)

I didn't configure the server with the many performance optimizations that I used before, because I don't have the time currently and I need to change the configuration anyway when the final steps for switching to SDS are on the horizon. If there should be any performance problems in the coming days/weeks, that's because my server is busy with compressing approximately 450 GB of data and with parsing the whole blockchain with SDS in background. The new machine seems to do the job very well, as expected.

The good thing about my server being busy is: I can work on improvements for SteemWorld in the meantime. Even if the site might look completed to the average user, I tell you: There are still many things to improve and some really great features are still waiting in the pipeline ;)


The Transfer Search Tool now contains a summary row at the bottom:

Thanks to @daan for inspiring me with his post:
How to Calculate Your Drugwars Investments and Returns Using Steemworld + Spreadsheet


The text size of the account operation's data is now being adjusted based on the level (relative deepness) of the contained sub data:

I'm not fully satisfied yet, but at least are the custom_json's a bit better readable now. More optimizations will come when switching to the planned responsive layout.


Further text size and alignment adjustments are on the horizon:


A special thanks goes to @louis88 for detecting a potential security risk regarding XSS attacks with custom_json operations. Even if there was no way to attack a different account than the own on SteemWorld, it's good to have that fixed now.

Coming Open Source Steem Data Service (SDS)


  • Runs on Linux, Mac and Windows
  • Can be run locally or as public web service
  • Enables each of us to analyze and work with the Steem blockchain data in a simple and very efficient way (SQL and custom queries can be used too)
  • Syncing is possible via available public instances (very fast) or regular Steem nodes
  • Provides automatic downloading of already parsed data (no need to start from block 1)
  • No need to setup any database services (all file-based -> no layers in between -> lightning fast)
  • Offers configurable datasets (if you just need a DB with all transfers for example, you can run an instance with only the desired parser module 'transfers' enabled)
  • JS developers can easily implement own parser modules (just add a custom script in the modules path and the service will call the parseBlock, parseTransaction, parseOperation and parseVirtualOperation methods within your script for each block)
  • Also 'virtual operations' can be parsed (or downloaded from one of my servers that will provide all parsed datasets in nearly realtime)
  • Highly compressed data (some crazy stuff and a bit of magic involved here, more details on this soon)
  • Interfaces to other database systems planned
  • Completely free to use, will be released under MIT license

In the making


   ( A )


  • SDS
  • Post Viewer and Editor
  • More details in Coming Rewards (number of posts and comments, pie charts)
  • Improved Coming Curation Rewards
  • Thinking about if/when to start a witness node

   ( B )


  • Different views, no limit in the Posts Overview (requires SDS)
  • Account Operations without limits, custom date ranges and filters, jump to day x (requires SDS)
  • Exact (separated SP, STEEM and SBD) All Time Rewards in the Stats Section (requires SDS)
  • Rewards Overview Tool with searching capabilites (requires SDS)

   ( C )


  • RC costs calculation
  • New responsive SteemWorld that can be run locally (Open Source)

Links


EN  |  What is SteemWorld?
-> Welcome to SteemWorld.org!

DE  |  Was ist SteemWorld?
-> Willkommen auf SteemWorld.org!

Thank you for supporting my work!


Positive thoughts create a positive world. It all begins with connecting our thoughts with emotions. What we focus on is what becomes powerful. We are the creators of our world.

Much love,

Sort:  

Yes, XSS attacks can be very dangerous, especially when the user don't use any browser plugin to prevent data getting sent to untrusted sites. I would always recommend to install something like uMatrix (on Firefox). I won't ever enter the web without it being active.

There is one case, in which it would have been possible to access the users inputs on SteemWorld (but only without uMatrix). If a user would have visited an infected profile that contains the JSON data in the visible account operations and after that (without closing the tab) visited his own profile via the 'Switch Account' button. The attacker would have injected his script, which would then still reside inside the DOM of the current tab.

Thankfully that didn't happen and thanks to your hint it will never happen in future.

Danke für deine Arbeit! Natürlich auch von mir ein Upvote 👍

So you build another steem data service, right? Build on top of SQLite IIRC.

Doesn't it looks redundant for you since we have hive now which has a full scale Postgres under the hood?

Supported.

I've tested Hive and it works, but it doesn't contain all the data I need. Of course, I could modify the code locally, so that all required data is being stored, but that would end like my story with SteemJS.

Weeks after HF20 was out, there were still not all API methods implemented (I don't even know if they now are), so I now have my own 'locally improved' SteemJS version. Therefore I can't use any new version without checking and updating all changes in my local code, which would be more time consuming than solving the whole thing myself by taking a look into the original Steem code.

The experiences I made here regarding to changing existing API's over night, removing existing fields, so that I now need to do 30 requests instead of 1 to achieve the same thing and a few other things told me, it's better to build my own stuff from now on.

Okay, I see.
Didnt know steem codebase in such a bad shape.

Excellent work!

The Steem core itself is being developed in a very professional way and I don't have anything to complain about there. I'm convinced that Steemit does a great job regarding to the blockchain core development. As many companies at some point realize, spending much time on testing changes is one of the most important things. When the 'customers' always are the ones that are testing the outcome, the whole thing might blow up in future. The more developers there are in a team, the more time needs to be spent on testing. That's one reason, why I prefer to work alone on my stuff (clear sight, less external influences).

Many things are 'historically grown', we started to build a base, then many stuff on top of that base, then the roof was finished and in the end we realized that we need to change fundamental walls in the basement, which of course comes with some problems regarding to the already built roof. That's all very complicated and I won't blame any developer for the created chaos.

We are all sitting in the same boat and overall I'm convinced that we are building something brilliant here.

Safely back home from my trip, I am catching up @steemchiller ... So nice to see all of the details of what you are working so faithfully on. This one ...

"Enables each of us to analyze and work with the Steem blockchain data in a simple and very efficient way (SQL and custom queries can be used too)"

... stands out to me, as a blockchain to me is ultimately a database. Yes, a very sophisticated one, but still a database. And, from there, whatever information we need (or want) is "locked up" in it, until we can figure out how to access it reasonably and (somewhat) simply.

As always, thanks for all you do. While I see some already are, I wish the "whales" of the Steem blockchain would unite behind their support of all you do, for all of us!


P.S. I (and I imagine many others) do not fully grasp the technical details of your exchange with @louis88 about an uncovered security vulnerability. Now fixed. In your response, you reference, though, the Firefox browser. Are you saying you no longer use / recommend the Brave browser? That is, the uMatrix utility you reference has no equivalent on Brave?

uMatrix is also available on Chromium-based browsers and therefore it works on Brave too: https://chrome.google.com/webstore/detail/umatrix/ogfcmafjalglgifnmanfmnieipoejdcf

I've still installed Brave on my system, but I do mainly use Firefox currently. The main reason for that is that scrolling with my mouse wheel does not work for me (very slow). If there would be an option to be able to change the scroll speed, I would use Brave way more often and maybe even as main browser.

Thank you sir, for the prompt response. And for the link! As time permits, I will check into this further, given your recommendation for it. Lots to do "out there," now that I am back home ...

Until "next time," all the best to you @steemchiller!

@steemchiller, I couldn't upvote your post any more... so I upvote just this comment 😊 @peekbit

i do the same. 'oh, i really liked that post, but its passed payout. i wonder if they have any active comments' XD

I can't express how impressed I am with the constant improvements that you make. I recently had to use another app to figure out my transfers to a charity I am involved with here for my one year anniversary post, and it took me a good half hour of eyeballing the transfers mixed with others and using a calculator. This is a huge time saver. Thank you.

You certainly do more than a lot of the witnesses for the community. Certainly think that you should think about it...

If @steemchiller becomes a witness there is no doubt they will get my vote. I would also work to get others to vote also.

The product is amazing and the work ethic is head and shoulders above the mark!!

I will second the nomination... Just doing the right thing by all Steemians! Blessings be multiplied unto all!

Wie immer Top

Ich hätte noch ein anliegen, wenn ich auf steemworld auf einen Usernamen klicke will ich nicht auf Steemit und/oder co. sondern das der User im neuen Tab in steemworld geöffnet wird???? HI
Zum Beispiel wenn ich auf einen Author, oder Voter klicke

Nur ne Idee!

Das mit den SDS klingt sehr spanend!

Macht dieser Button nicht genau das, was du brauchst:

Aus Platzgründen ist der noch nicht überall vorhanden und vielleicht sollte ich das zusätzlich mit einer Tastenkombination + Klick auf die normalen Links lösen. 'Ctrl + Klick = Abfrage anzeigen' wäre z.B. denkbar...

Loading...

(gelöscht)

Sehr gute Idee!

Posted using Steeve, an AI-powered Steem interface

Danke dir mein bester,
es nervt mich einfach jedesmal den Usernamen dann in der Adresszeile zu kopieren
neuen Tab Steemworld aufmachen und dann den User laden HI

Könnte man ja vielleicht mit einer Popupabfrage machen "in Steemworld oder {Steemit, busy...}" öffnen?

> Oder direkt in die Settings rein worin/womit man einen Userklicke öffnen will

Etwas einfacher geht´s so: Rechtsklick auf Tabreiter -> Je nach Browser "Duplizieren", "Tab klonen" o. ä. -> In der Adresszeile des neuen Tabs ganz hinten den Usernamen austauschen

Könnte man ja vielleicht mit einer Popupabfrage machen "in Steemworld oder {Steemit, busy...}" öffnen?

Du meinst hier?
SW, Switch account.png

Und falls in der SW geöffnet werden soll, zusätzlich die Abfrage, ob in diesem oder einem neuen Tab.

Posted using Steeve, an AI-powered Steem interface

Genau das letztere das es eine Abfrage gibt wo Öffnen

Oder eben fest einstellbar unter den Settings?!?!?!

Ich habe zwischenzeitlich gleich 2 Dinge bemerkt:

  1. Ich bin durch deinen 2. Kommentar auf eine falsche Fährte gekommen, da hatte ich bereits vergessen gehabt, was du im ersten geschrieben hattest. Ich dachte dann, du meinst den manuellen Aufruf eines weiteren Users in der SW zwecks gleichzeitiger Anzeige der SW für 2 oder mehr User, so wie ich gestern abend wieder für dich, Werner und mich (musste schließlich wissen, wo du mit den % bist! :-D). Darauf bezog sich dann auch die Hardcopy.

  2. Das von mir beschriebene Verfahren ist überflüssig, da in dem kleine Popup-Fenster links unten etwas unauffällig in hellgrau (dunkler wäre besser) steht:
    ( + Ctrl: new tab )
    Also ganz einfach in Zukunft am Sonntagabend: Ich klicke [Switch Account...], gebe im Popup-Fenster "double-u" ein und drücke [Ctrl], während ich [OK] klicke. Dann das gleiche nochmal mit "ennosan", und evtl. weiteren, hatte schon mind. 5 SW offen! Einmal mehr herzlichen Dank, @steemchiller!

Posted using Steeve, an AI-powered Steem interface

Ahhh Ok, @steemchiller hat auch geschrieben, man braucht nur auf das kleine graue Männchen Klicken das macht genau das was ich wollte!!!

LOL

Ist noch nicht überall drin wegen Platz aber Top!!!!!

Etwas spät noch ein kleiner Tipp: Wenn du Ctrl + klick machst, öffnet es in einem neuen Tab. Damit hast also wohl alle gewünschten Funktionen beisammen! Bis später!

Posted using Steeve, an AI-powered Steem interface

You keep on adding! There's always a feature to add no-one (or I) though about - amazing :-) Thanks for all the hard work!

Wirst du jemals fertig sein? Immer wieder was Neues...

Ich bin so fertig, sag ich dir, aber wirklich fertig bin ich noch lange nicht... ^^

hmmm, wenn ich dich richtig verstehe, bedeutet es jede Menge Stress für dich... gibt es denn genug in der anderen Waagschale für dich???

Eine andere Waagschale gibt es schon lange nicht mehr, aber ich habe mir diesen Weg ausgesucht und werde ihn zu Ende gehen. Ob ich in Deutschland lebenden Menschen empfehlen würde sich selbstständig zu machen, weiß ich nicht. Wahrscheinlich nicht. Kleinunternehmer müssten, um hier einigermaßen gut leben zu können, fast so viel verdienen, dass sie schon nicht mehr als Kleinunternehmer gelten, da die volle Krankenkasse und sonstige für einen durchschnittlichen Arbeitnehmer berechneten Gebühren von ihnen ebenfalls monatlich zu bezahlen sind.

Ein Kreislauf, der innovative Kleinunternehmer nicht zum Zug kommen und vermutlich aufgeben lässt oder aus dem Land vertreibt. Werbung ist ein teurer Spaß, wie ich es in meinen ersten Jahren erfahren durfte. Es kann leicht passieren, dass man 2500€ für Werbung ausgibt, aber am Ende nur 2000€ direkten Gewinn mit den dadurch gewonnenen Kunden macht. Mittlere und große Unternehmen können es sich leisten, Verluste mit Werbung zu machen, da sie die Ressourcen für langfristige Kundenbindung haben und dadurch auf lange Sicht trotzdem Gewinn machen können. Kredite bekommt man als kleiner Unternehmer nur, wenn man Einnahmen nachweisen kann, welche die eigene Versorgung und monatliche Rückzahlung sichern, also eher gar nicht.

Aber ich habe auch die andere Seite erlebt, als ich nach meiner Ausbildung 8 Jahre lang als angestellter Informatiker gearbeitet habe. Geld fließt dabei mehr, aber Lebensenergie nicht unbedingt und je nach Arbeitgeber kann einen das stressbedingt schneller altern lassen, als einem lieb ist. Mein Weg ist das auf jeden Fall nicht und auch die anderen, die ich hier in Deutschland versucht habe, entsprechen nicht meiner Vorstellung von einem freien Leben. Ich habe mich als Koch bei einer großen Hotelkette wochenlang von einem grantigen Chef anschreien lassen und sogar ein halbes Jahr als Elektriker gearbeitet. Im Winter bei Minusgraden den ganzen Tag auf einem unbeheizten Bau Steckdosen zu installieren rockt auch nicht so richtig. Ich habe Vieles probiert.

In ein paar Monaten (wenn ich Deutschland verlassen habe) kann ich mehr dazu berichten, ob es an anderen Orten dieser Welt noch möglich ist, ein freies, selbstständiges Leben zu führen, ohne bereits vorher in Gold gebadet zu haben. Vermutlich ja ;)

Danke für deine ausführliche Antwort. Ich stimme dir zu ... es gibt sicher ganz wenig Menschen in Deutschland, die gern und "gesund" arbeiten... selbständig war ich 5 Jahre lang, dann war die Luft raus... Ich habe den Luxus einer Witwenrente, die wie ein bedingungsloses Grundeinkommen gute Dienste leistet... Auswandern ist eine gute Idee und je mehr Zeit die Politiker haben, unser Leben von vorne bis hinten zu bestimmen, desto dringender wird auch bei mir dieser Wunsch... Ich habe ein Häuschen in Canada, aber einwandern geht nicht... Ich wünsche dir für deine beiden Projekte alles erdenklich Gute und freue mich auf deine Berichte. Wo wirst du hingehen? Lieben Gruß Kadna

Posted using Partiko Android

In der US is es aehnlich. Als Selbstaendiger muss man alle Steuern und Krankenkasse bezahlen. Aber ich denke das in vielen Laendern - meist die die oft als Dritte Welt genannt werden, Leben is noch billiger. Ich hoffe dass es nicht so geht wi in Costa Rica wo so viele Amerikaner eingewandered sind und die Preise hochgedrueckt haben das die Einheimischen nicht mehr so gut leben koennen.
Weisst du schon wo du hingehen wirst?

Ich kann dir Uruguay empfehlen, stressfrei, brauchst nur nen Nachweis als Webworker und paar Papiere, fertig.

Schnee und Frost gibt es hier auch keinen HI

Das kann ich gut nachvollziehen und bestätigen, war auch mehr als einmal in D als Einmannunternehmer tätig. Apropos freies Leben: In Chile (Fort Galt bei Valdivia) und auf einer zu Honduras gehörigen Karibikinsel entstehen gerade die ersten Free Private Cities, herrschafts- und damit (nach innen) staatslose Einrichtungen, nach außen gibt es Verträge mit Chile bzw. Honduras.

Digitales Nomadentum habe ich dir ja schon mal empfohlen, bis jetzt (seit Dezember) haut das bei mir ganz gut hin (bin alleinstehend) und ich brauche mich als ortsunabhängiger Digitalarbeiter um keinerlei Behördenkram, Auflagen etc. pp. scheren, außer um Einreise- und Aufenthaltsbestimmungen. Hier in Montenegro darf ich 90 Tage am Stück ohne Visum bleiben. Die Lebenshaltung ist um ca. 50-60 % billiger wie in D und AT, zumindest in der Nebensaison.

Posted using Steeve, an AI-powered Steem interface

your mind is just too brilliant. theres always new thing every now and then. keep bettering the service. thumbs up!

Coin Marketplace

STEEM 0.28
TRX 0.13
JST 0.032
BTC 60964.72
ETH 2920.62
USDT 1.00
SBD 3.64