SteemWorld Update / SteemLogin / Improved Data Caching

in #steemworld2 months ago (edited)


In this post I want to inform you about a few recent changes on SteemWorld. There is currently a lot happening in background, but I won't list all things that I have been working on in the past weeks in here and will only talk about the major/visible updates today.

SteemLogin replaces SteemConnect


As SteemConnect will no longer be available in future and Futureshock (@futureshock, @future.witness) filled the gap nicely by providing an improved fork of the project on https://steemlogin.com, SteemWorld is now also using SteemLogin as replacement.

I also added direct links to SteemLogin and Steem KeyChain in 'Settings -> Security', so that newbies can now easier explore these great Steem tools with a click:

By clicking on the 'Steem KeyChain' link it will automatically open the related Extensions Store for your browser (Currently only works on Firefox and Chromium-based browsers like Chrome and Brave).

Caching Account History


A long time ago I planned to implement some kind of caching logic for the retrieved Account Operations, so that clients who run the Dashboard page multiple times a day do not need to request the same data again and again from the connected RPC nodes. Of course, caching the operations themselves would not work for all accounts, because the browsers default storage quota is way to small and 5 MB would be exceeded quite easily for most users.

I now have developed a solution that stores the data grouped by date (hourly) and only caches the required data for building the Monthly Rewards overview. For example, instead of 30 single curation_reward operations, which happened within the same hour, I group them by type (1 = curation_reward) and timestamp (without the minutes part), so that the 30 operations will result in just one entry in the cached data. This saves a good amount of storage space and the browser's quota will not be exceeded.

Additionally, I needed to find a way to cache the data for multiple but not an unlimited number of accounts, because otherwise the storage quota would be exceeded when using the Dashboard page for many different accounts. I'm still playing around with it to find the perfect settings, but for now it is set to cache the data for a maximum of 10 accounts per user. When opening the Dashboard, there is an automated clean-up routine being executed, which detects the by the user mostly watched accounts and removes the more irrelevant cached data automatically.


The result for a quite active account looks like this:
Total Size (MB)Transferred (MB)
Before (without caching)16.631.99
After (with caching)3.640,45

Implementing this was not as easy as one might expect, but I think the result speaks for itself. Imagine how much less data need to be requested from the Steem nodes in a day alone for all SteemWorld users... ;)

As stated before, I'm still working on optimizations and minor bug fixes, so it might still come to some unexpected results in the next few days.

Tools now better reachable from Dashboard


I updated the Tools section on the Dashboard page, so that we can reach all relevant tools directly from there with a click:

Exciting times ahead, more features and tools to come soon... ^^

Hopefully I will find time to finally run my own full Steem RPC node in the coming weeks. Also there is a new fully-decentralized Steem Chat with end-to-end encryption in the pipeline ;)

All rewards from this post go to @knitrias to further support the great Knitrias Project.

Have a refreshing week and Steem on!


If you like what I do and you want me to be your Steem witness,
please vote for @steemchiller on steemit.com/~witnesses or steemworld.org/witnesses.


Sort:  

Since I was born in the SteemWorld, any news on the developments are deeply appreciated in my heart. And I'm always impressed or the great efforts and excellent results from your work, so productive for the vast majority of users that have experienced your tools and information resources. Now with optimizations that will help the overall functionality on the blockchain. Thank you very much for this awesome Project and its developments!

I'm much honored for your attention, support and promotion for the work on the Knitrias Project and the invaluable help you are giving to its Members through your visits to their posts and now with this contribution of yours which rewards will go to the Project and its Members. This investment, you must know, will be well-used in the growth and presence of the accounts on the project.

Many emotions we've expressed in this week and surely happiness, creativity and good work will be achieved in the future. Thanks again FOR ALL!!

Best wishes for every project and life, @SteemChiller, and lots of satisfactions for your great work !!

Thank you! It feels so good to finally be able to help promising Steem projects like yours to succeed. You are really putting a lot of work into supporting new Steemians, voting their posts, writing meaningful replies and that highly deserves our support.

May more rewards be with you and help you on your way.
One for all, all for one ;)

Being able to help is a real value on the blockchain that we have learned to appreciate in this adventure. Thanks again for your confidence in this project. Great initiatives are surging and developments and applications too, we will enjoy!! :)

The Good and the Best for you!

Hi there @steemchiller! I have been away for a while and it is good to see these new features. You are really doing great so thank you for all your efforts!

One thing that I missed on my return is the steemauto that ceased its operation. Maybe you can consider having that feature integrated in steemworld.

Hi @macoolette, great to see that you are back! @steem-supporter is already working on a new steemauto service, but it may still take a few weeks until it is ready to be used.

Here you can read more:
News on Steemauto

thanks for the mention ... it might take few days only tho

Sounds good, people are already missing steemauto like crazy... ^^

Thanks @steem-supporter and @steemchiller for the news and action.
I like to have same service feature as steemauto like individual user setting with timing in seconds and all other features. Waiting .....

Thanks for the update. That is great to know. 👍

I checked Steem world after an year and Oh my boy... You (@steemchiller) have done some amazing work. I am glad that it is actually you guys that kept Steemit alive. Now as I am back, I will try to restart creating some content and help the community. But I am really happy to see your work. It was my go to place a year ago and it has became my favorite go to place again.

Thank you for your awesome work.

Thanks for your kind feedback!
Always working on a better world... ^^

Do you think Steem really has a future? I only recently started using it, am wondering if it's really doomed or if it's silly eople attacking it or...

As long as there is a witness running a node, this place will keep going.

Steem has many enemies. Those who know history know the past. Those who know the past know the future. I think sooner or later everything will calm down and Steem will have a future.

This is going to be like taking a party trip with the vehicle of the company, but what the hell!! This party is the most important at the moment!!
@tipu curate 3

@Knitrias is with lots of emotions right now, but she will come to visit this post and say Thank You Very Much @SteemChiller, as I do with all my heart!!

Best wishes, for projects and life!!

@steemchiller, you wrote a great post. I'm not a programmer and I know little about nodes and caching operations.
But I understand that you have done a grand job of improving Steemit.
And thank you for your help and support for our project #knitrias-project

🤗🤗🤗

When everyone started leaving, I just panicked when I thought: Oh my gosh, what if steemchiller is leaving?
So my joy was immense when I realized that you would stay in Steemit. I love SteemWorld and I am almost addicted to this tool.LOL.
Thank you @steemchiller happy and long life.

Als alle anfingen zu gehen, geriet ich in Panik, als ich dachte: Oh mein Gott, was ist, wenn Steemchiler geht?
Meine Freude war immens, als mir klar wurde, dass Sie in Steemit bleiben würden. Ich liebe SteemWorld und bin fast süchtig nach diesem Tool.LOL.
Danke @steemchiller, glückliches und langes Leben.

Thanks for your uplifting comment! As always, a pleasure to read :)

I just panicked when I thought: Oh my gosh, what if steemchiller is leaving?

Don't worry, that will never happen. They have set the account balances to zero for my own, my wife's and my family's account (in which I invested ~ 10k € when STEEM was trading over a dollar), but that was not the reason for staying on Steem.

I am not a big fan of clones in general, so a clone created by dark knights does not even sound a bit like an option to me. Dark to light on Steem, dark to dark on Hive. May everyone go their desired way of peace.

I love Steem but only the original one... ^^
Have a wonderful week!

I liked your words, they are beautiful, @steemkiller

Don't worry, that will never happen. They have set the account balances to zero for my own, my wife's and my family's account (in which I invested ~ 10k € when STEEM was trading over a dollar), but that was not the reason for staying on Steem

You first wrote:

I liked your words, they are beautiful, @steemchiller

Then you changed my name to 'steemkiller':

I liked your words, they are beautiful, @steemkiller

Did you do this intentionally?
I like 'steemchiller' better, because I'm a peaceful guy and no killer...

I liked your answer; it proves you are a patriot of Steemit, @steemchiller. This is my opinion.

Don't worry, that will never happen. They have set the account balances to zero for my own, my wife's and my family's account (in which I invested ~ 10k € when STEEM was trading over a dollar), but that was not the reason for staying on Steem.
I am not a big fan of clones in general, so a clone created by dark knights does not even sound a bit like an option to me. Dark to light on Steem, dark to dark on Hive. May everyone go their desired way of peace.
I love Steem but only the original one...

Ah, @steemchiller, please excuse me.
I am sure that you are a peaceful guy.
Have a beautiful day!

Good news here, especially that idea about Chat. I would like to see all these tools plus chat included in a future version of Condenser. lol this seemed crazy!

At least the basic chat functionality could be included directly in Condenser and other Steem platforms as well. Since it is a decentralized (Open Source) solution, everyone can start an own server similar to joining a public blockchain network. It is also possible to exchange data and messages with users of other platforms (like Discord) via so called 'Bridges'.

The chat is not developed by me, but it has a great team behind it that successfully accomplished their mission in laying the groundwork for building stable, decentralized and secure chat apps of the future.

I will soon make a post about what exactly I have planned ;)

Easily one of my most used tools. You are the best @steemchiller! Keep doing your thang!

Awesome work.
Thank you and a clear resteem.

Steemworld is the best! I've been using it for years!
Thank you for all your hard work and dedication <3

Lots of features added and still wotking on it, i think steemworld will be great and effective tools for steemit in near future, hope it will always brings new feature for us.

@steemchiller
Du als Top Witness auf Steem kannst ja sicherlich als einer der ersten sein, der den Source Code des neuen Hardfork einsehen kann. Ich bin sicher, das du uns doch sicherlich als transparenter Witness den Source Code zur Verfügung stellen kannst. Dementsprechend wirst du dich doch auch mit dem Code und dessen Änderungen auseinander setzen und darüber berichten? Wäre cool, wenns von dir dazu eine Aussage geben wird. All zu viel Zeit haben wir ja nicht mehr.

Danke!

He seems to have become the same as those he once fought against. It's sad.

Great to see the continual updates.

One thing I would find useful would be a way to see who has voted for a particular witness over say the last 7 days.

And also a list of all voters for each witness by stake size.

Not sure if either of these are already in Steemworld and I have missed them.

Thank you

Thanks for your ideas! Especially the second point should really be added in future. Maybe I will add a button in the Witness Overview to show more details for each witness.

Currently there is no way to see the last 7 days votes for a witness in one list, but you could use the filters in the Account Operations Overview to see all incoming witness related operations:

This would show something like this:

Thanks for the tip on how to see the votes.

Hope you can get the other feature in soon.

Ich habe eine Frage zu den Peers der Steem Blockchain, lieber Chiller.
Gibt es eine Methode, die IP jedes momentan eingebundenen Witnesses zu ermitteln? Die Frage stellt sich im Zusammenhang mit einem Artikel, für den ich gerade recherchiere. Vielen Dank für deine Aufmerksamkeit.

Die IPs der einzelnen Witnesses zu ermitteln, ist so gut wie unmöglich. Selbst die Logs einer laufenden steemd-Instanz geben solche Daten nicht her. Die Pakete werden an alle verbundenen Nodes verteilt und das Netzwerk weiß selbst nicht, ob ein bestimmter Witness gerade erreichbar ist oder nicht. Dies wird der Blockchain nur über eine bestimmte Operation, die der Witness auch von einem anderen Ort aus senden kann, mitgeteilt.

Wenn ein Witness seinen Server abschaltet (oder nur den steemd-Prozess beendet), geht das Netzwerk weiterhin davon aus, dass er aktiv ist und er wird weiterhin für kommende Blöcke mit eingeplant. Sollte sich zum Zeitpunkt des für den Witness geplanten Blocks keine Node mit passendem Signierungsschlüssel melden, gilt der Block als verpasst und ein anderer Witness übernimmt die geplante Produktion.

Beim Start von steemd mit aktiver Witness-Konfiguration aktiviert man nicht automatisch den Witness sichtbar für andere Teilnehmer. Es ist auch möglich, dass ein Witness mehrere Server gleichzeitig verwendet (im Optimalfall einen mit deaktivierter Witness-Konfiguration) und bei Bedarf einen abschaltet, während der andere weiterhin Blöcke produzieren kann.

Herzlichen Dank, lieber Steemchiller. Du hast mir sehr geholfen.

Es würde mich freuen, wenn wir uns auf Discord sprechen könnten.
jayplayco#9869 Nutze Deine Tools schon seit geraumer Zeit und bin sehr dankbar dafür.

Freut mich zu hören, dass dir die Tools gefallen. Ich bin nicht so gerne auf Discord, aber du kannst mich jederzeit hier auf Steem kontaktieren. Sonst einfach per verschlüsselter Memo ;)

Danke, hab versucht die Memo Funktion zu nutzen, aber es scheint zur Zeit leider nicht direkt verschluesselbar zu sein. Koenntest Du mich eventuell ueber Telegram oder Keybase @jayplayco kurz ansprechen? Hoffe eins dieser Kommunikationsmoeglichkeiten ist fuer Dich moeglich. Waere kurzfristig recht wichtig. Ansonsten, falls fuer Dich eine andere direkte Kommunikationsart Deiner Wahl lieber ist, auch gerne per verschluesselter Memo (ich pack das irgentwie nicht)

Ok, wenn es wichtig ist, mache ich mal ne Ausnahme.
Habe dir eben geschrieben.

Ich habe Dich und Deine Arbeit immer sehr respektiert und wertgeschätzt.
Das siehst Du allein schon daran, dass ich so viele Posts wie moeglich mit einem Upvote honoriert habe - auch wenn es nicht viel gebracht hat, habe ich versucht zu unterstuetzen.

Ich lehne mich jetzt mal weit aus dem Fenster und frage:
Sind die 2500 USD im Monat (die normale Summe, die Justin anbietet fuer Witnesses) es wirklich wert, Mitglied einer kriminellen Vereinigung zu sein?

Mach, dass Du da raus kommst!
Das ist es nicht wert!

Liebe Gruesse,
Pundito

Ich weiß nicht, was sie euch erzählt haben, um es so aussehen zu lassen, als wenn wir die Bösen wären. Sie mögen einen größeren Propaganda-Apparat haben als wir, aber die selben falschen Fakten immer wieder zu verbreiten, macht diese nicht wahrer.

Ich hoffe, dass die Zeit kommen wird, in der ihr alle verstehen werdet, wie tief dieser Kaninchenbau geht und wie gerechtfertigt das Einfrieren der gewählten Konten wirklich war.

Wir haben niemanden auf Hive angegriffen und werden es auch nie tun. Das Steem-Netzwerk wird seit vielen Wochen und bis heute alle paar Sekunden durch gezielt dafür erstellte, fehlerhafte Transaktionen von Bots angegriffen.

Vor ca. einem Monat haben wir gewarnt, dass es zu Konsequenzen für die Accounts der Angreifer kommen wird, wenn die Angriffe nicht gestoppt werden. Nicht ist passiert und sie haben einfach weitergemacht.

Lasst euch nicht manipulieren ;)
LG, Chiller

Lieber Chiller,

deinen Kommentaren entnehme ich oft, dass dein größtes Anliegen ist, diesen "Blockchain-Krieg" endlich hinter sich zu lassen, um in Ruhe produktiv nach vorn blicken zu können. Das möchte ich auch! Aber es ist für den "Normal-User" so furchtbar schwer, sich Informationen zusammenzusuchen und diese für sich zu interpretieren, besonders auch, da diese meist so sehr emotional gefärbt sind, teilweise auf Gerüchten basieren.

Definitiv ist die folgende Bitte, die ich nun an dich herantrage, sehr viel verlangt, da du bestimmt ohnehin schon sehr viel Arbeit hast. Dennoch würde ich mich freuen, wenn du einen Beitrag verfasstest, aus dem alle Beweggründe für die HF und die daraus entstandenen Konsequenzen ohne besonderes Knowhow möglichst objektiv herauszulesen sind.
Ich würde dich nicht bitten, wüsste ich nicht, dass du erstens einen guten Durchblick hast, den viele gar nicht erlangen können, und zweitens Begebenheiten sachlich darstellen und erklären kannst.

"Diebstahl", "Betrug", "Lüge", "Feind", "Krieg"... all diese negativen Begriffe prägen seit Wochen hier wie dort Beiträge und Kommentare und werden durch überschäumende Emotionen potenziert. Das ist für mich langsam unerträglich, führt sogar bereits dazu, dass sich "Normalos", die von keiner einzigen Maßnahme betroffen sind, in die Haare kriegen und hindert uns an dem Ziel, welches wir alle - hier wie dort - gemeinsam haben sollten: in Ruhe produktiv nach vorn blicken!

Würde mich sehr freuen!
Schönen Restsonntag,
LG Chriddi

Vielen Dank, liebe Christiane, dass du mir die Arbeit abgenommen hast! Denn genau das ist seit ein paar Tagen auch mein Anliegen an den Steemchiller, und es gibt sicher noch einige, die das sehr begrüßen würden.

Schon etwas länger denke ich mir, dass er sich selbst einen Gefallen tun und seinen bei vielen angeschlagenen oder sogar ruinierten Ruf restaurieren könnte, wenn er in einem Beitrag sein Agieren, seine Haltungen und Standpunkte - und die teilweise gravierenden Änderungen hierbei - erläutern würde.

Auch seine Einschätzungen bezüglich Herstellung der Dezentralität (ich schreibe bewusst nicht "Wieder...") und den Absichten von JS und der wahrscheinlichen Weiterentwicklung wären hochinteressant!

Also: Ich schließe mich 1:1 an!

Danke fuer Deine ausfuehrliche Antwort.
Ich hoffe wirklich, dass Du das Richtige machst und wuensche Dir alles Gute.

Gruss,
Pundito

Still editor with backgrounds, beautiful tables, diagrams and polls

Still editor with
Backgrounds, beautiful tables,
Diagrams and polls

                 - ili0braz


I'm a bot. I detect haiku.

@macoolette you can always vote us as your witness to support us , visit our blog to know more about us

thanks

This post has been just added as new item to timeline of SteemWorld on Steem Projects.

If you want to be notified about new updates from this project, register on Steem Projects and add SteemWorld to your favorite projects.

Well done! still kicking out some great updates to some great software!