Wie geht ihr mit den Datenmengen um

  • Bei mir läuft der Volkszähler jetzt 8 Monate inzwischen sind ca. 2GB Daten zusammengekommen.
    Das Anzeigen der Daten für Tag, Woche funktioniert gut aber Monat und Jahr dauert schon arg lange manchmal geht bei Jahr auch gar nix.
    Den Artikel zum Umgang mit den Datenmengen auf der Volkszähler Seite habe ich gelesen
    und erstmal nur die Aggregation der Mittelware am Laufen.


    Ich würde gerne eure Meinungen / Erfahrungen zum Umgang mit den Daten hören
    wie macht ihr das so
    welche Mechanismen setzt ihr ein
    behaltet ihr alle Daten oder löscht komprimiert ihr sie


    bin gespannt auf eure Antworten

  • *subscribe*
    Ja, das Thema steht mit auch noch bevor. (bin erst am Verkabeln)
    Ich hätte gedacht, dass große Datenmengen gerade von Datenbanken gut verwaltet werden.


    Wie viele Kanäle hast Du und wie oft werden die zur Middleware geschickt? (=Messwerte pro Stunde)
    Und wie ist deine CPU last, wenn niemand das Frontend benutzt?

  • Also ich hab nach der Anleitung http://wiki.volkszaehler.org/howto/datenmengen die Datenaggregation aktiviert.
    Aktuell bin ich nach etwa 1 Jahr bei ca. 500MB was meine Datenbank belegt.
    Auch die Performance im Frontend ist noch allererste Sahne.
    Habe 17 aktive Kanäle, wovon aber die meisten nur alle 5 Minuten einen Wert liefern, aber auch 3 Stromzähler.


    Stefan

  • Ja wie gesagt ich habe auch nach der Anleitung http://wiki.volkszaehler.org/howto/datenmengen die Datenaggregation aktiviert.


    ich habe 2 Kanäle aktiv,
    Kanal 1 = Hager EHz (sendet sml Protokoll)
    Kanal 2 = 1-wire Temperatur Sensor, hier erfasse ich alle 1 Minute einen Messwert. Das werde ich aber noch auf 5 min. ändern.


    @ Stefan nur 500MB über 1 Jahr und mit 17 Kanälen erstaunlich, was für Stromzähler hast du?


    Saftwerk CPU Last liegt normal zwischen 5 und 10% wenn aber die (Raspberry Modell B übertatet auf 950Mhz)
    Daten aus der SQL geladen werden geht es schon auf 90% hoch.
    Was die Messwerte angeht kann ich dir nicht sagen das hängt
    ja hauptsächlich vom Zähler ab, habe mal gelesen das bei
    EHz Zählern alle 4 Sekunden der Zählerstand ausgegeben wird (Angabe ohne Gewähr).


    Hier nochmal die Frage an die anderen User im Forum wie sind eure Erfahrungen welche Methoden setzt ihr ein, Datenaggregation, Daten Löschen Hart, Weich oder was es sonst noch so gibt, können evtl. Methoden kombiniert werden.
    Wenn hier erfahrene Leute etwas beitragen können wäre das eine große Hilfe für andere die sich neu mit der Thematik beschäftigen.
    Oder seid ihr der Meinung dass mit der Anleitung http://wiki.volkszaehler.org/howto/datenmengen schon alles gesagt ist?

  • Zitat von ESD30

    Oder seid ihr der Meinung dass mit der Anleitung http://wiki.volkszaehler.org/howto/datenmengen schon alles gesagt ist?


    Eigentlich schon.



    Bei mir

    • keine Datenlöschung
    • Aggregation
    • SSD an USB statt SD


    Noch besser wirds mit einem BananaPi mit SATA, da gibts aber kein Image für.
    Alternativ kannst du die Daten auch auf demo.volkszaehler.org ablegen. Das Hauptproblem beim Rasperry sind nämlich die Lese-/Schreibzugriffe auf die SD.



    mfg JAU

    No Shift - No Service

  • Hallo JAU mich würde interessieren welche Hardware du einsetzt welche Zähler verbaut
    wie groß die Datenbank ist und der Aufzeichnungszeitraum um mal ein paar Anhaltspunkte zu bekommen


    Ich nutze einen schnellen USB-Stick satt der SD
    Parallel zum Rpi habe ich das Frontend noch auf einem Webhoster laufen (Bplaced).


    Die Anzeige der Daten auf dem Rpi für Stunde Tag Woch funktioniert ja gut aber Monat und Jahr dauert.
    Über den Webhoster funktioniert das deutlich schneller aber die Jahresübersicht geht nicht da kommt immer ein Network Error.


    Ich bin jetzt etwas Ratlos wie ich weiter vorgehen soll denn in Zukunft sollen ja noch mindestens 2 Stromzähler und vielleicht der Gaszähler dazu kommen.
    Da sehe ich dann schwarz für den Rpi, alles auf den Webhoster gefällt mir auch nicht habe das nur zum Testen eingerichtet und jetzt extra einen PC mit genug Leistung ist auch nicht das Gelbe.


    mfg Esd30

  • Zitat von ESD30

    Hallo JAU mich würde interessieren welche Hardware du einsetzt


    Raspberry Pi B
    Kingston SSD 30GB an USB


    Zitat von ESD30

    welche Zähler verbaut


    2 eHz von EMH


    Zitat von ESD30

    wie groß die Datenbank ist


    Die Datenbank ist ~430MB groß.
    4,9 Mio. Datensätze.


    Zitat von ESD30

    und der Aufzeichnungszeitraum


    3 Zählerstände im Minutentakt seit Anfang 2013
    4 Temperaturen alle 5 Minuten seit Ende 2015
    Aggregation für die Middleware stündlich und täglich.


    Bevor die Aggregation kam hab ich aber vzcompress gemacht, also Datensätze dauerhaft gelöscht.


    Zitat von ESD30

    Ich nutze einen schnellen USB-Stick satt der SD


    Wenn du keinen speziellen Stick genommen hast bleibt die Ausfallwahrscheinlichkeit sehr hoch!


    Zitat von ESD30

    Über den Webhoster funktioniert das deutlich schneller aber die Jahresübersicht geht nicht da kommt immer ein Network Error.


    Überträgst du auch die Aggregate-Tabellen oder versucht du auf dem Hoster zu Aggregieren?


    Zitat von ESD30

    und jetzt extra einen PC mit genug Leistung ist auch nicht das Gelbe.


    Die mir bekannten Alternativen hab ich bereits genannt.



    mfg JAU

    No Shift - No Service

  • Zitat von LumpiStefan

    Überträgst du auch die Aggregate-Tabellen oder versucht du auf dem Hoster zu Aggregieren?


    Aggregieren auf dem Hoster geht leider nicht der Hoster ünterstützt keine Cronjobs.
    Aggregate-Tabellen übertragen wüsste nicht wie das geht.


    Zitat von LumpiStefan

    Wenn du keinen speziellen Stick genommen hast bleibt die Ausfallwahrscheinlichkeit sehr hoch!


    ja ich weiß, habe noch irgendwo eine 128GB Festplatte aus einem alten Laptop rumliegen wenn der Stick versagt werde ich es mit der ausprobieren.


    ich kenn die emh Zähler nicht bei mir ist ein Hager verbaut der schickt mir ca. alle 4 Sekunden einen Messwert, glaube das ist mein Problem
    ich habe in den Tabellen
    Data = ca. 30 Mio.
    Entities = 12
    Entities_in_aggregator = 0
    Proberties = 85
    Aggregate = 654729 Datensätze


    Die Datenbank ist aktuell 2,4 Gb groß


    Zitat von LumpiStefan

    3 Zählerstände im Minutentakt seit Anfang 2013


    die emh Zähler auch ?
    ich nehme an du hast in der vzlogger.conf für die emh Zähler dann aggtime aktiviert ?

  • Zitat von ESD30

    Aggregate-Tabellen übertragen wüsste nicht wie das geht.


    dbcopy. In der Beispiel-Config sind die Aggregate-Tabellen aber ausgeklammert.


    Ich vermute mal das auf deiner Hoster-Installation die Aggregation aktiviert ist und ohne die zugehörigen Daten Probleme macht.
    Könnte aber auch was anderes sein.


    Zitat von ESD30

    ich nehme an du hast in der vzlogger.conf für die emh Zähler dann aggtime aktiviert ?


    Ja.



    mfg JAU

    No Shift - No Service