Datenexport in mySQL

Verfasst am: 05.02.2008, 09:48

Ursprünglich im Thread http://www.photovoltaikforum.com/viewtopic.php?t=10804&highlight= entstanden, ist nun eine erste, vollständige mySQL-Datenbank in Betrieb und ich kann euch jetzt die entsprechenden Tabellen zur Verfügung stellen:

http://sunpowered.eu/community/pages/Solarlog.php

Die Funktionsfähigkeit könnt ihr euch ebenfalls auf der Website anschauen, die Werte kommen bereits alle aus der Datenbank (mit Ausnahme des laufenden Tages, da der ja noch nicht im Backup drin ist).

Ihr seid sicher momentan mehr mit dem Schaltjahresproblem beschäftigt (mich hat es wegen der DB ja kaum getroffen), aber ich möchte nochmal anregen, alle vom Wechselrichter verfügbaren Messkanäle in einer Datei ähnlich der events.js aufzuzeichnen (die jeweils die letzten 400 Werte enthält). Sind die Werte erst mal in eine Datenbank importiert, kann am Datenlogger passieren was will, man kann die Daten dann immer rekonstruieren.

Verfasst am: 05.02.2008, 10:05

Ich muss dich echt loben, sehr gute Arbeit.
In kurzer Zeit hat du eine Speicherung mit mySQL und eine sehr ansehnliche Aufbereitung der Solarlog-Daten realisiert. TOLL gemacht.

Ich persönlich bin auch für eine Trennung zwischen Datenaufzeichnung und Datenspeicherung.

Der SolarLog ist halt so entstanden, dass man auch lokal ohne Software-Installation und Betriebsystemunabhängig seine Daten ansehen kann,
auch ohne Online im Internet zu sein bzw. wenn man den Upload auf die Homepage aktiviert von überall der Welt sehe Anlage sehen kann.

Verfasst am: 05.02.2008, 10:48

Danke

Ich denke auch, dass der Solarlog wirklich gut ist (sonst hätte ich mir ihn nicht gekauft). Gerade weil er das ist und man hier im Forum ja sieht, was man noch alles damit machen kann, sollte man die Möglichkeiten nutzen. Darin unterscheidet er sich dann auch von den herstellerspezifischen Lösungen.

Ich werde mich demnächst mal dran machen und auch die gewünschte Exportmöglichkeit aus der DB wieder zurück in den Solarlog angehen (wenn man halt mehr Zeit hätte...).

Verfasst am: 09.02.2008, 21:57

Hab mir die Skripte jetzt um ehrlich zu sein nicht so genau angeschaut, ABER:

Wenn ich es richtig gesehen habe, geht das "nur" mit BAckup-Dateien, oder?
Wie wäre es mit einer Erweiterung, welche die minxxxxxx.js, oder vor mir aus auch die entsprechenden csv-Dateien verwendet?

Stefan

Verfasst am: 10.02.2008, 08:46

Ja, es geht nur mit der Backup-Datei. Ich könnte natürlich noch ein weiteres Skript schreiben, dass eine einzelne minxxxxxx.js importiert (alle in einem Rutsch zu importieren würde ja wieder der Backup-Datei entsprechen).

Allerdings ist mir nicht ganz klar, was das für einen Vorteil hat. Das jetzige Skript importiert von der Backup-Datei auch nur die Werte, die in der DB noch nicht drin sind.

Klär mich da mal über den Nutzen auf. Ich würde aber erst mal das Skript für den Export in eine wieder in den Solarlog hochladbare Datei machen.

Verfasst am: 10.02.2008, 09:15

Ich habe ein einem anderen thread eine DTD (bzw. ein zugehöriges XML Schema) gepostet. Das wäre der richtige Weg, um Daten aus dem SolarLog ebenso wie aus anderen Systemen (z.B. meinem CLogger) über ein gemeinsames Zwischenformat auszutauschen und in eine Datenbank zu schieben. Auf dieser Datenbank ließen sich mit einem Open Source Cocoon-Server dann beliebige Visualisierungen und Auswertungen machen.

Cocoon hat ein modulares Generator-Transformer-Serializer-Konzept. Man könnte dies z.B. auch verwenden, um wieder aufspielbare Files für die SolarLog-Fans zu erzeugen.

Ich bin bereit, der Community eine solche Datenbank zur Verfügung zu stellen - schön performant auf einem 1 & 1 Rootserver gehostet.

Verfasst am: 10.02.2008, 09:23

Da stimme ich dir zu. Eine universelle Schnittstelle auf Basis von XML ist natürlich das Optimum.

Ich denke, man muss aber davon ausgehen, dass nicht so viele überhaupt mit PHP und mySQL klar kommen, bei XML wird die Luft dann sehr dünn.

Trotzdem ist das recht interessant, vor allem, wenn man die Daten dann noch zur Steuerung in andere System einspielen möchte.

Verfasst am: 10.02.2008, 11:29

oceanwave hat Folgendes geschrieben:

Allerdings ist mir nicht ganz klar, was das für einen Vorteil hat. Das jetzige Skript importiert von der Backup-Datei auch nur die Werte, die in der DB noch nicht drin sind.

Klär mich da mal über den Nutzen auf. Ich würde aber erst mal das Skript für den Export in eine wieder in den Solarlog hochladbare Datei machen.

Wenn man die Daten schon in eine Datenbank schreibt könnte man diese doch auch zur Darstellung verwenden. Da aber das Backup-File minimal täglich erstellt wird,ist das "blöd".

Daher meine ANfrage nach den "Min"-Dateien

Stefan

Verfasst am: 10.02.2008, 11:44

@oceanwave: Der Vorteil einer XML-Darstellung ist, dass man keine Ahnung von XML haben muss, um sie zu verstehen.

Wenn Daten in klartextlesbarem Format vorliegen

<solarData date="2007-11-07" time="14:46:00" idref="phenning" stringref="s1">
<DCData u="550" i="2.0" p="1100"/>
<ACData u="229" i="4.56" p="1044"/>
<EnvData tmodule="20" tinverter="20" sglobal="250"/>
</solarData>

weiß auch jeder auf Feld und Wiese, was mit den Daten gemeint ist. Das war nämlich einer der Gründe für die Einführung von XML.

Schema und DTD sind jedenfalls in ca. 1 Stunde auf http://www.medialab-karlsruhe.de verfügbar (siehe dort unter "Projekte->Solaranlagen")

Verfasst am: 10.02.2008, 16:36

OK, also mit einiger Verspätung (ist Sonntag...) hier der Link auf Schema, Dokumentation und Beispieldatei.

http://medialab-karlsruhe.de/index.php?option=com_content&task=view&id=168&Itemid=143

Verfasst am: 10.02.2008, 23:26

LumpiStefan hat Folgendes geschrieben:

oceanwave hat Folgendes geschrieben:

Allerdings ist mir nicht ganz klar, was das für einen Vorteil hat. Das jetzige Skript importiert von der Backup-Datei auch nur die Werte, die in der DB noch nicht drin sind.

Klär mich da mal über den Nutzen auf. Ich würde aber erst mal das Skript für den Export in eine wieder in den Solarlog hochladbare Datei machen.

Wenn man die Daten schon in eine Datenbank schreibt könnte man diese doch auch zur Darstellung verwenden. Da aber das Backup-File minimal täglich erstellt wird,ist das "blöd".

Daher meine ANfrage nach den "Min"-Dateien

Stefan

Hallo Oceanwave,

Kleine Anmerkung von meiner Seite:

Mit der Firmeware ....29 wurde auch realisiert, dass nun bei DSL Zugang die CSV Dateien für den aktuellen Tag im eingestellten Intervall übertragen werden.

Die "minjjmmtt.csv" Dateien solltest Du vermutlich besser nutzen können als die "minjjmmtt.js"

Hohle Dir doch dort die Daten des aktuellen Tages und den Rest aus dem Backup, dann ist Deine Darstellung immer Top-Aktuell!

Wenn Du Dir das letzte Update nicht rechtzeitig geschnappt und eingespielt hast, musst Du natürlich auf die neue Firmware warten.

Verfasst am: 19.02.2008, 18:21

nachdem ich ein paar Tage den blauen Himmel nicht mit meiner Solaranlage sondern auf Skitour verbracht habe, komme ich jetzt erst zum Antworten.

Auf der Website wird die aktuelle Darstellung aus zwei Teilen erzeugt. Alles bis zum Vortag kommt aus der DB, der laufende Tag aus der min_day.js (da ist es eigentlich egal, ob ich die csv oder die js auslese). Somit muss der DB-Export auch nicht dauernd durchgeführt werden, es reicht einmal am Tag.

Der Export aus der Backup-Datei hat m.E. auch den Vorteil, das man bei einem beliebigen Datum aufsetzen kann und in einem Rutsch die Datenbank aktualisiert wird.

XML bleibt hochinteressant, ich meinte damit auch weniger die leichte Les- und Verstehbarkeit, sondern den Umgang mit DTD und Co. Das Beste wäre ein XML-Output des Solarlog anstelle der js-Dateien.

Bei mir ist momentan auch etwas Land unter, habe also gerade kaum Zeit mich mit der Anlage zu beschäftigen, auch wenn der Januar Traumerträge beschert. Anscheinend funktioniert auch die Benachrichtigung bei Beiträgen nicht immer, sodass ich eure Antworten nicht immer mitkriege.

Verfasst am: 19.02.2008, 19:57

oceanwave hat Folgendes geschrieben:

n
Bei mir ist momentan auch etwas Land unter, habe also gerade kaum Zeit mich mit der Anlage zu beschäftigen, auch wenn der Januar Traumerträge beschert.

Und ich dachte schon wir hätten Februar. Shocked

Puh, dann hab ich ja noch Zeit... Very Happy

Gruß Mike

Verfasst am: 19.02.2008, 20:01

Ich meinte natürlich den Februar, aber der Januar war auch schon nicht schlecht - zumindest hier in München Very Happy