Ich hatte den Plan mal ein paar Ressourcen auf das Sammeln und Bereitstellen von Daten zu werfen. Besonders das Sammeln von unzugänglichen Daten finde ich interessant. Dazu würde ich gerne ein paar Scaper schreiben. Allerdings möchte ich die nicht unbedingt einfach in einen Docker werfen und vor sich hin wurschteln lassen, sondern hätte gerne ein Tool in dem ich die Ausführungspläne und Ergebnisse verwalten kann.

Ich stelle mit dabei ein paar Features vor:

  • Anlegen von Scripten
    • Neue Scripte/Scaper in einer UI anlegen können
    • Links auf Github/URLs wo das Script liegt einpflegen
  • Anlegen von Ausführungsplänen
    • Ich möchte gerne für die Scripte timings definieren können
  • Ergebnisse
    • Ich möchte gerne Output-Pipes definieren und z.B. in Influx, Github, $OpenDataPortal abführen
    • Ich möchte gerne Rohdaten direkt ansehen können
    • Super cool wären verschiedene Processing-Scripte (z.B. je Output-Pipe) um Daten aufzubereiten

Categories: Uncategorized