Ich habe in letzter Zeit einige task runner / job scheduler getestet und bin bei go-task https://taskfile.dev hängen geblieben. Einfachere Alternative zu GNU Make mit Konfiguration im YAML-Format. Cross-Plattform, Parallelisierung, Ausführung nur bei Änderungen. Ziemlich cool.
@claussni Damit habe ich keine praktische Erfahrung, aber da scheint es einiges zu geben. Beispiele: https://github.com/scipipe/scipipe/ und https://github.com/dailyburn/ratchet
@felixlohmeier Höre gerade einen Podcast zu Go. Die haben mittlerweile einiges mitgedacht. Gibts da auch was für Data Pipelines? Mit parallelen Workern und Queues? Grüße!