News
Snakemake Hackathon 2026 – reproduzierbare Datenanalyse jetzt noch schneller und besser
News |
Vom 9. bis 13. März 2026 versammelten sich rund 40 Entwickler, Bioinformatiker, Physiker, Ingenieur und HPC-Expert in München zum zweiten Snakemake Hackathon, unterstützt von der U.S. National Science Foundation und BASF. Über fünf intensive Tage hinweg erzielte diese Community zahlreiche Verbesserungen, Fehlerbehebungen und neue Funktionen, die Snakemakes’ Leistungsfähigkeit und Anwendbarkeit weiter stärken.
Ein Teil dieser Fortschritte wurde bereits veröffentlicht, weitere werden in den kommenden Wochen verfügbar sein.
Wesentliche Verbesserungen - exemplarisch, nicht vollständig - umfassen:
- Eine überarbeitete Kommandozeilenoberfläche, die neue Subcommands einführt und dadurch einen besseren Überblick sowie klarere funktionale Trennungen bietet
- Leistungsgewinne durch das Umgehen der DAG-Konstruktion beim Entsperren von Verzeichnissen
- Eine komplett erneuerte Infrastruktur für Software-Deployment
- Einen experimentellen, auf SQLite basierenden Metadatenspeicher, der den Druck auf das Dateisystem bei sehr großen Workflows reduziert
- Verbesserte Behandlung von Remote-Workflows, die auf GitHub oder GitLab gehostet werden, einschließlich privater Deployments
- Verbesserte und neu strukturierte Dokumentation
- Intelligenteres und erweitertes Caching von Workflow-Ergebnissen
- Verbesserungen für verschiedene Executor-Plugins, insbesondere für SLURM (Array Jobs) und HTCondor (offizielle Wartung an HTCondor-Entwickler übergeben)
- Unterstützung für optionale Rule-Outputs sowie Toleranz gegenüber fehlenden, nicht kritischen Inputs
- Proof-of-Concept für WASM-Unterstützung, um leichte Workflows direkt im Browser auszuführen
Der Hackathon zeigt eindrucksvoll, wie die gemeinschaftsgetriebene Entwicklung von Snakemake weiterhin Reproduzierbarkeit, Skalierbarkeit und Transparenz für modernes wissenschaftliches Rechnen stärkt.