imported>SchlurcherBot: Bot: http → https

2026-02-06T18:03:13Z

Bot: http → https

Neue Seite

{{Infobox Software
|Name =
|Logo =
|Screenshot =
|Beschreibung =
|Maintainer =
|Hersteller = ThinkParQ/[[Fraunhofer ITWM]]
|Erscheinungsjahr = 2007
|AktuelleVersion = 
|AktuelleVersionFreigabeDatum = 
|AktuelleVorabVersion =
|AktuelleVorabVersionFreigabeDatum =
|Betriebssystem = Linux
|Programmiersprache =
|Kategorie = [[Verteiltes Dateisystem]]
|Lizenz = BeeGFS End-User License Agreement, Open Source
|Deutsch =
|Website = https://www.beegfs.io/
|Dateien =
}}

'''BeeGFS''' (ehemals '''FhGFS''') ist ein [[Quelloffen|quelloffenes]] [[Verteiltes Dateisystem|paralleles Dateisystem]], das hinsichtlich Datendurchsatz speziell für Hochleistungsrechner („[[High Performance Computing]]“) entwickelt und optimiert wird. Besonders viel Wert wurde bei der Entwicklung auf eine einfache Handhabung sowie eine hohe Flexibilität und Skalierbarkeit gelegt.

BeeGFS wurde ursprünglich am [[Fraunhofer-Institut für Techno- und Wirtschaftsmathematik|Fraunhofer]] Center für High Performance Computing implementiert unter der Leitung von Sven Breuner<ref>{{Internetquelle |url=https://www.clustermonkey.net/FileSystems/fhgfs-a-fast-and-scalable-parallel-filesystem-crafted-in-germany.html |titel=FhGFS: A Fast and Scalable Parallel Filesystem {{!}} FileSystems {{!}} Columns |zugriff=2019-01-13}}</ref>, der später die Geschäftsführung von ThinkParQ übernahm. Die ThinkParQ GmbH wurde im Jahr 2014 als Spin-off gegründet, um das Dateisystem professionell zu pflegen und Dienstleistungen wie Support anzubieten<ref name=":0" />.

Die Software BeeGFS kann kostenlos von der Projektwebseite heruntergeladen werden.<ref>{{Literatur |Titel=Getting started – BeeGFS |Sammelwerk=BeeGFS |Online=https://www.beegfs.com/content/download/ |Abruf=2017-05-04}}</ref>

== Geschichte ==
BeeGFS startete 2005 als intern entwickeltes Dateisystem am Fraunhofer Center für High Performance Computing, um das bisherige genutzte Dateisystem auf dem neuen Cluster des Instituts zu ersetzen.<ref>{{Internetquelle |url=https://www.itwm.fraunhofer.de/abteilungen/hpc.html |titel=Competence Center High Performance Computing – Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM |zugriff=2017-05-04}}</ref>

2007 wurde dann die erste Betaversion der Software während der ISC 07 in Dresden angekündigt und während der SC 07 in Reno, Nevada der Öffentlichkeit vorgestellt.<ref>{{Internetquelle |url=https://storageconference.us/2012/Presentations/M08.Pfreundt.pdf |titel=A parallel file system – made in Germany |datum=2012-03-07 |zugriff=2017-05-04 |format=PDF}}</ref> Ein Jahr später kam die erste Major Release auf den Markt.

Im Jahr 2014 gründete sich das Fraunhofer Spin-off ThinkParQ, das den Vertrieb, den Kundenservice und den professionellen Support der Software übernahm sowie die Entwicklung unterstützt.<ref name=":0">{{Internetquelle |url=https://www.thinkparq.com/ |titel=ThinkParQ – The Company Behind BeeGFS |sprache=en-US |zugriff=2017-05-04}}</ref> Gleichzeitig wurde das FhGFS umbenannt in BeeGFS. Während ThinkParQ seitdem hauptsächlich für Vertrieb und Support zuständig ist, entwickelt und optimiert Fraunhofer ITWM auch weiterhin die Software in Kooperation mit ThinkParQ.

Ein weiterer Meilenstein für BeeGFS wurde Anfang 2016 erreicht, als bekannt gegeben wurde, dass BeeGFS nun als open source zur Verfügung steht.<ref>{{Literatur |Titel=BeeGFS Parallel File System Now Open Source |Sammelwerk=HPCwire |Online=https://www.hpcwire.com/off-the-wire/beegfs-parallel-file-system-now-open-source/ |Abruf=2017-05-04}}</ref>

Da BeeGFS den Nutzern kostenlos zur Verfügung steht, weiß man nicht genau wie viele Installationen bisher getätigt wurden. Jedoch gibt es inzwischen über 250 Kunden, die professionell durch ThinkParQ unterstützt werden<ref>{{Internetquelle |url=https://indico.mathrice.fr/event/5/session/5/contribution/12/material/slides/0.pdf |titel=An Introduction to BeeGFS: Solid, fast, flexible – and easy! |autor=Bernd Lietzow |datum=2016-12-13 |zugriff=2017-05-04 |format=PDF}}</ref>. Darunter befinden sich sowohl zahlreiche wissenschaftliche Einrichtungen, wie Universitäten und Forschungsanstalten weltweit, als auch kommerzielle Firmen aus den Bereichen Life Sciences, Finanzen, der Automobilbranche sowie aus dem Energiesektor.<ref>{{Internetquelle |url=https://www.beegfs.com/docs/BeeGFS_Flyer.pdf |titel=BeeGFS Flyer |zugriff=2017-05-04 |format=PDF}}</ref>

BeeGFS wird zurzeit in mehreren Supercomputing-Einrichtungen eingesetzt, darunter auch einige der schnellsten Hochleistungsrechner der Welt (entsprechend der Top 500 Klassifizierung). Beispiele: Das Loewe-CSC<ref>{{Internetquelle |url=http://www.storagenewsletter.com/2010/06/fraunhofer-goethe-university-of-frankfurt-hpc/ |titel=StorageNewsletter » … And Fraunhofer |zugriff=2017-05-04}}</ref> Cluster an der Goethe-Universität Frankfurt, Deutschland (#22 bei Installation), das [[Vienna Scientific Cluster]]<ref>{{Internetquelle |url=https://www.top500.org/system/177280 |titel=VSC-2 – MEGWARE Saxonid 6100, Opteron 6132 HE 8C 2.2GHz, Infiniband QDR {{!}} TOP500 Supercomputer Sites |sprache=en |zugriff=2017-05-04}}</ref> der Technischen Universität Wien, Österreich (#56 bei Installation), und das Abel Cluster<ref>{{Internetquelle |url=https://www.top500.org/system/177801 |titel=Abel – MEGWARE MiriQuid, Xeon E5-2670 8C 2.600GHz, Infiniband FDR {{!}} TOP500 Supercomputer Sites |sprache=en |zugriff=2017-05-04}}</ref> der [[Universität Oslo]], Norwegen (#96 bei Installation).

== Konzept & Features ==
Bei der Entwicklung von BeeGFS waren den Entwicklern besonders drei Schwerpunkte wichtig: Leichte Handhabung, hohe Flexibilität und hohe Skalierbarkeit.

BeeGFS läuft auf jedem Linuxsystem und besteht aus mehreren Komponenten: den Client Services, den Metadata Servern und Storage Servern sowie dem Management Service.<ref>{{Internetquelle |url=https://www.beegfs.com/docs/whitepapers/Introduction_to_BeeGFS_by_ThinkParQ.pdf |titel=An introduction to BeeGFS |autor=Jan Heichler |datum=2014-11 |zugriff=2017-05-04 |format=PDF}}</ref>
[[Datei:Beegfs-architecture-overview.png|mini|BeeGFS-Architekturübersicht]]

Um BeeGFS zu nutzen, wird wenigstens eine Instanz des Metadatenservers und des Storageservers benötigt. Allerdings ist es beim BeeGFS möglich, beliebig viele Instanzen von Metadaten- und Storageservern zu starten, um die Last bei einer großen Anzahl Clients zu verteilen.

Der Zugriff auf [[Nutzdaten]] wird parallelisiert, indem die Daten in sogenannte Chunks zerteilt werden. Die Chunks werden unabhängig voneinander auf mehreren Servern verteilt gespeichert. Die Größe der Chunks kann dabei vom Administrator bestimmt werden. Die Verwaltung der Daten sowie die Zuordnung einer Datei zu den entsprechenden Chunks übernehmen spezielle Metadatenserver. BeeGFS unterstützt auf mehrere Server verteilte Metadaten, wodurch Dateizugriffe sehr gut skalierbar sind. Die Verbindung der einzelnen Server erfolgt entweder mittels RDMA (z. B. [[InfiniBand]], Omni-Path, RoCE) oder über TCP/IP-Verbindungen (z. B. Ethernet).

Sowohl Clients als auch Metadaten- und Storageserver können ohne Unterbrechung in ein bereits bestehendes System eingefügt werden. Der Client-Service ist dabei ein leichtgewichtiges Modul für den Linux-Kernel, das keinerlei Kernel-Patches erfordert. Mit dem BeeGFS besteht die Möglichkeit, Server auch über einem bereits vorhandenen lokalen Linux Dateisystem (z. B. ext4, xfs, zfs) laufen zu lassen, wobei es egal ist, um welches Dateisystem es sich handelt, solange es POSIX unterstützt. Empfohlen wird ext4 für die Metadatenserver und xfs für die Storageserver zu nutzen.<ref>{{Internetquelle |url=https://www.beegfs.com/docs/whitepapers/Introduction_to_BeeGFS_by_ThinkParQ.pdf |titel=An introduction to BeeGFS |autor=Jan Heichler |datum=2014-11 |zugriff=2017-05-04 |format=PDF}}</ref> Beide Server-Arten laufen dabei im Userspace.

Es gibt keine strengen Hardwarevorgaben, dadurch erlaubt das Softwaredesign dem Administrator die Freiheit, die Server in jeder Kombination auf den Maschinen zu nutzen. Eine sehr beliebte Möglichkeit unter den BeeGFS Nutzern ist es daher, Metadatenserver und Storageserver auf der gleichen Maschinen laufen zu lassen, um dadurch Hardwarekosten einzusparen.

BeeGFS unterstützt gleichzeitig verschiedene Netzwerkverbindungen mit dynamischem [[Failover]] wie z. B. Ethernet oder InfiniBand und unterschiedlichste Linux-Distributionen und Linux-Kernel (ab Linux-Kernel 2.6.18 bis hin zu den jeweils aktuellen verfügbaren Kernelversionen). Das BeeGFS nutzt init scripts zum einfachen Setup und Start, man kann aber auch ein grafisches Interface, die Java-basierte GUI (AdMon für „Administration & Monitoring“) nutzen. Hierdurch wird es einem ermöglicht, das BeeGFS zu überwachen und zu managen oder aber Performanceprobleme ausfindig zu machen.<ref>{{Internetquelle |url=https://www.beegfs.com/docs/BeeGFS_Flyer.pdf |titel=BeeGFS Flyer |datum=2016-11 |zugriff=2017-05-04 |format=PDF}}</ref>

== BeeOND (BeeGFS on-demand) ==
BeeOND ermöglicht das Erstellen eines BeeGFS innerhalb eines Nodesets mit nur einer Kommandozeile. Die Anwendungsmöglichkeiten erstrecken sich dabei von einem zweckbestimmten Dateisystem für einen bestimmen Cluster-Job bis hin zum Cloud-Computing oder dem schnellen und einfachen Schaffen von Testumgebungen.<ref>{{Internetquelle |url=http://www.hpcadmintech.com/wp-content/uploads/2016/03/BeeGFS-DEFINITIVO.pdf |titel=BeeGFS Solid, fast and made in Europe |autor=David Ramírez Alvarez |datum=2016-02 |zugriff=2017-05-04 |format=PDF}}</ref>

== Benchmarks ==
Die folgenden Benchmarks wurden auf den internen SSDs der Compute Knoten des Fraunhofer Seislab gemacht. Das Fraunhofer Seislab ist ein Entwicklungscluster des Fraunhofer ITWM mit 25 Knoten (20 Compute + 5 Storage) und einem 3-stufigen Speicher: 1 TB RAM, 20 TB SSD, 120 TB HDD erstellt. Die Performance für die internen SSDs eines einzelnen Knoten auf dem lokalen Dateisystem ohne BeeGFS liegt bei 1.332 MB/s (write) und 1.317 MB/s (read).

Die Knoten sind ausgestattet mit 2× Intel Xeon X5660, 48 GB RAM, 4× Intel 510 Series SSD (RAID 0), ext4, QDR InfiniBand und laufen mit Scientific Linux 6.3, Kernel 2.6.32-279 und FhGFS 2012.10-beta1.

<gallery mode="nolines" widths="400px" heights="325px">
FhGFS read write throughput benchmark.png|Read/Write Throughput
FhGFS file create benchmark.png|File Creates
FhGFS iops benchmark.png|IOPS
</gallery>

== Siehe auch ==
* [[Liste von Dateisystemen]]
* [[Verteiltes Dateisystem]]

== Weblinks ==
* [https://www.beegfs.io/ Produkt-Website] (englisch)
* [https://www.beegfs.io/wiki/TableOfContents Installation und Benutzerhandbuch] (englisch)
* [https://www.itwm.fraunhofer.de/ Webpräsenz des Fraunhofer ITWM]

== Einzelnachweise ==
<references />

[[Kategorie:Fraunhofer-Gesellschaft]]
[[Kategorie:Dateisystem]]
[[Kategorie:Verteiltes Dateisystem]]
[[Kategorie:Freies Dateisystem]]
[[Kategorie:Informationstechnik (Deutschland)]]

BeeGFS - Versionsgeschichte

imported>SchlurcherBot: Bot: http → https