Erkennt Apache Mesos GPU-Kerne?

Question

In Folie 25 von this talk von Twitter-Leiter der Open-Source-Büro, sagt der Moderator, dass Mesos ermöglicht es sogar GPU (ich nehme an, er meinte GPGPU) Ressourcen zu verfolgen und zu verwalten. Aber ich kann nirgendwo anders Informationen darüber finden. Kann mir bitte jemand helfen? Gibt es neben Mesos andere Cluster-Manager, die GPGPU unterstützen?

Answer 1

Mesos bietet noch keine direkte Unterstützung für GP-GPUs, unterstützt jedoch benutzerdefinierte Ressourcentypen. Wenn Sie beim Starten des mesos-Slaves --resources="gpu(*):8" angeben, wird dies Teil des Ressourcenangebots für Frameworks, die Tasks starten können, die beanspruchen, diese Ressourcen zu verwenden. Sobald einige der GPU-Ressourcen von einer Task verwendet werden, werden nur die verbleibenden Ressourcen erneut angeboten, bis diese Task abgeschlossen ist und die GPU-Ressourcen wieder verfügbar sind. Auf diese Weise kann der Ressourcen-Allocator von Mesos die von Ihnen deklarierten GPU-Ressourcen tatsächlich planen und sicherstellen, dass nur den deklarierten Mengen Frameworks angeboten/zugewiesen werden.

Mesos bietet noch keine Unterstützung für die GPU-Isolierung, aber mit "Pluggable Isolator-Modulen" könnten Sie Ihren eigenen GPU-Isolator erstellen, um die GPU-Ressourcenbeschränkungen zu erzwingen. Wenn Sie nicht möchten, dass einzelne GPU-Ressourcen deklariert werden, sondern nur einige Knoten als gpus deklarieren, während andere dies nicht tun, können Sie einfach --attributes="hasGpu:true" oder etwas Ähnliches verwenden, um die Knoten zu unterscheiden, die dies tun/nicht habe gpus. Diese Informationen werden auch an die Frameworks in Ressourcenangeboten weitergegeben, aber diese Attribute können von einer ausgeführten Task nicht "konsumiert" werden, sodass sie immer für diesen Knoten angeboten werden.

Weitere Informationen finden Sie https://mesos.apache.org/documentation/attributes-resources/