mit der reinen Metal-API zusammen mit SceneKit oder SpriteKit

Question

Ich habe ein SKView und ein MTKView in einer Anwendung laufen und alles funktioniert bisher gut.

Die einzige Sache ist, dass beide Ansichten schlecht visuell integriert sind. Sie sind nur nebeneinander. Aber ich würde gerne das reine Metall Rendering innerhalb des SKView mit einigen SKNodes bewegen. Es ist eine Art schnelle Anzeige innerhalb des SKView.

Auf der Metallseite ziemlich viele Rechen läuft und Sachen zu machen. Der SKView sollte ein nettes UI für die schweren Berechnungen und das minimale, aber sehr schnelle Rendering des reinen Metallteils bieten.

Ich habe bereits über die Verwendung von SceneKit mit einem Overlay einer SpriteKit-Szene nachgedacht, da SCNRenderer die Möglichkeit bietet, einen eigenen MTLCommandBuffer und MTLRenderPassDescriptor mit renderAtTime darzustellen.

I implementiert die folgende SCNSceneRendererDelegate Methode und meine eigene genannt Render-Funktion, die die commandBuffer vorbereitet.

func renderer(renderer: SCNSceneRenderer, didRenderScene scene: SCNScene, atTime time: NSTimeInterval) { 
    nodeArray.render() 
} 

Nach dem commandBuffer ist bereit, ich die renderAtTime Methode meiner SCNRenderer nennen. Versuch und Irrtum zeigten mir, dass der Befehlspuffer nach dem Aufruf von renderAtTime festgeschrieben werden muss. Wenn ich es vorher mache, stürzt die App ab. Wenn ich es überhaupt nicht mache, wird es die App einfrieren.

func bufferFinished(renderer:SCNRenderer, commandBuffer: MTLCommandBuffer, renderPassDescriptor: MTLRenderPassDescriptor){ 
    let current=CFAbsoluteTimeGetCurrent() 
    renderer.renderAtTime(current, viewport: gameView.bounds, commandBuffer: commandBuffer, passDescriptor: renderPassDescriptor) 
    commandBuffer.commit() 
} 

Wenn ich dies tue die App läuft, aber kein zusätzliches Metall Kontext gezeigt. Ich denke, die ganze Sache ist wegen des Metallteils etwas komplex.

Gibt es eine einfache Probe, wo reines Metall in einer SceneKit Ansicht oder besser in einer SpriteKit Ansicht wiedergegeben wird?

Answer 1

Metall, SpriteKit & SceneKit

SpriteKit & SceneKit zusammen arbeiten. Sie können SceneKit in SpriteKit verwenden und umgekehrt.

In SpriteKit können Sie verwenden, um eine SK3DNode SceneKit Szene zu machen. Hier ein Beispiel: https://github.com/CloakedEddy/SK3DNode-example/tree/master/SKSCN%20Crossover

In SceneKit können Sie die overlaySKScene-Eigenschaft Ihres SCNSceneRenderer verwenden, die von Ihrem SCNView vererbt wird. Sie können Ihre SpriteKit-Szenen nebeneinander mit den Szenen von SceneKit rendern.

Aber wie integriert man Metall?

Die Verwendung von Metall mit SpriteKit kann mit Texturen erfolgen. Sie berechnen die Texturen mit Metall auf der GPU und übertragen die Bilddaten über modifyPixelDataWithBlock in eine SKMutableTexture. Das funktioniert, aber Sie müssen die Daten kopieren, die nicht schön sind und SpriteKit arbeitet mit OpenGL hinter den Kulissen und nicht mit Metall. Es muss also eine OpenGL-Textur erstellt werden, die sehr teuer ist, wie Sie sehen können.

Ein weiteres Problem ist, dass Sie die GPU-Daten zu synchronisieren, wenn Sie mit großen Texturen arbeiten sie in CPU-Speicher zu holen. Nur dann können Sie die Daten in das SKMutableTexture kopieren. Dies ist sehr ineffizient, da die Daten wieder zur GPU gehen, aber jetzt mit OpenGL.

Mit SceneKit Sie können wählen, ob Sie OpenGL oder Metall möchte in Bezug auf die GPU zugrunde liegenden Rahmen haben. Und Sie können die Textur in der Materialeigenschaft direkt mit Metall modifizieren. Setzen Sie einfach die contents -Eigenschaft der SCNMaterialProperty. Oder Sie können die SCNGeometrySource direkt nach Metall ändern, wenn Sie die Geometrie eines Objekts ändern möchten.