Wie greifen Sie auf die Bildnummer in AVAsynchronousCIImageFilteringRequest zu?

Question

Wie kann ich bei Verwendung eines CIFilter mit einem AVVideoComposition auf die aktuelle Frame-Nummer im AVAsynchronousCIImageFilteringRequest Callback zugreifen?

Das Beste, was ich tun konnte, ist die Rahmennummer aus der Zeit zu schätzen:

^(AVAsynchronousCIImageFilteringRequest * _Nonnull request) { 
    double seconds = CMTimeGetSeconds(request.compositionTime); 
    double fps = [[_avAsset tracksWithMediaType:AVMediaTypeVideo] firstObject].nominalFrameRate; 
    int frame = round(seconds * fps); 

    // (Calculate filter parameters based on frame number) 
} 

Aber das ist für mich nicht genau genug. Gibt es eine Möglichkeit, auf die Bildnummer zuzugreifen?

Answer 1

Der Schlüssel ist, die frameDuration auf der AVMutableVideoComposition, um die der zugrunde liegenden AVAssetTrack entsprechen. Wenn Sie dies tun, werden die Werte von compositionTime sogar Vielfache von minFrameDuration sein und es wird keine Rundungsprobleme geben.

AVMutableVideoComposition *vidComp = 
    [AVMutableVideoComposition videoCompositionWithAsset:self.avAsset 
          applyingCIFiltersWithHandler: 
     ^(AVAsynchronousCIImageFilteringRequest * _Nonnull request) { 
      CMTime frame = self.avAssetTrack.minFrameDuration; 
      int frameNum = (compositionTime.value * frame.timescale)/
          (compositionTime.timescale * frame.value); 

      // (Calculate filter parameters based on frame number) 
     }]; 

vidComp.frameDuration = self.avAssetTrack.minFrameDuration; 

In meinem Fall eines ~ 60 fps MP4 Film, avAssetTrack.minFrameDuration = (1001/60000), aber vidComp.frameDuration = (1501/90000), bevor ich es aktualisieren. Dies führte zu einer langsamen Drift von 'compositionTime' im Callback, was zu gelegentlichen wiederholten Frames führte.

Answer 2

Wie wäre es (a Hacky)

__block int frameNum = 0; 

AVMutableVideoComposition *vidComp = 
    [AVMutableVideoComposition videoCompositionWithAsset:self.avAsset 
     applyingCIFiltersWithHandler:^(AVAsynchronousCIImageFilteringRequest * request) { 

     // (Calculate filter parameters based on frame number) 

     frameNum++; 
    }]; 

?

Es gibt zwei Annahmen hier:

1. Handler in der gleichen Reihenfolge wie der Rahmen genannt werden
2. Handler ist nicht mehr als ein Thread zu einem Zeitpunkt genannt

I Ich weiß nicht, ob dies sichere Annahmen sind oder nicht.

p.s. Bildwiederholraten sind oft variabel, so dass Min-, Max- und Bilddauer irreführend sein können.

UPDATE die AVComposition von der Frage ist für seekable Wiedergabe in einem AVPlayer bestimmt ist, die Annahme verletzt 1.