Mischen von zwei Audio-Streams mit Java-Mixer

Question

Ich möchte zwei Audio-Streams mit einem Java-Mixer mischen und die Ausgabe in eine Datei schreiben.

so zu tun, erfassen ich den Eingang meiner zwei Mikrofone von der TargetDataLines meiner Mikrofonmischer zu lesen:

//microphone TargetDataLines 
    TargetDataLine finalIn = null; 
    TargetDataLine finalIn2 = null; 

    Mixer.Info[] mixerInfos = AudioSystem.getMixerInfo(); 
    for (Mixer.Info info: mixerInfos){ 

     Mixer m = AudioSystem.getMixer(info); 
     Line.Info[] lineInfos = m.getSourceLineInfo(); 
     System.out.println("****mixer name:" + info.getName()); 
     if(info.getName().equals("C920 [plughw:1,0]")) 
      finalIn=(TargetDataLine) m.getLine(m.getTargetLineInfo()[0]); 
     if(info.getName().equals("C920_1 [plughw:3,0]")) 
      finalIn2=(TargetDataLine) m.getLine(m.getTargetLineInfo()[0]); 

     for (Line.Info lineInfo:lineInfos){ 
      System.out.println ("\n source line info: "+lineInfo); 
     } 
     lineInfos = m.getTargetLineInfo(); 
     for (Line.Info lineInfo:lineInfos){ 
      System.out.println ("target line info: "+lineInfo); 
     } 

    } 

    AudioFormat format = new AudioFormat(8000,16, 1, true,false); 

    finalIn.open(format,2000); 
    finalIn.start(); 
    finalIn2.open(format,2000); 
    finalIn2.start(); 

    int numBytesRead; 
    byte[] targetData = new byte[finalIn.getBufferSize()/5]; 

    int numBytesRead2; 
    byte[] targetData2 = new byte[finalIn2.getBufferSize()/5]; 

    while (true) { 
      numBytesRead = finalIn.read(targetData,0,targetData.length); 
      numBytesRead2 = finalIn2.read(targetData2, 0, targetData2.length); 

Die resultierenden Daten von den Mikrofonen erfasst werden in targetData sein, targetData2. Nun möchte ich diese zwei Byte-Arrays, die meine vom Mikrophon empfangenen Sound-Samples enthalten, in ein neues Byte-Array mischen und ich möchte einen anderen Java-Mixer für dieses verwenden.

so zu tun, ich schaffe zwei SourceDataLine und ein TargetDataLine mit dem folgenden Code:

 DataLine.Info targetInfo = new DataLine.Info(TargetDataLine.class, format); 
     DataLine.Info sourceInfo = new DataLine.Info(SourceDataLine.class, format); 
     SourceDataLine sourceLine = (SourceDataLine) AudioSystem.getLine(sourceInfo); 
     SourceDataLine sourceLine2 = (SourceDataLine) AudioSystem.getLine(sourceInfo); 

     sourceLine.open(format,2000); 
     sourceLine.start(); 

     sourceLine2.open(format,2000); 
     sourceLine2.start(); 

     TargetDataLine targetLine = (TargetDataLine)  AudioSystem.getLine(targetInfo); 
     targetLine.open(format,2000); 
     targetLine.start(); 

und dann in der "while" Ich will hinzufügen:

byte[] result = new byte[finalIn.getBufferSize()/5]; 

    while (true) { 
      numBytesRead = finalIn.read(targetData,0,targetData.length); 
      numBytesRead2 = finalIn2.read(targetData2, 0, targetData2.length); 

      sourceLine.write(targetData, 0, numBytesRead); 
      sourceLine.write(targetData2, 0, numBytesRead2); 
      targetLine.read(result, 0, numBytesRead2); 
    } 

jedoch, während der Klang wird tatsächlich richtig über meine Kopfhörer gespielt, das Ergebnis-Array bleibt leer. Wie kann ich dieses Problem lösen? Was mache ich falsch?

Answer 1

Ich frage mich, ob Sie ein falsches Verständnis darüber haben, was ein Java-Mixer tut. Ich denke, dass diese Klasse wegen meiner Hintergrunderfahrung als Tontechniker schlecht benannt wurde. In meinen Augen kombiniert ein Mixer verschiedene Audiotracks. Das ist nicht was ein Java Mixer tut.

Ich denke, um zu tun, was Sie tun möchten, müssen Sie Ihre zwei Zeilen parallel lesen. Sie lesen jeweils einen Byte-Puffer und müssen die Bytes in PCM-Daten konvertieren. Dann können Sie die PCM-Daten zusammenfügen und diese zurück in Bytes konvertieren und ausgeben.

Es gibt ein gutes Tutorial, das zeigt, wie man die einzelnen Bytes/Frames bekommt here. Ein kurzer Weg auf der Seite, gibt es ein Codebeispiel. Achten Sie auf die Lage des Kommentars:

// Here, do something useful with the audio data that's 
// now in the audioBytes array... 

Dieses Beispiel aus einem AudioInputStream liest, aber die Technik für an den einzelnen Bytes von TargetDataLines immer ist das nicht anders. Natürlich würden Sie von beiden Zeilen anstatt vom einzelnen AIS lesen. Und die "nützliche Sache", die Sie tun würden, ist einfach die PCM-Daten pro Frame parallel hinzuzufügen.

Sobald Sie die Audiodaten summiert haben, könnten Sie vielleicht some code I wrote verwenden und an einer anderen Stelle, die einen PCM-Stream und schreibt es als WAV-Datei. Hoffentlich ist die Diskussion auf dieser Seite klar genug, dass Sie folgen können.