Konnte nicht zwei Dateien mit einem Schlüssel über Cascading verbinden

Question

Lets sehen, was wir haben. Erste Datei [Schnittstelle Klasse]:

list arrayList 
list linkedList 

Zweite Datei [Class1 Menge]:

arrayList 120 
linkedList 4 

Ich möchte diese beiden Dateien mit Schlüssel [Klasse] verbinden und für jede Schnittstelle zählen erhalten:

list arraylist 120 
list linkedlist 4 

Code:

public class Main 
{ 
public static void main(String[] args) 
{ 
String docPath = args[ 0 ]; 
String wcPath = args[ 1 ]; 
String doc2Path = args[ 2 ]; 

Properties properties = new Properties(); 
AppProps.setApplicationJarClass(properties, Main.class); 
AppProps.setApplicationName(properties, "Part 1"); 
AppProps.addApplicationTag(properties, "lets:do:it"); 
AppProps.addApplicationTag(properties, "technology:Cascading"); 
FlowConnector flowConnector = new Hadoop2MR1FlowConnector(properties); 

// create source and sink taps 
Tap wcTap = new Hfs(new TextDelimited(true, ","), wcPath); 


    Fields classInterfaceFiles = new Fields("interface", "class"); 
    Tap classInterfaceTap = new Hfs(new TextDelimited(classInterfaceFiles, true, ","), docPath); 

    Fields classAmountFields = new Fields("class1", "amount"); 
    Tap classAmountFileTap = new Hfs(new TextDelimited(classAmountFields, true, ","), doc2Path); 

    Tap outTap = new MultiSinkTap(); // just saying, create your own tap 
    Pipe classInterfaceFilePipe = new Pipe("classInterfaceFilePipe"); 

    Pipe classIAmountFilePipe = new Pipe("classIAmountFilePipe"); 

    Fields groupFields = new Fields("class"); 
    Fields groupFields1 = new Fields("class1"); // fields used as joining keys 
    Pipe outPipe = new CoGroup(classInterfaceFilePipe, groupFields, classIAmountFilePipe, groupFields1, new InnerJoin()); 


// build flow definition 
    FlowDef flowDef = FlowDef.flowDef().setName("myFlow") 
      .addSource(classInterfaceFilePipe, classInterfaceTap) 
      .addSource(classIAmountFilePipe, classAmountFileTap) 
      .addTailSink(outPipe, wcTap); 
     // .addTailSink(outPipe, wcTap); 


// write a DOT file and run the flow 
Flow wcFlow = flowConnector.connect(flowDef); 
wcFlow.writeDOT("dot/wc.dot"); 
wcFlow.complete(); 
} 

}

[dies ist ein Schritt der größeren Aufgabe]

Answer 1

Dies geschieht, weil Sie in zwei Rohren gleiches Feld haben, die zusammen das heißt „Klasse“ verbunden sind. Wahrscheinlich können Sie diese in "class_interface" und "class_amount" umbenennen. Sie müssen auch Änderungen an den groupFields vornehmen, die Sie in der CoGroup-Pipe verwendet haben.