Hive UDF, die verwenden Hive Tabelle

Question

ich einen Bienenstock UDF in Java entwickelt haben, die richtig funktioniert, meine Funktion, um die beste Übereinstimmung zwischen dem Eingang und einer Spalte in einem Bienenstock Tisch zurückkehren, so dass er haben diese vereinfachte Pseudocode:

class myudf extends udf{ 

    evaluate(Text input){ 

     getNewHiveConnection(); //i want to replace this by getCurrentHiveUserConnetion(); 
     executeHiveQuery(input); 
     return something; 
} 

Meine Frage ist, wenn diese Funktion von Hive aufgerufen wird, warum muss ich in meinem Code mit Hive verbinden? Kann ich die aktuelle Verbindung benutzen, mit der der Benutzer verbunden ist, der meine Funktion benutzt?

Answer 1

Ja - Sie können die UDF dauerhaft machen. Zum Beispiel:

CREATE FUNCTION MatchFinder as 'com.mycompany.packagex.myudf' using jar  'hdfs:///an_HDFS_directory/my_jar_name.jar'; 

Dadurch wird Ihre Funktion dauerhaft und jeder wird es anrufen können. In diesem Fall wird die JAR-Datei zur leichteren Zugänglichkeit in HDFS gespeichert, aber es gibt andere Optionen.

Weitere Informationen finden Sie unter Hive wiki.

Answer 2

Wenn Sie eine nächste Übereinstimmung von gesamte Spalte in einer Abfrage zurückkehren möchten, denken Sie könnte, wenn sie als eine Art von Aggregation und verwenden Hive UDAF: https://cwiki.apache.org/confluence/display/Hive/GenericUDAFCaseStudy

Es gibt auch ganz praktisch Tutorial: http://beekeeperdata.com/posts/hadoop/2015/08/17/hive-udaf-tutorial.html