rmr2 mapreduce erzeugt immer NULL für $ key und $ val

Question

Ich habe rmr2 in R mit Cloudera Quickstart 5.7.0 nach Jeremy und Chandra installiert. Ich habe versucht, ein einfaches mapreduce Programm wie pro [Chandra]:

small.ints <- to.dfs(1:1000) 
out <- mapreduce(input = small.ints, map = function(k, v) keyval(v, v^2)) 
df <- as.data.frame(from.dfs(out)) 

und die Ausgabe von df ist:

data frame with 0 columns and 0 rows 

und from.dfs (out) zeigt:

$key 
NULL 

$val 
NULL 

Andere Beispiele aus [Jeremy] und [Chandra] erzeugen ebenfalls die gleiche Ausgabe, obwohl mapreduce _SUCCESS im generierten/tmp-Verzeichnis zeigt. Irgendwelche Vorschläge?

to.dfs und from.dfs scheinen gut zu funktionieren. Ich habe versucht:

small.ints <- to.dfs(1:1000) 
out <- from.dfs(small.ints) 
out 

und dies erzeugt die Zahlen von 1 bis 1000.

Answer 1

ich das jetzt herausgefunden. Ich habe rmr2 innerhalb von RStudio installiert und irgendwie war die Bibliothek für das Skript nicht verfügbar, obwohl die MapReduce-Funktion erfolgreich ausgeführt wird. Ich war überrascht, dass ich in einem der Logs gelesen habe, dass rmr2 nicht gefunden wurde, aber das Skript gab mir immer noch einen _SUCCESS!

Ich installierte schließlich rmr2 frisch in R (mit Sudo R), mit den erforderlichen Paketen, reshape2 und caTools, und alles scheint jetzt gut zu funktionieren.