In spark Join, tut Tabelle Reihenfolge wie in Schwein?

Question

Bezug zu Spark - Joining 2 PairRDD elements

Wenn ein regelmäßigen in den Schweinen verbinden tun, die letzte Tabelle in der Verknüpfung nicht in dem Speicher gebracht, sondern durch stattdessen gestreamt, so dass, wenn eine kleine Mächtigkeit pro Taste und B große Mächtigkeit hat, ist es wesentlich besser ist zu tun join A, B als join A by B, aus performance perspektive (Vermeidung von Verschütten und OOM)

Gibt es ein ähnliches Konzept in Funken? Ich habe keine solche Empfehlung gesehen und frage mich, wie ist das möglich? Die Implementierung sieht mir ziemlich ähnlich wie in Schwein: https://github.com/apache/spark/blob/master/core/src/main/scala/org/apache/spark/rdd/CoGroupedRDD.scala

Oder fehlt mir etwas?

Answer 1

Es macht keinen Unterschied, in Funken wird die RDD nur in den Speicher gebracht, wenn es zwischengespeichert wird. In Funke, um den gleichen Effekt zu erzielen, können Sie die kleinere RDD zwischenspeichern. Eine andere Sache, die Sie in Funken tun können, die ich nicht sicher bin, dass Schwein tut, ist, wenn alle RDDs zusammengefügt werden, die den gleichen Trenner haben, muss kein Shuffle getan werden.