Ich bin neu mit Apache Spark, kann ich einen Ausschnitt davon bekommen, wie man 'Abflachung' für Abhängigkeitsgraphen implementiert? also sagen wir mal ich habe: Knoten: A, B, C Kanten: (A, B), (B, C)Wie kann man Abhängigkeitsgraphen reduzieren?
es mit einem neuen Diagramm führen würde: Knoten: A, B, C Kanten: in einer eigenen Zeile (A, B) (A, C) (B, C)
1) jeden Knoten Vorausgesetzt
A
B
C
2) ist ein Kreuz mit selbst als erster Schritt JOIN.
A A
A B
A C
B A
B B
B C
C A
C B
C C
2) Im zweiten Schritt alle Zeilen ausfiltern, in denen der Knotenname wiederholt wird.
A B
A C
B A
B C
C A
C B
3) Post, die ein anderes Feld aus zwei Feldern ableiten, die Ihnen die Kante sagen würden.
Sie müssten dies jedoch in die (Scala/Python) -Syntax konvertieren. Hoffe das hilft.
Dies ist nicht trivial. Es gibt sicherlich keine vorgefertigte Möglichkeit, dies zu tun. Was hast du probiert? –
habe noch nichts versucht, ich habe gerade versucht, andere Algorithmen wie die meisten kurzen Pfad zu verstehen, so kann ich anpassen/ändern, der Grund, warum ich diesen Algorithmus sah, ist, weil er auch rekursiv ist. –