NoClassDefFoundError: org/apache/spark/sql/Datenrahmen in Spark-Cassandra-Connector

Question

Ich versuche, spark-cassandra-connector von 1.4 auf 1.5 zu aktualisieren. Es steckte dann zwischen dem Prozess

Alles scheint in Ordnung, aber wenn ich Testfälle laufen und melden Sie sich einige Fehlermeldung, die besagt:

Exception in thread "dag-scheduler-event-loop" java.lang.NoClassDefFoundError: org/apache/spark/sql/DataFrame

Meine pom-Datei wie folgt aussieht:

<dependencies> 
    <dependency> 
     <groupId>junit</groupId> 
     <artifactId>junit</artifactId> 
     <version>3.8.1</version> 
     <scope>test</scope> 
    </dependency> 
    <!-- https://mvnrepository.com/artifact/com.datastax.spark/spark-cassandra-connector_2.10 --> 
<dependency> 
    <groupId>com.datastax.spark</groupId> 
    <artifactId>spark-cassandra-connector_2.10</artifactId> 
    <version>1.5.0</version> 
    </dependency> 
     <dependency> 
     <groupId>com.google.guava</groupId> 
     <artifactId>guava</artifactId> 
     <version>16.0.1</version> 
    </dependency> 
    <!-- Scala Library --> 
    <dependency> 
     <groupId>org.scala-lang</groupId> 
     <artifactId>scala-library</artifactId> 
     <version>2.10.5</version> 
    </dependency> 
    <!--Spark Cassandra Connector--> 
    <dependency> 
     <groupId>com.datastax.spark</groupId> 
     <artifactId>spark-cassandra-connector_2.10</artifactId> 
     <version>1.5.0</version> 
    </dependency> 
    <dependency> 
     <groupId>com.datastax.spark</groupId> 
     <artifactId>spark-cassandra-connector-java_2.10</artifactId> 
     <version>1.5.0</version> 
    </dependency> 
    <dependency> 
     <groupId>com.datastax.cassandra</groupId> 
     <artifactId>cassandra-driver-core</artifactId> 
     <version>3.0.2</version> 
    </dependency> 
    <!--Spark--> 
    <dependency> 
     <groupId>org.apache.spark</groupId> 
     <artifactId>spark-core_2.10</artifactId> 
     <version>1.5.0</version> 
     <exclusions> 
      <exclusion> 
      <groupId>net.java.dev.jets3t</groupId> 
      <artifactId>jets3t</artifactId> 
      </exclusion> 
     </exclusions> 
    </dependency> 
    </dependencies> 
</project> 

Danke im Voraus !!

Kann mir bitte jemand dabei helfen? Wenn Sie weitere Informationen benötigen, lassen Sie es mich wissen !!

Answer 1

Versuchen Abhängigkeit

<dependency> 
    <groupId>org.apache.spark</groupId> 
    <artifactId>spark-sql_2.10</artifactId> 
    <version>${spark.version}</version> 
    <scope>provided</scope> 
</dependency> 

Auch stellen Sie sicher, dass Ihre Version spark-cassandra-connector mit Version Spark hinzuzufügen kompatibel ist Sie verwenden. Ich hatte die gleiche Fehlermeldung sogar mit allen richtigen Abhängigkeiten, wenn versucht wurde, ältere spark-cassandra-connector mit neueren Spark-Version zu verwenden. Siehe folgende Tabelle: https://github.com/datastax/spark-cassandra-connector#version-compatibility