2016-04-05 4 views
0

Ich erstellen die Sturm-Topologie, die HBase-Schraube, um das Tupel in Hbase schreiben. Aber wenn ich die Topologie ausführen, wird immer der Fehler unten angezeigt. Weiß jemand, wie man dieses Problem löst?HBase-Konfiguration nicht gefunden mit Schlüssel 'Null'

java.lang.IllegalArgumentException: HBase configuration not found using key 'null' 
at org.apache.storm.hbase.bolt.AbstractHBaseBolt.prepare(AbstractHBaseBolt.java:60) 

ich serialisiert bereits die hbase-site.xml in der pom.xml Datei, wie unten:

<plugin> 
      <groupId>org.apache.maven.plugins</groupId> 
      <artifactId>maven-shade-plugin</artifactId> 
      <version>2.3</version> 
      <configuration> 
       <transformers> 
        <transformer 
         implementation="org.apache.maven.plugins.shade.resource.ApacheLicenseResourceTransformer"> 
        </transformer> 
       </transformers> 
      </configuration> 
      <executions> 
       <execution> 
        <phase>package</phase> 
        <goals> 
         <goal>shade</goal> 
        </goals> 
       </execution> 
      </executions> 
     </plugin> 
     <plugin> 
      <groupId>org.codehaus.mojo</groupId> 
      <artifactId>exec-maven-plugin</artifactId> 
      <version>1.2.1</version> 
      <executions> 
       <execution> 
        <goals> 
         <goal>exec</goal> 
        </goals> 
       </execution> 
      </executions> 
      <configuration> 
       <executable>java</executable> 
       <includeProjectDependencies>true</includeProjectDependencies> 
       <includePluginDependencies>false</includePluginDependencies> 
       <classpathScope>compile</classpathScope> 
       <mainClass>${storm.topology}</mainClass> 
      </configuration> 
     </plugin> 
    </plugins> 
    <resources> 
     <resource> 
      <directory>${basedir}/conf</directory> 
      <filtering>false</filtering> 
      <includes> 
       <include>hbase-site.xml</include> 
      </includes> 
     </resource> 
    </resources> 

Ihnen im Voraus für Ihre Hilfe danken.

Antwort

0

Übergeben Sie den hbase-Konfigurationsparameter an Ihre Topologie.

public static final String HBASE_CONFIG_KEY = "hbase.conf"; 

1) In storm config setzen Sie die neue Einstellung HBASE_CONFIG_KEY.

Config config = new Config(); 
String rootDir = topologyConfig.getProperty("hbase.rootdir"); 
Map<String, Object> hbConf = new HashMap<>(); 
hbConf.put("hbase.rootdir", rootDir); 
config.put(HBASE_CONFIG_KEY, hbConf); 
StormSubmitter.submitTopology(topologyName, config, buildTopology()); 

2) In Hbase Bolt Config set config Key HBASE_CONFIG_KEY

HBaseBolt hBaseBolt = new HBaseBolt(topologyConfig.getProperty(CFG_HBASE_BOLT_TABLE_NAME), new CbossCdrRecordMapper()) 
      .withConfigKey(HBASE_CONFIG_KEY) 
      .withBatchSize(1000) 
      .withFlushIntervalSecs(flushInterval) 
      .withBatchSize(Integer.valueOf(topologyConfig.getProperty(CFG_HBASE_BOLT_BATCH_SIZE))); 

die für mich gearbeitet.