Ich begann Apache Kylin (Version 1.5.3) zu verwenden. Beim Erstellen eines Cubes erhalte ich einen Fehler bei Schritt 5 'Save Cuboid Statistics'. Das Protokoll sagt:Apache kylin: Würfelerzeugung scheitert bei Schritt 5 - KeyValue Größe zu groß
java.lang.IllegalArgumentException: KeyValue size too large
at org.apache.hadoop.hbase.client.HTable.validatePut(HTable.java:1521)
at org.apache.hadoop.hbase.client.BufferedMutatorImpl.validatePut(BufferedMutatorImpl.java:147)
at org.apache.hadoop.hbase.client.BufferedMutatorImpl.doMutate(BufferedMutatorImpl.java:134)
at org.apache.hadoop.hbase.client.BufferedMutatorImpl.mutate(BufferedMutatorImpl.java:98)
at org.apache.hadoop.hbase.client.HTable.put(HTable.java:1038)
at org.apache.kylin.storage.hbase.HBaseResourceStore.putResourceImpl(HBaseResourceStore.java:242)
at org.apache.kylin.common.persistence.ResourceStore.putResource(ResourceStore.java:208)
at org.apache.kylin.engine.mr.steps.SaveStatisticsStep.doWork(SaveStatisticsStep.java:113)
at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:112)
at org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:57)
at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:112)
at org.apache.kylin.job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:127)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Zuerst habe ich versucht, den gleichen Würfel mit weniger Dimension zu erstellen, und es funktioniert. Erstellen eines Antheres Cube mit den Out-Dimensionen funktioniert auch. Aber wenn ich versuche, einen Würfel mit all diesen (13) Dimensionen zu erstellen, scheitert es. Ich müde auch hbase.client.keyvalue.maxsize auf 0 setzen, um die Prüfung zu deaktivieren. Immer noch der gleiche Fehler.
Weiß jemand, was das Problem ist und wie ich es lösen kann?
Ich benutze Kylin auf der Sandbox HDP 2.4 nebenbei.
Vielen Dank für Hilfe im Voraus
Søren
Was ist die "hbase.client.keyvalue.maxsize" in Ihrer hbase-Konfiguration? –
"hbase.client.keyvalue.maxsize" wird auf 0 atm gesetzt. Normalerweise sollte der Check deaktiviert sein. –
Versuchen Sie es mit kylin.hbase.client.keyvalue.maxsize = 1048576 –