Testfunken Jobs mit Mocks

Question

Ich habe Funke Job wie:

stream. 
..do some stuff.. 
map(HbaseEventProcesser.process) 

jetzt HbaseEventProcesser ein scala Objekt ist (Singleton). Es gibt also keine Probleme mit der Serialisierung.

Das Problem besteht darin, dass der Funke-Job getestet wird (holdenkarau spark-test lib wird verwendet). Ich möchte HbaseEventProcessor mit einer anderen Implementierung vortäuschen. Ich habe zwei Ansätze

• Durchlauf-Implementierung Job (als Konstruktorargument und als Methoden in Karte) aufgerufen. Dieses Problem bei der Serialisierung Problem
• Verwenden Sie PowerMock. Leider ist der Deepcopy-Vorgang fehlgeschlagen, wenn SharedSparkContext verwendet wird.

Gibt es noch andere Problemumgehungen?

Answer 1

Sie haben mindestens die folgenden Optionen:

1) HbaseEventProcesser reguläre Klasse machen, die einige reine Merkmal EventProcessor erstreckt und als verspotten sie mit Rahmen Ihrer Wahl

2) Refactoring Sie Code wie folgt smth

def mapStream[T, R](stream: DStream[T], process: T => R) = { 
stream. 
..do some stuff.. 
map(process) 
} 

//in main code: 
mapStream(stream, HbaseEventProcesser.process) 

//in test code: 
mapStream(stream, customFunc)