Shërbimi

Mekanizmi i pastrimit të të dhënave Spark Streaming
(I) DSstream dhe RDD
Siç e dimë, llogaritja e Spark Streaming bazohet në Spark Core, dhe thelbi i Spark Core është RDD, kështu që Spark Streaming duhet të lidhet gjithashtu me RDD.Megjithatë, Spark Streaming nuk i lejon përdoruesit të përdorin RDD drejtpërdrejt, por abstrakton një grup konceptesh DStream, DStream dhe RDD janë marrëdhënie gjithëpërfshirëse, ju mund ta kuptoni atë si model dekorimi në Java, domethënë DStream është një përmirësim i RDD, por sjellja është e ngjashme me RDD.
DStream dhe RDD të dyja kanë disa kushte.
(1) kanë veprime të ngjashme transformimi, si harta, reduceByKey, etj., por edhe disa unike, si Window, mapWithStated, etj.
(2) të gjitha kanë veprime Veprimi, të tilla si foreachRDD, count, etj.
Modeli i programimit është konsistent.
(B) Prezantimi i DStream në Spark Streaming
DStream përmban disa klasa.
(1) Klasat e burimit të të dhënave, të tilla si InputDStream, specifike si DirectKafkaInputStream, etj.
(2) Klasat e konvertimit, zakonisht MappedDStream, ShuffledDStream
(3) klasat e daljes, zakonisht të tilla si ForEachDStream
Nga sa më sipër, të dhënat nga fillimi (hyrja) deri në fund (dalja) bëhen nga sistemi DStream, që do të thotë se përdoruesi normalisht nuk mund të gjenerojë dhe manipulojë drejtpërdrejt RDD, që do të thotë se DStream ka mundësinë dhe detyrimin të jetë përgjegjës për ciklin jetësor të RDD-ve.
Me fjalë të tjera, Spark Streaming ka njëpastrim automatikfunksionin.
(iii) Procesi i gjenerimit të RDD në Spark Streaming
Rrjedha e jetës së RDD-ve në Spark Streaming është e përafërt si më poshtë.
(1) Në InputDStream, të dhënat e marra transformohen në RDD, siç është DirectKafkaInputStream, i cili gjeneron KafkaRDD.
(2) më pas përmes MappedDStream dhe konvertimit të të dhënave të tjera, kjo herë quhet drejtpërdrejt RDD që korrespondon me metodën e hartës për konvertim
(3) Në operacionin e klasës së daljes, vetëm kur ekspozohet RDD, mund ta lini përdoruesin të kryejë ruajtjen përkatëse, llogaritjet e tjera dhe operacione të tjera.