Shërbim

Mekanizmi i pastrimit të të dhënave Spark Streaming
(I) DStream dhe RDD
Siç e dimë, llogaritja e Spark Streaming bazohet në Spark Core, dhe thelbi i Spark Core është RDD, kështu që Spark Streaming duhet të jetë i lidhur edhe me RDD. Megjithatë, Spark Streaming nuk i lejon përdoruesit të përdorin RDD direkt, por abstrakton një sërë konceptesh DStream, DStream dhe RDD janë marrëdhënie gjithëpërfshirëse, mund ta kuptoni si model dekorimi në Java, domethënë, DStream është një përmirësim i RDD, por sjellja është e ngjashme me RDD.
DStream dhe RDD kanë të dy disa kushte.
(1) kanë veprime të ngjashme transformimi, si map, reduceByKey, etj., por edhe disa unike, si Window, mapWithStated, etj.
(2) të gjitha kanë veprime Veprimi, të tilla si foreachRDD, count, etj.
Modeli i programimit është i qëndrueshëm.
(B) Prezantimi i DStream në Spark Streaming
DStream përmban disa klasa.
(1) Klasat e burimeve të të dhënave, të tilla si InputDStream, specifike si DirectKafkaInputStream, etj.
(2) Klasat e konvertimit, zakonisht MappedDStream, ShuffledDStream
(3) klasat e daljes, zakonisht të tilla si ForEachDStream
Nga sa më sipër, të dhënat nga fillimi (hyrja) deri në fund (dalja) bëhen nga sistemi DStream, që do të thotë se përdoruesi normalisht nuk mund të gjenerojë dhe manipulojë drejtpërdrejt RDD-të, që do të thotë se DStream ka mundësinë dhe detyrimin të jetë përgjegjës për ciklin jetësor të RDD-ve.
Me fjalë të tjera, Spark Streaming ka njëpastrim automatikfunksion.
(iii) Procesi i gjenerimit të RDD në Spark Streaming
Rrjedha e jetës së RDD-ve në Spark Streaming është e përafërt si më poshtë.
(1) Në InputDStream, të dhënat e marra transformohen në RDD, siç është DirectKafkaInputStream, i cili gjeneron KafkaRDD.
(2) pastaj përmes MappedDStream dhe konvertimit të të dhënave të tjera, kjo kohë quhet direkt RDD që korrespondon me metodën e hartës për konvertim.
(3) Në operacionin e klasës së daljes, vetëm kur RDD është e ekspozuar, mund ta lejoni përdoruesin të kryejë ruajtjen përkatëse, llogaritjet e tjera dhe operacione të tjera.