Hizmet

Spark Streaming veri temizleme mekanizması
(I) DStream ve RDD
Bildiğimiz gibi, Spark Streaming hesaplaması Spark Core'a dayanır ve Spark Core'un çekirdeği RDD'dir, bu nedenle Spark Streaming'in de RDD ile ilişkili olması gerekir. Ancak Spark Streaming, kullanıcıların RDD'yi doğrudan kullanmasına izin vermez, bunun yerine bir dizi DStream kavramını soyutlar. DStream ve RDD kapsayıcı ilişkilerdir; bunu Java'daki bir süsleme deseni olarak anlayabilirsiniz. Yani DStream, RDD'nin geliştirilmiş bir halidir, ancak davranışı RDD'ye benzer.
DStream ve RDD'nin her ikisinin de birkaç koşulu vardır.
(1) map, reduceByKey, vb. gibi benzer dönüşüm eylemlerine sahip olmakla birlikte, Window, mapWithStated, vb. gibi bazı benzersiz eylemlere de sahiptir.
(2) hepsinin foreachRDD, count vb. gibi Eylem eylemleri vardır.
Programlama modeli tutarlıdır.
(B) Spark Streaming'de DStream'in Tanıtımı
DStream birkaç sınıftan oluşur.
(1) InputDStream gibi veri kaynağı sınıfları, DirectKafkaInputStream gibi özel sınıflar vb.
(2) Dönüşüm sınıfları, genellikle MappedDStream, ShuffledDStream
(3) çıktı sınıfları, genellikle ForEachDStream gibi
Yukarıda belirtilenlerden, başlangıçtan (giriş) sona (çıktı) kadar veri DStream sistemi tarafından yapılır, bu da kullanıcının normalde RDD'leri doğrudan üretemeyeceği ve işleyemeyeceği anlamına gelir, bu da DStream'in RDD'lerin yaşam döngüsünden sorumlu olma fırsatına ve yükümlülüğüne sahip olduğu anlamına gelir.
Başka bir deyişle, Spark Streaming'in birotomatik temizlemeişlev.
(iii) Spark Streaming'de RDD oluşturma süreci
Spark Streaming'de RDD'lerin yaşam akışı aşağıdaki gibidir.
(1) InputDStream'de alınan veriler, KafkaRDD üreten DirectKafkaInputStream gibi RDD'ye dönüştürülür.
(2) daha sonra MappedDStream ve diğer veri dönüştürme yoluyla, bu sefer doğrudan dönüşüm için harita yöntemine karşılık gelen RDD olarak adlandırılır
(3) Çıkış sınıfı işleminde, yalnızca RDD açığa çıkarıldığında, kullanıcının ilgili depolamayı, diğer hesaplamaları ve diğer işlemleri gerçekleştirmesine izin verebilirsiniz.