Hizmet
Spark Streaming veri temizleme mekanizması
(I) DStream ve RDD
Bildiğimiz gibi Spark Streaming hesaplaması Spark Core'a dayanmaktadır ve Spark Core'un çekirdeği RDD'dir, dolayısıyla Spark Streaming'in de RDD ile ilişkili olması gerekir.Ancak Spark Streaming, kullanıcıların doğrudan RDD'yi kullanmasına izin vermez, ancak bir dizi DStream kavramını soyutlar, DStream ve RDD kapsayıcı ilişkilerdir, bunu Java'daki dekorasyon modeli olarak anlayabilirsiniz, yani DStream, RDD'nin bir geliştirmesidir, ancak davranış RDD'ye benzer.
DStream ve RDD'nin her ikisinin de çeşitli koşulları vardır.
(1) harita, azaltByKey vb. gibi benzer dönüşüm eylemlerine sahiptir, ancak aynı zamanda Window, mapWithStated vb. gibi bazı benzersiz işlemlere de sahiptir.
(2) hepsinde foreachRDD, count vb. gibi Eylem eylemleri bulunur.
Programlama modeli tutarlıdır.
(B) Spark Streaming'de DStream'e Giriş
DStream birkaç sınıf içerir.
(1) DirectKafkaInputStream vb. gibi spesifik inputDStream gibi veri kaynağı sınıfları.
(2) Dönüşüm sınıfları, genellikle MappedDStream, ShuffledDStream
(3) çıktı sınıfları, genellikle ForEachDStream gibi
Yukarıdakilerden yola çıkarak, başlangıçtan (giriş) sona (çıkış) kadar olan veriler DStream sistemi tarafından yapılır; bu, kullanıcının normalde RDD'leri doğrudan oluşturamayacağı ve değiştiremeyeceği anlamına gelir; bu, DStream'in RDD'leri oluşturma fırsatı ve yükümlülüğüne sahip olduğu anlamına gelir. RDD'lerin yaşam döngüsünden sorumludur.
Başka bir deyişle, Spark Streaming'in bir özelliği varotomatik temizlemeişlev.
(iii) Spark Streaming'de RDD oluşturma süreci
Spark Streaming'de RDD'lerin yaşam akışı aşağıdaki gibi kabadır.
(1) OutputDStream'de alınan veriler, KafkaRDD'yi oluşturan DirectKafkaInputStream gibi RDD'ye dönüştürülür.
(2) daha sonra MappedDStream ve diğer veri dönüştürme yoluyla, bu sefer doğrudan dönüşüm için harita yöntemine karşılık gelen RDD olarak adlandırılır.
(3) Çıkış sınıfı işleminde, yalnızca RDD kullanıma sunulduğunda kullanıcının ilgili depolamayı, diğer hesaplamaları ve diğer işlemleri yapmasına izin verebilirsiniz.
