Az adatok körülöttünk vannak, akár mobil- vagy webalkalmazásokat használó ügyfelek által generált naplófájlok, kereskedelmi vásárlások, játékjátékosok tevékenysége és még sok más forrás formájában. Pontosabban, az AWS Kinesis és a Kafka szolgáltatásokat az adatfolyamok kezelésére és vezérlésére is használják, valamint az SQL használatával való felkészülést az AWS tárolási szolgáltatásokban való tárolásra.
Ez az útmutató részletesen elmagyarázza a Kinesist és a Kafkát.
Mi az a Kinesis?
A hatalmas mennyiségű adat kezelése meglehetősen összetett feladat, amely gyűjtést, tárolást és elemzést igényel. Az AWS Kinesis szolgáltatás vezérli ezeket a nagy áteresztőképességű információkat, és segíti a felhasználót abban, hogy naprakész legyen az üzletével, szervezetével és ügyfeleivel:
A Kinesis szolgáltatásai
A Kinesis a következő szolgáltatásokat tartalmazza:
Kinesis Stream : A Kinesis stream alacsony késleltetésű adatfolyam-feldolgozást tesz lehetővé.
Kinesis Analytics : Különböző erőforrásokból származó adatok rögzítésére és SQL alkalmazására használják valós idejű elemzések elvégzésére az adatfolyamokon:
Kinesis Firehose : Az adatfolyamok folyamatos előkészítésére és betöltésére szolgál az AWS szolgáltatásokba, mint például az S3, Redshift, ElasticSearch stb.:
Mi az a Kafka?
A Kafka egy elosztott üzenetfolyam-platform, amely közzétételi és előfizetési mechanizmust használ az adatok streamelésére. az Amazoné Felügyelt adatfolyam az Apache Kafka számára ” (MSK) egy teljesen felügyelt szolgáltatás, amelyet valós idejű adatfolyam-folyamatok építésére használnak. A kiszámíthatatlan és ismeretlen munkaterhelések esetén azonban a platform bevezeti az Amazon MSK szerver nélküli alkalmazást:
Kafka alapfogalmai
Az alábbiakban megemlítünk Kafka néhány alapfogalmát:
Sor : Mechanizmust biztosít aszinkron üzenetek küldésére és fogadására, és szolgáltatás-szolgáltatás közötti kommunikációt kínál:
PubSub : Ez egy aszinkron üzenetküldő szolgáltatás, ami azt jelenti, hogy segít a felhasználónak adatfolyamok küldésében, fogadásában és szűrésében:
A Kinesis ugyanaz, mint Kafka?
Az Apache Kafka egy nyílt forráskódú PubSub üzenetküldő megoldás, a Kinesis pedig a Kafka mintájára kialakított felügyelt AWS-szolgáltatás. Az MSK partíciókban tárolja az adatok kulcsértékeit (Topics), a Kinesis pedig az adatrekordokat a Shards-ban. Mind a Kinesist, mind a Kafkát úgy tervezték, hogy majdnem ugyanazokat a szolgáltatásokat nyújtsák, de a különbség a kifúvódás koncepciójában rejlik.
Következtetés
Összefoglalva, az AWS Kinesis és a Kafka szolgáltatásait úgy tervezték, hogy olyan tevékenységeket hajtsanak végre, mint például a nagy átviteli sebesség és az alacsony késleltetésű munkaterhelés. A Kinesis-t nagy adatok kezelésére használják streaming és adattárolás segítségével az AWS tárolási szolgáltatásokon. Az Amazon MSK egy PubSub üzenetküldő szolgáltatás, amely sorbanállási mechanizmust is használ.