Az adatok tárolása és kezelése adatbázisokban és adattárházakban mindig is hektikus és problémás feladat volt. Az adatok értelmezéséhez sok erőforrásra és számítási teljesítményre van szükség. Az Amazon Web Services egyablakos megoldást kínál erre a célra. Van egy Amazon Redshift nevű szolgáltatása, amely teljes mértékben kezeli a felhasználók adattárházait.
Ez a cikk részletesen bemutatja az Amazon Redshiftet, valamint annak adattárház-architektúráját. A Redshift adattárház-rendszer architektúrájának összes összetevőjét részletesen ismertetjük.
Mi az Amazon Redshift?
Az IT az Amazon által nyújtott adattárolási szolgáltatás. Hatékonyan kezeli és elemzi a nagy adatkészleteket elemzési és jelentéskészítési célokra. Oszlopos tárolómodellre épül. Vezető csomópont által vezérelt számítási csomópontok klasztereit használja a nagy teljesítményű adatfeldolgozás érdekében.
Különböző forrásokból származó adatokat vesz igénybe, és összegyűjti őket egy adattárház létrehozásához. Különféle szolgáltatásokat kínál, például adatmegosztást és valós idejű elemzést. Az Amazon Redshift funkcióinak és képességeinek megértéséhez tekintse meg az alábbi képet:
Térjünk át az adattárház-rendszer architektúrájára.
Mi az Amazon Redshift Data Warehouse System Architecture?
Ez a rendszerarchitektúra három fő részből áll. Ezek a részek:
- Tárolás
- Gyorsulás
- Számítás
Értsük meg céljaikat:
Tárolás
A tárolási rész a Redshift által kínált tárolási szolgáltatásokkal foglalkozik. Saját felügyelt tárolási szolgáltatással, valamint S3 vödör opcióval rendelkezik.
Gyorsulás
A gyorsítási rész a használt tárolási szolgáltatástól és az alkalmazott számítási teljesítménytől függ. A Redshift által kezelt tárhely gyorsabb a többi tárolási lehetőséghez képest
Számítás
A számítási rész kizárólag a használatban lévő számítási teljesítménnyel foglalkozik. A számítás fürtökkel történik, és a fürtöknek csomópontjaik vannak. A csomópontoknak viszont vannak szeletei.
Az architektúra összes elemének és összetevőjének jobb megértéséhez tekintse meg az alábbi képet:
Nézzük meg egyenként az összetevőit.
Melyek az Amazon Redshift építészeti összetevői?
A következők az Amazon Redshift építészeti összetevői:
- Klaszterek
- Csomópontok
- Csomópont szeletek
- Tárolás
- Belső hálózat
- Adatbázisok
Beszéljük meg ezeket egyenként:
Klaszterek
A klaszter az alapvető és központi egység. Számos csomópontot tartalmaz. Ha egy fürt több számítási csomópontból áll, akkor egy további vezető csomópont lép fel a számítási csomópontok tevékenységeinek koordinálására és a külső kommunikáció kezelésére.
Csomópontok
A fürtök csomópontjai két típusúak. Ezek:
- Vezető csomópont
- Számítási csomópont
Értsük meg ezeket egyenként:
Vezető csomópont
Kezeli a kommunikációt az ügyfélprogramokkal, és koordinálja a számítási csomópontokkal való interakciókat. A vezető csomópont létfontosságú szerepet játszik az összetett lekérdezések végrehajtásában. A végrehajtási terv alapján állítja össze a kódot, amelyet a számítási csomópontok között osztanak el, és minden egyes számítási csomóponthoz adatrészeket rendel hozzá.
Számítási csomópont
A számítási csomópontok képezik az Amazon Redshift architektúrájának gerincét. Adattárolást és adatfeldolgozást egyaránt végeznek. Ezek dedikált erőforrásokkal rendelkeznek, például memóriával és CPU-val.
Csomópont szeletek
A számítási csomópontok további szeletekre vannak osztva. Ezek a szeletek együtt dolgoznak a hozzárendelt munkaterhelések feldolgozásában, és párhuzamosságot biztosítanak a lekérdezésfeldolgozás javítása érdekében.
Tárolás
Az Amazon Redshift-en belüli adattárolást a „Redshift Managed Storage (RMS)” kezeli. Képes a tárhely önálló méretezésére az „Amazon S3” tároló használatával. Az RMS nagy teljesítményű SSD-alapú helyi tárhelyet használ első szintű gyorsítótárként, amely optimalizálja a teljesítményt.
Belső hálózat
Ez az Amazon Redshift belső hálózata segít a gyors és biztonságos kommunikációban a vezető csomópontok és a számítási csomópontok között. Ez a hálózat nem érhető el közvetlenül az ügyfélalkalmazások számára.
Adatbázisok
A fürtök egy vagy több adatbázissal rendelkeznek. Az ezekből az adatbázisokból származó adatok számítási csomópontokon vannak. Az ügyfélalkalmazások kommunikálnak a vezető csomóponttal. A számítási csomópont kezeli a lekérdezések végrehajtását a számítási csomópontokon keresztül.
Ez az Amazon Redshiftről és annak építészeti elemeiről szól. Ez a cikk átfogóan elmagyarázta az Amazon Redshift működő összetevőit
Következtetés
Az Amazon Redshift architektúrája az oka annak, hogy képességei állnak. A vezető csomópont vezérli és kezeli a számítási csomópontokat, és a csomópontszeletek segítik a párhuzamos feldolgozást. A Redshift Managed Storage SSD-alapú tárhelyet használ a teljesítmény fokozása érdekében. Ez a cikk ismerteti az Amazon Redshift Data Warehouse System Architecture architektúráját.