Ez az útmutató elmagyarázza az AWS-ben használt feltérképező robotokat.
Mik azok a listafeltérképező robotok az AWS-ben?
A Crawler az AWS Glue egyik összetevője, amely az adatok helyének feltérképezésére szolgál, és visszavezeti ezeket az információkat a katalógusba. A bejáró által gyűjtött információk lehetnek az adatok adattípusai, a sémastruktúra, vagy más szavakkal, metaadatokat gyűjt. A Crawler az Adatkatalógussal is használható, amely akkor használatos, amikor az adatokat a Glue ökoszisztémán belül mozgatják ETL-feladatok stb. használata közben.
Mi az az Amazon Glue Service?
Az AWS Glue egy Amazon Extract Transform and Load szolgáltatás, amely lehetővé teszi a felhasználó számára az összes adat rendszerezését, lokalizálását, mozgatását és átalakítását. Az AWS Glue kiszolgáló nélküli, mivel a felhasználónak nem kell kiépítenie és konfigurálnia a kiszolgálókat vagy kezelnie az életciklusokat. Az adatkatalógus és a bejárók az AWS Glue összetevői, amely állandó metaadattárként működik:
Hogyan készítsünk bejárót az AWS-en?
Ha bejárót szeretne létrehozni az AWS-n, keresse fel az AWS Glue szolgáltatást az AWS Management Console-ból:
Menj be a ' Bejárók ” oldalon a nevére kattintva a bal oldali panelen:
Kattintson a ' Bejáró létrehozása ” gomb:
Írja be a bejáró nevét, és kattintson a „ Következő ” gomb:
Válassza ki a ragasztótáblák leképezési lehetőségét, és kattintson a „ Adjon hozzá egy forrást ” gombot, hogy adatokat kapjon:
Válassza ki az S3 szolgáltatást, és kattintson a „ Böngésszen az S3-ban ” gombot a forrás helyének megtekintéséhez:
Egyszerűen válassza ki az S3 mappát, és kattintson a „ Választ ” gomb:
Miután a helyet hozzáadta a forráshoz, egyszerűen kattintson a „ Adjon hozzá egy S3 adatforrást ” gomb:
Kattintson a ' Következő ” gomb:
Kattintson a ' Új IAM-szerep létrehozása ” gombot a „ Konfigurálja a biztonsági beállításokat ” szakasz:
Írja be a szerep nevét, és kattintson a „ Teremt ” gomb:
Ezt követően egyszerűen kattintson a „ Következő ” gomb:
Válassza ki a céladatbázist, és írja be a táblához használni kívánt nevet:
A bejáró ütemezése a következőre Igény szerint ” és kattintson a „ Következő ” gomb:
Tekintse át a konfigurációt, és kattintson a „ Bejáró létrehozása ” gomb:
A bejáró sikeresen létrejött, és a „ Fuss ” gomb:
Ennyi az AWS listafeltérképezőiről.
Következtetés
A ListCrawler az AWS Glue szolgáltatás összetevője, amely felhasználható a forrásokból származó információk feltérképezésére és a katalógushoz való visszatérésre. Adatkatalógusok és bejárók használhatók adatok gyűjtésére, hogy információkat szerezzenek az adatokról, amelyeket metaadatoknak nevezünk. A felhasználó létrehozhat egy bejárót az AWS Glue-ból, hogy adatokat kapjon az S3 szolgáltatásból vagy más forrásokból, és létrehozhat táblázatokat az adatbázisban. Ez az útmutató ismerteti az AWS ListCrawlereket és azok létrehozását.