Rácskeresés MLflow-val

A rácskeresés előnyei

• Automatikus hiperparaméter hangolás: A rácskeresés automatizálja a hiperparaméter-hangolást, amely lehetővé teszi a szisztematikus feltárást manuális próbálkozások és hibák nélkül.
• Reprodukálhatóság: A rácskeresés biztosítja a teszt érvényességét azáltal, hogy reprodukálhatóan megkapja a reprodukálható eredményeket, ami javítja a kommunikációt és a megbízhatóságot.
• Kimerítő keresés: A GS hatékonyan találja meg a modell optimális hiperparamétereit a kombinációk kimerítő keresésével.
• Robusztusság: A rácskeresés egy robusztus technika, amely ellenáll az adatzajnak, ami csökkenti a túlillesztést.
• Egyszerűen használható: A rácskeresés egyszerűen használható és áttekinthető, így életképes módszer a hiperparaméterek hangolására.
• Modell-összehasonlítások: A rácskeresés leegyszerűsíti a modell-összehasonlítást és az értékelési metrikák kiválasztását.

A Grid Search hátrányai

• Számítási költség: A rácskeresés számításilag költséges nagyszámú hiperparaméter hangolásához.
• Időigényes: Az összetett hiperparaméter-beállítások időigényesek.
• Nem mindig szükséges: Most már mindig szükséges; A véletlenszerű keresés a legjobb alternatíva.

Példa: Az egyetemi felvételi rendszer legjobb modellbeállításainak megkeresése

Nézzünk meg egy rácskeresési példát a hiperparaméterek hangolására egy online egyetemi felvételi rendszer keretein belül. Ebben a példában a scikit-learn és az egyszerű Gradient Boosting Classifier (GBC) osztályozót használjuk annak előrejelzésére, hogy a hallgató milyen valószínűséggel kerül felvételre az egyetemre olyan tényezők alapján, mint a GPA-pontok, a SAT-pontszámok, az ACT-pontszámok és a tanórán kívüli tevékenységek. A GBC helyett több lehetőség is rendelkezésre áll a rácskereséshez, beleértve a logisztikai regressziót (LR), az SVM-et (Support Vector Machine) stb.

Véletlenszerű adatokat generál az online felvételi rendszerhez az MLflow segítségével a rácskereséshez

A Python Pandái és véletlenszerű csomagjai használhatók fiktív adatkészlet létrehozására a felvételi rendszer számára. Az APP_NO, a GPA, a SAT pontszám, az ACT pontszám, a tanórán kívüli tevékenységek és a felvételi állapot oszlopok véletlenszerű értékeivel ez a kód szintetikus felvételi adatkészletet generál. A num_students változó szabályozza, hogy hány sor legyen az adatkészletben.

A felvételi státusz véletlenszerűen van beállítva 70%-os elfogadási arány alapján, és a véletlenszerű modul segítségével véletlenszerű értékeket állítanak elő több oszlophoz. Demonstrációs célból a következő kódrészlet véletlenszerű értékekkel hamis belépési adatkészletet hoz létre, és elmenti az std_admission_dataset.csv fájlba:

Kódrészlet:

Kód végrehajtása:

A Python paranccsal fordítsa le a kódot, majd a pip paranccsal telepítsen egy adott modult, ha modulhibát észlel. Használja a pip3 install parancsot az adott könyvtár telepítéséhez, ha a Python 3.X vagy magasabb verziójú.

Sikeres végrehajtás:

Mintaadatok képernyőképe:

1. lépés: Importálja a könyvtárakat

• Az MLflow könyvtár a gépi tanulási kísérletek nyomon követéséhez
• A Pandas könyvtár az adatfeldolgozás és -elemzés kezeléséhez, valamint az mlflow.sklearn csomag a Scikit-Learn modellek integrálásához
• A negyedik sor a „figyelmeztetések” könyvtárat importálja, hogy elnyomja a hibákat
• A ParameterGrid osztály rácskereséshez a sklearn.model_selection modulban
• GridSearchCV és GradientBoostingClassifier a sklearn.model_selection és ensemble oldalról a rácskereséshez és a gradiensnövelő osztályozó modellekhez
• Az accuracy_score és classification_report függvények a sklearn.metrics modulból a modell pontosságának kiszámításához és osztályozási jelentések generálásához
• A kód importálja az operációs rendszer modult, és csendesre állítja a GIT_PYTHON_REFRESH környezeti változót.

Kódrészlet:

2. lépés: Állítsa be a nyomkövetési URI-t

Az MLflow szerver nyomkövetési URI-jét az mlflow.set_tracking_uri() függvény segítségével állítjuk be, biztosítva a helyi gépet az 5000-es porton a kísérletekhez és a modellekhez.

3. lépés: Töltse be és készítse elő a felvételi adatkészletet

Importálja a Pandas könyvtárat panda_obj néven az adatok kezeléséhez és elemzéséhez. A read_csv() függvényt alkalmazza a belépési adatkészlet betöltésére. Az adatkészlet elérési útja az egyetlen argumentum, amelyre a read_csv() függvénynek szüksége van. Az adatkészlet elérési útja ebben a példányban a std_admission_dataset.csv. A read_csv() függvény használatával az adatkészlet betöltődik egy Pandas DataFrame-be.

A kód először eltávolítja az Admission_Status oszlopot az std_admissions_data DataFrame-ből. Mivel ez az oszlop tartalmazza a célváltozót, nincs szükség előfeldolgozásra.

Ezután a kód két új változót hoz létre: „F” és „t”. A jellemzőket az „F” változó, míg a célváltozót a „t” változó tartalmazza.

Az adatokat ezután tesztelési és képzési készletekbe osztják fel. Ez a sklearn.model_selection csomag tts() függvényével érhető el. A jellemzők, a célváltozó, a tesztméret és a véletlenszerű állapot az a négy argumentum, amelyekre a tts() függvénynek szüksége van. A test_size paraméter meghatározza az adatok tesztcélokra felhasznált részét. Mivel a teszt mérete ebben az esetben 0,2, az adatok 20%-a lesz felhasználva a teszthez.

A random_state beállítás megadja a véletlenszám-generátor magját. Ez azért történik, hogy az adatok véletlenszerűen legyenek szétválasztva. A képzési és tesztelési készletek most az F_training, F_testing, t_training és t_testing változókban vannak tárolva. Ezek a készletek a gépi tanulási modellek értékelésére és betanítására használhatók.

Kódrészlet:

4. lépés: Állítsa be az MLflow kísérlet nevét

5. lépés: Határozza meg a Gradient Boosting Classifier-t

A gradiensnövelő osztályozó modell most a gbc_obj változóban van tárolva. A felvételi adatkészlet felhasználható ennek a modellnek a tesztelésére és betanítására. A random_state argumentum értéke 42. Ez garantálja, hogy a modell pontosan ugyanazt a véletlenszám-generátor magját használja, amely megismételhetővé teszi az eredményeket.

6. lépés: Határozza meg a hiperparaméter-rácsot

A kód először létrehozza a param_grid szótárt. A rácskereséssel beállított hiperparamétereket ez a szótár tartalmazza. Három kulcs alkotja a param_grid szótárat: n_estimators, learning_rate és max_depth. Ezek a gradiensnövelő osztályozó modell hiperparaméterei. A modellben lévő fák számát az n_estimators hiperparaméter határozza meg. A modell tanulási sebességét a learning_rate hiperparaméter határozza meg. A max_depth hiperparaméter határozza meg a modell fáinak lehető legnagyobb mélységét.

Kódrészlet:

7. lépés: Végezze el a rácskeresést az MLflow Tracking segítségével

A kód ezután ismétlődik a param_grid szótárban. A szótárban található minden egyes hiperparaméter-készlet esetében a kód a következőket teszi:

• Új MLflow futtatást indít el
• Listává alakítja a hiperparamétereket, ha még nem listák
• Naplózza a hiperparamétereket az MLflow-ba
• Betanít egy rácskeresési modellt a megadott hiperparaméterekkel
• Lekéri a legjobb modellt a rácskeresésből
• Előrejelzéseket készít a legjobb modellben működő tesztelési adatokról
• Kiszámítja a modell pontosságát
• Kinyomtatja a hiperparamétereket, a pontosságot és az osztályozási jelentést
• Naplózza a pontosságot és a modellt az MLflow-ba

Kódrészlet:

8. lépés: Futtassa a programot Python használatával

Íme a kimenet az MLflow szerveren:

Következtetés

Az MLflow rácskereső eszköze automatizálja a módosítást, az eredmények nyomon követését és a hiperparaméterek módosítását a gépi tanulási modellekben. Segít meghatározni az ideális hiperparamétereket és biztosítja a megbízható eredményeket, de számításilag költséges lehet kiterjedt hiperparaméteres kísérleteknél.