GSP691

Opis

Uczenie się przez wzmacnianie (reinforcement learning, RL) to jedna z najszybciej rozwijających się obecnie dziedzin badań nad systemami uczącymi się. We wszystkich tych dziedzinach badacze dokonują przełomowych odkryć, wykorzystując deep learning.

W tym module poznasz podstawy uczenia się przez wzmacnianie, budując prostą grę, której model opracowano na podstawie przykładu dostępnego w pakiecie narzędzi OpenAI Gym.

Czego się nauczysz

W tym module:

• Zapoznasz się z podstawowymi pojęciami dotyczącymi uczenia się przez wzmacnianie.
• Utworzysz notatki w formacie AI Platform Tensorflow 2.1.
• Sklonujesz przykładowe repozytorium analitycznych danych treningowych „training-data-analyst” znajdujące się w GitHub.
• Przeczytasz, zrozumiesz i wykonasz czynności opisane w notatce.

Konfiguracja i wymagania

Zanim klikniesz przycisk Rozpocznij moduł

Zapoznaj się z tymi instrukcjami. Moduły mają limit czasowy i nie można ich zatrzymać. Gdy klikniesz Rozpocznij moduł, na liczniku wyświetli się informacja o tym, na jak długo udostępniamy Ci zasoby Google Cloud.

W tym praktycznym module możesz spróbować swoich sił w wykonywaniu opisywanych działań w prawdziwym środowisku chmury, a nie w jego symulacji lub wersji demonstracyjnej. Otrzymasz nowe, tymczasowe dane logowania, dzięki którym zalogujesz się i uzyskasz dostęp do Google Cloud na czas trwania modułu.

Do ukończenia modułu potrzebne będą:

• dostęp do standardowej przeglądarki internetowej (zalecamy korzystanie z przeglądarki Chrome).

Uwaga: uruchom ten moduł w oknie incognito lub przeglądania prywatnego. Dzięki temu unikniesz konfliktu między swoim kontem osobistym a kontem do nauki, co mogłoby spowodować naliczanie oddatkowych opłat na koncie osobistym.

• Odpowiednia ilość czasu na ukończenie modułu – pamiętaj, że gdy rozpoczniesz, nie możesz go wstrzymać.

Uwaga: jeśli masz już osobiste konto lub projekt w Google Cloud, nie używaj go w tym module, aby uniknąć naliczania opłat na koncie.

Rozpoczynanie modułu i logowanie się w konsoli Google Cloud

1. Kliknij przycisk Rozpocznij moduł. Jeśli moduł jest odpłatny, otworzy się wyskakujące okienko, w którym możesz wybrać formę płatności. Po lewej stronie znajduje się panel Szczegóły modułu z następującymi elementami:

   • przyciskiem Otwórz konsolę Google;
   • czasem, który Ci pozostał;
   • tymczasowymi danymi logowania, których musisz użyć w tym module;
   • innymi informacjami potrzebnymi do ukończenia modułu.

2. Kliknij Otwórz konsolę Google. Moduł uruchomi zasoby, po czym otworzy nową kartę ze stroną logowania.

   Wskazówka: otwórz karty obok siebie w osobnych oknach.

   Uwaga: jeśli pojawi się okno Wybierz konto, kliknij Użyj innego konta.

3. W razie potrzeby skopiuj nazwę użytkownika z panelu Szczegóły modułu i wklej ją w oknie logowania. Kliknij Dalej.

4. Skopiuj hasło z panelu Szczegóły modułu i wklej je w oknie powitania. Kliknij Dalej.

   Ważne: musisz użyć danych logowania z panelu po lewej stronie, a nie danych logowania Google Cloud Skills Boost. Uwaga: korzystanie z własnego konta Google Cloud w tym module może wiązać się z dodatkowymi opłatami.

5. Na kolejnych stronach wykonaj następujące czynności:

   • Zaakceptuj Warunki korzystania z usługi.
   • Nie dodawaj opcji odzyskiwania ani uwierzytelniania dwuskładnikowego (ponieważ konto ma charakter tymczasowy).
   • Nie rejestruj się w bezpłatnych wersjach próbnych.

Poczekaj, aż na karcie otworzy się konsola Google Cloud.

Uwaga: aby wyświetlić menu z listą produktów i usług Google Cloud Console, w lewym górnym rogu kliknij menu nawigacyjne.

Zadanie 1. Podstawy uczenia się przez wzmacnianie

Uczenie się przez wzmacnianie to rodzaj technik stosowanych w systemach uczących się, w których agent podejmuje w środowisku działania prowadzące do zmaksymalizowania danego celu (uzyskania nagrody), wykonując określoną sekwencję kroków. W przeciwieństwie do bardziej tradycyjnych technik uczenia nadzorowanego tutaj poszczególne punkty danych nie mają etykiet, a agent ma dostęp tylko do „rozproszonych” nagród.

Początki uczenia się przez wzmacnianie sięgają lat 50. XX wieku. Istnieje dużo algorytmów dla tej techniki, ale szczególną popularność zyskały obecnie 2 z nich: sieć deep-Q (deep Q-network, DQN) oraz deep deterministic policy gradient (DDPG). Oba są łatwe do wdrożenia, a jednocześnie oferują bardzo duże możliwości. W tej sekcji przedstawimy w skrócie te algorytmy i ich warianty.

Ogólny schemat procesu uczenia się przez wzmacnianie

Algorytm sieci Deep Q (DQN) został zaprezentowany w 2015 roku przez grupę Google DeepMind w tym artykule w czasopiśmie „Nature”. Zachęceni wynikami zastosowania deep learningu w dziedzinie rozpoznawania obrazów autorzy wykorzystali głęboką sieć neuronową w algorytmie Q-Learning i przetestowali swój algorytm w symulatorze mechanizmu gier Atari, w którym liczba wymiarów przestrzeni obserwacji jest bardzo duża.

Głęboka sieć neuronowa działa jak aproksymator funkcji, który prognozuje wynikowe wartości Q lub celowość podjęcia działania w danym stanie wejściowym. DQN jest metodą opartą na wartościach: w algorytmie treningowym DQN aktualizuje wartości Q zgodnie z równaniem Bellmana, a w celu uniknięcia problemów z trafieniem w ruchomy cel wykorzystywana jest druga głęboka sieć neuronowa, która szacuje wartości docelowe.

Model poniżej przedstawia praktyczne informacje o plikach źródłowych, poleceniu powłoki i punkcie końcowym, które są potrzebne do uruchomienia zadania uczenia się przez wzmacnianie w Google Cloud:

Zadanie 2. Konfigurowanie środowiska

1. W konsoli Google Cloud otwórz Menu nawigacyjne (), i kliknij Vertex AI > Panel.

2. Kliknij Włącz wszystkie zalecane interfejsy API.

Zadanie 3. Uruchamianie Notatników Vertex AI

Aby utworzyć i uruchomić notatnik Vertex AI Workbench:

1. W Menu nawigacyjnym  kliknij Vertex AI > Workbench.

2. Na stronie Workbench kliknij Włącz Notebooks API (jeśli ten interfejs nie jest jeszcze włączony).

3. Kliknij kartę Notatniki zarządzane przez użytkownika, a potem kliknij Utwórz nowy.

4. Nadaj notatnikowi nazwę.

5. Ustaw Region jako , a Strefę jako .

6. W menu Nowa instancja, w opcji Środowisko, wybierz najnowszą wersję TensorFlow Enterprise 2.x.

7. Kliknij Opcje zaawansowane, aby wyedytować właściwości instancji.

8. Kliknij Typ maszyny i wybierz e2-standard-2.

9. W pozostałych polach pozostaw domyślne ustawienia i kliknij Utwórz.

Po kilku minutach na stronie Workbench pojawi się Twoja instancja wraz z poleceniem Otwórz JupyterLab.

10. Kliknij Otwórz JupyterLab, aby otworzyć JupyterLab w nowej karcie. Jeśli pojawi się komunikat informujący, że kompilacja musi zawierać beatrix jupyterlab, zignoruj go.

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Utworzenie notatnika platformy Vertex AI

Zadanie 4. Klonowanie przykładowego kodu

Aby skopiować repozytorium training-data-analyst w instancji JupyterLab, wykonaj te czynności:

1. W JupyterLab kliknij ikonę terminala, co spowoduje otwarcie nowego terminala.

2. W wierszu poleceń wpisz następujące polecenie i naciśnij ENTER:

git clone https://github.com/GoogleCloudPlatform/training-data-analyst

3. Aby potwierdzić, że sklonowano repozytorium, w lewym panelu kliknij dwukrotnie folder training-data-analyst, by zobaczyć jego zawartość.

4. W menu po lewej stronie wybierz training-data-analyst > quests > rl > early_rl > early_rl.ipynb. Otworzy się nowa karta.

Kliknij Sprawdź postępy, aby zobaczyć, jak Ci poszło. Sklonowanie przykładowego kodu

Zadanie 5. Uruchamianie notatnika

Twoja nowa karta powinna wyglądać podobnie do tej:

1. Przeczytaj ten notatnik i uruchom wszystkie bloki kodu, naciskając kombinację klawiszy Shift + Enter.

2. Wróć tutaj po wykonaniu instrukcji zawartych w notatce.

Gratulacje!

W tym module przedstawiliśmy podstawowe informacje o technikach uczenia przez wzmacnianie. Po utworzeniu instancji JupyterLab sklonowałeś(-aś) przykładowe repozytorium i uruchomiłeś(-aś) notatnik zawierający praktyczne ćwiczenia z podstaw uczenia się przez wzmacnianie. Możesz teraz przejść do kolejnych modułów z tej serii.

Ukończ kurs

Ten moduł do samodzielnego ukończenia jest częścią kursu Qwiklabs Baseline: Data, ML, AI. Każdy kurs składa się z zestawu powiązanych ze sobą modułów, które razem tworzą ścieżkę szkoleniową. Jeśli zapiszesz się na ten kurs, ukończony dziś moduł zostanie w nim automatycznie zaliczony.

Szkolenia i certyfikaty Google Cloud

…pomogą Ci wykorzystać wszystkie możliwości technologii Google Cloud. Nasze zajęcia obejmują umiejętności techniczne oraz sprawdzone metody, które ułatwią Ci szybką naukę i umożliwią jej kontynuację. Oferujemy szkolenia na poziomach od podstawowego po zaawansowany prowadzone w trybach wirtualnym, na żądanie i na żywo, dzięki czemu możesz dopasować program szkoleń do swojego napiętego harmonogramu. Certyfikaty umożliwią udokumentowanie i potwierdzenie Twoich umiejętności oraz doświadczenia w zakresie technologii Google Cloud.

Ostatnia aktualizacja instrukcji: 27 września 2023 r.

Ostatni test modułu: 27 września 2023 r.

Copyright 2024 Google LLC. Wszelkie prawa zastrzeżone. Google i logo Google są znakami towarowymi Google LLC. Wszelkie inne nazwy firm i produktów mogą być znakami towarowymi odpowiednich podmiotów, z którymi są powiązane.