GSP691

Ringkasan

Seperti banyak bidang penelitian machine learning lainnya, reinforcement learning (RL) berkembang dengan sangat cepat. Seperti yang telah mereka lakukan di bidang penelitian lainnya, para peneliti memanfaatkan deep learning untuk mencapai hasil yang hebat.

Di lab ini, Anda akan mempelajari dasar-dasar reinforcement learning dengan membuat game sederhana, yang telah dijadikan model dari sampel yang disediakan oleh OpenAI Gym.

Yang akan Anda pelajari

Di lab ini, Anda akan:

• Memahami konsep dasar reinforcement learning.
• Membuat AI Platform Tensorflow 2.1 Notebook.
• Meng-clone repositori sampel dari repo analisis data pelatihan yang ditemukan di GitHub.
• Membaca, memahami, dan menjalankan langkah-langkah yang ditemukan di notebook.

Penyiapan dan persyaratan

Sebelum mengklik tombol Mulai Lab

Baca petunjuk ini. Lab memiliki timer dan Anda tidak dapat menjedanya. Timer, yang dimulai saat Anda mengklik Start Lab, akan menampilkan durasi ketersediaan resource Google Cloud untuk Anda.

Lab praktik ini dapat Anda gunakan untuk melakukan sendiri aktivitas lab di lingkungan cloud sungguhan, bukan di lingkungan demo atau simulasi. Untuk mengakses lab ini, Anda akan diberi kredensial baru yang bersifat sementara dan dapat digunakan untuk login serta mengakses Google Cloud selama durasi lab.

Untuk menyelesaikan lab ini, Anda memerlukan:

• Akses ke browser internet standar (disarankan browser Chrome).

Catatan: Gunakan jendela Samaran atau browser pribadi untuk menjalankan lab ini. Hal ini akan mencegah konflik antara akun pribadi Anda dan akun Siswa yang dapat menyebabkan tagihan ekstra pada akun pribadi Anda.

• Waktu untuk menyelesaikan lab. Ingat, setelah dimulai, lab tidak dapat dijeda.

Catatan: Jika Anda sudah memiliki project atau akun pribadi Google Cloud, jangan menggunakannya untuk lab ini agar terhindar dari tagihan ekstra pada akun Anda.

Cara memulai lab dan login ke Google Cloud Console

1. Klik tombol Start Lab. Jika Anda perlu membayar lab, jendela pop-up akan terbuka untuk memilih metode pembayaran. Di sebelah kiri adalah panel Lab Details dengan berikut ini:

   • Tombol Open Google Console
   • Waktu tersisa
   • Kredensial sementara yang harus Anda gunakan untuk lab ini
   • Informasi lain, jika diperlukan, untuk menyelesaikan lab ini

2. Klik Open Google Console. Lab akan menjalankan resource, lalu membuka tab lain yang menampilkan halaman Login.

   Tips: Atur tab di jendela terpisah secara berdampingan.

   Catatan: Jika Anda melihat dialog Choose an account, klik Use Another Account.

3. Jika perlu, salin Username dari panel Lab Details dan tempel ke dialog Sign in. Klik Next.

4. Salin Password dari panel Lab Details dan tempel ke dialog Welcome. Klik Next.

   Penting: Anda harus menggunakan kredensial dari panel sebelah kiri. Jangan menggunakan kredensial Google Cloud Skills Boost. Catatan: Menggunakan akun Google Cloud sendiri untuk lab ini dapat dikenai biaya tambahan.

5. Klik halaman berikutnya:

   • Setujui persyaratan dan ketentuan.
   • Jangan tambahkan opsi pemulihan atau autentikasi 2 langkah (karena ini akun sementara).
   • Jangan daftar uji coba gratis.

Setelah beberapa saat, Cloud Console akan terbuka di tab ini.

Catatan: Anda dapat melihat menu dengan daftar Produk dan Layanan Google Cloud dengan mengklik Menu navigasi di kiri atas.

Tugas 1. Reinforcement learning 101

Reinforcement learning (RL) adalah suatu bentuk machine learning di mana agen mengambil tindakan dalam lingkungan untuk memaksimalkan tujuan tertentu (reward) dengan urutan langkah-langkah ini. Tidak seperti teknik pembelajaran tradisional yang diawasi, setiap titik data tidak diberi label dan agen hanya memiliki akses ke reward "sparse".

Meskipun sejarah RL sudah dimulai sejak tahun 1950-an dan ada berbagai macam algoritma RL, ada dua algoritma RL yang mudah diterapkan tetapi andal yang mulai banyak diminati akhir-akhir ini: deep Q-network (DQN) dan deep deterministic policy gradient (DDPG). Kami memperkenalkan algoritma dan varian berdasarkan pada algoritma tersebut secara singkat di bagian ini.

Diagram proses konseptual masalah Reinforcement Learning

Deep Q-network (DQN) diperkenalkan oleh grup Google Deepmind dalam makalah Nature ini di tahun 2015. Didorong oleh keberhasilan deep learning di bidang pengenalan citra, penulis memasukkan deep neural network ke dalam Q-Learning dan menguji algoritma mereka di Atari Game Engine Simulator, yang memiliki dimensi ruang observasi yang sangat besar.

Deep neural network bertindak sebagai aproksimator fungsi yang memprediksi output Q-value, atau keinginan untuk mengambil suatu tindakan, dengan status input tertentu. Oleh sebab itu, DQN adalah metode berbasis nilai: dalam algoritma pelatihan, DQN mengupdate Q-value menurut persamaan Bellman, dan untuk menghindari kesulitan dalam melakukan fitting dengan target bergerak, DQN menggunakan deep neural network kedua yang berfungsi sebagai estimasi nilai target.

Pada praktiknya, model berikut menyoroti file sumber, perintah shell, dan endpoint untuk menjalankan tugas RL di Google Cloud:

Tugas 2. Menyiapkan lingkungan Anda

1. Di konsol Google Cloud, di Navigation menu (), klik Vertex AI > Dashboard.

2. Klik Enable All Recommended APIs.

Tugas 3. Meluncurkan Vertex AI Notebooks

Untuk membuat dan meluncurkan notebook Vertex AI Workbench:

1. Di Navigation Menu , klik Vertex AI > Workbench.

2. Di halaman Workbench, klik Enable Notebooks API (jika belum diaktifkan).

3. Klik tab User-Managed Notebooks lalu klik Create New.

4. Beri nama notebook tersebut.

5. Tetapkan Region ke dan Zone ke .

6. Di menu New instance, pilih versi terbaru TensorFlow Enterprise 2.x di Environment.

7. Klik Advanced Options untuk mengedit properti instance.

8. Klik Machine type lalu pilih e2-standard-2 untuk Machine type.

9. Biarkan kolom lain dalam nilai default-nya, lalu klik Create.

Setelah beberapa menit, halaman Workbench akan mencantumkan instance Anda yang diikuti dengan Open JupyterLab.

10. Klik Open JupyterLab untuk membuka JupyterLab di tab baru. Jika muncul pesan yang bertuliskan "beatrix jupyterlab needs to be included", Anda dapat mengabaikannya.

Klik Check my progress untuk memverifikasi tujuan. Membuat Vertex AI Platform Notebook

Tugas 4. Meng-clone kode contoh

Untuk meng-clone repositori training-data-analyst di instance JupyterLab Anda:

1. Di JupyterLab, klik ikon Terminal untuk membuka terminal baru.

2. Di perintah command-line, ketik perintah berikut, lalu tekan ENTER:

git clone https://github.com/GoogleCloudPlatform/training-data-analyst

3. Untuk mengonfirmasi bahwa Anda telah meng-clone repositori, di panel sebelah kiri, klik dua kali folder training-data-analyst untuk melihat kontennya.

4. Dari menu sebelah kiri, pilih training-data-analyst> quests> rl > early_rl > early_rl.ipynb. Tindakan ini akan membuka tab baru.

Klik Periksa progres saya untuk memverifikasi tujuan. Meng-clone kode contoh

Tugas 5. Menjalankan melalui notebook

Tab baru Anda akan terlihat seperti berikut ini:

1. Baca notebook berikut dan jalankan semua blok kode dengan menekan Shift + Enter.

2. Kembali ke sini setelah Anda menyelesaikan instruksi di notebook.

Selamat!

Di lab ini Anda mempelajari prinsip-prinsip dasar reinforcement learning (RL). Setelah membuat instance Jupyterlab, Anda meng-clone repositori sampel dan menjalankan notebook yang Anda gunakan untuk menerima praktik langsung dengan dasar-dasar reinforcement learning. Anda kini siap mengikuti lab lainnya dalam seri ini.

Selesaikan Quest

Lab mandiri ini adalah bagian dari Qwiklabs Quest Baseline: Data, ML, AI. Quest adalah serangkaian lab terkait yang membentuk jalur pembelajaran. Daftar ke Quest ini dan langsung dapatkan kredit penyelesaian jika Anda sudah mengikuti lab ini.

Sertifikasi dan pelatihan Google Cloud

...membantu Anda mengoptimalkan teknologi Google Cloud. Kelas kami mencakup keterampilan teknis dan praktik terbaik untuk membantu Anda memahami dengan cepat dan melanjutkan proses pembelajaran. Kami menawarkan pelatihan tingkat dasar hingga lanjutan dengan opsi on demand, live, dan virtual untuk menyesuaikan dengan jadwal Anda yang sibuk. Sertifikasi membantu Anda memvalidasi dan membuktikan keterampilan serta keahlian Anda dalam teknologi Google Cloud.

Manual Terakhir Diperbarui pada 27 September 2023

Lab Terakhir Diuji pada 27 September 2023

Hak cipta 2024 Google LLC Semua hak dilindungi undang-undang. Google dan logo Google adalah merek dagang dari Google LLC. Semua nama perusahaan dan produk lain mungkin adalah merek dagang masing-masing perusahaan yang bersangkutan.