menu
arrow_back

EMR File System Client-side Encryption Using AWS KMS-managed Keys (日本語版)

EMR File System Client-side Encryption Using AWS KMS-managed Keys (日本語版)

時間 10クレジット

SPL-148 – バージョン 1.1.4

© 2019 Amazon Web Services, Inc. and its affiliates.All rights reserved.
このトレーニング内容の全体または一部を複製または再配布することは、Amazon Web Services, Inc. の書面による事前の許可がある場合を除き、禁じられています。商業目的のコピー、貸与、または販売を禁止します。

記載ミスまたは修正点がある場合、aws-course-feedback@amazon.com まで E メールを送信してください。

その他の質問については、https://aws.amazon.com/contact-us/aws-training/ までお問い合わせください。

ラボの概要

このラボでは、EMR File System (EMRFS) を使用して Amazon S3 に保存されるデータに対して、AWS KMS で管理されたキーを使用してクライアント側の保管時の暗号化を有効にします。Amazon EMR を使用して、セキュリティ設定を作成し、S3 に書き込まれるオブジェクトに対して、指定した AWS KMS で管理されたキーを用いてクライアント側の暗号化を実行し、暗号化に使用したキーと同じキーを使用してオブジェクトを復号します。これにより、Amazon EMR で Apache Spark、Apache Tez、Apache Hadoop MapReduce のようなフレームワークを簡単に活用できるようになり、ビッグデータ分析、ストリーム処理、機械学習、機密情報の ETL ワークロードを実行できます。

取り上げるトピック

このラボでは、以下の方法のデモンストレーションを行います。

  • Amazon S3 バケットを作成する
  • AWS KMS を使用してキーを作成する
  • セキュリティ設定を EMR に作成して AWS KMS で管理されたキーを使用したクライアント側の暗号化を有効にする
  • AWS マネジメントコンソールを使用して AWS Elastic Map Reduce (EMR) クラスターを起動する
  • AWS EMR File System (EMRFS) を使用して S3 との間でオブジェクトの読み書きを行う
  • EMR の出力データを Amazon S3 から直接確認する

技術知識の前提条件

このラボを修了するには、Hadoop と Hadoop File System (HDFS) の基本的な知識が必要です。

Linux サーバー管理に関する基本的な知識があり、Linux コマンドラインツールを使用できることも必要です。また、SSH(OS X または Linux クライアントから)や PuTTY(Windows クライアントから)などを使用して、Linux インスタンスに接続できる必要があります。

その他の AWS のサービス

このラボで必要としない AWS のサービスは、このラボにアクセスしている間、IAM ポリシーによって無効にされています。さらに、このラボで使用されるサービスの機能はラボに必要なものに限定されており、場合によってはラボの設計の観点から意図的にさらに制限されています。このラボガイドに指定されていないサービスを使用したりアクションを実行したりするとエラーが発生することがあります。

Amazon EMR とは

Amazon EMR は、大量のデータを迅速かつコスト効率の良い方法で簡単に処理するためのウェブサービスです。Amazon EMR では、動的にスケーラブルな Amazon EC2 インスタンス間で大量のデータを配信および処理するために、簡単で迅速かつコスト効率の良いマネージド型の Hadoop フレームワークを提供することにより、ビッグデータの処理を簡略化します。また、Apache Spark や Presto などの一般的な他の分散フレームワークを Amazon EMR で実行したり、Amazon S3 や Amazon DynamoDB などの他の AWS データストア内でデータを操作したりできます。Amazon EMR では、ログ分析、ウェブインデックス作成、データウェアハウス、機械学習、財務分析、科学シミュレーション、バイオインフォマティクスなど、ビッグデータのユースケースを安全かつ信頼性の高い方法で処理できます。

EMRFS とは

EMRFS は、通常のファイルを Amazon EMR から Amazon S3 に対して直接読み書きするために使用される HDFS の実装です。EMRFS では、Hadoop で使用するために Amazon S3 に永続的なデータを保存できるといる利便性を保ちながら、さらに Amazon S3 のサーバー側の暗号化、書き込み後の読み取りの整合性、リストの整合性といった機能も提供します。

AWS KMS とは

AWS Key Management Service (KMS) は、データの暗号化に使用する暗号化キーの作成や制御を簡単にし、ハードウェアセキュリティモジュール(HSM)を使用してキーのセキュリティを保護するマネージドサービスです。AWS Key Management Service は他のいくつかの AWS のサービスと統合されているため、そのようなサービスを使用して保存するデータを保護できます。また AWS Key Management Service は AWS CloudTrail とも統合されており、すべてのキーの使用ログを表示できるため、規制およびコンプライアンスの要求に応えるために役立ちます。

Amazon S3 とは

Amazon Simple Storage Service (Amazon S3) により、開発者と IT チームは、安全性と耐久性を備えた高度にスケーラブルなクラウドストレージを利用できます。Amazon S3 は、シンプルなウェブサービスインターフェイスを使用して、ウェブのどこからでも必要な量のデータを保存および取得できる使いやすいオブジェクトストレージです。Amazon S3 では、使用したストレージの分しか料金は発生しません。AWS クラウドにおいて、Amazon S3 は、Amazon EMR を使用したビッグデータ分析向けの大規模データを保存するために実装するデータレイクとして有力な候補です。

Amazon EMR のセキュリティ設定とは

セキュリティ設定を使用すると、保管時のデータ、転送中のデータ、またはその両方を暗号化できます。各セキュリティ設定は、クラスターの設定オブジェクトではなく Amazon EMR に保存されるため、クラスターを作成するときはいつでも設定を再利用して暗号化設定を指定できます。

SSH を使用して EMR マスターノードに接続する方法

Secure Shell (SSH) は、リモートコンピュータに安全な接続を作成するために使用できるネットワークプロトコルです。接続を作成すると、ローカルコンピュータ上のターミナルがリモートコンピュータ上で実行されているかのように動作します。AWS で SSH を使用する場合、EC2 インスタンスに接続されています。これは、クラウド上で実行されている仮想サーバーです。Amazon EMR を操作する場合、クラスターのマスターノードとして機能する EC2 インスタンスに接続することが最も一般的な SSH の使用方法です。マスターノードでの Linux コマンドの発行、Hive や Pig のようなアプリケーションのインタラクティブな実行、ディレクトリの参照、ログファイルの読み込みなどを実行できます。また、SSH 接続にトンネルを作成し、マスターノードでホストされているウェブインターフェイスを表示できます。

ラボを開始する

ラボタイトルの下に表示されるラボのプロパティを確認します。

  • セットアップ: ラボ環境のセットアップにかかる予測時間
  • アクセス時間: ラボが自動的にシャットダウンするまでのラボの稼働時間
  • 完了: ラボ終了までにかかる予測時間
  1. [ラボを開始] をクリックして、ラボを起動します。トークンを求められたら、配布されたトークン (または購入したクレジット) を使用してください。

ラボ環境作成の進行状況がステータスバーに表示されます(ラボリソースの作成中でも AWS マネジメントコンソールにアクセスできますが、プロセスが完了するまで AWS リソースを完全には使用できません)。

![](https://s3-us-west-2.amazonaws.com/us-west-2-aws-training/awsu-spl/sts-sign-in-images/media/jp/loading.png)
  1. [コンソールを開く] をクリックして、AWS コンソールに自動的にログインします。

別途指示がない限り、リージョンは変更しないでください。

一般的なログインエラー

エラー: フェデレーションログイン資格情報

このエラーが発生した場合は、次のように実行します。

  • ブラウザのタブを閉じて、ラボの最初のページに戻ります
  • 数秒間そのまま待ちます
  • もう一度、[コンソールを開く] をクリックします

これで AWS マネジメントコンソールが開くはずです。

エラー: ログアウトする必要がある

このエラーが発生した場合は、次のように実行します。

  • [ここをクリックしてください] をクリックします
  • ブラウザのタブを閉じて、ラボの最初のページに戻ります
  • もう一度、[コンソールを開く] をクリックします

Join Qwiklabs to read the rest of this lab...and more!

  • Get temporary access to the Amazon Web Services Console.
  • Over 200 labs from beginner to advanced levels.
  • Bite-sized so you can learn at your own pace.
Join to Start This Lab
home
ホーム
school
カタログ
menu
もっと見る
もっと見る