役割ベースの認証資格でさらなる道を切り開きます。 Certify with Confidence 合格のチャンスを与えます。

試験
70-775

Microsoft Azure

  • 配信開始:
    2017年2月22日
  • 言語:
    英語
  • 対象者:
    データ科学者
  • テクノロジ:
    Azure HDInsight
  • 対応資格:
    MCSA、MCSE

データエンジニアリングをMicrosoft Azure HDInsight で行う

この試験は 2019 年 6 月 30 日に廃止されます。代替試験を受けることができます。詳細については、当社のブログをご覧ください。https://www.microsoft.com/en-us/learning/community.aspx そして試験の廃止に関する投稿を確認ください。

* 価格には、Microsoft Imagine Academy プログラム メンバー、マイクロソフト認定トレーナー、およびマイクロソフト パートナー ネットワーク プログラム メンバー向けのプロモーション内容や価格割引は反映されません。価格は予告なく変更されることがあります。価格には適用される税は含まれていません。試験の予約をする前に、試験提供者に正確な価格をご確認ください。

2017年5月1日より、既存のキャンセポリシーが次のポリシーに全て置き換わります、 ポリシー:登録した試験日より5営業日以内のキャンセルもしくは日程変更には料金がかかりますスケジュールされていたアポイントメント時より24時間以内に現れなかった、もしくはキャンセルしたか日程変更した場合、全額がかかります。

スキルの評価

この試験では、次の一覧に示す技術タスクを遂行する能力を評価します。マイクロソフト試験の variety of question types について、ビデオ チュートリアルを参照してください。

箇条書きテキストで記述されているトピックに関する質問が出題されますが、これらに限定されるものではないことに注意してください。

この試験で評価されるスキルの妥当性に関するフィードバックをご提供いただける方は、マイクロソフトまでコメントをお送りください。すべてのフィードバックは確認されており、認定資格プロセスの有効性および信頼性を依然として維持しながら、必要に応じて反映されます。マイクロソフトからは、皆様のフィードバックに直接返信されないことにご注意ください。マイクロソフト認定資格プログラムの品質確保のために、皆様からのご意見をお待ちしております。

試験に特定の質問がある場合は、提出してください exam challenge

マイクロソフト認定資格試験のフィードバック、その他の認定資格プログラム、登録、プロモーションや質問がある場合は連絡してください Regional Service Center

HDInsight Clusters の提供と管理
  • HDInsight クラスタの実装
    • プライベート仮想ネットワークにクラスタを作成する。カスタム メタストアのあるクラスタを作成する。ドメインに参加したクラスタを作成する。ワークロードを考慮してそれに基づいた適切なクラスのタイプを選択する。スクリプト アクションを使用してクラスタをカスタマイズする。Portalを使用してクラスタを準備する。Azure CLI ツールを使用してクラスタを準備する。Azure Resource Manager (ARM) テンプレートと PowerShell を使用してクラスタを準備する。管理対象ディスクを管理する。vNet ピアリングを設定する
  • マルチユーザ HDInsight クラスタの実装と保護
    • 異なる役割を持つユーザを準備する。Apache Ambari、PowerShell、Apache Ranger を使用してユーザ、グループ、権限を管理する。Kerberos を設定する。サービスアカウントを設定する。SSH トンネリングを導入する。データへのアクセスを制限する
  • バッチ処理と対話型処理のためのデータを取り込む
    • Cloudまたはオンプレミスデータからデータを取込む。Azure Data Lake にデータを格納する。Azure Blob Storage にデータを格納する。Azure CLI ツールを使用して定期的な書き込みを行う。Apache Sqoop、Application Development Framework (ADF)、AzCopy、AdlCopy を使用してApache Hive や Apache Spark にデータを取込む。オンプレミス Hadoop クラスタよりデータを取込む
  • HDInsight クラスタの設定
    • メタストアのアップグレードを管理する。Ambari 構成グループの表示及び編集をする。Ambari を介してサービス構成の表示及び編集をする。Azure Table ストレージに書き込まれたログにアクセスする。Hadoop サービスのヒープダンプを有効にする。HDInsight 構成を管理する。HDInsight .NET SDK PowerShell を使用する。クラスタレベルのデバッグをする。Ambari を介してサービスの停止と開始をする。Ambari アラートとメトリックを管理する
  • HDInsight ジョブの管理とデバッグ
    • YARN のアーキテクチャと操作について説明する。 ResourceManager の UI を使って YARN ジョブを調べ、実行中のアプリケーションを見直す。 YARN CLI を使用してジョブを強制終了する。 様々な種類のジョブのログを検索する。 Hadoop と Spark のジョブをデバッグする。 Azure Operations Management Suite (OMS) を使用してアラートを監視および管理し、予測アクションを実行する
ビッグデータバッチ処理ソリューションの実装
  • Hive と Apache Pig でバッチ ソリューションを実装する
    • 外部 Hive テーブルを定義する。 データをハイブ テーブルにロードする。 Hive のパフォーマンスを向上させるためにパーティショニングとバケットを使用する。 XML や JSON などの半構造化ファイルを Hive で使用する。 シャッフル結合とブロードキャスト結合を使用して Hive でテーブルを結合する。 Java と Python で Hive UDF を起動する。 Pig でスクリプトをデザインする。 Hive クエリグラフを使用してクエリのボトルネックを特定する。 Apache Parquet、ORC、Text、JSON などの適切なストレージ形式を特定する
  • Spark を使用してビッグデータ用のバッチ ETL ソリューションを設計する
    • YARN キューとプリエンプションを使用して Spark アプリケーション間でリソースを共有する。パフォーマンスを最適化するために Spark エグゼキュータとドライバの設定を選択する。パーティション化とバケットを使用して Spark のパフォーマンスを向上させる。外部 Spark データソースに接続する。Spark DataSets プログラムにカスタム Python と Scala コードを組み込む。 Spark SQL クエリグラフを使用したクエリのボトルネックを特定する
  • Hadoop と Spark を操作可能にする
    • ADF を使用してクラスタを作成およびカスタマイズする。 クラスタにストレージを接続し、ADF アクティビティを実行する。 持参しているクラスターとオンデマンド クラスターを選択する。 HDInsight で Apache Oozie を使用する。 Oozie か ADF を選択する。 Hive クラスタ と Spark クラスタ間でメタストアとストレージアカウントを共有して、クラスタタイプ間で同じテーブルを有効にする。 Blob ストレージ、Azure Data Lake、ローカル Hadoop 分散ファイルシステム (HDFS) などのデータパイプラインの適切なストレージタイプを選択をする
ビッグデータインタラクティブ処理ソリューションの実装
  • Spark SQL を使用してビッグデータのインタラクティブなクエリを実装
    • Spark SQL を使用してクエリを実行する。反復クエリの Spark DataFrames をキャッシュする。Spark DataFrames の Parquet ファイルを保存する。BI ツールを Spark クラスタへ接続する。ブロードキャスト対結合などの結合タイプを最適化する。Spark Thrift サーバを管理する。YARN リソース割り当てを変更する。 インタラクティブ クエリのさまざまなストレージタイプの使用事例を特定する
  • Spark SQL を使用して探索的データ分析を実行する
    • Jupyter と Apache Zeppelin を使用してモデリングのための Spark DataFrames を可視化する。Spark SQL の 2 つのテーブルの結合を使用して DataFrames とキャッシュ結果をマージする。細かい Spark DataFrames を読んで分析するためのパフォーマンス形式に保存する(Apache Parquet)。インタラクティブな Livy セッションとそのリソースを管理する
  • Interactive Hive を使用してビッグデータのインタラクティブ クエリを実装する
    • Hive LLAP を Hive 設定で有効にする。Hive LLAP ジョブのメモリ割り当てを管理および設定する。BI ツールを Interactive Hive クラスタに接続する
  • Hive を使用して探索的データ分析を実行する
    • インタラクティブなクエリと視覚化を実行する。Ambari Views を使用する。HiveQL を使用する。Hive で CSV ファイルを解析する。キャッシュ用に ORC と Text を使用する。Hive で内部テーブルと外部テーブルを使用する。Zeppelin によりデータを視覚化する
  • HBaseのApache Phoenix を使用して対話処理を実行する
    • HDInsight で Phoenix を使用する。 Phoenix 文法をクエリに使用する。 トランザクション、ユーザー定義関数、および 2 次索引を設定する。 Phoenix のパフォーマンスを特定して最適化する。 インタラクティブな処理のために HBase の Hive、Spark、Phoenix を選択する。 Hive クラスタと Spark クラスタ間でメタストアをいつ共有するかを識別する
ビッグデータのリアルタイム処理ソリューションの実装
  • DStream API を使用して Spark ストリーミング アプリケーションを作成する
    • DStream を定義して Resilient Distributed Dataset (RDD) と比較する。ストリーミング アプリケーションを開始および停止する。DStream (flatMap、reduceByKey、UpdateStateByKeyz) を変換する。HBase および SQL で長期データストアを永続化する。Long Term Data Azure Data Lake および Azure Blob ストレージで持続する。Apache Kafka または Event Hub からのデータをストリームする。PowerBI リアルタイム ダッシュボードでのストリーミング データを視覚化する
  • Spark 構造化ストリーミング アプリケーションの作成
    • ストリーミング データフレームとデータセットを作成するために、DataFrames と DataSets API を使用する。 イベント時間にウィンドウ操作を作成する。 ステートフル オペレーションとステートレス オペレーションのためのウィンドウ トランス フォーメーションを定義する。 ストリーミング データを要約するためのウィンドウ関数、キーによる縮小、およびウィンドウをストリーミングする。 長期データ HBase と SQL を持続する。 Long Term Data Azure データレイクと Azure ブロブストレージを持続する。 Kafka または Event Hub からのデータ ストリーミングを実行する。 PowerBI リアルタイム ダッシュボードでストリーミング データを視覚化する
  • Apache Storm でビッグデータのリアルタイム処理ソリューションを開発する
    • リアルタイム ジョブ用の Storm クラスタを作成する。長期データ HBase と SQL を永続化する。長期 Data Azure Data Lake と Azure Blob Storage を永続化する。Kafka または Event Hub からのデータのストリーム配信を行う。Storm でのイベント ウィンドウを設定する。PowerBI リアルタイムでのストリーミング データを可視化する。ストーム トポロジを定義づけ、Storm Computation Graph Architectureを説明する。ストーム ストリームを作成し、ストリーミング ジョインを実行する。テスト用ローカルモードでストーム トポロジを実行する。ストーム アプリケーション(ワーカ、デバッグモード)を構成する。ストリーム グループを実行してコンポーネント間でタプルをブロードキャストする。 ストーム ジョブのデバッグと監視を実行する
  • Kafka を使用するソリューションの構築
    • 仮想ネットワークに Spark および Storm クラスタを作成する。パーティションを管理する。MirrorMaker を設定する。Ambari を介してサービスを開始および停止しする。トピックを管理する
  • HBase を使用するソリューションの構築
    • HDInsight の HBase 使用事例を特定する。HBase Shell を使用してアップデートを作成して HBase テーブルをドロップする。HBase クラスタを監視する。HBase クラスタのパフォーマンスを最適化する。リアルタイム データの分析に Phoenix を使用するユースケースを特定する。HBase で複製を実装する

試験対策

オンライントレーニング
インストラクター指導のトレーニング
書籍

試験参照70-775 Microsoft Azure HDInsightでデータエンジニアリングを実行する
公開:2018年4月24日

Microsoftから直接、この試験参照は、Microsoft Azure HDInsight認定試験でMicrosoft 70-775 Perform Data Engineeringの公式な学習ガイドです。Exam Ref 70-775 Microsoft Azureでデータエンジニアリングを実行するHDInsightは、候補者が試験のパフォーマンスを最大限に引き出し、職場でのスキルを向上させるためのプロレベルの準備を提供します。現代の IT プロフェッショナルが HDInsight クラスタを管理および提供し、HDInsight を使用して効果的な Big Data 処理ソリューションを実装するために必要な、専門知識の特定の分野に焦点を当てています。

Microsoft Press Store で、この書籍を購入

Microsoft Pressの書籍およびeBookは、書籍の発行日の 90 日以内に予約注文することができます。

演習テスト

Take a Microsoft Official Practice Test for exam 70-775

2017 年 4 月より順次、スペイン語、中国語(簡字体),中国語(繁字体)、フランス語、ドイツ語、日本語、ポルトガル語(ブラジル)、ロシア語を含む複数の言語にて、実践テストが可能となります。この実践テストにおいて、特定の言語がいつ提供されるのかについては、前のページをチェックしてください。

受験対象者

この認定試験は、HDInsightでビッグデータエンジニアリングのワークフローを実装するデータエンジニア、データアーキテクト、データサイエンティスト、およびデータ開発者を対象としています。この試験の受験者は、ビッグ データ分析ソリューションに関連した実務経験を有する方を対象としています。

受験者は、バッチデータ処理、リアルタイム処理、インタラクティブ処理の機能と能力にも精通している必要があります。

この試験を受験する候補者は、Microsoft Cloudエコシステムを適用して、大規模なデータエンジニアリングワークフローを設計および実装し、戦略的な付加価値のためにオープンソーステクノロジを使用できることが求められます。

試験に関する追加情報

試験のための準備

試験のスケジュールを検討する際は、この試験準備ガイド全体を確認し、 Web サイト上のリソースをよく理解することをお勧めします。次の を参照して、 Microsoft Certification exam overview 登録、よくある問題形式の動画、その他の準備リソースをご参照下さい。試験方針や採点については、次を参照 Microsoft Certification exam policies and FAQs

注意

この準備ガイドは、Microsoft の判断に従っていつでも予告なく変更されることがあります。マイクロソフトの試験には、適応型テストの技術およびシミュレーション アイテムが含まれる場合があります。試験の提供形式は特定しません。試験の形式に関係なく、準備にはこの準備ガイドを使用してください。この試験の準備に役立つよう、Microsoft はこの製品に関する実地経験を積むこと、および指定されたトレーニング リソースを使用することをお勧めします。これらのトレーニング リソースは、「スキルの評価」 セクションの一覧に示されたトピックすべてに必ずしも対応しているわけではありません。