GoogleやFacebookも使っている大規模データの集中処理を安価に――東大特任講師のセミナーをDVD化

大規模データの収集や処理を高速かつ安価に実現できるHadoop。東大特任講師の清田陽司氏らリッテルのスタッフが行ったセミナーの内容がDVD化されました。日本企業がHadoopを導入するにあたっての問題点や、補足するべき内容を日本語で解説しています。

» 2010年12月13日 15時00分 公開
[PR/Business Media 誠]
PR

 「事業規模が大きくなり、業務処理量が増え続けたので、従来のシステムの能力では限界です。最も大きな課題は、夜間バッチ処理が夜間では終わらなくなってしまって……」

 「夜間バッチ処理にはいつも7〜8時間くらいはかかってます。トランザクション件数が多い日などは、始業時刻になっても処理が終わらず昼過ぎまでかかることも……」

 「データが多い時は『1回で大量オーダーはしない』『バッチ処理中はほかの処理をしない』など、システムの性能不足をユーザー側の運用でなんとかしのいでいます……」

 こんな悩みを抱いたことのあるシステム管理者は少なくないでしょう。しかし、「Hadoop(はどぅーぷ)」技術を導入すれば、そんな状況を改善できるかもしれません。

Hadoop

グーグルが社内で利用している大規模データ処理システムのアイデアをもとに開発されたオープンソースソフトウエア。大量のデータをバッチ処理する場合などにおいて、複数マシンに分散させることで、高速に処理できる。Yahoo!、Facebookをはじめとする多数の企業が基幹インフラとして採用している。


不足しがちなHadoopの情報を日本語で解説

東京大学情報基盤センター特任講師兼株式会社リッテル最高技術責任者の清田陽司氏

 Hadoopは、その処理能力の高さとコストパフォーマンスにおける潜在能力の高さから、2008年ころからコアな技術者の間で話題になっていました。

 最近になってIT部門関係者の耳にも入るようになり、雑誌でも取り上げられる機会が増えてきましたが、最先端技術のため、国内では参考となる資料やデータが不足しており、実装・稼働させている事例となると、さらに情報が不十分となっています。しかも、米国発の最先端技術であるHadoopですが、システムの信頼性に求められる基準は米国と日本では根本的に異なります。

 そこで株式会社リッテルは2010年6月18日、Hadoopセミナーを開催。東京大学情報基盤センター特任講師兼株式会社リッテル最高技術責任者の清田陽司氏らリッテルのスタッフが、日本企業がHadoopを導入するにあたっての問題点や、補足するべき内容を日本語で解説しました。この度、そのセミナーの内容を収録したDVDを発売しました。

Hadoopの全体像から導入のポイントまでを解説

 DVDは3枚セットで、価格は9万8000円(+送料600円)。DVD1ではHadoopの全体像、エンタープライズでHadoopを利用する際の概論を解説。DVD2とDVD3ではHadoopそのものの解説を収録しています。

DVDに収録しているHadoopセミナーの一部

Keynote 1:Hadoopの全体像(DVD1)

  • Hadoopを直感的に把握するための視点
  • Hadoopが持つ、オープンソースソフトウエアとしてはユニークな2つのシステム
  • Hadoopで用いられている、コストパフォーマンスの良いシステムを作るための戦略
  • Hadoopのマスターサーバがボトルネックにならない理由
  • Hadoopには解決可能なRDBMSの2つの問題点
  • DBがスケールアウトするために必要な要素
  • DB選択の上で重要となる、Active dataとInactive dataとは?
  • Hadoopが威力を発揮するデータ処理の2つの特徴

Keynote 2:エンタープライズにおけるHadoopの利用(DVD1)

  • エンタープライズシステム設計の一般的な10個のチェックポイントと、Hadoopを活用するためのポイント
  • Hadoopでの処理が向いている、データ処理のプロセスでの操作
  • ファイルシステムとしてHDFSに根本的に欠けている機能
  • HDFSがネイティブファイルシステムよりアクセス速度が速くならない理由
  • Hadoopが統計データの処理で大きな威力を発揮する理由
  • ある勘違いをしているために、Hadoop導入が高コストにつながってしまうケース
  • Hadoopで、Namenodeだけが管理している重要な2つの情報
  • Namenodeの脆弱性を補うためにしておくべきこと

Session 1:Hadoopの仕組み、HDFSとMapReduce(DVD2)

  • Hadoopの2つの目的
  • ファイルシステムとしてのHDFSの大きな特徴
  • MapReduceのうち、プログラマが定義できる2つのフェーズと、定義できない1つのフェーズ

Session 2:Hadoopクラスタの構築(DVD2)

  • 仮想マシンを利用する4つのメリット
  • CentOSをセットアップする上での5つのポイント
  • OSインストール後、Hadoopを使うための3つのステップ
  • JDKのインストールの際、Hadoopを正常に動作させるために注意しておくべきこと
  • Hadoop Common(Hadoop Core)をインストールするための3つのステップ
  • Hadoop Commonをインストールする上で、最もはまってしまいやすいポイント
  • Standaloneモード、Pseudo-Distributeモード、Fully-Distributeモードの使い分け
  • Hadoopの設定に必要な5つの設定ファイルと、その設定方法

Session 3:Hadoopの管理ノウハウ(DVD3)

  • HDFSのWebUIでできる5つのこと
  • MapReduceのWebUIでできる2つのこと
  • Secondarynamenodeに関するありがちな勘違いと、Seconarynamenodeの本質的な役割
  • Namenodeの復旧手順
  • Namenodeの障害対策
  • Namenodeの置き換えを自動化する方法
  • Datanodeをリプレースする際、やってはいけないこと
  • 正しいDatanodeの離脱方法

Session 4-1:Hadoopプロジェクトの全貌(DVD3)

  • Hadoopの開発の経緯
  • Hadoopプロジェクトの構成
  • Hadoop Coreが持つ4つの強み
  • Hadoopが将来的に移行するAvroとは?
  • 米Yahoo!社内での解析ジョブの7割はPig Latinで記述されているが、その実行環境であるPigの特徴

Session 4-2 Hadoopとメタ言語(DVD3)

  • Hiveの解説と実演

 膨大なデータを高速に処理できる、リッテルのHadoopソリューション。そのHadoopの仕組みの詳細、既存システムに取り込む方法、ノウハウまで必要な知識を実践的に学べるセミナーです。以下のフォームに必要事項を記入の上、ぜひご購入ください。

HadoopセミナーDVDの内容

HadoopセミナーDVD本編:3枚セット(合計収録時間:5時間)

<<無料特典1>>簡単にHadoop分散環境を構築することができるVMイメージメディアを収録したDVD×2枚

<<無料特典2>>セミナーで使用したパワーポイント形式のデータを収録したCD-ROM×1枚

下記フォームより申し込まれると、返信メールが届きます。返信メールに記載されております振込口座に、5営業日以内に代金をお振込み下さい。代金のお支払いは、口座振込みとさせて頂きます。お客様よりのお振込みを確認したのち配送準備を致しまして、領収書とともに弊社より速やかに商品をお届け致します。なお、領収書の宛名、その他、記載内容にご希望がありましたら、フォームの備考欄にご記入下さい。


商品DVD3枚組×2巻:¥9万8000(税込)

送料:¥600(税込)

合計:¥9万8600円


Copyright © ITmedia, Inc. All Rights Reserved.


提供:株式会社リッテル
アイティメディア営業企画/制作:Business Media 誠 編集部/掲載内容有効期限:2010年12月28日