Category Archives: Hadoop

IBMのDataWorksはApache Sparkによるビッグデータ分析に人工知能Watsonが企業向け利用インタフェイスをまとわせる [ #cloud ]

マシンインテリジェンスの分野は、研究開発が盛んであるだけでなく、より影響力の強い応用現場でも新しいトレンドが生まれつつある。それを好機としてApache Sparkのようなオープンソースのフレームワークは、データサイエンティストのニーズに応えるだけでなく、企業の事業開発にもデータ分析を持ち込もうとしている。

http://jp.techcrunch.com/2016/09/28/20160927ibm-releases-dataworks-to-give-enterprise-data-a-home-and-a-brain/

AWSのElastic MapReduce 5.0.0は16種のHadoop関連プロジェクトをサポートしてビッグデータ処理の実用性を増強 [ #cloud ]

Amazon Web Services(AWS)が今日(米国時間8/2)リリースを発表したElastic MapReduce(EMR) 5.0.0は、16種のHadoop関連プロジェクト(派生プロジェクト)をサポートする。

http://jp.techcrunch.com/2016/08/03/20160802latest-aws-elastic-mapreduce-release-supports-16-hadoop-projects/

Crayの最新のスーパーコンピューターはOpenStackを搭載してオープンソースのビッグデータツールを動かす [ #cloud ]

Crayといえば、スピードとパワーをつねに連想するが、同社の最新の計算怪物Cray Urika-GX systemは、ビッグデータのワークロード専用に設計されている。しかも、そのベースシステムはオープンソースのクラウドプラットホームOpenStackで、その上でビッグデータを処理するHadoopやSparkなどのツールが仕事をする。

http://jp.techcrunch.com/2016/05/24/20160524crays-latest-supercomputer-runs-openstack-and-open-source-big-data-tools/

ビッグデータ技術者のいない中小企業のためにHadoopクラスターを5分で立ち上げるGalactic Exchangeがオープンソースでスタート [ #cbajp ]

Galactic Exchangeというクールな名前の企業が今日(米国時間3/24)ステルス状態を脱(ぬ)けて、そのすばらしいアイデアを披露した。同社の主張によると、同社は Hadoopのクラスターを5分でセットアップし、即、動かせるようにする。複雑で面倒で難しいと言われていたHadoopが、誰にも簡単に使えるようになるのなら、それはすごいことだ。

http://jp.techcrunch.com/2016/03/25/20160324newcomer-galactic-exchange-can-spin-up-a-hadoop-cluster-in-five-minutes/

データを発見しそれらの起源・出自を調べるLinkedInの社内ツールWhereHowsがオープンソース化 [ #cbajp ]

LinkedInが今日(米国時間3/3)、WhereHowsをオープンソース化した。WhereHowsは主に同社の社員が、同社が生成するデータを見つけ、また同社のさまざまな内部的ツールやサービスで使われているデータ集合の出自を調べるために使っている、メタデータツールだ。

http://jp.techcrunch.com/2016/03/04/20160303linkedin-open-sources-its-wherehows-data-discovery-and-lineage-portal/

Hadoopベンダとして5年を超える古参MapRがビッグデータストリーミングで新境地を開拓 [ #cbajp ]

MapR(MapR Technologies)は、オープンソースのHadoopプラットホームを提供する企業のひとつだが、今そんな企業は多いから競争も激しい。今日(米国時間12/8)同社は、資金潤沢なライバルたちに対する差別化努力として*、MapR Streamsという新製品を発表した。〔*: CEOはこの説を否定(後述)。〕

http://jp.techcrunch.com/2015/12/10/20151208mapr-tries-to-separate-from-hadoop-pack-with-new-streams-product/

SparkとHadoopは友だちである、敵ではない [ #cbajp ]

今年の6月はApache Sparkにとってエキサイティングな月だった。San Joseで行われたHadoop Summitで頻繁に話題になっただけでなく、Spark関連のプレゼンテーションも多かった。6月15日にIBMは、Sparkの関連技術に大量の投資をすると発表した。

http://jp.techcrunch.com/2015/07/14/20150712spark-and-hadoop-are-friends-not-foes/