hadoop對于很多人來說很陌生，可能有部分人在網(wǎng)上了解編程或者是大數(shù)據(jù)課程的時候見過hadoop這個詞，或者是聽別人說起過hadoop，但是對hadoop并了解，也不知道hadoop可以干些什么，下面小編給大家介紹一下hadoop的用途和應用場景。

什么是hadoop？

Hadoop是一個分布式系統(tǒng)基礎架構，用戶可以在不了解分布式底層細節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力進行高速運算和存儲。Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（Hadoop Distributed File System），其中一個組件是HDFS。HDFS有高容錯性的特點，并且設計用來部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求，可以以流的形式訪問（streaming access）文件系統(tǒng)中的數(shù)據(jù)。Hadoop的框架最核心的設計就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，而MapReduce則為海量的數(shù)據(jù)提供了計算 。

hadoop開發(fā)工程師是做什么

簡單的說Hadoop是由java語言編寫的，是大數(shù)據(jù)的核心技術點，學習大數(shù)據(jù)開發(fā)必須要學習hadoop。Hadoop可以用來進行大數(shù)據(jù)存儲、日志處理、機器學習、搜索引擎、數(shù)據(jù)挖掘等，在分布式服務器集群上存儲海量數(shù)據(jù)并運行分布式分析應用的開源框架，其核心部件是HDFS與MapReduce。

HDFS是一個分布式文件系統(tǒng)：引入存放文件元數(shù)據(jù)信息的服務器Namenode和實際存放數(shù)據(jù)的服務器Datanode，對數(shù)據(jù)進行分布式儲存和讀取。 MapReduce是一個計算框架：MapReduce的核心思想是把計算任務分配給集群內的服務器里執(zhí)行。通過對計算任務的拆分（Map計算/Reduce計算）再根據(jù)任務調度器（JobTracker）對任務進行分布式計算。

hadoop應用場景有哪些呢？

像Google這樣的大型互聯(lián)網(wǎng)搜索引擎，以及Yahoo專門的廣告分析系統(tǒng)，也許你會想，Hadoop平臺發(fā)揮作用的領域是互聯(lián)網(wǎng)行業(yè)，用來改善分析性能并提高擴展性。  

深入挖掘你會發(fā)現(xiàn)，Haddop的業(yè)務場景還是比較多的，如下：        

1、在線旅游：目前全球范圍內80%的在線旅游網(wǎng)站都是在使用Cloudera公司提供的Hadoop發(fā)行版。

2、移動數(shù)據(jù)：國外有70%的智能手機數(shù)據(jù)服務都是由Hadoop來支撐的，包括數(shù)據(jù)的存儲和無線運營商的數(shù)據(jù)處理等都，所使用的都是Hadoop技術。

3、電子商務：eBay就是最大的實踐者。

4、能源開采：利用Hadoop進行數(shù)據(jù)的收集和處理

5、節(jié)能：為消費者提供節(jié)約電費的服務，其中對用戶電費單進行了預測分析。

Hadoopp的業(yè)務場景比較多，還有基礎架構管理、圖像處理、詐騙檢測、IT安全、醫(yī)療保健等等，Hadoop未來的前景是非常明亮的，處在DT時代，人工智能和大數(shù)據(jù)的基本知識，一定要知道，我聽朋友說，多智時代這方面的科譜做不的不錯，有時間可以看看。

學hadoop有前景嗎？

首先，從當前大數(shù)據(jù)領域的人才需求情況來看，掌握Hadoop相關內容還是比較容易實現(xiàn)就業(yè)的，而且不少崗位的崗位附加值還比較高，從產業(yè)互聯(lián)網(wǎng)發(fā)展的大趨勢來看，未來以Hadoop等平臺進行行業(yè)創(chuàng)新，將是一個重要的發(fā)展趨勢，相關的人才需求潛力也會比較大。