大數(shù)據(jù)平臺(tái)開(kāi)發(fā)大數(shù)據(jù)平臺(tái)工程師開(kāi)發(fā)主要關(guān)注提供大數(shù)據(jù)基礎(chǔ)設(shè)施和工具。大數(shù)據(jù)開(kāi)發(fā)和大數(shù)據(jù)平臺(tái)開(kāi)發(fā)的工作都主要集中在1、2、3三層，大數(shù)據(jù)平臺(tái)開(kāi)發(fā)、大數(shù)據(jù)分析師(BI)、大數(shù)據(jù)運(yùn)維、大數(shù)據(jù)處理(ETL)、大數(shù)據(jù)組件開(kāi)發(fā)(偏大數(shù)據(jù)組件底層)，大數(shù)據(jù)開(kāi)發(fā)主要是滿足企業(yè)在大數(shù)據(jù)平臺(tái)上的應(yīng)用開(kāi)發(fā)，與場(chǎng)景有密切的關(guān)系。

1、大數(shù)據(jù)開(kāi)發(fā)主要做哪些工作？

大家好，我是Lake，專注大數(shù)據(jù)技術(shù)、程序員經(jīng)驗(yàn)、互聯(lián)網(wǎng)科技見(jiàn)解分享。作為一個(gè)軟件工程師，我個(gè)人目前從事的就是大數(shù)據(jù)方向，目前大數(shù)據(jù)可以分成很多具體的方向：大數(shù)據(jù)平臺(tái)開(kāi)發(fā)、大數(shù)據(jù)分析師(BI)、大數(shù)據(jù)運(yùn)維、大數(shù)據(jù)處理(ETL)、大數(shù)據(jù)組件開(kāi)發(fā)(偏大數(shù)據(jù)組件底層)。不同的工作方向，其工作內(nèi)容還是有一定差異的，下面我來(lái)說(shuō)下不同工作崗位具體的工作內(nèi)容：大數(shù)據(jù)平臺(tái)開(kāi)發(fā)更偏向?qū)φw數(shù)據(jù)平臺(tái)功能性開(kāi)發(fā)，比如離線計(jì)算平臺(tái)、實(shí)時(shí)計(jì)算平臺(tái)、算法推薦平臺(tái)等等，

平時(shí)用的較多的語(yǔ)言是Java，其更偏向于Java開(kāi)發(fā)。如果用戶是上層用戶，大數(shù)據(jù)相關(guān)組件作為最低層，大數(shù)據(jù)平臺(tái)就橋接著用戶和大數(shù)據(jù)組件，方便用戶使用大數(shù)據(jù)組件的功能，大數(shù)據(jù)分析師(BI同學(xué))更多的是對(duì)我們已有的線上數(shù)據(jù)進(jìn)行價(jià)值分析，從相關(guān)的線上用戶所產(chǎn)生的數(shù)據(jù)中，發(fā)現(xiàn)出一些潛在的商業(yè)價(jià)值，能夠更好的去輔助決策層的戰(zhàn)略決定。

BI需要對(duì)數(shù)據(jù)敏感、細(xì)心，善于從數(shù)據(jù)中發(fā)現(xiàn)業(yè)務(wù)價(jià)值，平常很多工作就是數(shù)據(jù)可視化、簡(jiǎn)單化、深入化、PPT化，大數(shù)據(jù)運(yùn)維同學(xué)主要是保障公司相關(guān)機(jī)器集群的穩(wěn)定，使得它們不能出現(xiàn)故障。當(dāng)申請(qǐng)到新的機(jī)器時(shí)，會(huì)在新機(jī)器上面部署各種大數(shù)據(jù)組件組成的集群，同樣，當(dāng)有業(yè)務(wù)同學(xué)需要用到機(jī)器時(shí)，可以給大數(shù)據(jù)運(yùn)維同學(xué)提需求。

當(dāng)大數(shù)據(jù)組件集群突然因?yàn)槭裁醋兊眉翰环€(wěn)定時(shí)，運(yùn)維同學(xué)需要去定位問(wèn)題和解決問(wèn)題，運(yùn)維同學(xué)平時(shí)用的較多的LinuxShell腳本和命令行等，其職位更偏向于為其他同學(xué)提供機(jī)器穩(wěn)定保障，ETL同學(xué)(數(shù)倉(cāng)同學(xué))則是對(duì)我們的線上數(shù)據(jù)進(jìn)行數(shù)據(jù)加工，形成DWD層(公共明細(xì)層)、DWS層(公共匯總層)，形成統(tǒng)一的指標(biāo)口徑。

ETL同學(xué)會(huì)根據(jù)不同的業(yè)務(wù)需求，一般使用SQL進(jìn)行數(shù)據(jù)指標(biāo)的加工，指導(dǎo)業(yè)務(wù)同學(xué)更好的運(yùn)營(yíng)相關(guān)業(yè)務(wù)，同時(shí)ETL同學(xué)更關(guān)注業(yè)務(wù)指標(biāo)的口徑，在指標(biāo)開(kāi)發(fā)的過(guò)程中，使用數(shù)倉(cāng)模型對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行建模，便于開(kāi)發(fā)的指標(biāo)數(shù)據(jù)更加統(tǒng)一，減少口徑偏差。大數(shù)據(jù)組件開(kāi)發(fā)，更多的是結(jié)合公司業(yè)務(wù)，對(duì)大數(shù)據(jù)基礎(chǔ)組件進(jìn)行定制化開(kāi)發(fā)、性能優(yōu)化、BUG修復(fù)等等，

同時(shí)，也需要對(duì)業(yè)務(wù)方接入進(jìn)行問(wèn)題答疑，指導(dǎo)他們使用大數(shù)據(jù)組件滿足業(yè)務(wù)需求。同時(shí)，你也需要運(yùn)維你的大數(shù)據(jù)組件，當(dāng)出現(xiàn)故障BUG時(shí)，需要你能及時(shí)修復(fù)，保證大數(shù)據(jù)組件的穩(wěn)定，大數(shù)據(jù)組件開(kāi)發(fā)需要對(duì)你自己運(yùn)維的組件原理掌握的很全很深，只有這樣，你才能夠更好的指導(dǎo)別人?？偨Y(jié)大數(shù)據(jù)開(kāi)發(fā)有很多方向，你可以結(jié)合你自己的興趣，選擇一個(gè)從事方向，

2、大數(shù)據(jù)開(kāi)發(fā)、大數(shù)據(jù)分析、大數(shù)據(jù)運(yùn)維主要工作各是什么？哪個(gè)好？

在大數(shù)據(jù)領(lǐng)域大概有四個(gè)大的工作方向，除了大數(shù)據(jù)平臺(tái)應(yīng)用及開(kāi)發(fā)、大數(shù)據(jù)分析與應(yīng)用和大數(shù)據(jù)平臺(tái)集成與運(yùn)維之外，還有大數(shù)據(jù)平臺(tái)架構(gòu)與研發(fā)，除了以上四個(gè)大的工作方向之外，還有一個(gè)工作方向是大數(shù)據(jù)技術(shù)推廣和培訓(xùn)，這部分工作目前也有不少人在從事。大數(shù)據(jù)平臺(tái)架構(gòu)與研發(fā)主要的工作內(nèi)容是研發(fā)底層的大數(shù)據(jù)平臺(tái)，這部分工作的難度較高，從事這部分工作的研發(fā)級(jí)崗位也并不多，

現(xiàn)在不少技術(shù)研發(fā)團(tuán)隊(duì)都以Hadoop、Spark平臺(tái)為基礎(chǔ)進(jìn)行研發(fā)，這樣能夠節(jié)省大量的時(shí)間，也更容易做出市場(chǎng)接受度比較高的大數(shù)據(jù)平臺(tái)（商用較多）。大數(shù)據(jù)平臺(tái)應(yīng)用開(kāi)發(fā)是目前一個(gè)就業(yè)的熱門方向，一方面是大數(shù)據(jù)開(kāi)發(fā)的場(chǎng)景眾多，另一方面是難度并不高，能夠接納的從業(yè)人數(shù)也非常多，大數(shù)據(jù)開(kāi)發(fā)主要是滿足企業(yè)在大數(shù)據(jù)平臺(tái)上的應(yīng)用開(kāi)發(fā)，與場(chǎng)景有密切的關(guān)系。