數(shù)據(jù)系統(tǒng)工程師崗位職責(zé)：應(yīng)負(fù)責(zé)大數(shù)據(jù)系統(tǒng)/平臺(tái)的運(yùn)行和維護(hù)等工作。

數(shù)據(jù)系統(tǒng)工程師初級(jí)能力要求具體如下：

a) 專業(yè)知識(shí)：

1) 運(yùn)維基礎(chǔ)知識(shí)：

2) 硬件設(shè)備功能知識(shí)，

3) 服務(wù)器組網(wǎng)知識(shí)，

4) 服務(wù)器配置知識(shí)，

5) 操作系統(tǒng)安裝知識(shí)，

6) 云計(jì)算及虛擬化部署知識(shí)，

7) Linux 系統(tǒng)基礎(chǔ)操作知識(shí)，

8) 大數(shù)據(jù)組件安裝知識(shí)，

9) 大數(shù)據(jù)集群配置知識(shí)，

10) 大數(shù)據(jù)組件基礎(chǔ)操作知識(shí)，

11) 應(yīng)用變更管理知識(shí)，

12) 代碼倉(cāng)庫(kù)托管知識(shí)，

13) 功能持續(xù)集成知識(shí)，

14) 代碼版本控制知識(shí)，

15) 管理平臺(tái)操作知識(shí)，

16) 系統(tǒng)環(huán)境監(jiān)控知識(shí)，

17) 常見故障排查知識(shí)，

18) 容災(zāi)備份知識(shí)。

b) 專業(yè)技能：

1) 能根據(jù)施工方案，進(jìn)行需求溝通并確認(rèn)設(shè)備參數(shù);

2) 能參照施工方案，對(duì)大數(shù)據(jù)機(jī)架及大型設(shè)備進(jìn)行機(jī)房空間規(guī)劃并部署服務(wù)器;

3) 能根據(jù)組網(wǎng)規(guī)劃方案，對(duì)各服務(wù)器或需聯(lián)通網(wǎng)絡(luò)設(shè)備進(jìn)行組網(wǎng)布置;

4) 能根據(jù)現(xiàn)場(chǎng)設(shè)施及電力系統(tǒng)，對(duì)設(shè)備進(jìn)行上電測(cè)試及點(diǎn)亮測(cè)試;

5) 能根據(jù)系統(tǒng)部署方案，安裝集群環(huán)境、硬件環(huán)境、虛擬化環(huán)境所需的各類系統(tǒng);

6) 能根據(jù)軟件部署方案使用腳本部署產(chǎn)品或用原生方法安裝各類大數(shù)據(jù)功能組件;

7) 能根據(jù)節(jié)點(diǎn)連接信息配置大數(shù)據(jù)集群;

8) 能根據(jù)集群功能對(duì)組件進(jìn)行啟動(dòng)調(diào)試;

9) 能對(duì)現(xiàn)有大數(shù)據(jù)集群的各類組件進(jìn)行應(yīng)用變更或版本更迭;

10) 能根據(jù)上線計(jì)劃，按時(shí)完成功能上線;

11) 能對(duì)提交代碼的版本進(jìn)行管理;

12) 能使用工具對(duì)集群的軟硬件運(yùn)行狀態(tài)進(jìn)行監(jiān)控管理;

13) 能使用工具對(duì)大數(shù)據(jù)集群的各類組件、服務(wù)的運(yùn)行狀態(tài)進(jìn)行監(jiān)控管理;

14) 能使用工具對(duì)作業(yè)運(yùn)行情況和資源占用進(jìn)行監(jiān)控管理;

15) 能根據(jù)故障報(bào)告，參與故障排查，處理故障問題;

16) 能根據(jù)容災(zāi)計(jì)劃，定期備份和遷移關(guān)鍵數(shù)據(jù)。

c) 經(jīng)驗(yàn)：

1) 累計(jì)從事本崗位工作 1 年以上。

數(shù)據(jù)系統(tǒng)工程師中級(jí)能力要求具體如下：

a) 專業(yè)知識(shí)：

1) 網(wǎng)絡(luò)架構(gòu)和規(guī)劃，

2) 服務(wù)器底層配置知識(shí)，

3) 云計(jì)算及虛擬化知識(shí)，

4) 自動(dòng)化腳本開發(fā)知識(shí)，

5) 集群配置知識(shí)，

6) 高可用及容災(zāi)知識(shí)，

7) 集群技術(shù)知識(shí)，

8) 安全訪問控制知識(shí)，

9) 性能調(diào)優(yōu)知識(shí)，

10) 故障排查知識(shí)，

11) 容災(zāi)管理知識(shí)。

b) 專業(yè)技能：

1) 能根據(jù)配置需求，規(guī)劃及選型硬件配置設(shè)施;

2) 能根據(jù)機(jī)房環(huán)境和配置清單，制定工程實(shí)施方案;

3) 能根據(jù)物理硬件特性，制定組網(wǎng)規(guī)劃方案;

4) 能根據(jù)硬件設(shè)備條件，進(jìn)行底層及驅(qū)動(dòng)配置;

5) 能根據(jù)現(xiàn)場(chǎng)施工情況進(jìn)行故障處理指導(dǎo);

6) 能根據(jù)應(yīng)用需求，規(guī)劃系統(tǒng)部署方案;

7) 能根據(jù)性能需求，對(duì)各運(yùn)行系統(tǒng)進(jìn)行配置和調(diào)優(yōu);

8) 能根據(jù)軟件部署方案，編寫自動(dòng)化部署腳本，并完成部署;

9) 能根據(jù)集群組件進(jìn)行高可用及容災(zāi)配置;

10) 能根據(jù)集群功能對(duì)各組件進(jìn)行聯(lián)通調(diào)試;

11) 能根據(jù)集群功能變更需求，制定組件升級(jí)及功能遷移方案;

12) 能對(duì)上線功能進(jìn)行測(cè)試，評(píng)估上線可行性，制定上線計(jì)劃;

13) 能對(duì)大數(shù)據(jù)平臺(tái)中的各個(gè)組件使用權(quán)限進(jìn)行管理;

14) 能編寫腳本對(duì)集群軟硬件、組件與服務(wù)、作業(yè)運(yùn)行情況進(jìn)行監(jiān)控及管理操作;

15) 能對(duì)集群的運(yùn)行性能、讀寫性能等指標(biāo)進(jìn)行調(diào)優(yōu);

16) 能根據(jù)故障報(bào)告，排查故障原因，處理故障問題，并編寫自動(dòng)化運(yùn)維腳本;

17) 能制定容災(zāi)計(jì)劃，對(duì)異常服務(wù)進(jìn)行故障轉(zhuǎn)移。

c) 經(jīng)驗(yàn)：

1) 具備一定的數(shù)據(jù)運(yùn)維相關(guān)項(xiàng)目經(jīng)驗(yàn);

2) 累計(jì)從事本崗位工作 3 年以上。

數(shù)據(jù)系統(tǒng)工程師高級(jí)能力要求具體如下：

a) 專業(yè)知識(shí)：

1) 安全施工規(guī)范，

2) 硬件產(chǎn)品知識(shí)，

3) 故障管理知識(shí)，

4) 權(quán)限安全規(guī)范，

5) 軟件產(chǎn)品知識(shí)，

6) 聯(lián)邦集群知識(shí)，

7) 異地多活知識(shí)，

8) 風(fēng)險(xiǎn)管理知識(shí)，

9) 應(yīng)用變更知識(shí)，

10) 代碼管理知識(shí)，

11) 權(quán)限管理知識(shí)，

12) 性能指標(biāo)知識(shí)，

13) 負(fù)載均衡知識(shí)，

14) 故障分析方法，

15) 故障轉(zhuǎn)移知識(shí)。

b) 專業(yè)技能：

1) 能根據(jù)安全施工規(guī)范，整體規(guī)劃硬件設(shè)施安全方案;

2) 能審核及指導(dǎo)工程師規(guī)劃和選型硬件配置設(shè)施;

3) 能根據(jù)產(chǎn)品特性，制定統(tǒng)一施工標(biāo)準(zhǔn);

4) 能根據(jù)系統(tǒng)部署方案，與產(chǎn)品開發(fā)部門整體規(guī)劃硬件承載、配置及擴(kuò)展方案;

5) 能根據(jù)不同硬件設(shè)施，制定故障處理規(guī)范及流程;

6) 能根據(jù)權(quán)限安全規(guī)范，制定軟件權(quán)限安全方案;

7) 能審核并指導(dǎo)工程師制定系統(tǒng)及軟件部署方案;

8) 能根據(jù)產(chǎn)品特性，制定部署及升級(jí)策略;

9) 能根據(jù)集群組件特性制定高可用及容災(zāi)策略;

10) 能根據(jù)調(diào)試結(jié)果，制定部署優(yōu)化方案;

11) 能評(píng)估應(yīng)用變更風(fēng)險(xiǎn)，發(fā)布應(yīng)用變更計(jì)劃，管控變更流程，總結(jié)變更報(bào)告;

12) 能根據(jù)軟件部署方式，制定各類組件應(yīng)用變更或版本更迭方案;

13) 能制定代碼管理規(guī)范并配置代碼倉(cāng)庫(kù)管理系統(tǒng);

14) 能制定各部門平臺(tái)功能使用權(quán)限規(guī)范;

15) 能規(guī)劃監(jiān)控指標(biāo)，制定監(jiān)控管理規(guī)范;

16) 能開發(fā)監(jiān)控腳本，并規(guī)劃閾值;

17) 能對(duì)系統(tǒng)性能進(jìn)行調(diào)優(yōu);

18) 能使用數(shù)據(jù)挖掘方法挖掘潛在故障;

19) 能對(duì)故障事故進(jìn)行復(fù)盤，編寫故障預(yù)防規(guī)范;

20) 能定期組織容災(zāi)演練。

c) 經(jīng)驗(yàn):

1) 具備數(shù)據(jù)運(yùn)維相關(guān)項(xiàng)目經(jīng)驗(yàn);

2) 累計(jì)從事本崗位工作 5 年以上。