什(shén)麽是數據工(gōng)程師？

數據工(gōng)程師設計(jì)、構建和(hé)優化大(dà)規模數據收集、存儲、訪問和(hé)分析系統。它們創建數據科學家、以數據爲中心的應用(yòng)程序和(hé)其他(tā)數據消費者使用(yòng)的數據管道(dào)。

這(zhè)個IT角色需要大(dà)量的技術技能(néng)，包括SQL數據庫設計(jì)和(hé)多種編程語言的深入知(zhī)識。數據工(gōng)程師還需要溝通技能(néng)，以便跨部門(mén)工(gōng)作(zuò)，了(le)解業務領導者希望從(cóng)公司的大(dà)型數據集中獲得什(shén)麽。

數據工(gōng)程師通常負責構建訪問原始數據的算(suàn)法，但(dàn)要做到(dào)這(zhè)一點，他(tā)們需要了(le)解公司或客戶的目标，因爲使數據策略與業務目标相一緻非常重要，尤其是在涉及大(dà)型複雜(zá)數據集和(hé)數據庫時(shí)。

數據工(gōng)程師還必須知(zhī)道(dào)如何優化數據檢索，以及如何爲利益相關者開(kāi)發儀表闆、報(bào)告和(hé)其他(tā)可視(shì)化。根據組織的不同，數據工(gōng)程師也(yě)可能(néng)負責傳達數據趨勢。較大(dà)的組織通常有多個數據分析師或科學家來(lái)幫助理(lǐ)解數據，而較小(xiǎo)的公司可能(néng)會(huì)依賴數據工(gōng)程師來(lái)擔任這(zhè)兩個角色。

數據工(gōng)程師的角色

根據Dataquest，數據工(gōng)程師可以扮演三個主要角色。這(zhè)些(xiē)措施包括：

多面手：通常爲小(xiǎo)團隊或小(xiǎo)公司工(gōng)作(zuò)的數據工(gōng)程師作(zuò)爲公司中爲數不多的“以數據爲中心”的人之一，身兼數職。這(zhè)些(xiē)通才通常負責數據處理(lǐ)的每一步，從(cóng)管理(lǐ)數據到(dào)分析數據。Dataquest表示，對(duì)于任何希望從(cóng)數據科學過渡到(dào)數據工(gōng)程的人來(lái)說，這(zhè)都是一個很(hěn)好(hǎo)的角色，因爲小(xiǎo)型企業通常不需要爲規模而設計(jì)。

以管道(dào)爲中心：通常在中型公司中，以管道(dào)爲核心的數據工(gōng)程師與數據科學家一起工(gōng)作(zuò)，幫助利用(yòng)他(tā)們收集的數據。Dataquest稱，以管道(dào)爲中心的數據工(gōng)程師需要“對(duì)分布式系統和(hé)計(jì)算(suàn)機科學的深入了(le)解”。

以數據庫爲中心：在大(dà)型組織中，管理(lǐ)數據流是一項全職工(gōng)作(zuò)，數據工(gōng)程師專注于分析數據庫。以數據庫爲中心的數據工(gōng)程師跨多個數據庫使用(yòng)數據倉庫，并負責開(kāi)發表模式。

數據工(gōng)程師職位描述

數據工(gōng)程師負責管理(lǐ)和(hé)組織數據，同時(shí)關注可能(néng)影響業務目标的趨勢或不一緻性。這(zhè)是一個技術性很(hěn)強的職位，需要編程、數學和(hé)計(jì)算(suàn)機科學等領域的經驗和(hé)技能(néng)。但(dàn)是，數據工(gōng)程師還需要軟技能(néng)來(lái)向組織中的其他(tā)人傳達數據趨勢，并幫助企業利用(yòng)其收集的數據。數據工(gōng)程師最常見的職責包括：

開(kāi)發、構建、測試和(hé)維護體系結構

使體系結構與業務需求保持一緻

數據采集

開(kāi)發數據集流程

使用(yòng)編程語言和(hé)工(gōng)具

确定提高(gāo)數據可靠性、效率和(hé)質量的方法

對(duì)行業和(hé)商業問題進行研究

使用(yòng)大(dà)型數據集解決業務問題

部署複雜(zá)的分析程序、機器學習和(hé)統計(jì)方法

爲預測性和(hé)規範性建模準備數據

使用(yòng)數據查找隐藏模式

使用(yòng)數據發現(xiàn)可以自(zì)動化的任務

基于分析向利益相關者提供更新

數據工(gōng)程師vs.數據科學家

數據工(gōng)程師和(hé)數據科學家經常密切合作(zuò)，但(dàn)發揮着截然不同的作(zuò)用(yòng)。數據工(gōng)程師負責開(kāi)發、測試和(hé)維護數據管道(dào)和(hé)數據架構。數據科學家利用(yòng)數據科學從(cóng)大(dà)量結構化和(hé)非結構化數據中發現(xiàn)見解，以塑造或滿足特定的業務需求和(hé)目标。

數據工(gōng)程師vs.數據架構師

數據工(gōng)程師和(hé)數據架構師的角色密切相關，經常混淆。數據架構師是将業務需求轉化爲技術需求并定義數據标準和(hé)原則的高(gāo)級幻想家。他(tā)們可視(shì)化并設計(jì)組織的企業數據管理(lǐ)框架。數據工(gōng)程師與數據架構師合作(zuò)創建該願景，構建和(hé)維護數據架構商的數據框架指定的數據系統。