數據分析工程師:定義角色和技能要求


您無法參加 Transform 2022 嗎? 立即在我們的點播庫中查看所有峰會會議! 看這裡。


由於來自外部和內部數據源的大量數據已成為運行組織的核心,因此開發了一系列技術人員角色來管理數據的收集和處理。

如果您願意的話,在機房裡是一名數據工程師,他集成了多個數據源並管理使數據可用於業務分析的操作。

頂層是數據分析師,他們為非技術業務用戶提供來自大量預製模型的數據,以便他們執行工作。

介於這兩者之間的是數據分析工程師。 這是一位既了解數據工程技術又了解業務數據分析需求的專家,因此可以構建上層數據分析師和業務最終用戶所需的分析模型。

事件

元節拍 2022

MetaBeat 將於 10 月 4 日在加利福尼亞州舊金山匯聚思想領袖,就元界技術將如何改變所有行業的溝通和開展業務的方式提供指導。

在這裡註冊

因此,數據分析工程師是結合數據分析師和軟件工程師的技能來獲取和轉換數據以便於分析的人。 由於他們的技術靈巧和商業頭腦,他們作為數據團隊的成員變得非常有價值。 本文詳細介紹了分析工程師的職責和必備技能,以及該職位的薪酬前景。

誰是數據分析工程師?

分析工程師是數據團隊的成員,負責高效、集成的數據模型和產品。 他們構建了有用的、經過良好測試和記錄的數據集表示和工具,公司其他人可以用來回答他們的問題。

他們從源頭移動和轉換數據,以便數據分析師或業務用戶可以輕鬆地對其進行分析、可視化和處理。 不僅如此,他們還擁有應用軟件工程最佳實踐(例如版本控制和 CI/CD,但還需要與利益相關者就這些工具的使用進行有效溝通。

數據分析工程師創建的數據集允許最終用戶理解和檢查數據中的信息。 分析工程師結合業務戰略和技術數據知識來翻譯複雜信息,並將它們清楚地說明為稱為數據模型的可視化表示。 他們與數據分析師和數據工程師合作,提供數據模式的簡單可視化表示,並將其含義傳達給同事、利益相關者和最終用戶。

向雲數據倉庫的過渡、自助式商業智能 (BI) 工具的發展以及數據攝取工具的引入都促成了數據工具的重大轉變。 傳統數據團隊中的角色和職責正在發生變化。

隨著轉向提取、加載、轉換 (ELT) 過程,數據現在在轉換之前就已放入倉庫。 這為熟練的技術分析師創造了機會,他們既精通業務,又具備將原始數據建模成整潔、定義明確的數據集所需的技術技能。 這需要分析工程師擁有的軟件工程師和數據分析師的技能。

分析工程師處理數據本身,以及管理和排序數據。 他們的工作是確保數據被攝取、轉換、安排並準備好被所有可能需要它的人用於分析。 許多分析工程師是現代數據堆棧的協調者,他們決定並應用工具 ETL/ELT.

數據分析工程師的角色

分析工程師負責實施和管理數據倉庫以攝取數據。 他們還決定將來自不同來源的數據提取到該倉庫中的最佳工具。 然後他們對分析師使用的數據進行建模並安排測試以簡化這些模型。 分析工程師的基本職責包括:

1.數據倉庫管理

工程師負責將數據引入倉庫並確保數據集得到維護。 他們是第一個收到管道中任何問題的通知,因此他們可以修復它。

2.數據建模

這是在不同信息位置和系統之間建立數據的可視化表示和關聯連接的過程。 分析工程師負責將原始數據建模為數據集,以支持整個公司的分析。 這些數據集充當核心事實來源,使業務分析師和其他利益相關者更容易查看和理解數據庫中的數據。

3.數據編排

工程師創建數據管道和工作流程以將數據從一個點移動到另一個點,並協調該數據的組合、驗證和存儲以進行分析。 工程師了解有關數據編排和自動化的一切。

4. 設置最佳實踐

它們使數據分析師和數據科學家等其他團隊成員更加有效。 是否通過分享寫作技巧更好 SQL,修改數據集以包含新的指標或維度,或培訓他們如何將最佳實踐應用於軟件工程。 這種方法稱為 dataops(一種集成數據工程、數據分析和 devops 的方法)。 一些可以優化的最佳實踐包括版本控制、數據單元測試以及持續集成和持續交付 (CI/CD)。

5. 相互協作

作為團隊的一員,他們與團隊成員協作以收集業務需求、定義成功的分析結果並設計數據模型。

根據公司和角色規範,可能需要數據分析工程師執行以下部分或全部操作:

  • 與產品、工程、數據科學、戰略和客戶團隊合作,了解客戶需求並提供可行的解決方案。
  • 將原始數據轉換為可操作的分析信息和業務邏輯。
  • 直接與其他參與團隊互動,提供分析以回答他們的關鍵業務問題。
  • 將數據掌握與行業專業知識相結合,使用相關數據集確定和實施項目。
  • 尋求功能改進的領域並主動適應它們。
  • 向內部團隊和其他相關利益相關者提供高級分析、見解和數據驅動的建議。

分析工程師收集信息、設計數據模型、編寫代碼、維護數據文檔、與數據團隊成員協作並將結果傳達給相關利益相關者。 因此,分析工程師將業務敏銳度與技術專長相結合,並在業務戰略和數據開發之間交替。

在 2022 年取得成功的關鍵技能要求

每個公司或雇主都在尋找分析工程師所需的一組特定技能,但一些通用技能和能力對每個分析工程師都至關重要。 這些技能將在後面討論。

SQL 和 DBT 實力

分析工程師通常使用 SQL 在數據模型中編寫轉換。 SQL 是成為分析工程師需要掌握的最重要技能之一,因為分析工程師的主要職責是為數據轉換創建邏輯、編寫查詢和構建數據模型。

SQL 在其使用的語言中與 Dbt 密切相關,因此後者需要了解前者。 數據庫 是業內領先的數據轉換工具,這就是為什麼大多數分析工程師最有可能使用它來編寫數據模型的原因。

編程語言

R 和 Python 等高級語言的知識對於分析工程師處理各種數據編排任務至關重要。 許多數據管道工具都使用 Python,知道如何在其中編碼對於作為工程師編寫自己的管道非常有用。

現代數據堆棧工具

分析工程師需要熟悉現代數據堆棧中最流行的工具。 這意味著擁有攝取、轉換、倉儲和部署工具方面的經驗:如果不是對它們的全面了解,那麼至少是它們背後的基本概念。 在堆棧的每個部分學習一個工具可以促進對其他部分的推理理解。

數據工程和BI工具知識

工程師需要具有構建數據管道的工具的經驗。 其中一些工具包括數據倉庫,如 Snowflake、Amazon Redshift 和 Google BigQuery; AWS Glue、Talend 等 ETL 工具,以及 Tableau、Looker 等商業智能工具。

溝通和人際交往能力

溝通是分析工程師的關鍵,因為他們有責任確保每個人都了解數據的狀態。 當數據質量受損或管道受損時,他們需要與相關人員進行溝通,以了解業務需求。 他們還需要與業務團隊和數據分析師合作,以了解業務需求。 如果不這樣做,就會對有缺陷的數據做出錯誤的假設,有價值的想法和機會就會被忽視。 分析工程師必須與整個企業的各個團隊開發和維持多功能交互。

總而言之,分析工程師必須具備強大的技術靈活性和利益相關者管理技能才能取得成功。

薪水的範圍

所有行業和環境中的分析工程師現在都具有良好的薪酬水平,前景廣闊。 根據 玻璃門,美國的平均基本工資為每年 91,188 美元和 111,038 美元

結論/關鍵要點

分析工程師的任務是對數據進行建模,以提供整潔準確的數據集,以便公司內外的不同用戶能夠理解和利用它們。 該角色涉及收集、轉換、測試和記錄數據。 它需要溝通、軟件工程和編程方面的關鍵技能。

分析工程師的角色對於數據分析領域來說是相當新的角色,但隨著越來越多的人意識到它的價值,它正在迅速獲得牽引力和認可。

VentureBeat 的使命 將成為技術決策者獲取有關變革性企業技術和交易知識的數字城鎮廣場。 發現我們的簡報。

發佈留言