Click here if you would prefer to read the English version.

香港的數據工程前景

世界經濟論壇的一篇文章指出，我們正生活在一個資訊爆炸的時代－每天有5億則新帖文和2940億封電子郵件的世界；而每輛聯網汽車（可以連接到互聯網的車輛），都會生成4TB的數據；每天有650億則信息通過WhatsApp傳送；以及50億次在線搜尋。

財經媒體《資本視覺》指出，到了2025年，世界將在24小時內產生相當於超過2億張光碟的數據。 此外，2020年的全球疫症進一步提升了每天產生和使用的數據量。

這種趨勢正在影響香港等的領先經濟體。在數據領域，香港的技術水準和創意文化一直領先。疫症更使香港經濟迅速發展為數據經濟。香港擁有各種系統，包括數據的平台、工具和技術，可以有效地解決問題並推動創新。實際上，在2020年，香港政府已承諾投入129億美元於創新科技研發。

這些轉變使數據的使用和生產量呈幾何級增長。因此，市場上對數據工程師的需求預計將在2021年激增近50％！

這種上升趨勢的主要原因是，幾乎每個生態系統，包括：金融、醫療保健、政府、物流和旅遊業，都在提升科技支援的比例。我們處於一個用數據連繫彼此的世界。我們需要以優越而熟練的框架去採集、分類和解構數據，用最有效的方式來分析和使用數據。而設計這種框架的天才被稱為數據工程師。

數據工程師的工作範疇

數據工程師在各部門和公司中的作用越來越重要。數據工程師從頭開始構建、測試和維護數據結構。常見的結構包括數據庫，和用作處理大量原始數據的處理系統。 原始數據包通常會出錯，數據工程師負責提高數據的可靠性和質量，以便有效地將數據用於各種用途。

數據工程師要有創意、細心，並能使用編程語言和工具，以最合適的方式整理和將數據分類。他們開發數據集以進行建模、收集和生產，並使數據格式化、可擴大而又安全。

這些數據框架會被不同的人使用，包括數據科學家、數據分析師、策劃師、記者和政府。數據框架可以推動業績、影響社會並產生新信息。因此，確保數據框架和處理系統可在最短的時間內，將原始數據轉換為消耗性數據，在當今任何系統中都極為重要。

數據工程與數據科學不同嗎？

您可能想知道，數據工程師、數據科學家和數據分析師之間的分別。 儘管它們緊密相連，但是它們的目的卻大不相同。數據工程師處理並支援大量數據框架，而數據科學家則是為整個數據分析和組織過程進行研究和實驗，使數據的產出更高效和高質。

另請閱讀： 數據分析 vs 數據科學

另一方面，數據分析師會根據數據說明來分析，並利用數據來理解消費者的行為、趨勢和隱藏模式等。

例如，如果您工作於社交網絡範疇。數據工程師的作用就是確保平台可以處理大量的網上帖文和數據。但是，數據分析師的作用則是分析內容、使用情況和消費者行為。然後，諸如產品開發人員、市場營銷和社區團隊之類的各種持分者就會利用這些結果來構建優質的產品。

這些角色是互補的，有些數據工程師也能夠分析數據，反之亦然。隨著近年對於數據科學家的宣傳增加，加入該行業的專業人員數量亦有所上升。

另請閱讀： 成為數據科學家的10種方法

另一方面，儘管數據工程是數據領域中中最重要的角色之一，但它並未獲得充分的宣傳。香港現時對於數據科學家及數據工程師已有很大需求，而此需求將會在未來五年間進一步增加。

數據工程如何應用在行業中？

隨著數據化的系統增加，越來越多組織正在建立強大的數據工程團隊，來建構處理​​龐大數據量的系統。 在2016年，市場對數據工程師的需求已經超過供應。 2020年的疫症更使全球需求更上一層樓，尤其是在香港這樣的數據經濟中。

例如，2020年的封城使香港的一些基本服務數據化，更多消費者使用電子支付，雜貨和食品等必需品的網購平台亦蓬勃發展。消費者行為的轉變使香港從金融科技、食品配送到零售商，都在建立其數據工程團隊以處理、維護和保護進入系統的大量數據。越來越多的企業也開始採用雲端服務，使數據隨時隨地都可以閱覽。

因此，如今的數據工程師幾乎遍及每個行業和系統。首五位的行業包括醫療保健和製藥、電信、互聯網、能源和汽車。

香港對數據工程師的需求不斷增長

香港將在多個領域出現職位需求增長，包括金融科技、保險科技、銀行業的監管、科技和用戶體驗設計等等。此外，香港政府已承諾提供超過1.16億美元的資金，用作提供必要的數據基礎設施，以加快香港發展成智慧城市。

隨著愈來愈多公司的系統數據化，他們要遵守法律同時也要滿足消費者需求，因此預計市場對有經驗和遠見的數據工程師需求將會進一步上升。而數據工程師在這個過渡期中更是扮演關鍵角色。

顯然易見，這個數據化世界對於精明的數據工程師來說，是有無限潛力的舞台，但這並不是短暫的現象。在任何成功的企業中，數據工程師都是必要的。同時現在亦有很多人在留意數據科學家，這個職業的收入比數據工程師更為豐厚。

香港數據工程師的收入

那麼，香港普遍的數據工程師收入是多少？平均而言，香港數據工程師的年薪為港幣$759,687。而平均基本收入約為港幣$387,555，該數字會根據候選人的技術、經驗和知識基礎有所不同。例如，具有Python（港幣$394,937）和SQL（港幣$456,000）技術的數據工程師往往比知道ETL（提取、轉換、加載）的員工收入更高。

由此可見，此領域存在著一種技術階級，學習特定技能可以使自己在行業中獲得優勢。隨著經驗的增加，人們可以獲得港幣$948,031或以上的收入。

另一方面，香港數據科學家的平均基礎年薪為港幣$400,200。有趣的是，隨著數據科學家和數據工程師經驗的增長，後者有可能隨著技術提升而獲得更高收入。

另請閱讀： 如何成為香港的數據科學家

數據工程的職業選擇

數據工程師根據他們所從事的公司和部門種類，在行業中扮演著廣泛而重要的角色。 如今，很多公司都正尋求一個更便宜、立竿見影和可擴展的解決方案，來保護、存儲和處理進出其系統的數據。

越來越多的企業將其數據移至雲端中，以便隨時隨地閱覽。數據工程師的職責就是以最經濟的方式設計合適的框架。還需要在最短時間內處理大量數據，以設計這些系統框架。數據需要在整理後，以各種格式存儲在數據庫中。

每納秒都有大量敏感的機密數據產生，而數據工程師的職責就是確保數據的安全性。數據的防護越脆弱，黑客和其他人就越容易進入和利用這些數據。

數據工程師通常利用軟件編程語言來整理數據，以確保該數據可以被自己和其他團隊使用。要實現這個目標，需要一個完整的程序，其中包括構想、結構設計、原型、測試、調動（Deployment）和實時監察。

數據工程師所需要的技能

數據工程師必須具備豐富的技能，從理解軟件編程語言到幫助企業設計系統結構、網絡安全和保護數據的工具。

那麼，數據工程師使用哪種編碼語言？以下是數據科學家和軟件工程師所重疊的技能，包括：

• Python

• SQL

• 數據分析

• 大數據

• 商業情報

此外，數據工程師還須具備某些獨特技能的經驗，包括大數據工具，例如：

• Hadoop

• Unix

• 資料庫

• Hive

• Oracle

• 擷取、轉換和載入（ETL）

編寫ETL的工具包括：

• Airflow

• 雲端資料流（Cloud Dataflow ）

• Kafka

數據工程師還必須熟悉各種數據庫，以及以下工具的用法，例如：

• Teradata

• Oracle Exadata

• Amazon Redshift

• Google BigQuery

他們必須使用各種數據存儲技術，並且對於組合框架以建立數據管道非常熟悉。

數據工程師所需要的軟技能

儘管科技技能是成功的基礎，但數據工程師需要了解，他們有責任推動企業整體的業績。解難和團隊合作能力，使數據工程師可以更有效率地找到解決方案。此外，偉大的數據工程師都著迷於數據，他們負責數據的一切，包括其安全性和數據的消耗。

問責制也是所有數據工程師的關鍵要素，他們需要全權負責數據的安全，而此舉將會影響到數百萬人。這樣的角色並不適合膽小者，入行的人必須從一開始就承擔起這份責任。

您可以在香港報讀相關的數據工程課程，以準備在這領域大展所長。例如計算機工程、資訊工程的學士學位或大數據科技的碩士學位。

成為數據工程師需要有科技背景嗎？

在當今世界，普遍的職業都要求有相關的技能，特別是在數據工程領域，技能和商業頭腦都很重要。而數據工程師通常擁有數學、科學或商業的大學學位。他們亦可以是來自軟件工程的背景。實際上，全世界有許多軟件工程師都在擔任數據工程師的職位。

但是，許多頂級的數據工程師都是自學成才的。他們卓越的成就並非來自學位，而是對數據的熱情，以及對我們世界的重大影響。

您可以選擇半工讀，或報讀線上課程，這些課程會教授多種軟件語言和數據工程技能。而第一步可以在香港報讀Python入門課程，它還有助銜接香港的數據科學的課程。而長期而言，全日制的數據科學和機器學習課程有助您成為數據科學家。因為科技日新月異，您必須具備敏銳的觸覺，才能迅速掌握新技能並適應市場變化，以保持在行業中最新和領先地位。

總結

香港的數據工程正在蓬勃發展，這正是學習新技能的好時機！這些技能可以為您帶來非常有趣和有意義的職業。由於很多大學未能提供數據工程的職業級別課程，因此現時最好的選擇是首先完成研究生或本科學位，然後參加由Xccelerate 等專業機構提供的數據工程課程。

如果您正處於職業生涯的分岔路，並且需要有人幫助探索。您可以預約我們的免費一對一職業諮詢，以獲得最適合您的職業建議。

另請閱讀： 數據科學難學嗎