人人插人人爽,久久久久影视,国产黄av

每日快訊!大數(shù)據(jù)工程師：讓數(shù)據(jù)“活”起來

2023-04-08 10:24:17 來源：經濟日報

將大量、多樣的數(shù)據(jù)信息匯聚、打通、管理、使用；用26個英文字母和一些標點符號寫出一行行代碼，變成大眾應用的各類應用軟件和系統(tǒng)……這便是中電萬維信息技術有限責任公司生態(tài)環(huán)境平臺部大數(shù)據(jù)工程師張杰的日常工作內容。

讓數(shù)據(jù)“活”起來服務大眾，是大數(shù)據(jù)工程師的工作。在外人眼里，每天和數(shù)據(jù)打交道的他們很神秘，而在他們自己眼中，這項工作既枯燥又有趣，也很有成就感。

(資料圖)

搭建管理平臺

信息時代數(shù)據(jù)無處不在，怎樣使其得到高效利用，從而服務于社會，是大數(shù)據(jù)工程師們肩負的責任，也是他們面臨的挑戰(zhàn)。

“甘肅省全省生態(tài)環(huán)境的總數(shù)據(jù)量有30多億條，目前數(shù)據(jù)共享有4個數(shù)據(jù)項，數(shù)據(jù)量可以達到3200多萬條……”張杰指著電腦顯示屏上甘肅省生態(tài)環(huán)境監(jiān)測大數(shù)據(jù)管理平臺的生態(tài)環(huán)境宏觀決策分析界面說。

2017年，張杰從甘肅農業(yè)大學計算機科學與技術專業(yè)畢業(yè)后，就一直從事大數(shù)據(jù)相關工作。從最初接觸這個行業(yè)到成為業(yè)務骨干，他一邊磨練技術，一邊見證著大數(shù)據(jù)行業(yè)的飛速發(fā)展。

“以前單體項目的數(shù)據(jù)匯總非常麻煩，而且有些數(shù)據(jù)沒經過層層審核，準確度不高。”張杰說，以前數(shù)據(jù)處理要通過線上和線下的不同方式，與涉及各項數(shù)據(jù)的不同部門一一對接。如果對接到的數(shù)據(jù)是線下表格或文檔等非結構化數(shù)據(jù)，還需要付出大量時間和精力進行整理和解析，工作十分繁瑣。

2018年，公司接觸到大數(shù)據(jù)相關數(shù)據(jù)庫和處理工具，便開始對文檔、音頻、視頻等信息進行智能整理。張杰說，“2018年之前，我們還從堆積如山的文檔資料中尋找想要的核心信息，有了大數(shù)據(jù)處理手段，一切變得輕松起來”。

2019年，張杰和同事們開始參與單體應用項目，用大數(shù)據(jù)解決單一的業(yè)務問題。此后，逐漸搭建起了大數(shù)據(jù)管理平臺，將各個業(yè)務系統(tǒng)封閉的數(shù)據(jù)進行統(tǒng)一匯聚、治理、分析、服務，形成協(xié)同應用，并完成了甘肅生態(tài)環(huán)境監(jiān)測大數(shù)據(jù)平臺的驗收交付。

打通數(shù)據(jù)“孤島”

大數(shù)據(jù)，顧名思義就是大量的數(shù)據(jù)、海量的資料，包括常規(guī)數(shù)據(jù)和圖表等多種形式。如何以“聚、通、管、用”等方式打通數(shù)據(jù)“孤島”，實現(xiàn)更廣泛的應用，是大數(shù)據(jù)工程師主要思考的問題。

“比如大氣、土壤和水3個數(shù)據(jù)，都有各自的監(jiān)測指標，不能單憑一個指標就判定一個區(qū)域的環(huán)境質量，要把幾項數(shù)據(jù)打通，找到他們的共同性、關聯(lián)性，然后通過綜合評判，才能知道整體的生態(tài)環(huán)境怎么樣。”張杰告訴記者，在大數(shù)據(jù)處理中，第一步就是要把大量數(shù)據(jù)收集、匯聚起來，第二步就是要打通各類數(shù)據(jù)之間的壁壘，為后期的管理和運用打下基礎。

“通俗來講，就是要通過頂層規(guī)劃設計，建立起數(shù)據(jù)臺賬。相當于目錄和標簽，在使用過程中結合實際業(yè)務需求，可以隨時進行檢索。”張杰說。

“一個單一的數(shù)據(jù)只包含單一信息，但把這個數(shù)據(jù)最大化地使用起來，用完后把結果返回，作為一個新的數(shù)據(jù)存儲，如此循環(huán)，整個數(shù)據(jù)就能包含更多信息，就‘活’了起來。”張杰說。

增強學習能力

有時會感到枯燥，有時會有挫敗感，有時又很有成就感，這就是大數(shù)據(jù)工程師的真實寫照。

“一個看似簡單的微信公眾號頁面，后臺要通過成千上萬的代碼來實現(xiàn)。這些業(yè)外人士看不懂的代碼，就是我們對外交流的語言。”張杰說，大數(shù)據(jù)工程師的工作就在幕后。

“自己悶頭敲了半天代碼，突然出來結果，那個時候特別有成就感；如果長時間沒有結果，也難免產生挫敗感。”張杰說。

張杰清楚地記得，參加工作之初，要寫個三級聯(lián)動小程序，他一周都沒寫出來，感到苦惱。后來，在師傅幫助下，他才寫出來小程序。但完成后，他又刪除了這個程序，從頭開始反復寫、反復琢磨，直到慢慢上手，有了一些心得。通過工作經驗的積累，他如今正基于現(xiàn)有的平臺不斷嘗試，進行新的研發(fā)建設工作，也逐漸找到了這項工作的意義。

“大數(shù)據(jù)技術發(fā)展得很快，一個新概念出現(xiàn)了，還沒來得及弄太明白，市面上就已經出現(xiàn)相應應用產品。這對我們大數(shù)據(jù)工程師來說，總是充滿挑戰(zhàn)。”張杰說，大數(shù)據(jù)技術發(fā)展日新月異，為了不讓自己掉隊，他會積極參加公司定期組織的學習、培訓，還會通過自學、企業(yè)外聘專業(yè)老師授課培訓等多種形式學習新技術、新業(yè)務。“如果不學習就跟不上了，所以一刻都不能放松。”張杰說，他會緊跟大數(shù)據(jù)技術發(fā)展的步伐，不斷充實自己。（經濟日報記者趙梅）

標簽：