10月28日一早，湖北電力信通公司大數(shù)據(jù)室主任廖榮濤登錄數(shù)據(jù)中臺(tái)全鏈路監(jiān)測(cè)平臺(tái)，查看數(shù)據(jù)中臺(tái)當(dāng)天數(shù)據(jù)同步情況。平臺(tái)提示，智慧供應(yīng)鏈應(yīng)用有1張數(shù)據(jù)表在數(shù)據(jù)中臺(tái)的數(shù)據(jù)量為0，核查發(fā)現(xiàn)是該數(shù)據(jù)表在源端系統(tǒng)結(jié)構(gòu)變更造成的。和之前每日由國(guó)網(wǎng)大數(shù)據(jù)中心通知數(shù)據(jù)質(zhì)量問(wèn)題的方式相比，數(shù)據(jù)中臺(tái)全鏈路監(jiān)測(cè)平臺(tái)大大提高了數(shù)據(jù)核查的工作效率。
數(shù)據(jù)中臺(tái)全鏈路監(jiān)測(cè)平臺(tái)是國(guó)網(wǎng)湖北電力企業(yè)級(jí)數(shù)字基礎(chǔ)能力建設(shè)重點(diǎn)項(xiàng)目工作成果之一，由湖北電力信通公司承建。該平臺(tái)于5月份啟動(dòng)建設(shè)，9月底上線運(yùn)行，可對(duì)數(shù)據(jù)從源端系統(tǒng)到數(shù)據(jù)中臺(tái)再到業(yè)務(wù)應(yīng)用的流轉(zhuǎn)通道以及數(shù)據(jù)資源進(jìn)行統(tǒng)一監(jiān)測(cè)，實(shí)現(xiàn)數(shù)據(jù)鏈路可視、可查、可追溯，推動(dòng)數(shù)據(jù)監(jiān)測(cè)應(yīng)用更智能。
細(xì)化數(shù)據(jù)監(jiān)測(cè)顆粒度
精準(zhǔn)定位異常
數(shù)據(jù)從源端業(yè)務(wù)系統(tǒng)接入到數(shù)據(jù)中臺(tái)后，將經(jīng)過(guò)多層清洗、處理、匯總、輸出等流轉(zhuǎn)過(guò)程，且省級(jí)數(shù)據(jù)中臺(tái)和國(guó)網(wǎng)大數(shù)據(jù)中心數(shù)據(jù)中臺(tái)兩級(jí)中臺(tái)之間數(shù)據(jù)交互頻繁、數(shù)據(jù)鏈路復(fù)雜，任何一個(gè)環(huán)節(jié)出現(xiàn)問(wèn)題都會(huì)造成數(shù)據(jù)無(wú)法使用。
“在前期數(shù)據(jù)中臺(tái)狀態(tài)監(jiān)測(cè)專項(xiàng)工作成果的基礎(chǔ)上，平臺(tái)研發(fā)人員統(tǒng)籌設(shè)計(jì)，細(xì)化監(jiān)測(cè)顆粒度，實(shí)現(xiàn)了監(jiān)測(cè)對(duì)象從數(shù)據(jù)表到字段的突破?！焙彪娏π磐ü緮?shù)據(jù)中臺(tái)專責(zé)王晟瑋介紹。平臺(tái)研發(fā)人員梳理各專業(yè)業(yè)務(wù)規(guī)則，厘清數(shù)據(jù)字段從產(chǎn)生、加工融合到流轉(zhuǎn)應(yīng)用的上下游依賴關(guān)系即數(shù)據(jù)鏈路，實(shí)現(xiàn)了數(shù)據(jù)字段級(jí)監(jiān)測(cè)，確保數(shù)據(jù)中臺(tái)字段級(jí)數(shù)據(jù)傳輸?shù)囊恢?、完整與及時(shí)。
厘清數(shù)據(jù)鏈路之后，湖北電力信通公司從數(shù)據(jù)流與組件兩個(gè)維度，設(shè)計(jì)了涵蓋數(shù)據(jù)調(diào)用任務(wù)、中臺(tái)組件、數(shù)據(jù)服務(wù)、重點(diǎn)應(yīng)用4個(gè)方面的58項(xiàng)監(jiān)測(cè)指標(biāo)，明確了數(shù)據(jù)監(jiān)測(cè)的標(biāo)準(zhǔn)。之后，該公司多次研究，確定了通過(guò)元倉(cāng)數(shù)據(jù)、日志信息采集數(shù)據(jù)，加工計(jì)算形成監(jiān)測(cè)指標(biāo)后推送至前端界面，可視化展示全環(huán)節(jié)數(shù)據(jù)流轉(zhuǎn)的技術(shù)路線，實(shí)現(xiàn)數(shù)據(jù)中臺(tái)全鏈路情況在線可視、可查、可監(jiān)測(cè)。
基于數(shù)據(jù)字段級(jí)監(jiān)測(cè)，平臺(tái)還實(shí)現(xiàn)了數(shù)據(jù)異常告警、定位和溯源三大功能。目前，該平臺(tái)已監(jiān)測(cè)數(shù)據(jù)中臺(tái)接入的59個(gè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)，涉及數(shù)據(jù)表1.68萬(wàn)張，日均監(jiān)測(cè)數(shù)據(jù)任務(wù)超3萬(wàn)個(gè)。上線以來(lái)，該平臺(tái)發(fā)現(xiàn)接入數(shù)據(jù)鏈路異常286次，預(yù)警兩級(jí)中臺(tái)異常98次，國(guó)網(wǎng)湖北電力數(shù)據(jù)質(zhì)量問(wèn)題分析耗時(shí)降低80%。
開(kāi)放監(jiān)測(cè)能力
提高數(shù)據(jù)調(diào)用效率
“網(wǎng)上電網(wǎng)應(yīng)用申請(qǐng)將營(yíng)銷(xiāo)業(yè)務(wù)應(yīng)用系統(tǒng)電量電費(fèi)數(shù)據(jù)納入監(jiān)測(cè)平臺(tái)，主要包括302個(gè)‘煤改電’等臺(tái)區(qū)5.5萬(wàn)戶客戶的用電量數(shù)據(jù)。”10月29日，王晟瑋收到國(guó)網(wǎng)湖北電力發(fā)展部專責(zé)葉宇軒的郵件。王晟瑋了解情況后，組織技術(shù)人員制訂方案，開(kāi)展電量電費(fèi)數(shù)據(jù)鏈路梳理，并在平臺(tái)上配置相關(guān)信息。當(dāng)天下午，葉宇軒便可以在數(shù)據(jù)中臺(tái)全鏈路監(jiān)測(cè)平臺(tái)的應(yīng)用監(jiān)測(cè)模塊看到數(shù)據(jù)同步情況，省去了數(shù)據(jù)確認(rèn)與核查的環(huán)節(jié)，數(shù)據(jù)調(diào)用效率大大提升。
隨著數(shù)據(jù)中臺(tái)的深化應(yīng)用，跨專業(yè)、跨部門(mén)的數(shù)據(jù)調(diào)用日益頻繁。以往數(shù)據(jù)開(kāi)發(fā)人員申請(qǐng)數(shù)據(jù)后，一般通過(guò)電話、郵件與業(yè)務(wù)部門(mén)核對(duì)確認(rèn)業(yè)務(wù)數(shù)據(jù)狀態(tài)。這種方式耗時(shí)費(fèi)力，而且當(dāng)業(yè)務(wù)數(shù)據(jù)狀態(tài)出現(xiàn)變更或錯(cuò)誤時(shí)，沒(méi)有預(yù)警和定向通知，信息無(wú)法自動(dòng)及時(shí)傳達(dá)給相關(guān)人員，問(wèn)題處理較為被動(dòng)。
為了更好地支持業(yè)務(wù)部門(mén)開(kāi)展數(shù)據(jù)分析應(yīng)用，湖北電力信通公司為數(shù)據(jù)中臺(tái)全鏈路監(jiān)測(cè)平臺(tái)開(kāi)發(fā)了應(yīng)用監(jiān)測(cè)模塊，相關(guān)人員可查看業(yè)務(wù)數(shù)據(jù)在各環(huán)節(jié)的情況。通過(guò)該平臺(tái)，跨專業(yè)的數(shù)據(jù)共享和使用更加便捷，大幅降低了溝通成本，推動(dòng)數(shù)據(jù)分析應(yīng)用的開(kāi)發(fā)迭代時(shí)長(zhǎng)縮短20%。
按需聯(lián)動(dòng)
提供個(gè)性化監(jiān)測(cè)需求解決方案
10月28日，黃岡供電公司配網(wǎng)故障搶修應(yīng)用負(fù)責(zé)人胡歡君在全鏈路監(jiān)測(cè)平臺(tái)查看數(shù)據(jù)運(yùn)行情況。應(yīng)用后臺(tái)數(shù)據(jù)鏈路運(yùn)行正常，數(shù)據(jù)更新頻率為5分鐘，滿足應(yīng)用開(kāi)發(fā)需求。配網(wǎng)故障搶修應(yīng)用需要抽取用電信息采集系統(tǒng)中的實(shí)時(shí)電流、電壓等數(shù)據(jù)，并根據(jù)時(shí)效性調(diào)整應(yīng)用開(kāi)發(fā)策略，對(duì)數(shù)據(jù)時(shí)效性要求較高。此前，全鏈路監(jiān)測(cè)平臺(tái)常規(guī)的日監(jiān)測(cè)模式無(wú)法其滿足開(kāi)發(fā)要求。
收到配網(wǎng)故障搶修應(yīng)用的數(shù)據(jù)抽取需求后，全鏈路監(jiān)測(cè)平臺(tái)技術(shù)人員將配網(wǎng)故障搶修應(yīng)用的接入數(shù)據(jù)顆粒度由數(shù)據(jù)表細(xì)化到涉及電流、電壓等數(shù)據(jù)的字段，并設(shè)置數(shù)據(jù)時(shí)效性監(jiān)測(cè)指標(biāo)和異常告警規(guī)則，讓?xiě)?yīng)用能夠?qū)崟r(shí)獲取源端數(shù)據(jù)更新情況。
針對(duì)應(yīng)用開(kāi)發(fā)中常見(jiàn)的數(shù)據(jù)變動(dòng)頻繁、時(shí)效性以及優(yōu)先級(jí)要求不同等情況，湖北電力信通公司梳理個(gè)性化監(jiān)測(cè)需求背后的業(yè)務(wù)邏輯，找準(zhǔn)數(shù)據(jù)鏈條，并根據(jù)應(yīng)用需求定制化設(shè)置監(jiān)測(cè)顆粒度，提高數(shù)據(jù)監(jiān)測(cè)與應(yīng)用開(kāi)發(fā)實(shí)際需求的契合度。
“新建應(yīng)用及重點(diǎn)應(yīng)用可按需提高監(jiān)測(cè)頻率、配置告警閾值、定制監(jiān)測(cè)指標(biāo)，結(jié)合業(yè)務(wù)變化靈活調(diào)整。”國(guó)網(wǎng)湖北電力數(shù)據(jù)中臺(tái)總體負(fù)責(zé)人周鴻雁說(shuō)，“目前，全鏈路監(jiān)測(cè)平臺(tái)重點(diǎn)保障向國(guó)網(wǎng)大數(shù)據(jù)中心報(bào)送的507張數(shù)據(jù)表的傳輸，支撐國(guó)網(wǎng)湖北電力243項(xiàng)考核指標(biāo)的計(jì)算，持續(xù)開(kāi)展本地116條關(guān)鍵數(shù)據(jù)鏈路監(jiān)測(cè)，更多的監(jiān)測(cè)需求我們還在積極與業(yè)務(wù)部門(mén)對(duì)接中。后續(xù)，我們將不斷拓展監(jiān)測(cè)范圍及深度，讓監(jiān)測(cè)服務(wù)流程更加標(biāo)準(zhǔn)化。”
評(píng)論