數(shù)字經濟時代，最具戰(zhàn)略意義的生產力是什么？
毫無疑問，是大數(shù)據。
全新的數(shù)字化生產方式催化生產力資源的重新分配，金融機構在大數(shù)據體系建設上投入的資源呈指數(shù)級增長。而大數(shù)據集群作為大數(shù)據存儲與計算的載體，近年來各大銀行更是不惜重金爭先擴大其建設規(guī)模。但這樣一股腦兒的投入資源，真的能收獲更高的生產效率和收益嗎？
生產力資源管理 重塑企業(yè)競爭力
縱觀各種經典商業(yè)成功案例可以發(fā)現(xiàn)，能做好生產力資源管理的企業(yè)，往往才有著更強的競爭力。
即便是員工電腦分配這種最基礎的IT資源管理，無論國內外，成熟的企業(yè)也通常會配備一套穩(wěn)定的IT資源評估與管理機制，基于各部門需求彈性分配電腦及配套的IT基礎設施資源，并由歸口部門對公司上下的生產力工具進行統(tǒng)一管理與維護，最大程度保障員工生產效率。
這種對生產力資源統(tǒng)一管理的重視，源自工業(yè)革命時期便流傳下來的一條金科玉律——工業(yè)化的本質就是建立統(tǒng)一標準，降低人工的不確定性，進而提高整個企業(yè)的生產效率和抗風險能力，并以此承載更具規(guī)?；臉I(yè)務與管理模式。
于是，文章開頭拋出的問題，想必我們心里都有了答案——在金融機構紛紛加大 IT 投入的大背景下，大數(shù)據集群的建設已初具規(guī)模，但隨之而來的采購、運維、人力等成本需要常年花費巨額資金。高昂投入下如何提升資源利用效率以實現(xiàn)降本增效，成為擺在大數(shù)據集群建設者和使用者面前的一道必答題，一套與之匹配的科學管理方法論亟需快速落地。
“大數(shù)據集群資源管理”這一概念走向前臺。
大數(shù)據集群資源管理的精細化運營之路
“大數(shù)據集群資源管理”并不是什么新造詞匯，這一概念的誕生與發(fā)展，可以說是與金融行業(yè)大數(shù)據體系的演變過程同頻共振。
概念源起
早期商業(yè)銀行的數(shù)據體系建設以ODS為主。這個階段，行內各部門紛紛獨立建設大數(shù)據集群和數(shù)據應用系統(tǒng)，豎井式分散的管理模式導致大數(shù)據集群資源無法被充分利用，資源大量浪費的問題已然初步顯現(xiàn)。
2008年伊始，國內銀行已經意識到數(shù)據集中管理的重要意義，紛紛展開數(shù)據倉庫的建設工作。這個階段，隨著數(shù)據規(guī)模開始快速增長，銀行在大數(shù)據存儲與計算上投入了大量物理資源，大數(shù)據集群無序管理的問題日益顯著，存在分配不均衡、資源浪費的現(xiàn)象，針對大數(shù)據集群資源使用進行評估、分析與治理的理念逐步形成。
粗放式管理
大數(shù)據集群的建設者和使用者開始利用各種工具輔助管理，譬如大數(shù)據平臺管理工具、硬件平臺管理工具等，并在大數(shù)據集群資源的申請、回收過程中增加了評審環(huán)節(jié)，但依然存在諸多問題：
首先，數(shù)據整體是分散、不聚合的狀態(tài)，評估指標也不夠精細，因此在大數(shù)據集群資源申請或回收的評審環(huán)節(jié)，缺乏強有力的標準支撐；
其次，過多依賴人工介入，缺乏自動化手段及工具，造成大數(shù)據集群資源的調配結果存在適用性及可靠性差等問題。
這個階段，受限于自動化程度不高、監(jiān)控指標權威性不足，在大數(shù)據集群的實際管理中，依然未能有效解決投入資源增長過快和回收不及時等問題。
精細化運營
伴隨著數(shù)據架構從單一平臺架構走向混搭式協(xié)同平臺架構、包含多種技術的綜合架構，數(shù)據形式也由單一的批量結構化數(shù)據，邁向結構化數(shù)據、非結構化數(shù)據、準實時數(shù)據、實時數(shù)據等多種形態(tài)，整體數(shù)據體量已由TB級向PB級邁進。
對于規(guī)模較大的銀行來說，大數(shù)據集群節(jié)點的數(shù)量高達幾千，面臨如此大規(guī)模的數(shù)據集群環(huán)境，如何解決資源難以管控和成本急劇攀升等問題，已刻不容緩。粗放式的人工管理顯然無法持續(xù)，精細化的大數(shù)據集群資源管理勢在必行，暨通過建立科學評估、分析與治理體系，追蹤和監(jiān)控大數(shù)據集群資源的使用情況，基于評估指標進行精細化管控，從而有效控制集群過快增長、合理分配資源。
大方向既定，但具體到實施層面，“大數(shù)據集群資源管理”從概念到落地，尚需要先行者走出一條可行路線。
國內首個大數(shù)據集群資源管理項目成功落地！
2022 年初，某頭部股份制銀行正式啟動大數(shù)據集群資源管理項目。
彼時在大數(shù)據集群資源使用的評估分析體系建設方面，業(yè)界尚無一套科學成熟的評估方法可供參考。長亮科技作為該項目的承建商，從該行的業(yè)務場景出發(fā)，圍繞集群野蠻增長、資源占用不合理等核心問題，以推動資源優(yōu)化改造、提升資源使用效率、實現(xiàn)降本增效為目標，為該行量身打造了一套大數(shù)據集群資源管理建設方案。
構建科學評估方法：構建集群資源、硬件資源、節(jié)點資源、模型、任務等多維度的評價指標，實現(xiàn)大數(shù)據集群資源的科學計量與評估；
資源使用可視化監(jiān)控：建立集群資源配置及消耗信息可視化頁面，并支持全行視角、中心/團隊視角、開發(fā)者視角的監(jiān)控分析，為資源的優(yōu)化配置及合理利用提供決策支撐；
完善資源管理機制：基于資源分析和模型分析方案，建立資源治理事前、事中、事后的管理與評估體系，通過大數(shù)據資源治理平臺，落實資源治理的閉環(huán)管理建設。
近期，該股份制銀行大數(shù)據集群資源管理項目已成功上線，通過對大數(shù)據集群進行精細化管理，有效控制了在線大數(shù)據集群的數(shù)量，促進低效集群下線、合并、縮容降配，提升集群的綜合利用率。該行資源的過快增長得到了有效控制，并逐步建立資源的有效評估機制，長亮科技再度助力客戶打造了一個業(yè)內首創(chuàng)！
即使已經邁出了第一步，但大數(shù)據集群資源評估、分析與治理體系的建設，絕對不會是一項一勞永逸的工作。伴隨著各大金融機構大數(shù)據體系的持續(xù)演變，長亮科技將與時俱進、不斷迭代解決方案，立足于大數(shù)據集群資源側與應用側的全局視角，幫助金融機構全面提升資源利用效率，打造面向未來的新一代“數(shù)字經濟基礎設施”，讓數(shù)字生產力創(chuàng)造更大價值！
