人大金倉完成新疆農村信用社數據倉庫國產化
2021-03-22 16:42:24 來源:財訊網
隨著國家“新基建”戰略的推進,國產軟硬件迎來跨越式發展,在金融、政務、電信等核心領域均具備不斐實踐。作為我國信息化程度最高的行業之一,金融行業是我國信息化建設的重點領域。近年來,隨著全球化逆流加劇,金融行業IT建設國產化進入加速期。
近日,在新疆農村信用社(以下簡稱“新疆農信”)數據倉庫國產化替代項目中,人大金倉順利完成由IBM Netezza數據庫到金倉分布式分析型數據庫系統KingbaseAnalyticsDB(以下簡稱“KADB”)的遷移,遷移后,客戶的數據庫使用及服務成本節省10倍,數據庫加載速度與分析性能顯著提升。
項目背景
新疆農信ODS業務核心數倉接入其 “核心”、“網銀”、“財管”、“銀聯”、“信貸”、“前置”和農信銀等重要業務系統;
每天高密度、結構化數據的批量加載、處理、分析:數倉存儲數據量壓縮后近20TB,每日運行批量加工過程500+,每日入庫量30GB+,全天數據加工處理流程時間<3小時(清洗/裝載、匯總、報表);
流水型業務場景:整個過程需要通過集中控制平臺以定時任務的形式將每日增量數據導入到數據庫中,并通過多層模型清洗轉換基礎數據,每一層需依賴上層轉化好的數據,最終完成所有業務操作后將最終結果上報到總行。
原數據庫性能及服務無法滿足需求:原有數據庫為基于一體機架構體系下的數據分析和數據存儲平臺。采用Netezza構建ODS,隨著數據量的增大,Netezza在性能及各方面表現日趨下降,已不能滿足新疆農村信用社使用需求。2019年,IBM停止Netezza的服務支持,新疆農信ODS業務陷入無數據庫原廠提供服務保障的困境。
客戶痛點
安全風險:原數據庫IBM Netezza采用的是基于一體機架構體系下的數據分析和數據存儲平臺,整體從硬件到軟件都由IBM提供,對硬件要求非常高,整體架構不適用于目前場景;且系統相對封閉,產品代碼層面不可控。
業務運行風險:壓縮后約20TB的數據庫歷史存量,每日30GB+數據增量,導致數據庫負載壓力巨大,數據庫性能提升刻不容緩。
原廠服務保障風險:銀行系統對于響應的要求近乎苛刻,需要時刻保證數據庫安全穩定運行,數據庫廠商最好能夠提供7*24小時本地化服務。
金倉方案
人大金倉采用分布式可擴展架構對客戶原來的一體機架構進行替換,經過KADB國產化替代后,架構如下:
原Netezza數據倉庫體系架構如下:
金倉價值
開放架構:采用shared-nothing架構的MPP技術路線,金倉分析型數據庫系統KingbaseAnalyticsDB產品特性助力,在滿足高性能、高擴展性、低成本的基礎上,同時滿足金融架構的高可用、低風險、強管控要求;
數據庫遷移:通過金倉數據庫遷移工具,完成600多個控制任務、200多張拉鏈及增量表、近20TB存量數據的自動化遷移,節省了大量的時間及人力成本。
性能優化提升:通過分布式架構的并行計算能力,將數據分布在所有節點上,減輕了單臺服務器的存儲壓力,通過高度并行的計算框架,加速每個節點的計算效率,完成數據庫集群整體性能提升。最優化的I/O處理能力:無共享MPP架構,能夠滿足所有節點同時進行并行處理,無I/O沖突;
極速數據加載能力,智能加載,無需通過冗余節點,性能極高;
高效數據存儲能力:支持主流高效率壓縮算法,壓縮比可達1:20,協助用戶獲得最佳存儲效率;
大規模并行能力:集群支持將計算任務分發給各個主機并行執行,可最大程度利用集群中的計算資源完成任務;
數據庫加載速度與分析性能較Netezza顯著提升。
近日,該項目已正式上線且運行穩定,本次項目實現了新疆維吾爾族自治區銀行類業務國產化替代由0到1的飛躍,為新疆農村信用社將來全面實現國產化替代注入了一劑強心針,為更多金融信息安全領域企業使用國產數據庫奠定了信心!
免責聲明:市場有風險,選擇需謹慎!此文僅供參考,不作買賣依據。
關鍵詞:
相關閱讀
精彩推薦