在當前國家倡導的“質(zhì)量強國”戰(zhàn)略中，計量起到極其關(guān)鍵的作用，計量技術(shù)的發(fā)展支撐著社會發(fā)展的各個方面；計量技術(shù)的創(chuàng)新引領(lǐng)了科技和產(chǎn)業(yè)的創(chuàng)新。而在大數(shù)據(jù)時代，數(shù)據(jù)已成為企業(yè)不可或缺的戰(zhàn)略性資源。如何運用“工業(yè)4.0”、“中國制造2025”思維和大數(shù)據(jù)等高新技術(shù)，發(fā)揮以計量數(shù)據(jù)為主的數(shù)據(jù)在經(jīng)營、管理、決策中的作用，整合計量機構(gòu)的數(shù)據(jù)資源，創(chuàng)新性地挖掘數(shù)據(jù)在應(yīng)用方面的價值，為社會提供計量信息公共服務(wù)，為企業(yè)提供計量業(yè)務(wù)的增值服務(wù)，為行政單位提供計量業(yè)務(wù)的統(tǒng)計分析和預(yù)研預(yù)判服務(wù)，已成為一個非常重要且緊迫的課題。
一、 基于大數(shù)據(jù)的計量公共服務(wù)平臺架構(gòu)設(shè)計
從上圖可看出，該架構(gòu)對計量業(yè)務(wù)活動過程中所涉及的原始記錄等非結(jié)構(gòu)化數(shù)據(jù)源通過ELT工具進行數(shù)據(jù)抽取、清洗、轉(zhuǎn)換，加載到Hadoop平臺的Hive數(shù)據(jù)倉庫，而結(jié)構(gòu)化數(shù)據(jù)源(RDBMS)通過封裝開源軟件sqoop以及開發(fā)專用的數(shù)據(jù)交換組件，實現(xiàn)hadoop的HBase與原有管理信息系統(tǒng)的關(guān)系數(shù)據(jù)庫進行數(shù)據(jù)交換。計量業(yè)務(wù)的數(shù)據(jù)挖掘通過對不同計量主題的分析建立不同的數(shù)據(jù)挖掘模型，而后通過Mahout、Dodo等數(shù)據(jù)挖掘工具對挖掘出的數(shù)據(jù)進行分析，最后通過圖形進行展示。本架構(gòu)的優(yōu)點在于:
(1)充分整合計量機構(gòu)現(xiàn)有的數(shù)據(jù)資源，在挖掘原有系統(tǒng)價值的同時，保護現(xiàn)有的投資，提升現(xiàn)有系統(tǒng)的實際應(yīng)用價值。
(2)利用Hadoop作為底層的數(shù)據(jù)挖掘架構(gòu)，采用sqoop、weka、Dodo等開源數(shù)據(jù)挖掘工具，成熟且經(jīng)濟。
(3)采用經(jīng)典實用數(shù)據(jù)挖掘算法進行聚類分析、關(guān)聯(lián)分析，能極大地提高效率。
(4)計量公共服務(wù)用戶應(yīng)用功能豐富，能充分地滿足社會公眾、企業(yè)、技術(shù)機構(gòu)和政府管理的需要。
二、計量公共服務(wù)大數(shù)據(jù)挖掘關(guān)鍵技術(shù)的研究
1.計量公共服務(wù)主題建模技術(shù)研究
實現(xiàn)計量公共服務(wù)必須在現(xiàn)有數(shù)據(jù)資源池的基礎(chǔ)上，構(gòu)建與計量業(yè)務(wù)有關(guān)的分析主題。因此需要通過研究相關(guān)主題，如與收發(fā)管理、證書管理、質(zhì)量管理、客戶服務(wù)管理、領(lǐng)導決策等業(yè)務(wù)有關(guān)的主題，研究與業(yè)務(wù)相關(guān)的經(jīng)營知識，最終用成熟的統(tǒng)計分析算法、經(jīng)典的數(shù)據(jù)挖掘算法對數(shù)據(jù)資源池的數(shù)據(jù)進行分析，給出關(guān)鍵指標體系的計算結(jié)果。由于計量學涉及幾何、溫度、電磁、光學、化學、力學、電離輻射、時間頻率、無線電、聲學等十大專業(yè)領(lǐng)域，涉及的計量器具有數(shù)千種，可以說是個跨多專業(yè)的學科，因此這里采用跨行業(yè)數(shù)據(jù)挖掘標準流程(CRISP-DM)方法來對計量公共服務(wù)主題進行建模。CRISP-DM作為一個方法論，包括一個項目要經(jīng)過的典型階段的描述，每一階段包含的任務(wù)，以及這些任務(wù)之間關(guān)系的說明。CRISP-DM代表全工業(yè)界的數(shù)據(jù)挖掘標準過程，是一個通過工業(yè)界驗證的指導數(shù)據(jù)挖掘工作的方法。因限于篇幅，下面舉一個簡單實例來進行計量公共服務(wù)主題建模分析，如表1所示。
