在這個“數(shù)據(jù)即資產(chǎn)”的時代，如果企業(yè)能有效使用數(shù)據(jù)，這必將成為企業(yè)數(shù)字化轉(zhuǎn)型升級的有力武器。而當今大數(shù)據(jù)技術(shù)日新月異，我們需要利用它來生產(chǎn)價值。 我們研發(fā)的一站式大數(shù)據(jù)服務平臺，意在提供包括數(shù)據(jù)采集、處理、規(guī)則制定、標準化、資產(chǎn)化和服務化等全鏈路的產(chǎn)品和服務。 我們的目標就是構(gòu)建一個讓業(yè)務應用與大數(shù)據(jù)緊密結(jié)合的智能平臺。 平臺內(nèi)核主要包含兩部分，一是數(shù)據(jù)采集。數(shù)據(jù)采集不僅要“獲取”，同時也要“儲存”。我們開發(fā)了兩款工具，一款專門用于批量采集，另一款專門用于實時采集。二是數(shù)據(jù)開發(fā)，我們基于生態(tài)圈內(nèi)的計算引擎，以Hdfs、Hbase、kudu作為分布式存儲，為數(shù)據(jù)開發(fā)、分析、挖掘和算法工程師提供了一套可視化的開發(fā)界面。開發(fā)者可以在這個界面上做全部的開發(fā)工作，包括數(shù)據(jù)同步配置、任務創(chuàng)建（包括實時任務和離線任務）、數(shù)據(jù)模型構(gòu)建、調(diào)度配置、運維監(jiān)控等，極大地提高了工作效率。 再來看數(shù)據(jù)治理，我們圍繞完整的數(shù)據(jù)進行一系列的數(shù)據(jù)質(zhì)量監(jiān)控、規(guī)則定義、元信息展示等。通過模板監(jiān)控各個環(huán)節(jié)的數(shù)據(jù)質(zhì)量，并每天定期生成數(shù)據(jù)質(zhì)量檢測報告，讓數(shù)據(jù)開發(fā)者對數(shù)據(jù)質(zhì)量有所把握，及時修正問題數(shù)據(jù)；并形成全局的數(shù)據(jù)地圖，分析數(shù)據(jù)來源，確定數(shù)據(jù)影響，以便數(shù)據(jù)開發(fā)和維護；最后還幫助開發(fā)者制定一系列的數(shù)據(jù)標準，消除二義性，統(tǒng)一口徑。 此外，我們利用數(shù)學統(tǒng)計、機器學習等大數(shù)據(jù)技術(shù)構(gòu)建企業(yè)的標簽體系，將原始數(shù)據(jù)打造成易于理解的標簽體系，讓數(shù)據(jù)在各類業(yè)務場景中發(fā)揮價值