售前電話
135-3656-7657
售前電話 : 135-3656-7657
1. 大數(shù)據(jù)的概念
大數(shù)據(jù)(big data/mega data)是指超大的,幾乎不能用現(xiàn)有的數(shù)據(jù)庫管理技術(shù)和工具處 理的數(shù)據(jù)集。國際數(shù)據(jù)公司(International Data Corporation, IDC)在2012年Intel大數(shù)據(jù)
論壇提出了大數(shù)據(jù)定義。大數(shù)據(jù)有如下特征。
(1) Volume:數(shù)據(jù)量巨大。從TB級別躍升到PB級別。(1PB=1O24TB)
(2) Variety:數(shù)據(jù)種類繁多,來源廣泛且格式日漸豐富,涵蓋了結(jié)構(gòu)化、半結(jié)構(gòu)化和非 結(jié)構(gòu)化數(shù)據(jù)。
(3) Value:數(shù)據(jù)價值密度低。舉個例子來說,在視頻監(jiān)控中,此過程連續(xù)不間斷,但是 有用的數(shù)據(jù)可能僅僅只有一兩秒。
(4) Velocity:處理速度快。不論數(shù)據(jù)量有多大,都能做到數(shù)據(jù)的實時處理。與傳統(tǒng)的 數(shù)據(jù)挖掘技術(shù)相比,在這一點有著本質(zhì)的不同。
2. 物聯(lián)網(wǎng)中的大數(shù)據(jù)特點
與互聯(lián)網(wǎng)不同,物聯(lián)網(wǎng)是在互聯(lián)網(wǎng)的基礎(chǔ)上而發(fā)展形成的新興技術(shù),因此對大數(shù)據(jù)技術(shù) 也有更高的要求,主要體現(xiàn)在以下幾方面。
1) 數(shù)據(jù)量更加豐富
在物聯(lián)網(wǎng)這個大的背景下,大數(shù)據(jù)技術(shù)應(yīng)當(dāng)不斷擴(kuò)大并豐富它的數(shù)據(jù)類型和數(shù)據(jù)量。 數(shù)據(jù)海量性是物聯(lián)網(wǎng)最主要的特點,基于互聯(lián)網(wǎng)的數(shù)據(jù)技術(shù)所能達(dá)到的水平已經(jīng)遠(yuǎn)遠(yuǎn)不能 承載物聯(lián)網(wǎng)帶來的大規(guī)模增長的數(shù)量。為了從根本上滿足物聯(lián)網(wǎng)的基本需求,就必須提升 大數(shù)據(jù)相關(guān)技術(shù)。
2) 數(shù)據(jù)傳輸速度更快
一方面,物聯(lián)網(wǎng)的海量數(shù)據(jù)要求骨干網(wǎng)傳輸帶寬更大;另一方面,由于物聯(lián)網(wǎng)與真實物 理世界直接關(guān)聯(lián),很多情況下需要實時訪問、控制設(shè)備、高數(shù)據(jù)傳輸速率才能有效地支持相 應(yīng)的實時性。
3) 數(shù)據(jù)更加多元化
物聯(lián)網(wǎng)中的數(shù)據(jù)更加多元化:物聯(lián)網(wǎng)涉及的應(yīng)用范圍廣泛,涉及生活中的方方面面,從 智慧物流、智慧城市、智慧交通、商品溯源,到智慧醫(yī)療、智能家居、安防監(jiān)控等都是物聯(lián)網(wǎng)應(yīng) 用領(lǐng)域;不同領(lǐng)域、不同行業(yè)有不同格式的數(shù)據(jù)。
4) 數(shù)據(jù)更加真實
物聯(lián)網(wǎng)是真實物理世界與虛擬信息世界的結(jié)合,物聯(lián)網(wǎng)對數(shù)據(jù)的處理以及基于此進(jìn)行 的決策將直接影響到物理世界,物聯(lián)網(wǎng)中數(shù)據(jù)的真實性顯得尤為重要。
3. 大數(shù)據(jù)與物聯(lián)網(wǎng)
1)從物聯(lián)網(wǎng)看大數(shù)據(jù)
物聯(lián)網(wǎng)由感知層、網(wǎng)絡(luò)層和應(yīng)用層這三層構(gòu)成。感知層包括RFID等無線通信技術(shù)、各 類傳感器、GPS、智能終端、傳感網(wǎng)絡(luò)等,用于識別物體和采集信息。網(wǎng)絡(luò)層包括各種通信網(wǎng) 絡(luò)(互聯(lián)網(wǎng)、電信網(wǎng)等)、信息及處理中心等,網(wǎng)絡(luò)層主要負(fù)責(zé)對感知層獲取的信息進(jìn)行傳遞 和處理。應(yīng)用層主要是基于物聯(lián)網(wǎng)提供的信息為用戶提供相關(guān)的應(yīng)用數(shù)據(jù)、解決方案。從 物聯(lián)網(wǎng)來看大數(shù)據(jù):
(1) 聯(lián)網(wǎng)的實物大為擴(kuò)展。由于聯(lián)網(wǎng)的實物比互聯(lián)網(wǎng)大為增加,各種實物需要各種各 樣的傳感器,同時這些傳感器不停地感知周圍的環(huán)境數(shù)據(jù),使得數(shù)據(jù)量大大增加。而這些海 量數(shù)據(jù)需要存儲、大數(shù)據(jù)分析以提取重要的信息。
(2) 網(wǎng)絡(luò)層。物聯(lián)網(wǎng)傳輸網(wǎng)絡(luò)通過有線、無線通信鏈路,將傳感器終端檢測到的數(shù)據(jù)上 傳至管理平臺,并接收管理平臺的數(shù)據(jù)到各節(jié)點。由于數(shù)據(jù)規(guī)模量大、種類多,實時性要求 不同,就需要有相應(yīng)的大數(shù)據(jù)傳輸技術(shù)為應(yīng)用層提供足夠高的可靠承載能力。
2)物聯(lián)網(wǎng)中的大數(shù)據(jù)處理技術(shù)
通過數(shù)據(jù)可視化、數(shù)據(jù)挖掘、數(shù)據(jù)分析以及數(shù)據(jù)管理等手段來推動物聯(lián)網(wǎng)產(chǎn)業(yè)在數(shù)據(jù)智 能處理及信息決策上的商業(yè)應(yīng)用,利用大數(shù)據(jù)分析可以有效增加公司管理、運營效益。大數(shù) 據(jù)處理技術(shù)在物聯(lián)網(wǎng)中的的應(yīng)用有:
(1) 海量數(shù)據(jù)存儲。對物聯(lián)網(wǎng)產(chǎn)生的大數(shù)據(jù)進(jìn)行存儲,通常采用分布式集群來實現(xiàn)。 傳統(tǒng)的數(shù)據(jù)存儲關(guān)系數(shù)據(jù)庫就可以滿足應(yīng)用需求,但對物聯(lián)網(wǎng)產(chǎn)生的海量異構(gòu)數(shù)據(jù),關(guān)系數(shù) 據(jù)庫則很難做到高效的處理。Google等提出利用廉價服務(wù)群實現(xiàn)并行處理的非關(guān)系分布 式存儲數(shù)據(jù)庫解決方案。
(2) 數(shù)據(jù)分析。數(shù)據(jù)分析就是用適當(dāng)?shù)慕y(tǒng)計分析方法對收集來的海量數(shù)據(jù)進(jìn)行分析, 提取有用的信息并且形成結(jié)論。數(shù)據(jù)分析可幫助人們做出判斷從而使人們采取適當(dāng)?shù)?行動。