一、結構化數(shù)據(jù)、非結構化數(shù)據(jù)、半結構化數(shù)據(jù)
結構化數(shù)據(jù)
結構化的數(shù)據(jù)一般是指可以使用關系型數(shù)據(jù)庫表示和存儲,可以用二維表來邏輯表達實現(xiàn)的數(shù)據(jù)。
一般特點是:數(shù)據(jù)以行為單位,一行數(shù)據(jù)表示一個實體的信息,每一行數(shù)據(jù)的屬性是相同的,存儲在數(shù)據(jù)庫中;能夠用數(shù)據(jù)或統(tǒng)一的結構加以表示,如數(shù)字、符號;能夠用二維表結構來邏輯表達實現(xiàn),包含屬性和元組,如:成績單就是屬性,90分就是其對應的元組。
傳統(tǒng)的關系數(shù)據(jù)模型、行數(shù)據(jù),存儲于數(shù)據(jù)庫,可用二維表結構表示。而結構化的數(shù)據(jù)的存儲和排列是很有規(guī)律的,這對查詢和修改等操作很有幫助。
對于結構化數(shù)據(jù)來講通常是先有結構再有數(shù)據(jù),而對于半結構化數(shù)據(jù)來說則是先有數(shù)據(jù)再有結構。
半結構化數(shù)據(jù)
半結構化數(shù)據(jù)是結構化數(shù)據(jù)的一種形式,它并不符合關系型數(shù)據(jù)庫或其他數(shù)據(jù)表的形式關聯(lián)起來的數(shù)據(jù)模型結構,但包含相關標記,用來分隔語義元素以及對記錄和字段進行分層,數(shù)據(jù)的結構和內容混在一起,沒有明顯的區(qū)分,因此,它也被稱為自描述的結構,簡單的說半結構化數(shù)據(jù)就是介于完全結構化數(shù)據(jù)和完全無結構的數(shù)據(jù)之間的數(shù)據(jù)。例如:HTML文檔,JSON,XML和一些NoSQL數(shù)據(jù)庫等就屬于半結構化數(shù)據(jù)。
非結構化數(shù)據(jù)
非結構化數(shù)據(jù)顧名思義,就是沒有固定結構的數(shù)據(jù)。包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等都屬于非結構化數(shù)據(jù)。對于這類數(shù)據(jù),我們一般直接整體進行存儲,而且一般存儲為二進制的數(shù)據(jù)格式。
典型的人為生成的非結構化數(shù)據(jù)包括:
文本文件:文字處理、電子表格、演示文稿、電子郵件、日志。
社交媒體:來自新浪微博、微信、QQ、Facebook,Twitter,LinkedIn等平臺的數(shù)據(jù)。
網(wǎng)站: YouTube,Instagram,照片共享網(wǎng)站。
移動數(shù)據(jù):短信、位置等。
通訊:聊天、即時消息、電話錄音、協(xié)作軟件等。
媒體:MP3、數(shù)碼照片、音頻文件、視頻文件。
業(yè)務應用程序:MS Office文檔、生產(chǎn)力應用程序。
典型的機器生成的非結構化數(shù)據(jù)包括:
衛(wèi)星圖像:天氣數(shù)據(jù)、地形、軍事活動。
科學數(shù)據(jù):石油和天然氣勘探、空間勘探、地震圖像、大氣數(shù)據(jù)。
數(shù)字監(jiān)控:監(jiān)控照片和視頻。
傳感器數(shù)據(jù):交通、天氣、海洋傳感器。
延伸閱讀:
二、非結構化數(shù)據(jù)背后的價值
結構化數(shù)據(jù)與非結構化數(shù)據(jù)兩者之間最大的區(qū)別在于分析的便利性。針對結構化數(shù)據(jù)存在成熟的分析工具,但用于挖掘非結構化數(shù)據(jù)的分析工具正處于萌芽和發(fā)展階段。
除此之外,非結構化數(shù)據(jù)比結構化數(shù)據(jù)要多得多,隨著網(wǎng)絡技術的發(fā)展,特別是Internet和其技術的飛快發(fā)展,使得非結構化數(shù)據(jù)的數(shù)量日趨增大。
據(jù)IDC研究表明,到2025年,全球數(shù)據(jù)量將會從2016年的16 ZB上升至163ZB。知名研究機構Garter也表示,全球信息量正在以59% 以上的年增長率快速增長。
而在這些數(shù)據(jù)中,結構化數(shù)據(jù)僅占到全部數(shù)據(jù)量的20%,其余80%都是以文件形式存在的非結構化和半結構化數(shù)據(jù),日志文件、機器數(shù)據(jù)等又占據(jù)非結構化數(shù)據(jù)的90%。