數據的未來：規(guī)模更大 速度更快 無處不在
發(fā)布時間：2017-08-14時至今日，企業(yè)要處理的數據與日俱增,。由于他們既要快速地處理數據又要傳遞更多具體可用的信息,，處理過程還要接近實時，這都是不小的挑戰(zhàn),。
具備創(chuàng)新頭腦的企業(yè)總是對數據沉迷,，渴望能理清它們，并從中獲取有用的信息,。這是持續(xù)的挑戰(zhàn),。當人類掌控數據的能力變強，探索并分析數據的欲望也會越來越濃,。
大規(guī)模數據分析正邁入越來越多的新商業(yè)領域,。不論是高管、銷售,、市場營銷,、客戶關系、財務,、運營乃至物流,，幾乎所有現代企業(yè)的商業(yè)范疇都可以從越來越多的數據中獲得競爭優(yōu)勢，改善現有的業(yè)務流程,，建立新的應用,。數據分析也不再是數據學家的專利。它成了現今一般的日常商業(yè)工具,，且無處不在,。數據分析工具和軟件的開發(fā)工作也構成了新挑戰(zhàn)，當數據技術普及后,，開發(fā)者的一大任務就是將高度復雜的技術變得簡單直接,，從而讓與日俱增的新用戶能容易上手。所以,，衡量的指標不僅在于規(guī)模,，“可用性”也益發(fā)重要,。
數據分析不管“大不大”都歸結于搜索的能力。人們總希望從數據中獲得新洞察和知識,。十年前,，向一般用戶提起搜索二字，沒幾個人能立刻體會其帶來的可能性,。但是利用像Elasticsearch這樣的開源技術,，一切新問題都能透過搜索找出，要跨越先前的心理障礙可說十分簡單,。我們看過很多用戶利用數據技術,，應用于各種場景而不僅僅是常規(guī)的搜索。從另一角度看,，這也標志著開源能帶來的好處,。用戶甚至也沒能想象到自己的創(chuàng)新力能到達新的高度。
按照定義,，“大”數據普遍是混合多樣的,。名為“Elasticsearch”的搜索功能結合了數據分析、文本及結構搜索,，是一種靈活的組合,。而數據的形式并不重要，不論是典型的網頁,、文檔,，還是銀行的交易、網站服務器的日志,、各式各樣的度量指標,，都可以加以有效利用。數據的形式和數量已經沒有太大關系,，無論是結構化還是非結構化的數據,，人們想要探索就可搜索。更進一步地說,，即使數據本身的內容很復雜只要搜索可行也會變得無關緊要,。
如果我們回頭看看過去幾十年來企業(yè)數據分析的發(fā)展，這些趨勢在很大程度上都取決于搜索技術的進步,，從而實現新的,、更強大的搜索用途。要有能力搜索數據的不同維度和不同方面的相關性,、搜索非結構化數據,，或者僅是搜索更多的新數據，存儲和索引技術在其中肯定起了重要作用。然而,，這大多是為了制造出新的,、更強大的搜索方式。例如,，圖分析和機器學習等最新的數據技術就是更成熟的搜索應用,。圖分析允許用戶在無需基礎數據的情況下尋找新關聯。現今世界,，搜索技術幾乎壓倒性地擁有一切可能性,。這提供了一種更快速、更強大的方式探索數據,，進而了解重要趨勢和關系,。圖分析也提供了一套綜合功能，方便決定哪些趨勢值得深入分析并持續(xù)監(jiān)測,。即使是機器學習,，核心也需要有搜索技術的支持,。搜索技術一直以來都是用來查看隨時間發(fā)展的數據行為,，并以此辨識重要事件的關鍵指標。IT運維就是典型的例子,，其中的歷史應用程序,、服務器和網絡日志上的分析，這些數據都可以用于識別可能會發(fā)生的系統(tǒng)故障,。
過去,，企業(yè)會要求熟練的數據科學家建立統(tǒng)計模型，并為每個指標確定極限,。這是一個復雜而艱巨的任務,。盡管如此，在使用模型來監(jiān)控實時數據時,，仍可能產生較高的誤報,。結果是行為分析僅限于大型關鍵任務、數據中心和金融交易等高回報的領域,。但是機器學習技術出現后,，行為分析工具開始迅速普及，能夠以更高的準確度自動生成機器學習模型,。三四年前,，一個完整的研究數據的科學團隊才能做到的事，現在各種現成的軟件工具就可以實現并為各機構所用,。這同時為不同業(yè)務的領域開辟了新的以搜索為主的應用方向,。
在所有的業(yè)務當中，需要分析的數據量未來都不會減少,。但大小只是一個維度,?！按蟆笨梢允且粓鲎兓@意味著更大,、更快,、更實時甚至具備預測性。而數據分析也在自我進化,，懂得從數據中了解并學習,。在可以預見的將來，這些技術都會被具備創(chuàng)新思維的企業(yè)所應用,。（來源：中國信息產業(yè)網）
