去年，我們曾經問過大家“大數據還是個(gè)值得關(guān)注的大事(shì)嗎(ma)？”，并注意到由于大數據更像是一(yī)種“系統化(huà)工程”，因此在企業的接受速度方面要落後于整個(gè)業界的炒作(zuò)。大數據技術用了(le)多年時(shí)間(jiān)進行演化(huà)，才從一(yī)種看起來(lái)很酷的新(xīn)技術變成企業在生(shēng)産環境中實際部署的核心企業級系統。
2017年，我們已經很适應這(zhè)樣的部署階段。“大數據”這(zhè)個(gè)詞正在逐漸淡出我們的視(shì)野，但(dàn)這(zhè)種技術本身(shēn)還在飛速擴張。各行各業的各種轶事(shì)和證據證明相關(guān)産品越來(lái)越成熟，在越來(lái)越多的财富1000強企業内開始投入實用，很多初創公司借助這(zhè)些(xiē)技術快(kuài)速實現(xiàn)了(le)收入增長。
與此同時(shí)，宣傳炒作(zuò)的泡沫開始毋庸置疑地轉向了(le)這(zhè)個(gè)生(shēng)态系統中機器(qì)學習和人(rén)工智能(néng)等領域。過去幾個(gè)月(yuè)(yuè)來(lái)，人(rén)工智能(néng)領域湧現(xiàn)出一(yī)種“大爆炸”式的集體(tǐ)意識，這(zhè)一(yī)情況與幾年前大數據技術的“遭遇”相差無幾，不過發展速度更快(kuài)。
從另一(yī)個(gè)角度來(lái)看，2017年也(yě)是激動人(rén)心的一(yī)年：望穿秋水的IPO。今年頭幾個(gè)月(yuè)(yuè)，大數據領域的初創公司在這(zhè)方面活動頻頻，并得到了(le)公開市(shì)場(chǎng)的熱切歡迎。
總的來(lái)說(shuō)，數據生(shēng)态系統在2017年終于實現(xiàn)了(le)火(huǒ)力全開。與以往每年一(yī)樣，我們将通過一(yī)年一(yī)次的大數據領域回顧為(wèi)大家提供一(yī)個(gè)詳細的“國情咨文”，将我們針對這(zhè)一(yī)行業的見解總結為(wèi)關(guān)鍵趨勢奉獻給大家。
開始吧(ba)！
上(shàng)層趨勢
大數據+人(rén)工智能(néng)=全新(xīn)技術棧
任何風(fēng)險投資機構有幸看到的各種宣傳都能(néng)證明，2016年，每家初創公司都在變身(shēn)成為(wèi)“機器(qì)學習公司”，“。ai”已成為(wèi)必備的域名，而“等等，我們會通過機器(qì)學習技術解決這(zhè)個(gè)問題”已經開始普遍出現(xiàn)在各類集資活動的演示文稿中。
圍繞人(rén)工智能(néng)的報(bào)道、座談會、新(xīn)聞郵件，以及微博層出不窮，很多早已在關(guān)注機器(qì)學習技術的人(rén)，他們的反應就(jiù)好(hǎo)(hǎo)像發現(xiàn)自己當地的某個(gè)品牌突然開始了(le)全球化(huà)擴張：一(yī)方面，倍感驕傲；但(dàn)另一(yī)方面，就(jiù)好(hǎo)(hǎo)像面對派對上(shàng)姗姗來(lái)遲又裝腔作(zuò)勢的人(rén)那樣表現(xiàn)出明顯的厭煩之情，同時(shí)做好(hǎo)(hǎo)了(le)不可避免會感到失望的心理(lǐ)準備。
雖然很容易認為(wèi)這(zhè)些(xiē)趨勢的發展非常和緩，但(dàn)該領域所經曆的演變是不可避免，并且影響深遠(yuǎn)的：機器(qì)學習正在快(kuài)速成為(wèi)很多應用程序中最重要的組件。
我們正在見證一(yī)個(gè)新(xīn)技術棧的湧現(xiàn)，在這(zhè)個(gè)技術棧中，大數據技術被用于處理(lǐ)數據工程方面的核心挑戰，而機器(qì)學習技術被用于從數據中提取出價值（以分(fēn)析見解或操作(zuò)等形式）。
換句話(huà)說(shuō)：大數據提供了(le)渠道，人(rén)工智能(néng)提供了(le)我們需要的智能(néng)。
當然，這(zhè)種共生(shēng)關(guān)系并不是什(shén)麽新(xīn)事(shì)物，但(dàn)隻有少數人(rén)有幸能(néng)夠真正實現(xiàn)。
這(zhè)些(xiē)技術正在真正開始變的“民(mín)主化(huà)”。“大數據+人(rén)工智能(néng)”已經成為(wèi)很多現(xiàn)代化(huà)應用（無論面向普通消費者或企業的應用）的默認技術棧。大量初創公司和一(yī)些(xiē)财富1000強企業都在使用這(zhè)種新(xīn)的技術棧（例如(rú)JPMorgan的“ContractIntelligence”應用）。
通常來(lái)說(shuō)，雲計算(suàn)是這(zhè)個(gè)“闆凳”的第三條腿，但(dàn)也(yě)并非總是如(rú)此。這(zhè)一(yī)領域的發展也(yě)受到各大雲計算(suàn)巨頭的推動，這(zhè)些(xiē)巨頭們正在舉行一(yī)場(chǎng)公開的戰争，争先恐後地開始提供機器(qì)學習雲（下(xià)文将詳細介紹）。
短期來(lái)看，是否可以認為(wèi)民(mín)主化(huà)會促進人(rén)工智能(néng)技術的商(shāng)品化(huà)？實際上(shàng)從技術角度來(lái)說(shuō)，人(rén)工智能(néng)依然很難。雖然很多工程師正在争先恐後地培養有關(guān)人(rén)工智能(néng)技術的技能(néng)，但(dàn)至少到目前，全球範圍内深入鑽研這(zhè)一(yī)領域的專家依然很少。
不過這(zhè)種民(mín)主化(huà)的趨勢至少不會“開倒車”，機器(qì)學習技術遲早會從競争優勢“進化(huà)”成為(wèi)一(yī)必備要素。而這(zhè)種趨勢對初創公司和大企業都産生(shēng)了(le)深遠(yuǎn)的影響。對于初創公司：除非你所開發的人(rén)工智能(néng)軟件是最終産品，那麽将你自己稱呼為(wèi)一(yī)家“機器(qì)學習公司”這(zhè)樣的做法很快(kuài)将變的毫無意義。對于大型企業：如(rú)果目前你還沒有積極主動地制定“大數據+人(rén)工智能(néng)”的戰略（自行實現(xiàn)或與其他供應商(shāng)合作(zuò)），那麽你們很快(kuài)會面臨被淘汰的境地。關(guān)于大數據，這(zhè)樣的說(shuō)法已經持續多年了(le)，但(dàn)随着以大數據技術為(wèi)基礎誕生(shēng)的人(rén)工智能(néng)技術飛速發展，這(zhè)一(yī)天隻會更快(kuài)速地到來(lái)。
企業的預算(suàn)：逐利
過去多年來(lái)，在我們與大數據技術的買家和賣家的交談中，我們發現(xiàn)财富1000強公司中，越來(lái)越多的預算(suàn)被用于對核心基礎架構進行升級，以及與數據分(fēn)析有關(guān)的技術，大家都對大數據技術給予極大關(guān)注。很多分(fēn)析機構也(yě)認同這(zhè)一(yī)結論：IDC預計，到2020年，大數據和分(fēn)析市(shì)場(chǎng)将從2016年的1300億美元市(shì)場(chǎng)規模增長至2030億美元。
在大數據技術方面，财富1000強公司的很多買家正變的越來(lái)越成熟和理(lǐ)智。過去多年來(lái)，他們已經進行了(le)充分(fēn)的研究調研，現(xiàn)在已經準備好(hǎo)(hǎo)全面部署了(le)。不僅技術型行業，目前很多行業均是如(rú)此。這(zhè)種飛速變化(huà)的趨勢還得到了(le)老技術自然淘汰周期的進一(yī)步助推，對于大型企業，通常每隔幾年就(jiù)會這(zhè)樣做一(yī)次。曾經逆風(fēng)飛揚（難以剔除或取代原有基礎架構）的大數據技術現(xiàn)在正逐漸變的順勢而飛（“我們需要替換過時(shí)的技術，市(shì)面上(shàng)最好(hǎo)(hǎo)的同類技術是啥？”）。
當然，很多大企業（“晚期從衆者”）依然是大數據領域的“新(xīn)手”，但(dàn)這(zhè)種情況的變化(huà)速度變的越來(lái)越快(kuài)了(le)。
企業數據正在陸續上(shàng)雲
就(jiù)在幾年前，如(rú)果你建議(yì)企業将數據遷移至公有雲，大企業的CIO給你的回應大部分(fēn)隻會是“除非我死了(le)”，當時(shí)他們頂多隻願意将開發環境，或各種稀奇古怪，非關(guān)鍵的對外應用程序遷移至雲端。但(dàn)現(xiàn)在他們的看法似乎開始産生(shēng)變化(huà)了(le)，去年以來(lái)這(zhè)種變化(huà)非常明顯。我們聽(tīng)到了(le)一(yī)種更為(wèi)開放(fàng)的心态：大家已經逐漸認識到“反正我們的客戶數據本來(lái)就(jiù)已經保存在Salesforce的雲中”，或者“在網絡安全的預算(suàn)方面，我們的投入與AWS壓根兒(ér)沒得比”，而諷刺的是，過去多年來(lái)，對安全的顧慮曾是企業接受雲計算(suàn)的主要障礙之一(yī)，但(dàn)雲供應商(shāng)在安全與合規（HIPAA）等方面的辛苦努力終于得到了(le)證明和回報(bào)。
毫無疑問，目前離大部分(fēn)企業數據都保存在公有雲中這(zhè)一(yī)目标還有一(yī)定距離，但(dàn)部分(fēn)原因在于遺留系統和管控制度。
然而演變的趨勢是明顯的，并且越來(lái)越快(kuài)。雲供應商(shāng)會盡一(yī)切努力促進這(zhè)一(yī)過程，甚至提供搬運海量數據的卡車。
2017大數據全景
言歸正傳，我們想象中2017年大數據領域的全景是這(zhè)樣的。
1、我們放(fàng)大看看開源技術部分(fēn)：
2、當然，今年我在FirstMark的同事(shì)JimHao也(yě)對此圖的制作(zuò)提供了(le)巨大的幫助。
合并工作(zuò)開始了(le)嗎(ma)？
大數據領域每一(yī)年都變的更加熱鬧，因此這(zhè)就(jiù)造成了(le)一(yī)個(gè)顯而易見的問題：這(zhè)個(gè)行業是否迎來(lái)了(le)大規模并購(gòu)的風(fēng)潮？
似乎還沒，至少目前還看不出這(zhè)樣的趨勢。
首先，風(fēng)投們會繼續愉快(kuài)地注資各家新(xīn)老公司。2017年頭幾個(gè)月(yuè)(yuè)，為(wèi)成長階段的大數據初創公司注入巨資的消息此起彼伏：Looker（D輪，8100萬美元）、InsideSales（F輪，5千萬美元）、DataRobot（C輪，5400萬美元）、Confluent（C輪，5千萬美元）、Collibra（C輪，5千萬美元）、Uptake（C輪，4千萬美元）、WorkFusion（D輪，3500萬美元），以及MapD（B輪，3500萬美元）。另外DataBricks非常值得注意，他們在2016年12月(yuè)(yuè)剛獲得6千萬美元的C輪投資。全球範圍内，大數據初創公司在2016年得到了(le)風(fēng)投機構總計148億美元的投資，其中10%由全球性的技術VC提供。
另外需要注意，該領域的相關(guān)投資大多是全球性的，歐洲、以色列（如(rú)VoyagerLabs）、中國（iCarbonX）等地均有大量公司成立并獲得注資。
其次，2016年全景中曾經提到，并購(gòu)活動已在有序進行，但(dàn)沒有特别讓人(rén)印象深刻的，也(yě)許部分(fēn)原因在于私營公司的估值始終居高不下(xià)。我們在2016年大數據全景中曾經提到，共有41家公司被并購(gòu)（完整清單請參閱文末備注），2017年，并購(gòu)的節奏大體(tǐ)上(shàng)會與去年持平。
另一(yī)方面，2017年至今已經出現(xiàn)了(le)一(yī)些(xiē)非常大的并購(gòu)活動，例如(rú)Mobileye（被Intel以153億美元收購(gòu)）、AppDynamics（思科，37億美元），以及NimbleStorage（HPE，12億美元）。
去年還曾出現(xiàn)過一(yī)種較為(wèi)普遍但(dàn)并不持久的現(xiàn)象：大型技術公司瘋狂并吞人(rén)工智能(néng)領域的初創公司，尤其是專為(wèi)各種水平問題（Horizontalproblem）組建了(le)團隊的公司。例如(rú)：Turi（Apple）、MagicPony（Twitter）、VivLabs（三星）、MetaMind（Salesforce）、GeometricIntelligence（Uber）、API.ai（Google），以及Wise.io（GE）。雖然這(zhè)些(xiē)舉措使得主要針對水平領域的人(rén)工智能(néng)初創公司快(kuài)速成為(wèi)VC眼中的香饽饽，但(dàn)這(zhè)種不假思索的快(kuài)速收購(gòu)可能(néng)也(yě)對應着各種炒作(zuò)，以及人(rén)工智能(néng)領域工程師的缺乏所造成的特殊時(shí)間(jiān)段。
第三，一(yī)些(xiē)大型大數據初創公司正在變成獨立的上(shàng)市(shì)公司。SNAP可以說(shuō)是帶動了(le)技術公司IPO市(shì)場(chǎng)的複蘇，但(dàn)截至目前，能(néng)夠借助該機會成功變現(xiàn)的依然隻有大數據領域的公司。
雖然2016年全年，隻有Talend這(zhè)一(yī)家大數據公司成功上(shàng)市(shì)，但(dàn)2017年截至目前這(zhè)一(yī)領域内滿是IPO良機。Mulesoft和Alteryx成功上(shàng)市(shì)并且表現(xiàn)還不錯，這(zhè)兩家的發行價都超過了(le)IPO價格。在撰寫本文時(shí)，Cloudera也(yě)即将上(shàng)市(shì)，該公司最新(xīn)預估價（41億美元）與營收（2016年2.61億美元）之間(jiān)的空缺對于“獨角獸”的估價現(xiàn)象将造成不小的考驗。此外MapR以及位置智能(néng)公司Yext也(yě)正在準備上(shàng)市(shì)。
接下(xià)來(lái)會是誰？多年來(lái)，Palantir作(zuò)為(wèi)業内最低(dī)調的公司之一(yī)，已經表達出想要公開上(shàng)市(shì)的意圖。考慮到Palantir的最新(xīn)預估價為(wèi)200億美元，如(rú)果其公開估價能(néng)夠接近這(zhè)一(yī)數字，将會成為(wèi)IPO領域的一(yī)枚重磅炸彈。
打響雲端戰役
失敗和收購(gòu)活動也(yě)許不會讓這(zhè)個(gè)行業立刻得到鞏固，但(dàn)“功能(néng)合并”的情況日漸普遍，尤其是在雲計算(suàn)領域。該領域内一(yī)些(xiē)重量級選手正在逐漸構建整合式的“大數據+人(rén)工智能(néng)”服務(wù)，并且吸引了(le)不少用戶，這(zhè)些(xiē)服務(wù)或者使用了(le)自行開發的産品，或通過流行的開源計算(suàn)引擎自行實現(xiàn)，這(zhè)種服務(wù)距離很多買家所期待的“一(yī)站(zhàn)式購(gòu)買”越來(lái)越近了(le)。
尤其是AmazonWebServices還在繼續快(kuài)速發布不同類型的産品，讓人(rén)獲得了(le)深刻的印象。目前該公司已經圍繞大數據和人(rén)工智能(néng)技術提供了(le)幾乎所有産品，包括分(fēn)析框架、實時(shí)分(fēn)析、數據庫（NoSQL、圖形等）、商(shāng)業智能(néng)，以及日益完善的人(rén)工智能(néng)能(néng)力，并且在深度學習方面頗有建樹（完整清單可參閱這(zhè)裏）。按照這(zhè)樣的速度，AWS很快(kuài)将具備我們的大數據全景中所涉及的幾乎所有基礎架構和分(fēn)析産品。
雖然Google涉足雲計算(suàn)的時(shí)間(jiān)較晚，但(dàn)他們正在圍繞大數據積極主動地構建一(yī)系列産品（BigQuery、Dataflow、Dataproc、Datalab、Dataprep等），并且已将人(rén)工智能(néng)視(shì)作(zuò)超越競争對手的方法之一(yī)。過去一(yī)年來(lái)，Google在人(rén)工智能(néng)方面公布了(le)很多消息，例如(rú)：一(yī)個(gè)新(xīn)的轉換引擎，雇傭了(le)兩名出色的人(rén)工智能(néng)專家Fei-FeiLi和JiaLi來(lái)領導新(xīn)成立的CloudAIandMachineLearning部門，針對視(shì)頻識别提供的全新(xīn)機器(qì)學習API（這(zhè)裏），并且收購(gòu)了(le)數據科學家社區Kaggle。
更大規模的企業級IT供應商(shāng)–尤其是Microsoft、IBM、SAP、Oracle以及Salesforce–也(yě)在努力推出大數據（以及人(rén)工智能(néng)）産品，這(zhè)些(xiē)産品都支持雲端（最引人(rén)注目的是Microsoft）和本地部署。除了(le)通過自行開發，以及收購(gòu)而來(lái)的技術構建這(zhè)些(xiē)産品，他們的合作(zuò)意願也(yě)在逐漸加強，尤其是與“有數據的”公司（數據倉儲）和“有人(rén)工智能(néng)的”公司進行合作(zuò)。例如(rú)IBM和Salesforce以及SAP與Google的合作(zuò)都是其中的典型。
按照企業IT行業的标準來(lái)說(shuō)，雲供應商(shāng)的規模依然不算(suàn)大，但(dàn)這(zhè)些(xiē)公司的野心（包括在企業技術棧中，将自己的地位從IaaS層面上(shàng)升至應用程序層面的明确意圖）和穩紮穩打将企業數據遷往雲端的做法相結合，意味着與傳統IT供應商(shāng)的全面戰争已然打響，大家在争奪龐大的企業級技術市(shì)場(chǎng)的控制權，而大數據和人(rén)工智能(néng)将會是核心戰場(chǎng)。
大數據生(shēng)态系統全景回顧
基礎架構
去年發生(shēng)的很多事(shì)依舊餘波未平，例如(rú)流處理(lǐ)的重要性與日俱增，目前Spark已獨占鳌頭，但(dàn)人(rén)們對競争産品，例如(rú)Flink的關(guān)注也(yě)逐漸開始湧現(xiàn)。此外還有一(yī)的有趣的話(huà)題時(shí)不時(shí)地出現(xiàn)在人(rén)們的對話(huà)中：
SQL已經正式回歸了(le)
過去十多年來(lái)一(yī)直面對NoSQL技術“打壓”的SQL數據庫技術現(xiàn)已正式回歸。Google最近發布了(le)雲服務(wù)版的Spanner數據庫。Spanner和CockroachDB（Spanner的開源版本）承諾提供一(yī)種高存活性、強一(yī)緻性，可橫向擴展的SQL數據庫。Amazon發布的Athena與諸如(rú)Snowflake等産品類似，是一(yī)種大型的SQL數據引擎，可直接查詢S3Bucket中存儲的數據。GoogleBigQuery、SparkSQL以及Presto也(yě)開始在企業領域占有了(le)一(yī)席之地–這(zhè)些(xiē)都是SQL産品。
數據虛拟化(huà)
在公有雲的接受度方面有個(gè)有趣的趨勢：數據虛拟化(huà)産品的使用率正在快(kuài)速激增。較為(wèi)古老的ETL流程需要移動海量數據（并且通常需要為(wèi)數據集創建副本）并創建數據倉庫，數據虛拟化(huà)技術使得企業可以無需移動，在原地進行數據分(fēn)析，借此提高速度和敏捷性。很多下(xià)一(yī)代數據分(fēn)析産品供應商(shāng)，現(xiàn)在均已同時(shí)提供數據虛拟化(huà)和數據準備産品，借此幫助客戶更輕松地訪問雲中存儲的數據。
數據管控和安全性
随着大數據在企業中的應用日益成熟，并且數據的種類和數量依然在與日俱增，有關(guān)數據管控之類的話(huà)題也(yě)變的越來(lái)越重要。很多企業已經選擇通過“數據湖”的方式創建一(yī)個(gè)中央倉庫，用于保存自己的所有數據。但(dàn)除非人(rén)們知道數據湖中到底有什(shén)麽，并且能(néng)按需訪問分(fēn)析工作(zuò)所需的恰當數據，否則數據湖将全無用處。然而幫助用戶輕松找到自己需要的數據，同時(shí)妥善地管理(lǐ)數據訪問權，這(zhè)一(yī)點并不容易實現(xiàn)。
不僅需要考慮數據湖本身(shēn)，管控的一(yī)個(gè)核心主題在于讓用戶輕松訪問可信賴的數據，借此滿足企業中任何人(rén)的需求，同時(shí)必須要以安全、可審計的方式做到這(zhè)一(yī)切。或大或小的供應商(shāng)（Informatica、Collibra、Alation）紛紛提供功了(le)數據編錄、參考數據管理(lǐ)、數據辭典，以及數據幫助台等産品。
分(fēn)析
數據科學家是否已經成為(wèi)瀕危物種？
就(jiù)在幾年前，數據科學家還被視(shì)作(zuò)“21世紀最性感的職業”。就(jiù)算(suàn)到現(xiàn)在，Glassdoor的“美國最佳工作(zuò)”清單中，“數據科學家”依然名列榜首。
但(dàn)是僅僅在誕生(shēng)幾年後，這(zhè)個(gè)職業就(jiù)已陷入困頓。部分(fēn)原因在于其必要性，雖然學校(xiào)和程序員(yuán)課程依然在塑造大量粗制濫造的新(xīn)手數據科學家，但(dàn)這(zhè)個(gè)崗位依然有很大空缺，尤其是财富1000強公司，他們都覺得很難招募到頂尖的技術人(rén)才。在某些(xiē)組織中，數據科學部門已經從原本的促進者一(yī)舉“堕落”為(wèi)瓶頸。
與此同時(shí)，随着人(rén)工智能(néng)技術的民(mín)主化(huà)和自服務(wù)工具的飛速湧現(xiàn)，現(xiàn)在無論數據科學技能(néng)極為(wèi)有限的數據工程師，甚至非技術型的數據分(fēn)析師，都已經可以承擔原本隻能(néng)由數據科學家負責的基本任務(wù)。企業中與大數據有關(guān)的很多工作(zuò)，尤其是枯燥乏味的簡單工作(zuò)，也(yě)許會越來(lái)越多地開始由數據工程師和數據分(fēn)析師通過自動化(huà)工具來(lái)執行，而不再需要具備娴熟技能(néng)的數據科學家參與。
也(yě)就(jiù)是說(shuō)，數據科學最終可能(néng)會完全由機器(qì)來(lái)處理(lǐ)。一(yī)些(xiē)初創公司已經明确将自己的産品定位為(wèi)“自動化(huà)的數據科學”，其中最值得一(yī)提的是，DataRobot剛剛通過這(zhè)種想法籌集到5400萬美元投資（數據科學如(rú)何實現(xiàn)自身(shēn)的自動化(huà)），SalesforceEinstein也(yě)聲稱自己可以提供能(néng)自動生(shēng)成的模型。
毫無疑問，這(zhè)些(xiē)趨勢尚未流行起來(lái)，目前在數據科學的社區裏依然存在一(yī)些(xiē)争議(yì)。然而數據科學家目前還不需要對此過于擔心。在不遠(yuǎn)的将來(lái)，自服務(wù)工具和自動化(huà)模型選擇将成為(wèi)數據科學家的“左膀右臂”，而非徹底取代他們，他們可以将更多精力用于需要進行判斷、創新(xīn)、社交技能(néng)，或需要具備垂直行業知識的任務(wù)。
讓一(yī)切協同工作(zuò)：數據工作(zuò)台的崛起
在大部分(fēn)大型企業中，大數據技術的運用通常都是從少數相對獨立的項目開始的（這(zhè)裏部署個(gè)Hadoop群集，那裏部署個(gè)分(fēn)析工具），并且會産生(shēng)一(yī)些(xiē)新(xīn)的工作(zuò)崗位（數據科學家、首席數據官）。
然而今天的情況截然不同：異構的情況愈加普遍，企業内部使用了(le)五花八門的工具。從組織結構方面來(lái)看，在大型企業中，集中化(huà)的“數據科學部門”正在逐漸變成更加“分(fēn)散化(huà)的組織”，通常會有數據科學家、數據工程師，以及數據分(fēn)析師組成的跨職能(néng)群體(tǐ)，并且更加深入地融入到不同業務(wù)部門中。因此對于平台來(lái)說(shuō)，需求已經變的更加明确，需要讓所有人(rén)能(néng)夠就(jiù)各種技術進行協同工作(zuò)，這(zhè)一(yī)點在我們去年的文章中就(jiù)有提及，大數據項目能(néng)否成功，主要取決于能(néng)否将不同技術、人(rén)員(yuán)和流程完美融合在一(yī)起。
因此協作(zuò)平台這(zhè)一(yī)領域目前正在經曆快(kuài)速發展，并催生(shēng)出一(yī)種被部分(fēn)人(rén)稱作(zuò)DataOps（類似于DevOps）的概念。FirstMark也(yě)正是出于這(zhè)個(gè)原因而投資了(le)Dataiku（可參閱我的上(shàng)一(yī)篇文章：Dataiku，亦或早熟的大數據）。這(zhè)一(yī)領域其他比較重大的投資包括Knime（A輪，2千萬美元）以及DominoDataLab（A輪1千萬美元）。Cloudera剛剛發布了(le)一(yī)款基于所收購(gòu)的Sense技術開發的工作(zuò)台産品。這(zhè)一(yī)領域的開源活動也(yě)很活躍，例如(rú)Jupyter和Anaconda。
應用程序
人(rén)工智能(néng)驅動的垂直應用程序
至少幾年前，我們就(jiù)開始討(tǎo)論垂直領域人(rén)工智能(néng)應用程序的崛起（x.ai以及人(rén)工智能(néng)驅動的應用程序逐漸湧現(xiàn)），但(dàn)原本的溪流何時(shí)演變成了(le)現(xiàn)在的滔天巨浪？突然之間(jiān)，似乎每個(gè)人(rén)都開始開發人(rén)工智能(néng)應用程序了(le)，無論新(xīn)成立的，或已經取得重大進展的初創公司，都開始壓賭于人(rén)工智能(néng)，認為(wèi)這(zhè)是下(xià)一(yī)輪增長點（例如(rú)InsideSales）。
在這(zhè)種狀況和趨勢影響下(xià)，一(yī)些(xiē)新(xīn)成立的初創公司提出了(le)很多激動人(rén)心的技術，雖然其中一(yī)些(xiē)猶如(rú)霧裏看花，但(dàn)為(wèi)了(le)追逐熱點趨勢，也(yě)有很多公司在激進地進行重塑。在某些(xiē)領域使用了(le)某種機器(qì)學習技術的公司，并不算(suàn)人(rén)工智能(néng)公司。
總地來(lái)說(shuō)，人(rén)工智能(néng)初創公司的創建并不容易。而其中最關(guān)鍵的第一(yī)步在于選擇一(yī)個(gè)垂直領域所面臨的問題。除了(le)深入的技術DNA，還需要深思熟慮的定位和策略（構建人(rén)工智能(néng)初創公司：現(xiàn)實和策略）。
然而要确保自己不被各種可能(néng)性看花眼，面對飛速的發展保持冷靜，要做到這(zhè)些(xiē)其實很難。
尤其是去年，趨勢已經很明顯了(le)：通過人(rén)工智能(néng)技術，解決與數據有關(guān)的任何問題。無論企業級應用程序或垂直行業，都采取了(le)這(zhè)樣的方式。考慮到現(xiàn)實情況，今年我們在圖表的應用程序分(fēn)類中添加了(le)多個(gè)類别，包括交通運輸、房(fáng)地産（借助數據科學實現(xiàn)房(fáng)地産的現(xiàn)代化(huà)），以及保險業。同時(shí)我們将一(yī)些(xiē)非常活躍的行業拆分(fēn)為(wèi)兩個(gè)類别，例如(rú)營銷應用（拆分(fēn)為(wèi)B2B和B2C）以及生(shēng)命科學（拆分(fēn)為(wèi)醫(yī)療健康和生(shēng)命科學）。
除了(le)這(zhè)些(xiē)領域外，還有一(yī)些(xiē)非常新(xīn)潮的應用（例如(rú)無人(rén)駕駛汽車），今天的人(rén)工智能(néng)技術正在缺乏想象力的企業應用領域閃爍着耀眼的光輝，從人(rén)員(yuán)流失預測到後端辦公室自動化(huà)，再到安全，以不同形式提供了(le)切實可行的收效。
人(rén)工智能(néng)導緻人(rén)類失業，也(yě)許還沒有得到政府部門的重視(shì)，但(dàn)沒有任何一(yī)個(gè)職業是不受影響的，至少需要考慮會如(rú)何受到影響，也(yě)許會通過人(rén)工智能(néng)得以“增強”。這(zhè)些(xiē)問題已得到很多白領職業的證明，例如(rú)醫(yī)生(shēng)（人(rén)工智能(néng)vs醫(yī)生(shēng)）或律師（人(rén)工智能(néng)開始從事(shì)法務(wù)工作(zuò)）。
尤其是金(jīn)融領域，似乎充分(fēn)考慮了(le)人(rén)工智能(néng)的潛力。多年來(lái)艱難度日的對沖基金(jīn)正在為(wèi)自己的算(suàn)法尋找可替代數據（全新(xīn)淘金(jīn)潮？華爾街想要你的數據）。由人(rén)工智能(néng)驅動的全新(xīn)對沖基金(jīn)（Numerai、DataCapitalManagement等）雖然還不完善，但(dàn)已經實現(xiàn)了(le)快(kuài)速發展。華爾街一(yī)些(xiē)最重要的事(shì)務(wù)所均在使用人(rén)工智能(néng)取代人(rén)類（BlackRock、GoldmanSachs）。
機器(qì)人(rén)的反擊
無論是愛是恨，2016年都是機器(qì)人(rén)的元年。很多消息交流服務(wù)均提供過完全自動化(huà)，可以實時(shí)交談的代理(lǐ)程序。雖然昙花一(yī)現(xiàn)，但(dàn)這(zhè)些(xiē)機器(qì)人(rén)程序似乎已經全面經曆了(le)不同的炒作(zuò)周期，從一(yī)開始的承諾，到Tay所面臨的災難（譯注：Tay是微軟提供的一(yī)種基于人(rén)工智能(néng)技術的聊天機器(qì)人(rén)，該機器(qì)人(rén)一(yī)經上(shàng)線，與衆多網友交流後，變成了(le)“帶有種族歧視(shì)傾向并且固執的存在”），到微型文藝複興，再到Facebook相關(guān)研究放(fàng)緩，有報(bào)告稱聊天平台上(shàng)70%的人(rén)工智能(néng)聊天機器(qì)人(rén)最終都以失敗告終。
對于機器(qì)人(rén)程序的熱情似乎有些(xiē)早，得出這(zhè)種結論的原因有很多，建議(yì)參閱BradfordCross的觀點，他在文中非常恰當地指出，人(rén)們可能(néng)因為(wèi)機器(qì)人(rén)程序在亞洲的崛起，或者Slack等底層基礎架構的快(kuài)速增長而得出了(le)過于樂(yuè)觀的預期。我們相信，最終這(zhè)種機器(qì)人(rén)程序有着很大的潛力，但(dàn)畢竟這(zhè)一(yī)領域還需要更長的成長時(shí)間(jiān)。“生(shēng)産商(shāng)”一(yī)端（初創公司需要專注于每個(gè)具體(tǐ)的業務(wù)領域，少作(zuò)承諾）和“消費方”一(yī)端（我們都需要習慣于機器(qì)人(rén)程序可以和不能(néng)做到的事(shì)情，Alexa正在幫助我們意識到這(zhè)些(xiē)！）都需要進行徹底的心态調整。
就(jiù)目前來(lái)看，最光明的未來(lái)可能(néng)屬于重要領域需要人(rén)類介入的服務(wù)，或者完全采取不同于機器(qì)人(rén)程序的定位，使用人(rén)工智能(néng)技術擴充人(rén)類能(néng)力的技術（我們得出這(zhè)一(yī)結論的依據來(lái)自frame.ai）。
寫在最後
大數據與人(rén)工智能(néng)強強聯合，我們即将進入“收獲”的季節。忽略各種炒作(zuò)，我們迎來(lái)了(le)數量衆多的可能(néng)性。
随着核心基礎架構以及應用程序端日漸成熟，人(rén)工智能(néng)技術驅動的應用将迎來(lái)井噴期，2017年，大數據（以及人(rén)工智能(néng)）生(shēng)态幾将火(huǒ)力全開。
獲取更多專業資訊
微信掃一(yī)掃
在線客服