2017 年 6 月 24 日，又拍云旗下技術沙龍 Open Talk 來到人工智能公司最為集中的城市之一——深圳，探討了“大數據和機器學習最佳實踐”這一熱門話題;阿基米公社的活動現場擠滿了被話題吸引來的不雅觀眾。
大數據、機器學習已經成為研究人工智能不能或缺的兩大要素，本次Open Talk的講師來自華為、數果科技、又拍云等公司在大數據、機器學習領域頗有實戰(zhàn)經驗的工程師，分享了各自業(yè)務在大數據、機器學習方面的實踐經驗，深受現場不雅觀眾認可。此次Open Talk由IT大咖說提供直播支持。
訓練人工智能，如何搭配硬件?“內容識別”是又拍云于 2017 年推出的首個人工智能產品，可應用于圖片、直播、點播等場景，智能識別色情、廣告、暴恐等不良內容，其中鑒黃識別率已經高達99.7%。
在Open Talk現場，負責又拍云“內容識別”開發(fā)工作的葉靖，在《又拍云的深度學習實踐》的分享中，介紹了又拍云在開發(fā)“內容識別”項目的過程中，所用到的各種工具和技術，以及又拍云在人工智能方面的各種嘗試，面臨的挑戰(zhàn)等。
又拍云“內容識別”的開發(fā)基于超千億張的圖片數據，以及深度神經網絡，“最重要的一個工具就是GPU，GPU性能好，CPU運算速度都是 50 幾毫秒，但GPU可以達到0. 17 毫秒。但GPU還有很多不足的地方，GPU對硬件依賴性很高又不易擴展，不能像內存那樣擴展到 100 多G;此外還需要針對GPU重寫算法，CPU的代碼不能直接拿到GPU上跑，并且比較復雜。”葉靖分享了對研發(fā)“人工智能”時候的硬件選擇，也介紹了其中存在的問題：“GPU從數據、內存拷貝數據的速度比較慢慢，寫代碼時要盡量制止內存的拷貝。”
“我們選擇了 4 張 1070 顯卡，配置了SSD，因為很多數據從機械硬盤讀取的話嚴重影響訓練速度。在CPU上，為了突破CPU的通道限制，我們選擇了 8 核CPU* 2 的配置。在操作系統(tǒng)的選擇上，又拍云采用了Ubuntu
16.04，一開始選擇了14.04，結果出現了一大堆的問題。”葉靖好不藏私的分享內容，引起了現場不雅觀眾熱烈的提問。
海量用戶數據的處理妙招人工智能的訓練需要大數據，面臨大數據的處理也需要人工智能的參與。數果智能聯合創(chuàng)始人、首席架構師黃強在本次 Open Talk 上分享了《海量用戶行為數據的儲存和分析》。
“用一句話來說，用戶行為數據就是用戶在產品上的操作行為的記錄。”黃強高度概括了用戶行為數據的含義，“其中包孕了時間、地點、頁面信息等信息。”一般企業(yè)的用戶數到了幾十萬，用戶一天下來做的所有的操作行為，像一個用戶行為數據包羅用戶的IP、sessionID、imei、終端ID，這個數據量是非常龐大的，每一天就是一個App都是幾百億甚至上千億的數據量。
這些數據里，高基數的維度很多。“我認為基數在百萬以上就比較高了。”黃強認為。什么是基數?好比說用戶ID有一個很大的量，一個維度下有多少個不重復的值，這種值就可以叫ID，如果基數很高，這個值會非常多。高基數產生的數據量非常龐大，幾千萬到上千億都是有可能，還有用戶行為是持續(xù)的。這些都是用戶行為數據的處理難點。
黃強分享了用戶行為數據處理環(huán)節(jié)的幾個步驟：第一步是采集，通過SDK等方式、工具采集數據;采集到數據之后需要進行存儲，“數據量非常大，需要拆成很多份，采用分布式資源，才能最大化利用一臺設備的計算資源。”因為數據被拆散了，所以數據處理還需要加入“查詢”功能，把查詢結果做一個合并，輸出最終結果。此外就是數據的索引，克分為倒排索引和正向索引兩種方式。
數據很重要，更重要的是呈現方式和互通華為消費者BG數據分析架構師王在清作為壓軸嘉賓，帶來了《數據分析與洞察》。王在清 因工作需求，從市場銷售分析投入到數據分析領域，后續(xù)進入架構、數據挖掘等領域，曾參與多項跨國企業(yè)的全球BI/DW 建設工作，擅長分析物(產品、事件)與人(客戶、員工)。
在活動現場，王在清主要介紹了華為消費者BG的數字化建設與數據驅動，從建立數據體系到分析洞察應用。
很多年前，許多公司都在落地信息化，建了一大堆IT系統(tǒng)，“但全部都是數據孤島，數據跟數據沒有什么連接。從現在回來看，這些數據開始建設的時候，就應該有一個統(tǒng)一的視圖，借助統(tǒng)一的視圖完善數據的關聯。一開始有一個整合視圖以后，還可以是數據島，但是島與島的交通線是一致的，而不是事后兩邊各建一個橋，，運氣欠好還建兩座橋。”
