從零開始搭建前端埋點sdk平臺

來源: 發(fā)布時間:2023-07-23

在進(jìn)行可視化埋點和無埋點是可以借助三方平臺方案進(jìn)行實現(xiàn),如webfunny、觀縱科技等。如果對數(shù)據(jù)安全比較重視,業(yè)務(wù)又相對復(fù)雜,公司則通常是使用代碼埋點方式采集數(shù)據(jù),并搭建相應(yīng)的數(shù)據(jù)產(chǎn)品實現(xiàn)其數(shù)據(jù)應(yīng)用或是分析的訴求。

在埋點的技術(shù)方案中,首先要重視的,是用戶主要標(biāo)識的建設(shè)。如果做不到對用戶的主要識別,那么基礎(chǔ)的UV統(tǒng)計,都將是錯誤的。因此,在數(shù)據(jù)埋點方案中,有兩個信息是一定要記錄的,即設(shè)備ID+用戶ID。

設(shè)備ID作為用戶使用哪個設(shè)備,如安卓的ANDROID_ID/IMEI,IOS中的IDFA/UDID,瀏覽器的Cookie,小程序的OpenID等。

用戶ID,作為用戶在產(chǎn)品中所注冊的賬號,通常是手機(jī)號,也可以是郵箱等其他格式。當(dāng)這兩個信息能夠獲得時,不論是用戶更換設(shè)備,或者是同一臺設(shè)備不同賬號登錄,我們都能夠根據(jù)這兩個ID,來識別出誰在對設(shè)備做操作。 代碼埋點優(yōu)點控制精細(xì),可以非常精確地選擇什么時候發(fā)送數(shù)據(jù)。從零開始搭建前端埋點sdk平臺

埋點本身現(xiàn)在已經(jīng)有太多的集成解決方案,如webfunny、神策、GIO等平臺,但是在實踐的過程中仍然還是會碰都很多問題,給前端埋點同學(xué)分享下:埋點實踐過程中碰到的坑點。

①前后端埋點不一致的問題前端請求服務(wù)端的數(shù)據(jù)大多是存在binlog里面的,數(shù)據(jù)日志同步解析的過程里面可能會存在丟包的可能性,數(shù)倉的穩(wěn)定性也會影響數(shù)據(jù)質(zhì)量;后端服務(wù)信息存儲的數(shù)據(jù)是存在mysql,表字段結(jié)構(gòu)化,分多表存儲,需要靠主鍵進(jìn)行關(guān)聯(lián),有大量的ETL過程。兩者之間可能因為數(shù)據(jù)清洗、處理、實時技術(shù)等原因,造成數(shù)據(jù)差異化;

②自埋點和第三方應(yīng)用統(tǒng)計口徑的問題自埋點一般都會定義一個id作為區(qū)分用戶的標(biāo)志,但是第三方是缺少用戶屬性信息的判斷,一般會以設(shè)備號uuid/imse,或者IP地址段、mac地址段作為區(qū)分標(biāo)志,從而造成統(tǒng)計數(shù)據(jù)上的差異化,對于留存分析、轉(zhuǎn)化分析、流失分析需要用到明細(xì)數(shù)據(jù)的場景,可兼容性不是很友好; 前端埋點和前端監(jiān)控系統(tǒng)排行榜前端埋點曝光和瀏覽數(shù)據(jù)監(jiān)測。

前端數(shù)據(jù)埋點之錯誤警告:頁面中代碼運(yùn)行產(chǎn)生的錯誤,可能會導(dǎo)致用戶關(guān)鍵操作流程被中斷,為了避免大量用戶受到影響,我們需要獲取生產(chǎn)環(huán)境的錯誤數(shù)據(jù),這樣才能便于開發(fā)者及時進(jìn)行修復(fù)。

通常來講代碼中的錯誤會包含以下幾大類:一、全局錯誤,即未被捕獲的錯誤;二、局部錯誤,即通過、、等捕獲的錯誤;三、接口請求錯誤,即在二次封裝請求API中進(jìn)行請求和接收響應(yīng)時的錯誤;四、組件級錯誤,即使用Vue/React組件時發(fā)生的錯誤。

前端埋點-數(shù)倉庫表的開發(fā)成本:

埋點數(shù)據(jù)落到數(shù)倉后,需要預(yù)先建立哪些表,如何做埋點數(shù)據(jù)的分層;畢竟埋點的數(shù)據(jù)體量是非常大的,TB級數(shù)據(jù)的存儲本身就是一個比較大的成本,再加上調(diào)度系統(tǒng)、計算資源、運(yùn)行性能等方面,就需要數(shù)倉團(tuán)隊在一開始就要把數(shù)據(jù)模型提前建立好,做好ods層到dw層、ads層的劃分,維度和事實之間的建設(shè);

數(shù)倉性能,時間問題(hive):因為埋點數(shù)據(jù)的體量問題,落表的時候,一定會存在大量的冗余字段,如果集群資源比較緊張,對于常規(guī)數(shù)據(jù)的統(tǒng)計、計算都會帶來性能上的問題;在數(shù)據(jù)團(tuán)隊的架構(gòu)中,有對外提供數(shù)據(jù)應(yīng)用服務(wù),對于數(shù)據(jù)的實時計算就有一定的要求,什么場景下應(yīng)該是T+1,什么場景下應(yīng)該是偽實時,避免數(shù)據(jù)調(diào)度任務(wù)影響前臺應(yīng)用產(chǎn)出。 webfunny前端埋點支持用戶根據(jù)自己的需求,創(chuàng)建不同的埋點,選擇不同的圖形在數(shù)據(jù)看板中來展示分析數(shù)據(jù)。

什么是前端埋點?埋點,它的學(xué)名是事件追蹤(EventTracking),主要是針對特定用戶行為或業(yè)務(wù)過程進(jìn)行捕獲、處理和發(fā)送的相關(guān)技術(shù)及實施過程。埋點是數(shù)據(jù)領(lǐng)域的一個專業(yè)術(shù)語,也是互聯(lián)網(wǎng)領(lǐng)域的一個俗稱。

埋點是產(chǎn)品數(shù)據(jù)分析的基礎(chǔ),一般用于推薦系統(tǒng)的反饋、用戶行為的監(jiān)控和分析、新功能或者運(yùn)營活動效果的統(tǒng)計分析等。

埋點包含兩個重要概念:事件(event),屬性(param)。

事件(event):應(yīng)用中發(fā)生了什么,例如用戶操作、系統(tǒng)事件或系統(tǒng)錯誤。以某產(chǎn)品為例,包含以下事件:enter_page(進(jìn)入頁面)、leave_page(離開頁面)。

屬性(param):為了描述用戶群細(xì)分而定義的屬性,例如語言偏好或地理位置。以“進(jìn)入課后練習(xí)”事件為例,它包含如下事件屬性:enter_from(從哪個頁面來),class_id(課程id)等。屬性值(value):屬性的維度,即行為觸發(fā)時的具體維度。例如:enter_from:home(主頁)、system(系統(tǒng))等。 埋點是數(shù)據(jù)的來源,采集的數(shù)據(jù)可以分析網(wǎng)站/APP的使用情況,用戶行為習(xí)慣等。前端埋點頁面埋點軟件一般多少錢

埋點無論是項目后期的復(fù)盤,還是明確業(yè)務(wù)價值,還是產(chǎn)品價值的挖掘,都具備很重要的意義。從零開始搭建前端埋點sdk平臺

前端埋點在實踐過程中避開的雷點,在埋點應(yīng)用場景中,要對應(yīng)初期埋點預(yù)留,要基于以下點來考慮:①基于業(yè)務(wù)分析框架,梳理常規(guī)分析案例中需要用到的埋點數(shù)據(jù)集,主要指標(biāo)必須要有埋點;②基于算法模型框架,梳理算法所需要構(gòu)建的數(shù)據(jù)特征需要用到的字段信息;③基于業(yè)務(wù)訴求,梳理非常規(guī),當(dāng)前沒需求未來有應(yīng)用場景的字段信息;

舉個例子,譬如供需求匹配、資源調(diào)度、智能選址,所對應(yīng)的幾個信息主體分別是:用戶需求方、用戶供給方、商品信息、時間信息、空間信息、行為信息、業(yè)務(wù)信息。 從零開始搭建前端埋點sdk平臺

上海觀縱科技有限公司發(fā)展規(guī)模團(tuán)隊不斷壯大,現(xiàn)有一支專業(yè)技術(shù)團(tuán)隊,各種專業(yè)設(shè)備齊全。專業(yè)的團(tuán)隊大多數(shù)員工都有多年工作經(jīng)驗,熟悉行業(yè)專業(yè)知識技能,致力于發(fā)展webfunny,walkingfunny,argus的品牌。公司堅持以客戶為中心、一般項目:技術(shù)服務(wù)、技術(shù)開發(fā)、技術(shù)咨詢、技術(shù)交流、技術(shù)轉(zhuǎn)讓、技術(shù)推廣;軟件開發(fā);人工智能基礎(chǔ)軟件開發(fā);人工智能應(yīng)用軟件開發(fā);數(shù)據(jù)處理服務(wù);信息技術(shù)咨詢服務(wù);信息系統(tǒng)集成服務(wù):信息系統(tǒng)運(yùn)行維護(hù)服務(wù);計算機(jī)系統(tǒng)服務(wù);軟件銷售;計算機(jī)軟硬件及輔助設(shè)備批發(fā);計算機(jī)軟硬件及輔助設(shè)備零售;電子產(chǎn)品銷售;通信設(shè)備銷售;通訊設(shè)備銷售;咨詢策劃服務(wù);市場調(diào)查(不含涉外調(diào)查);廣告制作;廣告發(fā)布;廣告設(shè)計、代理;會議及展覽服務(wù);貨物進(jìn)出口。(除依法須經(jīng)批準(zhǔn)的項目外,憑營業(yè)執(zhí)照依法自主開展經(jīng)營活動) 許可項目:建筑智能化系統(tǒng)設(shè)計;建設(shè)工程施工;網(wǎng)絡(luò)文化經(jīng)營;互聯(lián)網(wǎng)信息服務(wù)。(依法須經(jīng)批準(zhǔn)的項目,經(jīng)相關(guān)部門批準(zhǔn)后方可開展經(jīng)營活動,具體經(jīng)營項目以相關(guān)部門批準(zhǔn)文件或許可證件為準(zhǔn))市場為導(dǎo)向,重信譽(yù),保質(zhì)量,想客戶之所想,急用戶之所急,全力以赴滿足客戶的一切需要。自公司成立以來,一直秉承“以質(zhì)量求生存,以信譽(yù)求發(fā)展”的經(jīng)營理念,始終堅持以客戶的需求和滿意為重點,為客戶提供良好的webfunny前端監(jiān)控,webfunny前端埋點,全鏈路應(yīng)用性能監(jiān)控,Argus-IT運(yùn)維監(jiān)控,從而使公司不斷發(fā)展壯大。