大集群場景特點數(shù)據(jù)規(guī)模大：監(jiān)控對象targets多，數(shù)千萬時序數(shù)據(jù)time-series，單Prometheus負載非常高。
當(dāng)series數(shù)據(jù)超過300萬時，Prometheus內(nèi)存增長較為明顯，需要使用較大內(nèi)存的機器來運行。壓測過程中，我們使用了工具去生成預(yù)期數(shù)目的series，工具生成的series每個label的長度及值的長度都較小，固定為10個字符左右。我們的目的是觀察相對負載變化，實際生產(chǎn)中由于label長度不同，服務(wù)發(fā)現(xiàn)機制（比如Pod頻繁重啟）的消耗不同，相同的series數(shù)目所消耗的負載會比壓測中高不少。目前Argus有好幾個集群的采集端Prometheus消耗內(nèi)存在30G以上，這會導(dǎo)致查詢效率下降，嚴重的會導(dǎo)致OOM，有的大集群內(nèi)存消耗達幾百G。 想要做好運維監(jiān)控，這個命題很大，可想而知不是只要做好一件兩件的事就能實現(xiàn)，必定是成體系、成規(guī)范。信創(chuàng)統(tǒng)一運維監(jiān)控管理產(chǎn)品
國產(chǎn)信創(chuàng)設(shè)備、軟件監(jiān)測管理之路面臨這兩大問題與挑戰(zhàn)。挑戰(zhàn)一：信創(chuàng)產(chǎn)業(yè)帶來IT標(biāo)準(zhǔn)的重構(gòu)，很多公司的系統(tǒng)軟硬件需要符合信創(chuàng)標(biāo)準(zhǔn)，而這時的產(chǎn)品還處于可用階段，在這期間會產(chǎn)生許多問題，為保障業(yè)務(wù)運維的安全，亟需一個可以兼容信創(chuàng)體系和支持國產(chǎn)化環(huán)境部署的監(jiān)測軟件對其進行監(jiān)測管理。挑戰(zhàn)二：大部分企業(yè)信創(chuàng)設(shè)備特用機房有多個品牌的國產(chǎn)化設(shè)備，需要一個系統(tǒng)既能監(jiān)測國外設(shè)備，又能監(jiān)測國外設(shè)備，而很多企業(yè)，特別是國外的監(jiān)測軟件，不支持監(jiān)測信創(chuàng)的設(shè)備與信創(chuàng)的軟件。如何建設(shè)運維監(jiān)控系統(tǒng)IT運維監(jiān)控所包含的產(chǎn)品功能強大、易于使用、解決方案齊全，可一站式滿足用戶的各種IT管理需求。
監(jiān)控貫穿應(yīng)用的整個生命周期。即從程序設(shè)計、開發(fā)、部署、下線，監(jiān)控是需要站在公司的業(yè)務(wù)角度去考慮，而不是針對某個監(jiān)控技術(shù)的使用。監(jiān)控的目標(biāo)包括：對系統(tǒng)不間斷的實時監(jiān)控。實時反饋系統(tǒng)當(dāng)前狀態(tài)。保證服務(wù)可靠性安全性。保證業(yè)務(wù)持續(xù)穩(wěn)定運行。
運維監(jiān)控方法包括：健康檢查。健康檢查是對應(yīng)用本身健康狀況的監(jiān)控，檢查服務(wù)是否還正常存活。日志。日志是排查問題的主要方式，日志可以提供豐富的信息用于定位和解決問題。調(diào)用鏈監(jiān)控。調(diào)用鏈監(jiān)控可以完整的呈現(xiàn)出一次請求的全部信息，包括服務(wù)調(diào)用鏈路、所耗時間等。指標(biāo)監(jiān)控。指標(biāo)是一些基于時間序列的離散數(shù)據(jù)點，通過聚合和計算后能反映出一些重要指標(biāo)的趨勢。
運維監(jiān)控的流程包括：
發(fā)現(xiàn)問題:當(dāng)系統(tǒng)發(fā)生故障報警，我們會收到故障報警的信息定位問題:故障郵件一般都會寫某某主機故障、具體故障的內(nèi)容，我們需要對報警內(nèi)容進行分析，比如一臺服務(wù)器連不上:我們就需要考慮是網(wǎng)絡(luò)問題、還是負載太高導(dǎo)致長時間無法連接，又或者某開發(fā)觸發(fā)了防火墻禁止的相關(guān)策略等等，我們就需要去分析故障具體原因。解決問題:當(dāng)然我們了解到故障的原因后，就需要通過故障解決的優(yōu)先級去解決該故障?？偨Y(jié)問題:當(dāng)我們解決完重大故障后，需要對故障原因以及防范進行總結(jié)歸納，避免以后重復(fù)出現(xiàn)。 Argus運維監(jiān)控系統(tǒng)配有Syslog 日志接收和分析。
Argus運維監(jiān)控系統(tǒng)基于ZABBIX的預(yù)處理及自動發(fā)現(xiàn)功能，有效整合PROMETHEUS。
環(huán)境復(fù)雜 ：在現(xiàn)有的架構(gòu)環(huán)境中，既有虛擬主機，又有 Kubernets 集群
監(jiān)控工具多 ： 在現(xiàn)有的環(huán)境中的監(jiān)控工具既有zabbix，又有 prometheus § Zabbix的監(jiān)控項及Prometheus的配置仍為大量的 手工操作 § 每套工具有單獨的技術(shù)棧，維護成本高
無統(tǒng)一化告警人管理 ：zabbix及grafana中都有告警人配置
數(shù)據(jù)采集 ： Prometheus 負責(zé)Exporter及 Kubernets集群的 監(jiān)控項采集，并單獨于Kubernets集群外部署 § Zabbix負責(zé)虛擬主機監(jiān)控項的采集
事件處理 ： Zabbix 通過HTTP agent 方式查詢不同的 prometheus 采集節(jié)點，并通過監(jiān)控項模板中監(jiān)控項 的預(yù)處理及自動發(fā)現(xiàn)功能自動創(chuàng)建不同應(yīng)用名稱的監(jiān) 控項及監(jiān)控項閾值 § Zabbix 通過不同監(jiān)控項的當(dāng)前數(shù)據(jù)判斷閾值并觸 發(fā)不同閾值級別下相應(yīng)的動作 § 各閾值動作通過應(yīng)用名關(guān)聯(lián)不同的用戶組，觸發(fā) 釘釘通知到對應(yīng)的研發(fā)團隊 即使零經(jīng)驗的小白用戶，也可以通過Argus管理IT運維監(jiān)控，執(zhí)行運維監(jiān)控管理。機房統(tǒng)一運維監(jiān)控管理產(chǎn)品
在運維監(jiān)控中怎么樣才算是故障，要報警呢？比如CPU的負載到底多少算高，用戶態(tài)、內(nèi)核態(tài)分別跑多少算高？信創(chuàng)統(tǒng)一運維監(jiān)控管理產(chǎn)品
監(jiān)控是一項非常重要的運維工作，尤其對于一些比較重要的業(yè)務(wù)，如果沒有監(jiān)控，就只能等著用戶反饋。常見的開源監(jiān)控軟件有 Cacti、Nagios、Zabbix、Smokeping 和 Open-falcon 等。Cacti 和 Smokeping 傾向于基礎(chǔ)監(jiān)控，成圖非常漂亮。Cacti、Nagios 和 Zabbix 服務(wù)端監(jiān)控中心需要 PHP 環(huán)境支持，其中 Zabbix 和 Cacti 需要安裝 MySQL 作為存儲數(shù)據(jù)庫。Nagios 不用存儲歷史數(shù)據(jù)，注重服務(wù)或監(jiān)控項的狀態(tài)。Zabbix 會獲取服務(wù)或監(jiān)控項目的數(shù)據(jù)，把數(shù)據(jù)記錄到數(shù)據(jù)庫中，可以成圖查看。Argus是基于Zabbix的IT運維監(jiān)控平臺，打造完整的Iaas&Paas兼容感知解耦Zabbix版本限制，生態(tài)無縫兼容 信創(chuàng)統(tǒng)一運維監(jiān)控管理產(chǎn)品
上海觀縱科技有限公司正式組建于2022-11-14，將通過提供以webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運維監(jiān)控等服務(wù)于于一體的組合服務(wù)。觀縱科技經(jīng)營業(yè)績遍布國內(nèi)諸多地區(qū)地區(qū)，業(yè)務(wù)布局涵蓋webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運維監(jiān)控等板塊。我們在發(fā)展業(yè)務(wù)的同時，進一步推動了品牌價值完善。隨著業(yè)務(wù)能力的增長，以及品牌價值的提升，也逐漸形成傳媒、廣電綜合一體化能力。觀縱科技始終保持在傳媒、廣電領(lǐng)域優(yōu)先的前提下，不斷優(yōu)化業(yè)務(wù)結(jié)構(gòu)。在webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運維監(jiān)控等領(lǐng)域承攬了一大批高精尖項目，積極為更多傳媒、廣電企業(yè)提供服務(wù)。