大集群場景特點數(shù)據(jù)規(guī)模大：監(jiān)控對象targets多，數(shù)千萬時序數(shù)據(jù)time-series，單Prometheus負(fù)載非常高。

當(dāng)series數(shù)據(jù)超過300萬時，Prometheus內(nèi)存增長較為明顯，需要使用較大內(nèi)存的機(jī)器來運行。壓測過程中，我們使用了工具去生成預(yù)期數(shù)目的series，工具生成的series每個label的長度及值的長度都較小，固定為10個字符左右。我們的目的是觀察相對負(fù)載變化，實際生產(chǎn)中由于label長度不同，服務(wù)發(fā)現(xiàn)機(jī)制（比如Pod頻繁重啟）的消耗不同，相同的series數(shù)目所消耗的負(fù)載會比壓測中高不少。目前Argus有好幾個集群的采集端Prometheus消耗內(nèi)存在30G以上，這會導(dǎo)致查詢效率下降，嚴(yán)重的會導(dǎo)致OOM，有的大集群內(nèi)存消耗達(dá)幾百G。Argus運維監(jiān)控從聚合事件快速下探到具體事件， 并直觀呈現(xiàn)相關(guān)事件的發(fā)生趨勢。信創(chuàng)智慧運維監(jiān)控管理

Argus運維監(jiān)控中硬件監(jiān)控包括：可以通過IPMI對硬件詳細(xì)情況進(jìn)行監(jiān)控，并對CPU、內(nèi)存、磁盤、溫度、風(fēng)扇、電壓等設(shè)置報警設(shè)置報警閾值(自行對監(jiān)控報警內(nèi)容編寫合理的報警范圍)IPMI工具無法獲取到硬件的狀態(tài)，可以借助MegaCli工具探測Raid磁盤隊列狀態(tài)zabbix提供IPMI監(jiān)控模板：ZabbixIPMIInterface。同時也能夠?qū)崟r采集到服務(wù)器的硬件報錯日志，代替管理員的日常機(jī)房巡檢工作，使管理員實時了解到服務(wù)器底層硬件的運行情況。帶外方式不通過操作系統(tǒng)，即使系統(tǒng)關(guān)機(jī)的狀態(tài)下仍可監(jiān)控服務(wù)器的基本硬件健康狀況業(yè)務(wù)智能化運維監(jiān)控企業(yè)級運維監(jiān)控系統(tǒng)體系化建設(shè)指南。

對于服務(wù)器的監(jiān)控同樣也是從狀態(tài)、性能與容量這幾個維度入手。雖然SNMP也可以用于服務(wù)器監(jiān)控，但相對于agent主動上報指標(biāo)與數(shù)據(jù)會少很多。

服務(wù)器的狀態(tài)監(jiān)控主要包含服務(wù)器是否ping的通、agent上報是否超時與電源運行狀態(tài)等等。對于性能與容量這兩類維度，主要依賴當(dāng)前OS的數(shù)據(jù)捕獲，一般來說對于服務(wù)器監(jiān)控來說在通用場景下主要關(guān)注CPU、內(nèi)存、流量與包量這四個指標(biāo)即可，但是別的指標(biāo)也建議盡量捕獲。

單個監(jiān)控對象的數(shù)據(jù)豐富了會有如下好處：避免對象的監(jiān)控盲點不同的監(jiān)控數(shù)據(jù)點可以部分對應(yīng)出該服務(wù)器所承載的業(yè)務(wù)特性指標(biāo)，例如存儲類業(yè)務(wù)也會關(guān)注disk_total_read、svctm_time_max、await_time_max等等系統(tǒng)指標(biāo)生產(chǎn)的數(shù)據(jù)足夠豐富能夠催生出更加豐富的運維數(shù)據(jù)消費場景。服務(wù)器監(jiān)控相對是很標(biāo)準(zhǔn)的監(jiān)控模型，針對于物理服務(wù)器與虛擬機(jī)都有共性指標(biāo)。這部分主要做到采集的數(shù)據(jù)豐富與上報的準(zhǔn)確性(算法準(zhǔn)確)。

十四五規(guī)劃和十九屆五中全會提出：

1、加強(qiáng)關(guān)鍵數(shù)字技術(shù)創(chuàng)新應(yīng)用用聚焦芯片、操作系統(tǒng)、人工智能關(guān)鍵算法、傳感 器等關(guān)鍵領(lǐng)域，加快推進(jìn)基礎(chǔ)理論、基礎(chǔ)算法、裝備 材料等研發(fā)突破與迭代應(yīng)用。加強(qiáng)通用處理器、 云計算系統(tǒng)和軟件技術(shù)一體化研發(fā)。

2、加快推動數(shù)字產(chǎn)業(yè)化培育壯大人工智能、大數(shù)據(jù)、區(qū)塊鏈、云計算、網(wǎng)絡(luò) 安全等新興數(shù)字產(chǎn)業(yè)，提升通信設(shè)備、關(guān)鍵電 子元器件、關(guān)鍵軟件等產(chǎn)業(yè)水平。

3、科技自強(qiáng) ，科技自立堅持創(chuàng)新在我國現(xiàn)代化建設(shè)全局中的重要地位，把 科技自立自強(qiáng)作為國家發(fā)展的戰(zhàn)略支撐。

Argus運維監(jiān)控系統(tǒng)在信息技術(shù)創(chuàng)新應(yīng)用的大背景下應(yīng)運而生。運維監(jiān)控體系一般來說包括數(shù)據(jù)采集、數(shù)據(jù)檢測、告警管理、故障管理、視圖管理和監(jiān)控管理6大模塊。

面向IT資源200+以上的各類型單位，產(chǎn)品提供一體化運維監(jiān)控功能，以幫助信息部門員高效管理IT運行環(huán)境、IT資產(chǎn)，通過運維工具的自動化，提升單位IT服務(wù)質(zhì)量，提高運維效率，降低運維成本，減輕運維人員工作壓力。

Argus實時運維監(jiān)控分析系統(tǒng)是基于全球負(fù)有盛名的IT基礎(chǔ)監(jiān)控平臺Zabbix深度二次開發(fā)的運維監(jiān)控軟件，面向私有化及混合云數(shù)據(jù)中心提供多角度多層次的統(tǒng)一監(jiān)控和運維管理。幫助用戶實時對各類IT資源（網(wǎng)絡(luò)設(shè)備、服務(wù)器、存儲、數(shù)據(jù)庫、中間件等）執(zhí)行性能指標(biāo)監(jiān)控，實現(xiàn)事前運維。我們要運維監(jiān)控這個東西的什么屬性？比如CPU的使用率、負(fù)載、用戶態(tài)、內(nèi)核態(tài)、上下文切換。哪個運維監(jiān)控管理產(chǎn)品好用

快速讀懂智能化運維監(jiān)控如何賦能IT可觀察性！信創(chuàng)智慧運維監(jiān)控管理

Prometheus指標(biāo)采集和查詢存儲方案-2020年

我們分一級監(jiān)控平臺和二級集群Prometheus監(jiān)控采集組件。一級提供kafka集群和Prometheus聚合組件，二級各集群部署Prometheus和Prometheus-kafka-adapter組件，采集和遠(yuǎn)程送數(shù)據(jù)到一級的kafka集群。

該方案優(yōu)點：

1.業(yè)務(wù)系統(tǒng)可以跨集群聚合數(shù)據(jù)，如圖k8s集群-1和k8s集群-2數(shù)據(jù)聚合到Top-1的Prometheus上。

2.一級監(jiān)控平臺上只要有足夠的cpu、存儲資源，理論上可以水平擴(kuò)展接入更多集群。2020年底采集的指標(biāo)量每天3194億的量級，吞吐量達(dá)370萬/s。

3.采集端Prometheus可以保留極少數(shù)據(jù)，比如6小時的數(shù)據(jù)，減少資源消耗。而上層Prometheus由于落數(shù)據(jù)到時序數(shù)據(jù)庫influxdb中，可以保存一個月數(shù)據(jù)量甚至更多。

該方案沒做到什么：

1.采集端Prometheus擴(kuò)容問題，單集群中數(shù)據(jù)規(guī)模受Prometheus原生的限制。

2.一級監(jiān)控平臺上時序數(shù)據(jù)庫influxdb有單點問題，數(shù)據(jù)規(guī)模和數(shù)據(jù)安全性受其影響。信創(chuàng)智慧運維監(jiān)控管理

上海觀縱科技有限公司是以提供webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運維監(jiān)控為主的有限責(zé)任公司，公司始建于2022-11-14，在全國各個地區(qū)建立了良好的商貿(mào)渠道和技術(shù)協(xié)作關(guān)系。觀縱科技以webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運維監(jiān)控為主業(yè)，服務(wù)于傳媒、廣電等領(lǐng)域，為全國客戶提供先進(jìn)webfunny前端監(jiān)控，webfunny前端埋點，全鏈路應(yīng)用性能監(jiān)控，Argus-IT運維監(jiān)控。將憑借高精尖的系列產(chǎn)品與解決方案，加速推進(jìn)全國傳媒、廣電產(chǎn)品競爭力的發(fā)展。

本文來自中動發(fā)電機(jī)出租：http://www.tuirong.cn/Article/75b20199723.html