文章分类:随便写写

Prometheus 与 Grafana 的监控面板搭建

背景
想折腾一套简单的监控方案很久了,最开始是用influxDB + Grafana的方案,距离上次已经过去大概2两年了,至今这套方案已经也还没啥毛病。大概一年前又尝试了用ElasticSearch + Kibana的方案,这套方案应该也是很多人用的,无奈这套方案太消耗资源,之前尝试的过程中导致CPU占用持续在2的样子,而且还ES那个磁盘占用...

Now 如果想要减肥,请保持冰箱是空的。

如何让爬虫跑满100M宽带

这个是一个严肃的问题。
目的是为了抓取一批图片,大约几个T的样子。
上次干这个活是在3月份,所以3月份打了一个草稿,今天补充下,附下今天的图,顺便把坑填了。
内存及负载使用状况:
爬虫下载过程中的负载情况
针对的应用场景
对方不限速,无IP限制
对方有多个CDN
如图片爬取类的操作
采用的方案 (请忽略分布式...