恋羽 的全部文章

做最坏的打算，做最好的自己，想最美的事情。

如何让爬虫跑满100M宽带

2 条评论 随便写写

这个是一个严肃的问题。
目的是为了抓取一批图片，大约几个T的样子。
上次干这个活是在3月份，所以3月份打了一个草稿，今天补充下，附下今天的图，顺便把坑填了。
内存及负载使用状况：
爬虫下载过程中的负载情况
针对的应用场景
对方不限速，无IP限制
对方有多个CDN
如图片爬取类的操作
采用的方案 （请忽略分布式...

KVM 磁盘创建 qemu-img create

留下评论 学习笔记

目的
通过qumu-img 创建一个磁盘，并在centos7上进行挂载
Man手册
创建一个磁盘
标准的qcow2格式，不加密，磁盘动态拓展, 500G大小，发现如果太大会有性能问题
创建nbd设备
挂载qcow2设备
创建分区
格式化分区
查看结果
单纯的xfs分区后期拓展会有些麻烦，还是建立lvm会合适些
使用一天后的补充结论
创建磁盘一定要预先...

单机Redis锁与文件锁

留下评论 学习笔记

单机情形下就不要考虑redis锁了，文件锁的性能和释放机制都优于redis锁。在频繁加锁释放锁的情形下，redis CPU占用额外高。
数据参考：无，一个下午的悲催总结。
如果需要更高的性能，可以参考如下内容：
当前应用场景，防止300个爬虫进程读取重复数据下载，加锁性能消耗较大，在不改变现有架构的情形下数据库读取的性...

Now 看着桌面上碎成渣（干了）的发票，只想说：洗衣服要掏口袋，以后一定要电子发票。心情复杂与沉重。