前言前段时间写了个爬虫,结构是典型的 Producer-Consumer 模式,要爬取的数据在20万左右,需要长时间运行。在开始阶段爬虫经常自己退出,log 里也没有报错,后来长时间观察才发现是内存占 ...