我公司开发的软件目前采用多线程的网络爬虫技术，在对海量的网络信息进行采集分析时，遇到线程稳定性障碍，初步分析原因如下：

    1.长时间处理海量数据后的引起数据库缓存过大

    2.系统缓存占用过大 

    3.网络故障引起部分线程死锁无法回收；

    现希望能提供解决方案或成熟稳定的net框架下的多线程爬虫技术源码；

    现在我公司有一个解决方法是每天凌晨2点系统重启，但是想寻求更好的方法来解决这个问题。