Java实现在线批量采集网络信息功能后台操作日志

2015-08-15 13:15:19 暂无评论阳光倾城企业级Java 1,180

实现了自动采集、自动同义替换、自动压缩图片并下载到本地并自动更新图片链接、自动入库，，，自动推广正在实现……

日志如下：

[2015-08-15 12:52:14,486] INFO [com.udast.collect.control.UdastConfigServlet.initUdast()] : ^采集任务处理执行中……
[2015-08-15 12:53:14,487] INFO [com.udast.collect.control.UdastConfigServlet.run()] : 开始执行任务……
[2015-08-15 12:53:14,513] INFO [com.udast.collect.Collecter.execRule()] : 开始采集数据……
[2015-08-15 12:59:57,018] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/v/2015-08-14/doc-ifxfxraw8791938.shtml
[2015-08-15 12:59:57,019] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/a/2015-08-15/doc-ifxfxrav2360038.shtml
[2015-08-15 12:59:57,019] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/s/2015-08-15/doc-ifxfxzzn7495734.shtml
[2015-08-15 12:59:57,019] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/v/2015-08-14/doc-ifxfxraw8800765.shtml
[2015-08-15 12:59:57,020] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/s/2015-08-14/doc-ifxfxray5555050.shtml
[2015-08-15 12:59:57,021] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/i/2015-08-14/doc-ifxfxrav2210977.shtml
[2015-08-15 12:59:57,021] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/i/2015-08-14/doc-ifxfxzzn7459790.shtml
[2015-08-15 12:59:57,021] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/s/2015-08-14/doc-ifxfxray5552177.shtml
[2015-08-15 12:59:57,021] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/v/2015-08-13/doc-ifxfxray5537726.shtml
[2015-08-15 12:59:57,021] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/i/2015-08-13/doc-ifxftvni9029344.shtml
[2015-08-15 12:59:57,022] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/v/2015-08-13/doc-ifxfxraw8761837.shtml
[2015-08-15 12:59:57,022] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/f/2015-08-13/doc-ifxfxraw8760388.shtml
[2015-08-15 12:59:57,022] INFO [com.udast.collect.Collecter.findHerfList()] : 成功匹配：https://tech.sina.com.cn/d/v/2015-08-13/doc-ifxfxraw8759466.shtml
[2015-08-15 12:59:57,233] INFO [com.udast.collect.Collecter.sitefilter()] : 防重复采集过滤完毕……
[2015-08-15 13:01:24,428] INFO [com.udast.collect.Collecter.info2file()] : {content= …内容太长，不展示…}
成功更新：1行
[2015-08-15 13:01:24,445] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/i51o-fxfxrav2189245.jpg
新图片：<img class=”img-responsive” title=”天津爆炸事变现场” src=”https://192.168.52.128/wp-content/uploads/2015/08/i51o-fxfxrav2189245.jpg” alt=”天津爆炸事变现场” />
[2015-08-15 13:01:24,565] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/bUli-fxfxraw8791924.jpg
新图片：<img class=”img-responsive” title=”成都某防化团停止实战练习” src=”https://192.168.52.128/wp-content/uploads/2015/08/buli-fxfxraw8791924.jpg” alt=”成都某防化团停止实战练习” />
[2015-08-15 13:01:24,819] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/r3NZ-fxfxzzn7453971.png
新图片：<img class=”img-responsive” title=”发烟弹” src=”https://192.168.52.128/wp-content/uploads/2015/08/r3nz-fxfxzzn7453971.jpg” alt=”发烟弹” />
[2015-08-15 13:01:25,103] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:25,104] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/4r1H-fxfxraw8791926.png
新图片：<img class=”img-responsive” title=”染毒地段剖析检测” src=”https://192.168.52.128/wp-content/uploads/2015/08/4r1h-fxfxraw8791926.jpg” alt=”染毒地段剖析检测” />
[2015-08-15 13:01:25,297] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:25,297] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/jaKi-fxfxraw8791928.png
新图片：<img class=”img-responsive” title=”练习救护中毒市民” src=”https://192.168.52.128/wp-content/uploads/2015/08/jaki-fxfxraw8791928.jpg” alt=”练习救护中毒市民” />
[2015-08-15 13:01:25,501] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:25,501] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/uOyB-fxfxraw8791930.png
新图片：<img class=”img-responsive” title=”氛围品质检测” src=”https://192.168.52.128/wp-content/uploads/2015/08/uoyb-fxfxraw8791930.jpg” alt=”氛围品质检测” />
[2015-08-15 13:01:25,661] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:25,661] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/UoN7-fxfxzzn7453982.png
新图片：<img class=”img-responsive” title=”洗消练习” src=”https://192.168.52.128/wp-content/uploads/2015/08/uon7-fxfxzzn7453982.jpg” alt=”洗消练习” />
[2015-08-15 13:01:26,006] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:26,007] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/oBdE-fxfxrav2189283.png
新图片：<img class=”img-responsive” title=”火焰放射” src=”https://192.168.52.128/wp-content/uploads/2015/08/obde-fxfxrav2189283.jpg” alt=”火焰放射” />
[2015-08-15 13:01:26,232] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:26,233] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/br3c-fxfxraw8791932.png
新图片：<img class=”img-responsive” title=”单兵火箭” src=”https://192.168.52.128/wp-content/uploads/2015/08/br3c-fxfxraw8791932.jpg” alt=”单兵火箭” />
[2015-08-15 13:01:26,437] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:26,438] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/dRZq-fxfxray5548696.png
新图片：<img class=”img-responsive” title=”水质检测” src=”https://192.168.52.128/wp-content/uploads/2015/08/drzq-fxfxray5548696.jpg” alt=”水质检测” />
[2015-08-15 13:01:27,138] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:27,138] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/AlLq-fxfxray5548698.png
新图片：<img class=”img-responsive” title=”毒气辨认” src=”https://192.168.52.128/wp-content/uploads/2015/08/allq-fxfxray5548698.jpg” alt=”毒气辨认” />
[2015-08-15 13:01:27,253] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:27,253] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/ZnX1-fxfxraw8791934.png
新图片：<img class=”img-responsive” title=”防化兵缉毒练习” src=”https://192.168.52.128/wp-content/uploads/2015/08/znx1-fxfxraw8791934.jpg” alt=”防化兵缉毒练习” />
[2015-08-15 13:01:27,412] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:27,413] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/yCd–fxfxray5548700.jpg
新图片：<img class=”img-responsive” title=”兰州军区某防化团为临洮震区搭建帐篷撤除危房” src=”https://192.168.52.128/wp-content/uploads/2015/08/ycd–fxfxray5548700.jpg” alt=”兰州军区某防化团为临洮震区搭建帐篷撤除危房” />
[2015-08-15 13:01:27,648] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:27,648] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/t5RZ-fxfxrav2189300.png
新图片：<img class=”img-responsive” title=”北京军区某团发展夏季练习” src=”https://192.168.52.128/wp-content/uploads/2015/08/t5rz-fxfxrav2189300.jpg” alt=”北京军区某团发展夏季练习” />
[2015-08-15 13:01:27,830] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:27,830] INFO [com.udast.collect.Collecter.info2file()] : 锁定图片：https://n.sinaimg.cn/crawl/20150814/S84p-fxfxraw8791936.jpg
新图片：<img class=”img-responsive” title=”第14集团军某防化团60名官兵飞赴尼泊尔抗震救灾” src=”https://192.168.52.128/wp-content/uploads/2015/08/s84p-fxfxraw8791936.jpg” alt=”第14集团军某防化团60名官兵飞赴尼泊尔抗震救灾” />
[2015-08-15 13:01:28,385] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩
[2015-08-15 13:01:28,385] INFO [com.udast.collect.Collecter.execRule()] : 成功执行规则：新浪科技探索
采集条数：1
[2015-08-15 13:01:28,389] INFO [com.udast.collect.CollectSave.save2DB()] : 开始执行数据保存……
[2015-08-15 13:01:28,452] INFO [com.udast.collect.util.DBUtil.batchUpdate()] : 成功更新：1行
[2015-08-15 13:01:28,453] INFO [com.udast.collect.util.DBUtil.batchUpdate()] : 成功更新：1行
[2015-08-15 13:01:28,459] INFO [com.udast.collect.CollectSave.save2DB()] : 成功入库……