无程式不人生-使用Java实现网络资源定时抓取和图片压缩

2015-08-18 9:39:18 暂无评论阳光倾城网站技术 983

[2015-08-18 09:30:49,136] INFO [com.udast.collect.control.UdastConfigServlet.initUdast()] : ^抓取任务处理执行中……
Aug 18, 2015 9:30:49 AM org.apache.coyote.AbstractProtocol start
INFO: Starting ProtocolHandler [“http-apr-9998”]
Aug 18, 2015 9:30:49 AM org.apache.catalina.startup.Catalina start
INFO: Server startup in 2381 ms
[2015-08-18 09:30:59,136] INFO [com.udast.collect.control.UdastConfigServlet.run()] : 开始执行任务……
[2015-08-18 09:30:59,141] INFO [com.udast.collect.Collecter.execRule()] : 开始抓取数据……
[2015-08-18 09:30:59,278] INFO [com.udast.collect.Collecter.execRule()] : 开始执行规则：新浪科技探索
[2015-08-18 09:31:00,367] INFO [com.udast.collect.Collecter.sameWordReplace()] : 开始进行同义词替换
[2015-08-18 09:31:02,993] INFO [com.udast.collect.Collecter.sameWordReplace()] : 高频词汇采样完成
[2015-08-18 09:31:03,004] INFO [com.udast.collect.Collecter.sameWordReplace()] : 同义词替换完成，替换词目条数：2
[2015-08-18 09:31:03,026] INFO [com.udast.collect.Collecter.sameWordReplace()] : 开始进行同义词替换
[2015-08-18 09:31:03,082] INFO [com.udast.collect.Collecter.sameWordReplace()] : 高频词汇采样完成
[2015-08-18 09:31:03,129] INFO [com.udast.collect.Collecter.sameWordReplace()] : 同义词替换完成，替换词目条数：55
成功更新：1行
[2015-08-18 09:31:08,470] INFO [com.udast.collect.Collecter.sameWordReplace()] : 开始进行同义词替换
[2015-08-18 09:31:08,471] INFO [com.udast.collect.Collecter.sameWordReplace()] : 高频词汇采样完成
[2015-08-18 09:31:08,484] INFO [com.udast.collect.Collecter.sameWordReplace()] : 同义词替换完成，替换词目条数：1
[2015-08-18 09:31:08,487] INFO [com.udast.collect.Collecter.sameWordReplace()] : 开始进行同义词替换
[2015-08-18 09:31:08,503] INFO [com.udast.collect.Collecter.sameWordReplace()] : 高频词汇采样完成
[2015-08-18 09:31:08,516] INFO [com.udast.collect.Collecter.sameWordReplace()] : 同义词替换完成，替换词目条数：6
成功更新：1行
[2015-08-18 09:31:13,735] INFO [com.udast.collect.Collecter.download()] : 成功下载图片：/lahaha/webroot/fbiuu/upup/2015/08/w6bv-fxfxzzn7546068.jpg
[2015-08-18 09:31:14,829] INFO [com.udast.collect.Collecter.download()] : 成功下载图片：/lahaha/webroot/fbiuu/upup/2015/08/uyvn-fxfxrav2676088.jpg
[2015-08-18 09:31:15,841] INFO [com.udast.collect.util.Shell.execShell()] : /lahaha/webroot/fbiuu/upup/2015/08/uyvn-fxfxrav2676088.jpg 550×330 24bit N JFIF [OK] 58686 –> 39963 bytes (31.90%), optimized.
[2015-08-18 09:31:15,842] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩：/lahaha/webroot/fbiuu/upup/2015/08/uyvn-fxfxrav2676088.jpg
[2015-08-18 09:31:15,842] INFO [com.udast.collect.Collecter.execRule()] : 规则抓取完成：新浪科技探索
抓取条数：2
[2015-08-18 09:31:15,843] INFO [com.udast.collect.CollectSave.save2DB()] : 开始执行数据保存……
[2015-08-18 09:31:15,887] INFO [com.udast.collect.util.DBUtil.batchUpdate()] : 成功更新：2行
[2015-08-18 09:31:15,888] INFO [com.udast.collect.util.DBUtil.batchUpdate()] : 成功更新：2行
[2015-08-18 09:31:15,891] INFO [com.udast.collect.CollectSave.save2DB()] : 成功入库……
[2015-08-18 09:31:15,891] INFO [com.udast.collect.Collecter.execRule()] : 结束执行规则：新浪科技探索
[2015-08-18 09:31:15,891] INFO [com.udast.collect.Collecter.execRule()] : 开始执行规则：新浪科技互联网
[2015-08-18 09:31:17,311] INFO [com.udast.collect.Collecter.sameWordReplace()] : 开始进行同义词替换
[2015-08-18 09:31:17,312] INFO [com.udast.collect.Collecter.sameWordReplace()] : 高频词汇采样完成
[2015-08-18 09:31:17,319] INFO [com.udast.collect.Collecter.sameWordReplace()] : 同义词替换完成，替换词目条数：3
[2015-08-18 09:31:17,322] INFO [com.udast.collect.Collecter.sameWordReplace()] : 开始进行同义词替换
[2015-08-18 09:31:17,361] INFO [com.udast.collect.Collecter.sameWordReplace()] : 高频词汇采样完成
[2015-08-18 09:31:17,399] INFO [com.udast.collect.Collecter.sameWordReplace()] : 同义词替换完成，替换词目条数：68
成功更新：1行
[2015-08-18 09:31:22,682] INFO [com.udast.collect.Collecter.sameWordReplace()] : 开始进行同义词替换
[2015-08-18 09:31:22,691] INFO [com.udast.collect.Collecter.sameWordReplace()] : 高频词汇采样完成
[2015-08-18 09:31:22,703] INFO [com.udast.collect.Collecter.sameWordReplace()] : 同义词替换完成，替换词目条数：0
[2015-08-18 09:31:22,710] INFO [com.udast.collect.Collecter.sameWordReplace()] : 开始进行同义词替换
[2015-08-18 09:31:22,725] INFO [com.udast.collect.Collecter.sameWordReplace()] : 高频词汇采样完成
[2015-08-18 09:31:22,743] INFO [com.udast.collect.Collecter.sameWordReplace()] : 同义词替换完成，替换词目条数：19
成功更新：1行
[2015-08-18 09:31:27,951] INFO [com.udast.collect.Collecter.download()] : 成功下载图片：/lahaha/webroot/fbiuu/upup/2015/08/kbdg-fxfxzzn7548046.jpg
[2015-08-18 09:31:28,959] INFO [com.udast.collect.util.Shell.execShell()] : /lahaha/webroot/fbiuu/upup/2015/08/kbdg-fxfxzzn7548046.jpg 550×345 24bit N Exif JFIF [OK] 49413 –> 18022 bytes (63.53%), optimized.
[2015-08-18 09:31:28,960] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩：/lahaha/webroot/fbiuu/upup/2015/08/kbdg-fxfxzzn7548046.jpg
[2015-08-18 09:31:29,054] INFO [com.udast.collect.Collecter.download()] : 成功下载图片：/lahaha/webroot/fbiuu/upup/2015/08/hfxc-fxfxraw8887004.jpg
[2015-08-18 09:31:30,061] INFO [com.udast.collect.util.Shell.execShell()] : /lahaha/webroot/fbiuu/upup/2015/08/hfxc-fxfxraw8887004.jpg 480×315 24bit N Exif JFIF [OK] 55033 –> 22114 bytes (59.82%), optimized.
[2015-08-18 09:31:30,062] INFO [com.udast.collect.util.Jpegoptim.imgCompz()] : 成功压缩：/lahaha/webroot/fbiuu/upup/2015/08/hfxc-fxfxraw8887004.jpg
[2015-08-18 09:31:30,062] INFO [com.udast.collect.Collecter.execRule()] : 规则抓取完成：新浪科技互联网
抓取条数：2
[2015-08-18 09:31:30,063] INFO [com.udast.collect.CollectSave.save2DB()] : 开始执行数据保存……
[2015-08-18 09:31:30,076] INFO [com.udast.collect.util.DBUtil.batchUpdate()] : 成功更新：2行
[2015-08-18 09:31:30,076] INFO [com.udast.collect.util.DBUtil.batchUpdate()] : 成功更新：2行
[2015-08-18 09:31:30,091] INFO [com.udast.collect.CollectSave.save2DB()] : 成功入库……
[2015-08-18 09:31:30,092] INFO [com.udast.collect.Collecter.execRule()] : 结束执行规则：新浪科技互联网