火车采集器(LocoySpider)

火车采集器是一款专为站长提供的网站采集分析工具，这款软件几乎能采集所有网页，而且速度非常快，采集/发布如同复制/粘贴一样精准。通过灵活的配置，您可以很轻松的从网页上抓取文字、图片、文件等任何资源。

软件特色：

1、通用性强无论新闻、论坛、视频、黄页、图片、下载类网站，只要通过浏览器能看到的结构化的内容，通过指定匹配规则，都能采集到您所需要的内容。2、稳定、高效五年磨一剑，软件不断更新进步，采集速度快，性能稳定，占用资源少。3、扩展性强、适用范围广自定义web发布，自定义主流的数据库的保存和发布，自定义本地php及.net外部编程接口处理数据，让数据都能为你所用。

功能介绍：

1、规则自定义-通过采集规则的定义，可以搜索所有网站采集几乎任何类型的信息。2、多任务，多线程-可以同时进行多个信息采集任务，每个任务可以使用多个线程。3、所见即所得－任务采集过程所见即所得，过程中遍历的链接信息、采集信息、错误信息等都会及时的反映在软件界面中。4、数据保存－数据边采集边自动保存到关系数据库中，并且数据结构能够自动适应，软件可以根据采集规则自动创建数据库，以及其中的表和字段，也可以通过导库方式灵活的将数据保存到客户已有的数据库结构中。5、断点续采-信息采集任务可以在停止后从断点开始继续采集，从此你用不再担心你的采集任务意外中断了。6、网站登录－支持网站Cookie，支持网站可视化登录，即使登录时需要验证码的网站也能采集。7、计划任务-通过这个功能可以让你的采集任务定时、定量或者一直循环执行。8、采集范围限制-可以根据采集的深度和网址的标识来限制采集的范围。9、文件下载－可以将采集到的二进制文件（诸如：图片、音乐、软件、文档等等）下载到本地磁盘或者采集结果数据库中。10、结果替换-可以将采集的结果根据规则替换成你定义的内容。11、条件保存-可以根据某个条件来决定那些信息保存，那些信息过滤。12、过滤重复内容－软件可根据用户设置和实际情况对重复内容和重复网址自动删除重复内容。13、特殊链接识别-运用此功能可以将用JavaScript动态生成的链接或其他更古怪的连接识别出来。14、数据发布－可以通过自定义接口，将已采集的结果数据发布到任意的内容管理系统和指定数据库中。现在已支持的目标发布媒体包括：数据库(access,sqlserver,mysql,oracle)，静态htm文件。15、预留编程接口－定义多个编程接口，用户可以在事件中利用PHP,C#语言进行编程，扩充采集功能。

更新内容：

2019-05-07

1.优化效率修复运行大量任务时运行卡顿问题

2.修复大量代理时配置文件锁死程序退出问题

3.修复部分情况下mysql链接不上问题

4.其它界面和功能优化

2018/08/06

1、调整列表页排重的方式，现在仅会在同级列表页之间进行排重2、增加对于任务运行完毕之后的运行统计的预警功能(Email邮件预警)【旗舰版功能】3、新增支持对于一些请求返回码不为200时，仍然进行采集的配置4、新增支持将下载地址保存为html文件的功能5、二次代理服务，增加导入的时候配置代理类型，同时修复对于用户名密码的显示错误问题6、发布配置页面，默认仅显示当前选择配置，加快任务加载时间7、修复命令行控制，closeapp参数无法自动关闭程序的问题8、修复在未选择图片水印时，无法进行图片裁剪的问题9、优化开始界面加载方式，解决初始化界面卡顿的问题10、修复在配置多行连接符包含“l”导致的无法探测图片下载的问题11、修复Excel导出数据时，列的顺序与字段顺序不一致的问题12、修复Excel导出数据时，一些包含数字的字段的导出数据错误问题

Tags:LocoySpider,采集器.