数据采集系统_产品_门户网站建设与网站群治理平台供给商 | 当局、高校、医院、央国企网站改版解决规划

进一步索求 WebFuture 查看更多产品返回首页

数据采集系统是一款智能化的互联网数据采集工具，，，，，，，，与内容治理系统深度集成，，，，，，，，可单一急剧地将指标网站的内容采集到自己的网站中，，，，，，，，以急剧填充网站内容，，，，，，，，或者通过按时采集来实现自动转载指标网站的新闻，，，，，，，，以削减网站内容运维工作。。。。。

与内容治理系统深度集成

数据采集系统可能从指标网站采集数据，，，，，，，，通过智能分析，，，，，，，，将数据与指定内容模型的各个字段匹配天生相应的内容实体，，，，，，，，并保留至指定栏目中。。。。。指标网页中的图片和附件会以文件大局保留在网站的上传文件夹中。。。。。

支持数据采集的内容模型蕴含文章、公开信息、政策文件等。。。。。

网站
网页
RSS 源
API 接口
（XML 体式）
API 接口
（Json 体式）
支持从网页、RSS 源、API 接口（Json 体式、XML 体式）采集数据。。。。。
当数据源为网页或 API 接口时，，，，，，，，支持设置要求头参数。。。。。

支持按正序或倒序进行数据采集。。。。。
支持按时采集职能。。。。。
支持断点续采。。。。。
支持采集排沉（增量采集），，，，，，，，能够凭据标题或 URL 进行排沉。。。。。
支持自动下载内容中的图片和附件。。。。。
支持自动过滤正文中的链接。。。。。
支持更新采集，，，，，，，，即在采集所罕见据的同时不清空汗青纪录，，，，，，，，并判断汗青纪录中是否存在一样数据，，，，，，，，若存在则更新数据，，，，，，，，不然插入新数据。。。。。
支持沉新采集，，，，，，，，即清空汗青纪录后沉新采集全数数据。。。。。
支持批量执行采集工作。。。。。
支持查看采集进度。。。。。
支持采集汗青纪录治理，，，，，，，，用户能够查看、删除、清空采集汗青纪录。。。。。
支持仅采集为链接内容，，，，，，，，并保留至源网页的链接。。。。。

可视化配置采集规定

提供可视化操作界面，，，，，，，，无需编写代码。。。。。用户能够通过单一的拖拽、点选和配置来界说采集规定，，，，，，，，使不懂技术的编纂人员也能轻松配置采集规定。。。。。
支持代理服务器

支持采集只能通过代理服务器接见的网站内容，，，，，，，，或者通过代理服务接见来绕过指标网站的反爬虫限度。。。。。
支持采集必要身份认证的网站

支持采集必要认证的网站内容，，，，，，，，支持的认证方式蕴含 HttpBasic 认证、Token 认证和 Jwt 认证。。。。。
反反爬虫

具备单一的反反爬虫机造，，，，，，，，通过模拟正常浏览器的 UA、调整采集距离功夫和通过代理服务器接见等伎俩，，，，，，，，有效应对网站的反爬虫机造，，，，，，，，确保采集过程的不变性和靠得住性。。。。。
实时监控与预警

系统保留齐全的采集日志纪录，，，，，，，，可通过日志还原采集过程，，，，，，，，援手分析采集过程中出现的问题。。。。。同时，，，，，，，，借助美满的日志职能，，，，，，，，系统可能实时统计各项采集指标，，，，，，，，并提供实时预警。。。。。