一款分布式爬虫管理平台，支持多种语言和框架

大家好，欢迎来到IT知识分享网。

大家好，我是 Java陈序员。

今天，给大家介绍一个分布式的爬虫平台，支持多种编程语言、框架！

关注微信公众号：【Java陈序员】，获取开源项目分享、AI副业分享、超200本经典计算机电子书籍等。

项目介绍

Crawlab —— 一个基于 Golang 的分布式爬虫管理平台，支持Python、NodeJS、Go、Java、PHP 等多种编程语言以及多种爬虫框架。

主要功能：

项目截图

登录页

主页

节点

项目

爬虫

任务

插件

快速上手

最快安装 Crawlab 的方式是 Docker.推荐使用 Docker Compose.

1、创建配置文件并命名为 docker-compose.yml

version: '3.3' services: master: image: crawlabteam/crawlab container_name: crawlab_master environment: CRAWLAB_NODE_MASTER: "Y" CRAWLAB_MONGO_HOST: "mongo" ports: - "8080:8080" depends_on: - mongo mongo: image: mongo:4.2

2、一键启动 Crawlab

docker-compose up -d

3、浏览器访问

http://IP:8080

这是最小化配置的 Crawlab,支持体验大多数功能，但是不建议在生产环境中配置，生产环境部署 Crawlab 可参考官方文档。

Crawlab 适用于网路爬虫工程师、运维工程师、数据分析师等，是一款功能强大的爬虫平台！更多的使用功能，可自行部署体验~

项目地址：https://github.com/crawlab-team/crawlab 在线体验：https://demo.crawlab.cn/#/home 在线文档：https://docs.crawlab.cn/zh/guide/

最后

推荐的开源项目已经收录到 GitHub 项目，欢迎 Star：

https://github.com/chenyl8848/great-open-source-project

或者访问网站，进行在线浏览：

https://chencoding.top:8090/#/

大家的点赞、收藏和评论都是对作者的支持，如文章对你有帮助还请点赞转发支持下，谢谢！