Python의 강력한 거미 (웹 크롤러) 시스템
- 소프트웨어 : pyspider
- OS :
- 프로그래밍 언어 : Python
- 공식 웹사이트 : HOME
pyspider 상세
Pyspider는 파이썬의 강력한 거미 (웹 크롤러) 시스템입니다.구성 요소는 메시지 대기열에 의해 연결됩니다.메시지 대기열을 포함한 모든 구성 요소는 자체 프로세스 / 스레드에서 실행 중이며 교체 할 수 있습니다.즉, 프로세스가 느려질 때 프로세서의 많은 인스턴스를 가질 수 있으며 여러 CPU를 최대한 활용하거나 여러 시스템에 배포 할 수 있습니다.이 아키텍처는 Pyspider를 정말 빨리합니다.벤치마킹.Pyspider는 다양한 구성 요소가 있으므로 Pyspider를 실행하여 독립형 및 세 번째 서비스 무료 인스턴스를 시작할 수 있습니다.또는 MySQL 또는 MongoDB 및 Rabbitmq를 사용하여 분산 크롤링 클러스터를 배포합니다.제품 환경에서 Pyspider를 배포하려면 각 프로세스의 구성 요소를 실행하고 데이터베이스 서비스의 데이터를 저장하는 것이 더 안정적이고 유연합니다.각 프로세스 각 프로세스에 PySpider 구성 요소를 배포하려면 하나 이상의 데이터베이스 서비스가 필요합니다.Pyspider는 이제 MySQL, MongoDB 및 PostgreSQL을 지원합니다.당신은 그들 중 하나를 선택할 수 있습니다.
