我们正在寻找一位技术熟练的后端开发人员来构建一个强大的数据库，并开发一个能够提取、处理和存储来自外部网站的数据的后端系统。理想的候选人应具备网络爬虫、数据库管理、API开发和后端优化的经验。

• 设计并实现一个可扩展的数据库（PostgreSQL、MySQL、MongoDB），用于存储大量结构化数据。
• 使用Python（Scrapy、BeautifulSoup、Selenium）或Node.js（Puppeteer、Cheerio）开发网络爬虫脚本，以从外部网站提取数据。
• 确保在将数据插入数据库之前进行数据清理、验证和结构化。
• 建立一个RESTful API，以高效地将数据提供给前端。
• 优化数据库查询，确保快速响应时间。
• 实施定时任务和自动化脚本，以进行定期数据更新。
• 确保数据存储的安全并防止爬虫检测阻断（例如，轮换代理、无头浏览器）。
• 如有必要，集成第三方API以获取额外的数据源。

• 后端开发： Node.js（Express.js, Nest.js），Python（Django, FastAPI, Flask）
• 网络爬虫： Scrapy, BeautifulSoup, Selenium, Puppeteer, Cheerio
• 数据库管理： PostgreSQL, MySQL, MongoDB, Redis
• API 开发： RESTful API, GraphQL, FastAPI, Flask
• 数据处理： Pandas, NumPy, JSON 处理
• 安全和性能优化
• 云服务： AWS, Google Cloud, Firebase
• 版本控制和部署： Git, Docker, Kubernetes
• 具有大规模数据爬取和反机器人规避技术的经验。
• 了解异步编程以处理大量请求。
• 理解动态内容的搜索引擎优化（SEO）。
• 能够使用微服务架构进行模块化开发。