Tech
[分享创造] [开源免费] boss-zhipin-scraper: 基于 CDP 的 boss 直聘爬虫
github 地址
https://github.com/eatmoreduck/boss-zhipin-scraper
解决了什么痛点
字体反爬 :BOSS 直聘列表页的薪资是字体文件加密过的,直接抓 DOM 拿到的是假数据。这个工具走的是搜索 API ,接口本身就返回明文 salaryDesc ,绕过字体那一层。
手动翻页太累 :想批量看一类岗位、横向对比薪资和技能要求,靠人工翻根本看不全面。
不知道市场行情 :光看一两个岗位没感觉,想看整体分布(薪资区间、经验/学历要求、高频技能词)。
技术上怎么做的
没有用 Selenium / Playwright ,而是通过 Chrome DevTools Protocol 直接连接本地一个已登录的 Chrome (持久隔离 profile ,不动你主浏览器的 Gmail / GitHub 登录态):
复用真实登录态调搜索 API ,拿到明文薪资
详情页带上列表 API 的 securityId / lid 上下文,避免风控
每页抓完立刻落盘 + 按 job_id...
Read the full discussion on V2EX
This article was aggregated from V2EX. Click to join the conversation.
View on V2EX