平台研发与架构
多年数据采集及平台研发经验,熟悉采集任务管理、分布式调度、数据接入与异构数据同步全链路。
10 年以上研发与平台经验,深耕企业级数据采集、分布式调度与反爬治理。在京东集团参与数据采集平台与集团级统一反爬建设,兼具一线研发、架构评审与数据供应链管理的复合背景。北京大学工程管理硕士。
从一线研发到平台治理,既能写代码,也能定架构、评方案、管交付。
多年数据采集及平台研发经验,熟悉采集任务管理、分布式调度、数据接入与异构数据同步全链路。
覆盖 Python、Java、Spring Boot、移动端自动化、网络观测、数据处理与多模态大模型应用。
早期长期一线研发,近年转向平台技术规划、架构分析、方案评审、策略治理与跨团队交付。
数据采集平台、异构同步平台、移动端内容识别等项目,从需求分析到上线交付的完整实践。
具备数据供应链技术管理经验,熟悉供应商评估、数据质量验证、交付管理与跨团队协作。
京东集团 2018 至今 · 魅族科技 2016–2018,始终围绕数据采集与平台建设。
数据采集平台 · 反爬治理 · 数据供应链 · 多模态识别
搭建覆盖电商、舆情领域的数据采集平台,支撑商业智能团队数据需求;参与商业智能化系统架构设计与核心模块开发。
六个代表项目,覆盖平台、同步、治理、移动端与 AI 工程化。
参与平台设计、开发与持续迭代,建设分布式采集任务管理、调度执行、数据源接入与异常处理能力,推动流程标准化与能力复用。
主要开发人员之一 / 平台研发基于 DataX 二次开发,面向多数据源接入与同步需求,完善任务配置、执行与异常处理,规范同步流程提升交付效率。
平台研发 / 二次开发开展平台架构与技术链路分析,结合业务场景做风险识别与策略规则设计,推动策略在多业务场景落地并持续优化。
技术分析 / 策略运营使用 Appium、uiautomator2 建设移动端自动化能力,结合 mitmproxy 在授权测试环境下观测网络请求与响应,完成链路分析。
技术研发基于 Qwen2.5-VL 探索多模态识别,FFmpeg 视频抽帧 + Prompt 优化,与算法团队整合传统算法与大模型,推动工程化落地。
方案研发 / 工程实现参与比价、定价及跟价平台建设与商品匹配项目,围绕数据匹配需求开展技术方案与工程协作,支撑业务应用落地。
技术研发 / 项目协作平台与后端为根,采集与移动端为长项,架构治理与 AI 工程为增量。
日常工作中高频使用的开源工具箱 — 从 Web 爬虫框架、浏览器与移动端自动化,到抓包、动态插桩与 AI 逆向工程。点击卡片直达 GitHub。
Python 生态最成熟的 Web 爬虫框架。内置请求调度、并发、管道与中间件体系,适合大规模、分布式数据采集,是企业级采集平台的常用底座。
GitHub 地址 ↗老牌浏览器自动化框架,生态最全。通过 WebDriver 控制 Chrome / Firefox 等真实浏览器,处理 JS 渲染、登录态与复杂交互页面。
GitHub 地址 ↗跨平台移动端自动化标准,iOS / Android 通吃。基于 WebDriver 协议,一套脚本多端复用,常用于 App 自动化采集与测试。
GitHub 地址 ↗轻量快速的 Android 自动化库,Python 封装 Google UIAutomator。比 Appium 更轻、启动更快,适合 Android 端采集与设备群控场景。
GitHub 地址 ↗交互式 HTTPS 代理抓包神器。可拦截、查看、修改 HTTP/HTTPS 请求与响应,支持 Python 脚本自动化,是 App 流量分析与接口观测必备。
GitHub 地址 ↗动态插桩工具包,向原生 App 进程注入 JavaScript,实时 Hook 函数、观测运行时行为。常用于安全分析、SSL Pinning 绕过与行为研究。
GitHub 地址 ↗功能最强的命令行音视频下载器,youtube-dl 的活跃分支。支持上千站点、格式选择、字幕与播放列表,媒体类数据采集直接可用。
GitHub 地址 ↗用 Agent 逆向一切:从 App 行为到原生二进制。一个 MCP 打通二进制、应用与运行时行为分析,让 AI Agent 直接 inspect 目标应用、追踪代码并给出证据。
GitHub 地址 ↗注:Star 数为 GitHub 公开仓库数据,2026-11-22 核实;所有链接均为官方仓库地址。
北京大学硕士 · 重庆大学本科,四项全国级竞赛奖项。
电话:133****8090(已打码)
邮箱:gozxd@163.com · 意向:广州 / 深圳