Open to Guangzhou / Shenzhen · 正在看机会

ALEX.

数据采集平台负责人
数据平台技术专家·技术架构师

10 年以上研发与平台经验,深耕企业级数据采集、分布式调度与反爬治理。在京东集团参与数据采集平台与集团级统一反爬建设,兼具一线研发、架构评审与数据供应链管理的复合背景。北京大学工程管理硕士。

📍 当前 北京 → 意向 广州 / 深圳 📞 133****8090 ✉️ gozxd@163.com
10+年研发经验
8.5 年京东集团 · 2018 至今
北大硕士工程管理 · 2023–2025
4 项全国级竞赛奖项
01 — Personal Strengths

个人优势

从一线研发到平台治理,既能写代码,也能定架构、评方案、管交付。

/ 01

平台研发与架构

多年数据采集及平台研发经验,熟悉采集任务管理、分布式调度、数据接入与异构数据同步全链路。

/ 02

技术广度

覆盖 Python、Java、Spring Boot、移动端自动化、网络观测、数据处理与多模态大模型应用。

/ 03

研发到管理复合背景

早期长期一线研发,近年转向平台技术规划、架构分析、方案评审、策略治理与跨团队交付。

/ 04

复杂项目落地

数据采集平台、异构同步平台、移动端内容识别等项目,从需求分析到上线交付的完整实践。

/ 05

业务与技术结合

具备数据供应链技术管理经验,熟悉供应商评估、数据质量验证、交付管理与跨团队协作。

02 — Experience

工作经历

京东集团 2018 至今 · 魅族科技 2016–2018,始终围绕数据采集与平台建设。

京东集团 — 技术研发 / 数据平台与技术治理

数据采集平台 · 反爬治理 · 数据供应链 · 多模态识别

2018 — 至今

数据采集平台建设与技术演进

  • 作为平台主要开发人员之一,参与企业级数据采集平台建设与核心功能迭代
  • 基于 Java、Spring Boot 参与平台服务开发:任务管理、分布式调度、数据接入、异常处理
  • 推动采集任务配置、执行流程与数据交付标准化,沉淀通用能力提升复用性

数据采集与反爬治理

  • 负责集团级统一反爬平台策略运营与技术治理,参与架构分析与方案评审
  • 结合业务场景分析自动化采集与异常访问,推动采集与安全治理协同
  • 参与反爬规则设计、策略优化,结合爬虫自动化与设备环境变化做风险研判

数据采购与供应链技术管理

  • 负责供应商技术评估、数据质量验证、交付验收与技术管理
  • 制定技术验证与质量评估方案,关注完整性、准确性、时效性与稳定性
  • 参与供应商寻源、技术沟通与商务谈判,管理小型团队规范交付流程

多模态内容识别方案

  • 使用 Qwen2.5-VL、FFmpeg 构建视频及图片内容识别流程
  • 通过视频抽帧、Prompt 优化与模型 API 调用完成方案验证与工程实现
  • 与算法团队协作整合传统算法与大模型能力,推动端到端方案上线

魅族科技 · 商业智能部 — 研发工程师

搭建覆盖电商、舆情领域的数据采集平台,支撑商业智能团队数据需求;参与商业智能化系统架构设计与核心模块开发。

2016.08 — 2018.03
03 — Selected Projects

重点项目经历

六个代表项目,覆盖平台、同步、治理、移动端与 AI 工程化。

Platform

企业级数据采集平台

参与平台设计、开发与持续迭代,建设分布式采集任务管理、调度执行、数据源接入与异常处理能力,推动流程标准化与能力复用。

主要开发人员之一 / 平台研发
DataX · Sync

基于 DataX 的异构数据同步平台

基于 DataX 二次开发,面向多数据源接入与同步需求,完善任务配置、执行与异常处理,规范同步流程提升交付效率。

平台研发 / 二次开发
Security · Anti-Crawler

集团级统一反爬策略治理

开展平台架构与技术链路分析,结合业务场景做风险识别与策略规则设计,推动策略在多业务场景落地并持续优化。

技术分析 / 策略运营
Mobile · Automation

移动端自动化采集与网络数据观测

使用 Appium、uiautomator2 建设移动端自动化能力,结合 mitmproxy 在授权测试环境下观测网络请求与响应,完成链路分析。

技术研发
AI · Multimodal

移动端视频与图片内容识别

基于 Qwen2.5-VL 探索多模态识别,FFmpeg 视频抽帧 + Prompt 优化,与算法团队整合传统算法与大模型,推动工程化落地。

方案研发 / 工程实现
E-commerce Data

数据比价与商品匹配

参与比价、定价及跟价平台建设与商品匹配项目,围绕数据匹配需求开展技术方案与工程协作,支撑业务应用落地。

技术研发 / 项目协作
04 — Professional Skills

专业技能

平台与后端为根,采集与移动端为长项,架构治理与 AI 工程为增量。

平台与后端开发

JavaSpring BootPython分布式调度DataX 二次开发异构数据同步

数据采集与移动端

网站数据采集Appiumuiautomator2mitmproxyHTTP/HTTPS 分析

架构与技术治理

平台架构分析方案评审采集链路分析反爬策略运营跨团队交付

AI 工程应用

Qwen2.5-VL大模型 API 集成Prompt 优化FFmpeg

项目与团队管理

供应商评估数据质量管理项目计划小型团队管理
05 — Open Source Toolbox

技能树板块

日常工作中高频使用的开源工具箱 — 从 Web 爬虫框架、浏览器与移动端自动化,到抓包、动态插桩与 AI 逆向工程。点击卡片直达 GitHub。

8 个核心项目·5 个技术方向·全部附官方地址
S
★ 65,526

Scrapy

github.com/scrapy/scrapy

Python 生态最成熟的 Web 爬虫框架。内置请求调度、并发、管道与中间件体系,适合大规模、分布式数据采集,是企业级采集平台的常用底座。

爬虫框架Python分布式
GitHub 地址 ↗
Se
★ 34,603

Selenium

github.com/SeleniumHQ/selenium

老牌浏览器自动化框架,生态最全。通过 WebDriver 控制 Chrome / Firefox 等真实浏览器,处理 JS 渲染、登录态与复杂交互页面。

浏览器自动化WebDriver
GitHub 地址 ↗
Ap
★ 22,244

Appium

github.com/appium/appium

跨平台移动端自动化标准,iOS / Android 通吃。基于 WebDriver 协议,一套脚本多端复用,常用于 App 自动化采集与测试。

移动端iOS / Android
GitHub 地址 ↗
Ui
★ 8,523

uiautomator2

github.com/openatx/uiautomator2

轻量快速的 Android 自动化库,Python 封装 Google UIAutomator。比 Appium 更轻、启动更快,适合 Android 端采集与设备群控场景。

AndroidPython轻量
GitHub 地址 ↗
M
★ 47,128

mitmproxy

github.com/mitmproxy/mitmproxy

交互式 HTTPS 代理抓包神器。可拦截、查看、修改 HTTP/HTTPS 请求与响应,支持 Python 脚本自动化,是 App 流量分析与接口观测必备。

抓包改包HTTPS流量分析
GitHub 地址 ↗
Fr
★ 22,892

Frida

github.com/frida/frida

动态插桩工具包,向原生 App 进程注入 JavaScript,实时 Hook 函数、观测运行时行为。常用于安全分析、SSL Pinning 绕过与行为研究。

动态插桩Hook安全
GitHub 地址 ↗
Yt
★ 209,718

yt-dlp

github.com/yt-dlp/yt-dlp

功能最强的命令行音视频下载器,youtube-dl 的活跃分支。支持上千站点、格式选择、字幕与播放列表,媒体类数据采集直接可用。

音视频下载媒体采集
GitHub 地址 ↗
Re
★ 472,971

rea — Reverse Engineer Anything

github.com/morluto/rea

用 Agent 逆向一切:从 App 行为到原生二进制。一个 MCP 打通二进制、应用与运行时行为分析,让 AI Agent 直接 inspect 目标应用、追踪代码并给出证据。

AI 逆向MCPAgent
GitHub 地址 ↗

注:Star 数为 GitHub 公开仓库数据,2026-11-22 核实;所有链接均为官方仓库地址。

06 — Education & Honors

教育经历与荣誉

北京大学硕士 · 重庆大学本科,四项全国级竞赛奖项。

教育经历

北京大学 — 工程管理 · 硕士
2023.09 – 2025.06
重庆大学 — 软件工程 · 本科
2009.09 – 2013.06
联系方式

电话:133****8090(已打码)
邮箱:gozxd@163.com · 意向:广州 / 深圳

荣誉与奖项

1
数字中国创新大赛
全国总决赛 · 人工智能赛道三等奖
2
全国先进计算大赛
全国总决赛二等奖 · 赛事曾获央视报道
3
百度千帆大模型平台黑客马拉松
创新实验奖
4
北京大学高性能计算综合能力竞赛
优胜奖
邮箱已复制:gozxd@163.com