网络爬虫岗位职责

高级爬虫开发工程师职责描述:

1、负责公司产品的爬虫架构设计与开发,以及爬虫策略优化等工作;

2、根据数据产品需求,负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作;

任职要求:

1、计算机、数学或统计等相关专业本科及以上学历,1年以上爬虫相关工作经验;

2、熟悉linux平台,熟练掌握Python或JAVA爬虫开发工作;

3、熟悉静态、动态网页等大规模文本数据的高效信息抽取、清洗、存储等技术;

4、有反爬相关问题处理经验,精通常用的爬虫技术及架构设计,并能快速开发实现;

5、具备良好的编程习惯和算法基础;

6、善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。职责描述:

1、负责公司产品的爬虫架构设计与开发,以及爬虫策略优化等工作;

2、根据数据产品需求,负责对网页等大规模文本数据抓取、清洗、存储等设计开发工作;

任职要求:

1、计算机、数学或统计等相关专业本科及以上学历,1年以上爬虫相关工作经验;

2、熟悉linux平台,熟练掌握Python或JAVA爬虫开发工作;

3、熟悉静态、动态网页等大规模文本数据的高效信息抽取、清洗、存储等技术;

4、有反爬相关问题处理经验,精通常用的爬虫技术及架构设计,并能快速开发实现;

5、具备良好的编程习惯和算法基础;

6、善于学习,热爱技术开发,善于团队协作,能积极主动地参与公司产品研发等相关工作。