待遇详情
工作职责
工作职责
1.负责规划、设计和开发分布式爬虫系统,进行多平台多终端信息的抓取和分析
2.基于抓取系统的数据抓取、清洗工作
3.负责抓取、清洗的算法研究、设计与开发
4.与大数据工程师对接,完成实时数据与离线数据的爬取与对接。
任职要求
1.计算机、数学相关专业本科及以上学历,三年以上Python开发经验
2.能够解决封账号、封IP采集等问题,解决网页抓取、信息抽取等问题
3. 熟悉 Appium. Selenium. PhantomJS. Web Driver等技术
4.熟悉Web前端技术,包括HTML、JS、Jquery、XPath、正则表达式等,
5.熟悉Linux,熟悉Mysql、Nosql等数据库
6.熟悉Httpclient等通信框架至少一种
7. 熟悉 webmagic. Scrapy. Nutch. Heritrix nu虫框架至少一种
8.良好的沟通能力、强烈的责任心和团队合作乱。。,性格开朗,自驱学习,敢于创新和接受挑战
9.有验证码破解、反爬、分布式爬虫架构、数据挖掘、数仓搭建经验者优先。
工作地址
李悦
基智科技重庆分公… · HR