本项目基于webmagic,优雅的实现了一个爬虫。
经过本项目你将学习到
webmagice 爬虫框架的基本用法,以及如何搭建一个java爬虫
如何将设计模式的基本原则贯彻到项目开发中
策略模式、装饰器模式、观察者模式的具体使用
如何利用设计模式将一个已有的框架进行优雅的扩展。
当然,你还能够学到很多其他的东西,但是我们认为以上四点是本项目的核心知识。
你需要准备哪些知识
掌握java基本语法
理解多态、继承(你可以去看《java编程思想》中的相关章节)
了解设计模式,理解策略模式、装饰器模式、观察者模式
了解爬虫的实现思路
了解Html、DOM、http协议
了解Spring Boot