网页数据抓取_类图

2016-01-13 10:58:10   0  举报





网页数据抓取类图主要包括以下几个部分：网页请求器、网页解析器、数据存储器和数据处理器。网页请求器负责向目标网站发送请求，获取网页源代码；网页解析器则对获取的网页源代码进行解析，提取出所需的数据；数据存储器用于存储解析后的数据；数据处理器则对存储的数据进行处理和分析，以便于后续的应用。这些组件之间通过接口进行通信，共同完成网页数据的抓取任务。

作者其他创作

大纲/内容

JavascriptExternal

+ attribute1:type = defaultValue+ attribute2:type- attribute3:type

+ __init__（mainBrowser)+ GoBack()+ GoForward()+ CreateAnotherBrowser(url=None)+ Print(message)+ TestAllTypes(*args)+ ExecuteFunction(*args)+ TestJSCallback(jsCallback)+ TestJSCallbackComplexArguments(jsObject)+ TestPythonCallback(jsCallback)+ PyCallback(*args)+ GetSource()+ GetText()+ ShowDevTools()+ VisitAllCookies()+ VisitUrlCookies()+ SetCookie()+ DeleteCookies()

1:1

几个需要解决的问题：1.浏览器不加载图片/视屏，只加载内容2.点击或者浏览器元素

Browser

+ getMainFrame():Frame+ SetClientHandler()+ SetJavascriptBindings()+ GetUrl():string

Frame

MainFrame

+ clientHandler+ browser

1：n

- PyPrint(message)

ClientHandler

wxpython.py

- methodA()- methodB()