怎么用java爬虫爬取网页上的数据?

本文教程操作环境indos7系统、Python 3.9.1，DELL G3电脑。

1、PhantomJS的功能

提供一个浏览器环境的命令行接口，除了不能浏览，其他与正常浏览器一样。它的内核是WebKit引擎，不提供图形界面，只能在命令行下使用。

2、PhantomJS用途

适用范围就是无头浏览器的适用范围。通常无头浏览器可以用于页面自动化和网络爬虫等。

页面自动化测试电脑维修网希望自动的登陆网站并做一些操作然后检查结果是否正常。

网络爬虫获取页面中使用js来下载和渲染信息，或者是获取链接处使用js来跳转后的真实地址。

3、对于使用PhantomJS编写的parser.js文件调用java爬虫爬取网页数据

Runtime rt = Runtime.getRuntime();
        Process process = null;
        try {
            process = rt.exec("C:/phantomjs.exe C:/parser.js " +url);
            InputStream in = process.getInputStream();
            InputStreamReader reader = ne InputStreamReader(in, "UTF-8");
            BufferedReader br = ne BufferedReader(reader);
            StringBuffer sbf = ne StringBuffer();
            String tmp = "";
            hile ((tmp = br.readLine()) != null) {
                sbf.append(tmp);
            }
            return sbf.toString();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;