一.简介

Jsoup是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。网址:https://jsoup.org/。Sitemapgen4j是一个使用Java编写的Sitemap输出库包，通过使用SitemapGen4j你可以可以添加任意数量的URL，可以得到gzip压缩输出，可以设置上次更改选项，可以设置优先级选项，可以设置更改频率，可以设定日期格式，可以验证站点地图使用XML架构定义(XSD)。

二.代码实现

1.maven中pom.xml引入这两个插件

<!-- 网站地址生成-->
<dependency>
    <groupId>com.github.dfabulich</groupId>
    <artifactId>sitemapgen4j</artifactId>
    <version>1.1.1</version>
</dependency>
<!-- Jsoup https://jsoup.org/ jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。-->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.14.2</version>
</dependency>

2.编写爬取网站的工具类

package com.tms.tblog.infrastructure.untils;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.net.URL;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class GetSiteUrlUtil {
    public static List getUrl(String uri) throws Exception{
        List list=new ArrayList<>();//用list来存放地址
        URL url=new URL(uri);
        String protocol=url.getProtocol();//获取协议
        String host=url.getHost();//获取域名
        Document doc= Jsoup.connect(uri).get();//dom解析html
        Elements ele=doc.getElementsByTag("a");//获取网页中的a标签
        for(Element a:ele){//遍历
            String href=a.attr("href");
            /**
             * a标签中有四种值，需要判断，例如：
             * 1.只有路径：/xxx.html
             * 2.含有js代码：javascript:void(0)
             * 3.网址全称：https://tmspace.cn/xxxx.html
             * 4.没有后缀/Info
             *
             */
            String reg="[a-zA-z]+://[^\\s]*";
            Pattern p=Pattern.compile(reg);
            Matcher m=p.matcher(href);
            if(m.find()){//通过正则表达式匹配了第三种https://tmspace.cn/index
                list.add(href);
            }else if(href.indexOf("/")==0){//匹配第一四两种
                /**
                 * /login/ind
                 * 0123456789
                 * 匹配出来的地址需要在前面加上协议和域名
                 */
                list.add(protocol+"://"+host+href);
            }
        }
        return list;
    }
}

3.编写生成网站地图的工具类

package com.tms.tblog.infrastructure.untils;

import com.redfin.sitemapgenerator.SitemapIndexGenerator;
import com.redfin.sitemapgenerator.W3CDateFormat;
import com.redfin.sitemapgenerator.WebSitemapGenerator;
import com.redfin.sitemapgenerator.WebSitemapUrl;

import java.io.File;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;

/**
 * 生成网站地图方法
 */
public class GenerateSitemapUtil {
    /**
     * 生成网站地图方法
     *
     * @param TempPath 网站地图地址
     * @param Url      网站域名
     */
    public static void generateSitemap(String TempPath, String Url) {
        String tempPath = TempPath;//"upload/img/";
        File file = new File(tempPath);
        if (!file.exists()) {
            file.mkdirs();
        }
        String domain = Url;//"https://www.你的主域名.com";
        try {
            WebSitemapGenerator g1 = WebSitemapGenerator.builder(domain, file)
                    .fileNamePrefix("article").build();
            ;
            Date date = new Date();
            for (int i = 1; i < 21; i++) {
                WebSitemapUrl url = new WebSitemapUrl.Options(domain + "/article/" + i).lastMod(date).build();
                g1.addUrl(url);
            }


            List<String> fileNames = new ArrayList<>();

            // 生成 sitemap 文件
            List<File> articleFiles = g1.write();
            articleFiles.forEach(e -> fileNames.add(e.getName()));

            // 构造 sitemap_index 生成器
            W3CDateFormat dateFormat = new W3CDateFormat(W3CDateFormat.Pattern.DAY);
            SitemapIndexGenerator sitemapIndexGenerator = new SitemapIndexGenerator
                    .Options(domain, new File(tempPath + "sitemap_index.xml"))
                    .dateFormat(dateFormat)
                    .autoValidate(true)
                    .build();

            fileNames.forEach(e -> {
                try {
                    // 组装 sitemap 文件 URL 地址
                    sitemapIndexGenerator.addUrl(tempPath + e);
                } catch (MalformedURLException e1) {
                    e1.printStackTrace();
                }
            });

            // 生成 sitemap_index 文件
            sitemapIndexGenerator.write();

        } catch (MalformedURLException e) {
            e.printStackTrace();
        }
    }

    /**
     * 生成网站地图方法
     *
     * @param TempPath 网站地图地址
     * @param Url      网站域名
     * @param Url      pathList
     */
    public static void generateSitemap(String TempPath, String Url, List pathList) {
        String tempPath = TempPath;//"upload/img/";
        File file = new File(tempPath);
        if (!file.exists()) {
            file.mkdirs();
        }
        String domain = Url;//"https://www.你的主域名.com";
        try {
            WebSitemapGenerator g1 = WebSitemapGenerator.builder(domain, file)
                    .fileNamePrefix("article").build();

            Date date = new Date();
            for (int i = 0; i < pathList.size(); i++) {
                if (pathList.get(i).toString().toLowerCase().equals(Url) || pathList.get(i).toString().toLowerCase().contains(Url)) {
                    WebSitemapUrl url = new WebSitemapUrl.Options(pathList.get(i).toString()).lastMod(date).build();
                    g1.addUrl(url);
                }
            }


            List<String> fileNames = new ArrayList<>();

            // 生成 sitemap 文件
            List<File> articleFiles = g1.write();
            articleFiles.forEach(e -> fileNames.add(e.getName()));

            // 构造 sitemap_index 生成器
            W3CDateFormat dateFormat = new W3CDateFormat(W3CDateFormat.Pattern.DAY);
            SitemapIndexGenerator sitemapIndexGenerator = new SitemapIndexGenerator
                    .Options(domain, new File(tempPath + "sitemap_index.xml"))
                    .dateFormat(dateFormat)
                    .autoValidate(true)
                    .build();

            fileNames.forEach(e -> {
                try {
                    // 组装 sitemap 文件 URL 地址
                    String AddUrl=Url+"/"+tempPath + e;
                    sitemapIndexGenerator.addUrl(AddUrl);
                } catch (MalformedURLException e1) {
                    e1.printStackTrace();
                }
            });

            for (int i = 0; i < pathList.size(); i++) {
                if (pathList.get(i).toString().toLowerCase().equals(Url) || pathList.get(i).toString().toLowerCase().contains(Url)) {
                    String url = pathList.get(i).toString();
                    sitemapIndexGenerator.addUrl(url);
                }

            }
            // 生成 sitemap_index 文件
            sitemapIndexGenerator.write();

        } catch (MalformedURLException e) {
            e.printStackTrace();
        }
    }
}

4.编写一个controller用来调用这两个工具类

package com.tms.tblog.infrastructure.controller;


import com.tms.tblog.dto.ResultDto;
import com.tms.tblog.infrastructure.untils.GenerateSitemapUtil;
import com.tms.tblog.infrastructure.untils.GetSiteUrlUtil;
import io.swagger.annotations.Api;
import lombok.extern.log4j.Log4j2;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import javax.servlet.http.HttpServletRequest;
import java.util.List;

/**
 * 生成网站地图Controller
 */

@Api(tags = "生成网站地图Controller")
@RestController
@Log4j2
@RequestMapping("/tblog/Sitemap")
public class SitemapController {

    @RequestMapping("/GenerateSitemap")
    public void GenerateSitemap(HttpServletRequest req) throws Exception {
        ResultDto res = new ResultDto();
        String tempPath = "upload/sitemap/";
        String Url = "https://tmspace.cn";
        List list = GetSiteUrlUtil.getUrl(Url);
        GenerateSitemapUtil.generateSitemap(tempPath,Url,list);
        res.setData(list);
        return res;
    }
}

5.页面运行一下这个controller：https://localhost/tblog/Sitemap/GenerateSitemap

最后实现效果

1.页面调用

2.生成的文件