使用RestTemplate获取并处理API数据：过滤、转换与定制化输出-java教程-PHP中文网

使用resttemplate获取并处理api数据：过滤、转换与定制化输出

本文详细介绍了如何使用Spring RestTemplate从外部API获取数据，并利用Java Stream API对复杂数据结构进行高效的过滤和转换。教程涵盖了去重、属性重命名以及将原始数据映射为自定义API输出格式的完整流程，旨在帮助开发者构建更灵活、可控的数据消费与展示逻辑。

引言：API数据消费与处理的挑战

在现代应用开发中，与外部API交互是常见的需求。Spring框架的RestTemplate提供了一种便捷的方式来消费RESTful服务。然而，从外部API获取的数据往往是复杂的、嵌套的Java对象列表。在将这些数据展示给最终用户或提供给自己的API之前，我们通常需要对其进行一系列处理，例如过滤重复项、选择性地提取字段、重命名属性，甚至将数据转换成完全不同的结构。本教程将引导您完成这一过程，特别关注如何利用Java Stream API高效地实现这些数据操作。

初始API调用与数据模型

假设我们正在使用RestTemplate从一个天气API获取省份数据。初始设置包括一个RestTemplate调用和一个用于反序列化JSON响应的DTO（Data Transfer Object）结构。

1. RestTemplate 获取数据

首先，我们有一个静态方法用于通过RestTemplate调用外部API：

public static Provinces restTemplateProvince(RestTemplate restTemplate) {
    String provinceCommunityURL = "https://www.el-tiempo.net/api/json/v2/provincias";
    Provinces province = restTemplate.getForObject(provinceCommunityURL, Provinces.class);
    return province;
}

登录后复制

这个方法会返回一个Provinces对象，其中包含了从API获取的原始省份数据。

2. Provinces 和 ProvincesData DTOs

为了正确地将JSON响应映射到Java对象，我们定义了两个DTO类：Provinces和ProvincesData。

Provinces类：

import com.fasterxml.jackson.annotation.JsonIgnoreProperties;
import com.fasterxml.jackson.annotation.JsonProperty;
import java.util.List;

@JsonIgnoreProperties(ignoreUnknown = true)
public class Provinces {

    @JsonProperty("provincias") // 注意：原始问题中是"provincial"，这里修正为更常见的"provincias"
    private List<ProvincesData> provinces;

    public Provinces() {}

    public Provinces(List<ProvincesData> provinces) {
        this.provinces = provinces;
    }

    @JsonProperty("provincias")
    public List<ProvincesData> getProvinces() { // 修正方法名，遵循Java命名规范
        return provinces;
    }

    @JsonProperty("Test") // 原始问题中此处为"Test"，可能为测试用途，实际应与JSON字段匹配或移除
    public void setProvinces(List<ProvincesData> provinces) { // 修正方法名
        this.provinces = provinces;
    }
}

登录后复制

ProvincesData类：

import com.fasterxml.jackson.annotation.JsonIgnoreProperties;
import com.fasterxml.jackson.annotation.JsonProperty;

@JsonIgnoreProperties(ignoreUnknown = true)
public class ProvincesData {

    @JsonProperty("CODPROV")
    private String codProv;

    @JsonProperty("NOMBRE_PROVINCIA")
    private String nomeProvincia;

    @JsonProperty("CODAUTON")
    private String codAuton;

    @JsonProperty("COMUNIDAD_CIUDAD_AUTONOMA")
    private String comunidadeCidadeAutonoma;

    public ProvincesData() {}

    public ProvincesData(String codProv, String nomeProvincia, String codAuton, String comunidadeCidadeAutonoma) {
        this.codProv = codProv;
        this.nomeProvincia = nomeProvincia;
        this.codAuton = codAuton;
        this.comunidadeCidadeAutonoma = comunidadeCidadeAutonoma;
    }

    @JsonProperty("CODPROV")
    public String getCodProv() {
        return codProv;
    }

    @JsonProperty("Test") // 原始问题中此处为"Test"，可能为测试用途，实际应与JSON字段匹配或移除
    public void setCodProv(String codProv) {
        this.codProv = codProv;
    }

    @JsonProperty("NOMBRE_PROVINCIA") // 补充JsonProperty注解以确保正确映射
    public String getNomeProvincia() {
        return nomeProvincia;
    }

    public void setNomeProvincia(String nomeProvincia) {
        this.nomeProvincia = nomeProvincia;
    }

    @JsonProperty("CODAUTON") // 补充JsonProperty注解
    public String getCodAuton() {
        return codAuton;
    }

    public void setCodAuton(String codAuton) {
        this.codAuton = codAuton;
    }

    @JsonProperty("COMUNIDAD_CIUDAD_AUTONOMA") // 补充JsonProperty注解
    public String getComunidadeCidadeAutonoma() {
        return comunidadeCidadeAutonoma;
    }

    public void setComunidadeCidadeAutonoma(String comunidadeCidadeAutonoma) {
        this.comunidadeCidadeAutonoma = comunidadeCidadeAutonoma;
    }
}

登录后复制

注意：在上述DTO中，我修正了Provinces类中@JsonProperty的名称，以及方法命名以符合Java标准。ProvincesData中也补充了@JsonProperty注解，以确保字段的正确映射。原始问题中一些set方法上的@JsonProperty("Test")看起来是测试代码，在实际生产中应移除或修正。

数据过滤与转换的需求

原始问题提出，从API获取的数据是一个List<ProvincesData>，但需要对其进行以下处理：

去重：根据codAuton字段去除重复的省份数据。
属性重命名与精简：构建一个只包含所需数据的新列表，并更改属性名称，以便在自己的API中以更友好的标题展示。

解决方案：结合Java Stream API进行数据处理

Java 8引入的Stream API为集合操作提供了强大且富有表现力的方式，非常适合进行数据过滤、转换和聚合。

即构数智人

即构数智人是由即构科技推出的AI虚拟数字人视频创作平台，支持数字人形象定制、短视频创作、数字人直播等。

查看详情

1. 在数据获取层进行去重过滤

为了在数据返回之前就完成去重，我们可以在restTemplateProvince方法中直接应用Stream API。这里我们将根据codAuton字段进行去重。

import org.springframework.web.client.RestTemplate;
import java.util.ArrayList;
import java.util.List;
import java.util.stream.Collectors;

public class Templates { // 假设这个类名为Templates

    public static Provinces restTemplateProvince(RestTemplate restTemplate) {
        String provinceCommunityURL = "https://www.el-tiempo.net/api/json/v2/provincias";
        Provinces province = restTemplate.getForObject(provinceCommunityURL, Provinces.class);

        // 使用Stream API进行去重过滤
        List<String> includedCodAutons = new ArrayList<>(); // 用于跟踪已经包含的codAuton
        List<ProvincesData> filteredProvinces = province.getProvinces()
            .stream()
            .filter(p -> {
                // 如果includedCodAutons中不包含当前p.getCodAuton()，则添加并返回true（保留）
                if (!includedCodAutons.contains(p.getCodAuton())) {
                    includedCodAutons.add(p.getCodAuton());
                    return true;
                }
                // 否则返回false（过滤掉）
                return false;
            })
            .collect(Collectors.toList());

        // 将过滤后的列表设置回Provinces对象
        province.setProvinces(filteredProvinces);
        return province;
    }
}

登录后复制

在这个修改后的restTemplateProvince方法中：

我们首先像往常一样获取Provinces对象。
然后，通过province.getProvinces().stream()创建一个数据流。
filter操作结合一个辅助includedCodAutons列表来判断codAuton是否已出现过。这种方法在处理少量数据时简洁易懂。
collect(Collectors.toList())将过滤后的元素收集回一个新的List<ProvincesData>。
最后，我们更新Provinces对象中的省份列表，并返回它。

2. 在业务逻辑层进行数据转换与重命名

尽管我们在数据获取层已经完成了去重，但如果您的API需要返回一个更精简、属性名更友好的列表，或者甚至是一个List<String>，那么还需要进一步的转换。这通常在Service层完成。

首先，定义一个新的DTO来表示我们希望在API中展示的精简数据结构：

// CustomProvinceView.java
public class CustomProvinceView {
    private String autonomousCommunityCode; // 重命名codAuton
    private String autonomousCommunityName; // 重命名comunidadeCidadeAutonoma

    public CustomProvinceView(String autonomousCommunityCode, String autonomousCommunityName) {
        this.autonomousCommunityCode = autonomousCommunityCode;
        this.autonomousCommunityName = autonomousCommunityName;
    }

    // Getters
    public String getAutonomousCommunityCode() {
        return autonomousCommunityCode;
    }

    public String getAutonomousCommunityName() {
        return autonomousCommunityName;
    }

    // Setters (可选，如果不需要修改，可以省略)
    public void setAutonomousCommunityCode(String autonomousCommunityCode) {
        this.autonomousCommunityCode = autonomousCommunityCode;
    }

    public void setAutonomousCommunityName(String autonomousCommunityName) {
        this.autonomousCommunityName = autonomousCommunityName;
    }
}

登录后复制

接下来，修改ProvinceService来执行这种转换：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;
import org.springframework.web.client.RestTemplate;
import java.util.List;
import java.util.stream.Collectors;

@Service
public class ProvinceService {

    @Autowired
    RestTemplate restTemplate; // 注入RestTemplate

    public List<CustomProvinceView> getAllProvincesFilteredAndTransformed() {
        // 调用Templates类中经过去重处理的方法
        Provinces listOfProvinces = Templates.restTemplateProvince(restTemplate);

        // 对去重后的ProvincesData列表进行转换
        return listOfProvinces.getProvinces()
            .stream()
            .map(p -> new CustomProvinceView(p.getCodAuton(), p.getComunidadeCidadeAutonoma()))
            .collect(Collectors.toList());
    }

    // 如果需要返回List<String>，例如只包含社区名称：
    public List<String> getAllAutonomousCommunityNames() {
        Provinces listOfProvinces = Templates.restTemplateProvince(restTemplate);
        return listOfProvinces.getProvinces()
            .stream()
            .map(ProvincesData::getComunidadeCidadeAutonoma)
            .collect(Collectors.toList());
    }
}

登录后复制

最后，更新您的RestController以返回转换后的数据：

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.List;

@RestController
public class ShowcaseController {

    @Autowired
    ProvinceService provinceService;

    @GetMapping("/provinces/custom")
    public List<CustomProvinceView> getCustomProvinces(){
        return provinceService.getAllProvincesFilteredAndTransformed();
    }

    @GetMapping("/provinces/community-names")
    public List<String> getCommunityNames(){
        return provinceService.getAllAutonomousCommunityNames();
    }
}

登录后复制

通过以上步骤，我们实现了：

使用RestTemplate获取原始数据。
在数据获取阶段对数据进行去重处理。
在业务逻辑层将去重后的数据转换成符合API输出需求的新DTO列表，并重命名了属性。
提供了另一种将数据转换为List<String>的示例。

注意事项与最佳实践

性能考量：在filter操作中使用List.contains()对于非常大的列表（百万级别以上）可能会有性能问题，因为它是一个O(n)操作。对于大数据集，更高效的去重方法是使用Set：
```
Set<String> includedCodAutons = new HashSet<>();
List<ProvincesData> filteredProvinces = province.getProvinces().stream()
    .filter(p -> includedCodAutons.add(p.getCodAuton())) // Set.add()返回true表示添加成功（不重复），false表示已存在（重复）
    .collect(Collectors.toList());
```
登录后复制
这种方式将去重操作的平均时间复杂度降低到O(1)，整体过滤效率更高。
DTO设计：为外部API响应和内部API输出设计不同的DTO是良好的实践。外部API DTO（如Provinces和ProvincesData）应尽可能匹配外部API的结构，以便于反序列化。而内部API DTO（如CustomProvinceView）则应根据您的业务需求和客户端展示需求进行优化，只包含必要字段且命名清晰。
职责分离：将数据获取、过滤和转换逻辑分别放置在不同的层（如Templates类、Service层）有助于保持代码的模块化和可维护性。Templates负责原始数据获取和初步的通用处理，Service层负责业务逻辑和数据转换以满足特定API需求。
错误处理：在实际应用中，RestTemplate调用应该包含适当的错误处理机制，例如try-catch块来捕获RestClientException，并处理网络问题或API返回的错误状态码。