用json怎么获得重复元素

浅出：如何从JSON数据中找出重复元素

在现代Web开发和数据处理中，JSON（JavaScript Object Notation）因其轻量级、易读和易于解析的特性，已成为数据交换的事实标准，我们经常需要处理复杂的JSON数据，而其中一项常见的任务就是找出重复的元素，例如重复的用户ID、重复的标签、重复的订单等。

本文将探讨如何从JSON数据中高效地找出重复元素，并提供多种方法，从基础的JavaScript到使用专业库,以适应不同复杂度的场景。

准备工作：理解JSON结构

在开始之前，我们必须明确一点：JSON本身是一种数据格式，它没有“内置”的重复元素查找功能，所谓的“重复”,取决于我们关注的JSON中的具体部分。

重复的值：一个数组中出现了两次相同的字符串 "apple"。
重复的属性值：一个对象数组，其中两个对象的 id 属性值相同。
重复的嵌套对象：一个数组中包含了两个完全相同的对象。

我们的核心思路是：将JSON数据解析为JavaScript对象（通常是数组和对象），然后利用JavaScript的数组方法来处理这些数据，最终找出重复项。

基础方法：使用纯JavaScript

对于大多数情况，纯JavaScript已经足够强大,我们将通过几个经典的用例来展示如何操作。

用例1：查找数组中重复的简单值（字符串、数字）

假设我们有一个简单的JSON数组,其中包含一些重复的水果名称。

JSON数据 (fruits.json):

[
  "apple",
  "banana",
  "orange",
  "apple",
  "grape",
  "banana",
  "apple"
]

目标： 找出所有重复的水果名称,并统计它们的重复次数。

JavaScript实现：

// 假设我们从某个地方获取了JSON数据并已解析为JavaScript数组
const fruits = ["apple", "banana", "orange", "apple", "grape", "banana", "apple"];
// 1. 创建一个Map来存储每个元素及其出现的次数
const frequencyMap = new Map();
// 2. 遍历数组，填充frequencyMap
for (const item of fruits) {
  frequencyMap.set(item, (frequencyMap.get(item) || 0) + 1);
}
// 3. 筛选出出现次数大于1的元素
const duplicates = [];
for (const [item, count] of frequencyMap) {
  if (count > 1) {
    duplicates.push({ item, count });
  }
}
console.log(duplicates);
// 输出:
// [
//   { item: 'apple', count: 3 },
//   { item: 'banana', count: 2 }
// ]

代码解析：

Map 对象：是处理此类问题的理想选择，它允许我们存储键值对,并且键可以是任何类型。
frequencyMap.set(item, (frequencyMap.get(item) || 0) + 1)：这行代码是核心，它尝试获取当前 item 的计数值。item 不存在，get() 返回 undefined，我们使用 || 0 将其默认为0，然后加1。item 已存在,则获取其当前值并加1。
筛选重复项：遍历构建好的 frequencyMap，只保留那些 count 大于1的条目。

用例2：查找对象数组中重复的属性值

这是更常见也更实用的场景，我们有一个用户列表,需要找出ID重复的用户。

JSON数据 (users.json):

[
  { "id": 1, "name": "Alice" },
  { "id": 2, "name": "Bob" },
  { "id": 3, "name": "Charlie" },
  { "id": 1, "name": "Alice Duplicate" },
  { "id": 4, "name": "David" },
  { "id": 2, "name": "Bob Duplicate" }
]

目标： 找出 id 重复的用户对象。

JavaScript实现：

const users = [
  { id: 1, name: "Alice" },
  { id: 2, name: "Bob" },
  { id: 3, name: "Charlie" },
  { id: 1, name: "Alice Duplicate" },
  { id: 4, name: "David" },
  { id: 2, name: "Bob Duplicate" }
];
const idFrequencyMap = new Map();
const duplicateUsers = [];
// 遍历用户数组
for (const user of users) {
  const currentId = user.id;
  // 如果ID已经存在于Map中，说明这是一个重复项
  if (idFrequencyMap.has(currentId)) {
    duplicateUsers.push(user);
  } else {
    // 如果是第一次遇到，将ID存入Map
    idFrequencyMap.set(currentId, true);
  }
}
console.log("找到的重复用户:", duplicateUsers);
// 输出:
// 找到的重复用户: [
//   { id: 1, name: 'Alice Duplicate' },
//   { id: 2, name: 'Bob Duplicate' }
// ]

代码解析：

我们不再关心重复了多少次，只关心哪些是重复的。Map 的值可以是简单的 true 或一个计数器。
我们遍历 users 数组，检查每个 user.id 是否已经存在于 idFrequencyMap 中。
如果存在，说明这个 user 是一个重复项，我们将其推入 duplicateUsers 数组。
如果不存在，我们就在 Map 中记录这个 id。

用例3：查找数组中重复的复杂对象

当对象本身是引用类型时，直接比较对象是否相等会遇到问题，因为比较的是引用地址,而不是内容。

JSON数据 (products.json):

[
  { "sku": "A101", "name": "Laptop" },
  { "sku": "B202", "name": "Mouse" },
  { "sku": "A101", "name": "Laptop" }, // 这是一个重复项
  { "sku": "C303", "name": "Keyboard" }
]

目标： 找出完全相同的对象（所有属性和值都一样）。

JavaScript实现：

直接使用 includes() 或 find() 无法工作，因为它们比较的是引用,我们需要先将对象序列化。

const products = [
  { sku: "A101", name: "Laptop" },
  { sku: "B202", name: "Mouse" },
  { sku: "A101", name: "Laptop" },
  { sku: "C303", name: "Keyboard" }
];
const seenObjects = new Set();
const duplicateProducts = [];
for (const product of products) {
  // 使用JSON.stringify将对象转换为字符串，以便进行值比较
  const productString = JSON.stringify(product);
  if (seenObjects.has(productString)) {
    // 如果字符串已经存在，说明这是一个重复对象
    duplicateProducts.push(product);
  } else {
    // 否则，将字符串添加到Set中
    seenObjects.add(productString);
  }
}
console.log("找到的重复产品:", duplicateProducts);
// 输出:
// 找到的重复产品: [ { sku: 'A101', name: 'Laptop' } ]

代码解析：

JSON.stringify(product)：这是关键一步，它将JavaScript对象转换成一个标准化的JSON字符串，这样,内容完全相同的对象会被转换为完全相同的字符串。
Set 对象：Set 是一个只存储唯一值的集合，用它来存储我们已经见过的字符串非常高效，has() 操作的时间复杂度接近O(1)。

进阶方法：使用Lodash库

当处理更复杂的逻辑（如深度比较）或追求更简洁的代码时,像Lodash这样的工具库是绝佳的选择。

Lodash 提供了 _.groupBy 方法，可以非常优雅地解决这个问题。

JavaScript实现 (使用Lodash)：

// 首先需要安装或引入Lodash
// npm install lodash
// import _ from 'lodash';
const users = [
  { id: 1, name: "Alice" },
  { id: 2, name: "Bob" },
  { id: 3, name: "Charlie" },
  { id: 1, name: "Alice Duplicate" },
  { id: 4, name: "David" },
  { id: 2, name: "Bob Duplicate" }
];
// 使用_.groupBy将数组按id属性分组
const groupedById = _.groupBy(users, 'id');
// 筛选出长度大于1的分组，这些就是重复项

企鹅直播企鹅直播足球直播爱奇艺直播爱奇艺足球直播足球直播足球直播