0

0

如何删除列表中的重复元素并保持顺序?

紅蓮之龍

紅蓮之龍

发布时间:2025-09-04 16:14:01

|

898人浏览过

|

来源于php中文网

原创

利用集合记录已见元素,遍历列表时仅添加首次出现的项,从而实现去重并保持原有顺序。

如何删除列表中的重复元素并保持顺序?

删除列表中的重复元素并保持原有顺序,核心思路是利用一个辅助的数据结构(比如集合Set)来记录我们已经见过的元素。当遍历原始列表时,如果当前元素尚未在集合中出现,我们就将其添加到新的结果列表中,并同时更新集合;如果已经出现,则直接跳过。这样就能确保最终列表中的元素既不重复,又严格按照它们在原始列表中首次出现的顺序排列

解决方案

要解决这个问题,我的做法通常是这样的:创建一个空的列表用于存放去重后的结果,再准备一个空的集合(Set)来快速判断元素是否已经出现过。

我们逐一审视原始列表中的每一个元素。每拿到一个元素,我都会先去那个集合里瞧一眼:它在里面吗?

如果不在,那就说明这是我们第一次遇到这个元素。这时候,我会毫不犹豫地把它加到我的结果列表里,同时,为了以后能记住它,我也会把它扔进那个集合里。

如果它已经在集合里了,那简单,我们已经见过它了,直接跳过,不用管它。

这个过程听起来可能有点像是在玩一个“找茬”游戏,但它非常高效。

比如在Python里,代码会是这样:

小羊标书
小羊标书

一键生成百页标书,让投标更简单高效

下载
def remove_duplicates_and_maintain_order(input_list):
    seen = set()
    result = []
    for item in input_list:
        if item not in seen:
            seen.add(item)
            result.append(item)
    return result

# 示例
my_list = [1, 2, 2, 3, 4, 2, 5, 1, 6]
unique_ordered_list = remove_duplicates_and_maintain_order(my_list)
print(f"原始列表: {my_list}")
print(f"去重并保持顺序后的列表: {unique_ordered_list}")
# 输出: 原始列表: [1, 2, 2, 3, 4, 2, 5, 1, 6]
#       去重并保持顺序后的列表: [1, 2, 3, 4, 5, 6]

你看,这个方法直观又实用,它确保了每个元素只被添加一次,并且它们的相对位置不会改变。在我看来,这是处理这类问题的最常用也最可靠的策略之一。

为什么在去重时,保持元素的原始顺序如此关键?

这个问题,我觉得很多人在实际工作中都会遇到。我们去重,往往不是为了简单地得到一个“集合”,而是要在一个序列中剔除冗余,但这个序列本身的意义往往就体现在它的顺序上。

设想一下,你正在分析用户在网站上的点击路径数据:

[首页, 商品页A, 商品页A, 加入购物车, 支付页, 支付页, 支付成功]
。如果我只是简单地把所有重复的点击去掉,而不管顺序,得到一个
[首页, 商品页A, 加入购物车, 支付页, 支付成功]
,这看起来没什么问题。但如果原始数据是
[首页, 商品页A, 商品页B, 商品页A, 加入购物车]
,用户可能先看了A,再看了B,又回过头看A。如果去重后顺序被打乱,比如变成了
[商品页A, 商品页B, 首页, 加入购物车]
,那这个路径信息就完全失真了,我们无法准确复盘用户的行为逻辑。

再比如,处理日志文件,每一行日志都有时间戳,代表一个事件的发生。如果日志中有重复的错误信息,我们想去重,但绝不能打乱时间顺序,否则就无法追踪问题的发生发展过程。谁先谁后,在很多场景下,就是因果关系、时间轴、操作流的关键体现。

在我看来,失去顺序的去重,就像是把一本书的所有文字都提炼出来,但打乱了段落和句子的先后,虽然字都在,但故事没了。所以,保持顺序,其实是在维护数据本身的“叙事性”和“上下文”。这不仅仅是为了美观,更是为了数据的有效性。

除了Python的循环加Set,其他主流编程语言如何高效地去重并保持顺序?

虽然上面用Python的

for
循环和
set
做了一个很经典的示范,但不同的语言,因为其特性和内置库的差异,可能会有更“地道”或者说更简洁的实现方式。这其实也挺有意思的,能看到不同语言的设计哲学。

Python的“花式”玩法 除了我之前提到的方法,Python其实还有一个更简洁的“一行流”写法,利用

collections
模块里的
OrderedDict
OrderedDict
在Python 3.7+版本中,其行为与普通字典一样,会保持插入顺序。利用字典的键(key)是唯一的特性,我们可以这样做:

from collections import OrderedDict

my_list = [1, 2, 2, 3, 4, 2, 5, 1, 6]
unique_ordered_list_pythonic = list(OrderedDict.fromkeys(my_list))
print(f"Pythonic方法

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
treenode的用法
treenode的用法

​在计算机编程领域,TreeNode是一种常见的数据结构,通常用于构建树形结构。在不同的编程语言中,TreeNode可能有不同的实现方式和用法,通常用于表示树的节点信息。更多关于treenode相关问题详情请看本专题下面的文章。php中文网欢迎大家前来学习。

550

2023.12.01

C++ 高效算法与数据结构
C++ 高效算法与数据结构

本专题讲解 C++ 中常用算法与数据结构的实现与优化,涵盖排序算法(快速排序、归并排序)、查找算法、图算法、动态规划、贪心算法等,并结合实际案例分析如何选择最优算法来提高程序效率。通过深入理解数据结构(链表、树、堆、哈希表等),帮助开发者提升 在复杂应用中的算法设计与性能优化能力。

30

2025.12.22

深入理解算法:高效算法与数据结构专题
深入理解算法:高效算法与数据结构专题

本专题专注于算法与数据结构的核心概念,适合想深入理解并提升编程能力的开发者。专题内容包括常见数据结构的实现与应用,如数组、链表、栈、队列、哈希表、树、图等;以及高效的排序算法、搜索算法、动态规划等经典算法。通过详细的讲解与复杂度分析,帮助开发者不仅能熟练运用这些基础知识,还能在实际编程中优化性能,提高代码的执行效率。本专题适合准备面试的开发者,也适合希望提高算法思维的编程爱好者。

45

2026.01.06

C++多线程并发控制与线程安全设计实践
C++多线程并发控制与线程安全设计实践

本专题围绕 C++ 在高性能系统开发中的并发控制技术展开,系统讲解多线程编程模型与线程安全设计方法。内容包括互斥锁、读写锁、条件变量、原子操作以及线程池实现机制,同时结合实际案例分析并发竞争、死锁避免与性能优化策略。通过实践讲解,帮助开发者掌握构建稳定高效并发系统的关键技术。

2

2026.03.16

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

90

2026.03.13

Python异步编程与Asyncio高并发应用实践
Python异步编程与Asyncio高并发应用实践

本专题围绕 Python 异步编程模型展开,深入讲解 Asyncio 框架的核心原理与应用实践。内容包括事件循环机制、协程任务调度、异步 IO 处理以及并发任务管理策略。通过构建高并发网络请求与异步数据处理案例,帮助开发者掌握 Python 在高并发场景中的高效开发方法,并提升系统资源利用率与整体运行性能。

136

2026.03.12

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

380

2026.03.11

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

64

2026.03.10

Kotlin Android模块化架构与组件化开发实践
Kotlin Android模块化架构与组件化开发实践

本专题围绕 Kotlin 在 Android 应用开发中的架构实践展开,重点讲解模块化设计与组件化开发的实现思路。内容包括项目模块拆分策略、公共组件封装、依赖管理优化、路由通信机制以及大型项目的工程化管理方法。通过真实项目案例分析,帮助开发者构建结构清晰、易扩展且维护成本低的 Android 应用架构体系,提升团队协作效率与项目迭代速度。

111

2026.03.09

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PHP课程
PHP课程

共137课时 | 13.7万人学习

JavaScript ES5基础线上课程教学
JavaScript ES5基础线上课程教学

共6课时 | 11.3万人学习

PHP新手语法线上课程教学
PHP新手语法线上课程教学

共13课时 | 1.0万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号