0

0

如何在 CSV 文件中查找特定数值模式并自动归类文件

碧海醫心

碧海醫心

发布时间:2026-01-16 10:42:22

|

939人浏览过

|

来源于php中文网

原创

如何在 CSV 文件中查找特定数值模式并自动归类文件

本文介绍如何使用 java(opencsv)遍历多个 csv 文件,检测某列是否同时包含指定数值(如 50、500、5000),并根据匹配结果将文件移动至 `processed` 或 `invalid_files` 目录,提供可复用、模块化、健壮的实现方案。

在实际数据处理任务中,常需基于内容规则对 CSV 文件进行分类或过滤。例如:若某数值列(如 score)同时出现 50、500 和 5000 这三个值,则认为该文件“含敏感模式”,应移入 invalid_files 目录;否则视为正常,归入 processed 目录。原始代码存在多个关键问题:逻辑判断位置错误(在循环内过早触发移动)、状态重置混乱、br.close() 被重复调用、未跳过表头、且条件硬编码导致扩展性差。

以下为优化后的专业实现,采用职责分离设计,确保清晰、可维护、可扩展:

X-Node企业快速建站1.0.6.0801
X-Node企业快速建站1.0.6.0801

特色介绍: 1、ASP+XML+XSLT开发,代码、界面、样式全分离,可快速开发 2、支持语言包,支持多模板,ASP文件中无任何HTML or 中文 3、无限级分类,无限级菜单,自由排序 4、自定义版头(用于不规则页面) 5、自动查找无用的上传文件与空目录,并有回收站,可删除、还原、永久删除 6、增强的Cache管理,可单独管理单个Cache 7、以内存和XML做为Cache,兼顾性能与消耗 8、

下载

✅ 核心改进点

  • 条件解耦:使用 Predicate 列表定义“禁止出现的值”,支持任意数量、动态配置;
  • 语义明确的验证逻辑:isLineValid() 判断单行是否 符合要求(即不等于任一禁止值),isFileValid() 判断文件是否 整体有效(即所有行均满足);
  • 高效短路判断:一旦累计违规值数量达目标数(如 3 个),立即返回 false,避免冗余解析;
  • 健壮路径操作:自动创建目标目录,使用 Files.move() 安全迁移,显式处理分隔符与表头;
  • 资源安全:严格依赖 try-with-resources 管理 Reader,杜绝手动 close() 引发的异常。

? 示例 CSV 结构(以分号分隔)

car;score;description
Opel;30;43
Volvo;500;434
Kia;50;3
Toyota;4;4
Mazda;5000;4

? 数据模型(CsvLine.java)

import com.opencsv.bean.CsvBindByPosition;
import java.math.BigDecimal;

public class CsvLine {
    @CsvBindByPosition(position = 1) // 对应 score 列(索引从 0 开始,第 1 位)
    private BigDecimal value;

    public BigDecimal getValue() { return value; }
    public void setValue(BigDecimal value) { this.value = value; }
}

⚙️ 主流程与工具方法

import com.opencsv.bean.CsvToBeanBuilder;
import java.io.*;
import java.math.BigDecimal;
import java.nio.file.*;
import java.util.*;
import java.util.function.Predicate;
import java.util.stream.Collectors;

public class CsvPatternValidator {

    public static void main(String[] args) throws IOException {
        File directory = Path.of("/path/to/your/csv/directory").toFile();
        FilenameFilter csvFilter = (dir, name) -> name.toLowerCase().endsWith(".csv");

        // ✅ 定义“禁止出现”的数值列表(即:若文件中同时存在这些值,则判定为 invalid)
        List<pre class="brush:php;toolbar:false;"dicate<BigDecimal>> forbiddenPatterns = List.of(
            ne(new BigDecimal("50")),
            ne(new BigDecimal("500")),
            ne(new BigDecimal("5000"))
        );

        processDirectory(directory, csvFilter, forbiddenPatterns);
    }

    public static void processDirectory(File dir, FilenameFilter filter,
                                        List<pre class="brush:php;toolbar:false;"dicate<BigDecimal>> forbidden) throws IOException {
        Path processed = createDirectory(dir.toPath().resolve("processed"));
        Path invalid = createDirectory(dir.toPath().resolve("invalid_files"));

        File[] files = dir.listFiles(filter);
        if (files == null) return;

        for (File file : files) {
            boolean valid = isFileValid(file, forbidden);
            Path target = valid ? processed : invalid;
            Files.move(file.toPath(), target.resolve(file.getName()), StandardCopyOption.REPLACE_EXISTING);
        }
    }

    public static boolean isFileValid(File file, List<pre class="brush:php;toolbar:false;"dicate<BigDecimal>> forbidden) throws IOException {
        try (Reader reader = Files.newBufferedReader(file.toPath())) {
            List<CsvLine> lines = new CsvToBeanBuilder<CsvLine>(reader)
                    .withType(CsvLine.class)
                    .withSkipLines(1)        // 跳过表头行
                    .withSeparator(';')      // 显式指定分隔符
                    .build()
                    .parse();

            Set<BigDecimal> violations = new HashSet<>();
            for (CsvLine line : lines) {
                if (line.getValue() == null) continue;
                if (!isLineValid(line, forbidden)) {
                    violations.add(line.getValue());
                    if (violations.size() == forbidden.size()) {
                        return false; // 找齐所有禁止值 → 文件无效
                    }
                }
            }
            return true; // 未找齐 → 文件有效
        }
    }

    public static boolean isLineValid(CsvLine line, List<pre class="brush:php;toolbar:false;"dicate<BigDecimal>> conditions) {
        return conditions.stream().allMatch(p -> p.test(line.getValue()));
    }

    // 工厂方法:生成“不等于 target”的谓词
    public static <T extends Comparable<T>> Predicate<T> ne(T target) {
        return value -> value == null || value.compareTo(target) != 0;
    }

    public static Path createDirectory(Path path) throws IOException {
        return Files.exists(path) ? path : Files.createDirectory(path);
    }
}

⚠️ 注意事项

  • 依赖项:需在 pom.xml 中添加 OpenCSV(≥ 5.7.1)和 Lombok(可选,简化 getter/setter):
    <dependency>
        <groupId>com.opencsv</groupId>
        <artifactId>opencsv</artifactId>
        <version>5.7.1</version>
    </dependency>
  • 编码处理:示例默认 UTF-8;若 CSV 为 UTF-16,请在 Files.newBufferedReader() 中传入 StandardCharsets.UTF_16;
  • 扩展性:新增校验规则只需向 forbiddenPatterns 列表追加 ne(...) 即可,无需修改核心逻辑;
  • 性能提示:对超大文件,可考虑流式解析(如 CsvParser)替代 CsvToBeanBuilder,避免全量加载内存。

该方案彻底解决了原始代码的逻辑缺陷,以函数式风格提升可读性与可测试性,是生产环境中处理 CSV 规则校验的推荐实践。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1945

2024.04.01

xml怎么变成word
xml怎么变成word

步骤:1. 导入 xml 文件;2. 选择 xml 结构;3. 映射 xml 元素到 word 元素;4. 生成 word 文档。提示:确保 xml 文件结构良好,并预览 word 文档以验证转换是否成功。想了解更多xml的相关内容,可以阅读本专题下面的文章。

2119

2024.08.01

xml是什么格式的文件
xml是什么格式的文件

xml是一种纯文本格式的文件。xml指的是可扩展标记语言,标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。想了解更多相关的内容,可阅读本专题下面的相关文章。

1167

2024.11.28

Go高并发任务调度与Goroutine池化实践
Go高并发任务调度与Goroutine池化实践

本专题围绕 Go 语言在高并发任务处理场景中的实践展开,系统讲解 Goroutine 调度模型、Channel 通信机制以及并发控制策略。内容包括任务队列设计、Goroutine 池化管理、资源限制控制以及并发任务的性能优化方法。通过实际案例演示,帮助开发者构建稳定高效的 Go 并发任务处理系统,提高系统在高负载环境下的处理能力与稳定性。

22

2026.03.10

Kotlin Android模块化架构与组件化开发实践
Kotlin Android模块化架构与组件化开发实践

本专题围绕 Kotlin 在 Android 应用开发中的架构实践展开,重点讲解模块化设计与组件化开发的实现思路。内容包括项目模块拆分策略、公共组件封装、依赖管理优化、路由通信机制以及大型项目的工程化管理方法。通过真实项目案例分析,帮助开发者构建结构清晰、易扩展且维护成本低的 Android 应用架构体系,提升团队协作效率与项目迭代速度。

48

2026.03.09

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

93

2026.03.06

Rust内存安全机制与所有权模型深度实践
Rust内存安全机制与所有权模型深度实践

本专题围绕 Rust 语言核心特性展开,深入讲解所有权机制、借用规则、生命周期管理以及智能指针等关键概念。通过系统级开发案例,分析内存安全保障原理与零成本抽象优势,并结合并发场景讲解 Send 与 Sync 特性实现机制。帮助开发者真正理解 Rust 的设计哲学,掌握在高性能与安全性并重场景中的工程实践能力。

216

2026.03.05

PHP高性能API设计与Laravel服务架构实践
PHP高性能API设计与Laravel服务架构实践

本专题围绕 PHP 在现代 Web 后端开发中的高性能实践展开,重点讲解基于 Laravel 框架构建可扩展 API 服务的核心方法。内容涵盖路由与中间件机制、服务容器与依赖注入、接口版本管理、缓存策略设计以及队列异步处理方案。同时结合高并发场景,深入分析性能瓶颈定位与优化思路,帮助开发者构建稳定、高效、易维护的 PHP 后端服务体系。

412

2026.03.04

AI安装教程大全
AI安装教程大全

2026最全AI工具安装教程专题:包含各版本AI绘图、AI视频、智能办公软件的本地化部署手册。全篇零基础友好,附带最新模型下载地址、一键安装脚本及常见报错修复方案。每日更新,收藏这一篇就够了,让AI安装不再报错!

143

2026.03.04

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Kotlin 教程
Kotlin 教程

共23课时 | 4.3万人学习

C# 教程
C# 教程

共94课时 | 11.1万人学习

Java 教程
Java 教程

共578课时 | 80.4万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号