答案:SQL无直接字符串去重函数,需组合使用拆分、去重、合并方法;PostgreSQL可用string_to_array与string_agg,MySQL可借递归或自定义函数处理。

SQL 中没有直接的内置字符串函数可以实现“字符串去重”(比如去除一个字段中重复的字符或子串),但可以通过组合使用多种字符串函数和逻辑处理来实现。具体方法取决于你的需求:是去除单个字符串中重复的字符,还是从多行中去除重复记录?下面针对常见的“字符串内容去重”场景进行说明。
1. 去除字符串中重复的字符(如 'aabbcc' → 'abc')
假设你有一个字段值为 'aabbcc',希望去除重复字母,只保留唯一字符。这类操作在标准 SQL 中较复杂,但在支持高级字符串处理的数据库中可实现。
以 PostgreSQL 为例:
使用 unnest(string_to_array()) 拆分字符串,用 DISTINCT 去重,再用 string_agg() 合并。
SELECT string_agg(DISTINCT c, '' ORDER BY c) AS deduped
FROM unnest(string_to_array('aabbcc', NULL)) AS c;结果:'abc'
在 MySQL 8.0+ 中:
可结合 CTE 和递归方式逐字符处理,或使用 JSON 函数辅助拆分,但较为繁琐。
2. 去除字段中重复的子串(如 'apple,apple,banana' → 'apple,banana')
常见于逗号分隔的标签或列表字段。目标是将 'apple,apple,banana' 转为 'apple,banana'。
PostgreSQL 示例:
SELECT string_agg(DISTINCT trim(unnest), ',' ORDER BY trim(unnest))
FROM unnest(string_to_array('apple,apple,banana', ','));使用 string_to_array 拆分,unnest 展开,trim 去空格,DISTINCT 去重,最后用 string_agg 重组。
MySQL 示例(8.0+ 使用 JSON 函数模拟):
较复杂,通常建议在应用层处理,或借助存储过程逐个分割、去重、拼接。
3. 多行数据中对字符串字段去重(行级去重)
如果你是指从表中去除重复的字符串记录,使用 DISTINCT 或 GROUP BY 更合适。
SELECT DISTINCT name FROM users;
这会返回唯一的 name 值,去除重复行。
4. 自定义函数实现通用去重(以 MySQL 为例)
可以创建函数处理逗号分隔字符串的去重:
DELIMITER $$
CREATE FUNCTION dedup_string(input TEXT)
RETURNS TEXT
READS SQL DATA
DETERMINISTIC
BEGIN
DECLARE result TEXT DEFAULT '';
DECLARE current_word VARCHAR(255);
DECLARE done INT DEFAULT 0;
DECLARE cur CURSOR FOR SELECT DISTINCT TRIM(word) FROM
(SELECT SUBSTRING_INDEX(SUBSTRING_INDEX(input, ',', numbers.n), ',', -1) word
FROM (SELECT 1 n UNION SELECT 2 UNION SELECT 3 UNION SELECT 4 UNION SELECT 5) numbers
WHERE numbers.n <= 1 + (LENGTH(input) - LENGTH(REPLACE(input, ',', '')))
) t
WHERE word != '';
DECLARE CONTINUE HANDLER FOR NOT FOUND SET done = 1;
OPEN cur;
read_loop: LOOP
FETCH cur INTO current_word;
IF done THEN LEAVE read_loop; END IF;
IF result = '' THEN
SET result = current_word;
ELSE
SET result = CONCAT(result, ',', current_word);
END IF;
END LOOP;
CLOSE cur;
RETURN result;
END$$
DELIMITER ;
调用:SELECT dedup_string('apple,apple,banana'); 返回 'apple,banana'。
基本上就这些方法。不同数据库支持程度不同,PostgreSQL 处理此类问题更灵活,MySQL 需要更多手动实现。核心思路是:拆分 → 去重 → 合并。根据实际环境选择合适方案。










