0

0

JavaScript字符串处理_Unicode与编码转换

夜晨

夜晨

发布时间:2025-11-28 18:07:25

|

355人浏览过

|

来源于php中文网

原创

JavaScript字符串基于UTF-16编码,需用codePointAt和fromCodePoint处理辅助平面字符,遍历时使用扩展操作符或Array.from以正确识别emoji等字符。

javascript字符串处理_unicode与编码转换

JavaScript中的字符串基于Unicode标准,每个字符以UTF-16编码格式存储。理解这一点对正确处理特殊字符、表情符号(emoji)、以及跨语言文本至关重要。本文将介绍JavaScript中字符串与Unicode的关系,常见编码转换方法及实际应用技巧。

Unicode与JavaScript字符串基础

JavaScript引擎内部使用UTF-16表示字符串。这意味着大多数常见字符占用2个字节(即一个16位码元),但部分字符(如 emoji 或某些生僻汉字)属于“辅助平面”,需要两个码元(称为代理对 surrogate pair)来表示。

例如,字符 ? 是一个位于辅助平面的汉字,它的Unicode码点是 U+20BB7。在JavaScript中:

'?'.length // 结果是 2
'?'[0] // 返回空或乱码(实际为高代理)
'?'[1] // 返回低代理

这是因为 ? 被拆分为两个16位码元。要正确识别这类字符,应使用ES6提供的迭代方式:

立即学习Java免费学习笔记(深入)”;

[...'?'] // ['?'],长度为1
Array.from('?') // 同上,安全遍历

码点与编码转换方法

JavaScript提供多种方法用于获取字符的Unicode码点或从码点生成字符:

  • String.fromCharCode():将码元值转为字符,仅适用于基本多文种平面(BMP),不支持四字节字符。
  • String.fromCodePoint():支持任意Unicode码点,包括辅助平面。
  • String.charCodeAt():返回指定位置的16位码元值,无法直接获取完整码点。
  • String.codePointAt():可正确读取代理对对应的完整码点。

示例对比:

CreateWise AI
CreateWise AI

为播客创作者设计的AI创作工具,AI自动去口癖、提交亮点和生成Show notes、标题等

下载
String.fromCharCode(0x20BB7) // 错误结果:"ஷ"
String.fromCodePoint(0x20BB7) // 正确结果:"?"

'?'.charCodeAt(0) // 55362(高代理)
'?'.codePointAt(0) // 134071(即 0x20BB7)

Base64与UTF-8编码转换

浏览器环境提供了 btoaatob 函数用于Base64编解码,但它们只接受单字节字符(Latin-1)。直接传入含中文或 emoji 的字符串会报错。

要实现真正的UTF-8 Base64转换,需手动编码:

// 字符串 → Base64(支持UTF-8) function utf8ToBase64(str) { return btoa(encodeURIComponent(str).replace(/%([0-9A-F]{2})/g, (match, hex) => String.fromCharCode(parseInt(hex, 16)))); } // Base64 → 字符串(还原UTF-8) function base64ToUtf8(base64) { return decodeURIComponent(Array.from(atob(base64)).map(c => '%' + c.charCodeAt(0).toString(16).padStart(2, '0')).join('')); }

使用示例:

utf8ToBase64('你好 ?') // "JUU0JUJEJUEwJUU1JUE1JUJEICVFMyVCOCVCRQ==" base64ToUtf8("JUU0JUJEJUEwJUU1JUE1JUJEICVFMyVCOCVBRQ==") // "你好 ?"

实用建议与注意事项

处理Unicode字符串时,注意以下几点:

  • 避免使用 .length 判断字符数量,改用 [...str].lengthArray.from(str).length 获取真实字符数。
  • 遍历字符串时优先使用 for...ofArray.from(),确保代理对被整体处理。
  • 涉及网络传输或存储时,统一使用UTF-8编码,并配合 TextEncoder / TextDecoder API 更加高效安全。
  • 正则表达式中可使用 u 标志启用完整Unicode支持,如 /^\p{Emoji}$/u 匹配单个emoji。

基本上就这些。掌握Unicode机制能避免乱码、计数错误等常见问题,让字符串处理更稳健可靠。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
js正则表达式
js正则表达式

php中文网为大家提供各种js正则表达式语法大全以及各种js正则表达式使用的方法,还有更多js正则表达式的相关文章、相关下载、相关课程,供大家免费下载体验。

531

2023.06.20

正则表达式不包含
正则表达式不包含

正则表达式,又称规则表达式,,是一种文本模式,包括普通字符和特殊字符,是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一系列匹配某个句法规则的字符串,通常被用来检索、替换那些符合某个模式的文本。php中文网给大家带来了有关正则表达式的相关教程以及文章,希望对大家能有所帮助。

258

2023.07.05

java正则表达式语法
java正则表达式语法

java正则表达式语法是一种模式匹配工具,它非常有用,可以在处理文本和字符串时快速地查找、替换、验证和提取特定的模式和数据。本专题提供java正则表达式语法的相关文章、下载和专题,供大家免费下载体验。

766

2023.07.05

java正则表达式匹配字符串
java正则表达式匹配字符串

在Java中,我们可以使用正则表达式来匹配字符串。本专题为大家带来java正则表达式匹配字符串的相关内容,帮助大家解决问题。

219

2023.08.11

正则表达式空格
正则表达式空格

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。本专题为大家提供正则表达式相关的文章、下载、课程内容,供大家免费下载体验。

357

2023.08.31

Python爬虫获取数据的方法
Python爬虫获取数据的方法

Python爬虫可以通过请求库发送HTTP请求、解析库解析HTML、正则表达式提取数据,或使用数据抓取框架来获取数据。更多关于Python爬虫相关知识。详情阅读本专题下面的文章。php中文网欢迎大家前来学习。

293

2023.11.13

正则表达式空格如何表示
正则表达式空格如何表示

正则表达式空格可以用“s”来表示,它是一个特殊的元字符,用于匹配任意空白字符,包括空格、制表符、换行符等。想了解更多正则表达式空格怎么表示的内容,可以访问下面的文章。

245

2023.11.17

正则表达式中如何匹配数字
正则表达式中如何匹配数字

正则表达式中可以通过匹配单个数字、匹配多个数字、匹配固定长度的数字、匹配整数和小数、匹配负数和匹配科学计数法表示的数字的方法匹配数字。更多关于正则表达式的相关知识详情请看本专题下面的文章。php中文网欢迎大家前来学习。

547

2023.12.06

TypeScript类型系统进阶与大型前端项目实践
TypeScript类型系统进阶与大型前端项目实践

本专题围绕 TypeScript 在大型前端项目中的应用展开,深入讲解类型系统设计与工程化开发方法。内容包括泛型与高级类型、类型推断机制、声明文件编写、模块化结构设计以及代码规范管理。通过真实项目案例分析,帮助开发者构建类型安全、结构清晰、易维护的前端工程体系,提高团队协作效率与代码质量。

26

2026.03.13

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
React 教程
React 教程

共58课时 | 6万人学习

TypeScript 教程
TypeScript 教程

共19课时 | 3.4万人学习

Bootstrap 5教程
Bootstrap 5教程

共46课时 | 3.6万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号