引言：传统分词的局限性
在javascript中，我们经常需要将一段文本拆分成独立的词语或短语。最常见的方法是使用string.prototype.split(' ')。然而，当遇到包含空格的带引号短语时，这种简单的方法便会失效。例如，对于输入字符串"on time" "flight"，我们期望将"on time"作为一个整体的短语，而"flight"作为一个单独的词。如果使用split(' ')，"on time"会被错误地拆分成"on和time"`，这显然不符合我们的预期。
传统的split()方法无法区分引号内外的空格，导致无法正确识别带引号的短语。为了解决这一问题，我们需要一种更智能的解析策略，即有限状态机（Finite-State Machine, FSM）。
核心策略：有限状态机 (FSM) 分词
有限状态机是一种抽象的计算模型，它在任何给定时间点都处于有限数量的状态之一。根据输入事件，FSM会从一个状态转换到另一个状态。在文本分词场景中，我们可以定义不同的“状态”来表示解析器当前正在处理的文本类型（例如，普通单词或引号内的短语），并根据遇到的字符进行状态转换。
状态定义
为了实现带引号短语的正确分词，我们至少需要两种核心状态：
- word 状态：表示解析器当前正在处理一个普通的单词，该单词不被双引号包围。
- phrase 状态：表示解析器当前正在处理一个被双引号包围的短语。在此状态下，空格应被视为短语的一部分，而不是分隔符。
状态转换逻辑
解析器会逐字符遍历输入字符串，并根据当前字符和当前所处的状态来决定：
立即学习“Java免费学习笔记（深入）”；
- 是否将当前字符添加到正在构建的词语/短语中。
- 是否完成当前词语/短语并将其添加到结果列表中。
- 是否从一个状态切换到另一个状态。
JavaScript 实现与代码解析
下面是一个使用FSM原理实现的JavaScript函数，用于将字符串拆分为单词和带引号的短语：
function splitToWordsWithQuotes(str) {
let mode = null; // null: 初始状态/空白区域, 'word': 正在构建单词, 'phrase': 正在构建短语
const words = []; // 存储最终分词结果的数组
let word = ''; // 临时变量，用于构建当前正在处理的词语或短语
// 辅助函数：完成当前词语/短语的构建，并将其添加到结果数组中
const completeWord = () => {
if (word.length > 0) { // 只有当word不为空时才添加
words.push(word);
}
word = ''; // 重置临时变量
};
for (let i = 0; i < str.length; i++) {
const c = str[i]; // 当前字符
if (mode === null) { // 初始状态或处于空白区域
if (c === ' ') {
continue; // 跳过空格
}
if (c === '"') {
mode = 'phrase'; // 遇到双引号，进入短语模式
} else {
word += c; // 遇到非空格非引号字符，开始构建单词
mode = 'word'; // 进入单词模式
}
continue;
}
if (c === '"') { // 遇到双引号
completeWord(); // 完成当前词语或短语
// 切换模式：如果当前是单词模式，则下一个是短语模式（尽管这通常意味着一个新词的开始，且这里没有处理转义引号）
// 如果当前是短语模式，则表示短语结束，回到等待新词的模式（null）
mode = null; // 遇到结束引号后，回到初始/空白状态，等待下一个词或短语
continue;
}
if (c === ' ') { // 遇到空格
if (mode === 'phrase') {
word += ' '; // 如果在短语模式，空格是短语的一部分
continue;
}
// 如果在单词模式，空格表示单词结束
completeWord();
mode = null; // 回到初始/空白状态
continue;
}
// 其他字符：添加到当前词语或短语中
word += c;
}
// 循环结束后，如果word中还有内容，需要完成最后的词语/短语
completeWord();
return words;
}代码解析：
-
mode 变量：这是状态机的核心。
- null：表示当前解析器处于初始状态或正在跳过空格，等待新的词语或短语开始。
- 'word'：表示正在收集一个普通单词的字符。
- 'phrase'：表示正在收集一个带引号短语的字符。
-
words 数组和 word 变量：
- words：存储所有已识别并完成的词语或短语。
- word：一个临时字符串，用于在当前状态下累积字符，直到一个词语或短语完成。
completeWord() 辅助函数：这个函数负责将当前word变量中的内容（如果非空）添加到words数组中，并清空word，为下一个词语或短语做准备。
-
字符遍历循环：
-
初始/空白状态 (mode === null)：
- 遇到空格，直接跳过 (continue)。
- 遇到双引号 (")，表示一个短语开始，将mode设置为'phrase'。
- 遇到其他字符，表示一个普通单词开始，将字符添加到word，并将mode设置为'word'。
-
遇到双引号 (c === '"')：
- 无论当前处于'word'还是'phrase'模式，遇到双引号都意味着当前词语/短语的结束。调用completeWord()。
- 将mode重置为null，因为双引号通常是分隔符，之后需要重新判断下一个字符的类型。
-
遇到空格 (c === ' ')：
- 如果在'phrase'模式，空格是短语的一部分，直接添加到word中。
- 如果在'word'模式，空格表示当前单词结束。调用completeWord()，并将mode重置为null。
-
其他字符：
- 无论处于'word'还是'phrase'模式，其他字符（非空格、非双引号）都是当前词语或短语的一部分，直接添加到word中。
-
初始/空白状态 (mode === null)：
循环结束后的处理：循环结束后，word中可能还残留着最后一个词语或短语的字符，因此需要再次调用completeWord()来确保所有内容都被处理。
运行示例与结果分析
让我们使用一些示例输入来测试这个FSM分词器：
const myStr = ' "hello guys", some words with "quotes inside"" some spaces inside " please keep quoted words as one "phrase / word" end-of-line ';
const myWrongStr = '"hello guys", some words" with "quotes inside" please keep quoted words as one "phrase / word" ';
console.log('--- 正常输入 ---');
console.log('输入:', myStr);
console.log('输出:', splitToWordsWithQuotes(myStr));
// 预期输出: ["hello guys", "some", "words", "with", "quotes inside", "some", "spaces", "inside", "please keep quoted words as one", "phrase / word", "end-of-line"]
console.log('\n--- 包含未闭合引号的输入 ---');
console.log('输入:', myWrongStr);
console.log('输出:', splitToWordsWithQuotes(myWrongStr));
// 预期输出: ["hello guys", "some", "words\" with ", "quotes inside", "please keep quoted words as one", "phrase / word"]
// 注意：未闭合的引号 "words" 被处理为 "words\" with "，因为第二个引号被当作了短语的结束。从示例中可以看出，splitToWordsWithQuotes 函数能够：
- 正确识别并提取带引号的短语，即使短语内部包含空格（如"hello guys"、"quotes inside"）。
- 正确处理短语和单词之间的分隔（逗号、多个空格）。
- 忽略字符串开头和结尾的空格。
- 将普通单词正确地单独提取。
对于myWrongStr，它展示了当前FSM的一个特点：如果引号未正确闭合，它会继续将后续字符视为当前短语或单词的一部分，直到遇到下一个引号或分隔符。例如，some words" with 中的第二个引号被视为短语的结束，而不是一个未转义的引号字符。
注意事项与扩展
- 输出格式：当前FSM的输出是一个字符串数组，其中带引号的短语已经去除了原始的引号（例如，
