Search Engines in 2024: Will Spaces Still Matter?¶

小的时候，第一次学会上网搜索内容，人们告诉我：

「把你的中文词语用空格分开」

我记到现在，甚至有点“强迫”。

比如，写下这篇文章前做了些简单的搜索，「空格」和「分词」被无意分开了。

我习惯性地认为「空格」和「分词」是两个词语，结果中不一定会将它们连起来使用，也就是不希望网页中只有「空格分词」索引出的结果。

当然搜索引擎不笨，它聪明到至少会知道怎么处理「空格分词」，就算不分开依旧能搜到些什么。

搜索结果有什么不同？¶

todo!()

为什么中文搜索需要分词？¶

todo!()

现代搜索引擎已经不需要手动分词了吗？¶

todo!()

LLM 分词器，LLM 如何理解自然语言？¶

todo!()

参考 ¶

todo!()