有这样一个不标准的问题。比方说,我们需要某种库或方法,一种用于创建聊天机器人的原理。有一个输入行,有一个现成的模板库,其中定义了空白。输入文本与模板库进行比较,如果有匹配,则返回一些结果。
例如,输入字符串“嗨,你好吗?”
数据库包含模板
[
{id: 0, text: "Привет, как дела?"},
{id: 1, text: "Здравствуй, как дела?"},
{id: 2, text: "Братан, ты как?"},
{id: 3, text: "Добрый день, как вы?"},
{id: 4, text: "Здарова, как жизнь?"}
...
]
比较输入字符串后,我们应该得到{id: 1},当然这实现起来很简单。如果您查看数据库中的 5 条记录,它们几乎相似,您可以以某种方式将它们组合并编写某种regex检查而不是文本,以便我们获取输入文本并检查数据库记录,直到正则表达式为true. 但是,如果您需要创建 10,000 个模板怎么办?在这种情况下编写正则表达式不会很好。
所以我需要做一些类似于更简化的正则表达式的事情。例如,如果有人熟悉 iii.ru 服务,那么在那里实现了这样的功能,但他们说在 AI 上一切正常,但不知何故我无法创建 AI。还有一个 Flow.ai 网站,整个事情很容易做到,我不知道他们是如何实现的。
例如,我想要这样
有一个模板:{Привет, Добрый день, Здравствуй, Хеллов}, как [ {у вас, у тебя, ты},[не обязательно]] [{дела, жизнь, всё}, [не обязательно]]?
这种模式适用于这样的字符串:
你好你好吗?
你好吗?
你好吗?
下午好,过得如何?
你好,生活怎么样?
等等
我认为我没有很好地解释问题的本质,但我希望有人理解并可以提供帮助。
为了获得最大的速度,字符串比较应转换为较短数字的比较。每个词都可以用一定的数字来表示,这个数字可以根据这个词的字符来计算。机器人还必须很好地识别输入短语的含义并在数据库中找到相似的短语。例如,“嗨!”、“嗨!”、“哟!” 具有相同的含义。当具有相同含义的单词/问题在坐标平面/空间上彼此接近时,可以将所有此类问题转换为向量表示。例如:
我们将用户输入分成单词,计算坐标,问题向量,找到意义最相似的,然后取出答案。也就是说,每一行都由意义空间中的一个向量表示。这在意义空间中被称为“文本的向量表示”。
演示方法各不相同。最受欢迎的模型是 word2vec 和 GloVe。使用它们,您可以或多或少地实现聊天机器人的正常操作,但并不理想。有更好的模型,但随后出现了一些问题:
在向量中表示文本的分布式方法(如 word2vec)根据假设使用概率统计:“出现在相同环境中的单词具有相似的含义。” 也就是说,文本被加载、分析、概率被编译并基于它们创建向量。文字越多,字数越多,分析就越好。然而,在极少数情况下,很难计算文本的“含义”,模型会从实验模型急剧转变为未经训练的模型。
也就是,其实是需要训练的,但是最后我们还是得到了一个不是很完美的结果。
如果我们改进这样的模型,那么它将老土退化成神经网络。
我建议您阅读:文本和字典中的模糊搜索。更正文本中的错误,搜索查询。
在您的情况下,您需要在文本和字典中进行模糊搜索。通过置换模型对字符串进行比较,找到它们之间的距离,选择最合适的字符串。
Damerau-Levenshtein 距离正是您所需要的。