主页 / 问题 / 1183543
Accepted
Mikhail Murugov
Asked:2020-09-28 22:16:53 +0000 UTC2020-09-28 22:16:53 +0000 UTC

有什么工具可以实现语法？

  • 772

在InfluxQL查询中有一个替换标记的任务。这些查询的语法由扩展的 Backus-Naur 形式定义。中有哪些库来实现这个语法，以便解析 InfluQL 查询，获取令牌树并替换我需要的令牌？理想情况下，我还想看一个解析一些简单请求的例子。

python

1 个回答

  1. Best Answer

    像往常一样，在我提出问题后，我设法用谷歌搜索了一些东西。找到parsimonious模块（更广泛的文档在项目的 github 页面上）。诚然，它有点阉割（只有贪婪的量词），但它已经可以工作了。创建用户和删除数据库的截断语法示例：

    query               = statement ('; ' statement)*
statement           = create_user_stmt / drop_database_stmt
create_user_stmt    = 'CREATE USER ' user_name ' WITH PASSWORD ' password ' WITH ALL PRIVILEGES'?
drop_database_stmt  = 'DROP DATABASE ' db_name
user_name           = identifier ''
password            = string_lit ''
db_name             = identifier ''
identifier          = unquoted_identifier / quoted_identifier
string_lit          = "'" (letter / digit)* "'"
unquoted_identifier = letter (letter / digit)*
quoted_identifier   = '"' letter+ '"'
letter              = ascii_letter / '_'
digit               = ~'[0-9]'
ascii_letter        = ~'[a-z]'i

    解析请求并替换令牌的示例user_name，password并且db_name：

    from parsimonious.grammar import Grammar
from parsimonious.nodes import NodeVisitor, Node
from base64 import b64encode


class InfluxQLVisitor(NodeVisitor):
    def visit_user_name(self, node: Node, visited_children):
        return b64encode(node.text.encode()).decode()  # Вместо имени пользователя возвращаем base64 от него
    
    visit_password = visit_user_name  # То же самое для password
    
    visit_db_name = visit_user_name  # То же самое для db_name
    
    def generic_visit(self, node, visited_children):
        return ''.join(visited_children) or node.text  # Для неопределенных токенов возвращаем просто их текст


with open('influxql.grammar', 'r', encoding='utf-8') as fp:  # Считывание грамматики из файла
    influxql_grammar = Grammar(fp.read())  # Чтобы не заморачиваться с экранированием символов

# Запрос для разбора
query = """CREATE USER "jdoe" WITH PASSWORD '1337password' WITH ALL PRIVILEGES; DROP DATABASE my_secret_db"""

if __name__ == '__main__':
    tree = influxql_grammar.parse(query)  # Получение дерева разбора запроса
    
    visitor = InfluxQLVisitor()
    res = visitor.visit(tree)  # Обход дерева с заменой необходимых токенов
    print(res)

    面对默认解析器不区分上下文的事实。也就是说，如果您从 tokens 的定义中删除user_name，db_name并password在末尾删除一个空字符串，那么在解析这些 token 后将是 and 类型的identifier令牌string_lit。github上提供了针对这种情况的修复程序。

    • 2

相关问题