0

0

在 ast-grep 中搜索多语言文档

王林

王林

发布时间:2024-07-24 19:40:02

|

898人浏览过

|

来源于dev.to

转载

介绍

ast-grep 是一个强大的结构代码搜索工具,它利用语法树来查找源代码中的模式。这使得它比传统的基于文本的搜索工具更加准确和灵活。

ast-grep 可以很好地搜索一种单一语言的文件,但很难提取嵌入在文档中的子语言。

然而,在现代开发中,遇到多语言文档是很常见的。这些是包含用多种不同语言编写的代码的源文件。值得注意的例子包括:

  • html 文件:这些文件可以在 <script> 标签内包含 javascript,在 <style> 标签内包含 css
  • javascript 文件:这些文件通常包含正则表达式、css 样式和查询语言(例如 graphql)。
  • ruby 文件:这些文件可以包含h​​eredoc 文字内的代码片段,其中heredoc 分隔符通常指示语言。

这些多语言文档可以根据父语法树进行建模,其中一个或多个注入语法树驻留在内部父树的某些节点。

ast-grep 现在支持处理语言注入的功能,允许您在另一种语言的文档中搜索用一种语言编写的代码。

ast-grep lang diagram

这个概念和术语来自tree-sitter的语言注入,这意味着你可以注入另一种语言到语言文档中。 (顺便说一句,neovim 也接受这个术语。)

示例:在 cli 中搜索 js/css

让我们从一个简单的示例开始,使用 ast-grep 的命令行界面 (cli) 在 html 文件中搜索 javascript 和 css。
ast-grep 内置支持在 html 文件中搜索 javascript 和 css。

使用 sg run:在 html 文件中查找 css 模式

假设我们有一个如下所示的 html 文件:

<style>
  h1 { color: red; }
</style>
<h1>
  hello world!
</h1>
<script>
  alert('hello world!')
</script>

运行这个 ast-grep 命令将从 html 文件中提取匹配的 css 样式代码!

sg run -p 'color: $color'

ast-grep 输出这个漂亮的 cli 报告。

./test.html
2│  h1 { color: red; }

ast-grep 即使只提供模式而不指定模式语言也能很好地工作!

使用 sg scan:使用规则文件在 html 中查找 javascript

您还可以使用ast-grep的规则文件来搜索注入的语言。

例如,我们可以在 javascript 中警告使用警报,即使它位于 html 文件内部。

id: no-alert
language: javascript
severity: warning
rule:
  pattern: alert($msg)
message: prefer use appropriate custom ui instead of obtrusive alert call.

上面的规则将检测 javascript 中警报的使用。通过 sg scan 运行规则。

sg scan --rule no-alert.yml

该命令利用 ast-grep 中的内置行为来无缝处理语言注入。它将为上面的 html 文件生成以下警告消息。

warning[no-alert]: prefer use appropriate custom ui instead of obtrusive alert call.
  ┌─ ./test.html:8:3
  │
8 │   alert('hello world!')
  │   ^^^^^^^^^^^^^^^^^^^^^

语言注入如何工作?

ast-grep 采用多步骤过程来有效处理语言注入。以下是工作流程的详细分解:

  1. 文件发现:cli 首先通过古老的忽略板条箱发现磁盘上的文件,这是 ripgrep 引擎盖下的同一个库。

  2. 语言推断:ast-grep 根据文件扩展名推断每个发现文件的语言。

  3. 注入提取:对于包含用多种语言编写的代码的文档(例如,嵌入 js 的 html),ast-grep 提取注入的语言子区域。 目前,ast-grep 原生处理 html/js/css .

  4. 代码匹配:ast-grep 根据这些区域匹配指定的模式或规则。模式代码将根据注入的语言(例如 js/css)而不是父文档语言(例如 html)进行解释。

自定义语言注入:javascript 中的样式组件

您可以通过 sgconfig.yml 配置文件自定义语言注入。这允许您根据您的具体需求指定ast-grep如何处理多语言文档,而无需修改ast-grep的内置行为。

知我AI
知我AI

一款多端AI知识助理,通过一键生成播客/视频/文档/网页文章摘要、思维导图,提高个人知识获取效率;自动存储知识,通过与知识库聊天,提高知识利用效率。

下载

让我们看一个在 javascript 中搜索 css 代码的示例。 styled-components 是一个使用 css-in-js 设计 react 应用程序样式的库。它允许您通过标记模板文字直接在 javascript 中编写 css,将样式元素创建为 react 组件。

该示例将配置 ast-grep 来检测 styled-components 的 css。

注射配置

可以在项目配置文件 sgconfig.yml 中添加 languageinjections 部分。

languageinjections:
- hostlanguage: js
  rule:
    pattern: styled.$tag`$content`
  injected: css

让我们分解一下配置。

  1. hostlanguage:指定文档的主要语言。本例中设置为js(javascript)。

  2. rule:定义ast-grep规则以识别宿主语言中的注入语言区域。

- `pattern`: the pattern matches styled components syntax where `styled` is followed by a tag (e.g., `button`, `div`) and a template literal containing css.
- the rule should have a meta variable `$content` to specify the subregion of injected language. in this case, it is the content inside the template string.
  1. 注入:指定已识别区域内的注入语言。在本例中,它是 css。

匹配示例

考虑使用样式化组件的 jsx 文件:

import styled from 'styled-components';

const button = styled.button`
  background: red;
  color: white;
  padding: 10px 20px;
  border-radius: 3px;
`

exporrt default function app() {
  return <button>click me</button>
}

使用上述 languageinjections 配置,ast-grep 将:

  1. 将 styled.button 块识别为 css 区域。
  2. 提取模板文字中的 css 代码。
  3. 在此提取的区域内应用任何特定于 css 的模式搜索。

您可以使用以下命令在项目配置文件夹中的 javascript 中搜索 css:

sg -p 'background: $color' -c 2

它将产生匹配结果:

./styled.js
2│
3│const button = styled.button`
4│  background: red;
5│  color: white;
6│  padding: 10px 20px;

使用自定义语言进行注入

最后,让我们看一个在 javascript 文件中搜索 graphql 的示例。
这证明了 ast-grep 在处理自定义语言注入方面的灵活性。

在 sgconfig.yml 中定义 graphql 自定义语言。

首先,我们需要在ast-grep中将graphql注册为自定义语言。有关更多详细信息,请参阅自定义语言参考。

customlanguages:
  graphql:
    librarypath: graphql.so # the graphql tree-sitter parser dynamic library
    extensions: [graphql]   # graphql file extension
    expandochar: $          # see reference above for explanation

在 sgconfig.yml 中定义 graphql 注入。

接下来,我们需要自定义 javascript 中哪些区域应该被解析为 graphql 字符串。这类似于上面的样式组件示例。

languageinjections:
- hostlanguage: js
  rule:
    pattern: graphql`$content`
  injected: graphql

在 javascript 中搜索 graphql

假设我们有来自 relay(一个 graphql 客户端框架)的 javascript 文件。

import react from "react"
import { graphql } from "react-relay"

const artistsquery = graphql`
  query artistquery($artistid: string!) {
    artist(id: $artistid) {
      name
      ...artistdescription_artist
    }
  }
`

我们可以通过这个 --inline-rules 扫描来搜索 graphql 片段。

sg scan --inline-rules="{id: test, language: graphql, rule: {kind: fragment_spread}}"

输出

help[test]:
  ┌─ ./relay.js:8:7
  │
8 │       ...ArtistDescription_artist
  │       ^^^^^^^^^^^^^^^^^^^^^^^^^^^

更多可能被解锁...

按照以下步骤,您可以有效地使用 ast-grep 在同一文档中跨多种语言搜索和分析代码,增强您管理和理解复杂代码库的能力。

此功能扩展到 vue 和 svelte 等各种框架,支持在 react 服务器操作中搜索 sql,并支持 vue-vine 等新模式。

希望您喜欢这个功能!快乐的 ast grep!

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

WorkBuddy
WorkBuddy

腾讯云推出的AI原生桌面智能体工作台

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
数据分析工具有哪些
数据分析工具有哪些

数据分析工具有Excel、SQL、Python、R、Tableau、Power BI、SAS、SPSS和MATLAB等。详细介绍:1、Excel,具有强大的计算和数据处理功能;2、SQL,可以进行数据查询、过滤、排序、聚合等操作;3、Python,拥有丰富的数据分析库;4、R,拥有丰富的统计分析库和图形库;5、Tableau,提供了直观易用的用户界面等等。

1135

2023.10.12

SQL中distinct的用法
SQL中distinct的用法

SQL中distinct的语法是“SELECT DISTINCT column1, column2,...,FROM table_name;”。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

340

2023.10.27

SQL中months_between使用方法
SQL中months_between使用方法

在SQL中,MONTHS_BETWEEN 是一个常见的函数,用于计算两个日期之间的月份差。想了解更多SQL的相关内容,可以阅读本专题下面的文章。

381

2024.02.23

SQL出现5120错误解决方法
SQL出现5120错误解决方法

SQL Server错误5120是由于没有足够的权限来访问或操作指定的数据库或文件引起的。想了解更多sql错误的相关内容,可以阅读本专题下面的文章。

2256

2024.03.06

sql procedure语法错误解决方法
sql procedure语法错误解决方法

sql procedure语法错误解决办法:1、仔细检查错误消息;2、检查语法规则;3、检查括号和引号;4、检查变量和参数;5、检查关键字和函数;6、逐步调试;7、参考文档和示例。想了解更多语法错误的相关内容,可以阅读本专题下面的文章。

380

2024.03.06

oracle数据库运行sql方法
oracle数据库运行sql方法

运行sql步骤包括:打开sql plus工具并连接到数据库。在提示符下输入sql语句。按enter键运行该语句。查看结果,错误消息或退出sql plus。想了解更多oracle数据库的相关内容,可以阅读本专题下面的文章。

1743

2024.04.07

sql中where的含义
sql中where的含义

sql中where子句用于从表中过滤数据,它基于指定条件选择特定的行。想了解更多where的相关内容,可以阅读本专题下面的文章。

586

2024.04.29

sql中删除表的语句是什么
sql中删除表的语句是什么

sql中用于删除表的语句是drop table。语法为drop table table_name;该语句将永久删除指定表的表和数据。想了解更多sql的相关内容,可以阅读本专题下面的文章。

441

2024.04.29

chatgpt使用指南
chatgpt使用指南

本专题整合了chatgpt使用教程、新手使用说明等等相关内容,阅读专题下面的文章了解更多详细内容。

0

2026.03.16

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Sass 教程
Sass 教程

共14课时 | 1.0万人学习

Bootstrap 5教程
Bootstrap 5教程

共46课时 | 3.6万人学习

CSS教程
CSS教程

共754课时 | 43.8万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号