pyp

在命令行轻松运行Python！神奇但从不神秘。

安装

运行 pip install pypyp ^{(注意多了一个"yp"!)}

pyp 需要 Python 3.8 或更高版本。

工作原理

pyp 会静态分析输入代码以检测未定义的变量。根据发现的结果，它会根据需要对输入代码的AST进行转换。然后我们编译并执行结果，或者如果使用 --explain，则将AST反解析回源代码。

示例

本节将引导您了解使用pyp的详细信息，希望能替代您对许多常见shell工具的需求。要获取速查表/简要说明，请运行 pyp --help。

pyp可以轻松用于对输入的每一行应用Python代码。

只需使用魔术变量 x、l 或 line 来引用当前行。

# pyp 类似 cut
ls | pyp 'x[:3]'
ps x | pyp 'line.split()[4]'

pyp也可以轻松地对整个输入应用Python代码。

使用魔术变量 lines 获取去除右侧空白的行列表，或使用 stdin 获取 sys.stdin。

# pyp 类似 wc -c
cat /usr/share/dict/words | pyp 'len(stdin.read())'

# pyp 类似 awk
seq 1 5 | pyp 'sum(map(int, lines))'

pyp 会自动导入您使用的模块。

# pyp 类似 sh
echo echo echo | pyp 'subprocess.run(lines[0], shell=True); pass'

# pyp 类似 jq
curl -s 'https://api.github.com/repos/hauntsaninja/pyp/commits?per_page=1' | pyp 'json.load(stdin)[0]["commit"]["author"]'

# pyp 类似 egrep
cat /usr/share/dict/words | pyp 'x if re.search("(p|m)yth", x) else None'

对于 collections、math、itertools、pathlib.Path、pprint.pp，即使您不使用完全限定名，pyp也能识别。

# pyp 类似 bc
pyp 'sqrt(5)'

# pyp 类似 ${x##*.}
ls | pyp 'Path(x).suffix'

pyp 可以使用魔术变量 i、idx 或 index 访问循环索引。

# pyp 类似行号
cat setup.py | pyp 'f"{idx+1: >3} {x}"'

注意到目前为止您还没有调用 print！

默认情况下，pyp 会打印代码中的最后一个表达式 — 除非它的值为 None（或最后一条语句是 pass）。 您随时可以显式调用 print，这种情况下 pyp 不会干扰您的输出。

# pyp 类似 grep
cat /usr/share/dict/words | pyp 'x if "python" in x else None'
cat /usr/share/dict/words | pyp 'if "python" in x: print(x); "this will not be printed"'

pyp 会尝试智能地打印字典和可迭代对象。

这使得 pyp 的输出更容易与shell工具组合使用。 同样，显式打印会停止这种魔法行为，但如果您确实想要显式选择这种行为，pyp 提供了 pypprint 函数。

# pyp 类似 tail
ls | pyp 'lines[-10:]'

# pyp 类似 sort
ls | pyp 'sorted(lines)'
ls | pyp 'print(f"Sorting {len(lines)} lines"); pypprint(sorted(lines))'

# pyp 类似 sort | uniq
ls | pyp 'sorted(set(lines))'

pyp 允许您在处理输入之前和之后运行Python代码片段。

注意，如果您在使用分号时遇到麻烦，想要换行（而不在shell中使用多行字符串），您可以直接向pyp传递另一个字符串。您也可以随时将pyp的输出管道到另一个pyp命令！

# pyp 可以做任何事！
ps aux | pyp -b 'd = defaultdict(list)' 'user, pid, *_ = x.split()' 'd[user].append(pid)' -a 'del d["root"]' -a 'd'

pyp 可以是神奇的，但它不必是神秘的！

使用 --explain 或 --script，pyp 将输出一个等效于它将运行的脚本。这也可以作为更复杂脚本的有用起点。

pyp --explain -b 'd = defaultdict(list)' 'user, pid, *_ = x.split()' 'd[user].append(pid)' -a 'del d["root"]' -a 'd'

#!/usr/bin/env python3
from collections import defaultdict
from pyp import pypprint
import sys
d = defaultdict(list)
for x in sys.stdin:
    x = x.rstrip('\n')
    (user, pid, *_) = x.split()
    d[user].append(pid)
del d['root']
if d is not None:
    pypprint(d)

如果您的命令遇到异常，pyp 将重构一个指向生成代码的回溯。

pyp 是可配置的。

将环境变量 PYP_CONFIG_PATH 指向一个包含以下内容的文件，例如：

import numpy as np
import tensorflow as tf
from pipetools import *

def p95(data):
    return np.percentile(data, 95)

class PotentiallyUsefulClass: ...

在尝试定义未定义的名称时，pyp 会静态*分析这个文件作为可能定义的来源。这意味着如果您不使用 tf，我们就不会导入 tensorflow！当然，--explain 会准确显示运行的内容（因此也会显示未运行的内容！）：

pyp --explain 'print(p95(list(map(float, stdin))))'

#!/usr/bin/env python3
import sys
import numpy as np

def p95(data):
    return np.percentile(data, 95)
stdin = sys.stdin
print(p95(list(map(float, stdin))))

注意，在配置中从像 pipetools 这样的库导入可以让您实现高度的语法糖：

seq 1 110 | pyp 'lines > foreach(int) | where(X > 100) | group_by(X % 3) | sort_by(X[0])'

_{*如果您使用通配符导入，如果还有未定义的名称，我们将需要导入这些模块，尽管在正常情况下我们会跳过这一步。如果这对您很重要，请绝对不要在配置中使用 from tensorflow import *！}

pyp 允许您配置自己的魔法！

如果您的配置文件中的定义依赖于魔术变量，pyp 会以合理的方式替换它们。例如，在您的配置中放入以下内容...

n = int(x)
f = x.split()
j = json.load(stdin)

import pandas as pd
csv = pd.read_csv(stdin)

...让pyp更容易满足您的自定义用例:

ps | pyp 'f[3]'

cat commits.json | pyp 'j[0]["commit"]["author"]'

< cities.csv pyp 'csv.to_string()'

我有问题!

在FAQ中有更多文档和示例。 如果那里没有回答您的问题,请提出issue!

相关项目

Pyed Piper 又名 Python Power at the Prompt

pypyp从这里获得灵感(和命令名称!)。

当pypyp编写时,Pyed Piper已经死亡且只支持Python 2十年了; 最近它似乎又复活了。Pyed Piper比pypyp更远离正常的Python语法和API。特别是,Pyed Piper强调在Python内部管道,类似于您可以在上面的配置示例中将pypyp与pipetools结合使用的方式。

Pyped

Pyped非常相似;如果我知道它的存在,可能就不会写pyp了。但我很高兴我不知道,因为Pyped没有我们做的AST内省和操作。这意味着:

• Pyped依赖您传入标志来告诉它该做什么,而pyp可以从输入中明确推断意图。
• 它不提供简单的自动打印,或智能打印迭代器和字典。
• 它硬编码了一个导入列表,并在您的系统上安装了一些库。这个项目的自动导入可以用于您使用的任何库。
• 它没有类似--explain/--script的功能。

然而,

• 它有一些便利功能,比如输入的正则表达式拆分,在这里您必须自己完成。
• 它支持Python 2和早期版本的Python 3。
• 它存在的时间要长得多。

piep / spy / pyfil / pythonpy / oneliner

自从编写pyp以来,我发现比我想象的更多的替代方案 :-) 一些简短的说明:

• 大多数都像Pyped一样依赖用户传入标志。
• 大多数在自动打印方面有限制,比如只能自动打印单个表达式或不能很好地处理迭代器和字典。
• 有些有用于进程内命令链接的自定义语法,这可能很方便。
• 有些对JSON输入或运行shell命令等有专门的支持。
• 有些以有趣的方式通过自定义行/文件/流对象公开输入。
• 有些有更高级的错误处理选项(尽管没有一个有pyp的出色回溯)。
• 没有一个像pyp那样有强大的配置。
• 没有一个有类似--explain的功能。

无论如何,我按照个人喜好的大致顺序列出了上述项目。

mario

mario是一个功能丰富的shell处理Python方案。它不使用未定义名称检测,而是依赖可插拔的子命令系统。虽然子命令可能比pyp更冗长,但mario通过自动应用函数和自定义命令链接语法弥补了一些差距。结果可能感觉有点像DSL,而pyp试图感觉非常接近编写Python。

如果以下情况,请考虑使用mario:

• 您发现自己串联了很长的pyp命令序列,并希望能够在单个进程中进行命令链接。
• 您经常需要重用复杂的pyp命令,或者进行大量特定领域的shell处理,希望可以用一个命令重用。
• 您想轻松使用异步函数。

如果以下情况,请考虑使用pyp:

• 您想最大限度地减少应该快速简单的操作的按键次数。
• 您想要一个简单轻量级的,感觉非常接近Python的工具。您不想记住命令。
• 您乐于使用Python库进行特定领域的繁重工作,以便于命令链接或语法糖。您不介意(或希望能够)通过--script回退到脚本来处理复杂性。

xonsh

xonsh是一个语言为Python超集的shell;这比pyp更有野心,也非常不同。pyp更容易用于一行命令管道用例,但如果您需要在shell中使用更多Python,请查看xonsh。

awk

如果awk适合您,您是怎么找到这里的?