【9.4.1.1】Nextflow
文档： https://www.nextflow.io/docs/latest/process.html#containeroptions
生信流程搭建一般有 Shell，Python，Galaxy等流派，为了去尽可能的了解生信流程的搭建过程及压榨计算机性能。我这里使用 Nextflow 作为流程搭建工具，它有着很多强大的功能：
- 简化数据密集型pipelines的编写
- 胶水特性：只要可以在Linux系统中运行的程序或不同的编程语言脚本，都可以放在流程中
- 支持并行计算环境
- 支持集群
- 可重用性高
一、安装
1.1 环境需求
- Nextflow可以用于任何POSIX兼容系统(Linux, OS X等)。它需要安装Bash 3.2(或更高版本)和Java 8(或更高版本，~15)。
- 在计算机集群中执行时，需要使用共享文件系统来共享任务输入/输出文件。
- 通过WSL支持Windows系统。（WSL：Windows Subsystem for Linux，即Windows下的子系统）
1.2 安装
Nextflow是作为自安装包分发的，这意味着它不需要任何特殊的安装过程。
1、通过在终端窗口中复制和粘贴下列命令之一来下载可执行包，命令如下：
curl -s https://get.nextflow.io | bash
或者
wget -qO- https://get.nextflow.io | bash
安装完成(这里使用curl)
2、通过运行chmod +x nextflow在您的系统上创建二进制可执行文件。修改权限后配置到环境变量
更新和不同版本安装可参考 https://www.nextflow.io/docs/latest/getstarted.html
更换版本 （不同nextflow需要绑定到不同的java版本，java8 可以绑定 22.04.0 。 如果是23版本的话，就需要java11了。）
修改文件：
wget -c https://get.nextflow.io
mv index.html nextflow_install.bash
修改 nextflow_install.bash 中版本， 然后改成 22.04.0 一定要卡在这个版本 接着：
bash nextflow_install.bash
mv nextflow_install.bash nextflow
chmod 777 nextflow
这个nextflow就可以用了
二、示例
语法格式：
process < name > {
[ directives ]
input:
< process inputs >
output:
< process outputs >
when:
< condition >
[script|shell|exec]:
< user script to be executed >
}
可以看到包含几个模块：
- input：输入项
- output：输出项
- when：条件执行
- script|shell|exec：执行脚本
举个例子：
新建文件：first_nextflow.nf
process sayHello {
echo true
"""
echo 'Hello world!' > file
"""
}
运行：
nextflow run first_nextflow.nf
结果：
。。
三、 第一个nextflow脚本
将以下示例复制到喜欢的文本编辑器中，然后将其保存到名为 tutorial.nf
#!/xxx/bin nextflow
# 01-tutorial.nf
params.str = 'Hello world!'
process splitLetters {
output:
file 'chunk_*' into letters
"""
printf '${params.str}' | split -b 6 - chunk_
"""
}
process convertToUpper {
input:
file x from letters.flatten()
output:
stdout result
"""
cat $x | tr '[a-z]' '[A-Z]'
"""
}
result.view { it.trim() }
这个脚本定义了两个过程。
- 第一个将字符串分割成6个字符的块，每个块以chunk_为前缀写入一个文件;
- 第二个接收这些文件并将其内容转换为大写字母。结果字符串在结果通道上发出，最终输出由视图操作符打印。
执行命令:
nextflow run 01-tutorial.nf
结果如下
N E X T F L O W ~ version 19.04.0
executor > local (3)
[69/c8ea4a] process > splitLetters [100%] 1 of 1 ✔
[84/c8b7f1] process > convertToUpper [100%] 2 of 2 ✔
HELLO
WORLD!
可以看到第一个 Processes 执行了一次，第二个过程执行了两次。最后，字符串被打印出来。
convertToUpper Processes 是并行执行的，因此不能保证处理第一个拆分的字符（HELLO）将在执行第二个拆分的字符（WORLD！）之前执行。
因此，很有可能将以不同的顺序打印出最终结果：
WORLD!
HELLO
十六进制数字（如22/7548fa）标识唯一的流程执行。这些数字也是执行每个进程的目录的前缀。可以检查由它们生成的文件，使用这些数字来查找特定于进程的执行路径。
修改并恢复
中间需要修改某些命令，执行过程中不会将所有流程都执行，只会在修改步骤及之后的地方重新执行，前面要使用到的文件都是调用缓存中的文件
#!/xxx/bin nextflow
# 02-tutorial.nf
params.str = 'Hello world!'
process splitLetters {
output:
file 'chunk_*' into letters
"""
printf '${params.str}' | split -b 6 - chunk_
"""
}
process convertToUpper {
input:
file x from letters.flatten()
output:
stdout result
"""
rev $x
"""
}
result.view { it.trim() }
重新执行命令
nextflow run 02-tutorial.nf -resume
执行结果
Pipeline参数
管道参数的声明只需在变量名前加上前缀params，由点字符分隔(如：params.str)。它们的值可以在命令行上指定，方法是在参数名称前加上一个双破折号，即–paramName
在本教程中，您可以尝试执行前面的示例，指定不同的输入字符串参数，如下所示:
nextflow run 01-tutorial.nf --str 'Bonjour le monde'
运行结果如下
N E X T F L O W ~ version 19.04.0
executor > local (4)
[8b/16e7d7] process > splitLetters [100%] 1 of 1 ✔
[eb/729772] process > convertToUpper [100%] 3 of 3 ✔
m el r
edno
uojnoB
Tip:
从20.11.0版开始。参数名称中的(.)字符被解释为分隔符或嵌套作用域，例如–foo.bar Hello将以params.foo.bar的形式从脚本中访问。如果你想要一个参数名包括(.)字符使用反斜杠字符转义，例如–foo.bar Hello
参考资料
