评分:3 版本:(大数据流水线系统)0.9 更新时间:2020-12-07 大小:301.98 MB 平台:Win8,Win7,WinXP,Win2003,Win2000 语言:简体中文 授权:免费软件介绍
PiFlow是一款非常强大的大数据流水线系统，混合型科学大数据流水线系统，这款系统将数据采集、储存的等环节封装成组件，软件简单使用容易，提供100+的数据处理组件，如果有需要朋友的可以来本站下载试试。
软件特色
简单易用。
可视化配置流水线。
监控流水线。
查看流水线日志。
检查点功能。
扩展性强：
支持自定义开发数据处理组件。
性能优越：
基于分布式计算引擎Spark开发。
功能强大：
提供100+的数据处理组件。
包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等。
集成了微生物领域的相关算法。
使用方法
解压piflow-server-v0.9.tar.gz。
tar -zxvf piflow-server-v0.9.tar.gz。
编辑配置文件config.properties。
运行、停止、重启PiFlow Server。
start.sh、stop.sh、 restart.sh、 status.sh。
测试 PiFlow Server。
设置环境变量 PIFLOW_HOME。
vim /etc/profile。
export PIFLOW_HOME=/yourPiflowPath/bin。
export PATH=PATH:PIFLOW_HOME/bin。
运行如下命令。
piflow flow start example/mockDataFlow.json。
piflow flow stop appID。
piflow flow info appID。
piflow flow log appID。
piflow flowGroup start example/mockDataGroup.json。
piflow flowGroup stop groupId。
piflow flowGroup info groupId。
如何配置config.properties。
#spark and yarn config。
spark.master=yarn。
spark.deploy.mode=cluster。
#hdfs default file system。
fs.defaultFS=hdfs://10.0.86.191:9000。
#yarn resourcemanager.hostname。
yarn.resourcemanager.hostname=10.0.86.191。
#if you want to use hive, set hive metastore uris。
#hive.metastore.uris=thrift://10.0.88.71:9083。
#show data in log, set 0 if you do not want to show data in logs。
data.show=10。
#server port
server.port=8002
#h2db port
h2.port=50002
软件综述
PiFlow 是一个基于 Python 的工作流自动化工具，它可以帮助用户轻松地创建和管理工作流。它支持多种数据源和目标，并提供丰富的内置模块和函数，可以满足各种常见的自动化需求。
PiFlow 的主要优点包括：
- 易于使用：PiFlow 的图形化界面非常友好，即使是没有任何编程经验的用户也可以轻松上手。
- 功能强大：PiFlow 内置了丰富的模块和函数，可以满足各种常见的自动化需求。
- 可扩展性强：PiFlow 支持自定义模块和函数的开发，可以满足更复杂的自动化需求。
- 开源免费：PiFlow 是一个开源免费的软件，用户可以自由下载和使用。
PiFlow 的主要缺点包括：
- 文档较少：PiFlow 的官方文档相对较少，可能给初学者带来一定的学习难度。
- 社区较小：PiFlow 的社区相对较小，这可能会给用户带来一些交流和支持方面的困难。
总体而言，PiFlow 是一款功能强大、易于使用、可扩展性强且开源免费的工作流自动化工具。对于需要自动化工作流程的用户来说，PiFlow 是一个不错的选择。
以下是一些用户对 PiFlow 的评价：
- PiFlow 是一个非常好的工作流自动化工具。它易于使用，功能强大，并且可以满足各种常见的自动化需求。——来自 Stack Overflow 的一位用户
- PiFlow 是一个非常棒的工具，它帮助我轻松地实现了工作流自动化。我强烈推荐给需要自动化工作流程的用户。——来自 GitHub 的一位用户
- PiFlow 是一个非常有用的工具，它帮助我节省了大量的时间和精力。我非常感谢 PiFlow 的开发团队。——来自 Reddit 的一位用户
