srcmini本文概述
发现数据科学的Homebrew:了解如何使用此包管理器安装、更新和删除Apache Spark和Graphviz等技术。
Homebrew的创建者说它是” macOS缺少软件包管理器”。软件包是捆绑在一起的文件的集合, 可以作为一个组进行安装和删除。程序包管理器是一种工具, 可自动执行安装, 更新和删除程序包的过程。
如果你是Python用户, 则可能已使用软件包管理器pip或conda的软件包管理器功能来安装, 更新或删除软件包。
如果你是R用户, 则可能已使用RStudio软件包管理器来安装, 更新或删除软件包。
Homebrew是专为Mac设计的软件包管理器, 对安装很有用。你会发现可以将Homebrew用于数据科学, 因为它使在Mac上安装其他技术(例如Apache Spark和Graphviz)变得容易得多。
这样, 我们就开始吧。
安装命令行工具
为了安装Homebrew, 你需要安装Xcode命令行工具(大约100 MB)或完整的Xcode软件包(大约10 GB)。在本教程中, 你将安装命令行工具, 因为它们的大小更合理。命令行工具为Mac用户提供了许多常用的工具, 实用程序和编译器。这样的一个好处是, 当你安装命令行工具时, 它会安装所需的Git, 因为Homebrew本质上就是下面的所有Git和Ruby脚本。
1.打开一个新终端。你可以通过单击屏幕右上角的Spotlight放大镜来执行此操作, 键入terminal, 然后单击Terminal图标。你可以通过在终端中键入以下命令来检查是否安装了命令行工具或Xcode。
xcode-select -p
如果你看到如上图所示的路径输出, 请跳至教程的”安装Homebrew”部分。你已经安装了Xcode或Xcode命令行工具。
如果看不到输出, 请继续执行步骤3。
2.在你的终端中键入以下内容以安装命令行工具。如果你看到如下图所示的提示, 请单击”安装”。
xcode-select --install
如果出现许可协议, 请阅读该许可协议, 然后单击”同意”。
3.再次检查是否已安装Xcode命令行工具。你可以通过打开一个新终端并在下面的命令中键入来完成此操作。
xcode-select -p
安装Homebrew
打开终端并在下面键入命令。系统会提示你输入密码, 通常是启动Mac时也用来解锁Mac的密码。输入密码后, 将开始安装。
/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"
自制命令
安装套件
下面的命令将安装软件包wget。你可以用wget代替要安装的软件包。
brew install wget
卸载程序包
下面的命令将卸载软件包wget。你可以将wget替换为要卸载的软件包。
brew rm wget
列出你可以安装的软件包
brew search列出了可以安装的所有可能的软件包。下图显示了使用brew搜索的输出。
brew搜索命令的更实际用法是使用更精确的查询。例如, 如果你对安装Apache Spark感兴趣, 则可以使用以下命令查看是否有要安装的Apache Spark软件包。
brew search spark
从上图可以看到一个潜在的Apache Spark软件包apache-spark, 可能对安装很有用。获得有关apache-spark的更多信息可能会有所帮助, 这是命令brew info派上用场的地方。
获取包装信息
命令brew info对于获取有关软件包的更多信息并查看软件包的要求非常有用。
以下命令获取有关软件包apache-spark的更多信息。
brew info apache-spark
请注意, 它列出了此程序包需要Java版本1.8, 并提供指向一些地方的链接, 你可以在其中获得有关特定程序包的更多信息。下一节将详细介绍如何安装Apache Spark。
与其他技术的整合
你通常会发现Homebrew可用于协助你使用其他技术。本节包括两个有关如何将Homebrew用于数据科学的示例：
- 如何使用Homebrew安装Apache Spark
- 如何利用Homebrew帮助可视化决策树。
使用Homebrew安装Apache Spark
Homebrew可用于安装其他技术, 例如Apache Spark。 Apache Spark不是最容易安装的, 但是Homebrew使其更容易安装。以下步骤介绍了如何使用Homebrew安装Apache Spark。
1.使用以下命令查看Homebrew上是否有Apache Spark软件包。
brew search spark
2.查找有关apache-spark的更多信息, 以查看是否具有所有必需的依赖项。
brew info apache-spark
如果命令的输出显示你拥有Java, 请继续执行步骤3。
如果命令的输出表明你不符合要求, 则需要安装Java, 然后再继续执行步骤3。
你可以在下面键入命令以查看是否有Java。如果你未安装Java, 则下图显示输出。重要的是要注意, 如果你有Java的较旧版本, 则需要进行升级。
java -version
你可以使用Cask安装Java。 Cask是brew的扩展, 它允许通过Cask项目管理图形应用程序。
brew tap caskroom/versions
brew cask install java8
安装Java之后, 请检查你是否具有合适的Java版本。
java -version
3.使用以下命令安装apache-spark。
brew install apache-spark
4.现在, 你可以使用以下命令打开PySpark。
pyspark
5.你可以使用exit()关闭pyspark。
如果你想了解PySpark, 请参阅Apache Spark教程：带有PySpark的ML。
自制程序有助于可视化决策树
Graphviz是开源的图形可视化软件。图形可视化是一种将结构信息表示为抽象图形和网络图的方式。在数据科学中, Graphviz的一种用途是可视化决策树(你可以在此处了解决策树)。
你可以使用以下命令安装GraphViz。
brew install graphviz
下面的python代码将决策树放在著名的Iris数据集上, 并导出你适合的决策树的点文件(decisionTree.dot)。
from sklearn.datasets import load_iris
from sklearn import tree
iris = load_iris()
clf = tree.DecisionTreeClassifier(max_depth=3)
clf = clf.fit(iris.data, iris.target)
tree.export_graphviz(clf, out_file="decisionTree.dot", feature_names=iris.feature_names, class_names=iris.target_names, filled = True)
决策树的优点之一是它们易于解释。你可以通过查看决策树来更轻松地解释它。这是Graphviz的用处。在终端中, 你可以键入以下命令以将DecisionTree.dot转换为易于查看的.png文件。
dot -Tpng decisionTree.dot -o decisionTree.png
然后, 你可以打开创建的.png文件, 并查看决策树。
重要的是要注意有时程序包管理器功能会重叠。例如, 如果你使用以下命令安装了Anaconda, 则也可以通过conda的软件包管理器功能安装Graphviz。
conda install python-graphviz
总结
本教程提供有关如何安装和使用Homebrew进行数据科学的快速指南。我希望当你想安装Apache Spark或Graphviz时, 本教程对你有所帮助。 Homebrew有一个很棒的网站, 你可以查看它的更多命令。如果你对本教程有任何疑问或想法, 请随时通过以下评论或通过Twitter与我们联系。
评论前必须登录！
注册