Artificial Intelligence / Reverse Engineering / Internet of Things / Full Stack Developer
spark默认使用的Python版本为2，可以修改.bashrc文件让spark默认使用python3。修改.bashrc增加如下行：
# anaconda
export ANACONDA_HOME=/home/dbuser/anaconda3/
export PATH=$ANACONDA_HOME:$PATH
# spark
export PYSPARK_PYTHON=/home/dbuser/anaconda3/bin/python3
然后重新启动pyspark就是3了，anaconda下的python文件版本也是2。
这是一个系列的数据分析相关项目，包括环境搭建，数据分析，分析代码，分析报告等。目前数据来源于爬取到的100，000+数据
文章主要介绍相关的方法和原理，也算是自己对于大数据的一个初步的认识。
代码不会涉及具体的数据信息。如果需要相关的数据，可以参考以下文章自己爬取相关的数据信息：
安装参考的是《Python + Spark 2.0+Hadoop机器学习与大数据实战》（林大贵 著），首先吐槽一下，林大贵的几本书前几章的内容完全一样，尤其是上面提到的这本与《Hadoop + Spark大数据巨量分析与机器学习实战》，两本书前7章内容完全一致。
买了两本书其实相当于买了一本半，并且重复的都是非常基础的部分。对于整本书来说倒是降低了写作的难度和时间，并且两本书的实例也基本一致，不过使用的语言略有不同。
书上介绍的安装版本比较老旧，也没有必要去安装一个老旧的版本。所以这里我安装的是3.3.0 具体的安装流程可以参考这个链接：http://hadoopspark.blogspot.com/2015/09/4-hadoop-26-single-node-cluster.html
不过需要注意的是里面的几条命令可能稍微有些问题： 使用下面的这条命令生成的key文件对应的host是本机的主机名：
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
如果系统没有设置hostname，可以使用下面的命令生成key：
ssh localhost ssh-keygen -t rsa
两者的区别在于第一条命令生成的是username@hostname，第二条名称生成的是username@localhost
ubuntu下执行命令出现如下错误：
ubuntu@ip-172-31-11-253:~/nineuu_spider/Maomi$ python3 maomi.py
Traceback (most recent call last):
File "maomi.py", line 8, in
from cryptography.hazmat.primitives import padding
File "/usr/lib/python3/dist-packages/cryptography/hazmat/primitives/padding.py", line 13, in
from cryptography.hazmat.bindings._padding import lib
ModuleNotFoundError: No module named 'cryptography.hazmat.bindings._padding'
但是实际上cryptography模块已经安装了：
如果要解决这个错误，安装paramiko即可：
pip3 install paramiko
ubuntu uwsgi 服务器启动之后 链接服务器提示500， 查看系统日志发现没有找到django模块。但是通过pip命令可以看到已经成功安装了。
猜测可能是python路径搜索问题导致的，随便搜了一下找到这么一篇文章：https://blog.csdn.net/dqchouyang/article/details/78762432
不知道是阿里云的问题还是ubuntu本身的问题，今天安装mysqlclient提示：
/usr/bin/ld: cannot find -lssl
/usr/bin/ld: cannot find -lcrypto
collect2: error: ld returned 1 exit status
error: command ‘x86_64-linux-gnu-gcc’ failed with exit status 1
网上搜了一下没有发现类似的错误信息，于是转换思路直接搜索: /usr/bin/ld: cannot find -lssl 在这篇文章看到了解决方案：
https://blog.51cto.com/eminzhang/1285705
网上的关于uwsgi的自启动的方法还是挺多的，具体搜索一下就知道了，这里简单的写一下官方推荐的方法，通过systemd启动服务。如果用这个方法需要首先确定systemd的版本大于211。
通过下面的命令获取systemd版本信息：
root@mars:/etc/systemd/system# systemctl --version
systemd 229
+PAM +AUDIT +SELINUX +IMA +APPARMOR +SMACK +SYSVINIT +UTMP +LIBCRYPTSETUP +GCRYPT +GNUTLS +ACL +XZ -LZ4 +SECCOMP +BLKID +ELFUTILS +KMOD -IDN
按照官方的文档编写service文件，放入/etc/systemd/system目录下然后执行
systemctl start emperor.uwsgi.service即可启动服务。service文件如下：
[Unit]
Description=uWSGI Emperor
After=syslog.target
[Service]
ExecStart=/usr/local/bin/uwsgi --ini /var/www/html/project/uwsgi.ini
# Requires systemd version 211 or newer
RuntimeDirectory=uwsgi
Restart=always
KillSignal=SIGQUIT
Type=notify
StandardError=syslog
NotifyAccess=all
[Install]
WantedBy=multi-user.target
这个脚本需要注意两个地方，一个是uwsgi的可执行文件路径，另外一个是uwsgi.ini配置文件路径。可执行文件路径可以通过whois uwsgi获取。