超爽的AI-GPU环境检测函数

超爽的AI-GPU环境检测函数

麦肯锡都知道:AI人工智能,是第一生产力。

不过对于苦逼的码农而言,GPU开发环境的搭建是非常郁闷的:苦难行军。

首先,GPU显卡,必须是NV的,AMD、intel以及其他的显卡都不行,首先苹果全部被秒了(笔记本+MAC),多贵的苹果都不行。

另外下载数G的CUDA-SDK系统,安装最新版本。

第三步,也是最麻烦的:

下载安装python平台。

Python安装看起来简单,不过模块库安装堪比地狱级挑战。

基本上,能够独立安装python环境的码农,都有资格当Python讲师了。

pyTorch,TensorFlow等各种AI开发模块库,以及数百个依赖模块库(真的有几百个)。

目前,Python官方网站PyPI大约有二十万个模块库,这个数字,还不包括Github以及其他Python网站,众多的小众模块库,特别是现在热门的AI人工智能、生物信息模块库,很多只能在Github下载源码,手动安装。

常用的Python模块库大约有三千多个,这三千多个模块库,就相当于在电脑、和手机上安装三千多个APP和软件一样。

这个安装过程非常复杂,而且需要注意:模块库之间的依赖,版本冲突。

模块库依赖,这个相对简单,就像在手机装了淘宝,美团等app,还是不能直接买东西,必须再安装支付宝、网银等app,才能充值、付款。

版本冲突,更加复杂,以至于成为了软件过程的一个专业术语。

版本冲突,是因为,模块库并非版本越新越好。

Python模块库,大部分是开源项目,各个团队的更新进度并非统一时间,而且模块库当中的API接口,经常变更。

所以,并非模块库版本越新越好,而是要互相兼容。

就算Python最常用的三千个模块库,这其中的复杂程度,并非三千的平方和三次方,而是几何级增加,超过了国际象棋的组合数目。

……

以上省略n万字。

即使是老码农,一个模块库搞上数日是经常的,大家可以看看TopQuant.vip极宽网站的技术blog。

因此,很多码农会选择Anacoda这种集成式python开发平台。

聪明而又幸运的码农,会下载安装zwPython,解压即用,100%零安装,这样可以降低99%的安装难度。

#

至此,苦难的行军过程总算结束。

如何知道Python开发环境,是不是安装成功呢?

zwPython的demo目录当中,提供了一个py程序:zw005xver.py

正常运行后,会输出以下资讯:

 @py量化:三大件:pd,btr,talib   @py量化分析的三个核心模块库pandas ver: 1.2.4backtrader ver: 1.9.76.123 py数值分析numpy ver: 1.20.3scipy ver: 1.6.3statsmodels ver: 0.12.2 py量化工具pyalgotrade ver: 0.20ffn ver: (0, 3, 6)alphalens ver: 0.4.0empyrical ver: 0.5.5金融数据抓取tushare ver: 1.2.62ccxt ver: 1.51.45pytdx通达信 ver: py图形处理PIL ver: 8.2.0cv2 ver: 4.5.2skimage ver: 0.18.1matplotlib ver: 3.4.2ggplot ver: 0.11.5 py图表,可视化数据分析seaborn ver: 0.11.1dash ver: 1.20.0pyecharts ver: 1.9.0plotly ver: 4.14.3plotly-express ver: 0.4.1 ai,机器学习sklearn ver: 0.24.2theano ver: 1.0.5keras ver: 2.4.0 NLK语意分析nltk ver: 3.6.2pattern3 ver: 2.6spacy ver: 3.0.6 神经网络,深度学习三大平台tensorflow ver: 2.4.1torch ver: 1.9.0.dev20210512+cu111torchvision ver: 0.10.0.dev20210511+cu111mxnet ver: 1.7.0 其他pygame ver: 2.0.1PyQt5 ver:BLAS,Basic Linear Algebra Subprograms,基础线性代数子程序库检验numpy等库是否使用了blas加速zwPython采用的是intel-MKL版本numpy模块库,性能比BLAS更快。如果结果是:False,则表明实现了BLAS加速。fgBlas, True

这是一个简单而又实用的Python开发环境检测程序,也是zw团队长期工程一线的实用工具。

(ps,非zwPython平台,第三方环境,部分模块库可能缺少,引发出错,可以自行屏蔽相关语句)。

这个程序有个缺点,缺少GPU环境的检测,今天发现fastai有个函数,就一行代码,完美的解决了这个bug。

全文请参见公众号


任何行业,只有专家才是最终的赢家
真心学,建议报班系统学习一下,一个月即可入行,
自学至少1-2年,没人带,很容易卡壳。
zw·Python&量化·魔鬼训练营 http://www.topquant.vip/?p=26
重点不是视频、课件,而是有导师1对1指导,答疑

如今是信息时代,大数据+AI人工智能,十倍速竞争
任何行业,时间成本,始终是第一位的。


发表评论

邮箱地址不会被公开。 必填项已用*标注