AI算力陷阱#2,资金陷阱

AI算力陷阱#2,资金陷阱

《AI算力陷阱,Prophet工程案例实测》 –  http://www.topquant.vip/?p=1127

有网友看过本文后说:

这个是pymc3的模型,TF,pytorch还有xxx模型,可以优化,至少提高10倍速度
另外,一块GPU显卡也可以加速5-10倍.
(ps的确没有人说可以提高100倍的,大部分是10倍级别)

好吧,就算以上说的是正确 :

一块2080TI显卡提速10x,
一组4路GPU超算服务器,又可以提速40倍,如果是8路GPU,提速80倍,凑个10x整数,算10×10,差不多100x。

再加上模型优化提速10x,8路GPU硬件提速100倍,撑死可以提速1000倍。
ps,当然也可以采用zw的LAN模型,不过这个还在摸索当中:《中华大字库》CBF2018:比GAN快一万倍的AI工程案例 – 极宽 http://www.topquant.vip/?p=1125

算力没关系,金融公司有钱,问题是:
实盘时候,金融公司的钱还真不够。

一块2020ti一万人民币,一组八路服务器十万是diy裸机价,NV同样算力的DGX报价是100w。
一台10w服务器可以提速1000倍,10台一组集群100w,提速1w倍。

《AI算力陷阱,Prophet工程案例实测》 –  http://www.topquant.vip/?p=1127

blog当中,采用的是最简单的单字段模型,就是一个close收盘价。
当然,严格来说,也可以说是双字段模型,还有一个tim,时间字段.
4000条记录,测试建模时间为11个小时。
为了计算方便,简化一下,按5000条数据,10个小时建模计算。(ps,利益全部归于被告)
一万条数据,20个小时,结合前面数据,简单来说,刚好一天。(ps,看来,利益也无法100%归于被告)
按现在神经网络、深度学习模型而言,一万条数据,建模有些太简陋。
不过简陋就简陋吧,这个简陋的AI模型,运算一次,在i7-cpu平台,差不多需要运算一天。
100w的10台GPU集群,理论上:可以提速1w倍。
问题是,这个模型才两个字段:tim+close,即使作为学习案例都过于简化。
量化建模,ohlc四个字段数据,是必须的,还有vol成交量,配合tim时间,就是六个字段。
这个看起来没问题,的确,现在看来没有任何问题。
alphaGO据说用了一亿个参数,我们模型简单点,只用一些常用的金融指标。

哪些金融指标属于常用的呢?
以行业常用的talib函数库,作为简化模型,应该是合理的吧。
talib函数库大约100个指标,包括:ma,rsi,kdj,macd等等。
问题是,这些指标,每种的参数是不同的。
作为模型测试,短期中期长期三个阶段的参数是必须的,周期每组3个参数,一起按10个字段,方便计算。
100个指标,就1000个字段数据。这个还是单参数。
如果按复合参数,大部分函数是两个以上的参数,需要:
10 x 100 x 100
需要10w个参数字段。
所以我经常说,现在的AI量化,不是数据不够 ,而是算力不够。
光talib函数库,最简单的属性字段就可以提供10w组字段。(ps,如果再加上现在热门的多因子分析,起码又是10w字段)
我们就只算talib的指标吧,而且10w个字段有些太恐怖,我们还是只按单参数计算:
10 x 100
只需要1000个参数字段。
1000个参数字段,看起来很少对不对,就是:
1000 x 1000
有不过100w个数据字段。
100w资金,提速1w倍,我们投资加大100倍,也不过一个亿。
金融公司有钱,一个亿,小case。
问题是:
这1000个参数字段,不是这样计算的:
1000 x 1000
这个属于只是算术增长。
而AI模型当中的1000个参数字段,是组合爆炸,比几何增长更加恐怖。
具体多少,我是无法得出结论,有兴趣的网友自己计算。
只是,在小学生的趣味数学里面,曾经有两个案例:

《对折的纸张》百度知道 https://zhidao.baidu.com/question/564383863.html
如果这张纸能够对折27次的话(相当于27个数据字段), 厚度约将有13km
假设一张纸的厚度为0.2毫米,那么它折几次后将超过喜马拉雅山的高度?

围棋与米粒的案例,只有64个数据字段,生生坑死一个国王:《米不够怎么办?_百度知道 》https://zhidao.baidu.com/question/136789922.html
棋盘麦粒问题_百度百科 https://baike.baidu.com/item/%E6%A3%8B%E7%9B%98%E9%BA%A6%E7%B2%92%E9%97%AE%E9%A2%98?fr=aladdin

 

 

 

 

 

 

 

理论上,对于量化算力

发表评论

电子邮件地址不会被公开。 必填项已用*标注