zw·10倍速大数据与全内存计算
zw-ps:几年前d老文章了,现在依然有参考价值,特别是对于初学者。
参见:
zw公开课与哈佛、斯坦福MBA案例教学
TQ极宽量化·课程简介

zw全内存10倍速计算blog,原本已经在博客园机器视觉栏目发过,大数据版本的一直挂着,今天抽空补上。
在《零起点,python大数据与量化交易》目录中



我们已经介绍了多种:大数据与Python十倍速性能优化
软加速:矢量优先
软加速:cpython
SSD加速大法
KBD全内存数据库
Gpu终极加速方案
zw全内存10倍速计算,是zw根据实践,在工程中提出了一种全新的解决方法,ramdisk,采用内存虚拟盘。
目前,内存价格很低,8G基本是标配,笔者的推荐配置32G以上,最好是:e3 cpu+大容量 服务器主板,组建128-256G以上的全内存运算环境,
把整个系统,包括wdndows,Halcon、项目软件,全部copy到ram里面,进行全内存计算。
HP目前正在研发的:the machine,据说就是完全放弃了外部磁盘。
ramdisk软件,目前有很多,常见的有amd、软媒内存盘,一般采用单文件的软媒内存盘。
64位系统,起点就是2G以上的数组(内存表talble),作为k-v表、index索引库而言,已经足够了,毕竟,很少有10G以上的K-V表,其他数据,放到硬盘、ssd都无所谓,毕竟90%瓶颈是在在k-v部分。
zw全内存10倍速计算,其实也是目前游戏工作室、网推工作室的首选配置方案。
1套E3-256G系统,1w左右,采用优化的骨头版xp(不到100M),可以挂50-100个vbox虚拟机,还可以优化。
单机,同时可以支持数十甚至上百网游、页游、安卓模拟器,多开挂机,
挂QQ,500-1000个,配合自动登录脚本,单机每天1w个左右。
大数据、量化交易,互联网企业,金融公司,e3-256G,略微低端了些,建议直接上e5、e7系列,内存越大越好
对于部分重口味的用户,例如“双11”爆仺,可以采取数据库拆分,或者老毛子式的:简单、粗暴的风格,
直接使用最快的ddr4/ddr5内存,并扩充到512G甚至1T以上,
这个虽然贵点,不过对于互联网企业、金融机构无所谓,而且,再贵,也比IBM的小型机便宜十倍。
zw全内存10倍速计算,虽然看起来保持了TG的土鳖风格,不过非常实用,
特别是对于中小企业、IT工作室,几乎是零成本,就可以提速5-10倍。
而且没有任何二次开发、移植成本,无需GPU、cuda编程。



请大家关注TOP极宽量化公众号:TOP极宽量化,浏览,TopQuant.vip极宽网站,大量原创量化资料和课件、案例源码。关注公众号,即可获得最新网盘下载地址。TQ极宽·相关网络QQ社群如下:
- QQ群号:124134140,TOP极宽金融量化总群,面向专业金融实盘用户,三千人大群。
- QQ群号:1057170501,zwPython.com学习群,面向py初学者和大众小白用户,两千人大群。
- QQ群号:699266891,TFB极宽足球大数据,TFB=TopFootBall
- QQ群号:790548107,FASTAI智能量化
- QQ群号:663952322,PytorchLightning智能框架
- QQ群号:655402626,CBF中华大字库,ziwang.com字王网站,已升级为元字库: metafont.vip