Skip to content
TopQuant极宽量化

TopQuant极宽量化

中国·智能量化·开拓者&启蒙人

  • Home
  • TQ极宽培训课程
    • TQ极宽量化·课程简介
    • TQ极宽·免费Python入门课
    • TQ极宽·免费Pandas数据分析课
    • TQ极宽量化·入门班
    • TQ极宽量化·中级班
    • TQ极宽量化·高级班
    • TQ极宽量化·VIP面授班
    • FastAI深度学习课程
    • Qlib微软智能量化课程
  • 量化文库
    • TQ极宽量化·课程简介
    • 量化基础
    • 量化案例
    • 经典策略
    • BackTrader专栏
    • TQ极宽量化开源组
  • IT技术文档
    • TQ极宽量化·课程简介
    • ZWPython
    • ZWMAP架构图
    • Python基础
    • Python实用技巧
    • Python数据分析
    • Python可视化分析
    • AI人工智能
  • 关联项目
    • TQ极宽量化·课程简介
    • AI影像基因组
    • AI智能医学
    • CBF中华大字库
    • MetaFont元字库
    • Meta元宇宙&区块链
    • Halcon工业智能
    • TBF足球大数据
    • ZWPython字王派森
    • ZWMAP模块库架构图
  • 资源中心
 
  • Home
  • zw·10倍速大数据与全内存计算
  • AI人工智能
  • AI智能量化
  • Python基础
  • Python实用技巧
  • Python数据分析
  • TQ极宽量化开源组
  • 量化基础

zw·10倍速大数据与全内存计算

On 2月 Ago
zw

zw·10倍速大数据与全内存计算


zw-ps:几年前d老文章了,现在依然有参考价值,特别是对于初学者。

参见:
zw公开课与哈佛、斯坦福MBA案例教学
TQ极宽量化·课程简介


zw全内存10倍速计算blog,原本已经在博客园机器视觉栏目发过,大数据版本的一直挂着,今天抽空补上。

在《零起点,python大数据与量化交易》目录中


我们已经介绍了多种:大数据与Python十倍速性能优化
软加速:矢量优先
软加速:cpython
SSD加速大法
KBD全内存数据库
Gpu终极加速方案

zw全内存10倍速计算,是zw根据实践,在工程中提出了一种全新的解决方法,ramdisk,采用内存虚拟盘。

  目前,内存价格很低,8G基本是标配,笔者的推荐配置32G以上,最好是:e3 cpu+大容量 服务器主板,组建128-256G以上的全内存运算环境,
  把整个系统,包括wdndows,Halcon、项目软件,全部copy到ram里面,进行全内存计算。
  HP目前正在研发的:the machine,据说就是完全放弃了外部磁盘。
  ramdisk软件,目前有很多,常见的有amd、软媒内存盘,一般采用单文件的软媒内存盘。

64位系统,起点就是2G以上的数组(内存表talble),作为k-v表、index索引库而言,已经足够了,毕竟,很少有10G以上的K-V表,其他数据,放到硬盘、ssd都无所谓,毕竟90%瓶颈是在在k-v部分。

zw全内存10倍速计算,其实也是目前游戏工作室、网推工作室的首选配置方案。
1套E3-256G系统,1w左右,采用优化的骨头版xp(不到100M),可以挂50-100个vbox虚拟机,还可以优化。
单机,同时可以支持数十甚至上百网游、页游、安卓模拟器,多开挂机,
挂QQ,500-1000个,配合自动登录脚本,单机每天1w个左右。

大数据、量化交易,互联网企业,金融公司,e3-256G,略微低端了些,建议直接上e5、e7系列,内存越大越好
对于部分重口味的用户,例如“双11”爆仺,可以采取数据库拆分,或者老毛子式的:简单、粗暴的风格,

直接使用最快的ddr4/ddr5内存,并扩充到512G甚至1T以上,
这个虽然贵点,不过对于互联网企业、金融机构无所谓,而且,再贵,也比IBM的小型机便宜十倍。

zw全内存10倍速计算,虽然看起来保持了TG的土鳖风格,不过非常实用,
特别是对于中小企业、IT工作室,几乎是零成本,就可以提速5-10倍。
而且没有任何二次开发、移植成本,无需GPU、cuda编程。


请大家关注TOP极宽量化公众号:TOP极宽量化,浏览,TopQuant.vip极宽网站,大量原创量化资料和课件、案例源码。关注公众号,即可获得最新网盘下载地址。TQ极宽·相关网络QQ社群如下:

  • QQ群号:124134140,TOP极宽金融量化总群,面向专业金融实盘用户,三千人大群。
  • QQ群号:1057170501,zwPython.com学习群,面向py初学者和大众小白用户,两千人大群。
  • QQ群号:699266891,TFB极宽足球大数据,TFB=TopFootBall 
  • QQ群号:790548107,FASTAI智能量化
  • QQ群号:663952322,PytorchLightning智能框架
  • QQ群号:655402626,CBF中华大字库,ziwang.com字王网站,已升级为元字库: metafont.vip

相关文档

In AI人工智能 AI智能量化 Python基础 Python实用技巧 Python数据分析 TQ极宽量化开源组 量化基础

文章导航

文科生、易经与大数据
zw-GPU工作站个人版裸机配置与测试

分类

  • AI人工智能
  • AI影像基因组
  • AI智能医学
  • AI智能量化
  • BackTrader专栏
  • CBF中华大字库
  • IT技术文档
  • MetaFont元字库
  • Meta元宇宙&区块链
  • Python可视化分析
  • Python基础
  • Python实用技巧
  • Python数据分析
  • TBF足球大数据
  • TQ极宽培训课程
  • TQ极宽量化开源组
  • ZWMAP模块库架构图
  • ZWPython字王派森
  • 关联项目
  • 未分类
  • 经典策略
  • 量化基础
  • 量化文库
  • 量化案例

You May Like

  • AI人工智能
  • AI影像基因组
  • AI智能医学
  • Python可视化分析
  • Python数据分析
  • TQ极宽量化开源组
zw
On 2月 Ago

专业医学影像colormap色彩映射表

  • BackTrader专栏
  • Python可视化分析
  • Python数据分析
  • TQ极宽量化开源组
  • 量化基础
zw
On 2月 Ago

tradingview工业级金融图表网站和TOPQuant(Next)

  • AI人工智能
  • AI智能量化
  • 量化基础
zw
On 2月 Ago

[转]HIST:微软最新发布的基于图的可以挖掘面向概念分类的共享信息的股票趋势预测框架

  • BackTrader专栏
  • TQ极宽量化开源组
  • 量化基础
  • 量化案例
zw
On 2月 Ago

btr买卖资金比例仓位控制

  • TQ极宽量化开源组
  • 量化基础
  • 量化文库
zw
On 2月 Ago

zw点评;日剧《秃鹫》中美联手围剿欧美汽车产业

  • AI人工智能
  • AI智能医学
zw
On 2月 Ago

AI必须玩硬的

  • Home
  • TQ极宽培训课程
  • 量化文库
  • IT技术文档
  • 关联项目
  • 资源中心
Copyright All right reserved | Theme: Telegram by Themeinwp