1.data_baostock.py升级
H
htq 发布的最新帖子
-
RE: 提问:Klang数据加载的问题?
@asmcos 我想的是,如果每次运行项目,如果本地没有这个文件的话就全量获取下来,如果有的话,就审核一下, 看看那个是没有的做增量式添加。不需要实时同步,只需要在运行项目时候做审核脚本处理即可。但是有一点,我们如何获取数据时候只是获取特定区域的数据,然后做保存,而且还得保证获取数据的速度非常快。
-
RE: 提问:Klang数据加载的问题?
@asmcos 那我明白了,那可以让klang的数据以同步的方式来进行吗?因为如果计算策略的话,是肯定需要用最新数据,这样策略才是有效的,从昨天我来获取全市场数据来看,我大概使用多线程的方式,一共跑了两个小时。
-
RE: 提问:Klang数据加载的问题?
@asmcos 我的思路是, 每次运行项目会把数据再次进行爬取,我们应该在服务器上启动一个项目先按照日频率,程序每次收盘会爬取一次,放到数据库中,而我们klang项目只需要本地加载一次数据与数据库同步即可,然后之后加载则是增量式爬取即可。这样对目标服务器没有压力。目前是否有这样的项目我们参考呢?