• 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
  • 注册
  • 登录

Klang(金浪)AI量化论坛

  • 注册
  • 登录
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组

提问:Klang数据加载的问题?

Klang使用
2
7
510
正在加载更多帖子
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • A
    asmcos 管理员 最后由 编辑 2022年4月21日 01:11

    有开发者提问:
    我想要问一下,在加载Klang类的.Klang_init() 时候先去加载的是代码库里面的代码,然后走的是全部的股票数据分别下载到两个文件中, 而第二次(比如一周后)加载时候是先去读取本地的,但是全部的股票数据也是从本地加载的,是否会追加这一周的空白数据到文件夹呢?

    1 条回复 最后回复 回复 引用 0
    • A
      asmcos 管理员 最后由 编辑 2022年4月21日 01:13

      》》在加载Klang类的.Klang_init() 时候先去加载的是代码库里面的代码,
      这个加载有两部分。
      1.股票列表
      2.股票数据
      第一次加载,股票列表使用klang的数据服务器通过接口一次性获取的。
      获取后,启动线程,按照列表获取详细数据。

      1 条回复 最后回复 回复 引用 0
      • A
        asmcos 管理员 最后由 编辑 2022年4月21日 01:16

        @asmcos 在 提问:Klang数据加载的问题? 中说:

        而第二次(比如一周后)加载时候是先去读取本地的,但是全部的股票数据也是从本地加载的,是否会追加这一周的空白数据到文件夹呢?

        这个追加,目前klang是通过加载命令全部刷新的。还需要从服务器下载一次。并没有作区间增量加载。

        按道理增量加载更高效。但是目前是存文件,增量做法还没有写相关的代码。

        H 1 条回复 最后回复 2022年4月21日 01:25 回复 引用 0
        • H
          htq @asmcos 最后由 htq 编辑 2022年4月21日 01:26 2022年4月21日 01:25

          @asmcos 我的思路是, 每次运行项目会把数据再次进行爬取,我们应该在服务器上启动一个项目先按照日频率,程序每次收盘会爬取一次,放到数据库中,而我们klang项目只需要本地加载一次数据与数据库同步即可,然后之后加载则是增量式爬取即可。这样对目标服务器没有压力。目前是否有这样的项目我们参考呢?

          A 1 条回复 最后回复 2022年4月21日 01:50 回复 引用 0
          • A
            asmcos 管理员 @htq 最后由 编辑 2022年4月21日 01:50

            @htq 在 提问:Klang数据加载的问题? 中说:

            @asmcos 我的思路是, 每次运行项目会把数据再次进行爬取,我们应该在服务器上启动一个项目先按照日频率,程序每次收盘会爬取一次,放到数据库中,而我们klang项目只需要本地加载一次数据与数据库同步即可,然后之后加载则是增量式爬取即可。这样对目标服务器没有压力。目前是否有这样的项目我们参考呢?

            抓取数据是增量的,新数据会每天更新6次到数据库里。
            数据库里的数据和klang 计算服务器(kserver),不同步

            H 2 条回复 最后回复 2022年4月21日 04:28 回复 引用 0
            • H
              htq @asmcos 最后由 编辑 2022年4月21日 04:25

              @asmcos 那我明白了,那可以让klang的数据以同步的方式来进行吗?因为如果计算策略的话,是肯定需要用最新数据,这样策略才是有效的,从昨天我来获取全市场数据来看,我大概使用多线程的方式,一共跑了两个小时。

              1 条回复 最后回复 回复 引用 0
              • H
                htq @asmcos 最后由 编辑 2022年4月21日 04:28

                @asmcos 我想的是,如果每次运行项目,如果本地没有这个文件的话就全量获取下来,如果有的话,就审核一下, 看看那个是没有的做增量式添加。不需要实时同步,只需要在运行项目时候做审核脚本处理即可。但是有一点,我们如何获取数据时候只是获取特定区域的数据,然后做保存,而且还得保证获取数据的速度非常快。

                1 条回复 最后回复 回复 引用 0
                5 / 7
                • First post
                  5/7
                  Last post