提问：Klang数据加载的问题？
-
有开发者提问：
我想要问一下，在加载Klang类的.Klang_init() 时候先去加载的是代码库里面的代码，然后走的是全部的股票数据分别下载到两个文件中, 而第二次(比如一周后)加载时候是先去读取本地的，但是全部的股票数据也是从本地加载的，是否会追加这一周的空白数据到文件夹呢？ -
》》在加载Klang类的.Klang_init() 时候先去加载的是代码库里面的代码，
这个加载有两部分。
1.股票列表
2.股票数据
第一次加载，股票列表使用klang的数据服务器通过接口一次性获取的。
获取后，启动线程，按照列表获取详细数据。 -
@asmcos 在 提问：Klang数据加载的问题？ 中说：
而第二次(比如一周后)加载时候是先去读取本地的，但是全部的股票数据也是从本地加载的，是否会追加这一周的空白数据到文件夹呢？
这个追加，目前klang是通过加载命令全部刷新的。还需要从服务器下载一次。并没有作区间增量加载。
按道理增量加载更高效。但是目前是存文件，增量做法还没有写相关的代码。
-
@asmcos 我的思路是, 每次运行项目会把数据再次进行爬取，我们应该在服务器上启动一个项目先按照日频率，程序每次收盘会爬取一次，放到数据库中,而我们klang项目只需要本地加载一次数据与数据库同步即可，然后之后加载则是增量式爬取即可。这样对目标服务器没有压力。目前是否有这样的项目我们参考呢？
-
@htq 在 提问：Klang数据加载的问题？ 中说：
@asmcos 我的思路是, 每次运行项目会把数据再次进行爬取，我们应该在服务器上启动一个项目先按照日频率，程序每次收盘会爬取一次，放到数据库中,而我们klang项目只需要本地加载一次数据与数据库同步即可，然后之后加载则是增量式爬取即可。这样对目标服务器没有压力。目前是否有这样的项目我们参考呢？
抓取数据是增量的，新数据会每天更新6次到数据库里。
数据库里的数据和klang 计算服务器(kserver),不同步 -
@asmcos 那我明白了，那可以让klang的数据以同步的方式来进行吗？因为如果计算策略的话，是肯定需要用最新数据，这样策略才是有效的，从昨天我来获取全市场数据来看，我大概使用多线程的方式，一共跑了两个小时。
-
@asmcos 我想的是，如果每次运行项目，如果本地没有这个文件的话就全量获取下来，如果有的话，就审核一下， 看看那个是没有的做增量式添加。不需要实时同步，只需要在运行项目时候做审核脚本处理即可。但是有一点，我们如何获取数据时候只是获取特定区域的数据，然后做保存，而且还得保证获取数据的速度非常快。