Klang(金浪)AI量化论坛

    • 注册
    • 登录
    • 版块
    • 最新
    • 标签
    • 热门
    • 用户
    • 群组

    修复 FinGPT content 爬虫脚本

    AI研究
    1
    2
    318
    正在加载更多帖子
    • 从旧到新
    • 从新到旧
    • 最多赞同
    回复
    • 在新帖中回复
    登录后回复
    此主题已被删除。只有拥有主题管理权限的用户可以查看。
    • A
      asmcos 管理员 最后由 编辑

      修改了2个地方,
      1、 判断状态 有错误
      2、 获取内容因为网页改版,导致数据获取不到,修改如下:

          while not ok:
              try:
                  response = requests.get(url = url, headers = headers)
                  print(url,response.status_code)
                  if response.status_code == 200:
                      res = etree.HTML(response.text)
                      res = res.xpath("//script[2]//text()")[0]
                      res = json.loads(res[17:])
                      res = pd.Series(res).to_frame().T
                      ok = True
                      return res
              except :
                  pass
      
      
      1 条回复 最后回复 回复 引用 0
      • A
        asmcos 管理员 最后由 编辑

        FinGPT-v1/data_preparations$ vim download_contents.py

        1 条回复 最后回复 回复 引用 0
        • First post
          Last post