• 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组
  • 注册
  • 登录

Klang(金浪)AI量化论坛

  • 注册
  • 登录
  • 版块
  • 最新
  • 标签
  • 热门
  • 用户
  • 群组

修复 FinGPT content 爬虫脚本

AI研究
1
2
349
正在加载更多帖子
  • 从旧到新
  • 从新到旧
  • 最多赞同
回复
  • 在新帖中回复
登录后回复
此主题已被删除。只有拥有主题管理权限的用户可以查看。
  • A
    asmcos 管理员 最后由 编辑 2023年6月18日 07:02

    修改了2个地方,
    1、 判断状态 有错误
    2、 获取内容因为网页改版,导致数据获取不到,修改如下:

        while not ok:
            try:
                response = requests.get(url = url, headers = headers)
                print(url,response.status_code)
                if response.status_code == 200:
                    res = etree.HTML(response.text)
                    res = res.xpath("//script[2]//text()")[0]
                    res = json.loads(res[17:])
                    res = pd.Series(res).to_frame().T
                    ok = True
                    return res
            except :
                pass
    
    
    1 条回复 最后回复 回复 引用 0
    • A
      asmcos 管理员 最后由 编辑 2023年6月18日 07:03

      FinGPT-v1/data_preparations$ vim download_contents.py

      1 条回复 最后回复 回复 引用 0
      1 / 2
      • First post
        1/2
        Last post