欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

爬掉美国财政部的网站,我用Python手到擒来!

程序员文章站 2023-10-16 23:58:51
前天晚上,小编的一个分析师朋友悄悄地说,终于搞定了美国财政部网站! 这是什么路数? 难道当前局势下,你要见义勇为搞破坏?小编一脸惊恐。 别害怕,我用Python写了个爬虫,把美财政部网站数据爬下来了。 这个朋友是一个债券期货分析师,每天的工作需要最新的美债数据,但是wind上的数据有1-2天的延迟, ......

前天晚上,小编的一个分析师朋友悄悄地说,终于搞定了美国财政部网站!

这是什么路数?

难道当前局势下,你要见义勇为搞破坏?小编一脸惊恐。

爬掉美国财政部的网站,我用Python手到擒来!

别害怕,我用python写了个爬虫,把美财政部网站数据爬下来了。

这个朋友是一个债券期货分析师,每天的工作需要最新的美债数据,但是wind上的数据有1-2天的延迟,只能每天人肉上网查询。但是数据颇多,每天搞的苦不堪言。

那天终于忍不了这样复杂枯燥的工作,用python写了个爬虫,一口气能够把200天的数据都爬下来。

这么厉害的程序,连美财政网站都能搞,一定花了不少时间吧?

没有,整个程序只有20行,我这个菜鸟只花了三十分钟就写完了!

爬掉美国财政部的网站,我用Python手到擒来!

小编不禁感慨,在2019年,感觉python真的已经成为金融分析师们的硬技能,再也不是程序员专属了,不会python的金融分析师未来怕是前景堪忧了。

事实上,作为每天和excel打交道的数据分析师、会计师审计师们,最头疼的事情莫过于重复性的工作太多,如果面前有一份2个月的交易数据,每份数据分成一个excel文件,那么要处理这些数据就要手动打开、复制、粘贴和处理40多次,到最后,往往都要眼花到怀疑人生了。

作为人工智能时代弄潮儿的python,则可以轻松解决此类问题,只需要数行代码,就可以完成excel需要几个小时才能完成的工作。而且,运用python强大的网页处理能力进行爬虫,可以为我们的数据研究提供很多便捷。

无论是我们想从中债登官网批量查询、获取某债券借券存量的数据,还是想要获取美国财政部网站上的联储利率数据,只需要一个python爬虫,十几分钟就可以解决这个问题。而之前这些工作,往往需要一个实习生甚至一周的工作时间。

并且,python强大的绘图功能,让数据导入、分析、出结果、绘图可以一次性在程序里完成,可以直接把分析/回测结果视觉化呈现出来。

爬掉美国财政部的网站,我用Python手到擒来!

(python自动生成的动态图表)

正因为如此,现在国内很多金融机构在招聘中已经添加了对python能力的要求。中金公司、银河证券、南方基金、银华基金在分析师岗位招聘时已经特别要求熟练具备python数据分析技能。

我们也从各大招聘网站,摘录了一些金融行业核心热门职位的技能要求:

金融行业热门职位

薪资

技能要求

行业分析师

30w-50w

熟悉行业格局、商业模式与数据动态,熟练使用wind、excel等行研数据分析工具,熟悉python能力优先

宏观研究员

30w-60w

较强的信息搜集能力,熟练使用wind等金融数据库,熟练掌握基础数据分析,熟悉python优先

量化研究员

面议

熟悉python、熟练使用pandas/numpy/statsmodels以及数据库相关知识;对商票、国债期货、可转债等有一定认识

审计师

20w-40w

能够熟练使用python处理业务审计底稿、财务基础报表优先