wangshanglinju

摘要： 1.简介 1.1 什么是Pandas Pandas是一个开源的数据分析工具，提供了数据结构和数据分析工具，使得在Python中进行数据操作变得更加简单和高效。Pandas主要提供了两种数据结构：Series和DataFrame。Series是一维带标签的数组，类似于Python中的字典；DataFr 阅读全文

摘要： 7. numpy统计 NumPy 提供了很多统计函数，用于从数组中查找最小元素，最大元素，百分位标准差和方差等。 7.1 平均值和中位数 平均值 numpy.mean() 函数返回数组中元素的算术平均值。 如果提供了轴，则沿其计算。 算术平均值是沿轴的元素的总和除以元素的数量。 arr = np.a 阅读全文

摘要： 1. Anaconda安装 Anaconda就是可以便捷获取包且对包能够进行管理，同时对环境可以统一管理的发行版本。Anaconda包含了conda、Python在内的超过180个科学包及其依赖项。 官网：https://www.anaconda.com/ 2. juypter Jupyter No 阅读全文

摘要： selenium模块 超级鹰取验证码 1、登录超级鹰（http://www.chaojiying.com/），点击“用户登录”，输入用户名和密码登录。 2、点击左侧的“软件ID”栏目，点击“生成一个软件ID”，名称任意，软件ID请记住。 3、点击频道“开发文档”，选择“python”，点击“点击这里 阅读全文

摘要： selenium模块 一、无头浏览器 # 艺恩 https://www.endata.com.cn/BoxOffice/BO/Year/index.html 年度票房数据 # 带下拉列表 from selenium.webdriver import Chrome from selenium.webd 阅读全文

摘要： selenium模块 一、安装并设置 1、安装 pip install selenium 2、安装浏览器驱动 这里提供谷歌浏览器驱动下载，chrome驱动地址：https://npm.taobao.org/mirrors/chromedriver 找到适合本机浏览器的版本号下载。 下载的驱动可以放在 阅读全文

摘要： 进程是资源单位，线程是执行单位，每一个进程至少需要一个线程 一、多线程 1、单线程 def fun(): for i in range(1000): print("fun",i) if __name__ == '__main__': for i in range(1000): print("main 阅读全文

摘要： xpath模块解析 Xpath是一门在 XML 文档中查找信息的语言。 Xpath可用来在 XML文档中对元素和属性进行遍历。而我们熟知的HTML恰巧属于XML的一个子集。所以完全可以用xpath去查找html中的内容。 一、安装lxml模块 pip install lxml 用法：1、将要解析的h 阅读全文

摘要： BeautifulSoup 模块 一、安装 pip install bs4 二、使用 bs4在使用的时候需要参考一些html基本语法来进行，我们尝试抓取北京新发地时长的农产品价格。地址：http://www.xinfadi.com.cn/marketanalysis/0/list/1.shtml 步 阅读全文

摘要： 数据解析 一、正则表达式 Regular Expression，正则表达式是一种使用表达式的方式对字符串进行匹配的语法规则。 我们抓取到的网页源代码本质上就是一个超长的字符串， 想从里面提取内容。用正则再合适不过了。 正则的优点： 速度快， 效率高， 准确性高 正则的缺点： 新手上手难度有点高。 不 阅读全文