LeetCode（力扣）是什么？众所周知，在学习算法或刷算法题的众多网站中，力扣在国内目前算的上TOP1的存在。因此力扣在互联网的圈子里颇有名气。很多研发工程师，算法工程师都在其中活跃，并且现在很多互联网公司的面试题在力扣的题库中都收录了许多。因此更加让许多互联网的求职者在此刷题来提升自己的算法能力。Python爬取力扣数据一、获取所有题目列表 首先，我们的目标是获取LeetCode的所有题库，而目前LeetCode的题库总共有1643道算法题。因此我们需要将这1643道题全部获取出来，然后用相应的数据结构或者存储方式来存放这些题目。我这里选择的是mysql数据库。（题目详解我使用的是数据库加word文档存储的双重方式！） 其次，我们需要分析这些题在LeetCode中的存放形式，这样方便我们用Python来进行爬取。我们可以访问LeetCode，可以看见主页中有几个标签栏，他们分别是序号、题目名称，题目解答，所有提交的答案通过率、题目难度、面试中的出现频率这六大类。 通过分析我们可以发现，每一个题目使用的是table当中的行，也就是tr标签存储的，每一行中的具体字段是在tr里面的td表示，这样我们就可以通过选择器来进行元素定位，获取到我们想要的具体内容。 最后，分析到这里，我们就可以先建立一个基础的数据模型，将对我们有用的数据进行数据建模，丢弃对我们没用的数据。有用的数据包括，题目名称，题目难度，出现频率。 拿到这些之后，还需要分析一些隐藏的有用信息，比如每个题目的具体地址URL，以及对应题目的题解URL,这样方便以后我们去寻找每一个题目详解的时候提供方便，具体定位每个题目的URL见上图，知道了这些信息之后，我们就可以用Python+Selenium一次将所有的题目存放到数据库或者word文档。 python代码编写完成之后，运行后数据库中存放的数据如下图所示。二、获取题目对应的描述信息 通过上面的操作，我们已经将LeetCode当中所有的题目获取到了，但是我们仅仅只是拿到了每一个题目的名称，我们并不知道这个题目的具体意思。因此我们还需要进行进一步的数据处理。那应该如何做呢？ 从数据库中读取我们存入的数据，这个时候我们得到了一个元组的集合，我们遍历这个集合，拿到每一条数据，有针对的对每一条数据进行处理。比如第一条数据。1 两数之和 3738 48.4% 简单 题目url 题解url 遍历的时候我们会得到上面这样的一个元组数据，对我们这一步有用的数据是题目描述的url地址，那我们取出url地址，然后通关python来访问这个地址，获取到该题目的描述信息，然后将描述信息文本更新到该数据中。 如下图所示，红色框中的信息是我们现在需要的信息，因为红框上面的“两数之和“已经在前面的操作中存入到数据库中，本次操作只需要遍历上一次的结果，将红框中的描述文本存放到数据库即可。 当遍历完1643条数据之后，我们即可得到了每一个题目以及对应题目的详细描述信息。并且这些信息已经存放到了数据库中。效果图如下。 其实这个时候，我们已经完成了LeetCode所有题库的爬取，将这些信息存放数据库的好处是，你可以根据自己的能力选择相应的难度进行练习。那如果我们没有足够的时间进行刷题，我们想直接看该题目的解答方式如何做呢？ 其实也非常简单，我们用Python爬取每一个题目的不同解法与代码。然后将其存放在word文档中，将word文档存放在手机收或者电脑上，这样我们可以随时随地的离线进行算法学习，是不是非常方便呢，这边我已经将所有题目的详细解法与答案爬取并存放在mysql和word中。总结算法千千万，夯实基础第一条！没有最好的算法，也没有万能的算法，只有最优的算法！
本文出自快速备案，转载时请注明出处及相应链接。