nginx 配置
Nginx 配置CentOS 安装nginx
12345678[vagrant@master ~]$ sudo cat >> /etc/yum.repos.d/nginx.repo<<EOF[nginx]name=nginx repobaseurl=http://nginx.org/packages/centos/$releasever/$basearch/gpgcheck=0enabled=1EOF[vagrant@master ~]$
什么是 nginx ?
Nginx 是高性能的 HTTP 和反向代理的服务器，处理高并发能力是十分强大的， 能经受高负载的考验,有报告表明能支持高达 50,000 个并发连接数。
正向代理需要在客户端配置代理服务器进行指定网站访问。
正向代理，是在用户端的。如你要访问谷歌浏览器地址，但是你是不能直接访问的，此时你可以通过一个代理服务器来帮助你访问。
比如你企业没有外网那如何访问外网查阅质料呢？
此时公司肯定有电脑是可以连接外网的，那么将我们的网络连接配置到那台服务器上，那么我们就可以访问了，相当于我们通过公司那台服务器访问查 ...
Docker
一、Docker install
https://mirrors.tuna.tsinghua.edu.cn/help/docker-ce/
Docker 提供了一个自动配置与安装的脚本，支持 Debian、RHEL、SUSE 系列及衍生系统的安装。
12345export DOWNLOAD_URL="https://mirrors.tuna.tsinghua.edu.cn/docker-ce"# 如您使用 curlcurl -fsSL https://get.docker.com/ | sh# 如您使用 wgetwget -O- https://get.docker.com/ | sh
如果你之前安装过 docker，请先删掉
1sudo yum remove docker docker-common docker-selinux docker-engine
安装一些依赖
1sudo yum install -y yum-utils device-mapper-persistent-data lvm2
根据你的发行版下载repo文件: CentOS/ ...
VSCode插件
VSCode插件绘图工具Draw.io Integration
代码格式化Better Comments
Sort lines
版本控制器Git Graph
服务器Live Server
主题图标VSCode Great Icons
Esay Icon theme
Material Icon Theme
Nome Dark Icon Thems
seti-icons
Pythonpython
Jupyter
Python Preview
Python Indent
Python snippets
Python Docstring Generator
MarkdownMarkdown All One
Docker
MongoDB-for-Windows-install
MongoDB installMongoDB官网：
https://www.mongodb.com/try/download/database-tools
MongoDB for Windows：
https://fastdl.mongodb.org/win32/mongodb-win32-x86_64-2012plus-4.2.11-rc1.zip
12345678910111213141516171819202122232425262728293031tree /f /aD:.| LICENSE-Community.txt| MondoDBinstall.md| mongo.config # 创建mongdb 配置文件| MPL-2| README| THIRD-PARTY-NOTICES| THIRD-PARTY-NOTICES.gotools|+---bin| bsondump.exe| Install-Compass.ps1| mongo.exe| mongo.pdb| mong ...
Aircrack配合Hashcat暴力破解WiFi密码
WiFi密码破解 WiFi密码破解
ifconfig查看你的网卡信息，wlan0即无线网卡
12ifconfigifconfig wlan0 up
airmon-ng start wlan0(启动网卡监听模式)
1airmon-ng start wlan0
123456789101112131415161718root@kali:~# airmon-ng start wlan0 Found 3 processes that could cause trouble. If airodump-ng, aireplay-ng or airtun-ng stops working after a short period of time, you may want to run 'airmon-ng check kill' PID Name 630 NetworkManager 1026 wpa_supplicant 1837 dhclient PHY Interface Driver Ch ...
scrapy
ScrapyScrapy的简单使用创建项目：scrapy startproject xxx（爬虫名）进入项目：cd xxx #进入某个文件夹下创建爬虫：scrapy genspider xxx（爬虫名） xxx.com （爬取域）生成文件：scrapy crawl xxx -o xxx.json (生成某种类型的文件)运行爬虫：scrapy crawl XXX列出所有爬虫：scrapy list获得配置信息：scrapy settings [options]
1234scrapy startproject xxx（爬虫名）cd xxx #进入某个文件夹下scrapy genspider xxx（爬虫名） xxx.com （爬取域）scrapy crawl XXX
Scrapy的整体架构和组成Scrapy框架的整体架构和组成官方Scrapy的架构图
图中绿色的是数据的流向 我们看到图里有这么几个东西，分别是 Spiders：爬虫，定义了爬取的逻辑和网页内容的解析规则，主要负责解析响应并生成结果和新的请求 Engine：引擎，处理整个系统的数据流处理，出发事物，框架的核心。 Sch ...
Scrapy集成Selenium下载中间件
Scrapy框架集成 Selenium下载中间件
spider
1234567891011121314151617181920212223242526272829303132333435import scrapyfrom scrapy import signalsfrom selenium import webdriverfrom selenium.webdriver import FirefoxOptionsclass JdSpider(scrapy.Spider): name = 'jd' allowed_domains = ['jd.com'] start_urls = [ 'https://www.jd.com/', 'https://miaosha.jd.com/' ] @classmethod def from_crawler(cls, crawler, *args, **kwargs): spider = ...
Scrapy 运行多个爬虫
Scrapy 运行多个爬虫本文所使用的 Scrapy 版本：Scrapy==2.4.0
一个 Scrapy 项目下可能会有多个爬虫，本文陈述两种情况：
1234567891011121314151617181920d:\Code\demo\search_project> tree /f /aD:.| README.md| run.py| scrapy.cfg\---search_project | items.py | middlewares.py | pipelines.py | settings.py | __init__.py \---spiders demo1.py # 爬虫1 demo11.py # 爬虫2 test.py # Baidu.py # Bing.py # __init__.py
多个爬虫
所有爬虫
显然，这两种情况并不一 ...
Terminal 使用网络代理
Terminal 使用网络代理windows
cmd
123456789101112131415161718192021222324252627282930313233343536set http_proxy=http://127.0.0.1:1189set https_proxy=http://127.0.0.1:1189set http_proxy=http://127.0.0.1:1080set https_proxy=http://127.0.0.1:1080set http_proxy_user=userset http_proxy_pass=passset https_proxy_user=userset https_proxy_pass=pass# 恢复set http_proxy=set https_proxy=# Ubuntu 下命令为 export# export http_proxy=http://127.0.0.1:1080环境：shadowsocks、windows本地ss端口设置(这里1080)cmd命令行:(不用socks5)(临时设置)(也可放置环境变量 ...
SpiderTools
爬虫 常用的第三方库请求库
requests
urllib
aiohttp
Selenium
ChomeDrive
解析库
xpath
jsonpath
demjson
12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455什么是demjson?此模块提供用于编码或解码数据的类和函数。这个实现试图尽可能符合JSON规范（RFC 4627），同时仍然提供许多可选的扩展，以允许限制较少的JavaScript语法。它包括完整的Unicode支持，包括UTF-32、BOM和代理项对处理。它还可以支持JavaScript的NaN和无限数值类型，以及它的“undefined”类型。它还包括一个类似lint的JSON语法验证器，用于测试JSON文本是否严格符合标准。官方文档：https://pypi.org/project/demjson/1.6/为什么json库不能用？python中json模块能解析的对象格式是有限的，查看下面这三种 ...
