用 Python 写一个网页爬虫
前言网页爬虫是 Python 最经典的应用场景之一。无论是收集数据、监控价格、抓取资讯还是学术研究,爬虫都能帮你自动获取网页数据。 本文从零开始,带你用 Python 写出能用的爬虫。 ⚠️ 法律提醒:爬虫需遵守 robots.txt 协议,不要爬取个人隐私数据,控制访问频率,仅用于合法目的。 一、工具安装1pip install requests beautifulsoup4 lxml 库 作用 requests 发送 HTTP 请求,获取网页内容 beautifulsoup4 解析 HTML,提取数据 lxml 高性能 HTML/XML 解析器 二、第一个爬虫:获取网页标题1234567891011121314151617181920212223242526272829303132333435import requestsfrom bs4 import BeautifulSoup# 1. 发送请求url = "https://blog.iot2045.cn"headers = { "Us...
Docker 基础入门:从零开始学容器
前言Docker 是当今最流行的容器化技术。它让”在我机器上能跑啊“成为历史——将应用及其依赖打包成一个标准化的容器,在任何地方都能一致地运行。 本文将从零开始,带你系统掌握 Docker 的核心操作。 为什么需要 Docker? 痛点 Docker 解决方案 “我电脑上能跑,服务器不行” 环境一致:容器内环境完全相同 安装 MySQL、Redis 太麻烦 一行命令跑起来,用完就删 开发环境不一致 共享镜像,团队统一环境 微服务部署复杂 Docker Compose 一键编排 资源利用率低 轻量级,比虚拟机省资源 核心概念 概念 类比 说明 镜像(Image) 安装光盘 / 类模板 包含运行环境 + 应用的只读模板 容器(Container) 运行中的实例 镜像的运行实例,可启动/停止/删除 仓库(Registry) App Store 存储和分发镜像(如 Docker Hub) Dockerfile 配方/菜谱 描述如何构建镜像的文本文件 Docker Compose 编排工具 定义...
Linux Shell 脚本编程入门
前言Shell 脚本是将一系列 Linux 命令组合在一起自动执行的程序。它能帮助你自动化备份、部署、日志处理等日常运维任务,是每个后端开发者和运维工程师的必备技能。 本文基于 bash,这是 Linux 上最通用的 Shell。 一、第一个 Shell 脚本1234#!/bin/bash# 这是我的第一个脚本echo "Hello, 七月小站!"echo "当前时间: $(date)" 解释: 代码 含义 #!/bin/bash Shebang,指定解释器 # 注释 以 # 开头的行为注释 echo 输出文本 $(command) 命令替换,执行命令并获取输出 运行脚本: 12chmod +x hello.sh # 赋予执行权限./hello.sh # 运行 二、变量2.1 定义与使用12345678910#!/bin/bashname="July"age=25readonly PI=3.14159 # 只读变量echo "我是$...
Linux 基础入门:常用命令与实战场景
前言Linux 作为服务器端的主流操作系统,是每位开发者必备的技能。无论你从事前端、后端还是运维工作,都不可避免地要和 Linux 命令行打交道。本文以常用命令 + 实战场景的方式,帮你快速上手。 为什么要学命令行? 🖥️ 生产服务器通常没有图形界面,只能通过终端操作 ⚡ 命令行操作比图形界面更高效 🤖 便于编写脚本实现自动化 📦 很多开发工具(Git、Docker、Node.js 等)天然适合命令行使用 一、基础概念Shell 是什么?Shell 是用户与 Linux 内核之间的命令解释器。你输入命令 → Shell 翻译 → 内核执行。 常见的 Shell: bash(最常用,本文默认) zsh(功能更丰富,macOS 默认) sh(最基础的 Shell) 命令基本格式1命令 [选项] [参数] 示例: 12ls -l /home # ls 是命令,-l 是选项,/home 是参数tar -xzvf file.tar.gz # 多个选项可以合并写 二、文件与目录管理(最常用)⭐2.1 pwd — 显示当前目录12pwd# 输出:/hom...
Nginx 入门:反向代理与负载均衡
前言Nginx(发音 “Engine-X”)是一款高性能的 HTTP 和反向代理服务器。它以占用内存少、并发能力强、配置灵活著称,国内几乎所有互联网公司都在使用。 本文从核心场景出发,带你掌握 Nginx 最实用的功能。 Nginx 能做什么? 场景 说明 🏠 静态网站托管 托管 HTML/CSS/JS 文件 🔄 反向代理 隐藏后端服务,统一入口 ⚖️ 负载均衡 将请求分发到多台服务器 🔒 HTTPS 配置 SSL/TLS 证书配置 📦 静态资源缓存 CSS/JS/图片缓存优化 🛡️ 安全防护 限流、防盗链、IP 黑白名单 一、安装与基础命令12345678# Ubuntu/Debiansudo apt install nginx# CentOS/RHELsudo yum install nginx# macOSbrew install nginx 常用命令: 12345678nginx -v # 查看版本nginx -t ...
Redis 入门与常见应用场景
前言Redis 是目前最流行的内存数据库。几乎所有后端系统里都能看到它的身影——做缓存、做分布式锁、做排行榜、做消息队列。它把”快”做到了极致(单机 10 万 QPS 是常态),同时又提供了丰富的数据结构。 这篇文章覆盖 Redis 最核心的数据结构和实际开发中最常用的几个场景。 一、Redis 是什么简单说,Redis 是一个基于内存的键值存储系统。和 MySQL 的区别在于: MySQL Redis 存储位置 硬盘 内存 速度 毫秒级 微秒级 数据结构 表(行列) String、Hash、List、Set、Sorted Set 持久化 天然持久 可选(RDB 快照 / AOF 日志) 典型用途 持久存储业务数据 缓存、临时数据、实时计算 内存意味着快,但也意味着数据在重启后会丢失(除非开了持久化)。所以 Redis 通常不用于存”丢了就没了”的核心业务数据,而是作为 MySQL 前面的缓存层或临时数据存储。 二、安装12345678910# macOSbrew install redisbrew services start r...
MySQL 基础入门:从零掌握增删查改
前言MySQL 是目前最流行的开源关系型数据库之一,广泛应用于 Web 开发、数据分析等领域。本文将从零开始,带你掌握 MySQL 最核心的 增删查改(CRUD) 操作。 什么是 CRUD? 操作 SQL 关键字 含义 Create INSERT 插入(新增)数据 Read SELECT 查询(读取)数据 Update UPDATE 更新(修改)数据 Delete DELETE 删除数据 环境准备在开始之前,确保你已经安装了 MySQL 并能够登录: 12# 登录 MySQL(输入密码后回车)mysql -u root -p 成功登录后,你会看到 mysql> 提示符,表示可以输入 SQL 语句了。 一、数据库操作1.1 查看所有数据库1SHOW DATABASES; 输出示例: 12345678+--------------------+| Database |+--------------------+| information_schema || mysql || performance_sc...
Go 语言基础入门:从零开始学 Go
前言Go(又称 Golang)是由 Google 开发的静态强类型、编译型语言。它语法简洁、并发能力强、编译速度快,广泛应用于后端服务、云原生、微服务、CLI 工具等领域。知名的 Docker、Kubernetes、Prometheus 都是用 Go 编写的。 本文将从零开始,带你掌握 Go 语言的核心基础。 为什么选择 Go? 优势 说明 🚀 编译快 大型项目几秒内编译完成 🔒 类型安全 静态类型,编译期发现错误 🧵 原生并发 goroutine + channel,简洁高效的并发模型 📦 依赖简单 代码格式化、测试、依赖管理都内置于工具链 🪶 部署简单 编译成单个二进制文件,无需运行时环境 一、环境搭建1.1 安装 Go从 go.dev/dl 下载对应系统的安装包,或使用包管理器安装。 Linux(apt): 1sudo apt install golang-go macOS(Homebrew): 1brew install go 1.2 验证安装12go version# 输出示例:go version go1.22....
PHP 基础入门:从零开始学 PHP
前言PHP(Hypertext Preprocessor)是 Web 开发领域最成熟的语言之一。全球超过 75% 的网站使用 PHP,包括 WordPress、Facebook(早期)、Wikipedia。PHP 以部署简单、生态成熟、开发速度快著称。 本文将从零开始,带你系统掌握 PHP 的核心基础。 为什么选择 PHP? 优势 说明 🚀 即写即用 无需编译,保存即生效 🌐 为 Web 而生 天然支持 HTML 混写,处理表单、Cookie、Session 极方便 📦 生态成熟 Composer + Packagist 海量类库 💰 成本低 几乎所有虚拟主机都支持,云服务器部署简单 🎯 框架丰富 Laravel、Symfony、ThinkPHP 等 一、环境搭建1.1 安装 PHPWindows:下载 XAMPP 或 PHPStudy Linux: 1sudo apt install php php-cli php-fpm php-mysql php-curl php-mbstring macOS: 1brew install php...
Python 基础入门:从零开始学 Python
前言Python 是目前最流行、最易学的编程语言之一。它以语法简洁、可读性强、生态丰富著称,广泛应用于 Web 开发、数据分析、人工智能、自动化脚本等领域。 本文将从零开始,带你系统掌握 Python 的核心基础。 为什么选择 Python? 优势 说明 📖 语法简洁 接近自然语言,代码量通常是 Java/C++ 的 1/3~1/5 🚀 上手极快 无需编译,写完即运行 📦 生态丰富 PyPI 上超过 50 万个第三方包 🎯 应用广泛 Web、爬虫、AI、自动化测试、数据科学 👨👩👧👦 社区活跃 遇到问题容易找到答案 一、环境搭建1.1 安装 Python从 python.org 下载安装。安装时务必勾选 “Add Python to PATH”。 Linux 安装: 1sudo apt install python3 python3-pip 验证安装: 12345python3 --version# Python 3.12.0pip3 --version# pip 24.0 1.2 运行 Py...