Linux环境编程(持续更新中)

UNIX系统介绍：
最早版于1970年问世于贝尔实验室，作者是丹尼斯.里奇和肯.汤普逊。
是最早的多用户、多任务、支持多种CPU架构，高安全性、高稳定性、高可靠性。
既能构架大型关键性业务系统的商用服务器，也能支持嵌入式设备。

MiniX基于微内核加载的类UNIX系统，名为MINIX（即小型的UNIX），并开放全部源代码给大学教学和研究工作，Linux之父林纳克斯，正是在受了MiniX的启发，才开发了Linux系统。

Linux系统介绍：
Linux，全称GNU/Linux，其内核由林纳斯・托瓦兹于1991年第一次公开在校内网的FTP服务器上。

它主要受到Minix和Unix思想的启发，是一个基于POSIX（可移植操作系统接口）和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。

Linux继承了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。

相关知识：
Linux的标志：小企鹅，因为企鹅是南极的标志性动物，而南极目前没有被任何任何国家占有，是属于全世界人民的。

GNU组织：通用的非商业类UNIX系统，目前也是全世界最大的开源组织，负责Linux内核源的升级维护。

GPL通用许可证：在带GPL证书的代码的基础上开发出的软件，也必须支持GPL证书。

POSIX：统一的操作系统接口，UNIX和Linux都遵循了该标准，所有它们的命令、API接口基本上是通用的。

发行版：Linux只是内核，内核+Shell+基础软件才是可用的操作系统。
其它公司可以根据Linux内核制作出不同版的Linux系统。
ubuntu、redhat、CentOS、debian、UOS

GNU编译工具：
多样化：
支持各种编程语言，支持各种操作系统。
gcc -v 查看版信息
构建过程：
预处理：gcc -E code.c -o code.i
编译：gcc -S code.i -> code.s
汇编：gcc -c code.s -> code.o
链接：gcc a.o b.o c.o … a.out
文件类型：
.h 头文件
.h.gch 头文件的编译结果，会被优先使用
.i 预处理文件
.c 源文件
.s 汇编文件
.o 目标文件
.a 静态库文件
.so 共享库文件
编译参数：
-E 只预处理
-S 编译
-c 汇编
-g 生成调试信息
-o 设置编译结果的名字
-std 设置语法标准
-Wall 产生尽可能多的警告
-Werror 把警告当错误处理
-L 设置库文件的查找路径
-I 设置头文件的查找路径
-l 指定要加载的库文件的名字
-On 优化等级
-pedantic 对于不符合 ANSI/ISO 语法标准的代码产生警告。
预处理指令：
#include <>/"" 包含头文件
#define 定义宏常量、函数
# 把标识符转换成字符串
## 连接标识符
#ifdef 宏名存在条件为真
#ifndef 宏名不存在条件为真
#undef 删除宏
#if/#elif/#else/#endif 条件判断

#error 提示错误，并阻止生成可执行文件，要与条件判断配合使用。
#warning 提示警告，
#line 设置行号

#pragma pack(1/2/4/8) 对齐与补齐的最大字节数
#pragma once 相当于头文件卫士
#pragma GCC dependency “file.h” 监控文件
#pragma GCC poison “key” 设置关键字为病毒，禁止在代码中使用。

库：
库文件就是目标文件的集合，可以被其它代码调用，把代码封装成库文件后方便使用、方便管理、安全性高、保密性强。

静态库：就是目标文件的集合，调用静态库就是把静态库中的二进制指令拷贝到可执行文件中。
优点：运行速度比共享库快。
缺点：可执行文件相对较大，当静态库修改后，可执行文件要重新编译。

共享库：就是没入口的可以执行文件，调用共享库就是记录共享中二进制指针的位置即可。当执行可执行文件时共享库会被一起加载到内存，可执行文件中可以跳转到共享库中执行。
优点：可执行文件相对较小，当共享库修改后，可执行文件不要重新编译。
缺点：运行速度比静态库慢，可执行文件运行时也需要依赖共享库。

静态库：
制作静态库：
1、编译出目标文件
gcc -c code.c
2、打包目标文件生成静态库
ar -r libname.a a.o b.o c.o …
使用静态库：
1、直接使用
gcc code.c libname.a
2、指定库文件的位置
-L指定库的路径 -l指定库名
gcc code.c -Lpath -lname
3、通过设置环境变量指定库的路径，-l指定库名
打开配置文件：vi ~/.bashrc
在文件的末尾添加：export LIBRARY_PATH=$LIBRARY_PATH:path
保存退出后重新加载：source ~/.bashrc
使用静态库：gcc code.c -lname
注意：删除环境变量，需要关闭终端，再重新打开。

共享库：
制作共享库：
1、编译生成目标文件
gcc -fpic -c code.c
fpic 位置无关
2、生成共享库
gcc -shared -fpic a.o b.o c.o … -o libname.so
使用共享库：
1、直接使用
gcc code.c libname.so
2、指定库文件的位置
-L指定库的路径 -l指定库名
gcc code.c -Lpath -lname
3、通过设置环境变量指定库的路径 LIBRARY_PATH
gcc code.c -lname
注意：设置程序执行共享库的加载路径
打开配置文件：vi ~/.bashrc
在文件的末尾添加：export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:path
保存退出后重新加载：source ~/.bashrc

注意：当共享与静态库同时存在时，编译器会优先使用共享库，-static编译参数 优先使用静态库。

动态加载共享库：
#include

void *dlopen(const char *filename, int flag);
功能：打开共享库
filename：共享库的名字
flag：
RTLD_LAZY 延迟加载
RTLD_NOW 立即加载
返回值：共享库的句柄

char *dlerror(void);
功能：获取错误信息

void *dlsym(void *handle, const char *symbol);
功能：从共享库中获取函数指针
handle：共享库的句柄，也就是dlopen的返回值
symbol：函数名
返回值：成功返回函数的地址，失败返回NULL

int dlclose(void *handle);
功能：关闭共享库
返回值：成功返回0，失败返回-1。

注意：使用要添加dl库，这种方式的好处就是可以在编译时不依赖共享库。

静态库和共享库辅助工具：
ldd 查看可执行程序依赖那些共享库
nm 查看目标文件、可执行文件、静态库、共享库中的符号列表
strip 减肥，删除目标文件、可执行文件、静态库、共享库中的符号。
objdump 显示目标文件、可执行文件、静态库、共享库反汇编信息。

环境变量表：
每个程序执行时操作系统都会给一个环境变量表，该表中记录了操作系统所有的环境变量，这些环境变量反映了操作系统的配置，以及该程序所处理的系统环境。

声明extern char** environ; 就可以使用。
操作环境变量表的函数：
char *getenv(const char *name);
功能：获取环境变量的值
int setenv(const char *name, const char *value, int overwrite);
功能：向环境变量表中添加环境变量
name：环境变量名
value：环境变量的值
overwrite：当环境存在时
为真修改环境变量的值
为假不修改环境变量的值

int putenv(char *string);
功能：name=value 添加或修改环境变量，如果已经存在则修改，不存在则添加。
返回值：成功返回0，失败返回-1。

int unsetenv(const char *name);
功能：删除环境变量
返回值：成功返回0，失败返回-1。

int clearenv(void);
功能：清空环境变量表

一、内存管理
用户层
STL 自动分配/释放内存 调用C++
C++ new/delete 调用C
C malloc/free 调用POSIX
POSIX brk/sbrk 调用Linux
Linux mmap/munmap 调用内核
系统层
kernal kmalloc/vmalloc 调用驱动
driver get_free_page
二、进程映像
程序是存储在磁盘上的可执行文件，当执行程序时，系统会将可执行文件加载到同，内存中形成进程（一个程序可以同加载出多个进程）。

进程的内存空间分布就是进程映像，从低地址到高地址依次是：
text 代码段 二进制指令，常量(字符串字面值，被const修改过的原data段的数据)
只能读，如果修改会产生段错误
data 数据段 初始化过的全局变量和静态变量
bss 静态数据段 未初始化过的全局变量和静态变量
该段内存会被清理为0。
heap 堆 体量比较大的数据，结构变量
手动管理，释放时间可控，空间大，使用时与指针配合
使用麻烦，可能产生内存碎片和内存泄漏。
stack 栈 局部、块变量
大小有限，自动分配释放，不会产生内存碎片、泄漏
environ 环境变量表 环境变量
每个进程一份，修改并不会影响其它进程
argv 命令行参数
程序执行时附加的参数

虚拟内存：
1、系统会为每个进程分4G的虚拟内存空间。
32个0 ~ 32个1 地址范围。
2、用户只能使用虚拟地址，无法直接使用物理内存。
3、虚拟地址与物理内存进行映射才能使用，否则就会产生段错误。
4、虚拟地址与物理内存的映射由操作系统动态维护。
5、让用户使用虚拟地址一方面为了安全，另一方面操作系统可以让应用程序使用比实际物理内存更的地址空间。
6、4G的虚拟地址分为两部分
[0~3) 用户空间
[3~4) 内核空间
7、用户空间中的代码不能直接访问内核空间代码和数据，可以通过调用系统API切换到内核态，间接的与内核交换数据。
8、对虚拟内存越界访问（使用没有映射过的内存）将导致段错误。

映射虚拟内存与物理内存的函数：
#include

注意：系统映射内存时是以页(1页=4096byte)为单位的。
系统内存维护一个指针指向内存映射的最后一个字节的下一个位置。

void *sbrk(intptr_t increment);
功能：根据增量参数调整该指针的位置，既能映射也能取消映射。
increment：增量
0 获取指针的位置
<0 取消释放
>0 映射内存
返回值：该指针原来的位置。

int brk(void *addr);
功能：直接用addr的值修改指针的位置。
addr：
> 位置指针，映射内存
< 位置指针，取消映射
返回值：成功返回0，失败返回-1。

注意：brk/sbrk是POSIX标准的内存映射函数，都有单独映射、取消映射的功能，但配合使用最方便。

#include
void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);
功能：映射虚拟内存与物理内存，sbrk和brk底层调用的就是它们。
addr：映射内存区域的起始地址，可以自己指定，如果是NULL则系统帮你指定。
length：映射的字节长度
port：映射的权限
PROT_EXEC 执行权限
PROT_READ 读权限
PROT_WRITE 写权限
PROT_NONE 没有权限
flags：映射标志
MAP_FIXED 如果提供的addr无法映射，则失败，系统不会自动调整。
MAP_ANONYMOUS 将虚拟映射到物理内存，而不是文件，忽略fd等参数。
MAP_SHARED 对映射区域的写操作直接反映到文件中。
MAP_PRIVATE 对映射区域的写操作只反映到文件的缓冲区，不会真正写入文件。
MAP_DENYWRITE 拒绝文件的写入操作
fd：文件描述符
offset：文件的偏移量
返回值：成功返回映射后的内存地址，失败返回0xFFFFFFFF

int munmap(void *addr, size_t length);
功能：取消映射
addr：映射内存区域的起始地址
length：内存字节数
返回值：成功返回0，失败返回-1。

内存管理总结：
1、mmap/munmap 底层不维护任何东西，只返回一个映射后的内存首地址，所映射的内存位于堆中。
2、brk/sbrk底层维护一个指针，记录所映射的内存结尾，所映射的内存也位于堆中，底层调用的是mmap/munmap。
3、malloc/free底层维护一个双向链表和必须的控制信息，所映射的内存也位于堆中，底层调用的是brk/sbrk。
4、每个进程都有4G(32位系统)的虚拟内存空间，虚拟内存只是个数据，必须与物理内存建立映射关系才能使用。
5、平时所说内存的分配与释放有两层含义。
1、权限的分配与释放
2、映射关系的取消与建立
6、重点是理解Linux系统的内存管理机制，而不是brk/sbrk/mmap/munmap的用法.

系统调用：
系统调用就是操作系统提供的一些功能供程序员们调用，这些调用已经被封装成了C函数的形式，但是它们不是标准C的一部分。

一般应用程序运行在用户态(使用的是0_{3G的内存)，系统调用工作在内存态(使用的是3}4G的内存)。

常用的标准库函数大部分时间运行在用户态，底层偶尔也会调用系统调用进入内核态。

系统调用的代码是内核的一部分，其外部接口以函数定义共享库中（linux-gate.so，ld-linux.so），这些接口的实现利用软中断进入内核态执行真正的系统调用。

一切皆文件：
UNIX/Linux为操作系统把服务和设备都抽象成了文件，并提供了一套简单而统一的接口，这部分接口就是文件读写。
也就是说UNIX/Linux系统中的任何对象都可以被当作某种特殊的文件，以文件的形式访问。
文件分类：
目录文件、设备文件、Socket文件、管道文件、普通文件、链接文件
文件相关的系统调用：
#include
#include
#include

int open(const char pathname, int flags);
功能：打开文件
pathname：文件的路径
flags：打开文件的方式
O_RDONLY 只读
O_WRONLY 只写
O_RDWR 读写
O_APPEND 追加，文件位置指针在末尾
O_CREAT 文件不存在则创建
O_EXCL 如果文件存在则创建失败
O_TRUNC 如果文件存在则清空
O_NDELAY 非阻塞，打开文件后的操作以非阻塞模式进行。
O_SYNC 同步，写入数据后等待数据被写入到底层硬件后才返回。
O_ASYNC 异步，当文件可读/写时向调用的进程发送信号SIGIO。
返回值：文件描述符，类似于标准库的FILE，代表一个打开的文件。

int open(const char *pathname, int flags, mode_t mode);
功能：创建文件
flags：O_CREATE
mode:
S_IRWXU 00700 拥有者 读写执行权限
S_IRUSR 00400 拥有者 读
S_IWUSR 00200 拥有者 写
S_IXUSR 00100 拥有者 执行
S_IRWXG 00070 同组 读写执行权限
S_IRGRP 00040 同组 读
S_IWGRP 00020 同组 写
S_IXGRP 00010 同组 执行
S_IRWXO 00007 其它 读写执行权限
S_IROTH 00004 其它 读
S_IWOTH 00002 其它 写
S_IXOTH 00001 其它 执行

int creat(const char *pathname, mode_t mode);
功能：创建文件
mode：同open

#include
ssize_t write(int fd, const void *buf, size_t count);
功能：把内存中的数据写入文件中
fd：文件描述术，也就是open的返回值。
buf：待写入的内存首地址
count：要写入的字节数
返回值：成功写入的字节数

ssize_t read(int fd, void *buf, size_t count);
功能：从文件中读取数据到内存
fd：文件描述术，也就是open的返回值。
buf：存储数据的内存首地址
count：想读取的字节数
返回值：实际读取到的字节数

int close(int fd);
功能：关闭文件
返回值：成功返回0，失败返回-1。

使用标准IO比直接使用系统IO更快，原因标准IO有缓冲区，在写数据时并不是直接调用系统IO，而先把缓冲区填满，然后再调用系统IO定入数据到文件。
而直接使用系统IO会返回切换用户态和内存态，更加耗时，当我们给系统IO也增加个更大的缓冲区时，它的速度会比标准IO更快。
标准IO > 系统IO
系统IO+缓冲区 > 标准IO

随机读写：
每个打开文件都有一个记录读写位置的指针，也叫文件位置指针，对文件的读写操作都从指针指向的位置进行，并且位置指针会随着读写操作而增加。
一个打开的文件，位置指针就指向文件的开头，如果使用了O_APPEND，则在文件的末尾。
如果想随机读取文件中任何位置的数据，需要调整文件位置指针。
// 标准IO
int fseek(FILE *stream, long offset, int whence);
返回值：成功返回0，失败返回-1。
// 系统IO
off_t lseek(int fd, off_t offset, int whence);
fd：文件描述术，也就是open的返回值。
offset：偏移值
whence：基础位置
SEEK_SET 文件开头
SEEK_CUR 当前位置
SEEK_END 文件末尾
返回值：调整后的文件位置指针所在的位置。

在越过文件末尾的位置写入数据将形成空洞，空洞会计算在文件大小中，但不占用磁盘空间。

系统IO读写文本文件：
系统IO是没有fprintf/fscanf函数的，因此不能直接读写文本文件。

写文本文件：
对象 sprintf 转换成 字符串 然后再定入文件
读取文本文件：
按字符串形式读取，使用sscanf 转换成对应再使用。

文件描述符：
1、非负整数，代表打开的文件。
2、由系统调用返回(open)返回，可以被内核空间引用。
3、它代表着一个内核对象(就相当于FILE对像)，因为内存不能暴露它的内存地址，因此不能返回一个对象指针。
4、内核中有一张表记录所有打开的文件对象，文件描述符就是访问这张表的下标，因此文件描述也叫句柄，访问对象指针的凭证。

内核中有三个默认打开的文件描述符：
0 标准输入 stdin
1 标准输出 stdout
2 标准错误 stderr
文件描述符的复制：
int dup(int oldfd);
功能：复制一个已经打开的文件描述符
返回值：返回一个当前没有用过的最小的文件描述符
int dup2(int oldfd, int newfd);
功能：复制一个指定的文件描述符
newfd：想要复制的文件描述符，如果已经被打开，则先关闭再复制。
注意：复制成功后，相当于两相文件描述符对就一个打开的文件。