音视频开发-OpenGL概念理解

OpenGL上下文 context

• 首先需要理解状态机的概念，状态机就相当于一个水杯，倒入蓝色颜料后，从里面拿出来的纸就是蓝色的，倒入红色燃料后，拿出来的纸就是红蓝比例混合色的（打了个比喻）。
• OpenGL Context 这个上下⽂是⼀个非常庞⼤大的状态机，保存了OpenGL中的各种状态，这也是OpenGL指令执行的基础
• OpenGL 类似于C语言的，api都是面向过程，所以我们可以进行进一步封装成面向对象的api
• 由于OpenGL上下文是一个巨大的状态机，切换上下文往往会有巨大的开销，但是不同的绘制模块，可能需要完全独立的状态管理。因此，可以在应用程序中分别创建多个不同的上下文，在不同的线程使用不同的上下文，上下文之间呢，可以共享纹理、缓冲区等等资源。这样的设计模式，比反复切换上下文，或者大量修改渲染状态，更加合理。

渲染 Rendering

• 将图像/图形数据（Data）转换成3D控件图像的操作叫做渲染

顶点数组 VertexArray 顶点缓冲区 VertexBuffer

• 画图一般是先画好图像的⻣架，然后再往⻣架⾥面填充颜色，这对于 OpenGL也是⼀样的。顶点数据就是要画的图像的骨架，和现实中不同的是，OpenGL中的图像都是由图元组成。在OpenGLES中，有3种类型的图元:点、线、三角形。那这些顶点数据最终是存储在哪里的呢?开发者可以选择设定函数指针，在调⽤绘制方法的时候，直接由内存传入顶点数据，也就是说这部分数据之前是存储在内存当中的，被称为顶点数组。⽽性能更更⾼高的做法是，提前分配一块显存，将顶点数据预先传入到显存当中。这部分的显存，就被称为顶点缓冲区
• 顶点指的是我们在绘制一个图形时,它的顶点位置数据.⽽这个数据可以直接存储在数组中或者将其缓存到GPU内存中。

管线 Pipeline

• 在OpenGL 下渲染图形,就会有经历⼀个⼀个节点.而这样的操作可以理解管线.⼤家可以想象成流⽔线.每个任务类似流水线般执行.任务之间有先后顺序. 管线是⼀个抽象的概念，之所以称之为管线是因为显卡在处理数据的时候是按照一个固定的顺序来的，⽽且严格按照这个顺序。就像⽔从⼀根管⼦的⼀端流到另一端，这个顺序是不能打破的。

固定管线/存储着⾊器

• 在早期的OpenGL 版本,它封装了很多种着色器程序块内置的一段包含了光照、坐标变换、裁剪等诸多功能的固定shader程序来完成,来帮助开发者来完成图形的渲染. 而开发者只需要传入相应的参数,就能快速完成图形的渲染. 类似于iOS开发会封装很多API,⽽我们只需要调⽤,就可以实现功能.不需要关注底层实现原理。
• 但是由于OpenGL 的使⽤场景非常丰富,固定管线或存储着色器⽆法完成每⼀个业务.这时将相关部分开放成可编程（即包含常用的顶点着色器、片元着色器）。

着色器 Shader

• 就全面的将固定渲染管线架构变为了可编程渲染管线。因此，OpenGL在实际调⽤绘制函数之前，还需要指定⼀个由shader编译成的着⾊器程序。常见的着⾊器主要有顶点着色器(VertexShader)，⽚段着色器 (FragmentShader)/像素着色器(PixelShader)，⼏何着色器(GeometryShader)，曲⾯细分着色器(TessellationShader)。⽚段着色器和像素着色器只是在OpenGL和DX中的不同叫法⽽已。可惜的是，直到 OpenGLES 3.0，依然只⽀持了顶点着⾊色器和⽚段着色器这两个最基础的着色器。

顶点着色器 Vertex shader

相当于告诉opengl图形的顶点，由此得知形状，才能进一步进行填充颜色等等。相当于一个骨架

• 一般⽤用来处理图形每个顶点变换(旋转/平移/投影等)
• 顶点着⾊器是OpenGL中⽤于计算顶点属性的程序。顶点着色器是逐顶点运算的程序，也就是说每个顶点数据都会执行一次顶点着⾊器，当然这是并行的，并且顶点着⾊器运算过程中无法访问其他顶点的数据
• 一般来说典型的需要计算的顶点属性主要包括顶点坐标变换、逐顶点光照运算等等。顶点坐标由自身坐标系转换到归⼀化坐标系的运算，就是在这里发生的。
• 顶点着色器的计算也是由GPU负责

片元着色器 Fragment shader

• 也称之为片段着色器，像素着色器，对每个像素的显示进行处理，即一张图片，有很多像素点，每个像素点都需要经过片元着色器才能进行显示，所以需要大量计算，故使用GPU进行计算，而CPU擅长判断（基于单片机原理），这就是GPU的优势
• ⼀般用来处理图形中每个像素点颜色计算和填充
• ⽚段着色器是OpenGL中用于计算片段(像素)颜⾊的程序。⽚段着色器是逐像素运算的程序，也就是说每个像素都会执行⼀次片段着⾊器，当然也是并⾏的

另外GPU使用的是显存，内存是用于和CPU交互时使用

GLSL(OpenGL Shading Language)

• OpenGL着色语言(OpenGL Shading Language)是用来在OpenGL中着⾊编程的语言，也即开发人员写的短小的⾃定义程序，他们是在图形卡的GPU (Graphic Processor Unit图形处理单元)上执行的，代替了固定的渲染管线的一部分，使渲染管线中不同层次具有可编程性。⽐如:视图转换、投影转换等。GLSL(GL Shading Language)的着⾊器代码分成2个部分: Vertex Shader(顶点着⾊器)和Fragment(⽚元着⾊器)

光栅化 Rasterization

• 是把顶点数据转换为⽚元的过程，具有将图转化为一个个栅格组成的图象的作用，特点是每个元素对应帧缓冲区中的一像素。
• 光栅化就是把顶点数据转换为片元的过程。⽚元中的每一个元素对应于帧缓冲区中的一个像素
• 光栅化其实是⼀种将几何图元变为二维图像的过程。该过程包含了两部分 的工作。第一部分⼯作:决定窗⼝坐标中的哪些整型栅格区域被基本图元占用;第二部分工作:分配一个颜色值和⼀个深度值到各个区域。光栅化过程产⽣的是⽚元
• 把物体的数学描述以及与物体相关的颜⾊信息转换为屏幕上用于对应位置的像素及用于填充像素的颜色，这个过程称为光栅化，这是一个将模拟信号转化为离散信号的过程

即把顶点数据转换成片元的过程，即设置了顶点数据后，需要知道在这些顶点数据范围内，片元的分布。光栅化就做了这个处理，告诉你在这个范围内有多少像素，像素怎么分布的。其每个元素对应帧缓冲区中的一个像素，模拟信号转换离散信号，其实就是模拟信号进行采样转换成数字信号，如果有音频采集相关的知识就很好理解，一段声音也是需要通过模拟信号转换成数字信号的（录制）。

关于光栅化，光栅化完成后，只是确定了该范围内有多少像素，如何排列，但是，这些像素里面，装填什么颜色，并不确认！，所以需要片段着色器，对每个片元着色。

纹理

• 纹理理可以理解为图片. ⼤家在渲染图形时需要在其编码填充图片,为了使得
  场景更加逼真.⽽这里使用的图片,就是常说的纹理.但是在OpenGL,我们更加 习惯叫纹理,⽽而不是图片

纹理即图片，即需要渲染图形时的填充

混合 Blending

在测试阶段之后，如果像素依然没有被剔除，那么像素的颜⾊将会和帧缓冲区中颜色附着上的颜色进行混合，混合的算法可以通过OpenGL的函数进行指定。但是OpenGL提供的混合算法是有限的，如果需要更加复杂的混合算法，一般可以通过像素着⾊器进行实现，当然性能会⽐比原⽣的混合算法差⼀些.

变换矩阵 Transformation

二维变换 三维变换 即 平移、缩放、旋转

投影矩阵 Projection

即将3D坐标转换为二维屏幕坐标显示的矩阵

离屏渲染/交换缓冲区 SwapBuffer

• 渲染缓冲区一般映射系统的资源，比如窗口。此时将图像直接渲染到窗口对应的缓冲区，就将图像显示到屏幕上。
• 但是，值得注意的是，如果每个窗⼝只有⼀个缓冲区，那么在绘制过程中屏幕进⾏了刷新，窗⼝可能显示出不完整的图像
• 为了解决这个问题，常规的OpenGL程序⾄少都会有两个缓冲区。显示在屏幕上的称为屏幕缓冲区，没有显示的称为离屏缓冲区。在⼀个缓冲区渲染完成之后，通过将屏幕缓冲区和离屏缓冲区交换，实现图像在屏幕上的显示
• 由于显示器器的刷新一般是逐⾏进行的，因此为了防⽌交换缓冲区的时候屏幕上下区域的图像分属于两个不同的帧，因此交换一般会等待显示器刷新完成的信号，在显示器两次刷新的间隔中进⾏交换，这个信号就被称为垂直同步信号，这个技术被称为垂直同步
• 使⽤了双缓冲区和垂直同步技术之后，由于总是要等待缓冲区交换之后再进⾏下一帧的渲染，使得帧率⽆法完全达到硬件允许的最⾼⽔平。为了解决这个问题，引⼊了三缓冲区技术，在等待垂直同步时，来回交替渲染两个离屏的缓冲区，⽽垂直同步发⽣时，屏幕缓冲区和最近渲染完成的离屏缓冲区交换，实现充分利⽤硬件性能的目的

iOS是双缓冲机制，前帧缓存和后帧缓存,cpu计算完GPU渲染后放入缓冲区中,当gpu下一帧已经渲染完放入缓冲区，且视频控制器已经读完前帧，GPU会等待vSync(垂直同步信号)信号发出后,瞬间切换前后帧缓存，并让cpu开始准备下一帧数据

安卓4.0后采用三重缓冲，多了一个后帧缓冲，可降低连续丢帧的可能性，但会占用更多的CPU和GPU

图元装配

图元装配即表示顶点需要使用什么样的图元，例如：三角形，点，线。
将顶点数据计算成⼀个个图元.在这个阶段会执行裁剪、透视分割和 Viewport变换操作。

附上OpenGL ES的图形管线API图