SurfaceView技术点总结及源码解析

我们知道，当在view绘制时进行耗时操作或者复杂的动画，会出现丢帧或卡顿现象，用户体验极为不好。Android系统每隔16ms就会发出一次VSYNC信号触发对UI进行渲染，如果这16ms内我们没有完成对视图的绘制，那么就会出现丢帧的情况。之所以这样是因为，人眼与大脑之间的协作无法感知超过60fps的画面更新。60帧每秒就意味着:16ms=1000/60Hz。Android提供了SurfaceView来解决这种情况。SurfaceView可以实现复杂的2D动画、播放视频、摄像头预览等。

初识SurfaceView

五年前，就已经了解SurfaceView，知道它可以配合MediaPlayer播放一个视频流媒体，其中SurfaceHolder是SurfaceView装载需要显示的一帧帧图像的容器。

大部分软件是如何解析一段视频流呢？

首先它需要先确定视频的格式，这个和解码相关，不同的格式视频编码不同。知道了视频的编码格式后，再通过编码格式进行解码，最后得到一帧一帧的图像，并把这些图像快速的显示在界面上，即为播放一段视频。SurfaceView在Android中可以完成这个功能。

SurfaceView双缓冲机制

SurfaceView跟大部分视频应用一样，把视频流解析成一帧帧的图像然后显示。如果把视频解析过程放到一个线程中完成，可能在上一帧图像已经显示过后，下一帧图像还没有来得及解析，这样会导致画面的不流畅或者声音和视频不同步的问题。所以SurfaceView和大部分视频应用一样，通过双缓冲的机制来显示帧图像。那么什么是双缓冲呢？双缓冲可以理解为有两个线程轮番去解析视频流的帧图像，当一个线程解析完帧图像后，把图像渲染到界面中，同时另一线程开始解析下一帧图像，使得两个线程轮番配合去解析视频流，以达到流畅播放的效果。

下图演示了双缓冲的过程，线程1和线程2配合解析渲染视频流的帧图像：

image

SurfaceHolder

SurfaceView内部实现了双缓冲的机制，但是实现这个功能是非常消耗系统内存的。因为移动设备的局限性，Android在设计的时候规定，SurfaceView如果为用户可见的时候，创建SurfaceView的SurfaceHolder用于显示视频流解析的帧图片，如果发现SurfaceView变为用户不可见的时候，则立即销毁SurfaceView的SurfaceHolder，以达到节约系统资源的目的。

如果开发人员不对SurfaceHolder进行维护，会出现最小化程序后，再打开应用的时候，视频的声音在继续播放，但是不显示画面了的情况，这就是因为当SurfaceView不被用户可见的时候，之前的SurfaceHolder已经被销毁了，再次进入的时候，界面上的SurfaceHolder已经是新的SurfaceHolder了。所以SurfaceHolder需要我们开发人员去编码维护，维护SurfaceHolder需要用到它的一个回调，SurfaceHolder.Callback()，它需要实现如下三个方法：

1. void surfaceDestroyed(SurfaceHolder holder)
   当SurfaceHolder被销毁的时候回调

2.void surfaceCreated(SurfaceHolder holder)
当SurfaceHolder被创建的时候回调

3.void surfaceChange(SurfaceHolder holder)
当SurfaceHolder的尺寸发生变化的时候被回调

SurfaceView与普通View的区别

SurfaceView，它拥有独立的绘图表面，即它不与其宿主窗口共享同一个绘图表面。由于拥有独立的绘图表面，因此SurfaceView的UI就可以在一个独立的线程中进行绘制。又由于不会占用主线程资源，SurfaceView一方面可以实现复杂而高效的UI，另一方面又不会导致用户输入得不到及时响应。

普通的Android控件，例如TextView、Button等，都是将自己的UI绘制在宿主窗口的绘图表面之上，这意味着它们的UI是在应用程序的主线程中进行绘制的。由于应用程序的主线程除了要绘制UI之外，还需要及时地响应用户输入，否则的话，系统就会认为应用程序没有响应了，因此就会弹出一个ANR对话框出来。对于一些游戏画面，或者摄像头预览、视频播放来说，它们的UI都比较复杂，而且要求能够进行高效的绘制，因此，它们的UI就不适合在应用程序的主线程中进行绘制。这时候就必须要给那些需要复杂而高效UI的视图生成一个独立的绘图表面，以及使用一个独立的线程来绘制这些视图的UI。

一般来说，每一个窗口在SurfaceFlinger服务中都对应有一个Layer，用来描述它的绘图表面。对于那些具有SurfaceView的窗口来说，每一个SurfaceView在SurfaceFlinger服务中还对应有一个独立的Layer或者LayerBuffer，用来单独描述它的绘图表面，以区别于它的宿主窗口的绘图表面。SurfaceFlinger服务负责绘制Android应用程序的UI。SurfaceFlinger服务运行在Android系统的System进程中，它负责管理Android系统的帧缓冲区（Frame Buffer）。

SurfaceView原理

官方文档：

SurfaceView：Provides a dedicated drawing surface embedded inside of a view hierarchy. The surface is Z ordered so that it is behind the window holding its SurfaceView; the SurfaceView punches a hole in its window to allow its surface to be displayed.

翻译解释：

SurfaceView提供一个嵌入视图层级的专用的绘图表面。绘图表面是在Z轴上有序的，SurfaceView在宿主窗体的后面。SurfaceView在宿主窗体上“挖”了一个洞，以此来显示自己的表面。实际上，SurfaceView在其宿主Activity窗口上所挖的“洞”只不过是在其宿主Activity窗口上设置了一块透明区域，以显示自己内容

SurfaceView的绘图表面的创建

我们知道，Activity、Window、View三者紧密联系在一起。我们在Activity中设置setContentView()，最终会调用PhoneWindow的setContentView()。经过WindowManagerImpl#addView，WindowManagerGlobal#addView，ViewRootImpl#setView方法，最顶层视图DecorView被添加到Window上。最后通过WMS调用ViewRootImpl#performTraverals方法开始View的测量、布局、绘制流程。

ViewRootImpl类的成员函数performTraversals在执行的过程中，如果发现当前窗口的绘图表面还没有创建，或者发现当前窗口的绘图表面已经失效了，那么就会请求WindowManagerService服务创建一个新的绘图表面，同时，它还会通过一系列的回调函数来让嵌入在窗口里面的SurfaceView有机会创建自己的绘图表面。

虽然SurfaceView不与它的宿主窗口共享同一个绘图表面，但是它仍然是属于宿主窗口的视图结构的一个结点的，也就是说，SurfaceView仍然是会参与到宿主窗口的某些执行流程中去。

1 SurfaceView.onAttachedToWindow

image

说明：SurfaceView在Z轴上位置是小于其宿主窗口的Z轴位置的。为了保证SurfaceView的UI是可见的，SurfaceView就需要在其宿主窗口的上面打一个孔出来，实际上就是在其宿主窗口的绘图表面上设置一块透明区域，以便可以将自己显示出来。SurfaceView类的成员函数onAttachedToWindow调用mParent.requestTransparentRegion(SurfaceView.this)去通知父View，当前正在处理的SurfaceView需要在宿主窗口的绘图表面上打一个孔，即需要在宿主窗口的绘图表面上设置一块透明区域。

2. SurfaceView.onWindowVisibilityChanged

image

说明：类SurfaceView调用updateSurface来更新当前正在处理的SurfaceView。在更新的过程中，如果发现当前正在处理的SurfaceView还没有创建绘图表面，那么就会请求WindowManagerService服务为它创建一个。

3.SurfaceView.updateRequestedVisibility

image

说明：mWindowVisibility表示SurfaceView的宿主窗口的可见性，mViewVisibility表示SurfaceView自身的可见性。只有当mWindowVisibility和mViewVisibility的值均等于true，且宿主窗口没有停止，mRequestedVisible的值才为true，表示SurfaceView是可见的。

4.SurfaceView.updateSurface

mSurface：这个Surface对象描述的是SurfaceView专有的绘图表面，在SurfaceView对象创建时就会被实例化。updateSurface方法根据实际条件判断创建或更新mSurface。

SurfaceView的绘制

如何在一个绘图表面上进行UI绘制？

1.在绘图表面的基础上建立一块画布，即获得一个Canvas对象

2.利用Canvas类提供的绘图方法在前面获得的画布上绘制任意的UI

3.最后通过SurfaceFlinger服务将它合成到屏幕上去

SurfaceView如何绘制？

1.通过SurfaceView的getHolder方法获得SurfaceHolder
2.通过SurfaceHolder的lockCanvas方法获得Canvas
3.上面会走到Surface的lockCanvas方法获得Canvas
4.在Canvas上绘制UI
5.通过SurfaceHolder的unlockCanvasAndPost将绘制好的canvas投递到surface上
6.上面会走到Surface的unlockCanvasAndPost方法
参考文档

https://developer.android.com/reference/android/view/SurfaceView

https://www.cnblogs.com/plokmju/p/android_SurfaceView.html

https://blog.csdn.net/luoshengyang/article/details/8661317/

https://www.jianshu.com/p/700defb6f14b

https://www.jianshu.com/p/02800806356c