音视频开源项目列表

音视频开源项目列表

一、多媒体处理框架

通用音视频处理

• FFmpeg - https://github.com/FFmpeg/FFmpeg

  • 最强大的音视频处理工具库
  • 支持几乎所有格式的编解码
  • 提供命令行工具和开发库

• GStreamer - https://gitlab.freedesktop.org/gstreamer/gstreamer

  • 跨平台多媒体框架
  • 基于管道的媒体处理
  • 丰富的插件系统

• libav - https://github.com/libav/libav

  • FFmpeg的分支项目
  • 更专注于代码整洁性
  • API与FFmpeg类似

• MediaPipe - https://github.com/google/mediapipe

  • Google的多媒体机器学习框架
  • 支持人脸检测、手势识别等
  • 跨平台支持

二、流媒体传输

WebRTC相关

• WebRTC - https://webrtc.googlesource.com/src/

  • Google实时通信框架
  • 支持音视频通话、屏幕共享
  • P2P通信核心库

• Janus Gateway - https://github.com/meetecho/janus-gateway

  • WebRTC网关服务器
  • 支持多种信令协议
  • 可扩展的插件架构

• mediasoup - https://github.com/versatica/mediasoup

  • WebRTC SFU媒体服务器
  • 高性能C++实现
  • 支持多语言客户端

• Kurento - https://github.com/Kurento/kurento-media-server

  • WebRTC媒体服务器
  • 支持录制、转码等功能
  • 提供丰富的API

RTMP/HLS/DASH相关

• SRS (Simple Realtime Server) - https://github.com/ossrs/srs

  • 简单高效的流媒体服务器
  • 支持RTMP/HLS/WebRTC
  • 国产优秀开源项目

• nginx-rtmp-module - https://github.com/arut/nginx-rtmp-module

  • Nginx的RTMP模块
  • 支持RTMP推流和播放
  • 可与Nginx生态集成

• Node-Media-Server - https://github.com/illuspas/Node-Media-Server

  • 基于Node.js的流媒体服务器
  • 支持RTMP/HLS/DASH
  • 易于部署和扩展

• Live555 - http://www.live555.com/liveMedia/

  • RTSP/RTP协议栈实现
  • C++编写，跨平台
  • 用于IP摄像头等场景

三、播放器

跨平台播放器

• VLC - https://github.com/videolan/vlc

  • 最流行的开源播放器
  • 支持几乎所有音视频格式
  • 跨平台，功能强大

• MPV - https://github.com/mpv-player/mpv

  • 轻量级高性能播放器
  • 基于FFmpeg和libass
  • 支持硬件加速

• Kodi - https://github.com/xbmc/xbmc

  • 开源媒体中心软件
  • 支持插件扩展
  • 适合HTPC使用

移动端播放器

• ijkplayer - https://github.com/bilibili/ijkplayer

  • Bilibili开源的移动端播放器
  • 基于FFmpeg，支持iOS/Android
  • 轻量级，性能优秀

• ExoPlayer - https://github.com/google/ExoPlayer

  • Google官方Android播放器
  • 支持DASH、HLS等协议
  • 高度可定制

• GSYVideoPlayer - https://github.com/CarGuo/GSYVideoPlayer

  • Android视频播放器
  • 支持多种播放内核
  • 功能丰富，易于集成

Web播放器

• video.js - https://github.com/videojs/video.js

  • HTML5视频播放器
  • 插件系统丰富
  • 跨浏览器兼容性好

• flv.js - https://github.com/bilibili/flv.js

  • B站开源的FLV播放器
  • 纯JavaScript实现
  • 支持HTTP-FLV播放

• hls.js - https://github.com/video-dev/hls.js

  • JavaScript HLS播放器
  • 支持MSE技术
  • 轻量级，性能好

四、编解码器

视频编解码

• x264 - https://www.videolan.org/developers/x264.html

  • 最流行的H.264编码器
  • 高性能，广泛使用
  • 支持多种预设和参数

• x265 - https://github.com/videolan/x265

  • H.265/HEVC编码器
  • 更高压缩率
  • 支持HDR和10bit

• OpenH264 - https://github.com/cisco/openh264

  • Cisco开源的H.264编解码器
  • BSD许可证
  • 适合WebRTC使用

• libvpx - https://github.com/webmproject/libvpx

  • VP8/VP9编解码器
  • Google开发
  • WebM格式核心

• libaom - https://aomedia.googlesource.com/aom/

  • AV1编解码器参考实现
  • 下一代视频编码标准
  • 开放媒体联盟开发

• SVT-AV1 - https://github.com/OpenVisualCloud/SVT-AV1

  • Intel的AV1编码器
  • 高性能实现
  • 适合服务器端使用

音频编解码

• Opus - https://github.com/xiph/opus

  • 现代音频编解码器
  • 低延迟，高质量
  • 适合实时通信

• LAME - https://lame.sourceforge.io/

  • MP3编码器
  • 高质量实现
  • 广泛使用

• FLAC - https://github.com/xiph/flac

  • 无损音频编解码器
  • 开源免费
  • 音乐爱好者首选

• Speex - https://github.com/xiph/speex

  • 语音编解码器
  • 针对人声优化
  • 支持降噪等功能

五、音频处理

音频库

• PortAudio - http://www.portaudio.com/

  • 跨平台音频I/O库
  • 支持多种音频API
  • 实时音频处理

• RtAudio - https://github.com/thestk/rtaudio

  • C++音频I/O库
  • 简单易用的API
  • 跨平台支持

• OpenAL - https://github.com/kcat/openal-soft

  • 3D音频API
  • 游戏音频常用
  • 支持空间音效

音频处理工具

• SoX - https://sourceforge.net/projects/sox/

  • 音频处理瑞士军刀
  • 命令行工具
  • 支持多种音频效果

• Audacity - https://github.com/audacity/audacity

  • 开源音频编辑器
  • 图形界面
  • 功能丰富

• Ardour - https://github.com/Ardour/ardour

  • 专业数字音频工作站
  • 多轨录音和编辑
  • 支持插件

六、计算机视觉

图像处理

• OpenCV - https://github.com/opencv/opencv

  • 最流行的计算机视觉库
  • 丰富的图像处理算法
  • 支持多种编程语言

• dlib - https://github.com/davisking/dlib

  • 机器学习工具库
  • 人脸检测和识别
  • C++实现，性能优秀

• ImageMagick - https://github.com/ImageMagick/ImageMagick

  • 图像处理工具集
  • 命令行和API
  • 支持多种图像格式

视频分析

• OpenPose - https://github.com/CMU-Perceptual-Computing-Lab/openpose

  • 人体姿态估计
  • 实时多人检测
  • 基于深度学习

• YOLO - https://github.com/ultralytics/yolov5

  • 目标检测框架
  • 实时性能
  • 易于训练和部署

七、实时通信

信令服务器

• Janus - https://github.com/meetecho/janus-gateway

  • WebRTC网关
  • 支持多种协议
  • 插件架构

• Kurento - https://github.com/Kurento/kurento-media-server

  • 媒体服务器
  • WebRTC支持
  • 录制和处理功能

• Coturn - https://github.com/coturn/coturn

  • TURN/STUN服务器
  • NAT穿透必备
  • 高性能实现

SIP/VoIP

• FreeSWITCH - https://github.com/signalwire/freeswitch

  • 软交换平台
  • 支持多种协议
  • 企业级通信方案

• Asterisk - https://github.com/asterisk/asterisk

  • 开源PBX系统
  • VoIP电话系统
  • 强大的可扩展性

• PJSIP - https://github.com/pjsip/pjproject

  • SIP协议栈
  • 跨平台支持
  • 音视频通信库

八、工具和实用程序

分析工具

• MediaInfo - https://github.com/MediaArea/MediaInfo

  • 媒体文件信息分析
  • 支持多种格式
  • GUI和CLI版本

• ffprobe - FFmpeg工具集的一部分

  • 媒体流分析工具
  • 详细的技术信息
  • 命令行工具

• VLC media player - 内置分析功能

  • 编解码信息查看
  • 流媒体分析
  • 图形界面

开发工具

• OBS Studio - https://github.com/obsproject/obs-studio

  • 开源直播和录制软件
  • 插件系统
  • 跨平台支持

• Kdenlive - https://github.com/KDE/kdenlive

  • 开源视频编辑器
  • 非线性编辑
  • 丰富的特效

• Shotcut - https://github.com/mltframework/shotcut

  • 跨平台视频编辑器
  • 基于MLT框架
  • 易于使用

九、移动端SDK

Android

• CameraX - https://developer.android.com/training/camerax

  • Google相机库
  • 简化相机开发
  • 兼容性好

• Mobile FFmpeg - https://github.com/tanersener/mobile-ffmpeg

  • 移动端FFmpeg
  • iOS/Android支持
  • 轻量级实现

iOS

• GPUImage - https://github.com/BradLarson/GPUImage2

  • GPU加速图像处理
  • 实时滤镜
  • Swift实现

• LFLiveKit - https://github.com/LaiFengiOS/LFLiveKit

  • iOS直播推流SDK
  • RTMP推流
  • 美颜滤镜

跨平台

• React Native Video - https://github.com/react-native-video/react-native-video

  • React Native视频组件
  • 跨平台播放器
  • 易于集成

• Flutter Video Player - https://pub.dev/packages/video_player

  • Flutter视频播放插件
  • 官方维护
  • 跨平台支持

十、AI音视频处理

语音识别

• Whisper - https://github.com/openai/whisper

  • OpenAI语音识别模型
  • 多语言支持
  • 高准确率

• DeepSpeech - https://github.com/mozilla/DeepSpeech

  • Mozilla语音识别引擎
  • 端到端深度学习
  • 开源免费

音频AI

• Spleeter - https://github.com/deezer/spleeter

  • 音源分离工具
  • 人声提取
  • 基于深度学习

• RVC - https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI

  • AI变声工具
  • 实时语音转换
  • Web界面

视频AI

• Real-ESRGAN - https://github.com/xinntao/Real-ESRGAN

  • 图像超分辨率
  • 视频增强
  • 实用的AI模型

• DeepFaceLab - https://github.com/iperov/DeepFaceLab

  • 深度换脸技术
  • 视频人脸替换
  • 强大的训练工具

这些开源项目涵盖了音视频开发的各个方面，从基础的编解码到高级的AI处理。选择合适的项目可以大大加快开发进度，同时通过阅读源码也能深入学习音视频技术。建议从简单的项目开始，逐步深入到更复杂的系统级项目。