流媒体服务器、海康威视 大华摄像头实现视频监控、直播解决方案
程序员文章站
2022-08-07 10:02:34
随着互联网+物联网进程的加快，视频监控应用领域变得越来越广泛，其中海康威视 大华等品牌的摄像头频繁出现在视野中。由于去年也实现过智慧工地项目上的视频监控方案，加上当今直播趋势不减。现在总结一下： 缘由：是1对N 点对多的直播方式, 一般都是采用服务器转发，所以此处不考虑WebRTC这种端对端的方式， ......
随着互联网+物联网进程的加快，视频监控应用领域变得越来越广泛，其中海康威视 大华等品牌的摄像头频繁出现在视野中。由于去年也实现过智慧工地项目上的视频监控方案，加上当今直播趋势不减。现在总结一下：
缘由：是1对n 点对多的直播方式, 一般都是采用服务器转发，所以此处不考虑webrtc这种端对端的方式，webrtc将在下一篇文章中讲解下实现思路。
前提：需要海康威视或大华的摄像头，大华摄像头清晰度 品质较好，但相对于海康的摄像头较贵，所以海康威视的摄像头更受口袋欢迎。
一.自建流媒体服务器
第一种方式就是自建流媒体服务器，然后自己实现采集推流 到服务器 拉流到客户端播放。先看一张图：
- 先客户端软件或设备采集视频流和语音流，或者是摄像头硬件采集的画面流等（如何采集就属于硬件相关的问题了，此处不讨论）
- 然后通过推流的方式推到流媒体服务器，推流协议可以使用rtmp rmsp，这2种都是基于tcp的 不会丢包。但是很容易造成高延迟（具体的看服务器 网络 是否做cdn来支撑）。
1 //可指定h264或h265编码，可以把h265编码看成是h264编码的升级版，在码率 体积 清晰度 移动补偿上更友好些 2 //大体结构为：rtsp://摄像头用户名:密码@地址：端口 服务器上地址参数... 3 rtsp://admin:yjt_jiankong@192.168.0.60:554/h264/ch1/main/av_stream 4 rtsp://admin:yjt_jiankong@192.168.0.60:554/streaming/channels/101?transportmode=unicast
以上方式只是实现了流推送到了服务器，并没有指定它播放地址以及播放的转码。因此我们可以考虑使用ffmpeg，这是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。也就是使用ffmpeg不光可以本地采集流还可以指定推送到那一台服务器上和它的播放地址等等；
1 //ffmpeg -re -i表示使用的协议和协议的参数，具体的参数意义请百度 2 //接着是和上面一样的推流，这里使用的是rtsp，建议用rtmp，本帅在使用中感觉rtmp兼容性更好 web前端使用rtmp更方便。比如前端用flash插件。或者video标签等等。 3 //然后是基于tcp 转码 播放的地址，比如播放地址是：rtsp://117.250.250.250/cameratest 4 ffmpeg -re -i rtsp://admin:yjt_jiankong@192.168.0.60:554/h264/ch1/main/av_stream -rtsp_transport tcp -vcodec h264 -f rtsp rtsp://localhost/test 5 ffmpeg -i rtsp://admin:yjt_jiankong@192.168.0.60:554/h264/ch1/main/av_stream -rtsp_transport tcp -vcodec h264 -f rtsp rtsp://117.250.250.250/cameratest
注意播放地址前指定播放协议，比如rtsp rtsp://117.250.250.250/cameratest。如果是rtmp那么最后就应该是：rtmp rtmp://117........................
- 流媒体服务器做一些编码转码处理等将流分发给各个客户端，进而进行拉流播放。那么问题来了 如何实现流媒体服务器呢？如何架设？？？
- 架设上我们可以使用nginx rtmp-module模块来架设，架设好后就可以使用rtmp推流给它。还可以用上面第2点中的ffmpeg命令写一个bat脚本来测试摄像头和架设的流媒体。
- pc端播放使用rtmp flash来进行播放（h5中的video标签了解一下），移动端播放使用hls m3u8 rtmp来进行播放（具体播放方式视项目框架情况而定）。看网上有人还使用flv + http stream 进行播放的。
- 后期出现了并发 播放量增多的压力可以把nginx做分层（接入层+交换层），或者是转发一下做负载均衡，或者cdn来支撑。前期如果考虑到后期会使用cdn也可以直接跳过nginx 一开始用cdn的直播服务。
二.接入第三方平台
在之前的项目中是购买了海康威视的摄像头，所以为了方便快捷的开发，是接入了第三方平台，由第三方平台进行管理和转发。大体流程是往第三方平台注册摄像头信息（序列号 验证码），然后流直接走第三方平台，自己服务端只需要获取三方平台的api接口便能得知播放地址 直接客户端播放。使用的是。
我们可以在自己的项目中往萤石云注册摄像头信息（也就是调用萤石云接口 往萤石云写一条数据），然后在需要用的地方获取萤石云api接口播放地址。完全不用管流的处理（得充值）。
提供一份对萤石云请求封装的类(c#代码)：
1 using newtonsoft.json;
2 using system;
3 using system.collections.generic;
4 using system.linq;
5 using system.net.http;
6 using system.net.http.headers;
7 using system.text;
8 using system.threading.tasks;
9 using yjt.common;
10
11 /*20190819 by suzong */
12 namespace yjt.wisdom.api.lib
13 {
14 /// <summary>
15 /// 萤石云请求封装
16 /// </summary>
17 public class ysclient
18 {
19 private static readonly string requesturl = "https://open.ys7.com/";
20 private static readonly string appkey = "";//官网注册获得
21 private static readonly string appsecret = "";//官网注册获得
22
23 /// <summary>
24 /// 获得token
25 /// </summary>
26 /// <returns>{code:200,data:{accesstoken:"",expiretime:精确到毫秒}}</returns>
27 public static async task<string> gettoken()
28 {
29 string key = confighelper.getsetting("cachekey:ystoken") ?? "ysaccesstoken";
30 string tokenstr = memorycachehelper.get(key)?.tostring();
31 if (string.isnullorempty(tokenstr))
32 {
33 string str = await httphelper.httppostasync($"{requesturl}api/lapp/token/get?appkey={appkey}&appsecret={appsecret}");
34 ysresult result = jsonconvert.deserializeobject<ysresult>(str);
35 //缓存token 缓存时间为5天
36 tokenstr = result?.data?.accesstoken;
37 memorycachehelper.set(key, tokenstr, timespan.fromdays(5));
38 }
39 return tokenstr;
40 }
41
42 /// <summary>
43 /// 添加设备
44 /// </summary>
45 /// <param name="deviceserial">设备序列号</param>
46 /// <param name="validatecode">设备验证码</param>
47 /// <returns></returns>
48 public static async task<ysresult> savedevice(string deviceserial, string validatecode)
49 {
50 if (string.isnullorempty(deviceserial) || string.isnullorempty(validatecode))
51 return new ysresult() { code = "-1", msg = "缺少验证码或序列号" };
52
53 string str = await httphelper.httppostasync($"{requesturl}api/lapp/device/add?accesstoken={gettoken().result}&deviceserial={deviceserial.toupper()}&validatecode={validatecode.toupper()}");
54 return jsonconvert.deserializeobject<ysresult>(str);
55 }
56
57 /// <summary>
58 /// 关闭视频加密
59 /// </summary>
60 /// <param name="deviceserial">设备序列号</param>
61 /// <param name="validatecode">设备验证码</param>
62 /// <returns>{code:200}</returns>
63 public static async task<ysresult> offencryption(string deviceserial, string validatecode)
64 {
65 if (string.isnullorempty(deviceserial) || string.isnullorempty(validatecode))
66 return new ysresult() { code = "-1", msg = "缺少验证码或序列号" };
67 string str = await httphelper.httppostasync($"{requesturl}api/lapp/device/encrypt/off?accesstoken={gettoken().result}&deviceserial={deviceserial.toupper()}&validatecode={validatecode.toupper()}");
68 return jsonconvert.deserializeobject<ysresult>(str);
69 }
70
71 /// <summary>
72 /// 删除设备
73 /// </summary>
74 /// <param name="token"></param>
75 /// <param name="deviceserial">设备序列号</param>
76 /// <returns>{code:200}</returns>
77 public static async task<ysresult> deletedevice(string deviceserial)
78 {
79 if (string.isnullorempty(deviceserial))
80 return new ysresult() { code = "-1", msg = "缺少序列号" };
81
82 string str = await httphelper.httppostasync($"{requesturl}api/lapp/device/delete?accesstoken={gettoken().result}&deviceserial={deviceserial.toupper()}");
83 return jsonconvert.deserializeobject<ysresult>(str);
84 }
85
86 /// <summary>
87 /// 获取直播地址 wss地址 #get请求 每次获取
88 /// </summary>
89 /// <param name="token"></param>
90 /// <param name="deviceserial">设备序列号</param>
91 /// <param name="validatecode">设备验证码</param>
92 /// <returns></returns>
93 public static async task<string> getplaywss(string deviceserial, string validatecode)
94 {
95 if (string.isnullorempty(deviceserial) || string.isnullorempty(validatecode))
96 return null;
97 //{"retcode":0,"msg":"成功","data":{"tokens":["ot.cadfwa3t0dkdn62x5qf257es7dbq1cie-1vwkltfwtz-1w1jc79-9eabx2bbz"],"params":"&auth=1&biz=4&cln=100"}}
98 string str = await httphelper.httpgetasync($"{requesturl}jssdk/ezopen/getstreamtoken?accesstoken={gettoken().result}&num=1&type=live");
99 ysresult result = jsonconvert.deserializeobject<ysresult>(str);
100 if (result.retcode == 0)
101 {
102 string tokensstr = result?.data?.tokens[0];
103 string paramstr = result?.data["params"];
104 //wss://jsdecoder.ys7.com:20006/live?dev=设备序列号&chn=1&stream=2&ssn=刚才获取的tokens[0]+刚才获取的params的字符串。作为wssurl，此地址可以加上checkcode=验证码作为视频加密传输。
105 return $"wss://jsdecoder.ys7.com:20006/live?dev={deviceserial}&chn=1&stream=2&ssn={tokensstr}{paramstr}&checkcode={validatecode}";
106 }
107 return null;
108 }
109
110 /// <summary>
111 /// 获取直播地址 #返回rtmp地址
112 /// </summary>
113 /// <param name="token"></param>
114 /// <param name="deviceserial">设备序列号</param>
115 /// <returns>返回rtmp</returns>
116 public static async task<string> getplayrtmp(string deviceserial)
117 {
118 if (string.isnullorempty(deviceserial))
119 return null;
120 string str = await httphelper.httppostasync($"{requesturl}api/lapp/live/address/get?accesstoken={gettoken().result}&source={deviceserial}:1");
121 ysresult result = jsonconvert.deserializeobject<ysresult>(str);
122 if (result.code.equals("200"))
123 return result?.data[0]?.rtmp;
124 return null;
125 }
126
127 /// <summary>
128 /// 获取设备可有的权限
129 /// </summary>
130 /// <param name="token"></param>
131 /// <param name="deviceserial">设备序列号</param>
132 /// <returns>data:
133 ///{
134 /// supprot_encrypt 是否支持视频图像加密 0 - 不支持, 1 - 支持
135 /// support_modify_pwd 是否支持修改设备加密密码: 0 - 不支持, 1 - 支持
136 /// ptz_top_bottom 是否支持云台上下转动 0 - 不支持, 1 - 支持
137 /// ptz_left_right 是否支持云台左右转动 0 - 不支持, 1 - 支持
138 /// ptz_45 是否支持云台45度方向转动 0 - 不支持, 1 - 支持
139 /// ptz_zoom 是否支持云台缩放控制 0 - 不支持, 1 - 支持
140 /// ptz_focus 是否支持焦距模式 0 - 不支持, 1 - 支持
141 ///}code: 200
142 /// </returns>
143 public static async task<ysresult<ysroles>> getdevicerole(string deviceserial)
144 {
145 if (string.isnullorempty(deviceserial))
146 return new ysresult<ysroles>() { code = "-1", msg = "缺少序列号" };
147
148 string str = await httphelper.httppostasync($"{requesturl}api/lapp/device/capacity?accesstoken={gettoken().result}&deviceserial={deviceserial.toupper()}");
149 return jsonconvert.deserializeobject<ysresult<ysroles>>(str);
150 }
151
152 /// <summary>
153 /// 云台控制开始
154 /// </summary>
155 /// <param name="token"></param>
156 /// <param name="deviceserial">设备序列号</param>
157 /// <param name="direction">方向 (操作命令：0 - 上，1 - 下，2 - 左，3 - 右，4 - 左上，5 - 左下，6 - 右上，7 - 右下，8 - 放大，9 - 缩小，10 - 近焦距，11 - 远焦距)</param>
158 /// <param name="speed">速度 (云台速度：0 - 慢，1 - 适中，2 - 快)</param>
159 /// <returns>{code:200}</returns>
160 public static async task<ysresult> cradlecontrolstarts(string token, string deviceserial, int direction, int speed)
161 {
162 if (string.isnullorempty(token) || string.isnullorempty(deviceserial))
163 return null;
164 string str = await httphelper.httppostasync($"{requesturl}api/lapp/device/ptz/start?accesstoken={token}&deviceserial={deviceserial}&channelno=1&direction={direction}&speed={speed}");
165 return jsonconvert.deserializeobject<ysresult>(str);
166 }
167
168 /// <summary>
169 /// 云台控制结束
170 /// </summary>
171 /// <param name="token"></param>
172 /// <param name="deviceserial">设备序列号</param>
173 /// <param name="direction">方向 (操作命令：0-上，1-下，2-左，3-右，4-左上，5-左下，6-右上，7-右下，8-放大，9-缩小，10-近焦距，11-远焦距)</param>
174 /// <returns>{code:200}</returns>
175 public static async task<ysresult> cradlecontrolend(string token, string deviceserial, int direction)
176 {
177 if (string.isnullorempty(token) || string.isnullorempty(deviceserial))
178 return null;
179 string str = await httphelper.httppostasync($"{requesturl}api/lapp/device/ptz/stop?accesstoken={token}&deviceserial={deviceserial}&channelno=1&direction={direction}");
180 return jsonconvert.deserializeobject<ysresult>(str);
181 }
182
183 /// <summary>
184 /// 获取单个设备信息
185 /// </summary>
186 /// <param name="token"></param>
187 /// <param name="deviceserial">设备序列号</param>
188 /// <returns></returns>
189 public static async task<ysresult> getdeviceinfo(string deviceserial)
190 {
191 if (string.isnullorempty(deviceserial))
192 return null;
193 string str = await httphelper.httppostasync($"{requesturl}api/lapp/device/info?accesstoken={gettoken().result}&deviceserial={deviceserial}");
194 ysresult result = jsonconvert.deserializeobject<ysresult>(str);
195 if (result.code.equals("200"))
196 return result;
197 return null;
198 }
199
200 /// <summary>
201 /// 开通直播功能
202 /// </summary>
203 /// <param name="deviceserial">设备序列号</param>
204 /// <returns></returns>
205 public static async task<ysresult> liveopen(string deviceserial)
206 {
207 if (string.isnullorempty(deviceserial))
208 return null;
209 string str = await httphelper.httppostasync($"{requesturl}api/lapp/live/video/open?accesstoken={gettoken().result}&source={deviceserial}:1");
210 return jsonconvert.deserializeobject<ysresult>(str);
211 }
212
213
214 }
215
216 /// <summary>
217 /// 萤石云返回对象
218 /// </summary>
219 public class ysresult<t>
220 {
221 public string code { get; set; }
222 public t data { get; set; }
223 public string msg { get; set; }
224 public int retcode { get; set; }
225 }
226 public class ysresult : ysresult<dynamic>
227 {
228 }
229
230 /// <summary>
231 /// 萤石云设备能力集
232 /// </summary>
233 public class ysroles
234 {
235 /// <summary>
236 /// 是否支持视频图像加密 0 - 不支持, 1 - 支持
237 /// </summary>
238 public int supprot_encrypt { get; set; } = 0;
239 /// <summary>
240 /// 是否支持修改设备加密密码: 0 - 不支持, 1 - 支持
241 /// </summary>
242 public int support_modify_pwd { get; set; } = 0;
243 /// <summary>
244 /// 是否支持云台上下转动 0 - 不支持, 1 - 支持
245 /// </summary>
246 public int ptz_top_bottom { get; set; } = 0;
247 /// <summary>
248 /// 是否支持云台左右转动 0 - 不支持, 1 - 支持
249 /// </summary>
250 public int ptz_left_right { get; set; } = 0;
251 /// <summary>
252 /// 是否支持云台45度方向转动 0 - 不支持, 1 - 支持
253 /// </summary>
254 public int ptz_45 { get; set; } = 0;
255 /// <summary>
256 /// 是否支持云台缩放控制 0 - 不支持, 1 - 支持
257 /// </summary>
258 public int ptz_zoom { get; set; } = 0;
259 /// <summary>
260 /// 是否支持焦距模式 0 - 不支持, 1 - 支持
261 /// </summary>
262 public int ptz_focus { get; set; } = 0;
263 }
264
265 }
三.使用开源流媒体框架
开源流媒体框架就很多了，常见的srs国产的。安装 推流 拉流。可用于直播/录播/视频客服等多种场景，其定位是运营级的互联网直播服务器集群。传送门： 喜欢的可以自己去了解了解。
提醒：你所购买的摄像头硬件上都会有摄像头的名称 序列号 验证码信息，摄像头厂商比如海康会有搜索局域网内摄像头的一个工具（官网去找）。一个web界面的后台用于设置摄像头通道 配置信息等，在局域网内连接上摄像头 浏览器地址栏输入对应的地址就可以登录当前摄像头后台。
附赠几个rtsp rtmp免费测试地址（可以先让前端用这些地址先实现播放功能）：
1 rtsp://184.72.239.149/vod/mp4:bigbuckbunny_175k.mov 2 rtsp://195.200.199.8/mpeg4/media.amp 3 rtmp://media3.sinovision.net:1935/live/livestream
end...