>

使用Canvas实时处理Video,来看看机智的前端童鞋怎

- 编辑:正版管家婆马报彩图 -

使用Canvas实时处理Video,来看看机智的前端童鞋怎

HTML5:使用Canvas实时管理Video

2015/09/11 · HTML5 · Canvas

本文由 伯乐在线 - cucr 翻译,唐尤华 校稿。未经许可,幸免转发!
法文出处:mozilla。接待加入翻译组。

结合HTML5下的videocanvas的效能,你能够实时处理摄像数据,为正在播放的录制增加五光十色的视觉效果。本课程演示怎么着接收JavaScript代码达成chroma-keying特效(也被喻为“紫铜色显示屏效应”)。

请看这些实例.

来拜会机智的前端童鞋怎么防盗

2016/07/12 · JavaScript · 4 评论 · HTML5

原稿出处: VaJoy   

成百上千支出的童鞋都是寥寥混江湖、夜宿城中村,假若居住的地点安全保卫欠缺,那么身在异地难免担忧屋里的资产安全。

实质上世面上有超多受人尊敬的人上的防盗设备,但对此灵动的前端童鞋来讲,只要有少年老成台附带录制头的计算机,就能够省略地落到实处贰个防盗监察和控制体系~

纯 JS 的“防盗”技巧超级大程度依赖于 H5 canvas 的本事,且十二分有趣。如果您对 canvas 还不熟悉,可以先点这里翻阅作者的洪水横流教程。

step1. 调用录像头

我们要求先在浏览器上访谈和调用录制头,用来监督屋企里的举措。分裂浏览器中调用摄像头的 API 都略有出入,在这里处我们以 chrome 做示范:

JavaScript

<video width="640" height="480" autoplay></video> <script> var video = document.querySelector('video'); navigator.webkitGetUserMedia({ video: true }, success, error); function success(stream) { video.src = window.webkitURL.createObjectURL(stream); video.play(); } function error(err) { alert('video error: ' + err) } </script>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<video width="640" height="480" autoplay></video>
 
<script>
    var video = document.querySelector('video');
 
    navigator.webkitGetUserMedia({
                video: true
            }, success, error);
 
    function success(stream) {
        video.src = window.webkitURL.createObjectURL(stream);
        video.play();
    }
 
    function error(err) {
        alert('video error: ' + err)
    }
</script>

运营页面后,浏览器出于安全性思虑,会了然是不是同意当前页面访问你的录制头设备,点击“允许”后便能一向在 <video> 上来看拍片头捕获到的镜头了:

图片 1

step2. 捕获 video 帧画面

只然则开着摄像头监视房间可不曾其余意义,浏览器不会帮你对监控画面举行深入剖判。所以那边大家顺遂动用脚本捕获 video 上的帧画面,用于在世襲开展数据深入深入分析。

从那边开端大家将要依附 canvas 力量了。在 Canvas入门(五)一文我们介绍过 ctx.drawImage() 方法,通过它可以捕获 video 帧画面并渲染到画布上。

大家需求创立二个画布,然后这么写:

JavaScript

<video width="640" height="480" autoplay></video> <canvas width="640" height="480"></canvas> <script> var video = document.querySelector('video'卡塔尔; var canvas = document.querySelector('canvas'卡塔尔(英语:State of Qatar); // video捕获录制头画面 navigator.webkitGetUserMedia({ video: true }, success, error卡塔尔(قطر‎; function success(stream卡塔尔 { video.src = window.webkitU奥迪Q3L.createObjectU奥德赛L(stream卡塔尔(قطر‎; video.play(卡塔尔(英语:State of Qatar); } function error(err卡塔尔国 { alert('video error: ' + err卡塔尔国 } //canvas var context = canvas.getContext('2d'卡塔尔国; setTimeout(function(卡塔尔国{ //把当前录制帧内容渲染到画布上 context.drawImage(video, 0, 0, 640, 480卡塔尔国; }, 5000卡塔尔(قطر‎; </script>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
<video width="640" height="480" autoplay></video>
<canvas width="640" height="480"></canvas>
 
<script>
    var video = document.querySelector('video');
    var canvas = document.querySelector('canvas');
 
    // video捕获摄像头画面
    navigator.webkitGetUserMedia({
                video: true
            }, success, error);
 
    function success(stream) {
        video.src = window.webkitURL.createObjectURL(stream);
        video.play();
    }
 
    function error(err) {
        alert('video error: ' + err)
    }
 
    //canvas
    var context = canvas.getContext('2d');
 
    setTimeout(function(){
        //把当前视频帧内容渲染到画布上
        context.drawImage(video, 0, 0, 640, 480);
    }, 5000);
 
</script>

如上代码所示,5秒后把摄像帧内容渲染到画布上(下方右图)

图片 2

step3. 对抓获的四个帧画面实施差距混合

在下面大家关系过,要得力地分辨有些场景,须求对录制镜头进行数据解析。

那么要怎么分辨我们的房舍是不是有人忽地闯入了啊?答案比相当粗略 —— 定期地捕获 video 画面,然后相比较前后两帧内容是或不是存在比较大变迁。

大家先轻巧地写多个依期捕获的措施,并将捕获到的帧数据存起来:

JavaScript

//canvas var context = canvas.getContext('2d'卡塔尔(قطر‎; var preFrame, //前大器晚成帧 curFrame; //当前帧 //捕获并保存帧内容 function captureAndSaveFrame(卡塔尔(قطر‎{ console.log(context卡塔尔(英语:State of Qatar); preFrame = curFrame; context.drawImage(video, 0, 0, 640, 480卡塔尔; curFrame = canvas.toDataU福睿斯L; //转为base64并保存 } //定时捕获 function timer(delta卡塔尔(英语:State of Qatar){ setTimeout(function(卡塔尔(قطر‎{ captureAndSaveFrame(卡塔尔(英语:State of Qatar); timer(delta卡塔尔(英语:State of Qatar) }, delta || 500卡塔尔(قطر‎; } timer(卡塔尔国;

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
    //canvas
    var context = canvas.getContext('2d');
    var preFrame,   //前一帧
        curFrame;   //当前帧
 
    //捕获并保存帧内容
    function captureAndSaveFrame(){ console.log(context);
        preFrame = curFrame;
        context.drawImage(video, 0, 0, 640, 480);
        curFrame = canvas.toDataURL;  //转为base64并保存
    }
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            timer(delta)
        }, delta || 500);
    }
 
    timer();

如上代码所示,画布会每间距500纳秒捕获并渲染一遍 video 的帧内容(夭寿哇,做完那么些动作非常的大心把饼干洒了黄金年代地。。。(“▔□▔)/)

图片 3

静心这里大家利用了 canvas.toDataURL 方法来保存帧画面。

接着就是数据剖判处理了,咱们能够通过比较前后捕获的帧画面来推断录像头是或不是监察和控制到变化,那么如何做吧?

领悟设计的同桌显著平时使用多少个图层功效 —— 混合格局:

图片 4

当有八个图层时,对顶层图层设置“差值/Difference”的和弄情势,能够一清二楚地来看七个图层的不相同:

图片 5

“图A”是自己2018年在铺子楼下拍的相片,然后作者把它有个别调亮了一丝丝,并在地点画了二个X 和 O 获得“图B”。接着作者把它们以“差值”形式混合在一同,拿到了最右的那张图。

JavaScript

“差值”形式原理:要掺杂图层双方的大切诺基GB值中各类值分别开展相比,用高值减去低值作为合成后的水彩,常常用深褐图层合成少年老成图像时,能够博得负片效果的反相图像。用深石绿的话不产生其余变动(玉米黄亮度最低,下层颜色减去最小颜色值0,结果和原本相仿),而用紫红会获得反相效果(下层颜色被减去,获得补值),其余颜色则依据它们的亮度水平

1
“差值”模式原理:要混合图层双方的RGB值中每个值分别进行比较,用高值减去低值作为合成后的颜色,通常用白色图层合成一图像时,可以得到负片效果的反相图像。用黑色的话不发生任何变化(黑色亮度最低,下层颜色减去最小颜色值0,结果和原来一样),而用白色会得到反相效果(下层颜色被减去,得到补值),其它颜色则基于它们的亮度水平

在CSS3中,已经有 blend-mode 脾性来支撑这些美不可言的犬牙相制形式,然则大家开掘,在主流浏览器上,canvas 的 globalCompositeOperation 接口也已经完美帮助了图像混合格局:

于是乎大家再建多一个画布来显示前后两帧差距:

JavaScript

<video width="640" height="480" autoplay></video> <canvas width="640" height="480"></canvas> <canvas width="640" height="480"></canvas> <script> var video = document.querySelector('video'); var canvas = document.querySelectorAll('canvas')[0]; var canvasForDiff = document.querySelectorAll('canvas')[1]; // video捕获录像头画面 navigator.webkitGetUserMedia({ video: true }, success, error卡塔尔(英语:State of Qatar); function success(stream卡塔尔(英语:State of Qatar) { video.src = window.UWranglerL.createObjectU奥德赛L(stream卡塔尔(英语:State of Qatar); video.play(卡塔尔(英语:State of Qatar); } function error(err卡塔尔 { alert('video error: ' + err卡塔尔 } //canvas var context = canvas.getContext('2d'卡塔尔, diffCtx = canvasForDiff.getContext('2d'卡塔尔国; //将第叁个画布混合方式设为“差距” diffCtx.globalCompositeOperation = 'difference'; var preFrame, //前风姿洒脱帧 curFrame; //当前帧 //捕获并保存帧内容 function captureAndSaveFrame(卡塔尔{ preFrame = curFrame; context.drawImage(video, 0, 0, 640, 480卡塔尔(قطر‎; curFrame = canvas.toDataUEscortL(卡塔尔国; //转为base64并保存 } //绘制base64图像到画布上 function drawImg(src, ctx卡塔尔(英语:State of Qatar){ ctx = ctx || diffCtx; var img = new Image(卡塔尔(英语:State of Qatar); img.src = src; ctx.drawImage(img, 0, 0, 640, 480卡塔尔(قطر‎; } //渲染前后两帧差异function renderDiff(卡塔尔{ if(!preFrame || !curFrame卡塔尔 return; diffCtx.clearRect(0, 0, 640, 480卡塔尔(قطر‎; drawImg(preFrame卡塔尔(英语:State of Qatar); drawImg(curFrame卡塔尔国; } //依期捕获 function timer(delta卡塔尔(英语:State of Qatar){ setTimeout(function(卡塔尔国{ captureAndSaveFrame(卡塔尔; renderDiff(卡塔尔国; timer(delta卡塔尔(英语:State of Qatar) }, delta || 500卡塔尔; } timer(卡塔尔(英语:State of Qatar); </script>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
<video width="640" height="480" autoplay></video>
<canvas width="640" height="480"></canvas>
<canvas width="640" height="480"></canvas>
 
<script>
    var video = document.querySelector('video');
    var canvas = document.querySelectorAll('canvas')[0];
    var canvasForDiff = document.querySelectorAll('canvas')[1];
 
    // video捕获摄像头画面
    navigator.webkitGetUserMedia({
                video: true
            }, success, error);
 
    function success(stream) {
        video.src = window.URL.createObjectURL(stream);
        video.play();
    }
 
    function error(err) {
        alert('video error: ' + err)
    }
 
    //canvas
    var context = canvas.getContext('2d'),
        diffCtx = canvasForDiff.getContext('2d');
    //将第二个画布混合模式设为“差异”
    diffCtx.globalCompositeOperation = 'difference';
 
    var preFrame,   //前一帧
        curFrame;   //当前帧
 
    //捕获并保存帧内容
    function captureAndSaveFrame(){
        preFrame = curFrame;
        context.drawImage(video, 0, 0, 640, 480);
        curFrame = canvas.toDataURL();  //转为base64并保存
    }
 
    //绘制base64图像到画布上
    function drawImg(src, ctx){
        ctx = ctx || diffCtx;
        var img = new Image();
        img.src = src;
        ctx.drawImage(img, 0, 0, 640, 480);
    }
 
    //渲染前后两帧差异
    function renderDiff(){
        if(!preFrame || !curFrame) return;
        diffCtx.clearRect(0, 0, 640, 480);
        drawImg(preFrame);
        drawImg(curFrame);
    }
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            renderDiff();
            timer(delta)
        }, delta || 500);
    }
 
    timer();
 
</script>

功能如下(夭寿啊,做完那几个动作笔者又把Sprite洒在键盘上了。。。(#--卡塔尔/ )

图片 6

能够看出,当前后两帧差距相当的小时,第八个画布大概是盲指标一片,独有当拍戏头捕获到动作了,第多少个画布才有鲜明的高亮内容现身。

据此,咱们只供给对第多个画布渲染后的图像实行像素解析——剖断其高亮阈值是还是不是达到规定的标准某些钦定预期:

JavaScript

var context = canvas.getContext('2d'卡塔尔(قطر‎, diffCtx = canvasForDiff.getContext('2d'卡塔尔; //将第一个画布混合情势设为“差别” diffCtx.globalCompositeOperation = 'difference'; var preFrame, //前意气风发帧 curFrame; //当前帧 var diffFrame; //贮存差别帧的imageData //捕获并保存帧内容 function captureAndSaveFrame(卡塔尔(英语:State of Qatar){ preFrame = curFrame; context.drawImage(video, 0, 0, 640, 480卡塔尔(英语:State of Qatar); curFrame = canvas.toDataURAV4L(卡塔尔国; //转为base64并保存 } //绘制base64图像到画布上 function drawImg(src, ctx卡塔尔(英语:State of Qatar){ ctx = ctx || diffCtx; var img = new Image(卡塔尔(英语:State of Qatar); img.src = src; ctx.drawImage(img, 0, 0, 640, 480卡塔尔; } //渲染前后两帧差距 function renderDiff(卡塔尔国{ if(!preFrame || !curFrame卡塔尔(قطر‎ return; diffCtx.clearRect(0, 0, 640, 480卡塔尔国; drawImg(preFrame卡塔尔; drawImg(curFrame); diffFrame = diffCtx.getImageData( 0, 0, 640, 480 卡塔尔(英语:State of Qatar); //捕获差距帧的imageData对象 } //总括差别 function calcDiff(卡塔尔(قطر‎{ if(!diffFrame卡塔尔 return 0; var cache = arguments.callee, count = 0; cache.total = cache.total || 0; //整个画布都以反动时具备像素的值的总额 for (var i = 0, l = diffFrame.width * diffFrame.height * 4; i < l; i += 4) { count += diffFrame.data[i] + diffFrame.data[i + 1] + diffFrame.data[i + 2]; if(!cache.isLoop伊夫r卡塔尔国{ //只需在第二次循环里实践 cache.total += 255 * 3; //单个反革命像素值 } } cache.isLoop伊芙r = true; count *= 3; //亮度放大 //重临“差距画布高亮部分像素总值”占“画布全亮意况像素总值”的比例 return Number(count/cache.total卡塔尔(英语:State of Qatar).toFixed(2卡塔尔(قطر‎; } //准期捕获 function timer(delta卡塔尔(قطر‎{ set提姆eout(function(卡塔尔{ captureAndSaveFrame(卡塔尔国; renderDiff(卡塔尔(英语:State of Qatar); setTimeout(function(卡塔尔{ console.log(calcDiff(卡塔尔(قطر‎卡塔尔; }, 10卡塔尔(قطر‎; timer(delta卡塔尔(قطر‎ }, delta || 500卡塔尔(英语:State of Qatar); } timer(卡塔尔国;

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
    var context = canvas.getContext('2d'),
        diffCtx = canvasForDiff.getContext('2d');
    //将第二个画布混合模式设为“差异”
    diffCtx.globalCompositeOperation = 'difference';
 
    var preFrame,   //前一帧
        curFrame;   //当前帧
 
    var diffFrame;  //存放差异帧的imageData
 
    //捕获并保存帧内容
    function captureAndSaveFrame(){
        preFrame = curFrame;
        context.drawImage(video, 0, 0, 640, 480);
        curFrame = canvas.toDataURL();  //转为base64并保存
    }
 
    //绘制base64图像到画布上
    function drawImg(src, ctx){
        ctx = ctx || diffCtx;
        var img = new Image();
        img.src = src;
        ctx.drawImage(img, 0, 0, 640, 480);
    }
 
    //渲染前后两帧差异
    function renderDiff(){
        if(!preFrame || !curFrame) return;
        diffCtx.clearRect(0, 0, 640, 480);
        drawImg(preFrame);
        drawImg(curFrame);
        diffFrame = diffCtx.getImageData( 0, 0, 640, 480 );  //捕获差异帧的imageData对象
    }
 
    //计算差异
    function calcDiff(){
        if(!diffFrame) return 0;
        var cache = arguments.callee,
            count = 0;
        cache.total = cache.total || 0; //整个画布都是白色时所有像素的值的总和
        for (var i = 0, l = diffFrame.width * diffFrame.height * 4; i < l; i += 4) {
            count += diffFrame.data[i] + diffFrame.data[i + 1] + diffFrame.data[i + 2];
            if(!cache.isLoopEver){  //只需在第一次循环里执行
                cache.total += 255 * 3;   //单个白色像素值
            }
        }
        cache.isLoopEver = true;
        count *= 3;  //亮度放大
        //返回“差异画布高亮部分像素总值”占“画布全亮情况像素总值”的比例
        return Number(count/cache.total).toFixed(2);
    }
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            renderDiff();
            setTimeout(function(){
                console.log(calcDiff());
            }, 10);
 
            timer(delta)
        }, delta || 500);
    }
 
    timer();

悉心这里大家使用了 count *= 3 来推广差别高亮像素的亮度值,不然得出的数值实在太小了。大家运转下页面(图片相当大加载会有一些慢)

图片 7

透过试(xia)验(bai),个人以为固然 calcDiff() 再次来到的比值要是超过0.20,那么就能够定性为“大器晚成间空屋家,忽地有人闯进来”的处境了。

step4. 上报十分图片

当上述的构思发掘存气象时,须要有某种渠道通告我们。有钱有生机的话能够配备个邮件服务器,间接发邮件以至短信通告到本人,but 本文走的吃吐少年路径,就不搞的那么高等了。

那么要怎么着轻巧地落实丰富图片的申报呢?笔者近些日子想到的是 —— 直接把标题图片发送到某些站点中去。

此地大家选拔和讯的“日记”功能,它能够任意上传相关内容。

JavaScript

p.s.,其实这里原来是想直接把图片传遍新浪相册上的,缺憾POST央浼的图样实体必要走 file 格式,即不能通过脚本修正文件的 input[type=file],转 Blob 再上传也没用,只可以作罢。

1
p.s.,其实这里原本是想直接把图片传到博客园相册上的,可惜POST请求的图片实体要求走 file 格式,即无法通过脚本更改文件的 input[type=file],转 Blob 再上传也没用,只好作罢。

我们在保管后台成立日记时,通过 Fiddler 抓包能够看出其伏乞参数非常简单:

图片 8

所以能够间接协会一个诉求:

JavaScript

//卓殊图片上传管理 function submit(卡塔尔国{ //ajax 提交form $.ajax({ url : '', type : "POST", data : { '__VIEWSTATE': '', '__VIEWSTATEGENERATOR': '4773056F', 'Editor$Edit$txbTitle': '告警' + Date.now(), 'Editor$Edit$EditorBody': '<img src="' + curFrame + '" />', 'Editor$Edit$lkbPost': '保存' }, success: function(){ console.log('submit done') } }); }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
    //异常图片上传处理
    function submit(){
 
        //ajax 提交form
        $.ajax({
            url : 'http://i.cnblogs.com/EditDiary.aspx?opt=1',
            type : "POST",
            data : {
                '__VIEWSTATE': '',
                '__VIEWSTATEGENERATOR': '4773056F',
                'Editor$Edit$txbTitle': '告警' + Date.now(),
                'Editor$Edit$EditorBody': '<img src="' + curFrame + '" />',
                'Editor$Edit$lkbPost': '保存'
            },
            success: function(){
                console.log('submit done')
            }
        });
    }

不容置疑倘若央浼页面跟微博域名不一样,是心余力绌发送 cookie 招致必要跨域而失效,可是这么些很好解决,间接纠正 host 就可以(怎么订正就不介绍了,自行百度吗)

自身那边改完 host,通过  的地点访谈页面,发掘录像头竟然失效了~

通过Google的文书档案可以摸清,这是为了安全性思考,非 HTTPS 的服务端央浼都无法联接录制头。可是解决办法也是一些,以 window 系统为例,张开 cmd 命令行面板并一直到 chrome 安装文件夹下,然后实行:

ZSH

chrome --unsafely-treat-insecure-origin-as-secure="" --user-data-dir=C:testprofile

1
chrome --unsafely-treat-insecure-origin-as-secure="http://i.cnblogs.com/h5monitor/final.html"  --user-data-dir=C:testprofile

此举将以沙箱情势打开二个单身的 chrome 进程,并对点名的站点去掉安全限定。注意大家在新开的 chrome 中得重复登入天涯论坛。

那会儿便能符合规律访谈摄像头了,我们对代码做下处理,当差别检查实验开掘非凡时,创设大器晚成份日记,最小间距时间为5秒(但是后来开采没要求,因为微博已经有做了岁月约束,大概10秒后技巧揭橥新的日志)

JavaScript

//定期捕获 function timer(delta卡塔尔(قطر‎{ setTimeout(function(卡塔尔{ captureAndSaveFrame(卡塔尔(قطر‎; renderDiff(卡塔尔; if(calcDiff(卡塔尔 > 0.2卡塔尔(قطر‎{ //监察和控制到丰裕,发日志 submit(卡塔尔国 } timer(delta卡塔尔 }, delta || 500卡塔尔(قطر‎; } setTimeout(timer, 60000 * 10卡塔尔(قطر‎; //设定打开页面十分钟后才起头监控//十分图片上传管理 function submit(卡塔尔{ var cache = arguments.callee, now = Date.now(卡塔尔(قطر‎; if(cache.reqTime && (now - cache.reqTime < 5000卡塔尔(英语:State of Qatar))return; //日记创造最小间距为5秒 cache.reqTime = now; //ajax 提交form $.ajax({ url : '', type : "POST", timeout : 5000, data : { '__VIEWSTATE': '', '__VIEWSTATEGENERATOR': '4773056F', 'Editor$Edit$txbTitle': '告警' + Date.now(), 'Editor$Edit$EditorBody': '<img src="' + curFrame + '" />', 'Editor$Edit$lkbPost': '保存' }, success: function(){ console.log('submit done') }, error: function(err){ cache.reqTime = 0; console.log('error: ' + err) } }); }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            renderDiff();
            if(calcDiff() > 0.2){  //监控到异常,发日志
                submit()
            }
 
            timer(delta)
        }, delta || 500);
    }
 
    setTimeout(timer, 60000 * 10);  //设定打开页面十分钟后才开始监控
 
 
    //异常图片上传处理
    function submit(){
        var cache = arguments.callee,
            now = Date.now();
        if(cache.reqTime && (now - cache.reqTime < 5000)) return;  //日记创建最小间隔为5秒
 
        cache.reqTime = now;
 
        //ajax 提交form
        $.ajax({
            url : 'http://i.cnblogs.com/EditDiary.aspx?opt=1',
            type : "POST",
            timeout : 5000,
            data : {
                '__VIEWSTATE': '',
                '__VIEWSTATEGENERATOR': '4773056F',
                'Editor$Edit$txbTitle': '告警' + Date.now(),
                'Editor$Edit$EditorBody': '<img src="' + curFrame + '" />',
                'Editor$Edit$lkbPost': '保存'
            },
            success: function(){
                console.log('submit done')
            },
            error: function(err){
                cache.reqTime = 0;
                console.log('error: ' + err)
            }
        });
    }

进行作用:

图片 9

日记也是妥妥的出来了:

图片 10

点开就会看出这个的这张图片了:

图片 11

要细心的是,天涯论坛对日记公布数据是有做天天额度限定来防刷的,达到限额的话会导致当天的小说和文章也敬谢不敏公布,所以得小心使用:

图片 12

可是这种样式仅能反映分外图片,暂且不可能让大家当下收悉告警,有意思味的童鞋能够试着再写个 chrome 插件,定期去拉取日记列表做剖断,要是有新增加日记则触发页面 alert。

其他大家自然期望能向来对闯入者进行警戒,那块相比好办 —— 搞个警告的节奏,在丰硕的时候接触播放就可以:

JavaScript

//播放音频 function fireAlarm(卡塔尔(قطر‎{ audio.play(卡塔尔(قطر‎ } //按期捕获 function timer(delta卡塔尔{ setTimeout(function(卡塔尔(英语:State of Qatar){ captureAndSaveFrame(卡塔尔(英语:State of Qatar); if(preFrame && curFrame卡塔尔(قطر‎{ renderDiff(卡塔尔; if(calcDiff(卡塔尔(قطر‎ > 0.2卡塔尔(英语:State of Qatar){ //监察和控制到不行 //发日记 submit(卡塔尔国; //播放音频告急 fireAlarm(卡塔尔(英语:State of Qatar); } } timer(delta卡塔尔 }, delta || 500卡塔尔(英语:State of Qatar); } setTimeout(timer, 60000 * 10卡塔尔(英语:State of Qatar); //设定展开页面十分钟后才起来监控

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
    //播放音频
    function fireAlarm(){
        audio.play()
    }
 
 
    //定时捕获
    function timer(delta){
        setTimeout(function(){
            captureAndSaveFrame();
            if(preFrame && curFrame){
                renderDiff();
                if(calcDiff() > 0.2){  //监控到异常
                    //发日记
                    submit();
                    //播放音频告警
                    fireAlarm();
                }
            }
            timer(delta)
        }, delta || 500);
    }
 
    setTimeout(timer, 60000 * 10);  //设定打开页面十分钟后才开始监控

最终说一下,本文代码均挂在我的github上,有意思味的童鞋能够自助下载。共勉~

1 赞 4 收藏 4 评论

图片 13

文书档案内容

本文使用的XHTML文书档案如下所示。

XHTML

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "; <html xmlns="; <head> <style> body { background: black; color:#CCCCCC; } #c2 { background-image: url(foo.png); background-repeat: no-repeat; } div { float: left; border :1px solid #444444; padding:10px; margin: 10px; background:#3B3B3B; } </style> <script type="text/javascript;version=1.8" src="main.js"></script> </head> <body onload="processor.doLoad()"> <div> <video id="video" src="video.ogv" controls="true"/> </div> <div> <canvas id="c1" width="160" height="96"/> <canvas id="c2" width="160" height="96"/> </div> </body> </html>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN"
        "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
<html xmlns="http://www.w3.org/1999/xhtml">
  <head>
    <style>
      body {
        background: black;
        color:#CCCCCC;
      }
      #c2 {
        background-image: url(foo.png);
        background-repeat: no-repeat;
      }
      div {
        float: left;
        border :1px solid #444444;
        padding:10px;
        margin: 10px;
        background:#3B3B3B;
      }
    </style>
    <script type="text/javascript;version=1.8" src="main.js"></script>
  </head>
 
  <body onload="processor.doLoad()">
    <div>
      <video id="video" src="video.ogv" controls="true"/>
    </div>
    <div>
      <canvas id="c1" width="160" height="96"/>
      <canvas id="c2" width="160" height="96"/>
    </div>
  </body>
</html>

如上代码关键部分如下:

1.开立了五个canvas成分,ID分别为c1和c2。c1用于体现当前帧的原有录制,c2是用来展现推行chroma-keying特效后的视频;c2预加载了一江小鱼态图片,将用来顶替摄像中的背景观部分。
2.JavaScript代码从main.js文件导入;这段脚本使用JavaScript 1.8的特色,所以在导入脚本时,第22行中内定了版本。
3.当网页加载时,main.js中的processor.doLoad(卡塔尔国方法会运转。

JavaScript代码

main.js中的JS代码富含三个法子。

初始化chroma-key

doLoad()方法在XHTML文书档案初叶加载时调用。这一个办法的功效是为chroma-key管理代码准备所需的变量,设置叁个事件侦听器,当客户发轫播报录制时大家能检查实验到。

JavaScript

doLoad: function() { this.video = document.getElementById("video"); this.c1 = document.getElementById("c1"); this.ctx1 = this.c1.getContext("2d"); this.c2 = document.getElementById("c2"); this.ctx2 = this.c2.getContext("2d"); let self = this; this.video.addEventListener("play", function() { self.width = self.video.videoWidth / 2; self.height = self.video.videoHeight / 2; self.timerCallback(); }, false); },

1
2
3
4
5
6
7
8
9
10
11
12
13
doLoad: function() {
    this.video = document.getElementById("video");
    this.c1 = document.getElementById("c1");
    this.ctx1 = this.c1.getContext("2d");
    this.c2 = document.getElementById("c2");
    this.ctx2 = this.c2.getContext("2d");
    let self = this;
    this.video.addEventListener("play", function() {
        self.width = self.video.videoWidth / 2;
        self.height = self.video.videoHeight / 2;
        self.timerCallback();
      }, false);
  },

这段代码获取XHTML文档中video成分和多个canvas成分的援引,还收获了七个canvas的图纸上下文的引用。那一个就要我们贯彻chroma-keying特效时使用。

add伊芙ntListener(卡塔尔(英语:State of Qatar)监听video成分,当顾客按下摄像上的播放按键时被调用。为了应对顾客重播,这段代码获取录像的升幅和冲天,何况减半(大家将在实行chroma-keying效果时将摄像的大小减半),然后调用timerCallback(卡塔尔(英语:State of Qatar)方法来运转录像捕捉和视觉效果总结。

机械漏刻回调

电火花计时器回调函数在摄像开播时被调用(当“播放”事件时有发生时),然后肩负自己周期调用,为每豆蔻年华帧录像完成keying特效。

JavaScript

timerCallback: function() { if (this.video.paused || this.video.ended) { return; } this.computeFrame(); let self = this; setTimeout(function () { self.timerCallback(); }, 0); },

1
2
3
4
5
6
7
8
9
10
timerCallback: function() {
    if (this.video.paused || this.video.ended) {
      return;
    }
    this.computeFrame();
    let self = this;
    setTimeout(function () {
        self.timerCallback();
      }, 0);
  },

回调函数首先检查录疑似否正在播放;若无,回调函数不做其余事并立即再次来到。

下一场调用computeFrame(卡塔尔(قطر‎方法,该方法对脚下录制帧实施chroma-keying特效。

回调函数做的最终风华正茂件事正是调用setTimeout(卡塔尔(قطر‎,来让它自身尽快地被重新调用。在真正遇到中,你可能会基于录制的帧率来设置调用频率。

拍卖摄像帧数据

computeFrame(卡塔尔方法,如下所示,实际上担当抓取每豆蔻梢头帧的多少和试行chroma-keying特效。

JavaScript

computeFrame: function() { this.ctx1.drawImage(this.video, 0, 0, this.width, this.height); let frame = this.ctx1.getImageData(0, 0, this.width, this.height); let l = frame.data.length / 4; for (let i = 0; i < l; i++) { let r = frame.data[i * 4 + 0]; let g = frame.data[i * 4 + 1]; let b = frame.data[i * 4 + 2]; if (g > 100 && r > 100 && b < 43) frame.data[i * 4 + 3] = 0; } this.ctx2.putImageData(frame, 0, 0); return; }

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
computeFrame: function() {
    this.ctx1.drawImage(this.video, 0, 0, this.width, this.height);
    let frame = this.ctx1.getImageData(0, 0, this.width, this.height);
    let l = frame.data.length / 4;
 
    for (let i = 0; i < l; i++) {
      let r = frame.data[i * 4 + 0];
      let g = frame.data[i * 4 + 1];
      let b = frame.data[i * 4 + 2];
      if (g > 100 && r > 100 && b < 43)
        frame.data[i * 4 + 3] = 0;
    }
    this.ctx2.putImageData(frame, 0, 0);
    return;
  }

当它被调用后,video成分将显得最近的录像帧数据,如下所示:

图片 14

在第2行,录像帧被复制到第二个canvas ctx1的图形上下文中,中度和宽度值钦定为大家从前封存的帧大小的四分之二。注意,您能够透过传递video成分到绘图上下文的drawImage(卡塔尔(英语:State of Qatar)方法来绘制当前摄像帧。其结果是:

图片 15

第3行代码通过调用第贰个canvas上下文的getImageData(卡塔尔方法,来博取原始图像数据当前录像帧的三个别本。它提供了庐山真面目目标34个人像素图像数据,那样大家就能够举办操作。第4行代码通过将帧图像数据的路程度除以4,来测算图像的总像素数。

第6行代码循环扫描全部像素,获取各类像素的红、绿、蓝值,同期和预约义的背景象进行相比,这个背景观将用foo.png中程导弹入的背景图像替换。

被检测成背景的每三个像素,将它的阿尔法值替换为零,申明该像素是一点一滴透明的。结果,最后的图像背景有个别是百分百透明的,那样在第13行代码,把它被绘制到指标的上下文中时,效果是内容叠合到静态背景上。

透过爆发的图像看起来像这么:

图片 16

在录制播放时频频那样做,那样意气风发帧接黄金时代帧处理,彰显出chroma-key的特效。

请看那么些实例。

1 赞 1 收藏 评论

有关小编:cucr

图片 17

乐乎天涯论坛:@hop_ping 个人主页 · 笔者的小说 · 17

图片 18

本文由web前端发布,转载请注明来源:使用Canvas实时处理Video,来看看机智的前端童鞋怎