十三 白交 发自 凹非寺
量子位 报导 | 大众号 QbitAI
魔法变实际，酷炫又有用。
还记得两年前，Zach King(男巫)的爆红戏法吗？
不仅从纸直接蹦出一个手机，还直接扔进了电脑里构成虚拟的天猫页面。
现在，不用去仰慕男巫了，人人都能够把身边的东西“扔到”电脑里，并且一部手机就能搞定！
这便是来自34岁法国规划师Cyril Diagne的最新AR黑科技——AR Cut & Paste，将身边的事物“一键”仿制张贴到电脑上，整个完结时刻不到10s。
比Ctrl+C和Ctrl+V还要直爽！
比方，拿手机扫一扫书上的模型图片，再把手机对准电脑屏幕，模型瞬间就仿制到了电脑。
书上的人物也不在话下。
就有网友说道：连这个黑发小哥的头发都能辨认出来，太奇特了。
当然，手写的笔记，也能够仿制张贴到电脑中。
他在Github上共享了他的AR新技能，现已狂揽7K颗小星星；并且在Reddit上共享不到14小时，就获得了近4K的点赞量。
即便Cyril表明现在仅仅能在Photoshop中完结，但未来——必定会有更多不同的输出办法。
仅仅现在，这项AR黑科技——魔法相同的新技能，只需你想，也能复刻。
简略四步，敞开“仿制张贴”新世界
小哥非常热心地在GitHub中，描绘了AR Cut & Paste的“上手攻略”。
首先要着重的是，这是一个研讨原型，而不是针对顾客或许Photoshop用户的东西。
AR Cut & Paste原型包括3个独立的模块。
移动运用 (The mobile app)
能够检查GitHub中/app文件夹，了解怎样将App布置到手机中。
本地服务器 (The local server)
手机APP与Photoshop的接口。
运用屏幕点(screenpoint)找到摄像机在屏幕上指向的方位。
可检查/server文件夹，了解关于本地服务器的装备阐明。
方针检测 / 布景移除服务 (The object detection / background removal service)
现在，显着性检测和布景移除，是托付给一个外部服务来完结。
假如直接在移动运用中运用相似DeepLap这样的技能会简略许多。但这还没有在这个repo中完结。
第一步：装备Photoshop
在Photoshop软件首选项 (Preferences)中，找到增效东西 (Plug-ins)。
点击启用长途衔接 (Remote Connection)，并设置暗码。
这儿需求保证一点，PS文档中的设置要与server/src/ps.py中的设置共同，不然只会张贴一个空层。
此外，文档需求一些布景，假如仅仅白色布景，SIFT或许没有满足才能来做一个正确的匹配。
第二步：设置外部显着性方针检测服务
如上所述，现在，有必要运用BASNet-HTTP封装器(需求CUDA GPU)作为外部HTTP服务，布置BASNet模型。
将需求布置的服务URL来装备本地服务器。假如在本地服务的同一台核算机上运转BASNet，请保证装备不同的端口。
第三步：装备并运转本地服务器
这一步的具体文档，在GitHub项目中的/server文件夹中，包括“装置”和“运转”两个过程。
装置代码如下：
virtualenv -p python3.7 venvsource venv/bin/activate pip install -r requirements.txt
运转代码如下：
python src/main.py —basnet_service_ip=”http://X.X.X.X“ —basnet_service_host=”basnet-http.default.example.com” —photoshop_password 123456
其间，BASNET_SERVICE_HOST是可选的，只要在运用Knative / Cloud Run等进口网关在渠道上布置服务时才需求。
以及，用Photoshop长途衔接暗码替换123456。
第四步：装备并运转移动App
装置代码如下：
npm install
然后更新component/Server.tsx中的IP地址，使其指向运转本地服务器的核算机IP：
3: const URL = “http://192.168.1.29:8080“;
运转代码如下：
npm start
OK！敞开“仿制张贴”新世界，便是这么简略！
但假如你期望“知其然更知其所以然”，别眨眼，接着往下看。
怎样做到隔空「仿制张贴」？
这个奇特的AR黑科技背面的首要技能，刚开始选用的是一个叫做BASNet的显着方针检测的新办法。
这篇研讨入围了CVPR 2019，并且论文一作仍是位华人小哥哥——秦雪彬，现已于本年2月在加拿大阿尔伯塔大学拿到了博士学位，硕士就读于北京大学。
BASNet的中心结构如下图所示，首要由2个模块组成：
第一个模块是猜测模块，这是一个相似于U-Net的密布监督的Encoder-Decoder网络，首要功能是从输入图画中学习猜测saliency map。
第二个模块是多标准残差细化模块(RRM)，首要功能是经过学习残差来细化猜测模块得到的Saliency map，与groun-truth之间的残差，然后细化出猜测模块的Saliency map。
而最近，这位规划师小哥哥在此基础上，针对布景移除使命，选用了更新的办法。
同样是来自秦雪彬团队，被Pattern Recognition 2020接纳，这个办法叫做U2-Net，其结构如下图所示：
还与其它20个SOTA办法别离做了定量和定性比较试验，在作用上都取得了不错的作用。
鄙人面的定性试验中，也能够比较显着的看到，该办法所提取出来的方针，愈加细粒度和准确。
那么，北大校友的新办法，又是怎样被法国规划师Cyril Diagne搞成黑科技运用的？
不想当程序员的规划师，不是一个好艺术家
原因无他，Cyril Diagne便是这样一个懂程序、搞规划，重视前沿研讨进展的艺术家呀。
假如你重视他的交际动态，也都是天马行空的。
是那种从“诗词歌赋”到“人生哲学”，从“服装规划”到AR黑科技的妙人。
Cyril Diagne，现居法国巴黎，除了规划师，程序员，仍是洛桑艺术州立大学（ECAL）媒体于交互规划系的教授及主管。
2008年从巴黎Les Gobelins校园结业今后，跟5位同学创立了艺术组织，致力于完结科技与艺术之间的构思交互，也奠定了他今后的艺术生计，注定与科技密不可分。
2015年起，Cyril加入了谷歌文明驻巴黎的试验室。
与此同时，他还不断的在Gitbub上共享他的新作用。此前，他就曾在Github上发布了一些有用的小东西。
比方，一个可在Instagram页面的相片上增加3D作用的chrome扩展程序。
在Web浏览器上直接用AR涂鸦你的脸。
输入图画转3D相片。
总归，主意多、阅历丰厚，还懂技能和审美……
所以现在搞出AR仿制这样的美妙运用，翻开一扇新大门，也让一众网友服服气气。
也算是把北大校友小哥的牛X研讨，推到了更牛X的产品运用进口。
尽管还仅仅初露锋芒，但远景却妥妥无限或许。
你觉得这项黑科技，还能怎样用？怎样玩？
