Hololens开发学习（七）——用HoloLens和Kinect构建远程呈现

在微软混合现实解决方案交流会上，我了解到hololens可通过结合其他设备来实现肢体跟踪。由于第一代hololens仅能识别有限的手部姿势，因此需要借助外部设备来增强其功能。回到家后，我查阅了相关资料，准备分享如何利用hololens和kinect来构建远程呈现系统。

1、外部摄像头和网络连接

虽然Hololens内置了摄像头，但为了创建远程呈现应用，我们需要使用外部摄像头来捕捉更全面的视角。Kinect2是微软在2014年10月推出的第二代Kinect for Windows感应器，具有以下特点：彩色摄像头分辨率为19201080，深度摄像头分辨率为512424，能够同时检测6个用户的姿势，并能识别25个关节点，检测范围在0.5m到4.5m之间，视角为水平70°和垂直60°。Kinect2能够获取更多的用户姿势和关节点，检测范围更广，视角更宽阔，为用户带来全新的体验。它在Unity中应用广泛，功能强大。

由于Hololens不支持通过USB端口插入第三方硬件，因此需要通过网络层来实现设备间的通信。可以使用HoloToolkit的共享服务（Sharing Service），在Unity IDE中通过下拉菜单启动该服务，如图所示。

2、HoloLens-Kinect项目介绍

许多远程呈现的Hololens应用都是基于Michelle Ma的开源HoloLens-Kinect项目进行开发的，项目地址为：https://www.php.cn/link/31bc5644ae198ad96dd9f2438bfdae3a Pro插件包与HoloToolkit共享服务结合起来，用于解决问题。

尽管Unity的Kinect插件在UWP中无法运行（Kinect无法直接插入Hololens），但它可以在Windows或IDE中运行（此时使用的是.NET 3.5框架而非.NET Core框架）。关键在于在Windows上运行Kinect集成，然后通过无线网络将消息发送给Hololens，使Kinect和Hololens协同工作。

在网络方面，HoloToolkit的共享服务主要用于在不同设备间同步世界锚。它要求在PC上实例化服务，作为设备间通信的总线。不过，共享服务的使用不限于此。由于该服务已在PC上运行，它也可以用于PC与单个Hololens设备之间的通信。此外，它还可以发送不仅仅是世界锚的任何原始数据，比如Kinect的位置数据。

3、使用HoloLens-Kinect项目进行二次开发

使用Michelle Ma的代码，需要两个独立的Unity项目：一个在台式PC上运行，另一个在Hololens上运行。将Kinect插件包添加到桌面应用程序中，并从HoloToolkit中将共享预制件添加到两个项目中。在为Hololens设计的应用程序中，将机器的IP地址添加到共享阶段组件的服务器地址字段中。

Tellers AI

Tellers是一款自动视频编辑工具，可以将文本、文章或故事转换为视频。

78

查看详情

这两个应用程序在功能上大致相同。在PC端，应用程序从Kinect获取身体数据流，并将关节数据发送到名为BodyView.cs的脚本上。BodyView在识别到新物体时为每个关节创建球体，并在Kinect更新时重新定位这些关节。

另一个名为BodySender.cs的脚本会接受这些数据并将其发送到共享服务。在Hololens设备上，一个名为BodyReceiver.cs的脚本获取接收到的关节数据，并将其传递给它自己的BodyView类实例，该类实例化了由球体基元组成的点组。

用于共享服务以传输Kinect数据的代码包含在Michelle Ma的CustomMessages2类中，这实际上是HoloToolkit共享示例中CustomMessages类的直接副本，稍作修改即可发送和接收关节数据。

4、使用Kinect扩展Hololens手势

Kinect在手势识别方面表现出色。Hololens目前仅支持有限的手势，受限于内外摄像头能看到的内容，主要是手指。但是，通过上述Kinect-Hololens集成，可以扩展Hololens的手势组合，包含用户的整个身体。

以上就是Hololens开发学习（七）——用HoloLens和Kinect构建远程呈现的详细内容，更多请关注php中文网其它相关文章！