本实用新型涉及一种融合实时定位与语音识别的交互型增强现实眼镜，属于增强现实技术领域。
背景技术：
增强现实眼镜(ar眼镜)通过实时计算摄影头中影像的位置、角度后，在现实场景的影像中加上虚拟图像、视频、3d模型等，实现在镜片上把虚拟世界套在现实世界中，是一项拥有前卫技术的产品。近年来，ar眼镜主要应用在医疗、军事、工业维修、网络视频通信、教育、旅游等多个领域，并且随着更多的解决方案正在被探索和研究，ar眼镜的使用也更为频繁，因此如何使ar眼镜的交互方式更加准确、多样化、人性化就凸显重要了。目前，ar眼镜大多是基于摄像头进行位置解算和物体识别的，但较少有基于实时定位的虚实融合ar眼镜，军事、工业维修、旅游等应用领域对基于实时定位的ar眼镜需求得不到满足。
市面上大多数ar眼镜仍采用眼镜上的功能按键的方式实现与虚拟世界的交互活动，但是这种交互方式不够灵活自由，长时间通过按键交互会出现手酸等操作疲劳现象，影响用户体验。为解决上述等问题，市面上又出现利用语音识别方式实现ar眼镜的交互活动，虽然语音识别与按键交互相比，解放了双手，不会给用户增加其他使用负担，并且在很大程度上减少了延迟的时间、更加人性化，但其缺点在于语义多样化易产生误操作。
因此，现有技术中急需一种可实时定位、交互操作灵活自由、沉浸感强、延时短、准确性强的增强现实眼镜。
技术实现要素：
本实用新型的目的是克服现有技术的缺陷，融合实时定位、触屏与语音识别技术，提供一种灵活自由、沉浸感强、延时短、准确性强的融合实时定位与语音识别的交互型增强现实眼镜。
技术方案如下：
一种融合实时定位与语音识别的交互型增强现实眼镜，包括镜架、镜片、鼻托、视频投射模块、传感器模块、立体摄像头和交互控制器；其中交互控制器安装在镜架的一侧，交互控制器内部安装有控制模块、储能模块、用户输入模块、音频输出模块、gps实时定位模块、无线模块、有线接口模块和电源开关；有线接口模块与储能模块连接，储能模块与电源开关及其他模块连接；用户输入模块、音频输出模块、gps实时定位模块、无线模块及有线接口模块与控制模块连接；视频投射模块、传感器模块及立体摄像头设置在安装有交互控制器一侧的镜片前，分别与交互控制器中的控制模块和储能模块连接。
进一步地，控制模块包括stm32单片机和arduino-mega2560处理器。
进一步地，用户输入模块包括mcu芯片、语音识别芯片、混合信号处理器、扬声器和触摸式显示屏。
更进一步地，mcu芯片型号为atmega168，语音识别芯片型号为ld3320、混合信号处理器的型号为rsc-4128。
进一步地，有线接口模块包括usb接口和hmdi接口。
进一步地，储能模块包括电压转换器、电量显示屏和可充电电池。
进一步地，音频输出模块包括音频数字模拟转换器、音频放大器和耳机插孔。
进一步地，无线模块包括wi-fi模块和蓝牙模块。
进一步地，传感器模块包括加速度计、mems陀螺仪、环境光感测器，用于检测用户的头部角度和位置、调节显示器的亮度。
进一步地，视频投射模块包括用于物理反馈的触觉振动电机、用于视觉反馈的dlp数字微镜设备、pmic/led驱动器和将交互控制器输出的视频流集中投射到单侧的镜片上的显示控制器。
有益效果：
1)本实用新型将控制模块和显示模块都集中于一侧，并过输出显示模块直接将增强现实的内容投射到眼镜片上单眼显示虚拟内容，不需要额外的显示屏，有利于用一只眼睛判断真实场景，另一只眼睛看到增强现实效果，避免了镜面和显示屏叠加易造成的重影效果；
2)结合语音识别交互灵活自由和触屏交互准确性高的优点，语音识别交互解放了双手，不会给用户增加其他使用负担，使得交互活动更加简单、灵活，符合人们动作习惯，通过触屏交互保证了交互的准确度，解决了按键交互操作不灵活、延时长、用户体验差等问题，提高了用户的沉浸感。
3)可通过无线和有线的方式进行数据传输，实现数据传输方式的多样化，适应于更多的应用场合。
4)采用gps实时定位技术，根据位置变化感知周围虚拟物体，从而支持基于位置的实时交互，扩展了交互的类型和方式。
附图说明
图1为本实用新型的整体结构示意图；
其中：1为储能模块、2为音频输出模块、3为用户输入模块、4为视频投射模块、5为无线模块、6为有线接口模块、7为传感器模块、8为立体摄像头、9为电源开关、10为镜架、11为镜片、12为鼻托、13为hmdi接口、14为usb接口、15为电量显示屏、16为可充电电池、17为交互控制器、18为耳机插孔、19为音频数字模拟转换器、20为音频放大器、21为语音识别芯片、22为触摸式显示屏、23为蓝牙模块、24为wi-fi模块、25为控制模块、26为gps实时定位模块。
具体实施方式
下面结合附图和具体实施例对本实用新型进行详细说明：
如图1所示的一种融合实时定位与语音识别的交互型增强现实眼镜，包括镜架10、镜片11、鼻托12、视频投射模块4、传感器模块7、立体摄像头8和交互控制器17；其中交互控制器17安装在镜架10的一侧，交互控制器17内部安装有控制模块25、储能模块1、用户输入模块3、音频输出模块2、gps实时定位模块26、无线模块5、有线接口模块6和电源开关9；有线接口模块6与储能模块1连接，储能模块1与电源开关9及其他模块连接；用户输入模块3、音频输出模块2、gps实时定位模块26、无线模块5及有线接口模块6与控制模块25连接；视频投射模块4、传感器模块7及立体摄像头8设置在安装有交互控制器17一侧的镜片前，分别与交互控制器17中的控制模块25和储能模块1连接。
控制模块25包括stm32单片机和arduino-mega2560处理器，用户输入模块3、音频输出模块2、gps实时定位模块26、无线模块5及有线接口模块6。
用户输入模块3包括mcu芯片、语音识别芯片21、混合信号处理器、扬声器和触摸式显示屏22。
mcu芯片型号为atmega168，语音识别芯片型号为ld3320、混合信号处理器的型号为rsc-4128。
有线接口模块6包括usb接口14和hmdi接口13，通过usb接口与外部的ar/vr控制器、外界电源相连接。
储能模块1包括电压转换器、电量显示屏15和可充电电池16，电量显示屏显示剩余电量，电压转换器将外部电源转换为可充电电池需要的电压。
音频输出模块2包括音频数字模拟转换器19、音频放大器20和耳机插孔18。
无线模块包括wi-fi模块24和蓝牙模块23。
传感器模块7包括加速度计、mems陀螺仪、环境光感测器，用于检测用户的头部角度和位置、调节显示器的亮度。
视频投射模块4包括用于物理反馈的触觉振动电机、用于视觉反馈的dlp数字微镜设备、pmic/led驱动器和将交互控制器输出的视频流集中投射到单侧的镜片上的显示控制器。
gps实时定位模块26采用neo-5q主芯片，首次定位时间小于1秒，最大更新速率小于4hz，定位精度在0～2.5m之间，采用nmea和ubx二进制协议进行工作，工作电压稳定在2.7v～3.6v，备用电池的电压为1.4v～3.6v，25ua，提供uart，usb，iic，spi等多种接口。
实施例：使用本实用新型时，打开电源开关后，控制模块立即检测各模块的工作状态，有线接口模块中的usb接口被使用时，控制器模块通过控制储能模块实现对可充电电池进行充电，同时将可充电电池的剩余储能通过电量显示屏实时反馈给用户，用户输入模块的语音识别模块和触屏模块有输入信息时通过mcuatmega168将识别结果通过串口上传至arduino-mega2560控制器，将ld3320语音识别芯片的数据端口与mcu的i/o口相连，控制器模块通过语音识别芯片生成的指令控制输出界面模块输出相关的交互活动，同时控制器模块控制音频输出模块中的耳机插孔、音频数字模拟转换器和扬声器的音频放大输出语音识别模块生成的合成语音，给用户做出相应的反馈；控制器模块通过触屏模块的输入信息控制输出界面模块的输出内容，两种方式的用户输入模块实现了更加人性化和准确的交互活动；gps实时定位模块连接储能模块获得供电，接收数据信号，接收的信息数据包括：当前的日期和时间、所在位置的经纬度、速度、航向、高度、海拔高度，每隔5秒刷新数据；数据与有线接口模块、蓝牙模块、输出界面模块连接；在检测到有外部设备连接增强现实眼镜的无线模块中的蓝牙模块或者wi-fi模块时，控制模块控制外部设备与无线模块进行视频图像流的传输，并通过传感器模块和立体摄像头模块利用gps实时定位模块和视觉定位技术实时计算得到增强现实眼镜的仰俯角等姿态信息，然后将姿态信息传递给无线模块传输的视频图像流，利用虚实融合技术将有增强现实眼镜姿态信息的视频图像流和立体摄像头模块的视频流进行融合处理，最后控制模块控制输出界面模块输出虚实融合后的视频图像流并投射到镜片上。
以上所述仅为本实用新型的较佳实施例而已，并不用于限制本实用新型，凡在本实用新型的原则和精神之内所作的任何修改、等同替换和改进等，均应包含在本实用新型的保护范围之内。
技术特征：
1.一种融合实时定位与语音识别的交互型增强现实眼镜，其特征在于：包括镜架(10)、镜片(11)、鼻托(12)、视频投射模块(4)、传感器模块(7)、立体摄像头(8)和交互控制器(17)；其中交互控制器(17)安装在镜架(10)的一侧，交互控制器(17)内部安装有控制模块(25)、储能模块(1)、用户输入模块(3)、音频输出模块(2)、gps实时定位模块(26)、无线模块(5)、有线接口模块(6)和电源开关(9)；有线接口模块(6)与储能模块(1)连接，储能模块(1)与电源开关(9)及其他模块连接；用户输入模块(3)、音频输出模块(2)、gps实时定位模块(26)、无线模块(5)及有线接口模块(6)与控制模块(25)连接；视频投射模块(4)、传感器模块(7)及立体摄像头(8)设置在安装有交互控制器(17)一侧的镜片前，分别与交互控制器(17)中的控制模块(25)和储能模块(1)连接。
2.如权利要求1所述的融合实时定位与语音识别的交互型增强现实眼镜，其特征在于：所述的控制模块(25)包括stm32单片机和arduino-mega2560处理器。
3.如权利要求1所述的融合实时定位与语音识别的交互型增强现实眼镜，其特征在于：所述的用户输入模块(3)包括mcu芯片、语音识别芯片(21)、混合信号处理器、扬声器和触摸式显示屏(22)。
4.如权利要求3所述的融合实时定位与语音识别的交互型增强现实眼镜，其特征在于：所述的mcu芯片型号为atmega168，语音识别芯片型号为ld3320、混合信号处理器的型号为rsc-4128。
5.如权利要求1所述的融合实时定位与语音识别的交互型增强现实眼镜，其特征在于：所述的有线接口模块(6)包括usb接口(14)和hmdi接口(13)。
6.如权利要求1所述的融合实时定位与语音识别的交互型增强现实眼镜，其特征在于：所述的储能模块(1)包括电压转换器、电量显示屏(15)和可充电电池(16)。
7.如权利要求1所述的融合实时定位与语音识别的交互型增强现实眼镜，其特征在于：所述的音频输出模块(2)包括音频数字模拟转换器(19)、音频放大器(20)和耳机插孔(18)。
8.如权利要求1所述的融合实时定位与语音识别的交互型增强现实眼镜，其特征在于：所述的无线模块包括wi-fi模块(24)和蓝牙模块(23)。
9.如权利要求1所述的融合实时定位与语音识别的交互型增强现实眼镜，其特征在于：所述的传感器模块(7)包括加速度计、mems陀螺仪、环境光感测器，用于检测用户的头部角度和位置、调节显示器的亮度。
10.如权利要求1所述的融合实时定位与语音识别的交互型增强现实眼镜，其特征在于：所述的视频投射模块(4)包括用于物理反馈的触觉振动电机、用于视觉反馈的dlp数字微镜设备、pmic/led驱动器和将交互控制器输出的视频流集中投射到单侧的镜片上的显示控制器。
技术总结
本实用新型涉及一种融合实时定位与语音识别的交互型增强现实眼镜，属于增强现实技术领域。其特征在于：包括镜架、镜片、鼻托、视频投射模块、传感器模块、立体摄像头和交互控制器；其中交互控制器安装在镜架的一侧，交互控制器内部安装有控制模块、储能模块、用户输入模块、音频输出模块、GPS实时定位模块、无线模块、有线接口模块和电源开关；视频投射模块、传感器模块及立体摄像头设置在安装有交互控制器一侧的镜片前，分别与交互控制器中的控制模块和储能模块连接。本实用新型结合语音识别交互灵活自由和触屏交互准确性高的优点，在解放双手的同时通过触屏交互保证了交互的准确度，采用GPS实时定位技术，从而支持基于位置的实时交互。
技术研发人员：周玲;陈强;杨娇;孙海静;朱俊涛
受保护的技术使用者：上海工程技术大学
技术研发日：.06.21
技术公布日：.01.17
如果觉得《一种融合实时定位与语音识别的交互型增强现实眼镜的制作方法》对你有帮助，请点赞、收藏，并留下你的观点哦！
