AI摄像头V2.0

来自Labplus盛思维基百科
Xiaoshan讨论 | 贡献2021年12月24日 (五) 16:45的版本 使用教程
跳转至: 导航搜索
AI摄像头封面.jpg

概述

人工智能摄像头,内置物体追踪、人脸识别、物体识别、巡线追踪、颜色识别、标签识别、语音识别。
板载4Pin传感器接口,可以连接到Arduino、micro:bit、掌控板、树莓派等主板。直接输出识别结果,简单易用,适合人工智能的初步教学。
内置先进的机器学习技术。通过学习,能够更好的适配不同的场景,无需复杂的参数调校。

技术参数

  • 工作电压:VCC 3.3V-5V
  • CPU:双核处理器64位
  • 主频:高达400MHz可超频至600MHz
  • SRAM:6MB 通用内存+2MB
  • AI内存Flash:16MB
  • 硬件加速器:神经网络处理器(KPU)、浮点运算(FPU)、音频处理器(APU)、快速博里叶(FFT)
  • 2寸LCD屏,分辨率320*240
  • 200万像素摄像头
  • 2个RGB指示灯
  • 麦克风,支持语音识别
  • 两个物理按键
  • 支持3.3V-5V供电
  • 一个串口通讯接口
  • 支持中英文显示,单个汉字像素16*16
  • 可插TF卡
AI摄像头正面.png
AI摄像头内部.png



引脚定义

VCC 电源
RXI 串口接收
TXI 串口发送
GND

使用教程

1、使用4PIN端子转杜邦连接线讲摄像头接入掌控拓展板,程序在定义串口引脚时,注意模块端的RX、TX需要和主控板上的RX、TX交叉,即当模块的RX、TX对应接入主控板的16、15号引脚时,在编程时需设置串口通讯的RX、TX为15、16。如下图:

摄像头连接.png
摄像连接


2、AI摄像头V2.0需配合mPython0.7.0以上版本软件,同时掌控板需烧录软件中的最新固件(2021-11-30以上版本)。

3、开关机:AI摄像头V2.0通电的方式有两种,一种是直接使用数据线进行连接,一种是使用杜邦线与主控板连接,不同通电方式下,开关滑动方式也不同。
1)接USB接口时:面向屏幕,开关滑在左边是“开”,右边是“关”;
2)使用串口连接时:面向屏幕,开关滑在右边是“开”,左边是“关”。

#注意:编写程序前需在指令区点击“扩展”,在AI模块内找到“AI摄像头V2.0”模块,点击加载模块对应控制指令。

案例1:人脸检测

#程序效果:检测摄像头画面内是否有人脸,如果有用方框标识。
人脸检测.png
人脸检测参考程序


案例2:20类识别

#程序效果:检测摄像头画面内是否有对应的20类物体,如果有用方框标识。
20类识别.png
20类识别参考程序


案例3:语音识别

#程序效果:实时语音识别,语音“开灯”“关灯”控制掌控板RGB灯亮灭。
语音识别.png
语音识别参考程序


案例4:人脸识别

#程序操作及运行效果:摄像头对准第一个人脸按下摄像头A键,然后对准第二个人脸按下摄像头A键,完成数据采集后可进行人脸识别。
人脸识别.png
人脸识别参考程序


案例5:自学习分类

#程序操作及运行效果:摄像头对准第一个物体按下摄像头A键,然后对准第二个物体按下摄像头A键,再对准第三个物体按下摄像头A键完成分类图片采集;接下来按摄像头的B键添加训练集图片,直到模型训练完成,摄像头模块进入分类识别,识别到对应物体后,显示对应ID。同样的模型,每一次学习的准确度都会不同,这与模型相似度、学习数量、角度等有关系。
人脸识别.png
人脸识别参考程序


示例程序代码下载

AI摄像头2.0案例.zip

双摄版使用

1、模块准备
AI摄像头V2.0+排线+外接摄像头
2.连接方法
拆下AI摄像头V2.0的硅胶套,在屏幕下方有一个接口用来连接外接摄像头,将黑色部分轻轻向上拨动,打开接口,然后将排线插进去,蓝色一面向上,再将黑色往下拨动,将排线固定住。排线的另外一端接摄像头,方法也是一样的。

双摄连接.png
双摄连接


3、摄像头切换
可以通过指令选择获取哪个摄像头的画面。
摄像头是不可以同时获取两个摄像头的画面,但是我们可以随意切换摄像头。例如按下掌控板A键,摄像头切换为默认,按下掌控板B键,切换为外置。

切换摄像头.png
切换摄像头


#注意:摄像头切换时,需要等待2-4s,请耐心等待!

常见问题

Q1:摄像头出现闪屏?
A1:主要原因是电量不足,摄像头在进行人脸识别、物体学习时耗电量比较大,要保证供电充足。

Q2:摄像头识别成功后,掌控板没反应?
A2:1.电量不足,给掌控板充电已保证充足的电量;2.重启摄像头,再重启掌控板。

Q3:摄像头与掌控板重启后,摄像头无法切换模式?
A3:摄像头的启动速度会比掌控慢,两个都要重启时,需要先重启摄像头,当摄像头屏幕出现画面后,再按一下重启掌控板,或者程序上加长延时。

Q4:掌控板报错line 111?
A4:1.摄像头开关没开;2.掌控拓展板开关没有打开;3.摄像头接线不对,检测接线方式。

Q5:掌控板报错line 139?
A5:串口通讯超时,在需摄像头采集信息时注意把握时间。


版本历史记录

Version Date Note [+]新增[-]删除[^]修复
V2.0