智能座舱行为识别数据解决方案，助力打造第三空间新体验

对于不同的座舱行为，识别的人体目标不同，因此标注的方式不同，典型的标注方式包括人脸关键点标注，手势关键点标注，物品检测框标注，物品&行为标签标注。典型的例子如下：

基于不同座舱行为与人体目标的实际情况，座舱行为识别任务具备行为复杂、光照以及性能三个难点：

数据堂针对座舱行为识别的任务需求和难点，从数据层面针对性设计了下述数据集，分别介绍如下：

该数据集采集黄种人、黑人、白人和印度人共1307人驾驶员行为采集数据。在采集设备配置方面，为保证数据在夜晚或者驾驶员戴墨镜情况下的数据有效性，数据采集采用了RGB+红外双目镜头，提供彩色视频和红外视频两种数据模态。在机位架设方面，该数据在车内后视镜中央、车内中控台上方及车内左侧A柱上方假设三个机位，具体示意图如下：

在具体行为种类方面，数据集涵盖了座舱驾驶员行为识别需要的绝大多数行为种类，包含驾车打电话、未系安全带、驾车抽烟、驾车喝水、开车戴墨镜、双手脱离方向盘等危险驾驶行为；开车时闭眼、频繁眨眼、点头、打哈欠等疲劳驾驶数据；开车时视线上下左右偏移的视线偏移行为。每个人共采集150段视频。

103,282张驾驶员行为标注数据

该数据为1307人驾驶员行为采集数据中对1003人中国人数据的抽帧标注。在具体标注中，针对不同的行为类别，采取两种不同的标注方式。对于正常驾驶、开车闭眼、开车频繁眨眼、开车打哈欠、开车点头及视线偏移行为，采用人脸72关键点+人脸属性+人脸检测框+手势框标注；对于未系安全带驾驶、开车喝水、驾车打电话、驾车抽烟等危险驾驶行为，采用人脸属性+瞳孔关键点+安全带框+人脸检测框+手势框标注。

该数据集采集黑人、白人和印度人共122人的乘客行为识别数据。在采集设备配置方面，为保证数据在夜晚或者乘客戴墨镜情况下的数据有效性，数据采集采用了RGB+红外双目镜头，提供彩色视频和红外视频两种数据模态。在机位架设方面，该数据在车内后视镜中央、车内右侧A柱上方、车内左侧B柱上方、车内右侧B柱上方架设四个机位，具体示意图如下：

在具体行为种类方面，数据集涵盖了乘客行为识别需要的大多数行为种类，包含乘客打电话、玩手机、看书、喝水、抽烟、吃东西、手伸到车窗外、用笔记本办公等正常行为；乘客不同程度晕车、不同程度困倦、遗落物品等异常行为。每位乘客共采集120段视频。 

314,178张18种手势识别数据

该数据集采集中国人静态手势数据，用于人机交互。数据集总计314178张图像，18种静态手势，涉及1000名以上中国人。该数据利用手机拍摄不同机位、不同手势、同一手势不同方向的左右手手势数据。从手势种类来看，包含日常人机交互等18种常用单手及双手手势，具体包括数字1-6、数字8、单手比心、OK、点赞、踩、握拳、Rock、Love、双手比心、双手合十、拜年、抱拳礼。在数据标注方面，对手势图片采用手部21关键点+手势标签标注，标签包括手势类别、采集者性别、左右手、手势正面背面、采集背景、相机位置、手势旋转角度等。 

558870段50种动态手势识别数据

该数据集采集中国人动态手势数据，用于人机交互。数据集总计558870段视频，50种动态手势，涉及1000名以上中国人。该数据利用手机、iPad及笔记本电脑从不同角度拍摄左右手手势数据。从手势种类来看，包含日常人机交互等50种常用的动态手势，具体包括手指滑动，手掌滑动，全掌变换、拳部滑动，静止等。在数据标注方面，标注各段视频标签，标签包括手势类别、采集者性别、左右手、采集背景、拍摄角度等。

座舱智能化发展是以数据为底层基础，根据不同车厂的设计以及用户不同的使用习惯，会产生大量的差异化需求，数据的处理相应变得多样复杂。数据堂从底层数据设计和规划做起，针对差异化需求提供定制化数据方案，以满足座舱内交互的基本功能点。