李菁的课题组

孤独症儿童早期诊断

研究背景：

孤独症可以应用生物特征信号如核磁共振成像(Magnetic Resonance Imaging, MRI)或脑电波(Electroencephalogram, EEG)等对其进行辅助诊断。然而这些诊断方式并不是最优的，因为需要满足的条件有许多，例如专业的医生或专家、在像医院或者实验室等这种特殊的场所等。因此找到一种客观有效适宜普及的方法就尤为重要。所以本研究从孤独症儿童诊断的便捷性出发，提供了一种通过采取孤独症儿童日常生活的视频，应用深度学习的方法进行辅助诊断，希望能为医疗条件不发达地区的孤独症儿童的早期诊断提供帮助。

研究结果：

我们建立了一个新的大型自闭症儿童视频数据集（ACVD），其中包含来自556个测试者的556个视频片段，包括155个ASD儿童的155个视频，136个来自小学的136个TD儿童的视频和265个265个TD视频的视频幼儿园的孩子们。
我们提出来基于眼动跟踪的孤独症儿童视频分类算法。首先，应用TLD跟踪算法对视频中儿童的眼部区域进行跟踪，得到一系列的眼动轨迹，然后提出一种累积直方图的算法，把轨迹分离成角度特征和长度特征，最后使用长短时记忆网络(Long Short-term Memory, LSTM)对其进行分类。

Jing Li, Zejin Chen, Yihao Zhong, Hak-Keung Lam, Junxia Han, et al., "Appearance-Based Gaze Estimation for ASD Diagnosis," IEEE Transactions on Cybernetics, pp. 1-14, 2022. (SCI，中科院1区)

Code: https://github.com/Chenzejin/Gaze-Estimation-for-ASD-Diagnosis

Jing Li, Zejin Chen, Gongfa Li, Gaoxiang Ouyang*, and Xiaoli Li, “Automatic Classification of ASD Children Using Appearance-based Features from Videos”, Neurocomputing, vol. 470, pp. 40-50, 2022. (SCI，中科院2区)

Jing Li, Yihao Zhong, Junxia Han, et al., "Classifying ASD children with LSTM based on raw videos," Neurocomputing, vol. 390, pp. 226-238, 2020.（SCI，中科院2区）

Jing Li, Yihao Zhong, Gaoxiang Ouyang, et al., "Identification of ASD Children based on Video Data," International Conference on Pattern Recognition, 2018: 367-372.（EI会议）

创建: Apr 26, 2019 | 17:20

人群场景分析

研究背景：

人群分析是计算机视觉，模式识别领域内一个非常重要的研究方向。以此为基础构建智能化的监控系统和网络，作为安全监控的一种新手段已经得到了高度重视。智能视觉监控的出现使得对人群的监控可以不依赖于人工，而是利用计算机视觉自主分析特定复杂场景下的监控对象的行为。随着公众活动变得频繁，由高密度人群引起的事故越来越多，因此基于视觉计算对人群场景的理解、人群密度估计及异常行为分析已经成为一个非常具有研究意义和实用价值的课题。

研究成果：

提出了基于residual building block 的RBBnet人群计数模型。

图1，RBBnet结构图

人群密度计数普遍采用多列CNN网络。然而，尺寸不同的卷积核对相同的输入表现出非常相似的一致性，多列CNN并不能有效解决尺度不变性的问题，而且无效列的加入会带来大量亢余的参数。基于此，我们以单列CNN为主干，在两个卷积层之间插入跳跃的短线连接(short cut)形成残差单元，构造基于残差单元的卷积神经网络（RBBNet）来提取人群密度特征并回归得到密度图。通过在单列网络中加入残差单元，使得网络参数更加精简，残差的引入使梯度更容易流动，加速了网络的训练过程。对比于现有的网络，我们的RBBNet网络能够有效应对各种复杂的人群密度场景，并在多个主流的数据集上（如ShanghaiTech Part_B）都获得了最好的结果。图2从左到右分别显示了真实场景图片、真实值和预测的密度图，可以看出无论是生成密度图的质量还是统计的人数都十分接近真实值。

图2，RBBNet输出的密度图和性能对比

Jing Li, YaoKai Xue, Weiqun Wang, et al. Cross-Level Parallel Network for Crowd Counting[J]. IEEE Transactions on Industrial Informatics, 2020, 16(1): 566-576.（SCI 1区）

Yaokai Xue and Jing Li, “Crowd Counting Via Residual Building Block Convolutional Neural Network”, The 3rd Int’l Symp. Autonomous Systems, accepted, 2019. (EI)

创建: Apr 26, 2019 | 16:45

手势识别

研究背景：

随着科学技术的飞跃发展，人机交互越来越频繁的发生在更多人的身边，为许多人的生活带来了方便，其中人机手势交互是最为活跃的一个领域。手势识别是计算机科学和语言技术中的一个主题，目的是通过数学算法来识别人类手势。用户可以使用简单的手势来控制或与设备交互，而无需接触他们。然而手属于非刚性物体，变化丰富，使得手势识别的难度加大了不少。手势识别是一个复杂的系统，通常基于计算机视觉的识别系统，包括手势定义、图像的获取、处理、分析、理解。但是应用前景广阔，主要领域有家庭娱乐、智能驾驶、智能穿戴等。因此，对手势识别的研究具有很大价值。

研究成果：

J Li,L Zhang ,Z Ju , et al. Residual Attention Regression for 3D Hand Pose Estimation[C]. international conference on intelligent robotics and applications, 2019: 605-614.(EI)

创建: Apr 26, 2019 | 17:28

人脸表情识别

研究背景：

近年来，人脸表情识别（Facial expression recognition）也作为机器学习和模式识别的重要研究课题，可以从侧面反映出人工智能的发展水平。从90年代末开始，和人脸相关的科学研究一直是计算机领域的热点。随着技术的发展，人们越来越多地尝试利用机器视觉、图像处理技术实现自动化的人脸表情识别。该技术可以广泛应用于娱乐、安全、医疗、教育、人机交互等领域，例如（刷脸支付，人脸游戏，情绪检测等）。因此，研究人脸表情识别技术具有重要意义。

Motivation：传统方法采用手工构造特征和分类器相结合的方法来实现识别目标。然而，这些方法的准确性往往严重依赖于提取的特征和分类器的参数，因此无法获得良好的结果。

研究成果：

我们提出了一种新颖的卷积神经网络，由LBP(局部二进制模式)和改进的Inception-ResNet层组成，可以自动的识别七种表情。我们选择了Inception-v4层，与其他模型相比，它获得更高的识别率。

我们利用双输入Inception-ResNet块（DIB）来解决面部表情识别问题。在所提出的网络中，我们在训练步骤中结合了LBP特征。这些功能提供纹理信息，反映出脸部的微小变化，这有助于网络关注面部特征，从而提高识别准确性。此外，我们采用Batch normalization来保证每层输入数据的稳定分布。最后，我们使用数据增强来防止过拟合。

下图显示了修改后的Inception-ResNet网络总体架构。

我们将大小为299 * 299 * 1的图像输入“stem”模块，并将LBP特征添加到Inception-ResNet-A模块和Inception-ResNet-B模块中。 LBP特征映射被调整为网络中相应的过滤器大小。在所有卷积层中添加 Batch normalization层以避免过度拟合，并将ReLU 激活函数添加到所有批量标准化层以避免消失梯度的问题。

我们提出的方法在3个基准数据集上与其他先进表情识别算法进行比较，实现了最优的性能。

Jing Li, Kan Jin, Dalin Zhou, Naoyuki Kubota, and Zhaojie Ju, “Attention Mechanism-based CNN for Facial Expression Recognition,” Neurocomputing, vol. 411, pp. 340-350, 2020. (SCI，中科院2区)

Jing Li, Yang Mi, Gongfa Li, and Zhaojie Ju, “CNN-based Facial Expression Recognition from Annotated RGB-D Images for Human-Robot Interaction,” International Journal of Humanoid Robotics, vol. 16, no. 4, 2019. (SCI)

Jing Li, Yang Mi, Jiahui Yu, Zhaojie Ju, “A Novel Convolutional Neural Network for Facial Expression Recognition,” Int'l Conf. Cognitive Systems and Information Processing, pp.310-320, 2019. (EI会议)

创建: Apr 26, 2019 | 17:31

目录

孤独症儿童早期诊断

研究背景：

研究结果：

人群场景分析

手势识别

人脸表情识别