欢迎访问
 

2000.12 毕业于西北工业大学计算机科学与工程系,获工学博士学位;2000.12-2003.11
于西北工业大学控制科学与工程博士后流动站,其间2001.11-2002.6 在布鲁塞尔自由大
学进行说话人头部动画相关的合作课题研究;2003.11至今在西北工业大学计算机学院任
教,2005年11月起担任西北工业大学和布鲁塞尔自由大学联合实验室的中方联系人。
2006.6-2007.10作为项目负责人在布鲁塞尔自由大学进行听视觉语音处理方面的合作项目研究。
     作为课题负责人,主持国家自然科学基金项目1项,陕西省自然科学基金项目2项,国际合作
项目1项,百万元以上的应用类项目1项,作为主要技术骨干,参加了多项包括国际合作课题、国
家自然科学基金、国防预研等项目的研究工作,获得实用新型专利1项(《语音控制装置》,
专利号:02 2 24772.6),在国内外学术刊物和会议上发表学术论文35篇,被SCI 索引1次,
EI、ISTP索引15篇次。

 

研究方向
 

研究方向:

  • 说话人面部动画合成 (Talking Face Animation)
  • 听视觉情感识别与表达 (Audio Visual Emotion Recognition and Expression)
  • 听视觉语音识别与合成 (Audio Visual Speech Recognition & Synthesis)
  • 虚拟声场和三维音效合成 (Virtual 3D Audio Synthesis)
  • 说话人语声转换 (Voice Conversion)
  • 语音去噪与增强 (Noise Reduction & Speech Enhancement)

研究规划:


建立增强的听视觉人机交互系统,在具有听视觉沉浸感的虚拟环境中,使建立的虚拟人能够识别出说

话人在以什么情感说什么内容,并能用相应的表情和情感语音以及肢体语言与说话人进行沟通交流。

  • 听视觉情感识别和带表情的面部动画合成

在与比利时布鲁塞尔自由大学的紧密合作下,根据用户的语音和面部视频识别其情感及强度,构建

表情与其情感变化及发音内容相一致的面部动画,并进一步扩展为带有肢体运动的虚拟人动画,动

画中的声音还可以转换为另一个人的发音。

  • 虚拟声场和三维音效合成

三维立体声给人以身临其境的感觉,而通常的环绕立体声效果是通过在空间架设多个音响设备实现的。

我们利用人体对声音立体感的感知机理,用计算机生成三维声场,即使你带着耳脉,也能感受到三维

立体声的效果。

科研项目
 
  • 国家自然科学基金,“听视觉融合情感描述与表达的关键问题研究”,2008.1-2010.1
  • 陕西省自然科学基金,“语音驱动的逼真说话人面部动画合成方法研究”,2008.1-2009.12。
  • 陕西省自然科学基金,“基于隐马尔可夫模型和神经树网络的说话人确认系统研究”,2003.1-2004.12。
  • 中国科技部与比利时国际合作,“听视觉语音识别与合成:多模态方法”,2005.1-2006.12。
  • 应用类,“XX语音处理系统XXXXXXXX”,2009.1-2010.12。
  • 应用类,“音频信号音效处理算法”,2006.1-2006.5。
  • 西工大英才培养计划项目,“基于动态贝叶斯网络(DBN)的多特征流语音识别模型”,2004.7-2007.7。

 

获奖成果
 
  • 西北工业大学2008-2009年度奖教金。
  • 2005年度陕西省优秀科技论文二等奖:蒋冬梅,谢磊,Ilse Ravyse,赵荣椿,Hichem Sahli, Jan Cornelis。“基于Viseme的连续语音识别系统及Talking Head”,《电子与信息学报》,26(3),p.375-381,2004。

 

 

发表论著
 

部分发表论文:

  1. [Jiang09_JMUI] Dongmei Jiang, Ilse Ravyse, Hichem Sahli, Werner Verhelst. “Speech Driven Realistic Mouth Animation Based on Multi-modal Unit Selection”, Journal of Multi-Modal User Interfaces (Springer), OnlineFirst, DOI 10.1007/s12193-009-0015-7, 2009.
  2. [Jiang09_ICASSP] Dongmei Jiang, Ilse Ravyse, Peizhen Liu, Hichem Sahli, Werner Verhelst. “Realistic Mouth Animation Based On An Articulatory DBN Model With Constrained Asynchrony”, Int. Conf. Audio, Speech and Signal Processing (ICASSP2010), Submitted.
  3. [Jiang09_ICIG] Dongmei Jiang, Peizhen Liu, Ilse Ravyse, Hichem Sahli, Werner Verhelst. “Video Realistic Mouth Animation Based on an Audio Visual DBN Model with Articulatory Features and Constrained Asynchrony”, Int. Conf. on Image and Graphics, Xi’an, China, Sept.19-22, 2009.
  4. [Fan09] Ping Fan, Dongmei Jiang, Ilse Ravyse, Fengna Wang, Hichem Sahli. “Dynamic Emotion Recognition Based on Video through Manifolds”, Int. Conf. on Image and Graphics, Xi’an, China, Sept.19-22, 2009.
  5. [Chen09] Danqi Chen, Dongmei Jiang, Ilse Ravyse, Hichem Sahli. “Audio-Visual Emotion Recognition Based on a DBN Model with Constrained Asynchrony”, Int. Conf. on Image and Graphics, Xi’an, China, Sept.19-22, 2009.
  6. [Song09] 宋培岩,蒋冬梅,王风娜。“基于发音特征的音/视频双流语音识别模型”,计算机应用研究,26(7),pp.2481-2483, 2009.
  7. 孟永辉,蒋冬梅,付中华,谢 磊。“一种新颖的语言/ 音乐分割与分类方法”,计算机工程与科学,31(4),pp.106-109, 2009.
  8. [Bai09] 白洁,蒋冬梅。“归一化振幅商在语音情感识别中的应用”,计算机仿真,26(2),183-186,2009.
  9. [Wang09] 王风娜,蒋冬梅,宋培岩。“结合发音特征的动态贝叶斯网络语音识别模型”,计算机工程与应用,45(8),pp.178-181,2009.
  10. [Ren09] 任翠红,蒋冬梅,付中华。“基于α阶GMMSE 算法的语音增强研究”,微电子学与计算机,26(3),pp.76-80, 2009.
  11. [Song09] 宋培岩,《基于发音特征的音视频融合语音识别模型》,西北工业大学硕士论文,2009.3。
  12. [Wang09] 王风娜,蒋冬梅。《基于动态贝叶斯网络的语音识别模型研究》,西北工业大学硕士论文,2009。
  13. [Jiang08] Dongmei Jiang, Ilse Ravyse, Hichem Sahli, Yanning Zhang。 “Accurate visual speech synthesis based on diviseme unit selection and concatenation”, Proceedings of the IEEE 10th Workshop on Multimedia Signal Processing (mmsp2008), Oct 8-10, 2008, Cairns, Queensland, Australia, pp. 906-909. (EI: 090111832239).
  14. 白洁,蒋冬梅。“基于NAQ的语音情感识别研究”,计算机应用研究,25(11),pp.3243-3246,2008。
  15. [Jiang07] Dongmei Jiang, Guoyun Lv, Ilse Ravyse, Xiaoyue Jiang, Yanning Zhang, Hichem Sahli and Rongchun Zhao. “Audio Visual Speech Recognition and Segmentation Based on DBN Models”. Robust Speech Recognition and Understanding, pp:139-156, ISBN-ISSN: 978-3-902613-08-0, 2007。
  16. Guoyun Lv, Dongmei Jiang, RongChun Zhao, Yunshu Hou. “Multi-stream Asynchrony Modeling for Audio-Visual Speech Recognition”. IEEE International Symposium on Multimedia 2007 (ISM2007), Dec. 10-12, 2007, pp.37-44, Taiwan, China.
  17. Guoyun Lv, Dongmei Jiang, Rongchun Zhao. “Single Stream DBN Model Based on Triphone for Large Vocabulary Continuous Speech Recognition”. IEEE International Symposium on Multimedia 2007 (ISM2007) & Workshop on Multimedia Audio and Speech Processing: advancing the state-of-the-art, Dec. 10-12, 2007, pp.240-245, Taiwan, China.
  18. Guoyun Lv, Dongmei Jiang, Rongchun Zhao, Xiaoyue Jiang, H. Sahli. “Multi-Stream Asynchrony Dynamic Bayesian Network Model for Audio-Visual Continuous Speech Recognition”. 14th International Conference on systems, Signals and Image Processing (IWSSIP 2007) and 6th Eurasip conference Focused on Speech and Image Processing, Multimedia Communications and Services (ECSIPMCS 2007), June 27-30, 2007, vol. 1, pp.437-440, Maribor, Slovenia.
  19. 孙阿利,蒋冬梅, 吕国云, H.Sahli, W.Verhelst。“基于DBN的连续语音识别与切分模型”,计算机应用研究,24(10), pp.104-106, 2007。
  20. 郭鹏娟,蒋冬梅,H.Sahli, W.Verhelst。“基于基频特征的语音情感识别研究”,计算机应用研究,24(10), pp.101-103, 2007.
学术兼职
 
  • 西北工业大学与比利时布鲁塞尔自由大学间“听视觉信号处理联合实验室”中方联系人;
  • 第八届全国信号与信息处理联合学术会议组织委员会主席;
  • The Ninth Asian Conference on Computer Vision (ACCV2009) 组织委员会成员,负责workshop和tutorial。
  • The Fifth Int. Conference on Image and Graphics (ICIG2009) 出版主席(publication chair).
  • 陕西省图像图形学会理事;
  • 陕西省信号处理学会理事

 

讲授课程:

  • 2003--   研究生专业课:数字语音处理
  • 2003--   本科生专业课:数字信号处理

 

联系我们
 
邮寄地址: 西北工业大学计算机学院886号信箱
电话l: +86(0)29-88431532
E-mail: jiangdm@nwpu.edu.cn
 
 

 

 


 

Dongmei Jiang School of Computer Science Northwestern pol

Hit Counter