中国人民解放军总装备部十二五计划项目，日期2010.1-2015.12，总结费220万元，已通过验收。该项目主要研究针对海量的文本、图像、视频、音频等多结构数据的语义检索所需的语义知识构建及学习、基于语义的统一数据组织、语义特征分析、面向语义的单模态和跨模态数据检索等内容，包括图像自动语义标注、视频行为事件识别、音频语义相似性检索及跨媒体语义检索等关键技术。完成的软件成果为海量多结构数据语义检索原型系统。该系统建立在分布式机群环境上，采用HDFS分布式文件管理、HBASE的NOSQL数据管理以及map-reduce并行检索机制，实现了基于视觉单词分析的图像语义识别、基于场景和轨迹分析的的视频语义识别、基于序列相似度分析的音频语义识别、基于逻辑回归的跨媒体的语义映射等核心关键技术。系统具备秒级响应时间内对千万级别记录的语义检索能力，原型系统可在大规模微博数据集合、图像corel5k及flickr数据集、维基百科数据集、网络爬取的音频、视频集合上进行功能与效果展示，图像标注和跨媒体语义等功能均达到了较好的性能指标，相关理论成果在国际会议和期刊上予以发表。