面向机器世界的智能、计算、编码与传输系统解决方案。针对实时视频分析门槛高，计算传输面临难以逾越的鸿沟、边缘智能芯片及终端算力有限等难题，探索从机器视角出发重新设计面向机器世界的智能、计算、编码与传输系统。该项研究以研制新型类眼机器智能芯片及终端为突破口，从数据采集、信息表达、计算、编码、传输来重新设计新的端-边-云系统。致力于在有限的资源下，最大限度的提升系统执行复杂任务的性能。已实现的方法能够在64kbps等更低带宽环境下使复杂的视频类目标任务性能提高40%。支持的复杂任务包含但不仅限于：视频分类/聚类、视频目标检测、视频目标跟踪、视频问答、视频分析、视频检索等。
该项研究的成果包括研制的类眼智能终端系列、端边云计算传输系统平台等，其应用领域包括：智慧城市、工业/AI物联网、无人机/无人车探测等。
相关研究成果：
- Wen Ji, Jingce Xu, Hexiang Qiao, Mengdi Zhou, and Bing Liang, "Visual IoT: Enabling Internet of Things Visualization in Smart Cities," IEEE Network, vol. 33, no. 2, pp. 102-110, April 2019.
- Wen Ji, Bing Liang, Yuqin Wang, Rui Qiu, and Zheming Yang, "Crowd V-IoE: Visual Internet of Everything Architecture in AI-Driven Fog Computing," IEEE Wireless Communications, vol. 27, no. 2, pp. 51-57, April 2020.
- Yuqin Wang, Jingce Xu, and Wen Ji, "A Feature-based Video Transmission Framework for Visual IoT in Fog Computing Systems," ACM/IEEE Symposium on Architectures for Networking and Communications Systems (ANCS), 2019, pp. 1-8.
创建: Jun 22, 2021 | 09:54
视频数据敏捷传输引擎。实现大规模地理分散的设备在复杂环境下传输视频等多媒体数据流时的高可靠、低时延传输。该引擎包括敏捷视频传输架构和面向极端环境的自适应视频传输决策方法，相比于现有系统正在使用的方法，在极端恶劣环境时，我们方案的可将总失效率降低1.74%~11.37%，在64kbps以下极低带宽条件下延迟可降低60ms。
上述技术适用的场景包括恶劣天气、无人区、水下场景的复杂多媒体任务，并可应用在电子对抗等的激烈对抗区域。能够最大化利用可用资源，增强数据传输过程的可靠性，降低信息损失和时延。
相关研究成果：
- Wen Ji, Lingyu Duan, Xi Huang, and Yueting Chai, "Astute Video Transmission for Geographically Dispersed Devices in Visual IoT Systems," IEEE Transactions on Mobile Computing, doi: 10.1109/TMC.2020.3009745.
- Hexiang Qiao, Zheming Yang, Bing Liang, and Wen Ji, "Crowd Intelligence Empowered Video Transmission in Ultra-Low-Bandwidth Constrained Circumstances," IEEE International Symposium on Parallel & Distributed Processing with Applications (ISPA), 2020, pp. 721-727.
创建: May 27, 2021 | 15:08
大规模多媒体边缘计算与传输平台。解决大规模多样性Internet of Everything (IoE)的接入、控制，复杂多媒体数据分发、传输与计算的问题。创新性技术包括：1）提出了大规模IoE节点多维度画像表示模型，形成了大规模异构IoE终端快速接入边缘节点的敏捷方法；2）提出了融合压缩视频流、特征视频流、语义信息流的多流传输方法，将传统的多媒体流传输升级为支持语义和特征的多重信息传输，满足多样化应用需求的同时提升了大规模多媒体数据的传输效率；3）提出了新型三重效用T-model模型来度量通信-计算-存储3C系统的效率，提升了海量多媒体数据的自主适应复杂网络条件和多样性异构设备的能力；4）提出了边缘智能模型，通过在边缘侧加入了大规模IoE的群体智能控制来支持IoE 终端的自主控制，提升了大规模设备分析和控制的能力。通过构建AI驱动边缘计算下的群体视觉IoE架构，有效降低了系统数据传输的码率，提高了边缘计算系统的数据处理能力，使得多媒体任务在低带宽、低能耗和低延迟环境下表现出更好的性能。
该平台尤其适用于智慧城市、智慧工业等IoT设备规模大、类型多的场景，有效地解决海量IoE的控制、多媒体数据传输与计算、系统效率评估等问题，推动了万物互联场景下多媒体应用的发展。
边缘智能计算系统架构 IoE画像技术 T-model多特征流传输
相关研究成果：
- Wen Ji, Bing Liang, Yuqin Wang, Rui Qiu, and Zheming Yang, "Crowd V-IoE: Visual Internet of Everything Architecture in AI-Driven Fog Computing," IEEE Wireless Communications, vol. 27, no. 2, pp. 51-57, April. 2020.
- Wen Ji, Jingce Xu, Hexiang Qiao, Mengdi Zhou, and Bing Liang, "Visual IoT: Enabling Internet of Things Visualization in Smart Cities," IEEE Network, vol. 33, no. 2, pp. 102-110, April. 2019.
- 纪雯, 万物可视—通过边缘智能实现的可视物联网[J]. 信息通信技术, 2020, 14(02): 27-37.
创建: May 27, 2021 | 15:04
面向大规模端边云架构形成的复杂计算传输系统，解决大规模IoT设备控制、传输与计算的问题。通过在传输架构中构建AI驱动的大规模IoE的群体智能控制层，解决规模性设备所面临的计算-存储-传输-控制的群体智能优化鸿沟。在多媒体系统中引入了价值计算方法和风险优化体系。采用统计学习技术，提出了价值的建模方法，对内容价值、传输价值和系统价值给出了全新的计算，形成基于价值驱动的计算传输体系。解决了大规模多媒体系统中，由于各种不确定性导致的价值-风险鸿沟。同时，我们构建了大规模复杂端-边-云系统的协同优化方法和动态算力迁移策略，可将边云系统传输和处理数据的时延、能耗平均降低10%，提升了系统性能。
该系统能够解决包括智慧城市、智慧医疗、智能交通、工业物联网等大规模设备场景下产生的大规模数据的传输和处理问题，提升上述应用场景的效能。
端-边-云系统多特征流传输架构
相关研究成果：
- Wen Ji, and H. V. Poor, "Risk Optimization for Revenue-Driven Wireless Video Broadcasting Systems: A Copula-Based Framework," IEEE Transactions on Multimedia, vol. 23, pp. 1757-1771, June. 2021.
- Wen Ji, Bing Liang, Yuqin Wang, Rui Qiu, and Zheming Yang, "Crowd V-IoE: Visual Internet of Everything Architecture in AI-Driven Fog Computing," IEEE Wireless Communications, vol. 27, no. 2, pp. 51-57, April. 2020.
- Zheming Yang, Bing Liang, and Wen Ji, "An Intelligent End-Edge-Cloud Architecture for Visual IoT Assisted Healthcare Systems," IEEE Internet of Things Journal, doi: 10.1109/JIOT.2021.3052778.
- 梁冰, 纪雯, 基于次模优化的边云协同多用户计算任务迁移方法[J]. 通信学报, 2020, 41(10): 25-36.
- 纪雯, 人机物三元计算的主流学派及热点分析[J]. 中国计算机学会通讯, 2019, 15(11): 68-74.
创建: May 27, 2021 | 15:17
视觉物联网人机物协同智能计算引擎。该引擎通过智能传感层感知复杂的环境，智能处理层分析视觉数据；软件定义视频层生成弹性的视频流，灵活控制层产生最佳的适应策略；经济传输层提高资源的利用率；众协作层提升多任务、多目标、多设备的整体协作性能。仿真实验表明，研究所提出的A-VIoT引擎，可以实现视频数据传输和处理的能耗降低10-26%，延迟性能提升4-10倍。
典型应用场景包括智慧城市、工业物联网等。该引擎构建的灵巧视觉物联网架构能够提升视觉物联网系统的有效性、效率、可扩展性和适应性，增强系统对环境信息感知能力、物联网视觉的应用能力以及设备协作能力。降低视觉信息传输和处理的延迟，最大限度地发挥视觉物联网人机物协同系统的价值。
相关研究成果：
- Wen Ji, Jingce Xu, Hexiang Qiao, Mengdi Zhou, and Bing Liang, "Visual IoT: Enabling Internet of Things Visualization in Smart Cities," IEEE Network, vol. 33, no. 2, pp. 102-110, April. 2019.
- 纪雯, 万物可视——通过边缘智能实现的可视物联网[J]. 信息通信技术, 2020, 14(02): 27-37.
- 纪雯, 人机物三元计算的主流学派及热点分析[J]. 中国计算机学会通讯, 2019, 15(11): 68-74.
创建: Jun 22, 2021 | 09:55
复杂双边市场下的富媒体传输经济学优化技术。针对多媒体传输系统资源有限、系统价值风险不确定性、富媒体复杂双边市场多方收益竞争性等核心问题，提出了一系列原创性理论和技术方法，从优化系统资源利用率、基于内容风险价值的传输系统优化以及优化双边市场多方收益等视角解决富媒体传输经济学中的核心问题。首先构建了基于次模理论的无线视频传输系统优化架构，解决了复杂双边市场多方利润关系问题，其次提出了一种基于风险价值的无线视频广播系统优化架构，对富媒体经济学中内容价值、传输价值和系统价值给出了新的计算方法。相关研究技术适用于包括视频电子商务、赞助流量电信运营场景等。提出的原创技术方法能够最大化双边市场中的各方的收益，提升资源价值，具有极强的产业应用前景。
相关研究成果：
- Wen Ji, and Wenwu. Zhu, "Profit Maximization for Sponsored Data in Wireless Video Transmission Systems," IEEE Transactions on Mobile Computing, vol. 19, no. 8, pp. 1928-1942, Aug. 2020.
- Wen Ji, and H. V. Poor, "Risk Optimization for Revenue-Driven Wireless Video Broadcasting Systems: A Copula-Based Framework," IEEE Transactions on Multimedia, vol. 23, pp. 1757-1771, June. 2021.
- Wen Ji, Yingying Chen, Min Chen, Bo-Wei Chen, Yiqiang Chen, and Sun-Yuan Kung, "Profit Maximization through Online Advertising Scheduling for a Wireless Video Broadcast Network," IEEE Transactions on Mobile Computing, vol. 15, no. 8, pp. 2064-2079, Aug. 2016.
- Wen Ji, Pascal Frossard, Bo-Wei Chen, and Yiqiang Chen, "Profit Optimization for Wireless Video Broadcasting Systems Based on Polymatroidal Analysis," IEEE Transactions on Multimedia, vol. 17, no.12, pp. 2310-2327, Dec. 2015.
- Wen Ji, Bo-Wei Chen, Yiqiang Chen, and Sun-Yuan Kung, "Profit Improvement in Wireless Video Broadcasting System: A Marginal Principle Approach," IEEE Transactions on Mobile Computing, vol. 14, no. 8, pp. 1659-1671, Aug. 2015.
创建: May 27, 2021 | 15:35
多媒体计算传输优化平台。面对用户设备多样性带来的不同视频分辨率的不同需求，无线传输信道的不可靠性和不稳定性等问题，通过设计的新型喷泉码和分级嵌入的空时分组码等信道编码技术，实现异构环境下视频数据可靠、灵活的传输。通过评估D2D视频组播系统下的异构用户体验质量，综合考虑信道状态、设备能力、视频内容紧迫性和需求用户的数量，将多视频流广播问题转换为实现聚合最大效用问题。通过利用机会调度方法在每个传输间隔内选择合适的用户来提高广播效用，同时构建了效用公平方案来优化多内容视频组播的速率。上述平台尤其适用于视频广播系统中，提升视频传输的实时性、可靠性以及稳定性等，极大的改善系统应用的服务质量和效率。
相关研究成果：
- Wen Ji, and H. V. Poor, "Risk Optimization for Revenue-Driven Wireless Video Broadcasting Systems: A Copula-Based Framework," IEEE Transactions on Multimedia, vol. 23, pp. 1757-1771, June. 2021.
- Wen Ji, Bo-Wei Chen, Xiangdong Wang, Haiyong Luo, Mucheol Kim, and Yiqiang Chen, "Cross-Layer Opportunistic Scheduling for Device-to-Device Video Multicast Services," ACM Transactions on Embedded Computing Systems, vol. 15, no. 2, pp. 37:1-37:18, Feb. 2016.
- Wen Ji, Pascal Frossard, Bo-Wei Chen, and Yiqiang Chen, "Profit Optimization for Wireless Video Broadcasting Systems Based on Polymatroidal Analysis," IEEE Transactions on Multimedia, vol. 17, no. 12, pp. 2310-2327, Dec. 2015.
- Wen Ji, Bo-Wei Chen, Yiqiang Chen, and Sun-Yuan Kung, "Profit Improvement in Wireless Video Broadcasting System: A Marginal Principle Approach," IEEE Transactions on Mobile Computing, vol. 14, no. 8, pp. 1659-1671, Aug. 2015.
- Linqing Zhai, Zheming Yang, and Wen Ji, "Understanding Crowd Intelligence in Large-scale Systems: A Hierarchical Binary Particle Swarm Optimization Approach," IEEE International Symposium on Parallel & Distributed Processing with Applications (ISPA), 2020, pp. 728-735.
创建: Aug 19, 2021 | 16:41
联合信源信道编码及传输技术。设计了弹性尺度的视频广播架构。该架构对于信源和信道进行了联合编码和优化。首先，将分层视频广播至异构设备的问题建模，然后，基于多尺度视频编码，引入了时间-空间失真度这种混合度量方式来解决混合时域、空域、质量域的视频综合质量测度问题。构建新型自适应性分层架构，生成灵活速率的视频，以满足异构性的移动设备用户需求。第三，设计了新型融合视频特性的喷泉编码，以提高传输高效性，提供灵活且可靠的视频流。此外，还提出了动态编码方法来获取最优的分层广播策略，以实现广播效用最大化。研究组还提出了基于自适应滑动窗口技术的新型协同传输方法，提高传输的鲁棒性，从而在传输环境变差时也能在移动设备之间保证高效地协同视频数据传输性能。研究出的方法还包括，考虑了基于带宽自适应地分发视频内容，建立最大加权数据传输模型等。
研究技术可广泛应用于视频广播系统，能够实现多视频流高可靠性弹性传输，实现多媒体广播系统效用最大化，大规模异构移动设备的整体接收质量最大化，并最大限度地提高用户的使用体验。
相关研究成果：
- Wen Ji, Zhu Li, and Yiqiang Chen, "Joint Source-Channel Coding and Optimization for Layered Video Broadcasting to Heterogeneous Devices," IEEE Transactions on Multimedia, vol. 14, no. 2, pp. 443-455, Apr. 2012.
创建: Aug 19, 2021 | 16:42
面向移动视频的分布式视频编解码技术。分布式视频编码技术的优势在于，编码复杂度低，所有尤其适用于移动场景。然而传统的Wyner-Ziv视频编码方法的编码器依赖于反馈信道，这限制了Wyner-Ziv视频编码在移动通信中的广泛运用。研究组提出了无需反馈信道的Wyner-Ziv视频编码方法。研究组打开了分布式视频编码器的内核，重新设计了具有视频特性的信道编码器内核，包括支持视频特性的LDPC编解码内核、以及喷泉码编解码内核，从而设计出性能优越的分布式视频编码器。
研究组还设计了包括具有对偶特性的Wyner-Ziv编码器，精确边信息生成方法等。提出的Wyner-Ziv视频编码器采用信息平面和奇偶校验平面位更新技术，快速提高了边信息的生成精度。通过使用外部信息传递图分析来估计迭代译码中互信息的变化，跟踪互信息变化允许降低信息和奇偶校验比特流的编码速率，同时保持解码质量。
研究组设计的分布式视频编解码技术的优势在于，复杂度低、码率低、解码质量高，尤其对于场景难以估计和高速运动的视频呈现很大优势，非常适合在无线通信网络广泛应用。
Wyner-Ziv视频编码器结构
相关研究成果：
- Wen Ji, Xiangyang Ji, and Yiqiang Chen, "Feedback-Free Binning Design for Mobile Wyner-Ziv Video Coding: An Operational Duality between Source Distortion and Channel Capacity," IEEE Transactions on Mobile Computing, vol. 16, no. 6, pp. 1615-1629, Jun. 2017.
- Wen Ji, Pascal Frossard, and Yiqiang Chen, "EXIT-based Side Information Refinement in Wyner-Ziv Video Coding," IEEE Transactions on Circuits and Systems for Video Technology, vol. 24, no. 1, pp. 141-156, Jan. 2014.
创建: Aug 19, 2021 | 16:43
群体智能/众智科学基础理论方法研究。群体智能侧重于通过大规模群体行为的协同，从而在群体层次上展现出超过任意个体智能水平的提升。众智智能则体现在大规模智能群体在某种组织结构下通过有效协作从而完成挑战性的任务。
研究组通过研究众智计算解决了异质群体协作的问题从而实现以智能为中心的复杂计算任务，采用自底向上的金字塔计算体系，核心在于类人感知的众智复杂计算机理、端边云耦合的众智知识计算模型以及价值最优的大规模众智智能计算方法等。
研究组提出了智能度量方法、智能进化计算方法、大规模智能协同计算方法，通过分析智能在承载应用的变化，集合各种可用的智能，促进解决智慧城市等典型应用场景未来发展的关键问题，可广泛用于群体智能的应用领域。
相关研究成果：
- 纪雯, 梁冰, 杨哲铭, 杨凤, 众智科学智能理论与计算方法[M]. 北京: 科学出版社, 2021.
创建: Aug 19, 2021 | 16:43
