视频会议系统的结构如图所示，它主要由视频会议终端、多点控制器、信道（网络）及控制管理软件组成。(点击查看结构图)

    视频会议系统终端的主要功能是：完成视频信号的采集、编辑处理及显示输出、音频信号的采集、编辑处理及输出、视频音频数字信号的压缩编码和解码，最后将符合国际标准的压缩码流经线路接口送到信道，或从信道上将标准压缩码流经线路接口送到终端中。此外，终端还要形成通信的各种控制信息：同步控制和指示信号、远端摄像机的控制协议、定义帧结构、呼叫规程及多个终端的呼叫规程、加密标准、传送密钥及密钥的管理标准等。
    多点控制单元MCU（Multipoint Control Unit）是视频会议系统的关键设备，它的主要功能是对视频、语音及数据信号进行切换，例如它会把传送到MCU某会场发言者的图像信号切换到所有会场。对于语音信号，若同时有几个发言，可以对它们进行混合处理，选出最高的音频信号，切换到其他会场。MCU的主要组成部分是：网络接口单元、呼叫控制单元、多路复用和解复用单元、音频处理器、视频处理器、数据处理器、控制处理器、密钥处理分发器及呼叫控制处理器。
    视频会议系统的服务质量 QoS（ Quality of Service。）是满足视频会议系统需求的核心问题，视频会议系统要把用户的服务请求映射成预先规定的QoS参数，进而与系统和网络资源对应起来，通过资源的分配和调度满足用户的应用需要。资源的分配和调度可以选用资源的静态管理和动态管理去完成。资源的静态管理包括：QoS的协商和解释、资源许可（Admission）、资源的保留和分配及资源的释放。资源的动态管理包括：进程管理、缓冲区管理、传输率和流量控制及差错控制。
    视频会议系统最后一个组成部分是安全保密系统，它也是视频会议一个重要问题。安全保密系统的主要组成部分是加密模块和解密模块，加密模块是将会议终端用户数据加密形成加密后的数据在网络上传输，解密模块接收加密数据进行解密得到用户数据。加密和解密模块的核心是密钥的生成和管理，密钥生成的核心是加密算法，加密算法不包含在国际标准的建议中，它由视频会议系统设计者研制或选用。

    根据通信节点的数量，视频会议系统可以分为：点对点视频会议系统和多点视频会议系统。
    点对点视频会议系统支持两个通信节点间视频会议通信功能，它的主要业务是：
（1）可视电话  可视电话是现有公用电话网上使用的具有双工视频传送功能的电话设备。
由于电话网带宽的限制，可视电话只能使用较小的屏幕和较低的视频帧率。例如使用3.3英寸的液晶屏幕，每秒钟可传送2—10帧画面。
（2）桌面视频会议系统  这种视频会议系统利用用户现有的台式机（如PC机）平台以及网络通信设备和远地另一台装备了同样或兼容设备的台式机通过网络进行通信，这种系统仅限于两个用户或两个小组用户使用。 Intel公司的Proshare Personal Conferencing Video System200是这类系统的一个典型示例，这是一种点对点的个人视频会议系统，支持ISDN和LAN的连接，采用硬件编码压缩，软件解压缩，为了方便协同工作，Proshare还提供共享笔记本和共享应用程序。
（3）会议室型视频会议系统  在会议室型视频会议系统的支持下，一群与会者集中在一间特殊装备的会议室中，这种会议室作为视频会议的一个收发中心，能与远地的另外一套类似的会议室进行交互通信，完成两点间的视频会议功能。由于会议室与会者较多，因此对视听效果要求较高，一套典型的系统一般应包括：一台或两台大屏幕监视器、高质量摄像机、高分辨率的专用图形摄像机，复杂的音响设备，控制设备及其它可选设备，以满足不同用户的要求。

    多点视频会议系统：多点视频会议系统允许三个或三个以上不同地点的参加者同时参与会议。多点视频会议系统一个关键技术是多点控制问题，多点控制单元（MCU）在通信网络上控制各个点的视频、音频、通用数据和控制信号的流向，使与会者可以接收到相应的视频、音频等信息，维持会议正常进行。