IP电话的实现方式也因其用户对象不同有所区别，但大体上可分为IP电话公众网和大企业IP电话实施方案，小企业则可以根据情况简单灵活地实现IP电话最小功能集，以达到节省长途费用的目的。
IP电话标准
ITU－TSG16、ETSITIPHON工程组、IETF、IMTC等国际著名标准制订机构针对Internet的蓬勃发展态势，就不同角度纷纷推出自己的IP电话实施方案，更恰当地说，应是基于Internet的综合业务平台实施方案。ITU从电信标准的角度，以H.323系列标准构成了一套基于分组网络的多媒体方案；IMTC侧重互操作性，对IP网上的通信设备提出开放式的标准指南，以保证产品的横向兼容和互操作性；IETF是Internet的组织，更多的是从IP发展的角度来论述与IP电话相关的协议和标准；ETSI则从工程建设的角度，将Internet直接推向商业运营，提出各种建设方案。
图1 IP电话公众网
此外，还有其他众多的商家和其他标准，由于技术发展的局限性，到目前为止，尚无统一的IP电话标准。Cisco、Vocaltec、Clarent等著名厂家均推出了自己的IP网关设备，有的支持共路信令SS7，有的利用随路信令，而且网关的线路容量、交换容量大小不一，实现的功能也各有所差异，良莠不齐。
图2 大企业IP电话网
IP电话公众网方案
目前，中国电信、中国联通、吉通的IP电话试验网组网方案大体如图1所示。
利用Internet作为IP电话的长途传送网络，两边则利用PSTN作为接入。在PSTN网络规模远远大于Internet时，利用PSTN作为接入的方式是便利的，也是不得已而为之。作为公众网尚应有其他的接入方式，如已有的众多计算机局域网，可以作为接入IP电话网络的另一种方式。
Internet作为分组传送网络的模式时，Internet是以黑匣子的形式存在的，因为它本身尚需提供其他多种业务，利用业务网来传送必然牵涉到诸多的质量问题。IP电话的另一种实现方式即是利用专线的方式，即中间传送部分单独组网，利用FR、DDN、ATM等构成中间传送部分，这或许更符合Internet上的路由器等设备的原先组网方式。
IP电话网已有或需增加的功能应有：（1）提供公众POT终端和中继的接入、计算机局域网接入，并提供实时传真等功能；（2）支持七号信令、随路信令系统（如R2、中国一号）等；（3）设备的兼容性问题不可忽视，非模块化的设计影响IP电话的发展，网关接口应包括E1、模拟、ISDN、PBX、以太网接口；（4）规范语音编码技术，提供不同语音编码之间的转换；（5）必需建成多域分级网络；（6）适当话音分组的优先级传送控制（流控制、RSVP、回音消除等）；（7）在Internet网发生故障时，电话可从PSTN接续；（8）提供用户初步异地漫游认证、接入功能。
大企业IP电话网方案
一般大企业具有自己的VPN网络，而且每一个分公司均有发达的计算机局域网和PBX资源，此时应充分利用这两种资源。通过这种网络结构，企业建立了内部虚拟计算机、电话、传真网络，大大节省了公司内部电话传真的费用，实际上是把长途费用变成了虚似本地网业务费用（但长途线路仍需租用），有时，企业的PBX可以直接连到Internet上，这样可绕过收费偏贵的本地网PSTN部分，这样的网络设计对大企业来说有较大的自主性。
企业已对原来的VPN网络有了很大投入，再增加一部分网关设备即可实现IP电话、传真的功能，这是综合利用资源的有效途径。在企业实现IP电话，除了与Internet互连外，也可以利用原来VPN专线组网，而不用通过Internet。这样可能牵涉到设备、软件的专用性问题，不能充分共享公众网的资源，与其他网络的互通性也差些。
大企业的IP电话互通电话模式有：计算机局域网内PC－PC；计算机局域网异地PC－PC；本地PC－PBX电话；异地PC－PBX电话；计算机局域网PC－长途普通电话。
图3 小企业IP电话网
小企业IP电话网方案
小企业的财力、物力有限，不可能大规模地拥有自己的VPN网络，此时实施IP电话的主要目的是为了节省昂贵的长途电话费用，所以主要是实现呼出为主，呼入中继由PSTN直接和PBX相连，PBX的呼出中继则通过网关和PSTN、Internet直接互连，以优选线路。这种配置，只需一个网关设备和少量的中继线即可实现IP电话、传真的功能，用最小的成本，节约了企业的长途电话、传真费用。