In diesem Punkt unterscheidet sich VoIP bereits grundlegend von der digitalen Festnetztelefonie (ISDN), wo digitalisierte Sprache kontinuierlich mit einer festen Bandbreite über eine reservierte Leitungsverbindung zwischen den Gesprächspartnern übertragen wird: Diese Leitung muss für die Dauer eines Gesprächs exklusiv zur Verfügung stehen.

IP-Pakete werden hingegen individuell über ein vermaschtes Netzwerk transportiert, weshalb derartige Netzwerke grafisch meist als diffuse Wolke dargestellt werden. Die Datenpakete können sich auf unterschiedlichen Wegen durch das Netzwerk bewegen und konkurrieren mit Paketen anderer Datenanwendungen, weshalb in der Regel eine bevorzugte Weiterleitung von Sprachdaten für eine ausreichende Sprachqualität notwendig ist. Dabei ist von Vorteil, dass nicht genutzte Bandbreite für andere Anwendungen zur Verfügung steht und keine Leitung für die Dauer des Gesprächs blockiert wird.

Ein kontinuierlicher Datenstrom auf Senderseite wird in einzelne Pakete aufgeteilt, die auf Empfangsseite wieder zusammengesetzt werden. Damit bei unvorhergesehenen Verzögerungen einzelner Pakete der Datenstrom auf Empfangsseite nicht abreißt und zu Tonstörungen führt, wird dort ein Pufferspeicher eingesetzt, der mehrere Datenpakete auf Vorrat für den Decoder bereithält. Für die Dekodierung und Wiedergabe werden die Pakete nacheinander aus dem Pufferspeicher entnommen. Auf diese Weise können zeitliche Schwankungen, die als Jitter bezeichnet werden, bei der Paketübertragung bis zu einer einstellbaren Länge ausgeglichen werden.

Wenn der Jitter die als Zeitdauer definierte Länge des Empfangspuffers übersteigt, kommt es unmittelbar zur Störung der Sprachwiedergabe. Bei unkomprimierter Sprachübertragung wirkt sich dies durch Knacken bzw. Aussetzer aus, bei Einsatz von Sprachkompression wird das Sprachsignal verzerrt. Der Effekt ist bekannt und tritt in gleicher Weise auch bei einer schlechten Mobilfunkverbindung auf, weil auch bei GSM die Sprache komprimiert wird. Bei einer Kompression wird das Sprachsignal durch mathematische Verfahren "heruntergerechnet", so dass bei Übertragungsfehlern oder Aussetzern der Decoder auf Empfangsseite mit einer Verfälschung des Ausgabesignals reagiert.

Durch den Einsatz des Pufferspeichers wird jedoch bereits eine Grundverzögerung, englisch als Delay bezeichnet, in den Übertragungsweg eingebracht, weil bei Gesprächsbeginn vor der ersten Sprachausgabe zunächst der Pufferspeicher gefüllt werden muss. Die Einstellung der Länge des Pufferspeichers stellt somit einen Kompromiss aus Grundverzögerung und Sprachqualität durch Jitterausgleich dar.