« A ne considérer que lui-même, on ne pouvait voir en [Pierre] qu'un homme par l'effet de la nature, qu'un chrétien par l'effet de la grâce, qu'un apôtre par l'effet d'une grâce plus abondante ; mais une fois que le Christ lui a eu dit : « Je te donnerai les clefs du royaume des cieux; tout ce que tu lieras sur la terre sera lié dans le ciel, et tout ce que tu délieras sur la terre sera délié dans le ciel », il représentait cette Eglise universelle, que toutes sortes d'épreuves, pareilles à des pluies, à des torrents, à des tempêtes, ne cessent d'assaillir sans jamais la renverser, parce qu'elle est fondée sur la pierre: c'est de là que Pierre a pris son nom. Car ce n'est point de Pierre que vient le nom de la pierre; mais le nom de Pierre vient de celui de la pierre; comme le nom du Christ ne dérive pas du mot chrétien ; mais le mot chrétien dérive du nom du Christ. Le Sauveur a dit : « Et sur cette pierre je bâtirai mon Eglise », parce que Pierre avait dit : « Vous êtes le Christ, Fils du Dieu vivant ». C'est donc sur cette pierre, dont tu as reconnu l'existence, que je bâtirai mon Eglise. En effet, la pierre était le Christ, et Pierre lui-même avait été établi sur ce fondement. « Car personne ne peut poser d'autre fondement que celui qui a été posé, et ce fondement, c'est Jésus-Christ ». L'Eglise, qui est fondée sur le Christ, a donc reçu de lui, dans la personne de Pierre, les clefs du royaume des cieux, c'est-à-dire le pouvoir de retenir et de remettre les péchés. Ce que l'Eglise est par nature dans le Christ, Pierre l'est en figure dans la pierre; par là, nous voyons que le Christ c'est la pierre, et que Pierre, c'est l'Eglise. »

Augustin, Traité 124.5 sur l’évangile de Jean Au concile de Carthage de 417, les africains (dont Augustin) ont décrété que s’il y avait un désaccord sur la décision d’un évêque, on ne pouvait faire appel qu’aux évêques voisins (c’est-à-dire en Afrique du Nord) et qu’on ne pouvait pas faire appel aux tribunaux de l’autre côté de la mer (c’est-à-dire à Rome), sous peine d’être excommunié. il y avait 217 évêques présents à ce concile et qu’il représente donc bien l’ecclésiologie nord africaine antique : quand ça dépasse l’église locale, on fait appel à une cours régionale. Cette cours régionale ne peut être opposée que par une cours universelle et non pas une cours étrangère, pas même celle de Rome. Le canon en question : « 28. Les prêtres, diacres et clercs qui dans leur cause feraient appel aux tribunaux d'au-delà des mers, ne seront point reçus à la communion. Les africains étaient donc bien en communion avec Rome, mais ils tenaient à maintenir leur autonomie. Et ils ont fait appel quelques années plus tard à ce canon de leur discipline quand l’évêque de Rome tentait, encore, de leur imposer l’admission d’un prêtre qu’ils avaient excommunié.