Ytterby gamla kyrka uppfördes på 1100-talet i romansk stil med rakslutet kor i en tid då Kungälv fortfarande tillhörde Norge. Kyrkan kallades länge för Sankt Halvards kyrka då den var helgad åt Sankt Halvard, sjöfartens helgon, som även var skyddshelgon åt Oslo domkyrka.

Vid kyrkans nordvästra hörn finns en sten med två skulpterade människohuvuden som idag nästan helt eroderat bort. Det ena ska föreställa Sankt Halvard själv och det andra den kvinna som han enligt sagan försökte rädda från att drunkna, vilket ledde till att han själv omkom. En lokal legend berättar att när ansiktena når marken kommer jorden att gå under, vilket kommer ske förr eller senare på grund av att murarna med åren sätter sig.

När Ytterbys nya kyrka invigdes 1870 övergavs den gamla. Ett stort antal inventarier har räddats till Göteborgs stadsmuseum och även till den nya kyrkan. Ytterbys kyrkoruin är idag välbehållen och ligger lättillgänglig med en stor parkering tillhörande kyrkogården.