Yung Fo Hin adalah sebutan dalam bahasa Cina Bangka dialek Hakka yang berarti kampung bukit yang tinggi. Pada halaman belakang wisma Keuskupan Pangkalpinang yang terletak di Jalan Statiun XXI Nomor 545 A atau sekarang Jalan Batu Kadera dapat dijumpai sebuah tempat ziarah umat Katolik yang diberi nama Gua Maria “Yung Fo “.

Penyebutan lain orang Bangka terhadap Yung Fo Hin adalah kampung Semabung. Penamaan Semabung berasal dari kata sambung atau sambong karena penduduk awal yang tinggal di kampung Semabung berasal dari kampung Sambong atau Sambung. Penamaan ini dikarenakan pusat misi gareja katolik di Bangka berawal di Distrik Sungai Selan, pada tahun 1853 Masehi dipindahkan Ke Desa Sambong (sekitar 8 km dari Pangkalpinang), dan kemudian pada tahun 1913 Masehi dipindahkan ke Pangkalpinang.

Letak geogarafis Yung Fo Hin atau kampung Semabung berbatasan sebelah Utara dengan kampung Pasirputih (Sung Sa Thi) dan sebelah Barat berbatasan dengan Kampung Besi (Thiat Phu) dan Kampung Betur. Sebelah Timur Yun Fo Hin atau Kampung Semabung berbatasan dengan Kampung Bacang (buah Hijau) dan sebelah Selatan Yung Fo Hin berbatasan dengan Ngicung atau kuburan Cina Sentosa di Kampung Bukti Besar yang sekarang sebagiannya sudah menjadi pertokoan.

Awalnya Yung Fo Hin atau kampung Semabung merupakan daerah pinggiran Pangkalpinang. Kuburan Semabung dan Kelenteng Fuk Tet Che (sekarang Kelenteng Satya Budhi) yang sekarang terletak disimpang empat lampu merah Semabung dulunya terletak di pinggiran kota Pangkalpinang

Sejarah awal Gereja Katolik Pangkalpinang dapat lihat pada catatan dibawah salib makam Tsen On Ngie yang terletak di kuburan Sentosa Pangkalpinang. Perkembangan agama Katolik berawal dari mula berkaryanya seorang tabib (shine) Tionghoa di Sungai Selan yang bernama Tsen On Ngie ( Zeng Aner) yang lahir di cina pada tahun 1795 Masehi.

Pada tahun 1830 Masehi beliau datang ke distrik Sungai Selan dari pulau Penang Malaysia. Sejak tahun 1849 Masehi beliau mulai bekerja sebagai seorang tabib (shine) dan berkeliling di pulau Bangka mengobati orang-orang sakit, terutama buruh-buruh Cina berkerja di parit penambangan timah yang didatangkan dari Cina. Banyak pekerja-pekerja tambang Cina tertarik akan keteladanan Tsen On Ngie dan kemudian belajar agam katolik, komunitas pemeluk agama Katolik pun terbentuk di distrik Sungai Selan dibawah bimbingan Tsen On Ngie.

Pada tahun 1849 Masehi pastor Claessens dari Batavia mengunjungi distrik Sungai Selan dan mengkatolikan 50 orang yang telah dididik dan dipersiapkan oleh Tsen On Ngie. Pada tahun 1853 Masehi Pastor Langenhoff dibantu untuk tugas di distrik Sungai Selan dan Tsen On Ngie mendampingi beliau sebagai katekis (guru agama). Wilayah pelayanan pastor Langenhoff meliputi Pulau Bangka, pulau Belitung, Keresidenan Palembang, Keresidenan Riau dan malah berkembang sampai ke Kalimatan Barat.

Kota Pangkalpinang sebelum menjadi pusat misi gereja Katolik, sejak tahun 1663 Masehi merupakan stasi dari distrik Sungai Selan dan mempunyai sebuah Kapel yang bernama Santo Yoseph. Sekitar tahun 1885 Masehi kerena tak ada pastor yang menetap dipulau Bangka, maka kapel Santo Yoseph tak terawat dan tansh tempat Kapelpun dijual.

Sejak tahun 1925 Masehi umat katolik di Pangkalpinang dilayani dari Sambong dan misa diadakan sebulan sekali dengan memakai salah satu ruangan di Pengadilan Negeri pada waktu itu.

Pada bulan Oktober 1928 Mgr Bouma ss.cc membeli sebidang tanah yang terletak di Jalan Jagal Pangkalpinang dan beliau mulai mendirikan beberapa bangunan untuk keperluan pusat karya gereja dan pada bulan Mei 1931 Masehi para pastor pindah dari sambong ke Pangkalpinang di kapel sementara yang diberkati pada tanggal 24 Mei (letaknya sekarang di kompleks SD Budi Mulia).

Pada tahun 1934 Masehi ditugaskan Pastor di Pangkalpinang bernama Pater Bakker ss.cc, sebagai pastor pertama, ia mulai membuka sebuah sekolah untuk anak putar Pada bulan April 1934 Masehi, Bruder-bruder Budi Mulia yang pertama datang di Bangka dan Pater Bakker ss.cc menyerahkan pengelolaan sekolah putar kepada bruder-bruder Budi Mulia tersebut.

Pastor Pater Bakker ss.cc selanjutnya mulai merintis pembukaan sekolah putri, yang kemudian pada bulan Agustus 1938 Masehi pengelolaannya diserahkan kepada suster-suster Pemeliharaan Ilahi. Pada akhir tahun 1934 Masehi tercatat jumlah murid dari sekolah Bruderan ada 60 orang laki-laki dan sekolah putri Pater Bakker berjumlah 30 orang perempuan.

Pada tanggal 5 Agustus 1934 Masehi diberkati gereja baru yang diberi nama pelindung Santo Yoseph (bangunan gereja ini sekarang sudah dibongkar, letaknya dipastoran sekarang). Peristiwa penting terjadi di gereja ini pada tanggal 25 April 1935 Masehi ketika ditasbihkan sebagai Imam seorang putera Bangka yaitu Pastor Johannes Boen Thiam Kiat.

Pastor Boen adalah Pastor Projo pertama di Keuskupan Pangkalpinang dan juga pastor Projo pertama Indonesia. (Nama Pastor Boen kemudian diabadikan di Balai Pertemuan Paroki Pangkalpinang dengan nama Balai Mario Jhon Boen). Makam Pastor Boen terletak di pekuburan Sentosa Pangkalpinang.

Pada tahun 1934 Masehi pemerintah Belanda menjadikan Pangkalpinang pusat perawatan orang tua/jumpo bekas buruh-buruh tambang timah dari Cina, dan tempat perawatan orang tua lainnya yang terbesar diseluruh Bangka diturup.

Pemerintah Belanda menyerahkan kepada gereja Katolik untuk mengelola tempat ini (letaknya di jalan Sungai Selan km 3,5 sekarang Jalan Solihin GP) dan bruder-bruder Budi Mulia mulai mengelola tempat hingga sekarang dan dikenal dengan nama Longinbuk (rumah bagi orang tua).

Pada tahun 1935 Masehi para bruder mulai membangun gedung Novisiat (tempat pendidikan calon biarawan/bruder), salah satu bruder pertama yang dididik disini adalah Bruder Angelus Manopo, yang cukup lama berkarya di Bangka, untuk membiayai perawatan orang-orang tua, para bruder Budi Mulia memelihara sapi perah yang susunya dijual kepada masyarakat umum, peternakan sapi perah ini sekitar tahun 1980 Masehi ditutup karena dinilai tidak ekonomis lagi.

Pada tahun 1972 Masehi, Mrg.Boen ss.cc, pimpinan gereja Katolik Bangka, Belitung dan Riau membeli sebidang tanah dan sebuah rumah kecil di Kampung Jelutung, di atas tanah kemudian dibangun susteran dan sekolah, yang sekarang dikenal dengan nama SD/SMP Thresia.

Para pastor pindah dari kompleks gereja ke rumah kecil itu menjadi pastoran dan rumah uskup(sekarang menjadi kantor bidang pendidikan Yayasan Tunas Karya), sedangkan pastoroan lama disamping gereja dijalan Jagal menjadi biara suster serta novisiat (sampai tahun 1972 Masehi).

Pada masa Perang Dunia II membawa dampak yang sangat buruk bagi perkembangan gereja katolik Pangkalpinang. Pada bulan Februari 1942 Masehi serdadu Jepang mulai masuk ke Bangka dan tanggal 10 April 1942 Mgr.Bouma ss.cc, para Imam dan bruder berkebangsaan Belanda ditahan Jepang dan dimasukkan di kamp tahanan Pangkalpinang, selanjutnya pada bulan Mei 1944 Masehi mereka dipindahkan ke kamp Mentik dan pada bulan Maret 1945 Masehi dipindahkan ke Belalau, Lubuk Linggau.

Untuk perawatan umat Katolik di Pangkalpinang dan Bangka Belitung dilakukan oleh Pastor Boen dan Bruder Angelus Manopo dan ini berlangsung sampai takluknya Jepang dan kemerdekaan Republik Indonesia pada tahun 1945 Masehi.

Pimpinan gereja Katolik Bangka, Belitung dan Riau, Mgr.Bouma ss.cc meninggal di kamp tahanan Belalau, Lubuk Linggau pada tanggal 19 April 1945 Masehi.

Geliat karya gereja Katolik dimulai lagi setelah perang dunia. Pada bulan April 1946 Masehi para bruder Budi Mulia mulai membuka kembali sekolah-sekolah, demikian pula dengan rumah perawatan orang tua mulai diurus kembali.

Untuk menggantikan Mgr. Bouma yang meninggal di kamp tawanan, di angkatlah Pastor Van Soest ss.cc (Prefek Apostolik) yang tiba di pulau Bangka pada tanggal 30 November 1946 Masehi, dan pada tanggal 8 febuari 1951 Masehi, Prektur Apostolik Bangka, Belitung dan Riau diubah statusnya menjadi Vikariat.

Pada tanggal 20 Mei 1951 Masehi Mrg Van Der Westen ss.cc ditahbiskan sebagai uskup di Pangkalpinang, upacara berlangsung meriah dipendopo SD Budi Mulia. Pada tanggal 3 Januari 1961 Masehi didirikan hirarki Gereja Katolik di Indonesia. Vikariat Apostolik Pangkalpinang diubah statusnya menjadi Keuskupan Pangkalpinang dan Mgr Gabriel Van Der Westen ss.cc diangkat menjadi uskup pertama Pangkalpinang.

Peresmian Mgr Van Der Westen ss.cc menjadi Uskup Pangkalpinang dilakukan di Kathedral Santo Yoseph pada tanggal 17 September 1961 Masehi dan wilayah Keuskupan Pangkalpinang meliputi pulau Bangka, pulau Belitung dan Kepulauan Riau. Mgr Van Der Westen ss.cc menjadi uskup Keuskupan Pangkalpinang sampai awal 1979 Masehi dan karena kesehatannya terganggu, beliau mengundurkan diri kepada Sri Paus, Mgr Van Der Westen kembali ke negeri Belanda pada bulan Maret 1979 Masehi dan Sri Paus kemudian mengangkat Pastor Rudlof Reichenbach ss.cc, sebagai Administrator Apostolik (pejabat sementara pimpinan gereja setempat).

Mgr. Rudlof Reichenbach ss.cc menjabat Administrator Apostolik sampai ditunjuknya uskup baru Pangkalpinang. Pada bulan Mei 1987 Masehi, Sri Paus menunjuk Mgr Hilarius Moa Nurak Svd sebagai uskup Pangkalpinang yang baru dan upacara pentasbihannya dilakukan di Pangkalpinang pada tanggal 2 Agustus 1987. Mgr Hilarius Moa Nurak Svd sampai sekarang menjadi pimpinan gereja setempat (Keuskupan) Pangkalpinang yang wilayahnya meliputi 2 propinsi yaitu propinsi Kepulauan Bangka Belitung dan propinsi Kepulauan Riau.