Panduan Indexing & Submit Sitemap: Search Console dan N.E.R.D

Panduan ini menjelaskan alur kerja dan langkah-langkah praktis untuk mengindeks website hasil build Shuriken maupun ekosistem Dojo ke mesin pencari Google serta mengakselerasi perayapan melalui N.E.R.D Indexer (nerd.dojo.cc).

📌 Mengapa Indexing Itu Penting?

Setelah website selesai dibuat dan dipublikasikan (baik melalui hosting Cloudflare Pages, VPS, maupun platform static lainnya):

1. Mesin Pencari Tidak Otomatis Tahu: Google membutuhkan sinyal awal bahwa ada website baru yang aktif.
2. Tanpa Tindakan Aktif: Website yang dibiarkan begitu saja membutuhkan waktu berminggu-minggu hingga berbulan-bulan untuk ditemukan crawler secara acak.
3. Dengan Tindakan Aktif: Melalui pendaftaran sitemap di Google Search Console dan percepatan sinyal via N.E.R.D, URL halaman baru dapat dirayapi dan masuk hasil pencarian jauh lebih cepat (dalam 24–72 jam).

🗺️ Memahami Berkas Sitemap

Sitemap adalah peta situs dalam format XML yang berisi daftar seluruh tautan (URL) halaman website Anda beserta waktu pembaruan terakhirnya.

• Untuk website statis / dynamic Shuriken & Dojo, lokasi berkas sitemap utama umumnya berada di:

  https://domainanda.com/sitemap.xml
  

• Pastikan URL sitemap dapat dibuka di browser dan mengembalikan kode status HTTP 200 OK dengan struktur tag XML <urlset> atau <sitemapindex>.

🔍 Bagian 1: Submit ke Google Search Console (GSC)

Google Search Console adalah alat resmi dari Google untuk memantau performa, status perayapan (crawling), dan pengindeksan (indexing) website Anda di hasil pencarian Google.

Langkah 1: Buka Google Search Console

1. Akses Google Search Console.
2. Masuk menggunakan akun Google Anda.

Langkah 2: Tambahkan Properti Website

1. Klik menu dropdown properti di kiri atas > + Tambahkan properti (+ Add property).
2. Pilih metode Awalan URL (URL prefix):
   • Masukkan alamat website lengkap dengan https://, contoh: https://domainanda.com/.
   • Klik Lanjutkan.

Langkah 3: Verifikasi Kepemilikan Website

Pilih metode verifikasi yang paling mudah:

• File HTML: Download file verifikasi Google (contoh: google1234567890.html), letakkan di root direktori website Anda (folder public/ atau output static), lalu klik Verifikasi.
• Tag HTML: Salin tag <meta name="google-site-verification" content="..." />, tempelkan ke bagian <head> template HTML Anda, lalu klik Verifikasi.
• DNS TXT (Cloudflare / Registrar): Tambahkan DNS TXT record dengan nilai verifikasi dari Google.

Langkah 4: Kirimkan Berkas Sitemap

1. Buka menu Peta Situs (Sitemaps) di sidebar kiri.
2. Di kolom Tambahkan peta situs baru (Add a new sitemap), ketik:

   sitemap.xml
   

3. Klik Kirim (Submit).
4. Google akan membaca sitemap Anda dan menampilkan status Sukses (Success) beserta jumlah URL yang terdeteksi.

Langkah 5: Gunakan Inspeksi URL (URL Inspection)

Untuk halaman penting seperti Homepage atau pilar artikel:

1. Tempelkan URL di kolom pencarian Inspeksi URL di bagian atas GSC.
2. Klik Minta Pengindeksan (Request Indexing) untuk meminta Googlebot merayapi halaman tersebut pada prioritas tertinggi.

⚡ Bagian 2: Akselerasi Indexing lewat N.E.R.D (nerd.dojo.cc)

N.E.R.D (Nerd Indexer) adalah platform akselerasi crawling dan indexing eksklusif bagi member komunitas Internet Marketing Dojo. N.E.R.D menstimulasi mesin pencari melalui perayapan terdistribusi sehingga URL baru dirayapi lebih cepat.

Langkah 1: Buka Portal N.E.R.D

1. Masuk ke https://nerd.dojo.cc atau melalui menu N.E.R.D di Dashboard Dojo https://dojo.cc/nerd.
2. Login menggunakan akun member Dojo Anda.

Langkah 2: Buat Project Baru

1. Masuk ke menu Projects (https://nerd.dojo.cc/projects).
2. Klik tombol New Project.
3. Beri nama project sesuai website Anda (misal: "Website Resep AdSense" atau nama domain Anda).
4. Klik Submit.

Langkah 3: Import Sitemap

1. Buka project yang baru saja dibuat.
2. Klik tombol Import Sitemap.
3. Masukkan tautan sitemap lengkap website Anda:

   https://domainanda.com/sitemap.xml
   

4. Klik Import.
5. Sistem N.E.R.D akan mengekstrak seluruh URL yang ada di sitemap ke daftar tautan project.

Langkah 4: Jalankan Indexing (Run)

1. Klik tombol Run pada project Anda.
2. N.E.R.D akan mengantrekan URL ke antrean perayapan (script_processing_queue).
3. Bot perayap Dojo akan secara berkala mengirimkan sinyal indexasi yang aman ke mesin pencari.

💡 FAQ & Tips Praktis

Apakah setelah submit sitemap web langsung muncul di halaman 1 Google?

Tidak seketika. Tahapan mesin pencari adalah:

1. Discovery (Penemuan): Google menemukan URL via sitemap / perayap.
2. Crawling (Perayapan): Googlebot mengunduh isi halaman web.
3. Indexing (Penyimpanan Indeks): Google menganalisis dan memasukkan halaman ke database indeks.
4. Ranking (Pemeringkatan): Google menentukan posisi halaman berdasarkan relevansi keyword dan otoritas website. Proses perayapan dan indeks awal biasanya berlangsung antara 24 jam hingga 1 minggu.

Apakah perlu submit ulang sitemap setiap hari?

Tidak perlu. Googlebot dan perayap N.E.R.D secara rutin mengecek kembali file sitemap.xml Anda. Jika ada postingan baru yang otomatis ditambahkan ke sitemap, perayap akan menemukannya sendiri saat jadwal crawling berikutnya.

Bagaimana jika sitemap berstatus "Couldn't fetch" atau error di GSC?

• Pastikan website Anda sudah aktif dengan HTTPS valid.
• Pastikan berkas sitemap dapat diakses secara publik tanpa diblokir oleh firewall atau proteksi bot.
• Tes URL sitemap di browser jendela penyamaran (incognito) untuk memastikan tidak ada pesan kesalahan HTTP 403 atau 404.