Portal Berita Ekonomi Jum'at, 27 November 2020

Perspektif Baru Bisnis & Ekonomi

  • icon facebook kecil
  • icon twitter kecil
  • icon feed kecil
  • icon youtube kecil
  • icon email kecil
Executive Brief
  • 09:01 WIB. IHSG - IHSG menguat 0,38% pada pembukaan sesi I.
  • 08:11 WIB. Oil - Harga acuan WTI diperdagangkan pada level 44,97 USD/barel.
  • 08:10 WIB. Oil - Harga acuan Brent diperdagangkan pada level 47,80 USD/barel.
  • 08:09 WIB. Valas - Dollar AS menguat 0,01% terhadap Euro pada level 1,1912 USD/EUR.
  • 08:08 WIB. Valas - Dollar AS menguat 0,04% terhadap Poundsterling pada level 1,3353 USD/GBP.
  • 08:06 WIB. Bursa - Indeks KOSPI dibuka menguat 0,10% pada level 2.628.
  • 08:06 WIB. Bursa - Indeks Nikkei dibuka menguat 0,04% pada level 26.547. 
  • 08:05 WIB. Bursa - Indeks FTSE 100 ditutup negatif 0,44% pada level 6.362.
  • 08:04 WIB. Valas - Dollar AS melemah 0,13% terhadap Yen pada level 104,12 JPY/USD.
  • 08:03 WIB. Gold - Spot price emas diperdagangkan pada level 1.812 USD/troy ounce.

Apa Itu Robots.txt?

Apa Itu Robots.txt?
WE Online, Jakarta -

Pada tahun 1994, sebuah protokol yang disebut REP (Robots Exclusion Standard Protocol) diluncurkan. Protokol ini menetapkan bahwa semua crawler mesin pencarian (user-agents) harus mencari file robots.txt di direktori dasar domain Anda terlebih dahulu dan membaca petunjuk yang ada di dalamnya. Dengan begitu, bot dapat mulai mengindeks halaman web Anda.

File tersebut harus terletak langsung di direktori dasar domain Anda dan harus ditulis dengan huruf kecil karena bot membaca file robots.txt yang instruksinya peka terhadap huruf besar atau kecil. Sayangnya, tidak semua robot mesin pencari dapat mengikuti aturan ini. Setidaknya file robot.txt berfungsi dengan baik pada mesin pencari seperti Bing, Yahoo, dan Google. Robot pencari yang ada di mesin pencarian tersebut secara ketat akan mengikuti instruksi dari REP dan robots.txt.

Baca Juga: Apa Itu URL Optimization?

Bagi Anda yang ingin melakukan crawling dan indexing pada SEO perlu mengetahui secara pasti kegunaan dari file ini. Untuk itu, simak penjelasannya di artikel berikut ini.

Apa Itu Robots.txt?

Robots.txt adalah sebuah file yang berisi sekumpulan instruksi untuk menjalankan bot mesin pencari. File robots.txt ditujukan untuk mengelola aktivitas bot seperti crawler web karena bot yang buruk tidak akan mengikuti petunjuk atau perintah yang telah diberikan.

File robots.txt layaknya tata tertib yang ada di kehidupan manusia. Tata tertib tersebut tidak memiliki kekuatan untuk menegakkan aturan yang tercantum, tetapi bot yang "baik" akan selalu mengikuti aturan. Sementara, yang "buruk" kemungkinan besar akan melanggar aturan tersebut dan segera diberikan penalti.

Bot adalah sebuah program komputer otomatis yang berinteraksi dengan situs web dan aplikasi. Terdapat bot yang baik dan bot yang buruk, khusus salah satu jenis bot yang baik dikenal sebagai bot crawler web. Bot ini akan melakukan "crawling" pada halaman situs web dan mengindeks konten sehingga laman tersebut dapat muncul di halaman hasil mesin pencari. File robots.txt membantu mengelola aktivitas crawler web ini agar tidak membebani server web yang sedang menghosting situs web atau mengindeks laman yang tidak ditujukan untuk ditampilkan untuk publik.

Cara Kerja Robots.txt

File robots.txt hanyalah file teks tanpa kode markup HTML (karenanya ekstensinya berupa .txt). File robots.txt dihosting di server web seperti file lainnya yang berada di situs web. Faktanya, file robots.txt pada situs web tertentu biasanya dapat dilihat dengan mengetikkan URL beranda situs kemudian menambahkan /robots.txt, seperti contoh berikut: https://www.situswebAnda.com/robots.txt.

File tersebut tidak dihubungkan ke laman lain yang berada di situs tersebut. Jadi, pengguna tidak akan menemukannya, tetapi sebagian besar bot crawler web akan mencari file ini terlebih dahulu sebelum melakukan crawling pada situs tersebut.

Meskipun file robots.txt memberikan petunjuk bagi bot, file tersebut hanya bersifat arahan atau petunjuk bagi bot. Bot yang baik, seperti web crawler atau bot news feed, akan mencoba mengunjungi file robots.txt terlebih dahulu sebelum melihat halaman lain di domain dan akan mengikuti petunjuknya. Bot yang buruk akan mengabaikan file robots.txt atau akan memprosesnya untuk menemukan halaman web yang terlarang.

Bot crawler web akan mengikuti sekumpulan petunjuk spesifik di file robots.txt ini. Jika ada perintah yang kontradiktif dalam file tersebut, bot akan mengikuti perintah yang lebih terperinci.

Satu hal penting yang perlu diperhatikan adalah semua subdomain membutuhkan file robots.txt-nya sendiri. Misalnya, jika Anda memiliki situs bernama www.situswebAnda.com memiliki filenya sendiri, semua subdomain yang dimiliki Anda (blog.situswebAnda.com, community.situswebAnda.com, dll.) membutuhkannya penggunaan robot.txt juga.

Baca Juga

Tag: Digital Economy, Search Engine Optimization (SEO), Digital Marketing

Penulis: Patrick Trusto Jati Wibowo

Editor: Puri Mei Setyaningrum

Foto: Unplash/Campaign Creators

Kurs Rupiah
Mata Uang Simbol Nilai Jual Beli
Arab Saudi Riyal SAR 1.00 3,786.34 3,748.56
British Pound GBP 1.00 19,013.25 18,821.25
China Yuan CNY 1.00 2,162.10 2,140.42
Dolar Amerika Serikat USD 1.00 14,200.65 14,059.35
Dolar Australia AUD 1.00 10,454.52 10,347.68
Dolar Hong Kong HKD 1.00 1,832.11 1,813.85
Dolar Singapura SGD 1.00 10,610.96 10,499.10
EURO Spot Rate EUR 1.00 16,932.86 16,762.96
Ringgit Malaysia MYR 1.00 3,480.55 3,442.54
Yen Jepang JPY 100.00 13,612.59 13,470.68
Ringkasan BEI
No Name Today Change Stock
1 Composite Index 5759.916 80.669 705
2 Agriculture 1231.325 -1.049 24
3 Mining 1637.002 32.633 47
4 Basic Industry and Chemicals 895.382 24.112 80
5 Miscellanous Industry 1009.041 15.971 53
6 Consumer Goods 1874.319 16.407 60
7 Cons., Property & Real Estate 368.617 5.657 95
8 Infrastruc., Utility & Trans. 987.173 31.451 79
9 Finance 1307.148 9.800 93
10 Trade & Service 690.456 6.771 174
No Code Prev Close Change %
1 ABBA 55 74 19 34.55
2 PNSE 790 980 190 24.05
3 KAYU 61 75 14 22.95
4 DAYA 398 488 90 22.61
5 ACST 230 282 52 22.61
6 VIVA 50 61 11 22.00
7 ALKA 252 306 54 21.43
8 TGRA 102 123 21 20.59
9 BCIP 55 66 11 20.00
10 SONA 5,400 6,325 925 17.13
No Code Prev Close Change %
1 FORU 100 93 -7 -7.00
2 EPAC 172 160 -12 -6.98
3 SKLT 1,600 1,490 -110 -6.88
4 TRIM 117 109 -8 -6.84
5 HITS 498 464 -34 -6.83
6 TIFA 442 412 -30 -6.79
7 CBMF 595 555 -40 -6.72
8 NFCX 1,720 1,605 -115 -6.69
9 RONY 240 224 -16 -6.67
10 BKSL 60 56 -4 -6.67
No Code Prev Close Change %
1 TLKM 3,280 3,470 190 5.79
2 IMAS 1,175 1,180 5 0.43
3 DOID 300 342 42 14.00
4 KBAG 54 51 -3 -5.56
5 ACST 230 282 52 22.61
6 TOWR 1,045 1,075 30 2.87
7 BBRI 4,320 4,290 -30 -0.69
8 BUMI 72 76 4 5.56
9 MEDC 474 515 41 8.65
10 PPRO 102 98 -4 -3.92