Meskipun ada risiko atas serangan DDoS dan ancaman keamanan lainnya, banyak penerbit yang gagal dalam mengenali masalahnya dan menghiraukan traffic bot, karena mereka cenderung ingin mendapatkan jumlah traffic yang besar. Kenyataannya, tanpa adanya manajemen bot yang efektif dapat memberikan risiko kepada keseluruhan proyek, merusak pengalaman pengguna, atau mengusir pengiklan dari inventaris iklan.
Singkatnya, bot mewakili aplikasi yang melakukan tugas-tugas repetitif dalam skala yang berbeda, seperti peringkat webpage untuk keperluan SEO, menggabungkan konten, atau mengekstrak informasi. Bot sering kali didistribusikan melalui sebuah botnet, misal, salinan dari software bot yang terhubung dijalankan di beberapa mesin dengan alamat IP yang berbeda. Dari sudut pandang pemilik website, bot bisa menjadi baik, jahat, atau tidak relevan. Mari kita cari tahu apa yang bot lakukan di website Anda dan bagaimana Anda bisa menguasai situasinya.
Bot baik dan bagaimana mengizinkan mereka
Bot baik dibangun untuk menyelesaikan misi yang selaras dengan misi penerbit. Salah satu jenis bot paling umum adalah spider bot, yang digunakan oleh search engine atau layanan online untuk menemukan konten Anda, memberi peringkat pada halaman, dan membuat website Anda tersedia melalui hasil pencarian. Contoh lainnya adalah comparison bot, yang membantu pengguna untuk menemukan produk atau tawaran Anda melalui layanan perbandingan harga. Terakhir, data bot yang dibuat untuk menggabungkan konten pada topik tertentu atau memberikan update tentang post baru, ramalan cuaca, kurs mata uang, dll.
Anda dapat mengelola bot baik menggunakan file *robots.txt yang diletakkan di dalam di home directory Anda. Dengan membuat perubahan-perubahan yang dibutuhkan di dalam file ini, Anda dapat memasukkan spider yang menarik bagi Anda ke dalam whitelist atau menentukan halaman-halaman apa saja yang ingin dirayapi oleh spider.
Untuk menghindari pengukuran pemirsa yang bias, Anda dapat mengecualikan semua hasil dari bot baik di dalam Google Analytics. Anda juga dapat menentukan daftar IP tertentu untuk menghiraukan spider dan bot baik lainnya dengan sumber yang diketahui di dalam laporan analitik.
Beberapa bot baik juga mungkin tidak relevan dengan misi bisnis Anda. Sebagai contoh, bot-bot tertentu mungkin merayap pencarian website Anda untuk kategori konten yang tidak berkaitan dengan proyek Anda. Anda juga mungkin ingin untuk melarang bot-bot yang tidak relevan ini dengan memblokir mereka berdasarkan IP atau mengecualikan mereka dari daftar allowlist untuk bot.
Mencegah traffic bot berbahaya dan serangan bot
Bot jahat bertujuan untuk menghasilkan kerusakan pada website Anda dan memiliki berbagai jenis. Mungkin, bot yang paling berbahaya adalah yang menyamar sebagai manusia dan lolos dari sistem keamanan website untuk menjatuhkan website. Imposter bot disamarkan sebagai bot baik dan mengikis konten web untuk dipost di situs lain, mencuri kredensial atau alamat email pengguna, melanggar ketentuan layanan website, atau melakukan hal berbahaya lainnya. Dari penelitian tahun lalu, telah diketahui bahwa lebih dari setengah dari bot jahat menyamar menjadi Google Chrome. Fraud bot, di sisi lain, beroperasi di bawah radar dan mencoba untuk mencuri informasi seperti data pribadi, informasi kartu kredit, dll. atau bahkan membajak server data.
Contoh-contoh umum dari bot berbahaya adalah serangan DOS dan DDOS. Serangan Denial of Service (DOS) menggunakan mesin tunggal yang menarget kelemahan dari target website atau mengirim paket atau permintaan dalam jumlah besar. Sedangkan serangan DDoS, melibatkan beberapa mesin yang terhubung atau botnet untuk tujuan yang sama. Hasil dari serangan bot seperti ini adalah resource target terkuras untuk melayani penggunanya. Sering kali, serangan DDoS dieksekusi untuk membuat pemilik bisnis membayar uang tebusan untuk infrastruktur mereka; bot-bot ini disebut ransomware.
Dalam beberapa kasus, bounce rate yang tinggi dan pageviews yang sangat tinggi dapat menjadi indikasi bahwa ada banyak bot jahat, karena perilaku manusia biasanya menghasilkan bounce yang lebih rendah. Pada umumnya, untuk mendeteksi traffic bot, Anda harus melihat semua permintaan jaringan yang diterima website dan menganalisis file log untuk mengidentifikasi permintaan yang mencurigakan, perilaku yang tidak umum, atau anomali. Sebagai contoh, Anda mungkin menemukan lonjakan traffic dari wilayah yang tidak umum, durasi sesi yang lebih rendah dari biasanya, dll.
Tentunya, deteksi tidak mencegah serangan. Setelah kelemahan website dan jejak kaki dari bot berbahaya diketahui, Anda harus mengerahkan alat-alat dan mekanisme lainnya untuk memblokir mereka. Bergantung pada logika bisnis dari situs Anda, Anda dapat melindungi API yang terpapar, menambahkan CAPTCHA di beberapa lokasi, membatasi traffic jaringan berdasarkan IP atau lokasi, menentukan batas dari seberapa sering seorang pengunjung dapat mengirim permintaan, dll.
Untuk proyek web berukuran besar, penting untuk menerapkan sebuah sistem manajemen bot yang mengizinkan diferensiasi traffic bot secara terperinci. Beberapa solusi manajemen bot populer adalah, Cloudflare, ClickGUARD, Radware, dan Akamai.
Dampak pada periklanan
Bot mungkin dapat menyebabkan terkurasnya bujet marketing dan mencondongkan data kampanye. Juga, beberapa botnet berbasis cloud dapat menghasilkan impresi iklan atau klik palsu, yang disebut sebagai click fraud. Untuk menjaga kepercayaan di dalam ekosistem periklanan, para penerbit harus memberikan data akurat tentang pemirsa mereka dan memblokir aktivitas click fraud di situs mereka. Sejauh ini, jika Anda memonetisasi sebuah website melalui iklan dan ada beberapa kejadian click fraud atau data traffic yang menggelembung, semua penyedia iklan besar terpaksa harus memblokir situs tersebut dari jaringan mereka.
Di MGID, kami bangga telah diakui mampu mendeteksi traffic bot dan penipuan periklanan. Pada tahun 2020, MGID telah menerima TAG Certified Against Fraud Seal atas hak paten dari solusi perlindungan penipuan. Kami juga menggunakan alat pendeteksi penipuan Anura untuk menjamin kualitas traffic. Juga, kami memiliki tim analitik in-house yang memeriksa traffic secara manual secara teratur.
Penutup
Sekarang, sekitar 40% dari traffic internet adalah bot, dengan bot berbahaya mungkin adalah salah satu masalah terbesar bagi banyak penerbit. Untuk melindungi situs Anda dari traffic bot yang tidak diinginkan, kami menyarankan menggunakan salah satu dari solusi manajemen bot modern, seperti Cloudflare, ClickGUARD, Radware, atau Akamai. Anda juga dapat mengatur bot baik, seperti spider atau crawler, dengan mengubah pengaturan di dalam file "robots.txt."
