Web Scraping

Apa itu Web Scraping ?

Web scraping (panen web) adalah pengambilan sebuah dokumen semi-terstruktur dari internet, umumnya berupa halaman-halaman web dalam bahasa markup seperti HTML atau XHTML, dan menganalisis dokumen tersebut untuk diambil data tertentu dari halaman tersebut. Istilah gampangnya yaitu pengambilan konten dari situs satu ke situs lain.

            Contoh sederhananya jika kita meng-click kanan , kemudian view page source, pada sebuah halaman website, akan muncul kode-kode (tag HTML, javascript, dll) dan bagian itu lah yang akan kita tarik datanya, untuk melakukannya kita menggunakan teknik Parsing/Parse HTML (Parse html adalah suatu teknik untuk memisahkan suatu teks dari tag2 code-code html pada halaman website). Ilustrasi sederhananya seperti berikut :

Website yang besar biasanya memiliki banyak data untuk dikelola, oleh karena itu penting bagi para Scraper untuk mampu mengelola data-data pada website tersebut.

Tips Bagi teman-teman yang ingin melakukan  Web Scraping : 

1. Halaman Cache dikunjungi untuk Scraping

Ketika membongkar website besar, selalu ada ide yang baik untuk menyimpan data di tempat khusus (cache) yang sudah diunduh. Jadi kita tidak harus meletakkan beban pada website, jika kita mau memulai dari awal lagi atau halaman yang diperlukan selama pembongkaran itu sangat mudah ke cache. Tinggal cek kotak kata kunci seperti redis. Selain itu Database dan cache file systemnya juga harus baik.

2. Jangan membanjiri website dengan jumlah permintaan paralel yang besar, karena akan membuat kinerja menjadi lambat.

Website memiliki algoritma untuk mendeteksi webscraping. Banyak permintaan paralel dari alamat IP yang sama, akan mengidentifikasi kita sebagai penolakan pelayanan pada website mereka, dan mem-blacklist IP. Sebuah ide yang lebih baik adalah ketika permintaan kita benar satu demi satu, memberikan beberapa jenis yang mirip dengan perilaku manusia. Tapi gesekan seperti itu akan memakan banyak waktu. Untuk menyeimbangkan permintaan kita harus menggunakan waktu respon rata-rata situs, dan bermain-main dengan jumlah permintaan paralel ke website untuk mendapatkan IP yang benar, sehingga membuat kinerja menjadi stabil.

3. Menyimpan URL kita yang sudah diambil

Kita mungkin ingin menyimpan daftar URL yang telah diambil dalam database. Apa yang akan kita lakukan jika mengalami scraper crash setelah menscraping 70% dari website? Maka kita perlu menyelesaikan 30% sisanya, dengan daftar dari URL, yang akan memakan waktu dan bandwidth. Pastikan agar kita tidak membuang waktu dan badwidth untuk menyimpan daftar URL tesebut ke dalam suatu tempat permanen, sampai kita memiliki semua data yang dibutuhkan. Juga dapat dikombinasikan dengan cache. Dengan cara ini, kita akan dapat melanjutkan scraping.

4. Melakukan Split scraping

Menjadi hal yang mudah dan lebih aman jika kita membagi scraping menjadi beberapa fase yang lebih kecil. Misalnya, kita bisa membagi scrape website besar menjadi dua layer. Satu untuk mengumpulkan link ke halaman yang kita butuhkan untuk mengambil data dan satu lagi untuk mengunduh halaman untuk menscrape konten.

5. Ambil yang diperlukan

Jangan ambil atau mengikuti setiap link kecuali diperlukan saja. Banyak hal yang selalu menggoda dalam mengambil segala sesuatu, ketika kita melakukan scaraping. Jika hal itu dilakukan maka kita hanya membuang-buang bandwidth, waktu dan penyimpanan.

Nah, Buat kamu yang mau mencoba melakukan teknik Scraping, baca juga Tutorial Web Scraping

Semoga Bermanfaat J

**Artikel ini berdasarkan dari beberapa Referensi

Read More

Mengatasi Serangan Deface

            Pada artikel sebelumnya saya membahas tentang pencegahan aksi deface, lalu bagaimana jika blog atau situs kita sudah terkena serangan deface?

Pada artikel kali ini saya akan membahas tentang penanggulangan aksi deface,

Langsung saja kita simak artikel berikut ini !!

MENGEMBALIKAN BLOG/WEBSITE YANG TERKENA DEFACE

Jika website yang anda kelola sudah dideface, langkah-langkah berikut ini mungkin bisa membantu

§  Download source & database yang ada di website untuk backup. Hal ini untuk berjaga-jaga apabila langkah yang kita lakukan gagal, tetapi apabila konfigurasi & file benar dan lengkap dijamin 100% berhasil, terkecuali ada sesuatu yang terlewatkan.

§  Download source CMS versi terbaru dari website penyedia CMS, misalkan: http://www.drupal.org, http://www.joomla.org, http://www.wordpress.org, dsb.

§  Lakukanlah perbaikan database secara lokal, berjaga-jaga apabila backdoor ada di database. Biasanya didalam database ada access user tidak dikenal yang akses levelnya sama dengan Administrator.

§  Install CMS yang tadi sudah di download di web hosting. Kemudian lakukanlah konfigurasi: database, file permission, directory permission. Jangan menggunakan default configuration, modifikasilah konfigurasi-konfigurasi yang ada agar lebih powerfull.

§  Kemudian instalasi component: Themes, Plugin, Component, dsb. Gunakanlah yang paling update, atau source baru dari komponen yang akan di Install (Fresh Install Component).

§  Kemudian update database, dengan login ke Database Control Panel (phpMyAdmin, DB Admin, cPanel Database, dsb). Setelah anda melakukan login, maka importlah database.

Gantilah username Administrator & Password menggunakan nama yang lebih Unik, jangan menggunakan user (admin, administrator, adm1n, dsb) gunakanlah yang lebih powerful dan susah untuk di tebak untuk menghindari bruteforce, gunakanlah alias untuk menampilkan username administrator di web content.

Semoga bermanfaat J

Read More

Mencegah Aksi Deface

MENCEGAH AKSI DEFACE

Artikel ini adalah lanjutan dari artikel sebelumnya tentang Deface, setalah kita menngetahui tentang deface dan bahaya yang di timbulkan. Maka, kita juga harus mengetahui cara mencegah aksi para defacer ini untuk mengamankan situs atau website yang kita punya.

Bagaimana caranya ?

Mungkin akan terlihat rumit untuk pencegahannya

 Langsung saja kita simak artikel berikut ini

MENGAPA WEBSITE KITA BISA DI DEFACE?

Beberapa hal yang membuat website/blog yang kita kelolah bisa dideface

§  Penggunaan free CMS dan opensource tanpa adanya modification. Dalam penggunaan free CMS sebaiknya kita memodifikasi konfigurasinya, bisa dengan melakukan instalasi plugin untuk keamanan wordpress seperti wp firewall,login lock down,stealth login dan yang lainnya untuk keamanan website.

§   Tidak updatenya source atau tidak menggunakan versi terakhir dari CMS. Kebanyakan hal inilah yang menjadi sebab website mudah dideface. Maka untuk pengguna blog atau website sangat disarankan untuk melakukan update pada blog atau website yang anda miliki

§  Tidak adanya pemahaman tentang sourcecode.

§  Jarang melakukan pengecekan terhadap security update..

§  Kurangnya security awareness dari masing-masing personel webmaster & administrator.

CARA MENCEGAH AKSI DEFACE

Untuk menangulangi hal ini, maka sebagai administrator website/blog hendaknya juga kita mengikuti memperhatikan hal-hal berikut ini :

§  Wajib untuk mengikuti perkembangan source dari source website yang digunakan, backuplah website dan database sebelum dilakukan update.

§  Wajib untuk memeriksa perubahan folder, file, database dan source terakhir dari website.

§  Pelajarilah lebih dalam mengenai dasar-dasar hacking dan antisipasinya (RFI, LFI, CSRF, SQL Injection, XSS, Exploit, Dsb) karena artikel ini sudah banyak bertebaran di Internet.

§  Sering-seringlah berdiskusi di forum dan milist yang berkaitan dengan perangkat serta aplikasi yang mensupport website anda, baik dari sisi operating system, tempat hosting, bugtrack milist, developer milist, dsb.

§  Hardening website dan source wajib dilakukan, misalkan jangan menggunakan “default configuration”, aturlah sedemikian rupa “configuration website” dengan memperhatikan: permission, access level, indexing, database connection, database configuration, password dan user management.

§  Gunakanlah tambahan plugin / component yang tepat, sehingga dapat meminimalisasi terjadinya kegiatan defacing dari thirdparty. Pastikan hasil review & ranking plugin bereputasi baik dan sudah di verified oleh penyedia CMS yang bersangkutan.

§  Lakukanlah penetration testing terhadap website, baik secara lokal maupun langsung di website. Banyak tools penetration testing yang bisa digunakan: Nexus, Acunetix, dsb. Tapi yang paling bagus dan lebih cepat adalah, copy source dan database website, Install di local computer, kemudian lakukanlah penetration testing. Updatelah website bila ditemukan vulnerability

.

§  Backdoor, baik (php, asp, perl, phyton) dikenali dengan baik oleh beberapa Antivirus, ada bisa cleaning dengan melakukan scanning terhadap source website secara local. Apabila tidak dikenali, terpaksa anda harus mencari secara manual.

Semoga Bermanfaat J

Read More

DEFACE

DEFACE

            Masih dengan ilmu seputar networking, pada artikel kali ini saya akan membahas tentang deface. Artikel ini bertujuan untuk sarana edukasi bagi kalian para pemula di dunia jaringan. Ini adalah artikel yang membahas secara luas bagaimana peretasan website/deface itu dilakukan.

Ok, langsung saja kita bahas.

Apa itu Deface ??

            Deface adalah salah satu kegiatan merubah tampilan suatu website baik halaman utama atau index filenya ataupun halaman lain yang masih terkait dalam satu url dengan website tersebut (bias folder atau di file)

            Deface juga merupakan teknik mengganti atau menyisipkan file pada server biasannya berupa perubahan visual pada sebuah website, teknik ini dapat dilakukan karena terdapat lubang pada system  security yang ada di dalam sebuah aplikasi. Hal ini bertujuan untuk melakukan perubahan tampilan pada website korban dengan tampilan yang di inginkan defacer.

Jenis-Jenis Deface :

1.      Full Of Page

            Kegiatan mendaface satu halaman penuh tampilan depan alias file index atau file lainnya yang diubah secara utuh, untuk melakukan ini ‘defacer’ harus berhubungan secara langsung dengan box (mesin) atau usaha mendapatkan privileged terhadap mesin, baik root account atau sebagainya yang memungkin defacer dapat secara interaktif mengendalikan file index dan lainnya secara utuh.

2.      Part Of page

            Untuk jenis ini defacer tidak mendeface suatu situs atau website secara penuh, bias hanya dengan menampilkan beberapa kata,gambar atau penambahan script-script yang mengganggu.

Jenis ini mengakibatkan tampilan website menjadi kacau dan cukup mengganggu untuk pemilik website. Part Of Page ini bias terjadi karena adanya celah, baik dari kelemahan scripting yang di gunakan dengan XSS Injection, bias dengan SQL atau database injection dan juga beberapa vulnerabilities yang seringkali ditemukan pada situs-situs yang dibangun dengan menggunakan CMS(Content Manajemen System).

Semoga bermanfaat J

Read More

Mencegah Aksi Sniffing

            Ini adalah lanjutan dari artikel sebelumnya tentang Sniffing, setelah kita mengetahui tentang sniffing dan cara kerjanya tentunya kita bisa lebih tahu tentang sniffing. Nah, selanjutnya mari kita simak artikel tentang pencegahan sniffing.

Pencegahan Sniffing

1. Enkripsi ;

Cara terbaik yang bisa dilakukan untuk mengurangi dampak atau resiko terhadap aksi sniffing adalah dengan memanfaatkan enkripsi. Meskipun si sniffer mendapatkan data yang diinginkan, tetapi akan percuma karena yang didapat hanya teks hancur dan tanpa arti. 
Apa sih Enkripsi? Enskripsi adalah suatu teknik atau proses atau cara mengamankan informasi dengan membuat informasi itu tidak dapat dibaca.

2. Port Security

Port Security pada switch manageable memungkinkan kita untuk memetakan port dengan alamat MAC tertentu. Misal, anda mengatakan kepada switch “port 1, alamat MAC yang terhubung sama lo adalah 12345. Jangan kasih tau alamat MAC lain yang terhubung sama port lo ya”. Cara kerja ini memang bisa membantu dalam mengatasi sniffing yang memanfaatkan ARP Cache Poisoning.

3. ARP Poisoning Detection Tools

Cara yang paling efisien untuk komputer yang banyak. Berbagai tools seperti ARP Watch dan Promiscan bisa mendeteksi adanya serangan ARP cache poisoning.

• ARP Watch : dibuat oleh Lawrence Berkeley National Laboratory, digunakan untuk mendeteksi atau memonitor paket ARP Reply. Akan memonitor aktifitas ethernet dan menyimpan informasi yang didapatkan dalam bentuk pasangan alamat IP dan alamat MAC. Apabila terjadi perubahan, sebuah email akan dikirimkan ke Admin jaringan agar bisa ditangani.

• Promiscan : dibuat oleh SecurityFriday, digunakan untuk mendeteksi keberadaan komputer yang menjalankan ethernet card dengan modus promiscuous atau komputer yang sedang menjalankan program sniffer.

4. Menggunakan Protokol yang aman.

Misalnya penggunaan protokol-protokol yang sudah dilengkapi dengan enkripsi data untuk mengamankan data atau informasi yang kita miliki.

Semoga bermanfaat J

Read More

CARA KERJA SNIFFING

 Masih seputar aksi Sniffing, dalam artikel ini aka nada pembahasan tentang cara kerja para sniffer. Untuk dapat mencegah adanya aksi sniffing tentu kita harus mengetahui bagaimana cara kerja  dari teknik Sniffing ini ?

            Sesuai dengan namanya, sniffing adalah kegiatan mengendus-endus. Dalam istilah informatika, sniffing adalah kegiatan menyadap paket data yang lalu-lalang di sebuah jaringan.

•    Paket ini bisa berisi informasi mengenai apa saja, baik itu username, password, apa yang dilakukan pengguna melalui jaringan, termasuk mengidentifikasi komputer yang terkena virus, sekaligus melihat apa yang menyebabkan komputer menjadi lambat dalam jaringan.

•      Sniffing juga bisa mengendus data-data yang disembunyikan dalam komputer, termasuk yang dienkripsi.

•         Sniffing bisa terjadi karena kompleksnya jaringan komputer yang ada dan komunikasi yang begitu padat.

•         Cukup sulit untuk mendeteksi sniffing karena merupakan metode passif. Penyerang tidak perlu melakukan apapun, hanya perlu mendengarkan/mengendus data yang lewat saja.

Apa yang dilakukan?

1.       Mengetahui segala bentuk informasi.

2.      Mengetahui apa yang terjadi pada jaringan.\

3.       Mengetahui penyebab dari gangguan sistem jaringan (troubleshooting).

Cara kerja Sniffer

Mendapat username / password user.

      User & Server

Skenario 1 :

 Sniffer ingin mendapatkan data atau username dan password user melalui aktifitas penyadapan komunikasi dataantara User dan server.

1.      Agar berhasi mendapatkan data atau username dan password korban yang terdapat di server, maka si penjahat harus melakukan ARP Poisoning. Namun sebelumnya kita harus memastikan IP forwarding telah enable di mesin penjahat.

2.      Dengan memanfaatkan cara kerja ARP, dimana pada jaringan dengan switch, korban ketika berkomunikasi dengan server (misalnya akses email, login ftp dsb) akan trlebih dulu melakukan ARP request yang menanyakan MAC mesin server (IP Server). Pesan request ini dikirim secara broadcast, yang hendaknya akan dijawab (di replay) oleh mesin server.

3.       Hal inilah yang akan dimanfaatkan sniffer, dimana aplikasi mampu memodifikasi atau melakukan ARP Poisoning/spoofing.

 

4.       Setelah mesin korban menerima ARP Replay tersebut, maka korban akan mulai melakukan komunikasi dengan mesin yang MAC addressnya diberikan pada pesan ARP Replay yang sudah dimodifikasi. Selanjutnya terbentuk MITM (Man In The Middle). Sniffer akan dengan mudah melakukan penyadapan.

Contoh tools yang digunakan :

11.  Wireshark

22.  Cain n Abel (Windows)

33.    Ettercap dll.

Read More

SNIFFING

Assalamualaikum teman-teman, kali ini saya mencoba membahas tentang teknik sniffing

Apa itu Sniffing ?

Sudah pernah mendengar istilah tentang sniffing?

Sniffing adalah suatu aktivitas penyadapan terhadap jaringan,  untuk lebih jelasnya mari kita simak artikel berikut ini !

Network Sniffing

            Adalah suatu aktivitas menyadap yang dilakuukan dalam jaringan yang sangat suit untuk di cegah. Walaupun kita telah menginstall berbagai macam software untuk mencegah serangan dalam jaringan. Hal ini adalah permasalahan dari komunikasi atau protocol jaringan dan tidak ada hubungannya dengan system operasi.

Aktivitas menyadap atau sniffing ini terbagi 2 jenis, yaitu :

1.      Passive Sniffing

Merupakan kegiatan penyadapan tanpa merubah data atau paket apapun di jaringan. Passive Sniffing yang umum di lakukan yaitu HUB, hal ini disebabkan karena prisnsip kerja HUB yang hanya bertugas meneruskan signal ke semua computer (broadcast). Berbeda dengan switch yang mempunyai cara untuk menghindari collision atau bentrokan yang terjadi pada hub dengan membaca MAC Address computer. Beberapa program yang umumnya digunakan untuk melakukan aktivitas ini yaitu wireshark, cain-abel, dan sebagainya.

2.      Active Sniffing

Merupakan kegiatan sniffing yang dapat melakukan perubahan paket data dalam jaringan agar bisa melakukan sniffing. Active sniffing dengan kata lain merupakan kebalikan dari Pasive sniffing . active sniffing umumnya dilakukan pada switch, hal ini di dasari karena perbedaan kerja antara HUB dan Switch, seperti yang dijelaskan. Active sniffing yang paling umum dilakukan adalah ARP Poisoning ,Man in the middle attack

Dua jenis sniffing ini sangat merugikan jika terjadi di dalam jaringan karena bisa saja data-data pribadi kita atau account-acount pribadi kita semacam e-mail yang bersifat sensitive dapat tercuri.

Sniffing sendiri merupakan suatu tindakan yang sangat sulit untuk di cegah. Tidak ada solusi yang mudah,cepat, dan aman yang bisa kita lakukan untuk mencegah serangan semacam ini. Namun tentunya, kita bisa meminimalisir kerugian yang mungkin terjadi di kemudian hari.

            Hal yang paling cepat di gunakan dan tidak memakan biaya besar adalah penggunaan enkripsi sehingga data-data yang lalu lalang di dalam jaringan kita sangat sulit untuk di baca.

Semoga bermanfaat J

Baca Juga
Cara Kerja Sniffing dan Cara Mencegah Sniffing

artikel ini diulah dari berbagai sumber

http://bangvandawablog.blogspot.co.id/2011/05/sniffing.html

http://goresan-kecil-chara.blogspot.co.id/2013/07/network-sniffing-adalah.html

Read More

Mengatasi Pembobolan WIFI

MENCEGAH PEMBOBOLAN WIFI

            Masih dalam ilmu seputar networking, pada artikel ini saya akan membahas cara mencegah pembobolan wifi. Tentu kita akan sangat dirugikan jika wifi kita dibobol bukan hanya kerugian berupa materil dengan meningkatkan tagihan wifi, pembobol juga memungkinkan untuk mengakses data pribadi kita. Nah bagaimana cara mencegah pembobolan wifi?

Mari kita simak artikel berikut ini !!

MENCEGAH PEMBOBOLAN WIFI

1.      Ganti Login ke Wifi Router

Jika login roouter masih menggunakan user dan password standar yaitu “admin”, maka sangat disarankan untuk mengganti login ini

Cari bagian maintenance lalu pilih password. Sekarang gantilah user name dan password standar dengan yang baru. Pastikan anda mengingatnya, karena saat anda menekan Save, router akan meminta anda login dengan user name dan password baru

2.       Hotspot Password

Hotspot password merupakan cara yang paling umum digunakan untuk membatasi akses ke hotspot. Perlu diperhatikan adalah pemilihan metode pengamanannya.

Cari bagian Wireless Security. Pilih metode security yang disarankan yaitu WPA-PSK/WPA2-PSK. Sekarang pada bagian password, masukan password untuk hotspot. Gunakan password kombinasi huruf kecil,angka dan karakter ASCII agar lebih aman.

*Catatan !

Jika dirumah anda masih computer atau laptop yang menggunakan windows XP,disarankan untuk memiiki metode WPA/WPA2. Karena, kebanyakan windows XP belum dapat mengenali metode PSK (passphrase key)

            Umumnya router perlu melakukan reboot agar password baru dapat aktif. Pilih maintenance lagi lalu pilih reboot.

Tips !

Anda dapat melakukan reboot manual dengan mencabut sementara kabel power pada wifi roouter

3.       MAC Filtering

Ini merupakan metode pengamanan tingkat lanjut. Hal pertama yang harus dilakukan adalah pastikan semua perangkat yang  menggunakan hotspot di rumah sedang aktif dan terhubung ke hotspot.

Sekarang carilah bagian DHCP dan pilih DHCP Clients. Jika semua perangkat anda telah terhubung ke hotspot, maka disini akan terlihat semua daftar alat atau perangkat yang terhubung ke Wifi Router

            Catatlah semua Client Name dan MAC Address dari perangkat yang terhubung ke Wifi Router. Sekarang cari bagian Advance Security lalu pilih MAC Address Filtering. Tambahkan semua daftar perangkat anda ke dalam daftar MAC Filter.Setelah itu pindah ke bagian Firewall Security, pilih Enable Firewall, lalu aktifkan atau hidupkan MAC Filter dengan memilih Enable MAC Address Filtering dan pilih Allow

            Pilihan Allow membuat Wifi Router hanya menerima akses dari semua pernagkat yang tercatat dalam daftar MAC Filter.

Mulai sekarang, jika anda ingin mengkoneksikan perangkat baru anda dapat mematikan sementara MAC Filter agar perangkat baru dapat mengakses hotspot. Setelah anda memasukan MAC perangkat baru ke dalam daftar, anda dapat mengaktifkan kembali MAC Filter ini.

4.       Gunakan SSID Unik

SSID (Service Set Identifier) adalah nama hotspot anda, salah satu trik yang kadang cukup ampuh mencegah orang menggunakan hotspot anda adalah dengan nama SSID yang unik seperti “Jangan di coba” atau dengan nama yang lebih serem seperti “C:/virus.exe.”

            Cara untuk mengganti SSID, carilah Wireless Setting dang anti SSID dengan nama unik kemudian klik save

            Secara psikologis namam SSID ini akan mencegah orang untuk mencoba mengakses hotspot anda, Demikianlah beberapa tips sederhana untuk mengamankan dan membatasi akses Wifi di rumah anda. Walaupun tentunya cara ini tidak 100% mampu melindungi, namun sedikit banyak cara-cara tersebut akan menyulitkan mereka yang ingin “mencuri” sinyal wifi anda.

Semoga Bermanfaat J

Read More