Apa itu ilmu data?

Ilmuwan data mengikuti proses serupa untuk menyelesaikan proyek mereka:

1. Menentukan masalah bisnis

Ilmuwan data bekerja dengan pemangku kepentingan untuk menentukan dengan jelas masalah yang ingin mereka atasi atau pertanyaan yang perlu mereka jawab, bersama dengan tujuan proyek dan persyaratan solusi.

2. Menentukan pendekatan analitik
Berdasarkan masalah bisnis tersebut, ilmuwan data memutuskan pendekatan analitik mana yang harus diikuti:

• Deskriptif untuk informasi lebih lanjut tentang status saat ini.
• Diagnostik untuk memahami apa yang terjadi dan alasannya.
• Prediktif untuk memperkirakan apa yang akan terjadi.
• Preskriptif untuk memahami cara mengatasi masalah.

3. Mendapatkan data

Ilmuwan data mengidentifikasi dan memperoleh data yang diperlukan untuk mencapai hasil yang diinginkan. Hal ini dapat melibatkan kueri database, mengekstrak informasi dari situs web (web scraping), atau mendapatkan data dari file. Data tersebut mungkin tersedia secara internal, atau tim mungkin perlu membeli data. Dalam beberapa kasus, organisasi mungkin perlu mengumpulkan data baru agar dapat menjalankan proyek dengan sukses.

4. Membersihkan data, juga dikenal dengan istilah scrubbing

Biasanya, langkah ini paling memakan waktu. Guna membuat himpunan data untuk pemodelan, ilmuwan data mengonversi semua data ke dalam format yang sama, menata data, menghapus apa yang tidak diperlukan, dan mengganti data yang hilang.

5. Menjelajahi data

Setelah data dibersihkan, ilmuwan data menjelajahi data dan menerapkan teknik analitik statistik untuk mengungkapkan hubungan antara fitur data dan hubungan statistik antara mereka dan nilai yang mereka prediksi (dikenal sebagai label). Label yang diprediksi dapat berupa nilai kuantitatif, seperti nilai keuangan sesuatu di masa mendatang, atau durasi penundaan penerbangan dalam hitungan menit.

Eksplorasi dan persiapan biasanya melibatkan banyak analisis dan visualisasi data interaktif yang biasanya menggunakan bahasa seperti Python dan R dalam alat dan lingkungan interaktif yang dirancang khusus untuk tugas ini. Skrip yang digunakan untuk menjelajahi data biasanya di-hosting di lingkungan khusus seperti Jupyter Notebooks. Alat ini memungkinkan ilmuwan data untuk menjelajahi data secara terprogram saat mendokumentasi dan berbagi wawasan yang mereka temukan.

6. Memodelkan data

Ilmuwan data menyusun dan melatih model preskriptif atau deskriptif, lalu menguji dan mengevaluasi model untuk memastikan model tersebut menjawab pertanyaan atau mengatasi masalah bisnis. Sederhananya, model adalah potongan kode yang mengambil input dan menghasilkan output. Membuat model pembelajaran mesin melibatkan pemilihan algoritma, menyediakannya dengan data, dan menyetel hyperparameter. Hyperparameter adalah parameter yang dapat disesuaikan yang memungkinkan ilmuwan data mengontrol proses pelatihan model. Misalnya, dengan jaringan neural, ilmuwan data memutuskan jumlah lapisan tersembunyi dan jumlah node di setiap lapisan. Penyetelan hyperparameter, juga disebut pengoptimalan hyperparameter, adalah proses menemukan konfigurasi hyperparameter yang menghasilkan kinerja terbaik.

Pertanyaan yang umum diajukan yaitu "Algoritma pembelajaran mesin mana yang harus saya gunakan?" Algoritma pembelajaran mesin mengubah himpunan data menjadi model. Algoritma yang dipilih ilmuwan data utamanya tergantung pada dua aspek berbeda dari skenario ilmu data:

• Apa pertanyaan bisnis yang ingin dijawab ilmuwan data dengan belajar dari data sebelumnya?
• Apa saja persyaratan skenario ilmu data, termasuk akurasi, waktu pelatihan, linearitas, jumlah parameter, dan jumlah fitur?

Untuk membantu menjawab pertanyaan tersebut, Azure Machine Learning menyediakan portofolio algoritma yang komprehensif, seperti hutan keputusan multikelas, sistem rekomendasi, regresi jaringan neural, jaringan neural multikelas, dan pengklusteran K-Means. Setiap algoritma dirancang untuk mengatasi berbagai jenis masalah pembelajaran mesin. Selain itu, Tips Praktis Algoritma Azure Machine Learning membantu ilmuwan data memilih algoritma yang tepat untuk menjawab pertanyaan bisnis.

7. Menyebarkan model

Ilmuwan data memberikan model akhir dengan dokumentasi dan menyebarkan himpunan data baru ke dalam produksi setelah pengujian, sehingga dapat memainkan peran aktif dalam bisnis. Prediksi dari model yang disebarkan dapat digunakan untuk keputusan bisnis.

8. Memvisualisasikan dan mengomunikasikan hasil

Alat visualisasi seperti Microsoft Power BI, Tableau, Apache Superset, dan Metabase memudahkan ilmuwan data untuk menjelajahi data dan menghasilkan visualisasi indah yang memperlihatkan temuan dengan cara yang memudahkan audiens non-teknis untuk memahaminya.

Ilmuwan data mungkin juga menggunakan buku catatan ilmu data berbasis web, seperti Zeppelin Notebooks, selama proses untuk penyerapan data, penemuan, analitik, visualisasi, dan kolaborasi.

Metode ilmu data

Ilmuwan data menggunakan metode statistik seperti pengujian hipotesis, analisis faktor, analisis regresi, dan pengklusteran untuk menggali wawasan yang akurat secara statistik.

Dokumentasi ilmu data

Meskipun dokumentasi ilmu data bervariasi menurut proyek dan industri, dokumentasi umumnya mencakup dokumentasi yang menunjukkan dari mana data berasal dan bagaimana data diubah. Hal ini membantu anggota tim data lain menggunakan data secara efektif ke depannya. Misalnya, dokumentasi membantu analis bisnis menggunakan alat visualisasi untuk menginterpretasikan himpunan data.

Jenis dokumentasi ilmu data meliputi:

• Rencana proyek untuk menentukan tujuan bisnis, metrik evaluasi, sumber daya, garis waktu, dan anggaran proyek.
• Kisah pengguna ilmu data untuk menghasilkan ide untuk proyek ilmu data. Ilmuwan data menulis cerita dari sudut pandang pemangku kepentingan, menjelaskan apa yang ingin dicapai pemangku kepentingan dan alasan pemangku kepentingan meminta proyek tersebut.
• Dokumentasi model ilmu data untuk mendokumentasikan himpunan data, desain eksperimen, dan algoritma.
• Dokumentasi sistem pendukung termasuk panduan pengguna, dokumentasi infrastruktur untuk pemeliharaan sistem, dan dokumentasi kode.