Pengertiian ETL (Extract Transform Load)

 

ETL atau Extract Transform Load adalah proses integrasi data yang menggabungkan data dari berbagai sumber ke dalam satu penyimpanan yang konsisten dan dimuat ke dalam gudang data atau sistem lainnya. Singkatnya, sistem ETL adalah dasar dari pengolahan data, khususnya big data.

ETL pertama kali diperkenalkan pada tahun 1970-an untuk mengintegrasikan proses pemuatan data ke dalam superkomputer untuk dianalisis lebih lanjut. Sejak akhir 1980 hingga pertengahan 2000, ETL menjadi proses utama untuk membuat gudang data yang mendukung aplikasi business intelligence (BI).

ETL lebih direkomendasikan untuk menyimpan data yang lebih kecil dan tidak memerlukan pembaruan terlalu sering. Alternatif lain menggunakan data integrasi lain, seperti ELT, CDC, dan virtualisasi data untuk mengolah data real time dan selalu berubah.

Ada tiga langkah yang bisa dilakukan untuk menyusun proses ETL dan membuat data terintegrasi dari sumber ke tujuan. Cara kerja ETL adalah ekstraksi data, transformasi data, dan pemuatan data.

1: ekstraksi data

Sebagian besar perusahaan mengelola data dari berbagai sumber dan menggunakan beberapa alat analisis untuk membuat business intelligence. Namun, ada juga bisnis yang hanya bergantung pada satu jenis data atau sistem.

Jika ingin membuat strategi data yang kompleks berfungsi, data yang digunakan harus bisa bergerak bebas di antara sistem dan aplikasi. 

Data harus diekstrak terlebih dahulu dari sumbernya sebelum dipindahkan ke tempat yang lain. Pada langkah pertama proses ETL ini, data terstruktur dan tidak terstruktur diimpor dan dikonsolidasikan ke dalam satu wadah penyimpanan.

Data mentah dapat diekstraksi dari berbagai sumber berikut ini:

• Database yang ada dan legacy system.
• Cloud, hybrid, dan on-premises environments.
• Aplikasi penjualan dan pemasaran.
• Mobile devices dan apps.
• CRM systems.
• Data storage platforms.
• Data warehouses.
• Analytics tools.

2: transformasi

Setelah tahap ekstraksi selesai, data perlu dipindahkan ke sistem target atau ke sistem perantara untuk diproses lebih lanjut. Langkah selanjutnya adalah proses transformasi ETL yang akan membantumu membuat gudang data terstruktur.

Transformasi ETL merupakan pembersihan dan mempersiapkan agregasi untuk analisis. Langkah ini sangat penting dalam proses ETL karena membantu memastikan data yang akan diolah sepenuhnya siap dan kompatibel.

Proses transformasi ETL terbagi menjadi beberapa proses sebagai berikut:

• Pembersihan: data yang tidak konsisten dihilangkan.
• Standardisasi: memasang aturan pemformatan ke kumpulan data.
• Deduplikasi: data yang sama dibuang atau dikecualikan.
• Verifikasi: data yang tidak dapat digunakan dihapus dan anomali ditandai.
• Pengurutan: data diatur menurut jenisnya.
• Tugas lainnya - aturan tambahan yang dapat meningkatkan kualitas data.

3: loading/memuat data.

Loading adalah proses terakhir dalam ETL, yaitu memuat data yang sudah diubah ke tujuan baru. Data tersebut dapat dimuat sekaligus (full load) atau interval terjadwal (incremental load).

Full loading

Untuk full loading ETL, semua yang berasal dari transformasi menjadi catatan baru dan unik di gudang data. Full load berguna untuk menghasilkan kumpulan data yang tumbuh secara eksponensial dan sulit untuk diatur.

Incremental loading

Metode yang ini kurang komprehensif, tetapi lebih mudah dikelola. Incremental loading membandingkan data yang masuk dengan data yang sudah ada. Dan hanya akan menghasilkan data tambahan jika ditemukan data yang unik dan baru.

Pengenalan Aplikasi SAS

 

        Aplikasi olah data SAS adalah paket perangkat lunak pada komputer yang berguna untuk mengolah data statistik, manajemen data, dan intelijen bisnis, yang dikembangkan oleh SAS institute. Sama dengan jenis aplikasi olah data lainnya yang dapat digunakan untuk mengolah data statistik.

Aplikasi ini terkenal lebih akurat dan menghasilkan data dengan cepat untuk proses analisis,  mengolah manajemen data SDM, intelijen bisnis, manajemen data pemasaran. 

Beberapa tahapan terlebih dahulu agar aplikasi tersebut bisa digunakan dengan lebih mudah. 

1. Menyusun Data dalam Bentuk Tabel 

Data mentah sebaiknya disusun dalam sebuah tabel dalam format Ms. Excel. Selanjutnya data harus dimodifikasi terlebih dahulu untuk menentukan variabel. Contohnya, data pengangguran pada sebuah negara. Data tersebut harus disusun per kolom seperti pendidikan terakhir, tahun, bulan, dan jumlah pengangguran. 

2. Mengimport Data pada Program SAS 

Setelah disusun dengan data yang telah dimodifikasi dalam kolom dengan bentuk vertikal pada format file. Selanjutnya adalah mengimport data tersebut pada aplikasi SAS. Aplikasi SAS bisa diinstal terlebih dahulu untuk semua operating system. Setelah itu klik RUN dan hasilnya akan keluar dan bisa diekspor dalam bentuk Excel. 

3. Mencari Total Data per Tahun 

Berhubung aplikasi ini lebih mendukung untuk proses analitik, selanjutnya adalah mencari total data per tahun. Data tersebut akan digunakan untuk menghitung rata-rata guna kepentingan analisa. Secara otomatis aplikasi ini akan mencari total data per tahun, sebagaimana yang telah diprogram sebelumnya. 

4. Menghitung Rata-rata 

Selanjutnya menghitung rata-rata dari semua data yang telah dihitung dengan menggunakan aplikasi SAS. Rata-rata tersebut akan ditunjukan pada sebuah plot. Dengan demikian, proses analitikal bisa terbaca dengan mudah. Dengan mengetahui rata-rata, akan lebih mudah untuk memprediksi kondisi di masa depan. 

5. Hasil Ditunjukan dalam Sebuah Grafik 

Grafik tersebut akan menunjukan data yang telah diinput sebelumnya dalam aplikasi SAS. Pada aplikasi tersebut bisa menunjukan grafik yang berguna untuk pengambilan keputusan untuk masa depan dengan menganalisa suatu keadaan dan kondisi terlebih dahulu. 

Penggunaan aplikasi olah data SAS lebih unggul karena kemampuan analitiknya. Itulah sebabnya, aplikasi ini banyak digunakan untuk intelijen bisnis, manajemen data SDM dan terkait dengan pemasaran. 

Memahami Aplikasi SAS atau Sistem Aplikasi Satker

Sistem Aplikasi Satker merupakan aplikasi berbasis desktop yang digunakan sebagai sarana untuk menjalankan berbagai tugas kerja mulai dari Data Kontrak, RPD Harian, SPM, LPJ Bendahara bagi Satker dan sebagainya.

Ada beberapa modul utama dalam SAS atau Sistem Aplikasi Satker, diantaranya:

• Modul Admin, yang dapat digunakan untuk pengaturan user modul yang lain, referensi, transfer  Pagu, dan juga melakukan backup-restore aplikasi.
• Modul PPK, yang berfungsi untuk membuat SPP, daftar PPNPN (Pegawai Pemerintah Non Pegawai Negeri/Tenaga Honor yang dibayarkan melalui APBN), dan juga konfirmasi penerimaan.
• Modul PPSPM, yang ditujukan untuk mencatat SPM serta perekaman rencana penarikan dana (RPD/APS) bagi transaksi besar.
• Modul LPJ/Silabi Bendahara Pengeluaran, yang berfungsi untuk pembuatan LPJ Bendahara serta perekaman transaksi pembukuan bendahara, baik Bendahara Pengeluaran dan Bendahara Pengeluaran Pembantu.
• Modul LPJ/Silabi Bendahara Penerimaan, yang difungsikan untuk pembuatan LPJ Bendahara serta perekaman transaksi pembukuan Bendahara Penerimaan.

Beberapa modul ini terus diupdate agar mendapatkan fungsi yang makin maksimal dan dapat mencakup semua bidang tugas.

Pembaruan atau Update Aplikasi SAS 2020

Ada berbagai versi dari Sistem Aplikasi Satker ini, yang terbaru adalah SAS 2020 yang juga telah diupdate beberapa kali. Update aplikasi ditujukan untuk menambahkan fungsi kerja satker dengan SAS, seperti misalnya pada SAS 2020 berikut:

1.      Pembaruan SAS 20.0.3

Update SAS 20.0.3 ini meliputi beberapa fungsi, diantaranya:

• Memperbaiki RUH SPBY agar satu akun dapat digunakan untuk 2 register.
• Memperbaiki pembuatan ADK LPJ agar langsung bisa ke SPRINT.
• Memperbaiki RUH Kuitansi khususnya pada uraian nama penerima barang  serta PPK.
• Adanya penambahan menu RUH SPD.

2.      Pembaruan SAS 20.0.4

Update SAS 20.0.4 ini meliputi beberapa fungsi, diantaranya:

• Memperbaiki menu DPR yang berkaitan dengan pajak.
• Memperbaiki RUH Kuitansi yang berhubungan dengan dana PNPB.
• Memperbaiki menu Pengiriman LPJ.

3.      Pembaruan SAS 20.0.5

Pada pembaruan atau update SAS 20.0.5 ini terdapat beberapa fungsi yang diperbaiki, diantaranya:

• Adanya penambahan Akun Belanja terkait penanganan Covid-19.
• Menu Transfer dari SPM ke KPPN.

4.      Pembaruan SAS 20.0.6

Pada pembaruan atau update SAS 20.0.6 ini hanya ada satu fungsi yang di upgrade yaitu terkait Perbaikan PPNPN yang berhubungan dengan TH.

Cara Instal SAS atau Sistem Aplikasi Satker

Proses instalasi SAS meliputi dua langkah yaitu instalasi database dan aplikasi. Kedua langkah ini harus dilakukan secara urut agar dapat berfungsi dengan baik.

1.      Instalasi Database SAS

Untuk menginstal database SAS berikut tata cara yang harus Anda ikuti:

1. Klik kanan pada Install_Database_SAS2018_v18.0.0.exe lalu pilih menu Run As Administrator.
2. Setelah itu pilih menu “Install”.
3. Tunggu hingga proses instalasi database selesai.
4. Isi kolom checklist pada menu “Jalankan Install Service” lalu klik menu “Selesai”.
5. Biarkan jendela tertutup otomatis dan proses instalasi database kini sudah selesai.

2.      Instalasi Aplikasi SAS

Untuk menginstal Sistem Aplikasi Satker berikut tata cara yang harus Anda ikuti:

1. Klik kanan pada Install_Aplikasi_SAS2018_v18.0.0.exe lalu pilih menu Run As Administrator.
2. Pilih Lanjut dan isi checklist yang muncul.
3. Pilih menu “Install”.
4. Tunggu hingga proses selesai dan muncul kolom checklist selanjutnya.
5.  Isi checklist “Jalankan Install ODBC MySQL” apabila di komputer Anda belum ada SAS versi sebelumnya.
6. Atau kosongkan checklist “Jalankan Install ODBC MySQL” jika sudah ada SAS versi sebelumnya di komputer Anda.
7. Pilih Menu “Next”.
8. Jika sudah pernah terinstall ODBC maka pilih “Repair”. Jika belum pernah terinstall ODBC maka yang aktif pada pilihan paling atas adalah “Typical”.
9. Klik Next sampai proses instalasi selesai.

Totur di merupakan tata cara instalasi aplikasi SAS versi 2018.

Pengenalan Jenkins

Jenkins merupakan sebuah automasi server berbasis open source yang ditulis menggunakan bahasa Java. Salah satu kegunaan Jenkins adalah untuk mengimplementasikan Continuous Integration dan Continous Delivery,  biasa disebut CI/CD proses. lebih jelasnya jenkins memudahkan untuk Proses seperti testing, building dan deployment yang dapat dijalankan secara otomatis.

# Installasi Jenkins

untuk proses installasi sudah dibuatkan script bash untuk penginstallan .

$ git clone https://github.com/notme1001/jenkins-run.git && cd jenkins-run
$ ./test.sh
+++++++++++++++++++++++++++++++++++inu++++++++++++++++++++++++++++++++++++++++++++
      __               __    __                                              
     |__| ____   ____ |  | _|__| ____   ______         _______ __ __  ____   
     |  |/ __ \ /    \|  |/ /  |/    \ /  ___/  ______ \_  __ \  |  \/    \  
     |  \  ___/|   |  \    <|  |   |  \___ \   /_____/  |  | \/  |  /   |  \ 
 /\__|  |\___  >___|  /__|_ \__|___|  /____  >          |__|  |____/|___|  / 
 \______|    \/     \/     \/       \/     \/                            \/  
=============================Jenkins-Installer====================================
Simple Install Jenkins With one command , Select Distro Linux for install :
 Date : Sel 23 Mar 2021 05:49:33  WIB
 1 - centos7
 2 - ubuntu or debian
 3 - Example Jenkinsfile
Enter selection:

Pilih distro Linux yang di gunakan pada server atau local. setelah installasi selesai bisa diakses jenkins dengan membuka url jenkins dengan port default yaitu 8080. http://ip-server:8080 .

Konfigurasi Jenkins

• Unlock Jenkins dengan menjalankan perintah dibawah. lalu copy password key untuk membuka jenkins.

$ sudo cat /var/lib/jenkins/secrets/initialAdminPass7782

• Lanjutkan dengan memilih install suggested plugins.

• set username dan password.

• Konfigurasi alamat url untuk jenkins.

# Penggunaan

Mengintegrasikan Jenkins dengan github, untuk otomatis deploy ketika melakukan push pada branch yang di tentukan .

• Buat jobs baru , masukkan namajob dan memilih Pipeline.

• Untuk Tab General centang Github Project , dan isi dengan url repository github yang akan digunakan.

• Untuk Tab Build Triggers , centang GitHub hook trigger for GITScm polling .

• Untuk Tab Pipline , Konfigurasi seperti gambar di bawah, dan Simpan konfigurasi Pipeline.

Penjelasan Konfigurasi Pipeline

1. karena menggunakan github SCM di sini set git (berlaku juga untuk bitbucket).

2. cerdential disini tidak isi dikarenakan repository yang digunakan publik, apabila ingin menggunakan repository yang bersifat private, bisa menambahkan cerdential menggunakan username & password github atau menggunakan ssh.

3. Branch to build, masukkan branch yang akan di gunakan .

4. Script Path , File jenkins yang akan di eksekusi untuk melakukan deployment, defaultnya Jenkinsfiles.

• Mengkonfigurasi webhooks dengan memasukkan url http://ip-jenkins:8080/github-webhook/ , pada halaman settings di repository github.

• Membuat Jenkinsfile pada repository github, dengan nama Jenkinsfile .

pipeline {
    environment {
        PATH = "$PATH:/usr/bin/docker-compose"
    }
    
    agent any

    stages {
        stage('Build') {
            steps {
                echo 'Build... \n'
                sh "ls -lisa"
            }
        }
        stage('Test') {
            steps {
                echo 'Runningg Test.. \n'
            }
        }
        stage('Deploy') {
            steps {
                echo 'Successs... \n'
            }
        }
    }
}

Penjelasan Script Pipeline

1. environment disini memasukkan path docker-compose apabila ingin menggunakan docker , tetapi jika proses deploy tidak menggunakan docker dapat dihapus.

2. stage disini adalah tahap yang akan dikerjakan jenkins, disini dibuat tiga tahap yaitu proses build dengan mencetak echo dan mengecek directory workspace yang di jalankan.

3. sh berfungsi untuk menjalankan command linux , contohnya menjalankan perintah ls .

• sampai sini bisa mengetes build pada jenkins.

• Hasil proses build pada jenkins.

• Hasil integrasi jenkins dan github, ketika melakukan push Jenkins akan memproses build dengan menarik repositori dan menjalankan Jenkinsfile.