4.2K 220 60

Đã đăng vào thg 2 17, 2022 4:37 SA

trong

7 phút đọc

847

Một số package mà bạn nên thử để trực quan hóa dữ liệu

KhaiButDauXuan

Bài đăng này đã không được cập nhật trong 2 năm

Xin chào mọi người, chúc mừng năm mới mọi người, chúc mọi người năm mới mạnh khỏe, an khang thịnh vượng.

Dữ liệu chứa rất nhiều thông tin chi tiết có ý nghĩa. Phân tích dữ liệu là cách để có được những thông tin chi tiết đó. Đôi khi, chúng ta bối rối trong việc lựa chọn công cụ nào chúng ta muốn sử dụng. Hoặc chúng ta có thể sử dụng một ngôn ngữ lập trình như Python hoặc một số bạn không biết code python vẫn muốn dùng python để phân tích dữ liệu, ... . Ở bài viết này mình sẽ chia sẻ cho mọi người một số package trực quan hóa dữ liệu mình vừa thử sử dụng,mình khá thích tìm hiểu về mấy cái thư viện kiểu này và bên cạnh đó mình thấy nó khá là hữu ích và tiện lợi cho việc phân tích cũng như trực quan hóa dữ liệu. Mình sẽ chia sẻ các Package:

Lux
Pandas Profiling
Mito

Lux

Lux là một thư viện Python hỗ trợ việc khám phá dữ liệu nhanh chóng và dễ dàng bằng cách tự động hóa quá trình trực quan hóa và phân tích dữ liệu. Chỉ cần in dữ liệu trong Jupyter, Lux đề xuất một tập hợp các hình ảnh trực quan - cực kì hữu ích và tiện lợi đúng không . Tất cả những gì mình cẩn phải làm là nhấp vào hình ảnh mình mong muốn vậy là đã hoàn tất - không cần phải viết code gì luôn á :v ! Lux là lựa chọn tuyệt vời cho những ai muốn trực quan hóa dữ liệu mình có nhanh hơn bằng Python.( nhanh hơn cả pandas_profiling mình đã từng viết bài ở đây luôn). Ok chúng ta cùng thử xem nhé. Dữ liệu các bạn xem tại đây nhé

Đầu tiên chúng ta phải cài đặt đã

!pip install lux-api

import lux
import pandas as pd

cùng đọc dữ liệu bằng pandas và thử xem nhé.

 df = pd.read_csv("https://raw.githubusercontent.com/lux-org/lux-datasets/master/data/college.csv")

Để có thể lựa chọn pandas hay lux thì chúng ta phải tiến hành cài đặt extension cho jupyter-notebook đã nha.

jupyter nbextension install --py luxwidget
jupyter nbextension enable --py luxwidget

Còn nếu bạn dùng jupyter-lab thì cài đặt như sau:

jupyter labextension install @jupyter-widgets/jupyterlab-manager
jupyter labextension install luxwidget

Nếu bạn bị lỗi gì đó thì thử làm theo cái này nhé.

Cài extension xong rồi thì cùng xem kết quả nào.

Hình: kết quả

Nhìn vào ảnh gif trên thì mọi thứ đã có sẵn đúng không nào . Các bạn thử cài đặt và làm theo nhé ^^.

Đối với Lux ngoài việc thư viện đưa ra tất cả những hình ảnh liên quan thì bạn có thể lựa chọn những biến hay những giá trị mà bạn quan tâm để đáp ứng đúng nhu cầu của mình hơn.

Ví dụ chúng ta có thể quan tâm đến các thuộc tính AverageCost và SATAverage

df.intent = ["AverageCost","SATAverage"]
df

Hình: 2 thuộc tính "AverageCost","SATAverage"

Khi bạn muốn visualize nhanh hơn thì thực hiện như sau:

from lux.vis.Vis import Vis
Vis(["Region=New England","MedianEarnings"],df)

Hình: Kết quả

Tóm lại Lux rất nhanh chóng và tiện lợi phải không nào

Pandas Profiling

Về package này mình đã có 1 bài viết ở đây . Mọi người tham khảo nhé. Với pandas Profiling thì bạn chỉ cần 1 dòng code là show hết tất cả những gì mà bạn mong muốn có luôn.

Mito

Mito là một thư viện có khả năng phân tích dữ liệu. Không giống như thư viện Pandas, Mito có giao diện giống như phần mềm bảng tính. Do đó, chúng tôi có thể khám phá và xử lý dữ liệu mà không cần phải code. Mỗi chỉnh sửa bạn thực hiện trong Mitosheet sẽ tạo Python tương đương trong ô mã bên dưới. Mito rất hữu ích với những bạn không biết code python hoặc không thích gõ code cho lắm, và những người chưa biết lựa chọn biểu đồ nào cho phù hợp với dữ liệu mình đang có.

Video hướng dẫn sử dụng Mito, mọi người có thể xem cách dùng Mito ở video trên hoặc ở tutorial mình cho ở đây .

Cài đặt

Thực hiện cài đặt Mito như sau

pip install mitoinstaller

python -m mitoinstaller install

Với Mito các bạn nên dùng jupyter lab nha

Cùng thử xem nào

 import mitosheet
 mitosheet.sheet()

Chạy thử trên jupyter-lab thì mình được kết quả như dưới đây:

Hình: Mitosheet

Mình thấy yêu cầu nhập tài khoản mail để sử dụng. Ok, nhập mail vào thì được như thế này nè

Hình: Mitosheet

Ở Hình trên chúng ta thấy có export, import file, có tạo pivot table, graph để visualize dữ liệu, ... việc của chúng ta chỉ cần click thôi chứ không cần phải viết code python nữa, quá hữu ích và nhanh chóng luôn. Ok cùng tiếp tục xem nào

Ở đây mình sử dụng 2 file Airport-Pets.csv và Zipcode-Data.csv mọi người tải ở đây nè.

Import file

Đầu tiên chúng ta click vào import
Chọn file mà bạn muốn thực hiện trực quan hóa dữ liệu
click import file -> ok (như hình bên dưới)

Hình: import file

Sau khi mình import xong thì được ntn

Hình: import file

Như mình đã nói ở trên Mito bạn chỉ cần click chứ không cần phải viết code gì hết. Và lúc bạn thao tác thì Mito cũng tự động gen ra code luôn như dưới đây nè:

Hình: code Mito tự gen

from mitosheet import *; register_analysis('UUID-1c64d513-edbf-4f4f-9064-c185cfa053ee')
import pandas as pd
Airport_Pets = pd.read_csv(r'/home/pham.thi.hong.anh/Mito Tutorial Data/Airport-Pets.csv')

import pandas as pd
Zipcode_Data = pd.read_csv(r'/home/pham.thi.hong.anh/Mito Tutorial Data/Zipcode-Data.csv')

Cũng là dùng pandas để đọc csv nè. Vậy là chúng ta đã hoàn thành xong import data (đọc dữ liệu)

Merge các sheet lại

Bây giờ chúng ta tiến hành merge 2 file Airport-Pets.csv và Zipcode-Data.csv.

Đơn giản chỉ cần click vào merge là xong, chúng ta được df3 như dưới đây

Hình: merge file

Code thì như thế này đây, xịn quá

# Merged Zipcode_Data and Airport_Pets
temp_df = Airport_Pets.drop_duplicates(subset='Zip') # Remove duplicates so lookup merge only returns first match
df3 = Zipcode_Data.merge(temp_df, left_on=['Zip'], right_on=['Zip'], how='left', suffixes=['_Zipcode_Data', '_Airport_Pets'])

Tạo pivot table

Bạn click vào Pivot xong lựa chọn cột mong muốn để tạo thành pivot table

Hình: Pivot Table

Code như dưới đây

# Pivoted df3 into df4
unused_columns = df3.columns.difference(set(['State']).union(set([])).union(set({'Mean_Income', 'Median_Income'})))
tmp_df = df3.drop(unused_columns, axis=1)
pivot_table = tmp_df.pivot_table(
    index=['State'],
    values=['Median_Income', 'Mean_Income'],
    aggfunc={'Median_Income': ['count'], 'Mean_Income': ['count']}
)
pivot_table.columns = [flatten_column_header(col) for col in pivot_table.columns.values]
df3_pivot_1 = pivot_table.reset_index()

Trực quan hóa

Mito còn cung cấp cả vẽ biểu đồ cho mình nữa, bạn muốn vẽ với column nào thì lựa chọn thôi nè

Hình: trực quan hóa

Copy code Mito tự gen ra thì được vầy nè:

# Import plotly and create a figure
import plotly.graph_objects as go
fig = go.Figure()



# Add the bar chart traces to the graph
for column_header in ['State']:
    fig.add_trace(
        go.Bar( 
            x=df3[column_header],
            y=df3['Median_Income'],
            name=str(column_header)
        )
    )

# Update the title and stacking mode of the graph
# See Plotly documentation for customizations: https://plotly.com/python/reference/bar/
fig.update_layout(
    xaxis_title="State",
    yaxis_title="Median_Income",
    title="State, Median_Income bar chart",
    barmode='group',
)
fig.show(renderer="iframe")