データサイエンス100本ノック(構造化データ加工編)- Python Part 2 (Q21 to Q40)

データサイエンス

 

データサイエンス100本ノック(構造化データ加工編)- Python Part 2 (Q1 to Q20)の解説です。

 

参照(Reference) : 「データサイエンティスト協会スキル定義委員」の「データサイエンス100本ノック(構造化データ加工編)」

 

The Data Scientist Society Github :

GitHub - The-Japan-DataScientist-Society/100knocks-preprocess: データサイエンス100本ノック(構造化データ加工編)
データサイエンス100本ノック(構造化データ加工編). Contribute to The-Japan-DataScientist-Society/100knocks-preprocess development by creating a...

 

Data Science 100 Knocks (Structured Data Processing) URL :

100knocks-preprocess/docker/work/answer/ans_preprocess_knock_Python.ipynb at master · The-Japan-DataScientist-Society/100knocks-preprocess
データサイエンス100本ノック(構造化データ加工編). Contribute to The-Japan-DataScientist-Society/100knocks-preprocess development by creating a...

 

解説:

コード len(df_receipt) は、DataFrame df_receipt の長さを返します。

以下、各構成要素について説明します。

lens(): : Pythonの組み込み関数で、リストや文字列などのオブジェクトの長さを返します。

df_receipt : df_receipt:pandasでDataFrameオブジェクトを表す変数です。df_receipt という名前は、任意の有効な変数名である可能性があります。

len() と df_receipt の組み合わせです。len()関数の引数としてDataFrameのdf_receiptを渡すことで、df_receiptの行数を返すようにPythonに依頼しています。

まとめると、このコードは単にDataFrameの行数を返しているに過ぎない。
 
解説:

len(df_receipt['customer_id'].unique()) は、df_receipt DataFrame の customer_id 列に含まれるユニークな顧客 ID の数を返すコードです。

以下、各構成要素について説明します。

len() : Pythonの組み込み関数で、リストや文字列などのオブジェクトの長さを返します。

df_receipt : df_receipt:pandasでDataFrameオブジェクトを表す変数です。df_receipt という名前は、任意の有効な変数名である可能性があります。

['customer_id']: これは、df_receipt から customer_id というラベルを持つカラムを選択する DataFrame インデックス作成操作です。結果のオブジェクトは、pandas Seriesです。

.unique(): これはpandasのSeriesメソッドで、Series内のユニークな値をnumpy配列で返します。この場合、ユニークな顧客 ID の numpy 配列を返します。

len()、df_receipt['customer_id'].unique()、()を組み合わせています。len()関数の引数にユニークな顧客IDのnumpy配列を渡すことで、ユニークな顧客IDの数を返すようにPythonに求めています。

要約すると、このコードはDataFrame内のユニークな顧客IDの数を返していることになります。
 
解説:

df_receipt.groupby('store_cd').agg({'amount':'sum', 'quantity':'sum'}).reset_index() というコードは、df_receipt DataFrame の行を store_cd 列でグループ化して、各グループ内の該当列に二つの集計関数(金額と数量に対する sum() )をかけています。最後に、結果のDataFrameのインデックスをリセットしています。

以下は、各構成要素の説明である。

df_receipt: df_receipt:これはpandasのDataFrameオブジェクトを表す変数です。df_receiptという名前は、有効な変数名であれば何でも構いません。

.groupby('store_cd'): これはpandasのDataFrameメソッドで、DataFrameの行をstore_cdカラムの値でグループ化するものです。これは、各グループに個別に関数を適用するために使用できるGroupByオブジェクトを作成します。

.agg({'amount':'sum', 'quantity':'sum'}): これはpandasのGroupByオブジェクトのメソッドで、GroupByオブジェクトの各グループのamount列とquantity列にsum()集計関数を適用しています。結果は、各グループのこれらの列の合計を含む、amountとquantityの2つの列を持つDataFrameになります。

.reset_index(): これはpandasのDataFrameメソッドで、結果のDataFrameのインデックスをデフォルトのインデックスにリセットします。

要約すると、このコードは、特定の列の値によってDataFrameの行をグループ化し、各グループについて他の2つの列の合計を計算し、各グループについてこれらの列の合計とデフォルトのインデックスを持つDataFrameを返しています。
 
 
解説:

このコードでは、df_receiptデータフレームに対してstore_cdカラムを使用してgroupby操作を行い、amountとquantityカラムを合計して集計しています。

結果のデータフレームは、store_cdカラムのユニークな値ごとに1行と、amountとquantityの2つのカラムを持ち、どちらも同じstore_cd値を持つすべての行のそれぞれの値の合計を含んでいます。

次に、.reset_index()メソッドが結果のデータフレームで呼び出され、store_cdカラムをインデックスから通常のカラムに変換します。
 
解説:

このコードでは、df_receiptというDataFrameに対して、customer_idカラムに基づいたgroupbyオペレーションを実行しています。次に、各グループのsales_ymdカラムの値をmax関数で集計し、各顧客の最新の購入日を求めています。

集計の結果、customer_idとsales_ymdの2つのカラムを持つ新しいDataFrameが生成されます。次に、reset_index関数を使用して、結果のDataFrameのインデックスをデフォルトにリセットし、head(10)関数を使用して、結果のDataFrameの最初の10行を表示させます。

つまり、このコードの出力は、各 customer_id の最大購入日(sales_ymd)を示す DataFrame であり、最初の 10 行のみが表示されます。

 

解説:

df_receipt.groupby('customer_id').agg({'sales_ymd': 'max'}).reset_index().head(10) は、df_receipt DataFrame の行を customer_id 列でグループ化し、各グループの sales_ymd 列に max() 集約関数を適用しています。最後に、結果のDataFrameのインデックスをリセットして、最初の10行を返します。

以下は、各コンポーネントの説明です。

df_receipt: df_receipt:これはpandasのDataFrameオブジェクトを表す変数です。df_receiptという名前は、任意の有効な変数名とすることができます。

.groupby('customer_id'): これはpandasのDataFrameメソッドで、DataFrameの行をcustomer_idカラムの値でグループ化します。これは、各グループに個別に関数を適用するために使用できるGroupByオブジェクトを作成します。

.agg({'sales_ymd': 'max'}): これはpandasのGroupByオブジェクトのメソッドで、GroupByオブジェクトの各グループのsales_ymdカラムにmax()集計関数を適用しています。結果は、各グループのsales_ymdカラムの最大値を含むsales_ymdカラムを1つ持つDataFrameとなる。

.reset_index() : これはpandasのDataFrameメソッドで、結果のDataFrameのインデックスをデフォルトのインデックスにリセットするものです。

.head(10): これは、DataFrameの最初の10行を返す、pandasのDataFrameメソッドです。

要約すると、このコードは、DataFrameの行を特定の列の値でグループ化し、各グループに対して別の列の最大値を求め、最大値とデフォルトインデックスを持つDataFrameを返し、そのDataFrameの最初の10行を返しています。このコードは、各顧客の直近の購入日を特定するのに便利です。
 
解説:

コード df_tmp = df_receipt.groupby('customer_id').agg({'sales_ymd':['max','min']}).reset_index() df_tmp.query('sales_ymd_max != sales_ymd_min'). head(10) は、df_receipt DataFrame の行を customer_id 列でグループ化し、各グループの sales_ymd 列に2つの集約関数(max() と min() )を適用して、各顧客の購入日の最大値と最小値を含む DataFrame を返します。そして、query()メソッドで最大購入日と最小購入日が異なる行のみを選択し、最初の10行を返します。

以下、各コンポーネントの説明です。

df_receipt: df_receipt:pandasでDataFrameオブジェクトを表す変数です。df_receiptという名前は、任意の有効な変数名とすることができます。

.groupby('customer_id'): これはpandasのDataFrameメソッドで、DataFrameの行をcustomer_idカラムの値でグループ化します。これは、各グループに個別に関数を適用するために使用できるGroupByオブジェクトを作成します。

.agg({'sales_ymd':['max','min']}): これはpandasのGroupByオブジェクトのメソッドで、GroupByオブジェクトの各グループのsales_ymdカラムに2つの集計関数(max()とmin())を適用しています。結果は、各グループのsales_ymdカラムの最大値と最小値をそれぞれ含むsales_ymd_maxとsales_ymd_minという2つのカラムを持つDataFrameになります。

.reset_index() : これは、結果のDataFrameのインデックスをデフォルトのインデックスにリセットするpandas DataFrameメソッドです。

.query('sales_ymd_max != sales_ymd_min'): これはpandasのDataFrameメソッドで、sales_ymd_max列の値がsales_ymd_min列の値と等しくないDataFrameの行のみを選択する。これは、query()メソッドの引数として渡される文字列の中のブーリアン式を使用して行われます。

.head(10)です。これはpandasのDataFrameメソッドで、DataFrameの最初の10行を返します。

要約すると、このコードは、DataFrameの行を特定の列の値でグループ化し、各グループに対して別の列の最大値と最小値を求め、最大値と最小値、およびデフォルトインデックスを含むDataFrameを返しています。次に、最大値と最小値が異なる行のみを選択し、結果のDataFrameの最初の10行を返します。このコードは、異なる日付に購入した顧客を特定するのに便利です。

 

解説:

df_receipt.groupby('store_cd').agg({'amount':'mean'}).reset_index().sort_values('amount', ascending=False).head(5) はdf_receipt DataFrame の行を store_cd 列でグルーピングし、各グループについて amount 列の平均値を計算して平均値および store_cd 列で DataFrame を返しているコード。次に、得られたDataFrameのインデックスをリセットし、金額の平均値で降順にソートする。最後に、結果のDataFrameの最初の5行を返します。

以下は、各コンポーネントの説明です。

df_receipt: df_receipt:これはpandasのDataFrameオブジェクトを表す変数です。df_receiptという名前は、有効な変数名であれば何でも構いません。

.groupby('store_cd'): これはpandasのDataFrameメソッドで、DataFrameの行をstore_cdカラムの値でグループ化するものです。これは、各グループに個別に関数を適用するために使用できるGroupByオブジェクトを作成します。

.agg({'amount':'mean'}): これはpandasのGroupByオブジェクトのメソッドで、GroupByオブジェクトの各グループのamountカラムにmean()集計関数を適用しています。結果は、各グループの金額列の平均値を含むamountという1つの列を持つDataFrameとなります。

.reset_index(): これは、結果のDataFrameのインデックスをデフォルトのインデックスにリセットするpandasのDataFrameメソッドです。

.sort_values('amount', ascending=False): これは、DataFrameの行をamount列の値で降順にソートするpandasのDataFrameメソッドです。ascending=Falseパラメータは、ソート順を降順にすることを指定します。

.head(5): これは、DataFrameの最初の5行を返す、pandasのDataFrameメソッドです。

要約すると、このコードは、特定の列の値によってDataFrameの行をグループ化し、各グループに対して別の列の平均値を求め、平均値とグループ化列を含むDataFrameを返しています。そして、得られたDataFrameのインデックスをリセットし、平均値で降順にソートし、得られたDataFrameの最初の5行を返します。このコードは、平均売上が最も高い店舗を特定するのに便利です。

 

解説:

df_receipt.groupby('store_cd').agg({'amount':'median'}).reset_index().sort_values('amount', ascending=False).head(5) はdf_receipt DataFrame の行を store_cd 列でグルーピングし、各グループについて amount 列の中央値を計算して store_cd 列と中央値で DataFrame を返しています。次に、結果のDataFrameのインデックスをリセットし、金額の中央値で降順にソートします。最後に、結果のDataFrameの最初の5行を返します。

以下は、各コンポーネントの説明です。

df_receipt: df_receipt:これはpandasのDataFrameオブジェクトを表す変数です。df_receiptという名前は、有効な変数名であれば何でも構いません。

.groupby('store_cd'): これはpandasのDataFrameメソッドで、DataFrameの行をstore_cdカラムの値でグループ化するものです。これは、各グループに個別に関数を適用するために使用できるGroupByオブジェクトを作成します。

.agg({'amount':'median'}): これはpandasのGroupByオブジェクトのメソッドで、GroupByオブジェクトの各グループのamountカラムにmedian()集計関数を適用しています。結果は、各グループのamount列の中央値を含むamountという1つの列を持つDataFrameになります。

.reset_index(): これはpandasのDataFrameメソッドで、結果のDataFrameのインデックスをデフォルトのインデックスにリセットしています。

.sort_values('amount', ascending=False): これは、DataFrameの行をamount列の値で降順にソートするpandasのDataFrameメソッドです。ascending=Falseパラメータは、ソート順を降順にすることを指定します。

.head(5): これは、DataFrameの最初の5行を返す、pandasのDataFrameメソッドです。

要約すると、このコードは、DataFrameの行を特定の列の値でグループ化し、各グループに対して別の列の中央値を求め、中央値とグループ化列を含むDataFrameを返しています。そして、得られたDataFrameのインデックスをリセットし、中央値で降順にソートし、得られたDataFrameの最初の5行を返します。このコードは、売上の中央値が最も高い店舗を特定するのに便利です。

 

解説:

df_receipt.groupby('store_cd').product_cd.apply(lambda x: x.mode()).reset_index().head(10) は、df_receipt DataFrame の行を store_cd 列でグループ化して、各グループに対して product_cd 列のモード値を求めているコード。そして、そのモードの値とstore_cd列を含むDataFrameを返します。reset_index()メソッドは、結果のDataFrameのインデックスをデフォルトのインデックスにリセットします。

以下は、各コンポーネントの説明です。

df_receipt: df_receipt:pandasでDataFrameオブジェクトを表す変数です。df_receiptという名前は、任意の有効な変数名である可能性があります。

.groupby('store_cd'): これはpandasのDataFrameメソッドで、DataFrameの行をstore_cdカラムの値でグループ化するものです。これは、各グループに個別に関数を適用するために使用できるGroupByオブジェクトを作成します。

.product_cd : これは、DataFrameのproduct_cdカラムにアクセスするpandas DataFrame属性です。

.apply(lambda x: x.mode()): これは、GroupByオブジェクトの各グループにmode()関数を適用する、pandas GroupByオブジェクトのメソッドです。mode()関数は、各グループの中で最も頻出する値を返します。結果として得られるオブジェクトは、元のグループと同じ長さを持つシリーズです。

.reset_index(): これは、pandasのDataFrameメソッドで、結果のDataFrameのインデックスをデフォルトのインデックスにリセットします。

要約すると、このコードは、特定の列の値によってDataFrameの行をグループ化し、各グループに対して別の列のモード値を求め、モード値とグループ化列を含むDataFrameを返しています。mode()関数は、各店舗で最も頻出する商品コードを見つけるために使用されます。このコードは、各店舗で販売されている最も人気のある商品を特定するのに便利です。

 

解説:

df_receipt.groupby('store_cd').amount.var(ddof=0).reset_index().sort_values('amount', ascending=False).head(5) はdf_receipt DataFrameの行をstore_cd列でグルーピングし、ddof=0で各グループに対して金額列に対する分散を計算して、その分散値とstore_cd列のデータフレームを返すコードです.reset_index()メソッドは、結果のDataFrameのインデックスをデフォルトのインデックスにリセットします。そして、分散値の降順で結果のDataFrameをソートして、最初の5行を返します。

以下、各構成要素について説明します。

df_receipt: df_receipt:これはpandasのDataFrameオブジェクトを表す変数です。df_receiptという名前は、任意の有効な変数名である可能性があります。

.groupby('store_cd'): これはpandasのDataFrameメソッドで、DataFrameの行をstore_cdカラムの値でグループ化するものです。これにより、各グループに個別に関数を適用するために使用できるGroupByオブジェクトが作成されます。

.amount.var(ddof=0): これは、GroupByオブジェクトの各グループに対して、ddof=0でamount列の分散を計算するpandas DataFrameメソッドです。ddofパラメータは、標本分散の計算で使用する除数である自由度のデルタを指定します。ddofに0を指定すると、標本分散ではなく、母集団分散を計算する必要があることを示します。結果は、分散値と store_cd 値をインデックスとする Series です。

.reset_index() : これはpandasのDataFrameメソッドで、結果のDataFrameのインデックスをデフォルトのインデックスにリセットするものです。

.sort_values('amount', ascending=False): これは、DataFrameの行をamount列の値で降順にソートするpandasのDataFrameメソッドです。ascending=Falseパラメータは、ソート順を降順にすることを指定します。

.head(5): これは、DataFrameの最初の5行を返す、pandasのDataFrameメソッドです。

要約すると、このコードは、特定の列の値によってDataFrameの行をグループ化し、各グループについて別の列の母分散を求め、分散値とグループ化列を含むDataFrameを返しています。そして、得られたDataFrameのインデックスをリセットし、分散値の降順でソートし、得られたDataFrameの最初の5行を返します。このコードは、売上の変動が大きい店舗を特定するのに便利です。
 
解説:

df_receipt.groupby('store_cd').amount.std(ddof=0).reset_index().sort_values('amount', ascending=False).head(5) は、df_receipt DataFrame の行を store_cd 列でグルーピングし、各グループについて ddof=0 で amount 列の標準偏差を算出して、標準偏差値と store_cd 列のあるデータフレームを返すコードです。reset_index()メソッドは、結果のDataFrameのインデックスをデフォルトのインデックスにリセットします。そして、得られたDataFrameを標準偏差の値で降順にソートして、最初の5行を返します。

以下、各構成要素について説明します。

df_receipt: df_receipt:これはpandasのDataFrameオブジェクトを表す変数です。df_receiptという名前は、任意の有効な変数名である可能性があります。

.groupby('store_cd'): これはpandasのDataFrameメソッドで、DataFrameの行をstore_cdカラムの値でグループ化するものです。これにより、各グループに個別に関数を適用するために使用できるGroupByオブジェクトが作成されます。

.amount.std(ddof=0) : これは、GroupByオブジェクトの各グループのamount列の標準偏差をddof=0で計算するpandas DataFrameメソッドです。ddofパラメータは、標本標準偏差の計算で使用する除数である自由度(delta degrees of freedom)を指定しています。ddofに0を指定すると、標本標準偏差ではなく、母集団の標準偏差が計算されることになります。結果は、標準偏差の値とstore_cdの値をインデックスとするSeriesとなる。

.reset_index() : これはpandasのDataFrameメソッドで、結果のDataFrameのインデックスをデフォルトのインデックスにリセットします。

.sort_values('amount', ascending=False): これは、DataFrameの行をamount列の値で降順にソートするpandasのDataFrameメソッドです。ascending=Falseパラメータは、ソート順を降順にすることを指定します。

.head(5): これは、DataFrameの最初の5行を返す、pandasのDataFrameメソッドです。

要約すると、このコードは、DataFrameの行を特定の列の値でグループ化し、各グループに対して別の列の母標準偏差を求め、標準偏差の値とグループ化した列を含むDataFrameを返しています。そして、得られたDataFrameのインデックスをリセットし、標準偏差の値で降順にソートし、得られたDataFrameの最初の5行を返します。このコードは、売上のばらつきが大きい店舗を特定するのに便利です。
 
解説:

np.percentile(df_receipt['amount'], q=np.arange(1, 5) * 25) というコードは、NumPyライブラリの np.percentile() 関数を使用して、df_receipt DataFrame の amount 列の値の四分位数を計算する。

以下、各要素について説明します。

np.percentile() : これは、配列の百分率を計算するNumPy関数である。第1引数はパーセンタイルを計算する配列、第2引数は計算するパーセンタイル値です。qパラメータは、計算するパーセンタイルを指定するために使用されます。例えば、q=np.arange(1, 5) * 25は、データの分布における25、50、75の位置のパーセンタイルを計算する。これは、np.arange(1, 5) * 25式が、分布におけるパーセンタイルの位置である値[25, 50, 75]の配列を生成するからです。

df_receipt['amount'] : df_receipt['amount']: df_receipt DataFrame の amount 列を表す pandas Series オブジェクトです。df_receipt DataFrameは、現在の環境に存在するものとします。

q=np.arange(1, 5) * 25: これは、計算するパーセンタイルを指定するNumPyの配列である。np.arange(1, 5) * 25 式は、分布におけるパーセンタイルの位置である値 [25, 50, 75] を持つ配列を生成します。

このコードでは、df_receipt DataFrameのamount列の四分位を計算します。これは、分布を4等分する値です。第一四分位数(Q1)は25パーセンタイル、第二四分位数(Q2)は50パーセンタイル(中央値ともいう)、第三四分位数(Q3)は75パーセンタイルとなります。このコードの出力は四分位値の配列で、これを用いて金額欄の分布を要約することができます。
 
 
解説:

このコードは、pandasのquantile()関数を使用して、df_receipt dataframeのamount列の四分位を計算するものです。qパラメータは、1/4、2/4(中央値)、3/4、4/4(最大値)である計算する分位数を指定します。

このコードでは、df_receiptのamount列に対してquantile()を呼び、qパラメータに四分位数1、2、3、4にそれぞれ対応する値[0.25, 0.5, 0.75, 1.0] の配列をセットして四分位を計算しています。

このコードの結果、出力は4つの値の配列となり、それぞれが対応する四分位点の値を表します。

 

解説:

df_receipt.groupby('store_cd').amount.mean().reset_index().query('amount >= 330') は、df_receipt DataFrame を store_cd 列でグループ化して、各グループの amount 列の平均値を計算、結果の DataFrame のインデックスをリセット、そして結果の DataFrame を、amount の平均値が 330 以上の行だけを含むようにフィルターするコード。

以下、各構成要素について説明します。

df_receipt.groupby('store_cd'): df_receiptのDataFrameをstore_cdカラムの値でグループ化します。

.amount.mean(): 各グループのamount列の平均値を計算します。

.reset_index(): 結果のDataFrameのインデックスをリセットします。

.query('amount >= 330'): これは、amountの平均値が330以上の行のみを含むように、結果のDataFrameをフィルタリングします。

まとめると、このコードは、平均取引額が330円以上の店舗のみを選択する。

 

解説:

df_receipt[~df_receipt['customer_id'].str.startswith("Z")].groupby('customer_id').amount.sum().mean() というコードでは、以下のようになります。

df_receipt[~df_receipt['customer_id'].str.startswith("Z")]: これは、df_receipt DataFrameをフィルタリングして、customer_id列が文字 "Z "で始まる行を除外します。チルダ(~)文字は、str.startswith()メソッドが返すブーリアン値を反転させるための否定演算子として使用されます。

.groupby('customer_id').amount.sum(): フィルタリングされたDataFrameをcustomer_idカラムでグループ化し、各グループのamountカラムの合計を計算する。

.mean(): これは、各顧客(customer_idが "Z "で始まる顧客を除く)が使用した合計金額を表す、結果のシリーズの平均値を計算します。

要約すると、このコードは、df_receipt DataFrameのcustomer_idが "Z "で始まらない各顧客が使った金額の平均を計算する。これは、常連客の購買行動を把握するのに役立つと思われます。

 

 
解説:

このコードは、匿名でない顧客の平均消費額を計算する。以下はその仕組みです。

df_receiptは、トランザクションに関する情報を含むDataFrameです。

queryメソッドを使用して、customer_idが文字 "Z "で始まるトランザクションをフィルタリングしています。これは、文字列が特定の文字または部分文字列で始まっているかどうかをチェックするstr.startswith()メソッドを使用して行われます。

出来上がったDataFrameは、groupbyメソッドを使ってcustomer_idでグループ化されます。

金額列は、sumメソッドで選択され、各顧客が使った金額の合計が計算されます。

次に、meanメソッドを使用して、前のステップで計算された金額の平均を計算します。これが、このコードの最終結果です。
 
解説:

コード df_amount_sum = df_receipt[~df_receipt['customer_id'].str.startswith("Z")].groupby('customer_id').amount.sum(), amount_mean = df_amount_sum. mean(), df_amount_sum = df_amount_sum.reset_index(), df_amount_sum[df_amount_sum['amount'] >= amount_mean].head(10) は、以下のようにしています。

df_receipt[~df_receipt['customer_id'].str.startswith("Z")].groupby('customer_id').amount.sum(): df_receiptのDataFrameからcustomer_idカラムが "Z "で始まる行を除外し、customer_idカラムでグループ化し、各グループのamountカラムの合計を計算します。結果として得られるオブジェクトは、各顧客(customer_idが "Z "で始まる顧客を除く)が使った金額の合計を表すSeriesである。

amount_mean = df_amount_sum.mean(): df_receipt DataFrameのcustomer_idが "Z "で始まらない顧客の平均支出額を表すdf_amount_sum Seriesの平均値を計算する。

df_amount_sum = df_amount_sum.reset_index(): df_amount_sumシリーズのインデックスをリセットし、customer_idとamountの2つのカラムを持つDataFrameに変換しています。

df_amount_sum[df_amount_sum['amount'] >= amount_mean].head(10): これは、df_amount_sumのDataFrameをフィルタリングして、amount列がamount_mean以上の行のみを含むようにし、結果のDataFrameの最初の10行を返します。

要約すると、このコードは、df_receipt DataFrameのcustomer_idが "Z "で始まらない全ての顧客の平均支出額以上の支出額を持つ顧客を選択する。結果として得られるDataFrameには、選択された各顧客のcustomer_idと支出合計額が、支出合計額の降順でソートされて格納されます。
 
解説:

pd.merge(df_receipt, df_store[['store_cd','store_name']], how='inner', on='store_cd').head(10) というコードでは、以下のようにしています。

df_store[['store_cd','store_name']] : これは、df_store DataFrameのうち、store_cdとstore_nameという2つのカラムを持つサブセットを選択するものです。

pd.merge(df_receipt, df_store[['store_cd','store_name']], how='inner', on='store_cd'): df_receipt DataFrameとdf_store['store_cd','store_name']間の内部結合を実行します。store_cdカラムのDataFrameを作成します。これは、store_cdカラムの2つのDataFrameをマージし、両方のDataFrameで一致する値を持つ行のみを含めます。

.head(10): これは、マージされたDataFrameの最初の10行を返します。

要約すると、このコードは、df_receipt DataFrameとdf_store DataFrameをstore_cd列でマージし、df_store DataFrameのstore_name列をマージしたDataFrameに追加しています。結果として得られるDataFrameには、df_receiptのトランザクションが発生した店舗に関する情報(store_cd、store_name、その他df_receipt DataFrameの全ての列が含まれる)が含まれる。

 

解説:

コード pd.merge(df_product , df_category[['category_small_cd','category_small_name']] です。, how='inner', on='category_small_cd').head(10) では、以下のようになります。

df_category[['category_small_cd','category_small_name']]: これは、df_category DataFrameのうち、category_small_cdとcategory_small_nameという2つのカラムを持つサブセットを選択するものです。

pd.merge(df_product , df_category[['category_small_cd','category_small_name']]) , how='inner', on='category_small_cd'): df_product DataFrameとdf_category[['category_small_cd','category_small_name']間の内部結合を実行するものである。] category_small_cdカラムのDataFrameを作成します。これは、category_small_cdカラムの2つのDataFrameをマージし、両方のDataFrameで一致する値を持つ行のみを含めます。

.head(10): これは、マージされたDataFrameの最初の10行を返します。

要約すると、このコードは、df_product DataFrameとdf_category DataFrameをcategory_small_cd列でマージし、df_category DataFrameからcategory_small_name列をマージしたDataFrameに追加しています。結果として得られるDataFrameは、df_productの商品に関する情報を含み、category_small_cd、category_small_name、およびdf_product DataFrameの他のすべてのカラムを含む。
 
解説:

コード df_amount_sum = df_receipt.groupby('customer_id').amount.sum().reset_index() df_tmp = df_customer.query('gender_cd == "1" and not customer_id. str.startswith("Z")', engine='python') pd.merge(df_tmp['customer_id'], df_amount_sum, how='left', on='customer_id').fillna(0).head(10) では以下のようになっています。

df_amount_sum = df_receipt.groupby('customer_id').amount.sum().reset_index(): これは、df_receipt DataFrameをcustomer_idでグループ化し、各顧客のamount列を合計して、新しいDataFrame df_amount_sumを作成する。生成されるDataFrameは、customer_idとamountの2つのカラムを持ちます。

df_customer.query('gender_cd == "1" and not customer_id.str.startswith("Z")', engine='python'): これは、df_customer DataFrameのうち、gender_cdが1であり、customer_idが "Z "で始まらないサブセットを選択します。engine='python'引数は、startswithのような文字列メソッドを使用できるようにするために使用されています。

pd.merge(df_tmp['customer_id'], df_amount_sum, how='left', on='customer_id'): これは、df_tmp DataFrameのcustomer_idカラムとdf_amount_sum DataFrameのcustomer_idカラムを左結合で結合します。これは、df_tmp DataFrameの全ての行を含み、df_amount_sum DataFrameの金額カラムを追加します(利用可能な場合)。

.fillna(0): amountカラムの欠損値を0にします。

.head(10): マージされたDataFrameの最初の10行を返します。

要約すると、このコードは、df_receipt DataFrameの各顧客が使った合計金額を計算し、次にdf_customer DataFrameから男性で有効なcustomer_id値を持つ顧客のサブセットを選択する。次に、このコードは左結合を使ってcustomer_id列で2つのDataFrameを結合し、結果のDataFrameに各顧客が使った金額の合計を含めます。結果のDataFrameには、選択された男性顧客のcustomer_idカラムとamountカラムが含まれます。
 
 
解説:

このコードは、以下のステップを実行しています。

.query()メソッドを使用して、df_receiptデータフレーム内のcustomer_id列が "Z "で始まらない行をフィルタリングしてdf_dataに保存します。

df_dataからcustomer_id列とsales_ymd列に基づいて重複行を削除し、customer_idでグループ化して販売日の数を数え、df_cntに保存します。

df_cntをsales_ymdカラムで降順にソートし、上位20行を取得する。

df_dataをcustomer_idでグループ化し、amountカラムを合計し、amountカラムで降順にソートして上位20行を取り出し、df_sumに保存します。

df_cntとdf_sumのデータフレームを、how='outer'パラメータを持つpd.merge()メソッドを使ってcustomer_id列でマージし、df_dataに保存する(つまり、両方のデータフレームのすべてのレコードをマージ後のデータフレームに含める)。結果として得られるデータフレームには、販売日のカウントと購入金額の合計に基づく上位20名の顧客が含まれます。
 
解説:

このコードは、外部結合を使用して2つのデータフレームdf_storeとdf_productを結合します。

まず、2つの一時的なデータフレームdf_store_tmpとdf_product_tmpが、それぞれdf_storeとdf_productのコピーとして作成されます。これは、外部結合がマージするための共通カラムを必要とするためです。

最後に、pd.merge()関数を使用して2つのデータフレームをマージします。how='outer'引数は外側結合を希望することを示し、on='key'はマージするための共通のカラムを指定します。結果のデータフレームは、両方のデータフレームのすべての行を含み、もう一方のデータフレームに対応するデータがないセルには欠損値(NaN)が含まれる。

最後に、len() を使って、マージされたデータフレーム内の行数を取得します。どちらのデータフレームも同じ行数なので、内側結合、左結合、右結合、外側結合のいずれを使用しても出力は同じになります。この場合、マージされたデータフレーム内の行の総数が出力されます。
 
 

Comment