{ "cells": [ { "cell_type": "markdown", "id": "52d9fb30-a05f-4514-9c6f-ece59583481e", "metadata": {}, "source": [ "# [Baseline] Logistic Regression - 13기 재지원 예측 \n", "\n", "12기 정규 학회원의 기본 정보 및 학회 참여 이력을 활용하여 \n", "**13기 정규반 지원서 최종 제출 여부**를 예측하는 이진 분류 베이스라인입니다.\n", "\n", "- **입력**: 12기 정규 학회원의 전공·학교·직업 등 기본 정보와 조별활동·행사 참여 정보\n", "- **출력**: 각 학회원의 **13기 정규반 지원서 최종 제출 확률** (`0~1`)\n", "- **모델**: 범주형 변수 `One-Hot Encoding` + `LogisticRegression`\n", "- **평가 지표**: `ROC-AUC`\n", "- **정답 정의**\n", " - `target = 1`: 13기 정규반 지원서를 최종 제출한 회원\n", " - `target = 0`: 최종 제출하지 않은 회원" ] }, { "cell_type": "markdown", "id": "6a3e8504-dd3b-4bd1-8b0f-6d4dd1548584", "metadata": {}, "source": [ "> 본 Baseline에서는 **학회원 단위의 최소 Feature만 활용**하며, \n", "> 별도로 제공되는 **LMS GA4 활동 데이터와 학회원 × 주차별 정규반 활동 데이터는 사용하지 않습니다.** \n", "> 참가자는 해당 데이터를 활용해 추가적인 **Feature Engineering 및 모델 개선**을 수행할 수 있습니다." ] }, { "cell_type": "markdown", "id": "f49b25bb-ff9a-465b-a1e5-fd5703f6a246", "metadata": {}, "source": [ "## 1. 라이브러리 불러오기\n", "\n", "데이터 처리와 전처리, 이진 분류 모델 학습 및 평가에 필요한 라이브러리를 불러옵니다." ] }, { "cell_type": "code", "execution_count": 28, "id": "663ef6cf-5abf-4c7a-9189-f7f6df9cc401", "metadata": {}, "outputs": [], "source": [ "import pandas as pd\n", "\n", "from sklearn.model_selection import train_test_split\n", "from sklearn.preprocessing import OneHotEncoder\n", "from sklearn.compose import ColumnTransformer\n", "from sklearn.pipeline import Pipeline\n", "from sklearn.impute import SimpleImputer\n", "from sklearn.linear_model import LogisticRegression\n", "from sklearn.metrics import roc_auc_score" ] }, { "cell_type": "markdown", "id": "9cfc1a94-f9ab-4690-a94a-ac310bdd50d2", "metadata": {}, "source": [ "## 2. 데이터 로드\n", "\n", "학습 데이터(`train.csv`), 평가 데이터(`test.csv`), 제출 양식(`sample_submission.csv`)을 불러옵니다." ] }, { "cell_type": "code", "execution_count": 29, "id": "6886ac4f-381d-48c1-8cea-e6f5ca79476e", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
sample_idschool1school2major1_1major1_2jobmajor_dataprevious_cohort_numberten_week_class_countclass1...assigned_task_countsubmitted_task_counton_time_task_countrequired_task_countrequired_submitted_countgroup_participatedwave_attended_countjob_attended_countoneday_attended_counttarget
0S000001국립부경대학교정보없음컴퓨터인공지능공학부없음대학생1NaN027...1110101010000
1S000003한양대학교 분교정보없음경제학부없음대학생0NaN129...11862200000
2S000004을지대학교정보없음빅데이터의료융합학과없음취준생1NaN129...11332000000
3S000005숭실대학교정보없음디지털미디어학과없음대학생011.0224...3331313300001
4S000007한양여자대학교정보없음빅데이터학과없음대학생1NaN136...1010101100010
\n", "

5 rows × 34 columns

\n", "
" ], "text/plain": [ " sample_id school1 school2 major1_1 major1_2 job major_data \\\n", "0 S000001 국립부경대학교 정보없음 컴퓨터인공지능공학부 없음 대학생 1 \n", "1 S000003 한양대학교 분교 정보없음 경제학부 없음 대학생 0 \n", "2 S000004 을지대학교 정보없음 빅데이터의료융합학과 없음 취준생 1 \n", "3 S000005 숭실대학교 정보없음 디지털미디어학과 없음 대학생 0 \n", "4 S000007 한양여자대학교 정보없음 빅데이터학과 없음 대학생 1 \n", "\n", " previous_cohort_number ten_week_class_count class1 ... \\\n", "0 NaN 0 27 ... \n", "1 NaN 1 29 ... \n", "2 NaN 1 29 ... \n", "3 11.0 2 24 ... \n", "4 NaN 1 36 ... \n", "\n", " assigned_task_count submitted_task_count on_time_task_count \\\n", "0 11 10 10 \n", "1 11 8 6 \n", "2 11 3 3 \n", "3 33 31 31 \n", "4 10 10 10 \n", "\n", " required_task_count required_submitted_count group_participated \\\n", "0 1 0 1 \n", "1 2 2 0 \n", "2 2 0 0 \n", "3 3 3 0 \n", "4 1 1 0 \n", "\n", " wave_attended_count job_attended_count oneday_attended_count target \n", "0 0 0 0 0 \n", "1 0 0 0 0 \n", "2 0 0 0 0 \n", "3 0 0 0 1 \n", "4 0 0 1 0 \n", "\n", "[5 rows x 34 columns]" ] }, "execution_count": 29, "metadata": {}, "output_type": "execute_result" } ], "source": [ "train = pd.read_csv(\"train.csv\", encoding=\"utf-8-sig\")\n", "test = pd.read_csv(\"test.csv\", encoding=\"utf-8-sig\")\n", "\n", "train.head()" ] }, { "cell_type": "markdown", "id": "b46acdc0-e4b5-4d07-b41c-fdc2f261759e", "metadata": {}, "source": [ "## 3. 전처리 \n", "\n", "`sample_id`와 `target`을 분리하고, 범주형 변수와 수치형 변수를 구분하여 전처리합니다.\n", "\n", "- **범주형 변수**: 결측값을 `Unknown`으로 처리한 뒤 One-Hot Encoding\n", "- **수치형 변수**: 결측값을 중앙값으로 처리" ] }, { "cell_type": "code", "execution_count": 30, "id": "efef7e38-e7e3-4be0-89ab-25405af73460", "metadata": {}, "outputs": [], "source": [ "X = train.drop(columns=[\"sample_id\", \"target\"])\n", "y = train[\"target\"]\n", "\n", "X_test = test.drop(columns=[\"sample_id\"])" ] }, { "cell_type": "code", "execution_count": 31, "id": "f0870ba2-e384-4b0e-a6ce-08fdc3e3f4b1", "metadata": {}, "outputs": [], "source": [ "categorical_cols = [\"school1\",\"school2\",\"major1_1\",\"major1_2\",\"job\",\"previous_cohort_number\",\"class1\",\"class2\",\"class3\",\"class4\",\"class5\"]\n", "\n", "numeric_cols = [col for col in X.columns if col not in categorical_cols]" ] }, { "cell_type": "code", "execution_count": 32, "id": "fa6964c3-3f49-4d67-9741-f2b46625eb31", "metadata": {}, "outputs": [], "source": [ "# 범주형 결측값 처리\n", "for col in categorical_cols:\n", " X[col] = X[col].fillna(\"Unknown\").astype(str)\n", " X_test[col] = X_test[col].fillna(\"Unknown\").astype(str)" ] }, { "cell_type": "code", "execution_count": 33, "id": "8b53754f-af09-410c-a13a-2e794a67dd1b", "metadata": {}, "outputs": [], "source": [ "preprocessor = ColumnTransformer([\n", " (\n", " \"cat\",\n", " OneHotEncoder(handle_unknown=\"ignore\"),\n", " categorical_cols\n", " ),\n", " (\n", " \"num\",\n", " SimpleImputer(strategy=\"median\"),\n", " numeric_cols\n", " )\n", "])" ] }, { "cell_type": "markdown", "id": "fdbd13e6-0511-42ea-b3cd-b87693fd8286", "metadata": {}, "source": [ "## 4. 모델 학습\n", "\n", "Train 데이터 일부를 Validation 데이터로 분리하고 Logistic Regression 모델을 학습합니다.\n", "\n", "클래스 비율을 유지하기 위해 `stratify`를 적용하며, 성능은 `ROC-AUC`로 평가합니다." ] }, { "cell_type": "code", "execution_count": 34, "id": "95df44ff-3c02-42b7-a902-c656787643fa", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
Pipeline(steps=[('preprocessor',\n",
       "                 ColumnTransformer(transformers=[('cat',\n",
       "                                                  OneHotEncoder(handle_unknown='ignore'),\n",
       "                                                  ['school1', 'school2',\n",
       "                                                   'major1_1', 'major1_2',\n",
       "                                                   'job',\n",
       "                                                   'previous_cohort_number',\n",
       "                                                   'class1', 'class2', 'class3',\n",
       "                                                   'class4', 'class5']),\n",
       "                                                 ('num',\n",
       "                                                  SimpleImputer(strategy='median'),\n",
       "                                                  ['major_data',\n",
       "                                                   'ten_week_class_count',\n",
       "                                                   'attendance_observed_weeks',\n",
       "                                                   'attendance_pr...\n",
       "                                                   'attendance_mid_participated',\n",
       "                                                   'attendance_lately_observed',\n",
       "                                                   'attendance_lately_participated',\n",
       "                                                   'assigned_task_count',\n",
       "                                                   'submitted_task_count',\n",
       "                                                   'on_time_task_count',\n",
       "                                                   'required_task_count',\n",
       "                                                   'required_submitted_count',\n",
       "                                                   'group_participated',\n",
       "                                                   'wave_attended_count',\n",
       "                                                   'job_attended_count',\n",
       "                                                   'oneday_attended_count'])])),\n",
       "                ('classifier', LogisticRegression(max_iter=1000))])
In a Jupyter environment, please rerun this cell to show the HTML representation or trust the notebook.
On GitHub, the HTML representation is unable to render, please try loading this page with nbviewer.org.
" ], "text/plain": [ "Pipeline(steps=[('preprocessor',\n", " ColumnTransformer(transformers=[('cat',\n", " OneHotEncoder(handle_unknown='ignore'),\n", " ['school1', 'school2',\n", " 'major1_1', 'major1_2',\n", " 'job',\n", " 'previous_cohort_number',\n", " 'class1', 'class2', 'class3',\n", " 'class4', 'class5']),\n", " ('num',\n", " SimpleImputer(strategy='median'),\n", " ['major_data',\n", " 'ten_week_class_count',\n", " 'attendance_observed_weeks',\n", " 'attendance_pr...\n", " 'attendance_mid_participated',\n", " 'attendance_lately_observed',\n", " 'attendance_lately_participated',\n", " 'assigned_task_count',\n", " 'submitted_task_count',\n", " 'on_time_task_count',\n", " 'required_task_count',\n", " 'required_submitted_count',\n", " 'group_participated',\n", " 'wave_attended_count',\n", " 'job_attended_count',\n", " 'oneday_attended_count'])])),\n", " ('classifier', LogisticRegression(max_iter=1000))])" ] }, "execution_count": 34, "metadata": {}, "output_type": "execute_result" } ], "source": [ "X_train, X_valid, y_train, y_valid = train_test_split(\n", " X,\n", " y,\n", " test_size=0.2,\n", " random_state=42,\n", " stratify=y\n", ")\n", "\n", "model = Pipeline([\n", " (\"preprocessor\", preprocessor),\n", " (\"classifier\", LogisticRegression(max_iter=1000))\n", "])\n", "\n", "model.fit(X_train, y_train)" ] }, { "cell_type": "code", "execution_count": 36, "id": "e29d0fc8-36d9-4580-b790-3adec00c90e7", "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ "Validation ROC-AUC: 0.7332\n" ] } ], "source": [ "valid_pred = model.predict_proba(X_valid)[:, 1]\n", "\n", "score = roc_auc_score(y_valid, valid_pred)\n", "\n", "print(f\"Validation ROC-AUC: {score:.4f}\")" ] }, { "cell_type": "markdown", "id": "25d0f44a-01c9-4bec-90d7-aa2ce72ecbf8", "metadata": {}, "source": [ "## 5. 테스트 데이터 예측\n", "\n", "전체 Train 데이터로 모델을 다시 학습한 뒤, Test 학회원의 13기 정규반 최종 지원 확률을 예측합니다." ] }, { "cell_type": "code", "execution_count": 38, "id": "d032d3d7-ee0a-457d-b46c-c7de740b9ab3", "metadata": {}, "outputs": [], "source": [ "model.fit(X, y)\n", "\n", "test_pred = model.predict_proba(X_test)[:, 1]" ] }, { "cell_type": "markdown", "id": "d19574be-d0d2-4171-b32e-ecce6562b93d", "metadata": {}, "source": [ "## 6. baseline_submit.csv 생성\n", "\n", "예측 확률을 제출 양식의 `prediction` 컬럼에 저장하여 최종 제출 파일을 생성합니다." ] }, { "cell_type": "code", "execution_count": 39, "id": "4b3ea8a1-edb4-468c-a9d8-15c5cf1e2300", "metadata": {}, "outputs": [ { "data": { "text/html": [ "
\n", "\n", "\n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", " \n", "
sample_idprediction
0S0009480.105087
1S0004380.102945
2S0009630.028796
3S0010820.028299
4S0007230.104301
\n", "
" ], "text/plain": [ " sample_id prediction\n", "0 S000948 0.105087\n", "1 S000438 0.102945\n", "2 S000963 0.028796\n", "3 S001082 0.028299\n", "4 S000723 0.104301" ] }, "execution_count": 39, "metadata": {}, "output_type": "execute_result" } ], "source": [ "submission = pd.DataFrame({\"sample_id\": test[\"sample_id\"],\"prediction\": test_pred})\n", "submission.to_csv(\"baseline_submit.csv\",index=False,encoding=\"utf-8-sig\")\n", "\n", "submission.head()" ] }, { "cell_type": "code", "execution_count": null, "id": "9012b262-dfe7-4c94-b193-05ee3dfdaf74", "metadata": {}, "outputs": [], "source": [] }, { "cell_type": "code", "execution_count": null, "id": "8ac3939b-18bd-4530-95f4-35a857d5b629", "metadata": {}, "outputs": [], "source": [] } ], "metadata": { "kernelspec": { "display_name": "Python [conda env:base] *", "language": "python", "name": "conda-base-py" }, "language_info": { "codemirror_mode": { "name": "ipython", "version": 3 }, "file_extension": ".py", "mimetype": "text/x-python", "name": "python", "nbconvert_exporter": "python", "pygments_lexer": "ipython3", "version": "3.13.9" } }, "nbformat": 4, "nbformat_minor": 5 }