Chipping away at week 8
This commit is contained in:
Silver-T
parent
29bd498c97
commit
e0e869183a
@ -583,7 +583,7 @@
|
||||
"name": "python",
|
||||
"nbconvert_exporter": "python",
|
||||
"pygments_lexer": "ipython3",
|
||||
"version": "3.6.5"
|
||||
"version": "3.5.2"
|
||||
}
|
||||
},
|
||||
"nbformat": 4,
|
||||
|
||||
490
wk8/wk8.ipynb
490
wk8/wk8.ipynb
@ -9,10 +9,494 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": null,
|
||||
"execution_count": 10,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"Using matplotlib backend: TkAgg\n",
|
||||
"Populating the interactive namespace from numpy and matplotlib\n"
|
||||
]
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"%pylab\n",
|
||||
"%matplotlib inline\n",
|
||||
"import pandas as pd\n",
|
||||
"from pandas import ExcelWriter\n",
|
||||
"from pandas import ExcelFile\n",
|
||||
"import numpy as np\n",
|
||||
"import matplotlib.pyplot as plt\n",
|
||||
"from scipy import stats"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"We start the analysis by importing the data. Note, we are only importing the data provided in Table 1 of the Appendix of Dong et al.<sup>1</sup> as we are only analysing data from the references days and Day 62.\n",
|
||||
"\n",
|
||||
"**\\*\\* Double Check this with Murray \\*\\***\n",
|
||||
"\n",
|
||||
"\\*\\* Now we need to read the excel file in a nice way given that the spreadsheet has double headings in some places"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 11,
|
||||
"metadata": {},
|
||||
"outputs": [],
|
||||
"source": []
|
||||
"source": [
|
||||
"data = pd.read_excel('Dong_etal_2018_data.xlsx', sheetname='A1')"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 14,
|
||||
"metadata": {},
|
||||
"outputs": [
|
||||
{
|
||||
"name": "stderr",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"/usr/local/lib/python3.5/dist-packages/matplotlib/colors.py:494: RuntimeWarning: invalid value encountered in less\n",
|
||||
" cbook._putmask(xa, xa < 0.0, -1)\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"data": {
|
||||
"text/html": [
|
||||
"\n",
|
||||
" <style type=\"text/css\" >\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow0_col0 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow0_col1 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow0_col2 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow0_col3 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow0_col4 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow1_col0 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow1_col1 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow1_col2 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow1_col3 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow1_col4 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow2_col0 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow2_col1 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow2_col2 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow2_col3 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow2_col4 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow3_col0 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow3_col1 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow3_col2 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow3_col3 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow3_col4 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow4_col0 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow4_col1 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow4_col2 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow4_col3 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" #T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow4_col4 {\n",
|
||||
" \n",
|
||||
" background-color: #e4ff7a;\n",
|
||||
" \n",
|
||||
" }\n",
|
||||
" \n",
|
||||
" </style>\n",
|
||||
"\n",
|
||||
" <table id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01b\" None>\n",
|
||||
" \n",
|
||||
"\n",
|
||||
" <thead>\n",
|
||||
" \n",
|
||||
" <tr>\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <th class=\"blank level0\" >\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <th class=\"col_heading level0 col0\" colspan=1>\n",
|
||||
" Distance from event center (km)\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <th class=\"col_heading level0 col1\" colspan=1>\n",
|
||||
" Unnamed: 1\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <th class=\"col_heading level0 col2\" colspan=1>\n",
|
||||
" Unnamed: 5\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <th class=\"col_heading level0 col3\" colspan=1>\n",
|
||||
" Unnamed: 9\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <th class=\"col_heading level0 col4\" colspan=1>\n",
|
||||
" Unnamed: 13\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" </tr>\n",
|
||||
" \n",
|
||||
" </thead>\n",
|
||||
" <tbody>\n",
|
||||
" \n",
|
||||
" <tr>\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <th id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01b\"\n",
|
||||
" class=\"row_heading level0 row0\" rowspan=1>\n",
|
||||
" Distance from event center (km)\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow0_col0\"\n",
|
||||
" class=\"data row0 col0\" >\n",
|
||||
" 1\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow0_col1\"\n",
|
||||
" class=\"data row0 col1\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow0_col2\"\n",
|
||||
" class=\"data row0 col2\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow0_col3\"\n",
|
||||
" class=\"data row0 col3\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow0_col4\"\n",
|
||||
" class=\"data row0 col4\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" </tr>\n",
|
||||
" \n",
|
||||
" <tr>\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <th id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01b\"\n",
|
||||
" class=\"row_heading level0 row1\" rowspan=1>\n",
|
||||
" Unnamed: 1\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow1_col0\"\n",
|
||||
" class=\"data row1 col0\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow1_col1\"\n",
|
||||
" class=\"data row1 col1\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow1_col2\"\n",
|
||||
" class=\"data row1 col2\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow1_col3\"\n",
|
||||
" class=\"data row1 col3\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow1_col4\"\n",
|
||||
" class=\"data row1 col4\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" </tr>\n",
|
||||
" \n",
|
||||
" <tr>\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <th id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01b\"\n",
|
||||
" class=\"row_heading level0 row2\" rowspan=1>\n",
|
||||
" Unnamed: 5\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow2_col0\"\n",
|
||||
" class=\"data row2 col0\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow2_col1\"\n",
|
||||
" class=\"data row2 col1\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow2_col2\"\n",
|
||||
" class=\"data row2 col2\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow2_col3\"\n",
|
||||
" class=\"data row2 col3\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow2_col4\"\n",
|
||||
" class=\"data row2 col4\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" </tr>\n",
|
||||
" \n",
|
||||
" <tr>\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <th id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01b\"\n",
|
||||
" class=\"row_heading level0 row3\" rowspan=1>\n",
|
||||
" Unnamed: 9\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow3_col0\"\n",
|
||||
" class=\"data row3 col0\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow3_col1\"\n",
|
||||
" class=\"data row3 col1\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow3_col2\"\n",
|
||||
" class=\"data row3 col2\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow3_col3\"\n",
|
||||
" class=\"data row3 col3\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow3_col4\"\n",
|
||||
" class=\"data row3 col4\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" </tr>\n",
|
||||
" \n",
|
||||
" <tr>\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <th id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01b\"\n",
|
||||
" class=\"row_heading level0 row4\" rowspan=1>\n",
|
||||
" Unnamed: 13\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow4_col0\"\n",
|
||||
" class=\"data row4 col0\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow4_col1\"\n",
|
||||
" class=\"data row4 col1\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow4_col2\"\n",
|
||||
" class=\"data row4 col2\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow4_col3\"\n",
|
||||
" class=\"data row4 col3\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" \n",
|
||||
" <td id=\"T_85fc1364_4d1f_11e8_bb8d_8086f2cce01brow4_col4\"\n",
|
||||
" class=\"data row4 col4\" >\n",
|
||||
" nan\n",
|
||||
" \n",
|
||||
" \n",
|
||||
" </tr>\n",
|
||||
" \n",
|
||||
" </tbody>\n",
|
||||
" </table>\n",
|
||||
" "
|
||||
],
|
||||
"text/plain": [
|
||||
"<pandas.formats.style.Styler at 0x7f4b0a308898>"
|
||||
]
|
||||
},
|
||||
"execution_count": 14,
|
||||
"metadata": {},
|
||||
"output_type": "execute_result"
|
||||
}
|
||||
],
|
||||
"source": [
|
||||
"data.corr().style.background_gradient(cmap='Wistia')"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"****\\*\\*\\*\\* We gon' need to get rid of some of them headins' \\*\\*\\*\\* ****"
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"metadata": {},
|
||||
"source": [
|
||||
"### References\n",
|
||||
"1. Dong, X., Meyer, J., Shmueli, E., Bozkaya, B., & Pentland, A. (2018). Methods for quantifying effects of social unrest using credit card transaction data. EPJ Data Science, 7(1), 8. https://doi.org/10.1140/epjds/s13688-018-0136-x"
|
||||
]
|
||||
}
|
||||
],
|
||||
"metadata": {
|
||||
@ -31,7 +515,7 @@
|
||||
"name": "python",
|
||||
"nbconvert_exporter": "python",
|
||||
"pygments_lexer": "ipython3",
|
||||
"version": "3.6.4"
|
||||
"version": "3.5.2"
|
||||
}
|
||||
},
|
||||
"nbformat": 4,
|
||||
|
||||
Reference in New Issue
Block a user