Математический практикум по Питону.
Pandas таблицы. Столбцы. Series. Серии.
Это предварительная версия! Любые замечания приветсвуются.
In [1]:
import numpy as np
import matplotlib.pyplot as plt
import scipy.stats as models
Работа с таблицами
Введение
Загрузка через csv
In [2]:
import csv
In [3]:
data = []
with open( 'MTLR_180101_190110.txt' ) as f:
data_rows = csv.reader( f, delimiter = ';' )
data = list( data_rows )
Мы должны помнить о том, что второй с конца столбец отвечает за цену закрытия.
In [4]:
close = list( map( lambda x: float(x[-2]), data) ) # Здесь мы должны знать, что -2 это то что нужно.
In [5]:
plt.plot( close )
plt.ylabel( 'Цена рубли')
plt.xlabel( 'День начиная с 2018 г')
plt.legend(['Цена ВТБ']) # Соответсвенно помнить название жмитента.
Out[5]:
Можно было создать класс, который все это помнит. Но зачем, если уже за нас это сделали?
Для более аккуратной работы с данными есть модуль pandas.
Подключаем pandas
In [6]:
import pandas as pd # Загружаем модуль pandas под псевдонимом pd.
Начнем с загрузки простого файла, т.е. небольшого развера.
In [7]:
mtlr_df = pd.read_csv('MTLR_190101_190110.txt', sep = ';') # Считываем данные из файла.
mtlr_df
Out[7]:
Хм.. Как мы видим у колонок появились названия. Но они какие-то не те.
In [8]:
# headerr = None указывает, что заголовка в файле нет.
mtlr_df = pd.read_csv('MTLR_190101_190110.txt', sep = ';', header = None)
mtlr_df
Out[8]:
Теперь колонки получили иемя, правда цифровое, т.е. они пронумированы.
Загрузим данные заново (например с сайта finam), но теперь убедися что стоит флажок у "Добавить заголовок файла"
In [9]:
mtlr_df = pd.read_csv('MTLR_190101_190110_header.txt', sep = ';') # Считываем данные из файла включая заголовок.
mtlr_df
Out[9]:
Как мы видми у колонок появились правильные названия.
Изменение именования колонок
В любом случае мы возможно хотим переименовать название колонок. Либо пронумерованных, либо англоязычных.
In [10]:
mtlr_df.columns # Колонки хранятся в данной переменной таблицы пандас.
Out[10]:
In [11]:
len(mtlr_df.columns) # Количество колнок.
Out[11]:
In [12]:
mtlr_df.columns = ['Эмитент', 'Процент', 'Дата', 'Время', 'Открытие', 'Максимум', 'Минимум', 'Закрытие', 'Обьем']
In [13]:
mtlr_df.columns # Не список уже!
Out[13]:
In [14]:
mtlr_df # Появились нормальные названия колонок.
Out[14]:
In [15]:
# Разумеется нужно следить за количеством колонок.
mtlr_df.columns = ['Открытие', 'Максимум', 'Минимум', 'Закрытие', 'Обьем']
Таблица
Вообще, что за объект, который мы загрузили?
In [16]:
type(mtlr_df) # Объект типа DataFrame
Out[16]:
In [17]:
my_close = mtlr_df['Закрытие'] # Можно из таблицы извлесь колонку.
my_close
Out[17]:
In [18]:
type(my_close) # Тип у колонки Series, т.е. серия.
Out[18]:
И вот сначала мы обсудим тип Series, т.е. что можно делать с колонкой.
Серия
Перейдем к обсуждению объекта Серия (Series) модуля Pandas.
Объект
Создание, удаление
In [19]:
new_ser = pd.Series([50, 100, 75, 23]) # Создаем Серию по списку.
new_ser
Out[19]:
In [20]:
type( new_ser )
Out[20]:
Пандас достаточно мудрен, чтобы выбрать наилучший тип для данных. Так если все данные целые, то и итоговые тип будет целым.
In [21]:
new_ser.dtype # Обращу внимание, что тип целочисленный. В этом смысле Пандас умничает.
Out[21]:
Если хотя бы одно число действительное, то и тоговая таблица будет такой.
In [22]:
new_serf = pd.Series([50, -100, -75., 23])
new_serf # В данном случае тип float64, т.е. действительные.
Out[22]:
In [23]:
new_sers = pd.Series(['Москва', 'Питер', 'Нижний', 'Новосибирск']) # Можно хранить и произвольные объекты.
new_sers # Например, строчки, но тогда тип будет object
Out[23]:
В предыдущих примерах первая колонка добавлялась автоматически. Она называется индексом. Поумолчанию она цифровая, т.е. индекс целочисленный. Но можно идекс задать и в явном виде.
In [24]:
cptls = pd.Series([1,4,7,8], index=['Москва', 'Питер', 'Нижний', 'Новосибирск'])
cptls # Индекс к тому же и не числовой.
Out[24]:
Просмотр
In [25]:
cptls.values
Out[25]:
In [26]:
cptls.index
Out[26]:
In [27]:
list( cptls.iteritems() )
Out[27]:
In [28]:
cptls.keys()
Out[28]:
Операции
Операции как над массивами
In [29]:
my_close # Еще раз его выведем.
Out[29]:
In [30]:
my_close*2 # Можно оперировать как с массивом из Numpy.
Out[30]:
In [31]:
new_serf.abs() # Взяли абсолютную величину от всех значений.
Out[31]:
In [32]:
my_open = mtlr_df['Открытие'] # Извлечем ещё и цену открытия.
my_open
Out[32]:
In [33]:
avg = 0.5*(my_close + my_open) # Нашли среднее двух колонок.
avg
Out[33]:
In [34]:
type( avg ) # Мы по прежнему остаемся в рамка Серии.
Out[34]:
In [35]:
my_open
Out[35]:
In [36]:
my_close.corr(my_open) # cov
Out[36]:
Интегральные операции
In [37]:
my_close.mean(), my_open.max()
Out[37]:
Как над списками
In [38]:
my_app = my_open.append( my_close ) # Напомню что в array нельзя добавлять новые элименты.
my_app # Но что произошло с индексом? Он тоже добавился.
Out[38]:
In [39]:
cptls
Out[39]:
In [40]:
del cptls['Нижний']
In [41]:
cptls
Out[41]:
Значения можети не быть
In [42]:
nums = [5, 6, None, 10] # Список значений и пустота.
nums
Out[42]:
In [43]:
a = np.array( nums )
a # Тип object!
Out[43]:
In [44]:
a*2 # Такое не прокатит.
In [45]:
nums_ser = pd.Series( nums )
nums_ser # Тип всеравно float64!
Out[45]:
In [46]:
nums_ser * 2 # Nan проигнорирован.
Out[46]:
In [47]:
nums_ser.count() # Количество реальных данных.
Out[47]:
In [48]:
nums_ser.mean() # Правильно считает среднее. 5+6+10=21 => 21/3 = 7.0
Out[48]:
In [49]:
nums_ser.describe()
Out[49]:
In [50]:
nums_ser.dropna() # Оставляем строки со значением.
Out[50]:
In [51]:
nums_ser.fillna(-1)
Out[51]:
Принадлежность
In [52]:
cptls
Out[52]:
In [53]:
'Москва' in cptls, 'Британия' in cptls
Out[53]:
Обновить значение
In [54]:
cptls['Екатеринбург'] = 55
In [55]:
cptls
Out[55]:
In [56]:
cptls['Нижний'] = 11
cptls
Out[56]:
In [57]:
cptls.get('Владивосток', 'не известно')
Out[57]:
In [58]:
#cptls.
Индексирование
Как у массива
In [59]:
new_ser[2] # Для Серии действуют теже правила как и для массива. Важно что это число!
Out[59]:
In [60]:
new_ser[1:-1] # Извлечь с первого по невключительно последний элемент. Важно что это Серия!
Out[60]:
Последние два примеры важны. Если не учитывать, то код может сломаться.
In [61]:
my_app # Помним про данную Серию?
Out[61]:
In [62]:
my_app[2] # Раз индекс продублирован, то два элемента, т.е. опять Серия.
Out[62]:
Не числовой индекс
In [63]:
cptls
Out[63]:
In [64]:
cptls['Москва']
Out[64]:
Педантизм
In [65]:
tt = pd.Series(['a','b','c','d'], index=[2,1,3,0])
tt
Out[65]:
In [66]:
tt[0] # Что будет? Что хотели?
Out[66]:
In [67]:
tt.iloc[0] # Является номером строки.
Out[67]:
In [68]:
tt.iloc[2]
Out[68]:
In [69]:
tt.loc[2] # Всегда соответствует названию элемента индекса.
Out[69]:
In [70]:
#new_cptls = pd.Series(['Москва','Париж','Рим','Берлин'], index=['Россия','Франция','Италия','Германия'])
In [71]:
cptls[1] # Вернет как номер строчки.
Out[71]:
In [72]:
cptls.iloc[1] # Тоже самое.
Out[72]:
In [73]:
cptls.loc['Москва']
Out[73]:
In [74]:
cptls.loc[1] # Так нельзя. Нужно обазательно элемент индекса, т.е. название.
In [75]:
cptls.loc['Питер':]
Out[75]:
In [76]:
dd = pd.Series( [1, 2, 1, 4], index=[11, 15, 20, 25])
In [77]:
dd.iat[2]
Out[77]:
Атрибут
In [78]:
cptls.Москва
Out[78]:
Булевские
In [79]:
a = pd.Series([55, 33, 88, 11])
b = pd.Series([44, 22, 100, 22])
In [80]:
a<b # По аналогии с другими операциями на сериями.
Out[80]:
In [81]:
a[a<b] # Используем Серию в качестве фильтра.
Out[81]:
Индекс, как с ним быть
Изучим что есть
In [82]:
my_app
Out[82]:
In [83]:
my_app.index
Out[83]:
In [84]:
a.index
Out[84]:
Новый
In [85]:
rr = my_app.reset_index() # Для создания нового индекса.
rr # Теперь выглядит как таблица. Старый индекс превращен в колонку.
Out[85]:
In [86]:
rr.index.is_unique
Out[86]:
Нужен новый индекс. По хорошему индекс должен однозначно определять строчку.
In [87]:
type(rr) # И действительно это DataFrame. Иногда это нужно, но не сейчас.
Out[87]:
In [88]:
rr = my_app.reset_index( drop = True) # Для затирания старого "индекса"
rr
Out[88]:
In [89]:
type(rr) # Да это Серия.
Out[89]:
In [90]:
rr[2] # Теперь однозначность опять есть.
Out[90]:
In [91]:
a
Out[91]:
In [92]:
a.index = ['a', 'b', 'c', 'd'] # Можно и так.
In [93]:
a
Out[93]:
Сортировка
In [94]:
cptls
Out[94]:
In [95]:
cptls.sort_index()
Out[95]:
In [96]:
cptls.sort_values()
Out[96]:
In [97]:
cptls.rank()
Out[97]:
Произвольные вычисления
In [98]:
a
Out[98]:
In [99]:
a.map( lambda x: x*x )
Out[99]:
In [100]:
a.map( {55:'a', 33:'b', 88:'d'} )
Out[100]:
In [101]:
a
Out[101]:
In [102]:
#a.apply( {55:'a', 33:'b', 88:'d'} )
In [103]:
aa = pd.Series([1,5,-2])
bb = pd.Series([-2,7,3, 4])
In [104]:
aa
Out[104]:
In [105]:
bb
Out[105]:
In [106]:
aa.combine(bb, lambda x, y: x*y)
Out[106]:
In [107]:
aa = pd.Series([1,5,-2], index=[2,3,4])
aa
Out[107]:
In [108]:
aa.combine(bb, lambda x, y: x*y)
Out[108]:
Группы
In [109]:
grades = pd.Series([30,20,25, 55, 60, 40, 30, 40, 45],
index=['Максим','Максим','Максим',
'Аня', 'Аня', 'Аня',
'Дима', 'Дима', 'Дима'])
grades
Out[109]:
In [110]:
grades.groupby(by=grades.index).mean()
Out[110]:
Поиск
In [111]:
my_open.where( lambda x: x>74 )
Out[111]:
In [112]:
#my_open.asfreq(0.5)
In [50]:
my_open.c
In [51]:
my_open.groupby( lambda x: int(x) )
Out[51]:
In [52]:
my_open
Out[52]:
In [53]:
my_open.reindex(index=['день один', 'день два', 'день три', 'день четыре','dd','aa','aaqq'])
Out[53]:
In [ ]:
In [ ]:
tmp_col = my_open.copy()