Если Вы только начинаете свой путь знакомства с возможностями Python, ваши познания еще имеют начальный уровень - этот материал для Вас. В статье мы опишем, как можно извлекать информацию из данных, представленных в Excel файлах, работать с ними используя базовый функционал библиотек. В первой части статьи мы расскажем про установку необходимых библиотек и настройку среды. Во второй части - предоставим обзор библиотек, которые могут быть использованы для загрузки и записи таблиц в файлы с помощью Python и расскажем как работать с такими библиотеками как pandas, openpyxl, xlrd, xlutils, pyexcel.
В какой-то момент вы неизбежно столкнетесь с необходимостью работы с данными Excel, и нет гарантии, что работа с таким форматами хранения данных доставит вам удовольствие. Поэтому разработчики Python реализовали удобный способ читать, редактировать и производить иные манипуляции не только с файлами Excel, но и с файлами других типов.
Отправная точка - наличие данных
ПЕРЕВОД
Оригинал статьи - www.datacamp.com/community/tutorials/python-excel-tutorial
Автор - Karlijn Willems
Когда вы начинаете проект по анализу данных, вы часто сталкиваетесь со статистикой собранной, возможно, при помощи счетчиков, возможно, при помощи выгрузок данных из систем типа Kaggle, Quandl и т. д. Но большая часть данных все-таки находится в Google или репозиториях, которыми поделились другие пользователи. Эти данные могут быть в формате Excel или в файле с.csv расширением.
Данные есть, данных много. Анализируй - не хочу. С чего начать? Первый шаг в анализе данных - их верификация. Иными словами - необходимо убедиться в качестве входящих данных.
В случае, если данные хранятся в таблице, необходимо не только подтвердить качество данных (нужно быть уверенным, что данные таблицы ответят на поставленный для исследования вопрос), но и оценить, можно ли доверять этим данным.
Проверка качества таблицы
Чтобы проверить качество таблицы, обычно используют простой чек-лист. Отвечают ли данные в таблице следующим условиям:
- данные являются статистикой;
- различные типы данных: время, вычисления, результат;
- данные полные и консистентные: структура данных в таблице - систематическая, а присутствующие формулы - работающие.
Бест-практикс табличных данных
- первая строка таблицы зарезервирована для заголовка, а первый столбец используется для идентификации единицы выборки;
- избегайте имен, значений или полей с пробелами. В противном случае, каждое слово будет интерпретироваться как отдельная переменная, что приведет к ошибкам, связанным с количеством элементов в строке в наборе данных. Лучше использовать подчеркивания, регистр (первая буква каждого раздела текста - заглавная) или соединительные слова;
- отдавайте предпочтение коротким названиям;
- старайтесь избегать использования названий, которые содержат символы?, $,%, ^, &, *, (,),-,#, ?,<,>, /, |, \, [ ,] ,{, и };
- удаляйте любые комментарии, которые вы сделали в файле, чтобы избежать дополнительных столбцов или полей со значением NA;
- убедитесь, что любые недостающие значения в наборе данных отображаются как NA.
Если вы работаете с Microsoft Excel, вы наверняка знаете, что есть большое количество вариантов сохранения файла помимо используемых по умолчанию расширения: .xls или.xlsx (переходим на вкладку “файл”, “сохранить как” и выбираем другое расширение (наиболее часто используемые расширения для сохранения данных с целью анализа - .CSV и.ТХТ)). В зависимости от варианта сохранения поля данных будут разделены знаками табуляции или запятыми, которые составляют поле “разделитель”. Итак, данные проверены и сохранены. Начинаем готовить рабочее пространство.
Подготовка рабочего пространства
Подготовка рабочего пространства - одна из первых вещей, которую надо сделать, чтобы быть уверенным в качественном результате анализа.
Первый шаг - проверка рабочей директории.
Когда вы работаете в терминале, вы можете сначала перейти к директории, в которой находится ваш файл, а затем запустить Python. В таком случае необходимо убедиться, что файл находится в директории, из которой вы хотите работать.
Для проверки дайте следующие команды:
# Import `os`
import os
# Retrieve current working directory (`cwd`)
cwd = os.getcwd()
cwd
# Change directory
os.chdir("/path/to/your/folder")
# List all files and directories in current directory
os.listdir(".")
Эти команды важны не только для загрузки данных, но и для дальнейшего анализа. Итак, вы прошли все проверки, вы сохранили данные и подготовили рабочее пространство. Уже можно начать чтение данных в Python? :) К сожалению пока нет. Нужно сделать еще одну последнюю вещь.
Установка пакетов для чтения и записи Excel файлов
Несмотря на то, что вы еще не знаете, какие библиотеки будут нужны для импорта данных, нужно убедиться, что у все готово для установки этих библиотек. Если у вас установлен Python 2> = 2.7.9 или Python 3> = 3.4, нет повода для беспокойства - обычно, в этих версиях уже все подготовлено. Поэтому просто убедитесь, что вы обновились до последней версии:)
Для этого запустите в своем компьютере следующую команду:
# For Linux/OS X
pip install -U pip setuptools
# For Windows
python -m pip install -U pip setuptools
В случае, если вы еще не установили pip, запустите скрипт python get-pip.py, который вы можете найти (там же есть инструкции по установке и help).
Установка Anaconda
Установка дистрибутива Anaconda Python - альтернативный вариант, если вы используете Python для анализа данных. Это простой и быстрый способ начать работу с анализом данных - ведь отдельно устанавливать пакеты, необходимые для data science не придется.
Это особенно удобно для новичков, однако даже опытные разработчики часто идут этим путем, ведь Anakonda - удобный способ быстро протестировать некоторые вещи без необходимости устанавливать каждый пакет отдельно.
Anaconda включает в себя 100 наиболее популярных библиотек Python, R и Scala для анализа данных в нескольких средах разработки с открытым исходным кодом, таких как Jupyter и Spyder. Если вы хотите начать работу с Jupyter Notebook, то вам сюда .
Чтобы установить Anaconda - вам сюда .
Ну что ж, мы сделали все, чтобы настроить среду! Теперь самое время начать импорт файлов.
Один из способов, которым вы будете часто пользоваться для импорта файлов с целью анализа данных - импорт с помощью библиотеки Pandas (Pandas - программная библиотека на языке Python для обработки и анализа данных). Работа Pandas с данными происходит поверх библиотеки NumPy, являющейся инструментом более низкого уровня. Pandas - мощная и гибкая библиотека и она очень часто используется для структуризации данных в целях облегчения анализа.
Если у вас уже есть Pandas в Anaconda, вы можете просто загрузить файлы в Pandas DataFrames с помощью pd.Excelfile ():
# Import pandas
import pandas as pd
# Assign spreadsheet filename to `file`
file = "example.xlsx"
# Load spreadsheet
xl = pd.ExcelFile(file)
# Print the sheet names
print(xl.sheet_names)
# Load a sheet into a DataFrame by name: df1
df1 = xl.parse("Sheet1")
Если вы не установили Anaconda, просто запустите pip install pandas, чтобы установить пакет Pandas в вашей среде, а затем выполните команды, приведенные выше.
Для чтения.csv-файлов есть аналогичная функция загрузки данных в DataFrame: read_csv (). Вот пример того, как вы можете использовать эту функцию:
# Import pandas
import pandas as pd
# Load csv
df = pd.read_csv("example.csv")
Разделителем, который эта функция будет учитывать, является по умолчанию запятая, но вы можете, если хотите, указать альтернативный разделитель. Перейдите к документации , если хотите узнать, какие другие аргументы можно указать, чтобы произвести импорт.
Как записывать Pandas DataFrame в Excel файл
Предположим, после анализа данных вы хотите записать данные в новый файл. Существует способ записать данные Pandas DataFrames (с помощью функции to_excel). Но, прежде чем использовать эту функцию, убедитесь, что у вас установлен XlsxWriter, если вы хотите записать свои данные на несколько листов в файле.xlsx:
# Install `XlsxWriter`
pip install XlsxWriter
# Specify a writer
writer = pd.ExcelWriter("example.xlsx", engine="xlsxwriter")
# Write your DataFrame to a file
yourData.to_excel(writer, "Sheet1")
# Save the result
writer.save()
Обратите внимание, что в фрагменте кода используется объект ExcelWriter для вывода DataFrame. Иными словами, вы передаете переменную writer в функцию to_excel (), и указываете имя листа. Таким образом, вы добавляете лист с данными в существующую книгу. Также можно использовать ExcelWriter для сохранения нескольких разных DataFrames в одной книге.
Подобно функциям, которые используются для чтения в.csv-файлах, есть также функция to_csv () для записи результатов обратно в файл с разделителями-запятыми. Он работает так же, как когда мы использовали ее для чтения в файле:
# Write the DataFrame to csv
df.to_csv("example.csv")
Если вы хотите иметь отдельный файл с вкладкой, вы можете передать a \ t аргументу sep. Обратите внимание, что существуют различные другие функции, которые можно использовать для вывода файлов. Их можно найти .
Использование виртуальной среды
Общий совет по установке библиотек - делать установку в виртуальной среде Python без системных библиотек. Вы можете использовать virtualenv для создания изолированных сред Python: он создает папку, содержащую все необходимое для использования библиотек, которые потребуются для Python.
Чтобы начать работу с virtualenv, сначала нужно его установить. Потом перейти в директорию, где будет находится проект. Создать virtualenv в этой папке и загрузить, если нужно, в определенную версию Python. После этого активируете виртуальную среду. Теперь можно начинать загрузку других библиотек и начинать работать с ними.
Не забудьте отключить среду, когда вы закончите!
# Install virtualenv
$ pip install virtualenv
# Go to the folder of your project
$ cd my_folder
# Create a virtual environment `venv`
$ virtualenv venv
# Indicate the Python interpreter to use for `venv`
$ virtualenv -p /usr/bin/python2.7 venv
# Activate `venv`
$ source venv/bin/activate
# Deactivate `venv`
$ deactivate
Обратите внимание, что виртуальная среда может показаться сначала проблематичной, если вы делаете первые шаги в области анализа данных с помощью Python. И особенно, если у вас только один проект, вы можете не понимать, зачем вообще нужна виртуальная среда.образование
Добавить метки
Данный материал поможет разобраться с порядком оприходования импортных товаров в «1С:Бухгалтерия 8.3».
Что такое номер ГТД в 1С?
Покупка импортных товаров регулируется следующими законодательными актами:
- Таможенный кодекс Евразийского экономического союза (до 01.01.2018 – Таможенный кодекс Таможенного союза);
- ФЗ № 173-ФЗ от 10.12.2003 «О валютном регулировании и валютном контроле»;
- Налоговый кодекс;
- Также бухгалтер должен разбираться в терминологии Инкотермс 2010/Incoterms 2010 – это набор правил и терминов, применяемых в международной торговле.
Бланк ГДТ утвержден решением комиссии Таможенного союза от 20.05.2010 N 257. Мы рассмотрим значения некоторых строк, на которые в первую очередь обращает внимание бухгалтер.
Декларация состоит из основного и дополнительного листов. Основной лист содержит сведения об одном товаре и общие данные по всей декларации. Если товаров больше одного, заполняют дополнительные листы. На одном дополнительном листе можно указать сведения о трех товарах.
Номер декларации – состоит из трех групп цифр, разделенных слешем. Первое значение – код таможни, второе – дата подачи декларации, третье – порядковый номер декларации.
- В графе 1 при импорте ставится отметка ИМ.
- Графа 12 – общая таможенная стоимость в рублях. Равно значению гр.45 основного и добавочных листов.
- Графа 22 – указывается валюта договора и общая стоимость в этой валюте. Равно значению гр.42 основного и добавочных листов.
- Графа 23 – указывается курс валюты на дату подачи декларации, если необходимо пересчитать таможенную стоимость.
- Графа 31 – наименование ввозимого товара и его характеристики.
- Графа 42 – цена товара в валюте.
- Графа 45 – таможенная стоимость одного наименования товара.
- Графа 47 – исчисление платежей (таможенный сбор, таможенная пошлина, НДС при ввозе товаров).
Как правильно разнести ГТД в 1С 8.3?
Пример 1. Ввозим товар из Польши. Курс евро на дату подачи декларации 68,2562. Следующие позиции по ГТД:
В нашем примере таможенная стоимость по декларации равна 341 281,00 руб.
Сумма таможенного сбора допустим равной 2000 руб.
Размер таможенной пошлины 10%, значит сумма пошлина 34 128,10 руб., подлежит распределению между всеми номенклатурными позициями.
Сумма НДС рассчитывается по формуле (стоимость товара + таможенная пошлина + сумма акциза) х ставку НДС (10% или 18%). Если товар не облагается акцизом, его считают равным нулю. В данном случае НДС равен:
(341 281,00 + 34128,10)*18% = 375 409,10*18% = 67 573,64 руб.
Заполнение ГТД по импорту в 1С потребует сделать определенные настойки в части функциональности программы и в справочниках (подробнее об этом дальше).
Для работы с иностранными поставщиками используются счета 60.21 и 60.22, на которых суммы указываются в валюте.
При оприходовании поступления на сч. 10 (41, 15) происходит пересчет стоимости в рублях.
Кроме суммового учета на счетах бухучета используется забалансовый счет ГТД, для учета товаров в разрезе разных номеров деклараций.
Расчеты с таможней отображаются на счете 76.5.
Для корректного пересчета валюты в рубли надо загрузить их курсы.
В справочнике по кнопке Загрузить курсы валют… откроется форма, где надо выбрать интервал дат.
Как провести ГТД в 1С 8.3?
Проверим настройки программы и справочников для оприходования товара по ГТД в 1С.
- Главное -> Настройки -> Функциональность;
- Администрирование -> Настройки программы -> Функциональность.
На закладке Запасы должна быть установлена настройка Импортные товары.
Перейдем к справочникам.
В справочнике контрагентов заведем иностранного поставщика. Страну регистрации следует выбрать из списка стран.
В разделе Договор по этому поставщику надо установить расчеты в валюте договора. Скорее всего, расчеты с поставщиков ведутся в валюте, и к моменту оприходования товара организация уже успела открыть валютный расчетный счет. В случае расчетов с контрагентом в рублях, необходимо установить признак «Оплата» в рублях и использовать расчетный счет в рублях для оплаты.
Мы будем приходовать материалы и товары, создадим их в справочнике с соответственным видом номенклатуры. Можно в справочнике указать номер ГДТ и страну, тогда при заполнении документов поступления эти данные заполнятся автоматически. Если планируется постоянное поступление по ГТД какого-либо вида по разным номерам таможенных деклараций, можно это поле оставить свободным, а номер заполнять при поступлении материальных ценностей.
Среди контрагентов следует завести таможню, на которую доставлен груз. Вид договора должен быть Прочие (не Поставщик), т.к. расчеты проходят через счет 76.5
Отражение импортных поставок в 1С начинается с оприходования товарной номенклатуры. Очень похоже на стандартное поступление материальных ценностей с учетом небольших особенностей.
Меню Покупки -> Поступления (акты, накладные).
Цены – в валюте договора, в данном случае в евро. НДС не указываем. Кнопка Изменить позволяет отредактировать какой-либо реквизит сразу по всем позициям документа, например, это может быть номер ГТД или страна происхождения.
Если посмотрим проводки, то цены в евро перевелись автоматически в валюту регламентированного учета, в нашем случае – рубли.
По номенклатуре Товары появились данные по забалансовому счету ГТД. Обратите внимание, по номенклатурной группе Материалы движения в разрезе ГТД не фиксируются.
На основании поступления товаров можно создать несколько документов, связанных с поступлением импортных товаров. Мы создадим ГТД по импорту. Если поставки из стран Евразийского экономического союза, то следует заполнять Заявление о ввозе товаров. Перемещение товаров может пригодиться, например, при переводе товаров с таможенного склада на склад организации. Документ по отражению доп.расходов не нуждается в особом представлении.
При создании ГТД на закладке Главное указывают суммы Таможенного сбор и Таможенного штрафа (при наличии), также можно указать настройку по НДС – Для расчетов с таможней указываем счет 76.05. Также можно увидеть курс евро, который применяется в расчетах.
На закладке Разделы ГТД заполняется сумма таможенной стоимости в валюте, а также переносятся данные по товарной номенклатуре. После указания процента по пошлине сумма пошлины и НДС рассчитается в рублях автоматически, а также распределится по товарному разделу.
Проводки по ГТД формируются на суммы таможенных пошли, сборов, штрафов (при наличии) и НДС.
Для расчета пошлины могут использоваться разные алгоритмы, не всегда это процент от стоимости. В 1С можно указать пошлину одной суммой, и она распределится по товарным позициям. Если следует подкорректировать распределение сумм среди товаров, это можно сделать вручную в графе Пошлина.
Если вдруг следует увеличить стоимость товаров на прочие суммы, например, транспортные расходы или услуги брокера, то для этого используют документ Поступление доп.расходов (Меню Покупки -> Поступление доп.расходов ). Его заполнение не отличается от обычного (не импортного) оприходования товаров.
Отразим в 1С еще одну импортную поставку. Номер ГДТ другой.
Можем сформировать книгу покупок, в ней отразятся суммы НДС.
При дальнейшей реализации товаров своим покупателям организация обязана указывать правильный номер ГТД. Покажем реализацию товаров с разными номерами ГДТ. У нас приход 10 шт. по первой поставке и 5 шт. – по второй. Покупателю отгружаем 12 шт. При заполнении документа реализации должны будем соответственно показать товар двумя строками. Не забываем указать ставку НДС.
Чтобы облегчить ввод, можно воспользоваться кнопкой Заполнить -> Добавить из поступления, по которой можно выбрать документ оприходования, наименования товара и данные ГДТ заполнятся автоматически.
Смотрим проводки по проведенному документу.
В целях анализа подробное движение импортных товаров можно увидеть через оборотно-сальдовую ведомость по счету ГТД.
В настройках надо указать соответствующие параметры.
Рассмотрим дополнительно некоторые возможности при оформлении ГТД.
Таможенная декларация может формироваться на основании нескольких документов по поступлению материальных ценностей. В табличной части Товары можно добавить другой документ поступления, выбрав его из существующих по кнопке Заполнить. Кроме того, табличная часть позволяет добавлять новые разделы. В учебных целях мы добавили новый раздел, который заполнили данными из второго поступления импортных товаров.
Грузовая таможенная декларация является самой важной при совершении экспорта и импорта через границу каких-либо товаров.
В нашем примере мы подробно рассмотрим пошаговую инструкцию как отразить в 1С 8.3 Бухгалтерия 3.0 учет импортного товара – телефонов Xiaomi RedMI Note 3. Его мы будем оприходовать из Китая вместе с учетом расходов, понесенных на таможне.
Оприходование импортного товара
Первым делом при отражении в программе любой покупки нужно создать документ «Поступление (акты, накладные)». Найти его можно в разделе «Покупки».
Обратите внимание, что у выбираемой в поступлении импортной номенклатурной позиции вам будет необходимо указать страну происхождения и номер ГТД в карточке. Эти данные автоматически перенесутся в поступление.
Полностью заполненный документ в нашем случае будет выглядеть так, как показано на рисунке ниже.
ГТД по импорту
Далее нам будет нужно учесть в программе таможенную пошлину. Сделать в 1С 8.3 это можно при помощи документа «ГТД по импорту». Найти его можно в разделе покупки, но в рамках данного примера целесообразнее будет создать его непосредственно из документа поступления. Для этого мы воспользуемся меню «Создать на основании».
В поле «Таможня» укажем, что оформление нашей партии телефонов будет проходить на Внуковской таможне. Именно ей мы и заплатим сбор в размере 5000 рублей. На данной закладке документа нам осталось заполнить только поле «Депозит», значение которого выбирается из справочника договоров.
Далее перейдем на следующую закладку документа – «Разделы ГТД». В связи с тем, что этот документ мы создали на основании поступления товаров, некоторые данные в табличной части «Товары по разделу» уже заполнились.
В верхней таблице укажем, что таможенная стоимость наших телефонов составляет 560 000 рублей. Размер пошлины будет составлять 33 600 рублей, что является шестью процентами от общей стоимости.
Если импорт товаров не подвергся штрафу при прохождении таможни, то можно не указывать больше никаких данных и провести документ.
В детском дошкольном образовательном учреждении в 2018 году в разных месяцах работало от 23 до 27 человек, в 2019 году – 27 человек (из них одна работница находится в декрете). В каком порядке учреждение должно представлять в ФСС сведения, необходимые для назначения и выплаты пособий по временной нетрудоспособности, по беременности и родам, при рождении ребенка и других пособий, связанных с материнством: в электронной форме либо на бумажном носителе (учреждение расположено в субъекте РФ, участвующем в пилотном проекте)? Покупатель – плательщик НДС вправе воспользоваться вычетом предъявленного ему налога по товарам, работам, услугам, имущественным правам в случае, если соблюдены прописанные в ст. 171 и 172 НК РФ условия: покупка предназначена для облагаемой НДС операции и поставлена на учет, у покупателя имеется оформленный соответствующим образом счет-фактура. Правда, если этот документ получен с опозданием, у налогоплательщика могут возникнуть дополнительные вопросы. За какой период заявлять вычет? Как его перенести на последующие налоговые периоды и не просчитаться со сроком, отведенным законодателем на данное мероприятие? Можно ли отсрочить лишь часть вычета? Четыре судебные инстанции, включая ВС РФ, отказали гражданке Ж. в праве зарегистрировать новое ООО «Д». Формальным основанием для данного отказа явилось непредставление заявителем определенных Федеральным законом № 129‑ФЗ необходимых для государственной регистрации документов, а именно то, что заявление по форме Р11001 не содержит сведения о лице, имеющем право без доверенности действовать от имени юридического лица, об адресе постоянно действующего исполнительного органа юридического лица в пределах его место нахождения, а также имеются признаки отсутствия у учредителей – юридических лиц ООО «П», ООО «Б» и их руководителей возможности осуществлять управление в создаваемом юридическом лице.
Изменение ставки по НДС само по себе вроде бы не должно вызывать сложности для учетных работников. Действительно, начисляете большие суммы к уплате в бюджет и все… Однако трудности могут возникнуть в период перехода от меньшей ставки к большей. В данной статье мы представим обзор последних разъяснений чиновников на эту тему, связанных с выполнением работ и оказанием услуг. В апреле 2019 года была выявлена ошибка: по объектам библиотечного фонда, принятым к учету и введенным в эксплуатацию в августе 2018 года, амортизация не начислялась. Какие исправительные записи необходимо сделать в бюджетном учете?
В этой пошаговой инструкции мы рассмотрим поступление импортного товара в программе 1С 8.3 (бухгалтерия) и отражение в бухгалтерском учете пошлины по ГТД (грузовой таможенной декларации).
Процедура в 1С 8.3 производится двумя документами — «Поступление товаров и услуг» и «ГТД по импорту».
Оформление прихода импортного товара на склад
Первый шаг — оформление прихода импортного товара на склад. Делается поступление с помощью документа «Поступление товаров и услуг». Подробно на данной операции останавливаться не будем, об этом документе можно прочитать в .
Отметим лишь нюансы импортного поступления. Обязательно необходимо указать Номер ГТД и Страну происхождения (ввести эти справочники можно в момент создания документа):
После того как поступление оформлено, можно переходить к отражению пошлины за товар.
ГТД по импорту в 1С 8.3
Оформление пошлины импортного товара в 1С 8.3 оформляется с помощью заполнения документа «ГТД по импорту».
Проще всего его ввести на основании ранее созданного документа оприходования:
Получите 267 видеоуроков по 1С бесплатно:
Отметим особенности заполнения документа. На вкладке «Главное» необходимо указать:
- какой таможне будет происходить оплата пошлины () и по какому договору;
- по какому номеру ГТД пришел товар;
- сумму таможенного сбора;
- при наличии штрафов — их сумму;
- установить флажок «Отразить вычет в книге покупок», если Вы хотите автоматически принять в книге покупок.
Получится примерно следующее:
