ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

В 2020 году уже странно слышать, что кто-то собирает отчеты руками, однако люди все-таки продолжают это делать. Причины могут быть разные: нет опыта, дороговизна решений, сила привычки.

В этой статье я предлагаю рассмотреть различные подходы к автоматизации отчетности клиента, а также их плюсы и минусы. Статья рассчитана на специалистов, которые ведут рекламные кампании клиентов, и маркетологов, озадаченных вопросом автоматизации отчетности.

В чем проблемы ручной подготовки отчетов


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

Представим, что мы готовим отчеты для клиентов раз в месяц или в лучшем случае раз в неделю. Какие проблемы из этого вытекают для нас и клиента:

Все эти проблемы уходят в прошлое после автоматизации отчетности и настройки системы мониторинга.

Критерии выбора сервиса автоматизации

Прежде чем начать выбирать сервис автоматизации отчетности, необходимо определиться с критериями отбора.

Я не буду говорить про цены, бренд, поддержку и так далее — уверен, что вы и сами это знаете. Я хочу напомнить о другом важном критерии — удобстве конечного пользователя отчетов. К сожалению, выбирая то или иное решение, специалисты о нем часто забывают.

Однако я рекомендую убедиться, что после автоматизации вы сможете сохранить привычный для клиента формат отчета и его функциональность.

Что может включать ваш текущий отчет:

Формат передачи отчета:

Из-за изменения формата отчета клиент может испытывать неудобства в работе с данными и выражать в связи с этим свое недовольство.

Чтобы не попасть в ситуацию, когда вы сделали отчет, а клиент отказывается им пользоваться, старайтесь сохранить формат или заранее согласуйте вид новой отчетности. Приведите аргументы, почему эти изменения необходимы.

Этапы автоматизации отчетности

Автоматизация отчетности состоит из нескольких этапов:


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

Для решения нашей задачи автоматизации мы можем использовать один из подходов:

С одной стороны, может показаться, что лучше использовать один инструмент, который закроет все задачи. С другой — если вспомнить требования к сохранению формата и функциональности отчета, то окажется не все так однозначно.

А теперь давайте разбираться со способами автоматизации. Чтобы было проще сделать выбор, каждый вариант представит самодостаточное решение, состоящее из одного или нескольких инструментов.

Способ 1. Python или R — языки программирования


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

Первыми мы рассмотрим языки программирования, тем более что они могут пригодиться при работе со следующими инструментами.

Главный плюс языков программирования заключается в том, что с их помощью вы можете сделать всё, что вам необходимо, и так, как это нужно именно вам: собирать и обрабатывать данные, передавать в базы данных или сохранять в привычные форматы XLS и PDF, создавать визуализации на основе объединенной статистики. А главный минус — это нужно уметь, а чтобы научиться — надо потратить время и деньги.

Чаще всего языки программирования сейчас используют именно для сбора, обработки, сведения данных и сохранения в файл или передачу в базы данных. Визуализируют же данные в привычном Excel, Google Таблицах или инструментах визуализации Power BI, Google Data Studio и других.

Если вы готовы вложиться в обучение, то можете пойти по данному пути. Однако чтобы всё работало из коробки, нужно потратить немало времени. Кстати, у Алексея есть свой курс, на котором он обучает работе со статистикой с помощью R.

Итог: использование языков программирования добавляет гибкости в автоматизации отчетности, но для создания конечного продукта нужно будет потратить немало ресурсов, поэтому я в меньшей степени рекомендую этот подход.


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

Отчет по расходам и рентабельности в Яндекс. Метрике

Что нужно сделать для автоматизации отчетности в системах аналитики:

Среди плюсов этого подхода:

Стоимость сервисов по импорту расходов может начинаться от 0 рублей, а доходить до $50–90 ежемесячно. Цена зависит от сервиса и его возможностей, например, в CostUp2.me для импорта доступен только Яндекс. Директ, а в Owox — более 15 источников.

Способ 3. Excel

Был бы всем хорош этот подход, но его слабое место — загрузка данных.

Минус один — нет коннекторов для популярных рекламных систем. Никакие плюсы не перекроют этот минус.


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

Когда данные будут собраны, их останется почистить и свести. Когда я решал подобную задачу, то обычно соединял в один массив данных статистику по рекламным кампаниям, а к нему через функцию ВПР сводил информацию о целевых действиях и заказах из CRM. Замечу, что ВПР необходимо делать по трем столбцам: «Дата», «Источник трафика» и «ID кампании».

Для верстки отчетов можно использовать сводные таблицы на основе объединенных данных. Я на практике использовал функцию QUERY, которая позволяет гибко формировать запрос к данным, отфильтровывать и сортировать их.

Плюсы этого подхода:

Итого: стоимость расширения от Supermetrics по сравнению с решениями для импорта расходов в Google Analytics выше в 1,5–2 раза. При этом не для всех рекламных систем есть коннекторы, поэтому и часть данных все равно необходимо грузить вручную. Также надо помнить о скорости: отчеты с большим объемом данных долго «перевариваются».

Больше о работе с Google Таблицами

В отличие от остальных инструментов Google BigQuery неполноценное решение. Это база данных, которая поможет работать с сервисами визуализации.

Как вы уже поняли, основная проблема в автоматизации отчетности — загрузка данных из рекламных систем. Эту задачу хорошо решает передача и хранение информации из источников в облачную базу данных, например, в BigQuery.

Передать данные из источников в облачную базу данных можно с помощью сервисов Renta, myBI Сonnect, Owox и других похожих.

Принцип действия простой:


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

На первый год работы с BigQuery Google предоставляет купон на $300. Чтобы выйти за пределы $5 в месяц в рамках нашей задачи, нужно сильно постараться.

Плюсы данного подхода:

Несмотря на возможные сложности на первоначальном этапе знакомства с инструментом, я считаю изучение BigQuery более оправданным, чем использование языков программирования для написания собственных коннекторов.

Читайте по теме

Google Data Studio — инструмент визуализации, который также закрывает задачи по хранению и обработке данных. Его слабая сторона — всё те же коннекторы к источникам данных.

Есть три варианта решить вопрос с поставкой данных в Google Data Studio:

Все эти способы мы разобрали в предыдущих блоках, поэтому не будем на них снова останавливаться.


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

Плюсы Data Studio:

Минусы один — нет встроенных коннекторов к популярным источникам данных.

Итого: это отличный инструментом для автоматизации отчетности в связке с инструментом по импорту данных в BigQuery. Минусы самого BigQuery указаны выше.

Больше о работе с Data Studio

На мой взгляд, этот инструмент сильно распиарили, и многие специалисты потратили не один месяц на его изучение. Его неоспоримые плюсы — это гибкость и красивые визуализации.


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

За что я не люблю создание отчетов в PowerBI:

Есть «идеальное решение», по мнению многих специалистов, возможность поделиться отчетом PowerBI по ссылке. Однако в этом случае данные клиента сможет увидеть любой, у кого будет ссылка.

Можно было бы сказать: да кому уйдет эта ссылка? кому эти отчеты нужны? Но несколько лет назад в поиске Яндекса по названию бренда или агентства можно было найти много интересных отчетов, и я сомневаюсь, что клиенты этому обрадовались. Если вас это не смущает — дерзайте.

Загружать данные в PowerBI можно несколькими способами:

Всё это нетривиальные задачи и требуют немалой подготовки. Но даже если вы загрузите данные, вам необходимо будет свести их в единую систему.

Если же вы готовы взяться за этот процесс, то вам могут быть полезны коннекторы, который создал Александр Морин:

Существует и более простое от коллег из eLama c готовыми отчетами, однако вам все также нужен компьютер с Windows и учетная запись для безопасной передачи данных через отчеты.

Итого: если вы используете Windows и покупка лицензии для клиента для вас не проблема, то стоит рассмотреть этот инструмент в связке с BigQuery или eLama.

Способ 8. Системы сквозной аналитики

В качестве варианта «3 в 1» можно рассмотреть сервисы сквозной аналитики, такие как Calltouch, Alytics, Roistat и другие. Плюсом этого решения станет то, что сервис закрывает все необходимые функции по автоматизации отчетности: загрузка и хранение данных, их обработку и визуализацию.


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

Вполне возможно, что в одном из сервисов вы уже решаете сопутствующие задачи: отслеживание источников трафика для звонков, автоматизацию контекстной рекламы и другие. Это позволяет без дополнительной платы использовать автоматизированную отчетность. Кроме того, у большинства систем есть возможность автоматически размечать рекламные кампании нужными UTM-метками. Если вас не устроит встроенная отчетность, то благодаря автоматической разметке вы потратите гораздо меньше времени на сведение данных.

Стоит сравнить этот подход по цене с сервисами для импорта расходов в Google Analytics и передачи данных в BigQuery. Например в Calltouch минимальный тариф для построения сквозной аналитики начинается с 990 рублей.

Плюсы этого решения:

О чем надо помнить

Прежде чем скачивать и сводить данные, убедитесь в том, что они корректно собираются:

Заключение

В статье описаны все возможные способы автоматизации отчетности. Если бы меня попросили выбрать какой-то из них, то я бы выбрал следующие два:

Рекомендую изучить инструменты, которые вы уже используете для работы с рекламными площадками, вполне возможно, что они обладают необходимыми возможностями.

Используйте свое драгоценное время для задач, которые нельзя доверить машине.

Время на прочтение

Формирование банковской регуляторной отчетности является сложным процессом с высокими требованиями к точности, достоверности, глубине раскрываемой информации. Традиционно для автоматизации отчетности организации используют классические системы хранения и обработки данных. При этом с каждым годом активно растет число задач, где требуется не просто проводить аналитику большого объема разнородных данных, но и делать это с требуемой для бизнеса скоростью.

Совокупность этих факторов привела к изменению процессов управления данными. Data Platform – подход, который предлагает переосмысление традиционной концепции классического хранилища данных (КХД) с использованием технологий Big Data и новых подходов, применяемых при построении Data Lake платформ. Data Platform позволяет качественно учесть такие важные факторы, как рост количества пользователей, требования к time2customer (обеспечить возможность высокой скорости выполнения изменений), а также стоимость получаемого решения, в том числе, с учётом его дальнейшего масштабирования и развития.

В частности, предлагаем рассмотреть опыт автоматизации отчетности по РСБУ, налоговой отчетности и отчетности в Росфинмониторинг в Национальном Клиринговом Центре (далее – НКЦ).
Выбор архитектуры, позволяющей реализовать решение с учётом нижеизложенных требований, проходил крайне тщательно. В конкурсе участвовали как классические решения, так и несколько «бигдатных» – на Hortonworks и Oracle Appliance.

Предъявлялись основные требованиями к решению:

Было принято решение в пользу внедрения продукта Neoflex Reporting Big Data Edition на основе open-source платформы Hadoop Hortonworks.


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

СУБД систем источников является Oracle, также источниками являются плоские файлы различных форматов и изображения (для целей налогового мониторинга), загрузка отдельной информации производится посредством REST API. Таким образом, появляется задача работы как со структурированными, так и с неструктурированными данными.

Рассмотрим подробнее области хранения данных Hadoop кластера:

Operation Data Store (ODS) – данные хранятся «as is» системы источника, в той же форме и формате, которые определены системой-источником. Для хранения истории по ряду необходимых сущностей реализован дополнительный архивный слой данных (ADS).

CDC (Change Data Capture) – почему отказались от захвата дельты

Отдельного журнала аудита, пригодного для извлечения дельты, на стороне систем источников нет. При таких исходных условиях оптимальным выглядит отбор всех записей или выделение дельты на стороне Hadoop кластера.

При обработке дельты (и поддержке историчности) в рамках кластера необходимо учитывать следующее:

Исходя из вышеперечисленного, оптимальным оказалось не выделять дельту, поэтому выбран следующий подход:

Portfolio Data Store (PDS) – область, в которой подготавливаются и хранятся в унифицированном централизованном формате критичные данные, к которым предъявляются повышенные требования по качеству не только данных, но и структуры синтаксиса и семантики. Например, к данным относятся реестры клиентов, сделок, баланс и т.п.

Разработка ETL-процессов ведется на Spark SQL с помощью Datagram. Он относится к классу решений — «акселераторов», и позволяет упростить процесс разработки посредством визуального проектирования и описания преобразований данных с помощью привычного синтаксиса SQL – а в свою очередь, код самих джобов на языке Scala генерируется автоматически. Таким образом, уровень сложности разработки эквивалентен разработке ETL на более традиционных и привычных инструментах таких, как Informatica и IBM InfoSphere DataStage. Следовательно, это не требует дополнительного обучения специалистов или привлечения экспертов со специальными знаниями технологий и языков Big Data.

На следующем этапе рассчитываются отчетные формы. Результаты расчетов помещаются в витрины СУБД Oracle, где на базе Oracle Apex строятся интерактивные отчеты. На первый взгляд может показаться нелогичным использование коммерческого Oracle наряду с open-source технологиями Big Data. Исходя из следующих факторов, было принято решение использовать именно Oracle и Apex:

В Data Platform хранятся все данные систем источников, в отличие от классического КХД, где хранятся данные для решения конкретных задач. При этом в Data Platform используются, описываются, подготавливаются и управляются только полезные, необходимые данные, т.е., если используются на постоянной основе определенные данные, то их классифицируют по ряду признаков и размещают в отдельные сегменты, портфели в нашем случае, и управляют в соответствии с характеристиками этих портфелей. В КХД напротив, подготавливаются все загруженные в систему данные, вне зависимости от необходимости их дальнейшего использования.

Поэтому, в случае необходимости расширения под новый класс задач, КХД зачастую сталкивается с фактически новым проектом внедрения с соответствующим T2C, в то время как в Data Platform все данные уже есть в системе и могут быть задействованы в любой момент времени без предварительной подготовки. Например, данные собираются из ODS, оперативно обрабатываются, «прикручиваются» к конкретной задаче и передаются конечному потребителю. Если непосредственное использование показало, что функционал корректен и применим в будущем, то запускается полный процесс, в рамках которого строятся целевые трансформации, подготавливаются или обогащаются портфели данных, задействуется слой витрин и строятся полноценные интерактивные отчеты или выгрузки.

Проект еще в стадии реализации, тем не менее, можно отметить ряд достижений и подвести промежуточные итоги:

Автор материала — Кристина Козлова, менеджер бизнес-направления Big Data Solutions компании «Неофлекс»

Система пляжного управления компанией или автоматизированный мониторинг ключевых показателей успешности.

Представьте такую ситуацию. Вы инвестировали и основали бизнес. В сумме инвестированный капитал составил 10 млн. рублей.
Утрируем до «идеальной ситуации», когда бизнес работает как хорошо отлаженный механизм, приносит доход и не требует вашего участия (мечта любого собственника бизнеса). Можно загорать на пляже и тратить получаемые деньги.
На протяжении года менеджмент компании исправно выплачивает вам хорошие дивиденды, которых хватает, чтобы беззаботно проводить время в собственное удовольствие.
Наступает страшный день, когда вдруг не выплачивают причитающиеся средства и аргументируют это различными текущими трудностями. И это повторяется снова и снова, месяц за месяцем.
Когда вы вернулись и разобрались с делами, оказалось (опять утрирую), что бизнес работал в убыток, а дивиденды выплачивали, размывая активы. Не осталось ни активов, ни вложенных капиталов, ни, в принципе, и самого бизнеса. Возникает извечный русский вопрос: Кто виноват и что делать?

Для того, чтобы такого не случалось, необходимо контролировать состояние активов и успешность работы бизнеса. Вопрос как это можно делать сидя на пляже?

Главное, что необходимо контролировать в первую очередь — это отдача на вложенный капитал. Наверное, каждый собственник бизнеса знает целевую рентабельность своих капиталов. Можно использовать и другие показатели успешности бизнеса, но для примера используем этот.
Ваш целевой показатель успешности — 40% в год. Т.е. вас устроит, если бизнес будет зарабатывать не менее 4 млн в год. Половину, к примеру, вы готовы оставлять для развития бизнеса, а половину забирать на то, чтобы беззаботно проводить время на пляже. Вы точно знаете, что надо вмешаться в бизнес, если этот показатель упадет ниже 20%.

Скорее всего вас устроит такая автоматизированная система, которая ежедневно рассчитывает этот показатель за прошедшие 365 дней (чем больше дней тем меньше чувствительность). Если в какой-либо из дней показатель, указанный выше, падает ниже критической отметки, вы получаете SMS на мобильный телефон и начинаете разбираться с ситуацией без промедления, не дожидаясь конца отчетного периода. Именно в этот момент вы уже сможете смотреть полные финансовые отчеты, детализировать и анализировать с целью обнаружения причин снижения ключевого показателя успешности.

Если контроль финансовых показателей автоматизирован, то контролировать можно десятки или даже сотни показателей, изначально устанавливая минимальные критические значения.
Пара примеров:
— Сумма дебиторской задолженности клиентов не должна быть больше 30 % от суммы активов
— Отношение собственного и заемного капитала не должно быть больше 50%
— Денег, в среднем, не должно быть меньше 1 млн рублей.
Можно привести сотни подобных примеров

В обычной практике мы можем устанавливать целевые значения на будущий период. В конце периода, когда готовы финансовые отчеты, можно сравнивать план с фактическими показателями. « Фишка» в том, что при наличии такой системы вы действительно можете лежать на пляже, наслаждаться своим мохито и при этом держать руку на пульсе состояния ваших активов — то есть контролировать успешность бизнеса.

Вот так вели себя клиенты во время кризиса 🙂 (График из жизни)

Обороты стали падать. Деньги выплачивались с большой задержкой, соответственно дебиторская задолженность стала расти. Как следствие, уменьшение показателя оборачиваемости дебиторской задолженности.


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

Ежедневные финансовые отчеты.

Если в tma-системе наладить повседневную регистрацию всех финансово-хозяйственных операций, то тоблагодаря полностью автоматизированному процессу счетоводства триаду финансовых отчетов можно получать каждый день.
Проблема в том, что сам формат финансовой отчетности не позволяет адекватно отражать эти отчеты в формате реального времени. Данные не пригодны для анализа.
В tma-системе период можно определить количеством дней. Тогда финансовая отчетность будет формироваться в конце каждого дня за указанный не календарный период. При этом в целях анализа — данные баланса усредняются по значениям на конец каждого дня в периоде, а значения отчета о прибылях и движение денежных средств суммируются за весь период.

Выглядеть это может примерно вот такЖ


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

Представление подобных данных в виде графиков позволит добиться максимально эффективного результата. Вот вам и инструмент для качественного вертикального и горизонтального анализа.

Пример баланса (отчет о финансовом положении (состоянии)) в графическом виде с расчетным периодом в 31 день:


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

Пример графика доходов и расходов по расчетному периоду 31 день:


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

А вот детализация расходов по расчетному периоду 31 день:


ТРАНСФОРМАЦИЯ ЧАСТЬ 2 ЕЖЕДНЕВНЫЕ ФИНАНСОВЫЕ ОТЧЕТЫ И АВТОМАТИЗИРОВАННОЕ ОТСЛЕЖИВАНИЕ КРИТИЧЕСКИХ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

Кроме использования tma-системы с целью автоматизированного повседневного контроля ключевых показателей успешности бизнеса, необходимо обеспечить ежедневный операционный процесс регистрации финансово-хозяйственных операций.

Организация сдает в аренду помещение и «сидит» на упрощенной системе налогообложения. У СН рассчитывается и начисляется в бухгалтерии один раз в квартал. Но по факту предприятие несет расходы по этому налогу в каждый день по договору аренды. Таким образом, первичный документ «договор аренды» должен не только ежедневно начислять соответствующую сумму аренды, но и расчетный УСН.
Итоговый УСН в конце квартала не сойдется с бухгалтерским. (такова жизнь :)). Поэтому нужно ввести в систему корректирующий документ на момент получения от бухгалтерии точной квартальной суммы.

Несмотря на то, что процесс запуска повседневного финансового учета на предприятии крайне сложен, это действительно того стоит. Предвкушая мнение, что это подходит только для малого бизнеса, отмечу, что размеры бизнеса не имеют никакого значения.
На практике мы столкнулись с ужасающей ситуацией отсутствием ежемесячных финансовых отчетов на большинстве предприятий. Поэтому, следует заметить, что первым делом необходимо добиться адекватных ежемесячных отчетов и только потом потом переходить к повседневным.

В следующей статье я раскрою главную сложность автоматизации финансового учета до уровня повседневности. Речь пойдет о переоценках и курсовых поправках.

Собирать отчёты — долго и скучно, неудивительно, если отчёт придёт в последний момент. В результате страдают управление компанией. Автоматизация отчётов избавляет от рутины, ускорит и повысит точность работы.

Типичная ситуация любого бизнеса. Вечер пятницы, конец месяца. Нужен, например, отчёт от отдела продаж. А его всё нет и нет, звоните в отдел, а там вешают лапшу и обещают прислать к 8 вечера.

Вы, вероятно, и сами собирали информацию из разных мест и объединяли в одном документе. Даже если менеджеры не вешают лапшу, всё равно понимаете, сколько работы надо сделать, чтобы получить отчёт. Как следствие, отчёт опаздывает, менеджеры работают допоздна, сотрудники тоже. В лучшем случае, если все покидают офис в плохом настроении и поздно вечером. В худшем — сдают корявые отчёты, на основе которых принимаются кривые управленческие решения.

Типичные проблемы сбора данных для отчётов

Точность. Если заполнять отчёты руками, 100% будут ошибки. Где-то добавил лишний ноль. Где-то ошибся строкой и записал что-то другое. Вдобавок, если работать с Экселем — всегда есть шанс работы с неактуальными данными, которые безнадёжно устарели. В этом плане онлайн-офис удобнее, все данные обновляются на лету, к тому же можно пользоваться всем отделом сразу.

Сбор информации из разных мест. Как следствие, увеличивается время на ведение отчётов. Пока откроешь необходимые сервисы и перебьёшь данные — вот и обед. К тому же это усложняет проверку данных, что ведёт к ошибкам. В запущенных случаях нужны специалисты из других отделов.

Правильное представление информации. Кстати, мало заполнить все таблицы-карточки. Нам нужно суметь проанализировать данные, а как это сделать, если не подумать о правильном представлении информации. Это не всегда означает «нарисовать красивый график». Безусловно, иногда нужно и красиво показать графики, но понятно донести ключевые цифры и изменения, или оформить сопроводительный текст.

👋 Правильное представление данных — это про понятность данных, а не про красивые диаграммы

Обмен данными. Проблема свойственная типовым сервисам. Сервис есть, а с точки зрения управленческого учёта — данные не переносятся. Например, менеджеры заводят заявку вручную, при этом они в разрозненных местах: сайт, почта, телефон, сообщения из соцсетей. Нет понимания, какие заявки обработаны и на каком они этапе воронки. Часто менеджеры работают с устаревшими данными, потому что CRM не дружит с товарным учётом, в результате, каких-то клиентов обидели, тем что пришлось отменять заказ, кому-то привезли не то, что он хотел и так далее.

Автоматизация отчётов

Что именно можно автоматизировать

Примеры автоматизации отчётов

Маркетинг. До автоматизации маркетолог тратил от 3 часов в неделю на сбор данных. Открывал Яндекс-метрику, Гугл-аналитику, рекламные системы, емейл-рассылки, и продажи — сравнивал с предыдущими периодами и менял работу. После: открывает консолидированный отчёт, в котором уже собранны данные — изучает и меняет работу, теперь это занимает 20 минут. Как результат — освободили время маркетолога, вдобавок повысили информативность отчётов благодаря сквозной аналитике (в отчётах стало чётко видно, какие каналы точно принесли продажи).

Продажи. До автоматизации. Ежедневно каждый менеджер записывал результаты в табличку. В конце месяца руководитель собирал со всех таблицы, выборочно проверял данные, распределял бонусы. На проверку и расчёты бонусов уходил рабочий день. После автоматизации роботы сами собирали данные из коллтрекинга и CRM. В конце месяца руководителю нужно было согласовать оплату. В результате освободили кучу времени, повысили точность, полностью избавились от подтасовки данными.

👋 Важная деталь. Автоматизировав один отдел, другой тоже может получить от этого выгоду.

Менеджмент и контроль процессов. До автоматизации отдела продаж: заявки сыпятся в разные места, ручками нужно собирать и проверять. Часто находили нарушения — того забыли занести, тому позвонить и так далее. После автоматизации заявки собираются в одном месте, в телеграм-чат падает уведомление о новой заявке, а также приходят уведомления, если менеджер поздно отреагировал на обработку заявки. Как результат, повысилось качество работы сотрудников.

👉 Поможем с автоматизацией управленческих и финансовых отчётов, для этого начините с консультации или свяжитесь с нами по телефону +7 (495) 764 83 81 или через телеграм @Interlogik

Эти ссылки мы отобрали вручную, для дополнительного чтения:— Интеграция AmoCRM и 1С — Аналитика продаж — Учёт продаж в интернет-магазине — План-фактный анализ бюджета — Автоматизация отдела продаж —Автоматизация отдела закупок на основе анализа продаж— Запишитесь на курс «Финансовые и торговые отчёты»— Консультации по автоматизации управленческого учёта

Автоматизация финансовой отчетности

Тот, кто несет фонарь, спотыкается чаще,
чем тот, кто идет следом
Жан Поль

Предисловие

В данной статье я хочу рассказать о том, чем я занимаюсь последние 5 лет. Информации скопилось очень много и я попытался изложить её в простой и доступной форме. Схема системы:
Общая схема (vsd)

Начало

— Мы тебя берем -, сказал мой будущий руководитель, — но надо посетить ещё один кабинет.
Я стоял в душном коридоре, рядом шуршал принтер, а передо мной была закрытая дверь. За дверью кто-то громко говорил по телефону. Вот голос умолк, мы постучались. За дверью в кресле сидел мужчина, он посмотрел на меня, потом на руководителя и спросил:
— Подходит?
— Да, вполне. – Ответил мой будущий босс.
— Ок, берём.
Так незамысловато начался мой трудовой путь в Банке.

Первая ласточка

Стоит отметить, что департамент, в который меня взяли на работу, не был связан с программированием и занимался исключительно экономическими задачами. А меня и моих коллег брали как-бы нелегально. В Банке не принято интересоваться, как человек будет решать задачу, она просто спускается сверху и если ты её решил, то молодец, если нет, то будут неприятности (как с реальными нелегалами). Отсюда моё непосредственное руководство, понимая, что автоматизировать управленческую отчетность могут только программисты, пошло на риск и под видом экономистов стало набирать нас.

Что не устраивает в Microsoft Reporting Services.

Но то, что нравилось руководству не совсем удовлетворяло сотрудников Банка, которые должны были ежедневно работать с нашими отчетами. Работая с Microsoft Reporting Services, пользователи отмечали следующие неудобства:

Так же следует отметить, что в Банке пользователи работают с данными чаще всего в Microsoft Excel. Большинству из них отчеты на Web-форме не нужны. Делая какой-нибудь доклад, или презентацию, пользователь хочет как-то “поиграть” с цифрами. Добавить что-то своё, провести какую-то аналитику или сравнить с предыдущими отчетами. Только бухгалтерские и статистические данные формировались в стандартных формах. Но таких отчетов было меньшинство, большинство же предоставляло данные пользователю, в целях дальнейшей работы с ними.

Microsoft Reporting Services не может, Analysis Services поможет

Если гора не идет к Магомету,
Магомет идет к горе
рассказ о Ходже Насреддине

Перечисленные выше проблемы доставили немало хлопот. Пока я искал их решение, к нам пришли ребята из QlikView и стали предлагать свой продукт. Народ был колоритный, кто берцы с костюмом одел, кто пиджак поверх футболки. В общем, экономили они на продажниках, хотели своими силами всё сделать. Но сам продукт произвел впечатление и заставил задуматься над тем, как улучшить то, что делаем мы. Минусом этого продукта, в случае нашего хранилища было то, что он использовал память для построения своих отчетов. А в нашем случае предполагались огромные объёмы данных, и ограниченность памяти потенциально могла быть серьёзной проблемой. Вторым моментом было то, что непосредственное руководство хотело у себя иметь команду собственных персональных разработчиков, а не людей со стороны. В общем, несмотря на их шикарные презентации, им отказали. Но QlikView был похож на OLAP, а я в своё время был на курсах Microsoft Analysis Services. Это послужило толчком к тому, что я стал строить кубы поверх нашего хранилища. А с помощью ASPxPivotGrid от компании DexExpress я показывал их на Web-форме. Так же выяснилось, что Microsoft Excel может выступать клиентом Analysis Services, что оказалось очень удобно. Т.к. пользователь мог сам построить и проанализировать то, что ему нужно.

Трудности с Microsoft Analysis Services

Но не обошлось без ложки дёгтя. Microsoft Analysis Services не очень удобен для администрирования и у него есть ряд проблем:

В общем, в своём стиле, дядя Билл, вместо того чтобы дать готовый дом вручил молоток доски и гвозди.

Укрощение Microsoft Analysis Services

Опытность — это школа, в которой уроки стоят дорого,
но это — единственная школа, в которой можно научиться.
Франклин Б.

С помощью инструментария от Microsoft, я разработал и активно использую следующие утилиты:

К сожалению, текущая рабочая нагрузка не позволяет заняться разработкой утилит, способных существенно облегчить работу с MS Analysis Services. Хотя мыслей и идей на этот счёт множество.

Стоит так же отметить ошибку, которую я сделал, когда только начал их строить. Она заключалась в том, что факты и измерения я строил с помощью сложных селектов. Когда настала пора резать куб на партиции, они перекочевали в каждую партицию. Что привело к их многократному дублированию, что есть очень плохо. С другой стороны, некоторые селекты выполнялись довольно долго и в случае, когда требовалось пересобрать весь куб заново, время его перестроения сильно возрастало. Спустя какое-то время, пришло понимание того, что прежде чем создать куб необходимо создать таблицы в базе, которые будут содержать все данные для него. А новые данные доливать в них, ежедневно, с помощью Job’ов. На основе этих таблиц, в итоге, строить куб. Так же стоит выработать правила наименования сущностей и решить в каких случаях необходимо создавать отдельные схемы в Базе Данных.

Всегда хочется большего.

OLAP кубы существенно облегчили работу пользователей, но не решили всех проблем. По-прежнему оставались отчеты, которые по различным причинам не могли быть загружены в Analysis Services. Определенные трудности были связанны с тем, что время обновления куба или его партиции может составлять от нескольких минут до нескольких часов. Когда это время есть в наличии, проблем нет, но бывают ситуации, когда данные надо предоставить ”чем раньше, тем лучше” и тут кубы не помощник. Решение было найдено в процессе работы с пользователями. В смежном со мной подразделении работала одна очень толковая сотрудница. Видя её высокий профессиональный уровень, было решено, предоставить ей доступ к базе через Web-форму. Задача не казалась мне слишком сложной, и я написал приложение, которое позволяло писать запросы к базе и возвращать результат в виде файла в формате csv. Это была Web-форма с полем для ввода текста и кнопкой, по нажатию на которую выполнялся запрос и возвращались данные.

— Паровозик из Ромашково должен соответствовать Ромашкову, иначе рельсы не выдержат. (ну, что – то вроде, сотрудницы профессионально переросли свой отдел)

В итоге, я переработал программу, которая выгружала данные из базы. Теперь она может выгружать в файл формата Microsoft Excel. При её создании я использовал OpenXML SDK. Система состояла из трех Web-форм. Одна для удобного администрирования, вторая для того, чтобы пользователь мог видеть список существующих отчетов и третья для формирования отчета. По сравнению с Microsof Reporting Sevices, данная система требовала минимум оперативной памяти при своей работе, т.к. она использовала модель SAX для формирования Excel файла. Также она могла ждать выполнение запроса сколь угодно долго. Сделал я это с помощью отсылки проверочных запросов от клиента серверу. Другим преимуществом был существенно больший объём информации, который она могла выгрузить. Это я сделал, формируя определенное количество строк на одну закладку(Sheet) в файле Excel. Как только это количество достигалось, создавалась следующая закладка. Данное приложение, вначале, было спрятано за 7-мью замками, а доступ давался только особо попросившим. Но, постепенно, оно набрало популярность, и его вывели из тени.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *